Русский
Русский
English
Статистика
Реклама

Яндекс

Приключение в один день или One Day Offer от Яндекса

30.05.2021 14:10:27 | Автор: admin

Вступление

Привет, Хабр. Недавно я получил оффер от Яндекса за один день и, не буду скрывать, я этому очень рад. Поэтому мне захотелось поделиться с сообществом своим опытом и мыслями относительно One Day Offer от Яндекса (в дальнейшем ОДО).

Начну с того, что название сия мероприятия вполне описывает его суть. За один день ты проходишь два собеседования и несколько финалов (о них поговорим позже) и в тот же день, если со всем справился, получаешь оффер. Звучит хорошо, но так ли оно на самом деле? Оказалось, что да, все происходит именно так. Никакого ожидания по несколько месяцев и никакой неопределенности по количеству интервью. Всё действительно происходит так быстро, и это, я считаю, очень круто.

Что это

One Day Offer - это относительно молодое мероприятие. Яндекс активно начал его проводить лишь с весны этого года, поэтому оно только набирает обороты, но уже понятно, что формат будет жить и процветать. ОДО проводится по одному из ключевых направлений: фронту, бэку, мобилкам или аналитике. Помимо основной цели - поиск новых кадров - ОДО также служит доказательством, что в Яндекс можно попасть всего за день.

Лично я участвовал в ОДО для мобильщиков, поэтому буду рассказывать про опыт участия именно с точки зрения мобильщика :)

Контест

На самом деле, чтобы попасть на ОДО, нужно для начала успешно пройти несложный контест. Времени на него дается предостаточно: с момента регистрации на ОДО до того дня, когда будут проводиться собеседования.

В моем случае контест состоял из двух задач: одна алгоритмическая и одна на платформу. По ощущениям, алгоритмическая задача была на уровне easy задач с литкода, так что с ней я справился примерно минут за 30. Правда потом потратил ещё 20 на попытку оптимизировать написанное, поскольку у задачи был follow up - написать решение, которое будет использовать константное количество памяти. Такое решение у меня написать не получилось, но это оказалось не критично. Перейдем к более интересному - задаче по платформе. Поскольку я Android разработчик, задание у меня было, что логично, по андроиду. Само по себе задание абсолютно не сложное, но очень интересное. Передо мной был код активити и нужно было перечислить все ошибки, допущенные в этих 30 строчках кода. Разбираться в коде я люблю, поэтому задание принесло мне сплошное удовольствие, и я сидел с ним все оставшееся время, дабы найти вообще все недочеты, которые там есть, и пояснить каждый. Не уверен, что нашел все, но, тем не менее, с заданием я справился и меня пригласили на ОДО.

Приветствие

Ни одно хорошее мероприятие не обходится без вступительного слова от людей, которые как-то с ним связаны. И ОДО не исключение.

На приветствии Дима Макаров (руководитель группы Android в Маркете) и Юра Кочарян (руководитель группы Android в Дзене) рассказали немного про Яндекс и провели для нас небольшую Q&A сессию. А ещё мы увидели вот такой вот интересный кадр

Нас заверили, что это чистая случайность, и я, пожалуй, оспаривать это не буду :)Нас заверили, что это чистая случайность, и я, пожалуй, оспаривать это не буду :)

После приветствия началось первое собеседование - платформа. И мы плавно переходим к нему.

Собеседование по платформе

Собеседование по платформе состояло только из теоретических вопросов. Причем их спектр был довольно широк. Приведу примерный список тем, по которым мне задавали вопросы:

  • Классы в Kotlin

  • Clean Architecture in Android

  • Способы хранения данных (простые и сложные вопросы)

  • Жизненный цикл View и его API

  • Intents

  • Приоритеты OOM Killer

  • Асинхронная работа в Android

  • Serializable vs Parcelable

  • Производительность базовых ViewGroup

  • MV* паттерны

  • RxJava

  • WorkManager и Services

Все вопросы были +- стандартные, и напрягся я только на вопросах по Rx и многопоточности, поскольку в этих темах я не очень хорошо разбираюсь. В общем, если знал - отвечал, если не знал - честно признавал это.

В целом собеседование получилось интересным. Особенно порадовало, что интервьювер общался на равных, благодаря чему складывалось впечатление, что я не прохожу собеседование, а веду диалог с коллегой. И это относится ко всем интервью ОДО, а не только к платформе, но об этом я ещё упомяну далее.

Собеседование по кодингу

Кодинг интервью началось у меня с приключений. Ссылка на зум не работала, поэтому пришлось подключаться через идентификатор конференции. Но и это получилось только со второго раза, потому что в первый раз я никого не слышал.

Наконец началось то, чего я, наверное, боялся больше всего: собеседование по кодингу. Все же слышали эти страшные истории про задачи на алгоритмы, оторванные от реальности, да? Так вот у меня их не было.

Вообще, тут стоит сделать небольшой оффтоп и сказать, что кодинг интервью зависит от того, куда и на какую должность ты идешь. Где-то алгоритмов больше, где-то меньше, где-то их вообще нет. Все зависит от специфики команды и задач, которые перед ней стоят. Это логично, но почему-то многие об этом забывают, и поэтому у нас появился устоявшийся стереотип о том, что на кодинге в Яндексе всегда спрашивают алгоритмы.

Вернемся к собеседованию. Поскольку меня собеседовал Дима Макаров из маркета, у меня, как я уже сказал, не было задач на алгоритмы. Но это не значит, что собеседование было легким. Оно было средней сложности. Тут опять сыграл недостаток знаний по Rx и потокам, и первые пару задач я худо-бедно решил с подсказками интервьюера. Но с последними двумя задачами - на понимание кода и на рефакторинг - я справился достаточно хорошо.

Этот этап ОДО также получился не очень сложным (а по сравнению с моими ожиданиями даже легким). На нем я даже узнал что-то новое во время обсуждений задач. Общение все также было приятным и достаточно не официальным. В общем, этот этап ОДО мне понравился даже больше, чем предыдущий.

Финалы

После небольшого ожидания, мне сообщили, что я успешно прошел оба собеседования, и можно назначать время финала. Финал - это общение с командой, в которой ты будешь работать в случае метча. В первой части финала ты рассказываешь о себе, своем опыте, интересах и т.п. После, интервьюер рассказывает про Яндекс, его плюшки и команду. Финал, так же как и предыдущие два собеседования, занимает час (хотя наверное можно уложиться и в меньшее время) и является, наверное, самой лайтовой частью ОДО. По сути это обычное общение. Вообще финалов может быть несколько, лично у меня могло бы быть до трех финалов включительно. То есть я мог поговорить с тремя из пяти (я могу что-то путать, и их могло быть четыре) команд, участвующих в ОДО. То есть у кандидата есть выбор из нескольких команд, и он может выбрать любую, которая больше понравится. Но, поскольку я шел целенаправленно в маркет, у меня был только один финал.

И уже через полтора часа после завершения финала я получил заветный оффер от Яндекса.

Заключение

Вот, как-то так и прошел мой One Day Offer. Также я нигде не упомянул, что на протяжении всего мероприятия на связи были рекрутеры Яндекса, которые сообщали фидбэк по собеседованиям и расписание, за что им отдельное спасибо. Ещё одним приятным бонусом стал промокод на Яндекс Еду, чтобы "ожидание обратной связи было приятным". В общем, мероприятие крутое, и я всем советую в нем участвовать. Надеюсь мой опыт и впечатления от ОДО будут полезны будущим кандидатам и помогут организаторам сделать это мероприятие ещё лучше.

А ещё я не могу не воспользоваться случаем и не поделиться своим телеграмм каналом, на котором я буду рассказывать про свой путь в IT и делиться разными материалами. Мне только 17, и я лишь в начале своей карьеры, но уже получил оффер от Яндекса на позицию мидла. Поэтому, думаю, мой канал может быть интересен как начинающим, так и опытным разработчикам. В общем, если я вас заинтересовал, жду на канале.

Подробнее..

Как молодой девушке уехать на Яндекс.Такси в лес и пропасть без вести

05.02.2021 16:09:35 | Автор: admin

Любой человек может оказаться в неприятной ситуации когда он едет ночью, в лес, в багажнике... Предусмотрительные граждане пытаются избежать подобных инцидентов выбирая сервисы такси известных брендов, которые декларируют безопасность поездки, контроль за водителями и даже вешают в приложении огромную кнопку "БЕЗОПАСНОСТЬ" которую надо жать в случае если что-то пошло не так.

Но помогает ли эта кнопка? Давайте проверим на практике.

Дано: молодая симпатичная девушка и её кнопочный телефон (без навигатора), незнакомый город бывшей союзной республики, зима, метель, мороз.

Требуется: добраться из частного сектора на окраине в центр, путь пролегает мимо промзон, лесопарков.

Решение (казалось бы очевидное): берём смартфон с сервисом ЯндексGO у супруга, заказываем ЯндексТакси, садимся и едем. Счастливый супруг тем временем наблюдает онлайн, как машина везёт пассажира по адресу...

Ой, никто уже никого никуда не везёт.

"Вы приехали" сообщает приложение. "Как всё прошло?"
"Стоимость поездки изменилась, заказ завершён не в указанной ранее точке." - вот тут наступает некоторая, так скажем, паника. Особенно на фоне новостей про онанистов из сервиса такси. Звонок супруге (не дословно):

  • "Ты где?! Уже приехала?"

  • "Нет, ещё еду."

  • "Странно, мне показывает что поездка завершилась досрочно... Что за окном? Уже город?"

  • "Нет, поля." (путь вполне может пролегать мимо лесополосы, полей, промзоны)

  • "Ок, как приедешь - позвони сразу. Что-то странное твориться, будь осторожна."

  • "Хорошо."

Что делать?

По логике - надо узнать где машина, причём быстро. На смартфоне - только маршрут который машина проехала до "отключения" поездки. А далее - перекрёсток, там можно свернуть или в сторону города (лес, поля вокруг) или в лес и поля подальше от города.


Расспрашивать по телефону супругу - водитель, в случае если задумал что-то неправомерное, может "ускориться" в своих действиях. Просить её покинуть машину ввиду непонятности ситуации - см. выше, плюс неопределённость в местоположении с поправкой на погоду, замёрзнуть на обочине в незнакомом месте не очень приятно наверное.


Пытаемся воспользоваться пресловутой кнопкой "Безопасность" которая вроде бы должна помочь в такой ситуации. По быстрому описываем вкратце ситуацию в чате "команде безопасности" и... получаем отфутболивание к службе поддержки которая "ответит в ближайшее время".

Ответа по существу - не получаем.
Где машина в данный момент и двигается ли она к адресу в центре города, куда была заказана поездка, или в сторону противоположную - не говорят.


И вот тут приходит осознание, что если водитель решил вывезти вас в лес, то кнопка "Безопасность" не поможет когда водитель попросту нажал "Завершить поездку".
Только ваш труп в холодном зимнем лесу получит через пару часов от службы поддержки сообщение, что водитель плохо поступил и его отключат от сервиса если он сделает ещё пару раз так же.

В этот раз всё обошлось, водитель просто решил сэкономить на комиссии сервиса и положить лишний рубль себе в карман завершив поездку досрочно. Я даже, в какой-то мере, благодарен ему за такой поступок, ведь он помог вскрыть важную уязвимость сервиса агрегатора Яндекс.Такси и показал, что служба обеспечивающая безопасность пассажиров - бессильна перед банальным завершением поездки и не может ничем помочь клиенту оказавшемуся в подобной ситуации.


Ну а водитель, решив позабавиться с пассажиром и поиграть в маньяка, может просто нажать кнопку в приложении и никто не узнает какая точка была финальной в жизненном пути неудачника решившего прокатиться на ЯндексТакси.

Подробнее..

Как я попал на стажировку в Яндекс

18.06.2021 00:22:38 | Автор: admin

Всем привет, меня зовут Виктор и я frontend разработчик. Хочу поделиться тем, как я решил стать программистом и попал на стажировку в компанию Яндекс в 27 лет без высшего образования.

Сначала моя история о том, как я заинтересовался it сферой и в частности web разработкой.

Знакомство с кодом

Впервые с программным кодом я познакомился на третьем курсе института по специальности прикладная лингвистика. Это был язык программирования python и мне очень понравилось то, как я могу заставить компьютер делать разные классные штуки с помощью циклов, условных конструкций, функций и переменных. Преподаватель был современный и за основу учебной программы взял курс по основам программирования с учебной платформы udacity. В процессе нужно было написать простенький web crawler и небольшой поисковый движок для ранжирования веб страниц по количеству ссылок на них с других веб страниц. По определённым обстоятельствам я вынужден был уйти из вуза после третьего курса и стал зарабатывать на жизнь переводами.

Глубже в технологии

Тем временем я понял, что мне также интересна it сфера и я начал думать, как бы мне продолжить её осваивать и что выучить в первую очередь. Уже не помню почему, но выбор пал на курсеровский курс HTML, CSS and JavaScript Гонконгского университета. Так я впервые познакомился с языком гипертекстовой разметки, каскадными таблицами стилей и языком программирования javaScript. Мне показалось интересным манипулировать различными объектами на web странице, менять стили, расположение элементов и добавлять разную интерактивность. Затем было много разных других курсов с курсеры, edx, степика, главным курсом первого времени был наверное знамений курс Гарвардского университета cs50 на котором я впервые познакомился с алгоритмами и структурами данных и языком си. Это был очень непростой, но интересный курс по основам computer science.

Первые попытки заработать на разработке

Долгое время программирование было для меня эдаким хобби и я несильно видел себя в коммерческой разработке, я проходил курсы, делал разные учебные и личные проекты, изучал разные языки программирования (Haskell, java, golang, scheme etc) и парадигмы, в общем всё это было больше в интерес. В какой-то момент я решил попробовать сделать пару заказов на фрилансе, связанных с веб разработкой и мне удалось заработать первые деньги. После этого я начал помимо переводческой деятельности подрабатывать и веб разработкой, делал простые вещи: правки в вёрстке, подвязка сайта к crm через ajax, калькуляторы стоимостей услуг и товаров и всё в таком духе.

Смена профессии

После этого я начал задумываться о том, что нужно сменить таки профессию и стать полноценным разработчиком, специализироваться я решил на javaScript по причине его гибкости и возможности программировать во всех возможных парадигмах, а также его присутствию, как на клиенте, так и на сервере. Нужно было освоить какой-нибудь фреймворк, научиться тестировать код, верстать адаптивно, кроссбраузерно, валидно и семантично, освоить препроцессор для css, node js, typescript, webpack. Если до этого моё изучение программирования было в большей степени академичным, то теперь я решил взяться за дело всерьёз. Выбор пал на react за счёт того, что это javaScript first библиотека с минимумом магии и функциональным подход в построении интерфейсов ui, как чистая функция от состояния и свойств, переданных компоненту. На данный момент я также знаю на базовом уровне vue js, который меня восхитил своей магией и скоростью разработки, но опечалил отладкой и поиском ошибок, когда что-то ломается в шаблоне.

Хочу в крутую компанию!

Теперь перейду уже к стажировке. Я понимал, что в 25+ устроиться без опыта работы в крутую it компанию будет довольно непросто и уже пытался до этого попасть в школу программистов Хэдхантера и курсы от Тинькофф банка, после которых можно было попасть в штат, но там были очень сложные алгоритмические задачи, с которыми я не мог справиться полностью, обычно решая половину задач или меньше. В мэйл дорога была заказана сразу, потому что на свои стажировки они берут только выпускников своих образовательных программ. Про Яндекс я почему-то всё это время даже не думал, потому что считал, что там всё будет ещё гораздо страшнее. Но месяц назад в телеграм канале одного хорошего ютубера (S0ER) я наткнулся на пост о стажировке в Яндекс и подумал ну а почему бы и не попробовать, я вообще ни на что не расcчитывал и заполнил анкету указав честно все свои скромные достижения в виде одной курсовой, пачки сертификатов и резюме с указанием технологий, которые я освоил на тот момент.

Письмо счастья

В ответ мне пришла ссылка на контест. Я не буду говорить о том какие там были задания, но я был приятно удивлён тому, что на алгоритмы там была ровно одна задача из четырёх и именно её я завалил, моё решение прошло только половину тестов, из остальных там было задание на вёрстку, оно было довольно жёстким, нужно было pixel perfect сверстать определённый рисунок, состоящий из геометрических фигур без использования svg и готовых картинок, только html и css. Две оставшиеся задачи проверяли базовые вещи для javaScript разработчика: асинхронность, контекст вызова, прототипы, замыкания. Надо отметить, что каким-то образом я умудрился все три этих задания сдать с первой попытки в контесте. На всё это было дано 6 часов.

На следующий день со мной связался рекрутёр Яндекса с предложением пройти 2 интервью в зуме, одно из них на общие навыки программирования и javaScript, другое на алгоритмы.

На первом интервью меня попросили рассказать о том, как пришёл в разработку, спросили про навыки из резюме (правда ли я знаю вебпак и тайпскрипт, показал на гитхабе игру крестики нолики, которую я как раз недавно сделал, написанную на тайпскрипте. Спросили про опыт разработки и мои проекты. Дальше началось само интервью. Сначала мне были предложены куски кода с предложением найти ошибки и объяснить, что в них работает не правильно и почему. Затем были задания на написание кода. Работа со стандартными методами массивов, объектов, в общем на знание языка и понимание его особенностей. В конце была ещё алгоритмическая задачка (задачи на алгоритмы должны были быть на следующем собеседовании) потому что как оказалось, я решил основную часть раньше установленного срока. После предыдущих задач я немного расслабился и сначала встал в ступор, но после небольшой наводки от собеседующего смог решить и её.

На втором собеседовании проверялось понимание сложности алгоритмов, основных структур данных и умение с нуля построить рабочее решение. Я смог решить две задачи. Никаких красно чёрных деревьев там не было (даже обычных деревьев не было), всё обошлось словарём, массивами и пониманием того, как работают стек и очередь. Багов я не избежал, но смог их отловить.

После этого мне на следующий день позвонил рекрутёр и предложил пройти финальные собеседования с командами.

Это были команды картинок, лавки и маркета.

По итогу я выбрал маркет поскольку меня интересует сфера электронной коммерции. Стажировка начнётся в конце июня. Если кому-то будет интересно, то я могу дальше писать о том, как она проходит по итогам каждого месяца из трёх. Это будет своего рода дневник для меня и возможность для людей узнать, как оно проходит изнутри, потому что материалов на эту тему я нашёл совсем немного.

Спасибо за внимание, надеюсь, что это было кому-то полезно. Задавайте вопросы в комментариях.

Подробнее..

Пайка, C, светодиоды часовой стрим Геннадия Крэйла Круглова

12.03.2021 10:04:49 | Автор: admin

Управлять светодиодом это счастье. Ещё большее счастье смотреть на него в микроскоп. Даже просто зажечь светодиод уже приносит радость. Но готов поспорить эта задача окажется сложнее, чем вы думали.

Привет, меня зовут Крэйл. Я разработчик аппаратной части Яндекс.Станции и большой любитель светодиодов. Сегодня решил вспомнить, как целый час паял, рисовал схемы и программировал микроконтроллеры на YaTalks, и поделиться записью стрима с сообществом Хабра.

О чём я рассказываю в видео

Как выглядит вольт-амперная характеристика светодиода и почему она так важна? Как включить несколько светодиодов, чтобы они горели вечно ну или хотя бы очень долго, в рамках заявленного в документации? Как выглядит светодиод, который много работал под перегрузкой, и чем это плохо?

А как управлять яркостью? Менять напряжение/ток обычно неудобно, поэтому все используют ШИМ. Воспользуемся ей и мы с помощью STM32 и C++. Но и тут не всё просто. Линейное изменение мощности нелинейно воспринимается глазом нужна коррекция.

Следующий шаг: делаем экран из светодиодов. Несколько сотен каналов! Как управлять яркостью каждого из них? Варианта два: мало проводов плюс динамическая индикация или много проводов и статическая. Что лучше, что хуже, почему, как всё это работает и как выглядит живьём и на осциллографе. Только суровый практический опыт с лампочками, микроскопом и шутками-прибаутками.

Полная запись пайки

Подробнее..

Возможно ли сделать ЦОД эффективнее и экономичнее одновременно?

30.03.2021 18:20:32 | Автор: admin

Бельгийский дата-центр Google полностью запитан от собственной солнечной электростанции, а оборудование охлаждается водой из ближайшего канала экономичность и энергоэффективность на высоте. Источник: Google

С начала массового строительства центров обработки данных минуло 25 лет, а рынок очень далек от насыщения ежегодно мировые вложения в строительство дата-центров растут на 15%. При этом ЦОДы становятся всё более мощными и дорогими. Стоимость строительства и эксплуатации напрямую влияет на цену цифровых услуг, например, хостинга, облачных хранилищ и вычислений, поэтому все заинтересованы в повышении эффективности и экономичности дата-центров во всём мире. Какие меры для снижения стоимости услуг ЦОДов можно предпринять?

Высокие технологии с высоким энергопотреблением


По оценкам журнала Nature, в год на снабжение дата-центров во всём мире уходит порядка 200 ТВтч, причем 140 ТВтч приходится на ЦОДы США. Еще шесть лет назад дата-центры потребляли только 91 ТВтч, то есть рост составил внушительные 220% Сейчас ЦОДы потребляют больше, чем вся Украина (122 ТВтч), Аргентина (129 ТВтч), Швеция (134 ТВтч) или Польша (150 ТВтч).

Несмотря на то, что дата-центры это не дымящие трубы и вредные отходы, а облачные вычисления, они тоже оставляют серьезный углеродный след в мировой экологии примерно 0,3% от общемировых выбросов, что немало. Всё потому, что доля зеленой энергетики в главных странах-держателях ЦОДов очень мала (11% в США, 26% в Китае, всё с учетом гидроэлектростанций), поэтому на электроснабжение дата-центров работают газовые и угольные электростанции. В итоге экологи и европейские правительства недовольны ростом выбросов парниковых газов, операторы электросетей недовольны растущей нагрузкой и необходимостью модернизировать сети, владельцы ЦОДов недовольны затратами на обслуживание.

Главная после операционных расходов статья содержания дата-центра электричество, на которое может прийтись до половины расходов. Для оценки энергоэффективности ЦОДов применяется коэффициент PUE (Power usage effectiveness эффективность использования энергии), выражающий отношение всего потребляемого электричества к потреблению ИТ-оборудования. PUE, равный 1,0, идеален и недостижим, к нему можно только стремиться, так как к серверам непременно прилагаются системы охлаждения и мониторинга, тоже требующие электропитания. На охлаждение может приходится 50-80% от потребления ИТ-оборудования, а то и больше, поэтому средний PUE в мире сейчас составляет 1,67 (1 единица энергии уходит серверам и 0,67 единицы другому оборудованию). Благодаря комплексному подходу в лучших случаях PUE можно снизить до 1,051,10, а это выливается в колоссальную экономию на электроснабжении.

Вот только чтобы добиться такой экономии, придется выполнить почти все рекомендации из нашего чеклиста. Начнем от простого к сложному: сначала опишем меры апгрейда текущего оборудования, потом замахнемся на реорганизацию ЦОДа, а затем помечтаем о переносе или строительстве новых дата-центров с учетом последних тенденций и самых современных технологий.


Согласно опросу владельцев ЦОД, многие хотели бы улучшить энергоэффективность, охлаждение, планировку или местоположение дата-центров. Источник: Solar Thermal Magazine

Обновление ИБП для минимизации потерь


Для обеспечения резервирования электропитания, а также для защиты дорогостоящего оборудования дата-центров от скачков напряжения и других проблем питающей электросети применяются онлайн-ИБП с нулевым временем переключения на батарею. За бессбойную работу серверов приходится платить повышенным энергопотреблением при двойном преобразовании напряжения в целях повышения его характеристик неизбежны потери, которые тоже приходится оплачивать. КПД ИБП напрямую зависит от нагрузки чем она выше (в рамках характеристик ИБП), тем больше коэффициент полезного действия. КПД актуальных онлайн-ИБП в режиме двойного преобразовния при высокой нагрузке может составлять 85-95%, а сильно устаревших моделей пугающие 40-50%. То есть от 15% до 50% электроэнергии исчезают в ходе преобразования, но не исчезают из суммы затрат. Для старых ИБП особенно остро стоит проблема низкого КПД при невысокой загрузке.

Самые современные специализированные онлайн-ИБП могут достигать КПД до 99% при штатной работе. Вот поэтому обновление парка ИБП может круто снизить затраты на обслуживание ЦОДа и заметно повысить PUE. Пример ИБП от Eaton, недавно попались на глаза. Для маленьких ЦОДов компактные Eaton 9SX/9PX на 5/6/8/11 кВА (серия 9PX оснащена портом DB15 для организации параллельной работы двух ИБП). Эти ИБП имеют КПД до 98% в высокоэффективном режиме работы и до 95% при двойном преобразовании. Каждый модуль полностью автономен и может устанавливаться как вертикально, так и в 19-дюймовую стойку. Для снижения затрат на обслуживание батареи в 9SX/9PX используется технология управления зарядом Eaton ABM, которая увеличивает срок службы аккумуляторов на 50%. Вместо постоянной подзарядки малым током ABM следит за уровнем заряда и подзаряжает батареи только тогда, когда это нужно.

А вот для современных больших ЦОД, владельцы которых больше заинтересованы в бесперебойной работе оборудования, чем в экономии каждого рубля, лучше обратить внимание на башенные ИБП Power Xpert 9395P. В режиме сохранения энергии ESS они обладают КПД 99%. Топовая модель серии 9395Pрассчитана на 1200 кВА.

Обновляем распределители питания


Такая, казалось бы, банальная вещь, как распределители питания (PDU, или Power distribution unit), тоже могут быть причиной повышенного расхода электроэнергии. Предназначение и функциональность PDU просты контроль напряжения и его подведение к оборудованию. Хотя на этапе планирования ЦОД велик соблазн отдать предпочтение дешевым розеточным блокам без возможности удаленного управления, возможные перегрузки фазы могут привести к отключению электроснабжения, и тут даже ИБП не помогут.

А еще дешевые PDU имеют невысокий КПД. Современные дорогие интеллектуальные модели поставляются с добротным трансформатором, отвечающим высоким требованиям стандарта энергоэффективности TP-1. Сертификация TP1 подразумевает повышение КПД PDU примерно на 2-3% относительно обычных моделей, что вроде бы немного, но при пересчете на годовые затраты выливается в приятную экономию. Помимо этого, современные PDU упрощают кабель-менеджмент, помогают уменьшить количество проводов и тем самым улучшить обдув компонентов. Да, PDU с сертификатом TP-1 закономерно дороги, но затраты на них отбиваются примерно за 6 лет, тогда как срок службы таких PDU составляет не менее 20 лет.

Заменяем освещение на светодиодное


В сравнении с энергопотреблением серверов или систем охлаждения на освещение ЦОД приходится около 1% от всей необходимой дата-центру электроэнергии. Скромно, но при обновлении освещения экономия будет отражаться не только в счетах за электричество, но и в сметах на замену ламп.

Немало устаревших ЦОД продолжают освещаться энергосберегающими ртутными лампами, которые уступают светодиодам во всём, кроме, разве что, цены. Но ресурс ртутных ламп примерно в 5 раз ниже, чем у светодиодных. Яркость LED-светильника снизится до критических 70% от изначальной за 50 000 часов, после чего его придется менять. Энергосберегающая лампа деградирует до того же уровня всего за 10 000 часов, то есть чуть больше чем за год. Таким образом на одну замену LED-источников придется до пяти замен ртутных ламп!

Ещё яркость светодиодов можно легко менять, снижая энергопотребление в зависимости от времени суток. А для получения того же уровня освещенности при применении LED-ламп требуется на треть меньше, чем нужно энергосберегающих светильников.

Используем free cooling


Лучший ресурс бесплатный и возобновляемый. В деле охлаждения серверов таким ресурсом являются уличный воздух и грунтовые воды. Вместо того, чтобы тратить огромные средства на работу чиллеров, куда как экономичней будет охлаждать оборудование забортным холодом. Подход free cooling, при котором в систему охлаждения поступает холодный отфильтрованный воздух или вода, заслуженно считается одним из лучших способов снизить затраты на содержание дата-центра. За счёт отказа от кондиционеров в пользу free cooling можно гарантированно снизить PUE с 1,8 до 1,1.

В вопросе free cooling вне конкуренции находятся скандинавские страны. В увлеченной экологичностью всего и вся Швеции тепло в дата-центрах используют для нагрева воды в системе отопления жилья. Ирландцы поставили на службу free cooling пронизывающие страну даже летом островные ветра, а датчане пускают в систему охлаждения ледяные грунтовые воды, имеющие одинаково низкую температуру и зимой, и летом.


Google особенно гордится тем, что за счет free cooling в своих европейских дата-центрах компания экономит воду, которая могла пойти на работу электростанций для выработки электричества для чиллеров (если бы они были). Источник: Google

Климат обжитой центральной части России, не говоря уже про северо-западный регион, радует сторонников free cooling (и не радует всех остальных) исключительно малым количеством жарких дней. По статистике Росгидрометцентра, в средней полосе страны только 3,8% времени в году наблюдается температура выше +22 C, а среднегодовая температура в Санкт-Петербурге всего +5,6 C. Для сравнения, в американском штате Аризона, где построен огромный ЦОД Apple, тоже использующий free cooling, даже в январе температура редко опускается ниже +6 C, ее среднегодовой уровень держится выше +16 C. Поэтому как минимум четверть времени в году Apple вынуждены использовать прожорливые чиллеры для охлаждения 120 тыс. кв. м площадей своего ЦОДа.

Это не значит, что пришло время осваивать сибирскую целину. Хоть климат России и располагает к самому эффективному использованию free cooling, на этом преимущества севера страны для строительства ЦОДов заканчиваются. Зато недостатков хватает: низкая транспортная доступность, дефицит высококвалифицированных кадров, плохое состояние телекоммуникационных и энергосетей.

Тем не менее, первые шаги по созданию новых ЦОДов на севере уже сделаны: Петрозаводский государственный университет приступил к развертыванию весьма серьезного дата-центра, который претендует на 20% российского рынка облачных хранилищ. При этом карельская погода должна снизить стоимость эксплуатации примерно на 40%. Университетские сотрудники и выпускники, а также близость к Санкт-Петербургу прекрасно решают и проблему кадров, и вопрос подключения к точке обмена трафиком.


Один из дата-центров Яндекса расположен в холодной Финляндии. За счет free cooling его коэффициент PUE удалось снизить до 1,1

Призываем на помощь ИИ


Мониторинг охлаждения ЦОДа большой площади и управление им весьма трудоемки, и при этом велик риск что-то переохладить, а где-то недоглядеть. Дело в том, что на эффективность охлаждения влияет множество меняющихся факторов: погода за окном, наличие открытых окон в помещениях, влажность воздуха, состояние градирен, нагрузка на оборудование. Отслеживать сотни и тысячи параметров в реальном времени круглые сутки людям не под силу, поэтому с недавних пор на службу управления охлаждением поставили искусственный интеллект.

В 2014 году Google приобрела компанию DeepMind, известную своим продуктом AlphaGo, впервые обыгравшим профессионального игрока в го. На основе наработок DeepMind был создан программный комплекс для ЦОД Google, который может не только следить за показаниями датчиков и нагрузкой, но и делать выводы на основании накопленной истории наблюдений и полученных погодных прогнозах. С внедрением ИИ энергозатраты на охлаждение ЦОД Google снизились на впечатляющие 40%, при этом всё оборудование осталось прежним.


Результат работы ИИ DeepMind в ЦОД Google при включении машинного обучения, система снижала потребление электроэнергии на охлаждение. Источник: DeepMind

Отдельные решения на базе ИИ нашли своё место в ЦОД Сбербанка в Сколково. Так как дата-центр 330 дней в году использует free cooling, система отслеживает внешнюю температуру и прогноз погоды и на основании этого оптимизирует энергозатраты на охлаждение и даже принимает решение о запасе холодного воздуха на случай потепления.

Американская компания LitBit пошла еще дальше, предложив для дата-центров своего ИИ-сотрудника, диагностирующего состояние ЦОД на основании визуальных и акустических данных. ИИ оценивает звук и вибрации, издаваемые оборудованием, и сравнивает с эталонными слепками, помогая обнаружить деградирующие компоненты.

Используем модульные дата-центры


Строительство или расширение ЦОД процесс не только дорогой, но и долгий во многом из-за необходимости проектировать капитальное строение и проводить проект по всей цепочке необходимых согласований. От заключения контракта до сдачи в эксплуатацию компактного дата-центра с площадью 200-300 кв. м проходит 9-12 месяцев, и это при условии, что документы не подвиснут ни в одной из инстанций, выдающей своё разрешение на строительство.

Концепция модульных дата-центров, эдаких кирпичиков, из которых, как из конструктора, можно было бы быстро собирать ЦОДы, родилась в середине 2000-х годов. Первопроходцами в этом считается Sun со своим Sun Modular Datacenter модульным ЦОД внутри стандартного морского грузового контейнера, в котором уместились восемь 40-юнитовых стоек, серверы и сетевое оборудование и система охлаждения. Развертывание модульного Sun Modular Datacenter обходилось примерно в 1% от строительства традиционного дата-центра, его можно было легко перевозить с места на место, а подключение ограничивалось подводом электричества, водоснабжения и сети.


В 2009 году небезызвестный архив интернета archive.org переехал в один Sun Modular Datacenter. Впрочем, хранился он там недолго за десять лет объем archive.org вырос с 3 до 50 петабайт. Источник: NapoliRoma / Wikimedia Commons
Сейчас рынок предлагает модульные дата-центры в самом различном исполнении, а не только в виде контейнеров. Модули считаются самым эффективным способом быстрого строительства или расширения ЦОД без лишних затрат и долгих согласований. Модули занимают меньше места и эффективнее используют площадь за счет заранее продуманной компоновки, имеют меньшее энергопотребление и зачастую лучшее охлаждение, их легко можно переместить ближе к месту с дешевым электричеством (рядом с крупными электростанциями). Так что прежде чем думать о строительстве или расширении дата-центра, стоит обратить внимание на готовые модули.

Запитываем ЦОД от возобновляемых источников энергии


В сравнении с Европой у России есть важное экономическое преимущество, которое делает размещение ЦОД на ее территории весьма привлекательным, исключительно низкая стоимость электроэнергии. В некоторых регионах страны она доходит до 3 руб. за кВтч, тогда как в Германии около 23 руб. за кВтч, а в США в среднем 9 руб. за кВтч. Плюс в России власти пока не относятся к экологии так же щепетильно, как в скандинавских странах. Поэтому у нас вопрос перехода ЦОД на автономное электроснабжение из возобновляемых источников энергии пока не стоит.

Однако на Западе владельцы дата-центров вынуждены как минимум декларировать минимизацию углеродного следа, компенсируя выбросы от работы ЦОДа финансированием экологических инициатив. Это, а также высокая цена за электричество, заставляет крупные компании переводить большие дата-центры на автономное электроснабжение. Высокие первичные затраты за рубежом быстро окупаются и идут на пользу имиджа.

Так Apple, один из передовиков по использованию зеленых технологий, первой перевела свои ЦОДы на электричество от собственных солнечных и ветровых электростанций. Дошло до того, что в 2016 году компания подала заявку о желании начать продажу излишков выработки со своих американских солнечных электростанций мощностью 90 и 130 МВт.

Автономное электроснабжение будет полезным в областях, далеких от мощный электросетей. Например, исландский ЦОД Verne Global построен рядом геотермальными электростанциями. Хоть они и не принадлежат компании, зато являются экологичными, возобновляемыми и очень стабильными источниками энергии.

В Германии на зеленую энергию приходится уже больше половины всей выработки. К сожалению, в России доля возобновляемой энергетики колеблется на уровне 4%, две трети из которых гидроэнергетика. Но для новых ЦОД в качестве задела на будущее подумать об автономном питании от солнечной или ветряной электростанции не помешает.

Экономия лишней не бывает


Самый крупный и дорогой дата-центр в мире принадлежит телекоммуникационному гиганту China Telecom. Он занимает площадь 994 тыс. кв. м, а строительство обошлось в 3 млрд долларов. Самый большой российский ЦОД построен Сбербанком в Сколково. Он в 30 раз меньше китайского гиганта всего 33 тыс. кв. м. Но благодаря грамотному внедрению фрикулинга, ИИ и отопления помещений теплом оборудования удалось достичь экономии на обслуживании около 100 млн рублей в год. Учитывая размеры дата-центра China Telecom, можно быть уверенным, что там тоже были применены все возможные способы снижения затрат. Какой бы абсурдной и малозначимой не казалась мера по удешевлению обслуживания ЦОД, в годовом эквиваленте она может принести очень заметную экономию, пропорциональную размеру ЦОД.
Подробнее..

Как и зачем мы создаём собственную курьерскую платформу. Три истории Яндекс.Маркета

28.04.2021 14:06:12 | Автор: admin
Всем привет, меня зовут Алексей Остриков, я руковожу разработкой в Яндекс.Маркете. Когда-то я много-много писал код, затем полтора года руководил группой бэкенда одного из сервисов Маркета, а сейчас отвечаю за разработку курьерской платформы Маркета.

Сегодня я расскажу, почему доставка на аутсорсе это не всегда хорошо, для чего нужна прозрачность процессов и как мы за полтора года написали платформу, которая помогает нашим курьерам доставлять заказы. А ещё поделюсь тремя историями из мира разработки.


На фото команда курьерской платформы десять месяцев назад. В те времена она помещалась в одной комнате. Сейчас нас стало в 5 раз больше.

Зачем мы всё это делали


Разрабатывая курьерскую платформу, мы хотели прокачать три главные вещи.

Первое качество. Когда мы работаем с внешними службами доставки, качеством управлять невозможно. Компания-подрядчик обещает, что будет такая-то доставляемость, но энное количество заказов могут не довезти. А нам хотелось процент опозданий понизить до минимума, чтобы практически любой заказ был доставлен вовремя.

Второе прозрачность. Когда что-то идёт не так (происходят переносы, срывы сроков), то мы не знаем, почему они произошли. Мы не можем пойти и подсказать: Ребят, давайте делать вот так. Мы и сами не видим, и клиенту не можем показать какие-то дополнительные вещи. Например, что заказ приедет не к восьми, а в интервале 15 минут. А всё потому, что в процессе нет такого уровня прозрачности.

Третье деньги. Когда мы работаем с подрядчиком, есть договор, в котором прописаны суммы. И мы можем менять эти циферки в рамках договора. А когда мы отвечаем за весь процесс от а до я, то можно видеть, какие части системы спроектированы экономически невыгодно. И можно, например, поменять провайдера SMS или формат документооборота. Или можно заметить, что у курьеров слишком большие пробеги. И если строить маршруты кучнее, то в итоге получится развозить больше заказов. Благодаря этому можно ещё и сэкономить деньги доставка станет более эффективной.

Это и были те три цели, которые мы ставили во главу всего.

Как выглядит платформа


Давайте посмотрим, что у нас получилось.



На изображении показана схема процесса. У нас есть большие склады, на которых хранятся сотни тысяч заказов. С каждого склада вечером уезжают фуры, доверху набитые заказами. Там может быть 56 тысяч заказов. Эти фуры едут в здания поменьше, которые называются сортировочные центры. В них за несколько часов большая куча заказов превращается в маленькие кучки для курьеров. И когда с утра приезжают курьеры на машинах, то каждый курьер знает, что ему нужно забрать кучку вот с этим QR-кодом, загрузить себе в машину и поехать развозить.

И бэкенд, о котором я хочу рассказать в этой статье, про самую последнюю часть процесса, когда заказы везут клиентам. Всё, что до этого, пока оставим в стороне.


Как это видит курьер

У курьеров есть приложение для Android, написанное на React Native. И в этом приложении они видят весь свой день. Они чётко понимают последовательность: на какой адрес ехать сначала, на какой потом. Когда позвонить клиенту, когда отвезти возвраты в сортировочный центр, как начать день, как закончить. Они всё видят в приложении и практически не задаются лишними вопросами. Мы им очень помогаем. По сути, они просто выполняют задания.



Помимо этого, на платформе есть элементы управления. Это многофункциональная админка, которую мы переиспользовали из другого сервиса Яндекса. В этой админке можно конфигурировать состояние системы. Мы загружаем туда данные о новых курьерах, изменяем интервалы работы. Можем корректировать процесс создания заданий на завтра. Регулируется практически всё, что нужно.

Кстати, про бэкенд. Мы в Маркете очень любим Java, в основном версию 11. И все бэкенд-сервисы, про которые пойдёт речь, написаны на Java.

Архитектура




В архитектуре нашей платформы есть три главных узла. Первый отвечает за коммуникацию с внешним миром. Курьерское приложение стучится на балансер, который выведен вовне, общаясь с ним по стандартному JSON HTTP API. По сути, этот узел отвечает за всю логику текущего дня, когда курьеры что-то переносят, отменяют, выдают заказы, получают новые задания.

Второй узел это сервис, который коммуницирует с внутренними сервисами Яндекса. Все сервисы это классические RESTful-сервисы со стандартной коммуникацией. Когда вы сделаете заказ на Маркете, через какое-то время к вам прилетит документ в JSON-формате, где будет всё написано: когда доставляем, кому доставляем, в какой интервал. И у нас это состояние сохранится в базу данных. Всё просто.

Помимо этого, второй узел также коммуницирует с другими внутренними сервисами, уже не Маркета, а Яндекса. Например, за уточнением геокоординат мы уходим в геосервис. Чтобы отправить push-уведомление, идём в сервис, который рассылает push и SMS. Для авторизации используем другой сервис. Для расчёта маршрутизации на завтра ещё один сервис. Таким образом осуществляется вся коммуникация с внутренними службами.

Этот узел также является входной точкой, у него есть API, в которую стучится наша админка. У неё есть свой endpoint, который называется, скажем, /partner. И наша админка, всё состояние системы, конфигурируется через коммуникацию с этим сервисом.

Третий узел это база фоновых задач. Здесь используется Quartz 2, там есть задачи, которые запускаются по крону с разными условиями для разных точек, для разных сортировочных центров. Там есть задачи актуализации дня, задачи процессов закрытия дня, старта нового дня.

И в центре всего находится база данных, в которой, собственно, и хранится всё состояние. Все сервисы входят в одну базу данных.



Отказоустойчивость


У Яндекса есть несколько дата-центров, и наш сервис регионально распределен по трём дата-центрам. Как это выглядит.

База данных это три хоста, каждый в своём дата-центре. Один хост мастер, две другие реплики. В мастер мы пишем, с реплик читаем. Все другие Java-сервисы это также Java-процессы, которые крутятся в нескольких дата-центрах.

Один из узлов это наш API. Он крутится во всех трёх дата-центрах, потому что поток сообщений больше, чем из внутренних сервисов. Более того, такая схема позволяет вам довольно легко горизонтально масштабироваться.

Допустим, если у вас входящий трафик увеличится в девять раз, вы можете провести оптимизацию, но также вы можете залить это дело железом, открыв больше узлов, которые будут обрабатывать входящий трафик.

Балансеру придётся просто делить трафик на большее количество точек, которые выполняют запросы. И у нас сейчас, например, не один узел, а по два узла в каждом дата-центре.

Наша архитектура позволяет справляться даже с такими случаями, как отключение одного из дата-центров. Например, мы решили провести учения и отключили дата-центр во Владимире, и наш сервис остаётся на плаву, ничего не меняется. У нас исчезают хосты базы данных, которые лежат там, а сервис остаётся в работе.

Балансер понимает через какое-то время: ага, у меня не осталось ни одного живого хоста в этом дата-центре, и больше не перенаправляет туда трафик.

Все сервисы в Яндексе устроены схожим образом, мы все умеем переживать отказ одного из дата-центров. Как это реализовано, что такое graceful degradation и как сервисы в Яндексе переносят отключение одного из дата-центров, мы уже рассказывали.

Итак, это была архитектура. А теперь начинаются истории.

История первая про Яндекс.Ровер


Недавно у нас была Yet another Conference, там Роверу уделили много внимания. Я продолжу тему.

Как-то раз к нам пришли ребята из команды Яндекс.Ровера и предложили проверить гипотезу, что люди захотят получать заказы таким экстраординарным способом.

Яндекс.Ровер это маленький робот размером со среднюю собачку. Туда можно положить еду, пару коробок заказов, он поедет по городу и привезёт заказы без помощи человека. Там есть лидар, робот понимает своё положение в пространстве. Он умеет доставлять малогабаритные заказы.

И мы подумали: а почему бы и нет? Уточнили детали эксперимента: на тот момент нужно было проверить гипотезу, что людям это понравится. И мы решили довезти 50 заказов за полторы недели в очень лайтовом режиме.



Мы придумали максимально простой флоу, когда человеку приходит SMS с предложением нестандартного способа доставки не курьер привезёт, а Ровер. Весь эксперимент проходил во внутреннем дворе Яндекса. Человек выбирал подъезд, к которому Ровер подъедет. Когда робот приезжал открывалась крышка, клиент брал заказ, закрывал крышку, и Ровер уезжал за новым заказом. Всё просто.

Затем мы пришли к команде Ровера, чтобы договориться про API.

В API Ровера есть простые методы: открыть крышку, закрыть крышку, поехать в такую-то точку, получить состояние. Классика. Тоже JSON. Очень просто.

Что ещё очень важно: и такие маленькие истории, и любые большие истории лучше делать через featureflags. Фактически у вас есть рубильник, по которому вы можете в production включить эту историю. Когда она вам больше не нужна, эксперимент завершен успешно или не успешно, либо заметили какие-то баги, вы просто вырубаете её. И вам не нужно делать ещё один деплой новой версии кода на прод. Эта штука здорово облегчает жизнь.

Казалось бы, всё просто и всё должно работать. Там даже две недели нечего разрабатывать, можно за несколько дней сделать. Но посмотрите, где собака зарыта.

Все процессы в основном синхронны. Человек нажимает кнопку, крышка открывается. Человек нажимает кнопку, крышка закрывается. Но один из этих процессов асинхронный. В момент, когда Ровер к вам поедет, нужно, чтобы был какой-то фоновый процесс, который будет отслеживать, что робот вернулся на точку.

И в этот момент мы отправим SMS человеку, например, что Ровер ждёт на месте. Это невозможно сделать синхронно, и нужно как-то решить эту проблему.

Есть много разных подходов. Мы сделали максимально простой вариант.

Мы решили, что можно запустить самый обычный фоновый Java-тред либо задачу в Executer. Этот фоновый тред тут же запускается отслеживать процесс. И как только процесс выполнен, мы отправляем уведомление.



Выглядит это, например, так. Это практически копия кода с production, за исключением вырезанных комментариев. Но есть подвох. Нельзя делать таким образом серьёзные системы. Допустим, мы выкатываем новую версию на бэкенд. Хост перезагружается, состояние теряется, и всё, Ровер уезжает в бесконечность, его больше никто не видит.

Но почему? Если мы знаем, что наша цель доставить 50 заказов за полторы недели, мы сами выбираем время, когда следим за бэкендом. Если что-то пойдёт не так, можно вручную что-то изменить. Для такой задачи это решение более чем достаточное. И в этом кроется мораль первой истории.

Существуют ситуации, для которых нужно делать минимальную версию функционала. Не нужно огород городить и овер-инжинирить. Лучше делать максимально отчуждаемо. Так, чтобы не очень сильно изменять логику внутренних объектов. И избыточная сложность, ненужный технический долг не накапливались.

История вторая про базы данных


Но сначала несколько слов о том, как устроены основные сущности. Есть сервис Яндекс.Маршрутизация, который в конце дня строит маршруты курьерам.

Каждый маршрут состоит из точек на карте. И на каждой точке у курьеров есть задание. Это может быть задание выдать заказ, или позвонить клиенту, или с утра загрузиться на сортировочном центре, забрать все заказы.

Помимо этого, клиенты с утра получают ссылку с трекингом. Они могут открыть карту и увидеть, как к ним едет курьер. Клиент также может выбрать доставку Ровером, про который я говорил ранее.

Теперь давайте посмотрим, как эти сущности можно показать в базе данных. Это делается, например, вот так.



Это очень аккуратная модель данных. Мы не придумали ни одной новой сущности, и сильно не схлопывали уже существующие.

На схеме видно, что стрелочка снизу вверх показывает маршрут курьера, знает того курьера, чей это маршрут. В табличке маршрут курьера есть ссылка курьер ID. А верхняя табличка этого не знает. У нас максимально простая связанность, нет большого пересечения сущностей. Когда все знают про всех, это сложнее контролировать, и, скорее всего, будет избыточность. Поэтому у нас максимально простая схема.

Единственное излишество, которое мы сделали в самом начале создания платформы, такое. У нас был один вид заданий на доставку. Но мы поняли, что в будущем появятся другие задания. И мы заложили небольшую архитектурную гибкость: у нас есть задания, и одно из видов заданий доставка заказа.

Затем добавили трекинг и Ровер. Всего лишь по две таблички. В трекинге курьер отправляет свои координаты, мы их фиксируем в отдельной табличке. И есть трекинг заказа со своей моделью состояний, есть дополнительные штуки, типа SMS ушла / не ушла. Не стоит это добавлять прямо в задание. Лучше вынести в отдельную табличку, ведь этот трекинг нужен не для всех типов заданий.



В Ровере его координаты и доставка. У нас доставка Ровером это трекинг как бы для Ровера. Можно его добавить в трекинг заказа, но зачем? Ведь когда мы избавимся от этого эксперимента, когда он будет выключен, эти опции навсегда останутся в сущности трекинга. Там будут null-поля.

Может возникнуть вопрос: а зачем делать табличку с координатами? Один Ровер доставляет пять заказов в день. Не нужно хранить координаты в базе данных, можно просто ходить в API Ровера и получать их на runtime.

Суть в том, что так и было сделано изначально. Этой таблички не было, мы сразу ходили на сервис и всё это брали. Но во время тестов мы увидели, что много людей открывают карту с катящимся Ровером, и нагрузка на этот сервис кратно возрастает. Допустим, семь человек открыли. А там на страничке каждые две секунды Java Script запрашивает координаты. И коллеги нам писали в чат: Откуда такая нагрузка? У вас же там один человек должен кататься.

И после этого мы добавили табличку. Начали складывать туда координаты, время, в которое они были получены. И теперь, если к нам слишком часто приходят за координатами и не прошло ещё две секунды с последнего получения, мы берём их из таблички. Получается такой кэш на уровне баз данных.

Эту историю можно было сделать с помощью 20 таблиц. Можно было использовать две таблицы: курьер и заказ. Но в первом случае это был бы over-engineering, а во втором случае это было бы слишком сложно поддерживать. Сложная логика, сложно тестировать.

И ещё. Структура баз данных, которую мы сделали полтора года назад, ядро этих сущностей осталось до сих пор неизменным. И нам очень сильно повезло, что мы смогли выбрать такие сущности, на которых основу не пришлось переделывать. Не пришлось значительно перекраивать базы данных, делать сложные миграции, затем катить этот релиз, очень долго его тестировать и потом менять именно корневую структуру.

Суть истории в том, что есть аспекты, которым лучше уделять дополнительное внимание. Первое особое внимание уделяйте структуре API и БД. Старайтесь замечать, какие у вас сущности есть в реальной жизни. Пытайтесь переложить эту структуру примерно таким же образом в цифровом виде. Старайтесь не сильно её сокращать, не сильно расширять.

Второе есть ошибки, исправление которых стоит дорого. Ошибки на уровне API исправлять сложнее, чем ошибки на уровне баз данных, потому что обычно API пользуется много клиентов. И когда вы сильно меняете API, вам придётся:

  1. дойти до всех клиентов, обеспечить обратную совместимость;
  2. выкатить новый API, всех клиентов переключить на новый API;
  3. выпилить старый код о клиентах, выпилить старый код на бэкенде.


Это очень затратно.

Ошибки в коде по сравнению с этим вообще ерунда. Код вы просто переписали, прогнали тесты. Тесты зелёные вы запушили в мастер. А вот API базы данных уделяйте особое внимание.

И как бы вы хорошо ни старались следить за базой данных, через какое-то время она превратится во что-то неуправляемое. На скрине вы видите одну десятую часть нашей базы данных, которая сейчас существует.



Есть один совет. Когда вы очень быстро разрабатываете что-то, в базе данных возникают неточности, иногда не хватает внешнего ключа или появляется дубль поля. Поэтому иногда, раз в два-три месяца, просто смотрите только на базу. Та же Intellij IDEA умеет генерировать классные схемы. И там это всё видно.

Ваша база данных должна быть адекватной. Очень легко за час сделать список из шести тикетов: здесь добавить внешний ключ, там индекс. Как бы вы ни старались, какой-то мусор неизбежно будет накапливаться.

История третья про качество


Есть вещи, которые лучше с самого начала делать хорошо. Важно действовать по принципу нормально делай нормально будет.

Например, у нас есть один процесс, который крайне важен для платформы. Весь день мы набираем заказы на завтрашний день, но вечером срабатывает пометка, что после 22:00 мы не набираем заказы, а до 01:00 готовимся к завтрашнему дню. Потом начинается распределение заказов по сортировочным центрам. Мы идём в Яндекс.Маршрутизацию, она строит маршруты.

И если эта подготовительная работа сорвётся, весь завтрашний день под вопросом. Завтра курьерам некуда будет ехать. У них не создано состояние. Вот это в нашей платформе самый критичный процесс. И такие важные процессы нельзя делать по остаточному принципу, с минимальными ресурсами.

Я помню, у нас было время, когда этот процесс сбоил, и несколько недель чуть ли не половина команды в чате решала эти проблемы, все спасали положение, что-то переделывали, перезапускали.

Мы понимали, что если процесс не завершится с десяти вечера до часу ночи, то сортировочные центры даже не будут знать, как им сортировать заказы, на какие кучки. Там будет всё простаивать. Курьеры выйдут позже, и у нас будут провалы по качеству.

Такие процессы лучше сразу делать максимально хорошо, продумывая каждый шаг, где может что-то пойти не так. И подкладывать везде максимальное количество соломки.

Расскажу про один из вариантов, как можно настроить такой процесс.

Процесс этот многосоставный. Расчёт маршрутов и их публикацию можно разбить на части и, например, создать очереди. Тогда у нас есть несколько очередей, которые отвечают за законченные участки работы. И есть consumer на этих очередях, которые сидят и ждут сообщения.



Например, день закончился, мы хотим рассчитать маршруты на завтра. Мы отправляем запрос в первую очередь: сформируй задание и запусти расчёт. Consumer забирает первое сообщение, идёт в сервис маршрутизации. Это асинхронный API. Consumer получает ответ, что задача взята в работу.

Он кладёт этот ID в базу, а в очередь с заданиями в обработке кладет новое задание. И всё. Из первой очереди сообщение исчезает, просыпается второй consumer. Он берёт второе задание на обработку, и его задача регулярно ходить в маршрутизацию и проверять, не выполнилась ли еще эта задачка на расчёт.

Задача уровня создай маршруты для 200 курьеров, которые развезут несколько тысяч заказов в Москве занимает от получаса до часа. Это действительно очень сложная задача. И ребята из этого сервиса очень крутые, они решают сложнейшую алгоритмическую задачу, которая требует большого количества времени.

В итоге consumer второй очереди будет просто проверять, проверять, проверять. Через какое-то время задача выполнится. Когда задача выполняется, мы получаем ответ в форме нужной структуры завтрашних маршрутов и смен для курьеров.

Мы кладём то, что рассчиталось, в третью очередь. Сообщение исчезает из второй очереди. И просыпается третий consumer, берёт этот контекст с сервиса Яндекс.Маршрутизация и на его основе создаёт state завтрашнего дня. Он создаёт задания курьеров, он создаёт заказы, создаёт смены. Это тоже немалая работа. Он тратит на это какое-то время. И когда всё создано, эта транзакция завершается и задание из очереди удаляется.

Если на любом участке этого процесса что-то идёт не так, сервер перезагружается. При последующем восстановлении мы просто увидим тот момент, на котором мы закончили. Допустим, прошла первая фаза и вторая. И перейдём к третьей.

С такой архитектурой последние месяцы у нас всё идёт довольно гладко, проблем нет. Но раньше был сплошной try-catch. Непонятно, где процесс сбоился, какие статусы поменяли в базе данных и так далее.

Есть вещи, на которых лучше не экономить. Есть вещи, с которыми вы сэкономите себе кучу нервных клеток, если сразу сделаете всё хорошо.

Что мы сделали в офлайне


Я описал большую часть того, что происходит на нашей платформе. Но кое-что осталось за кадром.

Мы узнали про софт, который помогает курьерам развезти заказы в рамках дня. Но кто-то должен эти кучки для курьеров сделать. В сортировочном центре люди должны рассортировать большую машину заказов по маленьким кучкам. Как это делается?

Это вторая часть платформы. Мы сами написали весь софт. У нас теперь есть терминалы, с помощью которых кладовщики считывают код с коробочек и кладут их в соответствующие ячейки. Там довольно сложная логика. Этот бэкенд не сильно проще, чем тот, про который я уже рассказывал.

Эта вторая часть пазла была необходима, чтобы вместе с первой дать возможность распространять процесс на другие города. Иначе нам пришлось бы в каждом новом городе искать подрядчика, который смог бы наладить обмен какими-нибудь экселями по почте, либо интегрироваться с нашим API. И это было бы очень долго.

Когда у нас есть первая и вторая часть пазла, мы просто можем арендовать какое-то здание, нанять курьеров на машинах. Сказать им, как нажимать, что нажимать, как пикать, какую коробку куда класть, и всё. Благодаря этому мы уже запустились в семи городах, у нас больше десяти сортировочных центров.

И открытие нашей платформы в новом городе по времени занимает совсем немного. Более того, мы научились не только развозить заказы по конкретным людям. Мы умеем с помощью курьеров привозить заказы в пункты выдачи. Мы также написали софт для них. И на этих точках тоже выдаём заказы людям.

Итоги


В начале я говорил, зачем мы начинали создавать собственную курьерскую платформу. Теперь расскажу, чего мы достигли. Это невероятно, но при использовании нашей платформы мы смогли приблизиться почти к 100% попадания в интервал. Например, за последнюю неделю качество доставляемости в Москве было порядка 9598%. Это значит, что в 9598% случаев мы не опаздываем. Мы укладываемся в интервал, который выбрал клиент. И мы даже не могли мечтать о такой точности, когда полагались исключительно на внешние службы доставки. Поэтому сейчас мы постепенно распространяем нашу платформу на все регионы. И будем улучшать доставляемость.

Мы получили нереальную прозрачность. Эта прозрачность нужна и нам. У нас всё логируется: все действия, весь процесс выдачи заказа. У нас есть возможность вернуться в историю на пять месяцев и сравнить какую-то метрику с текущей.

Но также мы дали эту прозрачность клиентам. Они видят, как к ним едет курьер. Они могут взаимодействовать с ним. Им не нужно звонить в службу поддержки, говорить: Где мой курьер?

Вдобавок получилось оптимизировать издержки, потому что у нас есть доступ ко всем элементам цепочки. В итоге сейчас довезти один заказ стоит на четверть дешевле, чем это было раньше, когда мы работали с внешними службами. Да, траты на доставку заказа уменьшились на 25%.

И если обобщать все идеи, о которых шла речь, можно выделить следующее.

Вы должны чётко понимать, на каком этапе развития находится ваш текущий сервис, ваш текущий проект. И если это состоявшийся бизнес, которым пользуются миллионы людей, которым пользуются, возможно, в нескольких странах, вы не можете всё делать на таком уровне, как с Ровером.

Но если у вас эксперимент Эксперимент отличается тем, что в любой момент, если мы не показываем обещанных результатов, нас могут закрыть. Не взлетело. И это нормально.

И в таком режиме мы находились около десяти месяцев. У нас были отчётные интервалы, каждые два месяца мы должны были показывать результат. И у нас всё получилось.

В таком режиме, мне кажется, вы не имеете права делать что-то, инвестируя в long-term и не получая ничего на короткой дистанции. Столь сильно закладываться на будущее в таком формате работы нельзя, потому что будущее может просто не наступить.

И любой грамотный разработчик, технический руководитель должен постоянно выбирать между тем, чтобы сделать на костылях или сразу строить космолёт.

Если говорить коротко, постарайтесь делать максимально просто, но оставляя возможности для расширения.

Есть первый уровень, когда нужно делать совсем просто. А есть первый уровень со звёздочкой, когда ты делаешь просто, но оставляешь хотя бы немного пространства для манёвра, чтобы это можно было расширить. При таком мышлении, мне кажется, результаты будут гораздо лучше.

И последнее. Я рассказывал про Ровер, что хорошо подобные процессы делать с помощью featureflags (фиче-флагов). Советую послушать доклад Марии Кузнецовой с митапа по Java. Она рассказывала, как устроены фиче-флаги в нашей системе и мониторинге.
Подробнее..

Как не держать лишнее железо и справляться с ростом нагрузки внедрение graceful degradation в Яндекс.Маркете

14.01.2021 12:05:51 | Автор: admin

Привет, меня зовут Евгений. Я разрабатываю инфраструктуру поиска Яндекс.Маркета. Хочу рассказать, как graceful degradation помогает нам обрабатывать больше запросов, чем физически могут выдержать наши сервера, и что происходит с поиском в Маркете, если один из дата-центров отключается.

Проблема

Все критичные сервисы в Яндексе должны переживать отключение одного из дата-центров (ДЦ), поэтому обычно они размещаются минимум в трёх ДЦ.

Обычное состояниеОбычное состояние

Но когда все ДЦ работают, каждый из них оказывается задействован лишь на 60%. Ещё 10% резервируются для экспериментов и непредвиденного роста, а оставшиеся 30% используются только в случае, если один из ДЦ отключается, и нужно перераспределить запросы.

ДЦ 2 отключёнДЦ 2 отключён

Если сервис работает на сотнях серверов, 30% это огромное количество железа. А поскольку отключаются ДЦ очень редко, резервные мощности почти всегда простаивают.

Нам хотелось бы меньше греть воздух, ведь если сократить количество железа в каждом ДЦ хотя бы на 10%, речь уже шла бы о внушительных суммах. При этом, если просто вытащить часть железа, а затем при пиковой нагрузке какой-то из ДЦ отключится, оставшиеся мощности могут не справиться. Резко вырастет время ответа пользователю, а некоторые запросы будут вообще оставаться без ответа.

ДЦ 1 и ДЦ 3 не справляются с нагрузкойДЦ 1 и ДЦ 3 не справляются с нагрузкой

Применяем graceful degradation

Graceful degradation или изящная деградация это подход к построению систем, при котором система продолжает выполнять свою основную функцию, даже если отдельные её элементы вышли из строя.

Мой коллега из Яндекс.Такси уже рассказывал про graceful degradation в случае, когда ломается часть сервиса. Мы же применили этот подход на бэкендах для ситуации, когда у нас отключается значительное количество серверов.

Нашей целью было сделать так, чтобы сервис продолжал работать полностью, но нагрузка на него уменьшалась бы, а пользователи при этом не замечали бы разницы. Мы хотели научить наш поисковый сервис понижать среднюю нагрузку от одного запроса, что позволило бы обрабатывать большее количество запросов на меньшем количестве железа.

Чтобы запустить graceful degradation, нам надо было решить две задачи:

  1. Разработать механизм уменьшения нагрузки.

  2. Сделать автоматизацию включения механизма.

Механизм уменьшения нагрузки

Уменьшить нагрузку можно по-разному. Один из вариантов отвечать ошибкой на некоторые запросы. Но тогда надо понять, на что можно так отвечать, а на что нет. То есть нужен какой-то параметр важность, которого мы не знаем. Если спросить у наших клиентов, что важно, они ответят, что важны все запросы, и ничего нельзя отбрасывать. Поэтому этот путь нам не подошёл.

Другой вариант использовать облегчённый алгоритм ранжирования. Минус в том, что это долго и сложно новый алгоритм надо обучить и потом постоянно переобучать. Кроме того, состояние нашей системы может быть только вкл. или выкл., а нам хотелось бы иметь механизм плавного уменьшения нагрузки.

Таким образом, мы выбрали третий вариант снижать качество. Основное преимущество этого подхода возможность уменьшать нагрузку на 5%, 10% и так далее.

Допустим, вы ищете себе новый телефон и заходите в категорию Смартфоны на Яндекс.Маркете. Я уже подробно описывал, как работает наш поиск: запрос отправляется во фронтенд, надо показать пользователю 48 лучших предложений из категории с телефонами для конкретного региона. Фронтенд делает свой запрос в поисковый бэкенд.

Бэкенд получает запрос и раcпределяет его на 8 серверов с шардами. В шардах хранятся предложения от магазинов.

Общая схема обработки поискового запросаОбщая схема обработки поискового запроса

На каждом шарде поиск проходит несколько стадий. На стадии фильтрации ищется примерно 50000 предложений, это число зависит от категории. На этапе ранжирования для каждого предложения вычисляется релевантность, учитывается цена, рейтинг товара, рейтинг магазина и ещё более 2000 факторов. ML по факторам вычисляет вес каждого предложения. Затем берётся только 48 лучших. Meta Search получает эти 48 предложений с каждого шарда, то есть всего 48*8=384 предложения. Предложения снова ранжируются, опять берётся 48 лучших. Последние 48 уже показываются пользователю. То есть чтобы показать нашим пользователям 48 телефонов, мы обрабатываем 400 000 предложений.

Количество обрабатываемых документов без graceful degradationКоличество обрабатываемых документов без graceful degradation

В случае с graceful degradation, когда надо уменьшить нагрузку, мы можем скомандовать: теперь обрабатывай 95% документов, а теперь 90% или 80%. Если обрабатывать 95%, то есть 400000*0.95=380 000 документов, то из них всё равно выбираются 48 лучших предложений для выдачи. И в среднем только 2 предложения будут отличаться от изначальной выдачи без снижения качества. При таком маленьком изменении большинство пользователей даже не заметят разницы.

Количество обрабатываемых документов при включении механизма уменьшения нагрузкиКоличество обрабатываемых документов при включении механизма уменьшения нагрузки

Автоматизация включения механизма

Автоматизация работает за счёт постоянного мониторинга загрузки CPU. Если нагрузка становится выше 90%, автоматика начинает снижать качество. На 90% снижение небольшое, но если нагрузка продолжает расти, процент деградации повышается линейно и доходит до максимума при 100% загрузки CPU. Такой подход позволяет снижать качество минимально.

Общий алгоритм выглядит так:

При выключении ДЦ: балансеры перераспределяют запросы в оставшиеся ДЦ => нагрузка на CPU повышается => при превышении порогового значения происходит снижение качества по заданной формуле.

При включении ДЦ: балансеры перераспределяют запросы на все ДЦ => нагрузка на CPU снижается => понижение качества прекращается.

Повышение нагрузки при выключении ДЦ. Линии на верхнем графике показывают загрузку CPU в отдельных ДЦ. Нагрузка выросла с 82% до 98%. Нижний график показывает процент срезанных документов. Повышение нагрузки при выключении ДЦ. Линии на верхнем графике показывают загрузку CPU в отдельных ДЦ. Нагрузка выросла с 82% до 98%. Нижний график показывает процент срезанных документов.

Внедрение

Для внедрения мы провели несколько экспериментов и понижали качество на небольшом проценте пользователей. В течение недели мы постоянно отслеживали уменьшение нагрузки и одновременно количество переходов на магазины-партнёры. Имея на руках цифры, мы договорились с бизнесом на максимальное снижение кликов в 1% при снижении качества. Исходя из этого мы посчитали, сколько серверов можем отдать другим проектам или выключить для резерва. У нас получилось 15% всех мощностей поиска.

В конце, когда всё было готово, мы провели эксперимент с отключением дата-центра, чтобы убедиться, что всё работает как надо.

Выводы

Graceful degradation хороший способ не держать в резерве много железа на случай большой аварии вроде отключения дата-центра, а также для кратковременных повышений нагрузки, например, нашествия поисковых ботов.

Подробнее..

Управление системой NooLite через голосового помощника Алиса с помощью умного пульта Яндекса

21.04.2021 12:06:56 | Автор: admin

Я хочу рассказать о одном из способов управлять беспроводной электрикой NooLite с помощью голосового помощника и смартфона (плюс как бонус с компьютера или любого ИК-пульта без Интернет-шлюза).

Вся электрика в квартире и на даче у меня построена на системе NooLite. Почему именно NooLite? Начну издалека. С продукцией фирмы "Ноотехника" я познакомился еще в прошлом веке. Это были блоки защиты галогенных ламп. Они мне очень понравились - свет включался плавно и лампы служили намного дольше. Но вскоре на смену галогенным лампам пришли люминисцентные и блоки защиты стали неактуальны. Потом в квартире был ремонт, стоивший мне немало седых волос и когда через некоторое время возникла необходимость перенести и добавить выключатели, одна мысль о штроблении стен, пыли, грязи и переклейке обоев просто ввергала меня в ужас. Именно тогда я и познакомился с системой беспроводного управления освещением от NooLite. В то время еще не было Xiaomi, Sonoff, Tuya и других недорогих альтернативных решений. Были системы умного дома от европейских серьезных производителей, но там цена вопроса была просто неадекватной. Я решил все свои проблемы с переносом выключателей, разбиением освещения на зоны, сценариями освещения, проходными выключателями, включением-выключением вентиляции и удаленным управлением светом в сараях и гараже на даче с помощью самых первых NooLite, без шифрования и обратной связи.

Все что я сделал много лет назад работает до сих пор, батарейки в пультах менял 1 или 2 раза, в зависимости от интенсивности пользования. Потом добавился беспроводной датчик движения на двери в туалете, позволяющий маленькому ребенку без страха ходить туда (свет включается уже при начале открывания двери) и автоматически выключающий свет и таймеры в туалете и ванной, включающие вытяжку через заданное время после зажигания света и поддерживающие ее включенной некоторое время после выключения. Одно время я крепко задумался о настоящем "умном доме", купил несколько силовых блоков, пультов, датчики температуры и влажности, продумывал структуру. Но потом передумал, так как понял что в не такой уж большой двухкомнатной квартире мне это не нужно. Я так и остался верен системе NooLite, хотя сейчас хватает альтернатив и некоторые из них дешевле и выглядят, возможно, современнее чем изделия Ноотехники. Но тут у меня есть определенные условия. Во-первых, управление моим освещением и электронными устройствами не должно зависеть от китайского облака и вообще от наличия/отсутствия Интернет, тем более что в последние месяцы у нас в городе практикуется периодическое его отключение или замедление (Интернет и wi-fi только как бонус в управлении). Во-вторых, я не хочу держать постоянно включенными узкоспециализированные шлюзы и компьютеры, и так хватает устройств, которые включены постоянно. В-третьих, для меня очень важны надежность и гарантия, больше чем цена. У меня сами по себе перестали функционировать две розетки SmartPlug от Хiaomi и я не смог их починить. Пришлось выбросить. Вышедшие из строя силовой блок и таймер для санузлов в Ноотехнике мне просто поменяли на новые, не уточняя кончилась ли гарантия и не спрашивая при каких условиях они перестали работать (при проведении экспериментов бывает всякое). Это Lifetime warranty в том виде, в котором она мне нравится. Ну и в-четвертых, дополнять уже работающую и хорошо зарекомендовавшую себя систему, проще и легче чем городить что-то другое.

Сейчас уже вовсю используется новое поколение NooLiteF с обратной связью и шифрованием, но для пользователя мало что поменялось, монтаж, привязка и отвязка такие же простые, надежность тоже вроде на высоте. А обратная связь, прошивка "по воздуху" и возможность считать состояние устройства это бонус, кому-то нужный, кому-то нет.

Вроде все хорошо, но сейчас мне уже хочется, как дополнительную опцию, иметь иногда возможность управления NooLite через Интернет. Такая опция у Ноотехники есть. И даже существуют приложения для смартфонов под Android и iOS. Но для этого нужно докупать Интернет-шлюз PRF-64 или контроллер PR-1132, которые стоят больше $100 и должны быть все время включены. Это еще одно постоянно включенное в розетку устройство с весьма узкими возможностями. А с появлением дома умной колонки с голосовым помощником Алиса, захотелось "подружить" Алису с NooLite.

Раз хочется сделаем. Для начала я забил в поиск Гугла " NooLite и Алиса". Зачем изобретать велосипед, вдруг уже давно все решено? И да, мне выдало несколько уже готовых решений, но все они показались мне излишне сложными. Вот например:

На Хабре есть статья "Обход noolite роутера через mtrf64+esp8266+MQTT Buddy Android app".

Там сказано что модуль mtrf64 подключен по UART к esp8266, которая в свою очередь выходит в интернет через ваш роутер и подключается к MQTT бесплатному брокеру. Вы, как пользователь, через мобильное приложение так же подключаетесь к этому облачному брокеру и начинаете посылать команды в MQTT каналы, которые в свою очередь разбираются на лету и в зависимости от команды передаются по UART MTRF64 модулю. Проблему управления через Интернет без дорогостоящего и узкоспециализированного интернет-шлюза от Ноотехники это решает. Но "бесплатный облачный брокер" в связке с ESP8266 почему-то не вселяет в меня уверенности в надежности. Да и голосовое управление прицепить будет непросто (или невозможно?). А значит мне не подходит.

Второе решение реализовано через цепочку навык "Домовенок Кузя"-IFTTT-IHC-шлюз Broadlink (то есть все равно покупка шлюза)-NooLite.

Перспектива регистрации на всех этих сайтах и прописывания настроек меня как-то не воодушевила. Надежность работы такой дли-и-и-нной цепочки тоже не внушает мне доверия. Да и задержка исполнения 3 сек. и более напрягает. Хочется более простого и изящного решения без такой длинной цепочки.

Я начал думать и ставить себе задачу. Покупать какие-то шлюзы без уверенности что это мне нужно и я буду этим пользоваться не хочется. Значит нужно делать из того что есть в наличии. А что у меня есть?

  1. Колонка IRBIS с голосовым помощником Алиса.

  2. Несколько силовых блоков первой серии без обратной связи.

  3. Модули MT1132 и MTRF-64 для управления NooLite и NooLite-F c помощью контроллеров.

  4. Несколько плат Arduino.

Не густо. Логическая цепочка не просматривалась до тех пор пока мне на глаза не попал умный пульт Яндекса. И сразу все встало на свои места. Яндекс напрямую работает со своим пультом, а тот умеет записывать любой ИК-сигнал и передавать его по команде. К Arduino подключены ИК-приемник и модуль управления системой NooLite. По-моему, гениально проще некуда. Умный пульт от Яндекса стоит меньше чем $20 и это устройство универсальное, может использоваться для управления другой техникой (кондиционер, телевизор, ресивер и т.п.), а значит покупка его не бессмысленна. Вероятно, точно также будет работать и универсальный пульт от Tuya, который стоит еще дешевле, но после знакомства с умной колонкой IRBIS (звук и микрофоны у нее довольно посредственные а часть сервисов Яндекса не работает) я убедился что лучше заплатить дороже но взять оригинал, есть вероятность что будет выше качество и меньше глюков. Поэтому пульт выбрал оригинальный от Яндекс, не хочется взять стороннее решение, сэкономить пару долларов и узнать что снова часть функций не работает.

Теперь о модулях управления NooLite. У меня в наличии есть несколько вариантов модулей, которые можно подключить к контроллеру (Arduino).

О модулях MTRF-64 и MTRF-64-USB

По сути MTRF-64 и MTRF-64-USB это одно и то же. Просто у MTRF-64 незапаяна часть деталей и отсутствует корпус и USB разъем, но присутствуют пины.

Модуль MTRF-64, как видно из названия, 64 канальный, может отправлять команды старой системе без обратной связи и отправлять команды и принимать ответ новой системе с шифрованием и обратной связью.

MTRF-64MTRF-64

Технически сделано так, что именно с Arduino MTRF-64 использовать неудобно. Arduino запитывается напряжением 5В а MTRF-64 - 3,3В. Потребуется отдельное питание (на плате не запаян стабилизатор питания 3,3В, хотя место под него есть), отстутствует согласование уровней UART (это ведь не сложно предусмотреть и пара транзисторов практически не увеличила бы цену модуля).

MTRF-64-USB то же самое с запаянной на плате микросхемой переходника USB-UART и еще кое-какими деталями.

MTRF-64-USBMTRF-64-USB

Смысл существования данного контроллера мне вообще малопонятен. Я слабо себе представляю как его реально можно использовать.

Казалось бы, отличная вещь, позволяющая упростить и ускорить процесс отладки проектов. Подключил в USB, посылай из терминала в COM порт последовательности... Но у меня так сделать не получилось. В техдокументации на контроллер такая возможность тоже не описана. Чтобы работать с контроллером есть специальная программа nooLite_ONE. Ее можно скачать с сайта Ноотехники. Но это если найдете, потому что со страницы самого контроллера ссылки на нее на данный момент нет.

Теперь про саму программу. Я не знаю кто ее написал, но она ужасна. Внешний вид и цветовые решения наверняка вызовут у больного эпилепсией приступ. Внутри - куча несуразностей. Такое чувство что просто взяли сервисную программу, которой пользовались разработчики и сообщения которой нужны и понятны только им и прилепили сверху малоинформативную и путаную часть для обычных пользователей. Может поэтому нумерация каналов в "лоховской" части начинается с единицы а в сервисной "профи" с нуля? Да, программой можно кое-как пользоваться приловчившись, но если вы думаете что она поможет вам при написании своей программы, подскажет код отправки контроллеру и посчитает контрольную сумму, то нет.

Документирована возможность отправки команд через API программы из командной строки. Но... при этом программа должна быть уже запущена и, да, из командной строки команды отправляются. Но когда я попробовал записать последовательность команд (или одну команду) в BAT-файл у меня ничего не получилось. Может быть это я такой криворукий...

Про программу nooLite_ONE и ее недостатки можно написать много, но лучше от этого она не станет и смысла в ее существовании не прибавится, поэтому не буду больше тратить на это время.

Мысли вслух и хотелки...

Мне вообще непонятен смысл существования двух недомодулей MTRF-64 и MTRF-64-USB. Зачем плодить сущности? Гораздо больше смысла было бы производить и продавать одну полную версию со всеми запаянными деталями и USB-разъемом, пинами и корпусом в комплекте и любой человек, приобретя его, смог бы использовать его по своему усмотрению без "допиливания".

Помечтаем:

Хорохо было бы, если бы существовала внятная инструкция как настроить терминал для отправки команды на блок управления без спецсофта, если это вообще возможно...

А еще, хорошо бы иметь простую кроссплатформеннуюя программку или страницу на сайте где можно было бы выбрать что вы хотите отправить контроллеру и получить готовый набор байт с посчитанной контрольной суммой...

Да, и согласование уровней логики неплохо бы учесть, позаботиться о пользователях и упростить им жизнь, ведь изделие нужно не просто сделать, нужно еще чтобы его покупали...

Теперь про более старые версии контроллеров (уже сняты с производства).

О модулях MТ1132 и МР1132

MТ1132 - 32 канальный, может только отправлять команды системе без обратной связи.

MT-1132MT-1132

Питание 3 ... 5В, к Arduino подключается напрямую, ничего согласовывать не нужно. Управление модулем осуществляется через стандартный интерфейс UART. Скорость передачи данных - 9600 бит/сек., 8 бит данных, 1 стартовый бит, 1 столовый бит, бит четности - отсутствует. Передача от младшего к старшему биту. Для управления модулем необходимо передать через UART пакет из 12 байт. Описание отправляемых данных есть в техдокументации (не идеальной, но какая есть) к модулю.

МR-1132 - 32 канальный, может только принимать данные от датчиков NooLite.

MR-1132MR-1132

Чтение документации на модуль MTRF-64 и готовых библиотек навеяло на меня печаль. 64 канала для эксперимента мне не нужны, шифрование и обратная связь тоже, так как силовых блоков NooLiteF у меня нет, буду использовать те что были куплены ранее, без обратной связи, в частности SU-111-200. Поэтому выбор был сделан в пользу MT1132, пусть он уже снят с производства, но он у меня-то он есть в наличии. На том же принципе совсем несложно сделать и управление с шифрованием и обратной связью, было бы желание (просто вместо 12 байт, как для MT1132, отправлять 17 байт на MTRF-64).

Наверно основным плюсом для меня было то что на GitHub обнаружилась библиотека ardunoo для управления MT1132 с помощью Arduino от zhum (Сергей Жуматий), за что ему огромное спасибо! Эта библиотека сводит написание программы управления к нескольким строкам. А умеет библиотека все немало: привязывать и отвязывать силовые блоки, включать и выключать свет, записывать и исполнять сценарии, плавно менять яркость источника света.

В комплекте с библиотекой есть пример скетча с комментариями, который при запуске позволяет выполнять все эти действия вводя буквы в штатный Serial Monitor среды Arduino.

О грустном...

Вот если бы Ноотехника ВСЕ свои изделия сопровождала понятной документацией, примерами и библиотеками, как это сделал для них Сергей Жуматий...

Мало сделать отличное "железо", это "железо" нужно продать, убедив покупателя что купив NooLite он не встретит трудностей с внедрением и настройкой! Чтение документации на MTRF-64 и знакомство с программой nooLite_ONE меня в этом не убедили.

Что ж, определились, будем использовать модуль MT1132. Подключаем Arduino к модулю в соответствии со схемой из документации.

Я использовал контактную макетную плату с набором проводов, это очень ускоряет монтаж. TX модуля подключаем к 10 пину а RX к 11 пину Arduino. Для первых экспериментов взял свой "боевой" китайский клон UNO, уже паленый, с усиленным стабилизатором питания (от него же будет питаться и MT1132), когда все заработало заменил UNO на NANO, его удобно разместить прямо на макетной плате. Для приема команд нам понадобится IR приемник. У меня нашелся TSOP2836, если не ошибаюсь (пробовал и другие, разницы в работе особо не заметил, важно только соблюдать распиновку). Подключаем его в соответствии со схемой включения Vcc к 5В, GND к общему проводу а OUT к 2 пину Arduino.

Берем пример скетча из библиотеки ardunoo и исправляем в ней строку с выбором канала на котором будем работать с силовым блоком, выбираем 8-й канал.

 noo.channel(8);     // Let's command 2-th channel

Запускаем скетч, открываем Serial Monitor и введя в него букву "b" привязываем силовой блок. Теперь можно поиграться, вводя "n" зажигаем свет, "f" - гасим, "x"- меняем состояние и т.п. Убедились что все работет? Идем дальше.

Теперь нам понадобится стандартная библиотека IRremote. которая предназначена для упрощения работы с приёмом и передачей ИК сигналов. С помощью этой библиотеки будем принимать команды с пульта, и выводить их в окно Serial Monitor среды Arduino.

Берем любой IR-пульт (я взял от автомобильного трансмиттера).

Нажимая кнопки, в окне монитора последовательного порта видим соответствующие им коды, расшифрованные arduino. Я не знаю коды всех ли пультов сможет расшифровать библиотека IRremote, но всегда можно что-то подобрать, что по командам не будет пересекаться с устройствами в доме.

Я выбрал три кнопки и решил что одна из них будет включать свет, вторая выключать, а третья - менять состояние.

Вписываем коды выбранных кнопок для вызова функций noo.on(), noo.off() и noo.onoff(). При желании можно дописать другие функции и коды.

Проверяем работу от пульта. Свет включается, выключается и переключается, все как и было задумано. Также сохранилось управление, отправкой буквы в серийный порт (мне это не нужно, но не мешает).

Теперь переходим к управлению с помощью голосового помощника Алиса. Запускаем Яндекс, переходим в раздел устройства.

и выбираем Умный пульт Яндекс (его я установил раньше и планирую использовать и с другими устройствами, имеющими IR-порт). Нажимаем кнопку "Добавить устройство". Выбираем "Настроить вручную".

Вводим название устройства (имеется ввиду наше устройство), я назвал его "На полке". Название устройства нужно выбирать несложное и легкопроизносимое, иначе Алиса будет ошибаться и неправильно распознавать это название, что сделает ввод команд затруднительным.

Дальше производим обучение пульта. Нажимаем "Добавить команду".

Задаем голосовую команду, выбирая из предложенных вариантов или пишем свою. Следуя подсказкам берем пульт.

и нажимаем кнопку, сигнал которой хотим записать в соответствии с выбранной командой.

Так последовательно записываем все команды для выбранных кнопок.

Теперь среди устройств появилось "На полке"

и пульт управления к нему из созданных команд.

Также есть вкладка "Голосовые команды" с подсказками.

Проверяем. Подаем команду из подсказки. Работает, задержки почти нет.

Я пока не планирую пока использовать управление системой NooLite через умный пульт Яндекса на постоянной основе, мне было интересно проверить такую возможность, поэтому я не изготавливал печатной платы и не приводил то что у меня получилось к виду законченного изделия. Пока все выглядит вот так.

Но при желании Arduino и модуль МТ1132 можно разместить в пластиковый корпус, прозрачный для инфракрасных лучей. IR-приемник очень чувствительный а Яндекс-пульт посылает мощный сигнал, поэтому располагать пульт и приемник соосно в прямой видимости не понадобится. При необходимости можно будет добавить еще один или несколько IR-приемников подключив их или паралельно или каждый к отдельному пину Arduino. Но пока и так все работает отлично.

Подведу итог: идея работает, все просто и наглядно. Освещением (или любой другой нагрузкой) можно управлять помощью:

  1. компьютера через Serial Monitor;

  2. пульта от любой бытовой техники;

  3. пульта умного дома Яндекс;

  4. голосового помощника Алиса на смартфоне, компьютере или колонке.

Исходники

Ссылка на библиотеку ardunoo

Библиотека IRemote

Программа от zhum c моей вставкой:

/*Let you connect MT1132 to your arduino like this:+---------+               +------------+| MT1132  +-(RX)-----(11)-+ Tx Arduino ||         +-(TX)-----(10)-+ Rx         ||         |               |            |*/#include <SoftwareSerial.h>#include <ardunoo.h>#include <IRremote.h>#define RXpin 10#define TXpin 11IRrecv irrecv(2); // указываем вывод, к которому подключен приемникdecode_results results;ArduNoo noo(RXpin,TXpin);void setup(){  Serial.begin(9600);  irrecv.enableIRIn(); // запускаем прием  noo.channel(8);     // Let's command 8-th channel    // ...}void loop(){  int r;  r=Serial.read();  if(r<='9' && r>='0'){ // change channel    noo.channel(r-'0');    return;  }  switch(r){  case 'n': //on    noo.on();    break;  case 'f': //off    noo.off();    break;  case 'x': // toggle    noo.onoff();    break;  case 'c': //print current channel    Serial.print(noo.channel());    break;  case 'b': //bind    noo.bind();    break;  case 'u': //unbind    noo.unbind();    break;  case '+':    noo.slow_on();    break;  case '-':    noo.slow_off();    break;  case '!':    noo.slow_onoff();    break;  case 'r': // record scene!    noo.record_scene();    break;  case 'R': // run scene!    noo.run_scene();    break;  case 's': // toggle 3-rd channel    noo.onoff();    break;  }    if ( irrecv.decode( &results )) { // если данные пришли    Serial.println( results.value ); // печатаем данные в Serial Monitor    if (results.value == 16753245)  //код кнопки, выбранной для выключения   {           noo.off();    //выключаем свет        }    if (results.value == 16769565)  //код кнопки, выбранной для включения   {      noo.on(); //включаем свет           }   if (results.value == 16736925)  //код кнопки, выбранной для изменения состояния      {           noo.onoff();   //меняем текущее состояние света         }    irrecv.resume(); // принимаем следующую команду  }}

Если кому-нибудь понравится - пользуйтесь.

Подробнее..

Машинное обучение и главные вопросы мира, вселенной и всего такого

10.02.2021 16:11:31 | Автор: admin
Что-то вроде тизера. Без машинного обучения и анализа данных, учёные бы искали бозон Хиггса до сих пор. Тёмную материю тоже можно искать с помощью машинного обучения, и вообще для решения оставшихся перед нами загадок Вселенной, похоже, нужна не только физика.




Этот пост написан по мотивам эпизода подкаста Проветримся!. В нём мы говорили с Андреем Устюжаниным, руководителем лаборатории машинного обучения Лямбда в ВШЭ.

Сотрудники лаборатории Лямбда применяли машинное обучение к физическим задачам задолго до того, как это стало мейнстримом. Первые совместные проекты начались ещё в 2011 году, а спустя год сотрудничество с ЦЕРНом начал Яндекс. Компания сначала подключилась к эксперименту LHCb (так называется самый маленький детектор Большого адронного коллайдера, который исследует асимметрию материи и антиматерии, в 2015 году с его помощью открыли пентакварки). Основным фокусом совместной лаборатории ВШЭ и Яндекса стало применение методов машинного обучения в решении фундаментальных задач естественных наук. Начать решили с физики и не прогадали, ИИ оказался там чрезвычайно полезен. Сейчас сотрудники Лямбды работают сразу с несколькими физическими экспериментами: их методы применяются в анализе данных телескопа Ферми, а также в проекте создания нового поколения инструментов для исследования космоса Cherenkov detector, или Cherenkov telescope array.

Кроме того, стало понятно, что если ты умеешь применять машинное обучение в физике, то до химии или биологии тебе буквально рукой подать. Так, в 2019 году Лямбда вела совместный проект с лабораторией популяционной геномики ВШЭ, ранее с нейробиологическим центром, обрабатывая данные, полученные с помощью энцефалограммы мозга, и изучая особенности эмоционального состояния человека.

Наука о данных и Большой Адронный Коллайдер


Эксперименты в ЦЕРНе самый крупный проект в резюме ребят из Лямбды, а может и вообще в истории науки. Главной задачей, для которой построили БАК, было найти бозона Хиггса частицу, отвечающую за гравитационное взаимодействие. Британский физик Питер Хиггс теоретически обосновал существование бозона, который назвали в его честь, ещё в шестидесятые. Проблема была в том, что обнаружить такой бозон в ходе эксперимента. Собственно, описать подобный эксперимент значительно проще, чем поставить: идея в том, чтобы разогнать и столкнуть пучки протонов. При столкновении лоб в лоб на околосветовых скоростях протоны разваливаются на кучу частиц. Экспериментатору остаётся ловить нужные частицы и пытаться измерить их свойства. Вокруг точек столкновения строятся сложные чувствительные элементы, чем-то похожие на матрицу современных фотоаппаратов, только реагируют они на единичные элементарные частицы, и пытаются реконструировать объёмную картинку столкновения.

Помимо чисто технических проблем с постановкой такого эксперимента возникают и вычислительные трудности. Детекторы генерируют очень много данных. ОЧЕНЬ МНОГО. Чтобы хранить что-то потенциально новое и интересное и не тратить время на частицы, которые детектор видел миллионы раз, нужна система быстрой фильтрации. Она использует машинное обучение. Однако, после того, как данные получены, их надо обработать: восстановить траекторию движения, смоделировать событие, породившее зарегистрированную частицу. Сейчас машинное обучение используется практически на каждом этапе работы с информацией в БАК от её детекции до фильтрации, переработки и анализа.

Как сделать научное закрытие?


Академику Капице приписывают афоризм: когда теория совпадает с экспериментом это уже не открытие, а закрытие. В некотором смысле, БАК занимается именно закрытиями. У исследователей есть какая-то модель того, что они ищут, какое-то теоретическое описание процессов, которые эксперимент пытается воспроизвести. Иногда, как в случае с бозоном Хиггса, теория утверждает, что какой-то объект существует, но ником раньше зарегистрировать его не удавалось. В других исследованиях, существование объекта установлено, но нужно измерить его свойства, которые ранее никто не измерял. За годы работы БАК практически все поставленные эксперименты легли в рамки стандартной модели. Это само по себе удивительно и в каком-то смысле является отдельным открытием: стандартная модель, сформулированная ещё в семидесятых годах двадцатого века, внезапно является достаточно точным описанием микромира.

Когда речь идёт о быстрой обработке огромного потока данных, который нужно соотнести с некоторым модельным описанием, машинное обучение оказывается незаменимым. Детекторы, расположенные в БАКе, собирают информацию о происходящем при столкновении частиц, а наука о данных позволяет выделить из большого облака частицы, которые кажутся наиболее интересными, проанализировать полученную информацию и рассчитать достоверность проверяемой гипотезы. На выходе можно получить несколько разных ответов:

  • Это что-то, что мы уже видели, но не то, что мы искали. Суровые будни работника коллайдера продолжаются;
  • Это что-то новенькое, но не то, что мы искали. Давайте посмотрим на это событие внимательнее;
  • Это то, что мы искали! Ура! Закрытие!

Citizen science


Часто самая сложная часть задачи верно подобрать стартовые значение параметров, которые позволили бы симулировать происходящее при эксперименте. Если модель правильно инициализировать, то она обучится и позволит улучшить итоговую точность расчётов. Если начальные параметры подобраны плохо, то от машинного обучения толку не будет. Такого рода проблемы регулярно возникают в задачах квантовой физики, к примеру, если хочется моделировать кубит квантового компьютера.

Я не верил в существовании интуиции, пока не попал в Хельсинки на квантовый Game Jam. Само мероприятие достойно отдельного поста, суть его в том, что несколько команд разработчиков за выходные собирают прототипы игр с квантовыми эффектами, используя для этого, к примеру, API квантового компьютера от IBM. Одна из организаторов мероприятия, профессор Сабрина Манискалко рассказала, чем игры с квантовыми эффектами могут быть полезны современной науке. Оказалось, люди методом проб и ошибок неплохо подбирают примерные параметры инициализации квантовой системы, а модели машинного обучения могут потом улучшить это решение. Люди сами при этом могу не вдаваться в детали квантовой системы, поведение которой для них симулирует игра. Они просто пытаются закинуть овощ в корзину или попасть в мишень, просто овощи и стрелы на экране мобильного ведут себя странновато.

Это один из примеров Citizen science. Это движение особенно популярно в Скандинавии. Суть его в том, что раз ты, учёный, живёшь на деньги налогоплательщиков, так что неплохо бы объяснять гражданам (желательно на доходчивых примерах), чем именно ты занимаешься, и зачем это нужно. Если ты можем привлекать людей к своей работе, это вообще прекрасно. Ребята Лямбды тоже популяризируют свою работу: ведут инстаграм, адаптируют свою работу для понимания студентов, которые только начинают разбираться в машинном обучении и могут применить его к задачам из физики, астрофизики или других наук.

Жизнь после коллайдера


Машинное обучение приносит пользу учёным не только в ЦЕРНе. К примеру, с его помощью можно искать экзопланеты: когда планета пересекает прямую, соединяющую звезду, вокруг которой она вращается, и землю, с которой мы на эту звезду смотрим, то светимость звезды немного снижается. Разрешающей способности наших телескопов не хватит, чтобы увидеть планету, но вот снижение яркости той или иной звезды мы заметить можем. Если прогнать через алгоритм анализа данных сотни часов наших наблюдений за звёздным небом, то по периодическому снижению светимости, алгоритм найдёт звёзды, вокруг которых вращаются планеты.

От задач планетарного масштаба можно перейти к масштабу галактическому. Дело в том, что вселенная расширяется, причём с ускорением. Для того, чтобы такое поведение вселенной сходилось с имеющимися у нас представлениями, о том, как устроен мир, где-то во вселенной должен быть спрятан большой запас массы. Именно эту не найденную материю и называется тёмной. Причём, по расчётам к данному моменту человечество изучило информацию только о 5 % массы Вселенной.

Мы видим, что звёзды на периферии вращаются примерно с той же угловой скоростью, что и звёзды в центре галактик, а это противоречит тому, что мы знаем о физике. Можно представить себе видимые звёзды как шоколадные кусочки в печенье. Есть огромное печенье, там мука, тесто, сахар и прочее, всё это вращается, и мы видим только шоколадные кусочки, но теста мы не видим. Тёмная материя это какая-то странная субстанция, которая просто гравитационно держит звёзды, не даёт им отставать от всего остального вращения галактики.

Вопрос заключается в том, сколько тёмной материи в каких областях накоплено и насколько структура галактики соответствует текущему представлению о структуре Вселенной. Сейчас ребята используют алгоритмы машинного обучения, чтобы оценить массы скопления галактик. Если мы правильно оценим распределение массы во Вселенной, то сможем лучше понять, что происходило в первые мгновения после Большого взрыва. Возможно, это даст нам подсказку, что же такое тёмная материя, и где её искать.

Проветримся! это подкаст для технооптимистов, в котором профессионалы делятся своим личным опытом. Квантовые вычисления, генетика, IT в регионах, искусственный интеллект. В общем, присоединяйтесь:








Подробнее..

Cобеседование на позицию стажера в Яндекс на аналитика данных

08.03.2021 16:15:18 | Автор: admin

Всем привет! Целью данного поста является:

  1. Поделиться личным опытом.

  2. Помочь другим кандидатам при подготовке к собеседованию в Яндекс

Часть 1. Подача заявки и Я.Контест

После прохождения десятка курсов на степике, я понял, что хочется применить этот опыт где-то и решил подать заявку на стажировку в Яндекс на позицию стажёра по направлению "Аналитик данных". Зашёл на сайт, заполнил анкету, через час получил ссылку на тестовое задание в Яндекс Контест. Увидел, что даётся 6 часов на решение задач и принял решение выделить утро субботы на прохождение теста.

Тест оказался не очень сложным, было 6 задач. 2 из них на математическую статистику (задачи A и B), 2 стандартные задачи на Питоне (C и D), 1 задача на базовые знание библиотеки Pandas (E) и задача на логику и аналитическое мышление.С последними двумя задачами я справился за полчаса, с первой задачей по матстату ещё минут за 10, на вторую задачу было потрачено 20 минут, и осталось целых 5 часов на 2 задачи на питоне. На каждую я потратил минут по 30, но в одной задаче не прошёл несколько тестов (скорее всего, условие мною было проинтерпретировано неверно), а в другой выдавал memory limit. В итоге, оптимизировать код и дорешать задачи до конца не вышло. Ещё раз проверил 4 прошлые задачи и отправил решения.На следующий день мне приходит письмо счастья от рекрутера о том, что со мной готовы провести техническое интервью и предложили выбрать время, также предупредили, что оно займёт около часа.

Часть 2. Первое интервью

Интересный момент, что получилось провести интервью только через неделю, тк то у меня не получалось, то интервьюера.Мы созвонились в зуме, он представился, сказал, что возглавляет отдел аналитики Яндекс.Маркета, начал общение сразу на "ты", позднее мне рекрутер сказал, что в Яндексе так принято. Интервьюер, назовём его Сергей, рассказал как будет устроено интервью: 10 минут я должен рассказать о себе, потом ТЗ (задача на питоне) и задачи на теорвер.Я вкратце рассказал о себе, своем проекте про алгоритмы кластеризации, которым я занимаюсь в институте. Он позадавал пару стандартных вопросов из разряда: "Почему Яндекс?", "Какие качества мне стоит развивать?", "Что было моим успехом?" .Далее была ТЗ: вывести список уникальных слов, считываемых из файла. Я код написал, в целом, ему важна была идея и знания синтаксиса. Всё подводные камни я разгадал у этой задачи, но не сразу. Вот сами камни:

  1. Если файл пустой

  2. Английский и русский язык (что будет?)

  3. Отделение знаков препинания

  4. Первые слова в предложении

Сергей сказал (в конце интервью), что я с задачей справился и что были ребята, которые не до всех пунктов могли додуматься(я был польщён).Далее были задачи по теорверу:

  1. Бросаем монетку 10 раз. Какова вероятность, что выпадет 10 орлов? [(1/2)^10]

  2. Бросаем монетку 10 раз. Какова вероятность, что выпадет 9 орлов? [10*(1/2)^10]

  3. В ящике есть 4 вида носков. Носков бесконечно много. Сколько нужно изьятий, чтобы получить пару? [5]

Далее, задача на математику: "У Аркадия много жён. У него есть коллекция кактусов, которые он решил раздать всем жёнам. Первой жёне отдал 1000 кактусов и 10% от остатка. Второй жене 2000 кактусов и 10% от остатка. И так далее Каждая жена получила поровну. Сколько жён у Аркадия?Ход решения я тоже рассказал. Чтобы не ждать, пока я посчитаю, он мне сказал, сколько всего было кактусов и я дал ответ. [81000 всего кактусов, 9000 каждой жене]. Последней была задачка на проверку аналитических способностей:20 детям в детском садике задали вопрос: живут ли их родители вместе? На что 2 ребёнка ответили, что не живут. На следующий день в местной газете выходит статья с заголовком: "10% семей в нашем городе в разводе". Почему данное утверждение неверно? Всего есть 6 ключевых пунктов, до 2х последних я, к сожалению, не додумался:

  1. Дети могут быть из одной семьи

  2. Разный возраст детей, и, соответственно, разные группы, то-то более осознанный, кто-то ещё не понимает вопроса.

  3. Месторасположение садика, может выборка была только в благополучном/неблагополучном районе.

  4. У ребёнка может быть один родитель или у ребёнка может быть мачеха/отчим, отсюда неверные результаты.

  5. Дети врут.

  6. Есть семьи, где дети не ходят в садик.

После этой задачи Сергей рассказал мне как я в целом отвечал и рассказал, чем занимается отдел аналитики.У них есть 2 типа задач:

  1. Визуализация данных, представление менеджерам отчётов, в частности, работа в Tableau, то есть создание дашбордов.

  2. Прогонка данных из одного сервиса в другой

Я позадавал вопросы и Сергей сказал, что назначит через рекрутера ещё одно интервью, где мне подробнее расскажут про задачи.

После интервью создалось приятное впечатление о интервьюере и о возможных задачах и в целом от общения.

Часть 3. Второе интервью

Через неделю мне назначили ещё одно интервью, где уже был Сергей и девушка из отдела планирования Яндекс Маркета, назовём ещё Светлана.Светлана представилась, рассказала чем занимается их отдел, как он связан с отделом аналитики, наговорила кучу умных слов (мне, как студенту 3го курса МФТИ, не вся информация была понятна и как человеку, который никогда не сталкивался с подобными вещами), от которых я остался под впечатлением. Далее, Светлана спросила, как я понял задачи, про которые мне рассказал Сергей. В целом, я рассказал очень кратко, тк получил мало информации на первом интервью. Потом, она задавала классические для интервью вопросы: "Какая у тебя суперспособность?", "Как ты определяешь приоритет задач?", "Сколько времени я смогу уделять стажировке?" спросила ещё, собираюсь ли я в магистратуру(видимо, для того, чтобы понять, может ли компания в дальнейшем на меня рассчитывать), но не идти туда я не могу, тк там военная кафедра. Спросила ещё какие языки программирования я знаю, я сказал, что Python. Меня спросили про sql, но на тот момент я его не знал (после интервью сразу пошёл осваивать, не повторяйте моих ошибок). После этого Сергей дал ещё 2 задачки на аналитику, даже скорее на продуктовую аналитику, здесь было немного тяжело, потому что продуктовой аналитики нас не учили и я отвечал исходя из логических соображений. 1ая задача:"Кто является конкурентом у Яндекс Маркета?". Я назвал только 3/4 основных пунктов - онлайн магазины(dns, ozon, wb, перекрёсток, авито и тд по списку) и офлайн магазины (любой ларёк является также конкурентом) и реклама на сайтах. До чего я не догадался, так это до социальных сетей, тк сейчас это направление растёт и там уже довольно много покупок/продаж.Вторая задача была аналогичной, только вопрос был про Яндекс.Бразуер. Дополнительным был вопрос о том, какую метрику используют в Яндекс Браузере. Я подумал, что количество кликов на рекламу, но позже сообразил (с подсказкой), что это время, проведённое пользователем в браузере.Далее, меня спросили, чем бы я хотел заниматься из возможных задач. Я сказал, что визуализацией дашбордов в Tableau, ещё задали пару простеньких вопросов на аналитику. После этого интервью закончилось и Сергей сказал, что дальнейшую информацию передаст через рекрутера.

Часть 4. Решение

На следующий день от рекрутера приходит письмо:

"К сожалению, твоих навыков пока не достаточно и команда не готова тебя брать. На данный момент я не могу тебе ничего предложить, но мы будем рады если ты вернешься к нам позже.По рекомендациям: хорошо бы прокачать sql, питон, продуктовую аналитику".

Конечно же, я расстроился, потому что казалось, что на тот момент для предложенной мне задачи моих навыков хватало, но увы.

Часть 5. Заключение

Пройдусь по каждому пункту.

1) Задачи на Яндекс Контесте - 9/10

Несложные, интересные задачи, но непонятен момент с проверкой некоторых задач на оптимальность кода. Действительно ли аналитик должен придумывать самый оптимальный по времени и памяти код или аналитик нужен для других целей?

2) Общение с рекрутером - 10/10

Рекрутер довольно развернуто и оперативно отвечал на все вопросы по почте, после 1го интервью сразу перешел в телеграм для удобства

3) Первое интервью - 10/10

Первое интервью мне очень понравилось. Задачи, подсказки от Сергея, лёгкое и приятное общение.

4) Второе интервью - 5/10

Было слишком много стандартных вопросов, словесная нагрузка в начале интервью от Светланы. Считаю, что можно было кратко и менее нагружено представиться и рассказать, чем занимается отдел. Непростые вопросы на аналитику, сейчас поясню. Должен ли человек, который подаёт на позицию стажёра "Аналитик данных" знать продуктовую аналитику? Наверное, да. Должен ли человек до приглашения на работу вникнуть во все тонкости процесса, не будучи знакомым с ним изнутри? Наверное, нет.

5) Выводы

К сожалению, я получил только фидбек, только написанный в части 4. Проанализировав 2 интервью, я сделал вывод о том, что нужно подтянуть sql. Насчёт продуктовой аналитики я не знаю, в каждой компании свои процессы и заранее вникать в особенности ее работы, наверное, тяжело и затратно по времени. Я согласен, что если ты работаешь уже внутри, то ты обязан знать все подробности, но до этого - вряд ли.

Попробую ли я ещё раз? Думаю, да. Через полгода, может раньше. Несмотря на отказ. Мне нравятся сервисы, которые делает компания и я активно ими пользуюсь. Поэтому было бы интересно поучаствовать в их улучшении.

Буду рад, если этот пост поможет кому-то подготовиться и попасть в Яндекс.

Также буду рад, если получу рекомендации/здравую критику о вышеизложенном и советы для дальнейшей подготовки.

Подробнее..

Recovery mode Беспилотный автомобиль Яндекс создаёт пробки и провоцирует опасные ситуации на дорогах

26.05.2021 00:11:51 | Автор: admin

Yandex self driving car (беспилотные автомобили Яндекс)

Яндекс тестирует на улицах Москвы идею self driving car.

Теперь эти машины ездят по дорогам района Хамовники в Москве и создают пробки (104 секунда видео) и опасные ситуации на дорогах (вынуждают пассажира следующей за ним машины выходить на проезжую часть 26 секунда видео), 7 автомобилей выстроилось за беспилотным автомобилем Яндекс, который остановился перед пустым перекрёстком, все сигналят, двое девушек на другой стороне смотрят на машину Яндекса с недоумением: "почему она не едет?":

Посмотрите видео и Вы поймёте о чём идёт речь. Человек в оранжевой футболке это не тот объект, что мешает двигаться беспилотному автомобилю Яндекс.

Почему пешеходы должны подстраиваться под "искусственный интеллект" беспилотных автомобилей Яндекс и угадывать что на уме у его разработчиков?

Машина создана чтобы облегчить жизнь людям, а не усложнять её.

В общем, либо разработчики беспилотных автомобилей Яндекс научат свой искусственный интеллект нормально водить машину, либо пусть лоббируют закон о поведении пешеходов на тротуаре** (эти могут) (оценочное суждение). Автор видео стоит на тротуаре и не сходит с него.***

"А вы можете отойти немножечко в сторону, чтобы наш искусственный интеллект поехал и вообще, не мешайте нам тестировать нашу Yandex self driving car." - как бы говорит водитель беспилотного автомобиля Яндекс.

* Эта статья призвана повысить грамотность поведения на дорогах и обратить внимание на соблюдение ПДД.

**, обязан уступить дорогу пешеходам, переходящим дорогу или вступившим на проезжую часть (трамвайные пути) для осуществления перехода.

*** "Пешеходный переход" - участок проезжей части, трамвайных путей, обозначенный знаками 5.19.1, 5.19.2 и (или) разметкой 1.14.1 и 1.14.2 <*> и выделенный для движения пешеходов через дорогу. При отсутствии разметки ширина пешеходного перехода определяется расстоянием между знаками 5.19.1 и 5.19.2.

Площадь Пешеходного перехода выделена красным цветом:

Подробнее..

Новый ИИ Яндекс.Маркета портит мнение о товарах, создавая противоречивы отзывы

26.05.2021 12:10:08 | Автор: admin

Хороший товар, не надо брать. Этой фразой, кажется, можно охарактеризовать весь спектр претензий к одном маленькому, но важному нововведению Яндекс.Маркета отзывам, написанным искусственным интеллектом. Хотя лучше будет звучать классическое "хотели как лучше". Мы, конечно, надеемся, что со временем ИИ станет работать лучше и яснее изъясняться. Но это со временем, а пока пользователи и продавцы не в восторге. И вот почему.

Что это за умные отзывы?

Яндекс.Маркет выкатил необычное обновление меньше недели назад и почти без предупреждений. В предыдущий четверг в сети появилась информация о том, что умные отзывы стали доступны части пользователей, а уже в пятницу они были открыты для каждого покупателя маркетплейса. Правда, не для всех товаров.

Замысле был прекрасный. Чтобы покупателям не приходилось рыться среди тысячи отзывов, искусственному интеллекту от Яндекс было поручено вычитывать их и обобщать в одну короткую карточку. Искусственный интеллект, якобы, изучает все мнения о товаре, оставленные реальными покупателям и пишет усредненный обзор пересказывает наиболее частые плюсы и минусы. Фактически, ИИ упрощает для покупателям жизнь они могут не перечитывать сотни комментариев в карточках товаров. Если хотите сами взглянуть на нововведение, то "умные" отзывы доступны сразу под фото товара на Маркете.

По сути, это такой словесный рейтинг как и бальная оценка быстро смотришь и все понимаешь о товаре. В итоге же все звучит как краткий пересказ "Войны и мир" от заядлого двоечника. Возможно, Яндекс и не двоечник, а только начинает учиться. Сегодня на Маркете уже оставлено 14 миллионов отзывов из 500 миллионов слов. При этом "умные" отзывы можно встретить только под 50 тысячами товаров. Но надо ли?

А у тебя не слипнется?

Как только в сети появилась новость о том, что ИИ передали бразды правления отзывами пользователи стали переживать. Первыми напряглись сами покупатели. Они решили, что систему очень быстро упакуют в коммерческую обертку и начнут продавать селлерам, чтобы те могли "улучшать" усредненные отзывы о своих товарах. Но пока такого не произошло, а искусственный интеллект, похоже, работает максимально честно и неуверенно.

Нельзя сказать, что все отзывы ИИ ужасны. Если в них содержатся фразы одной эмоциональной направленности, вроде "хорошо" или "плохо", то читать такие комментарии без боли в глазах можно. Но во многих уже появившихся умных отзывах слипаются совершенно противоречащие друг друг факты и выводы. Возможно, ИИ анализирует количество отрицательных и положительных характеристик и если их оказывается поровну, то он упоминает сразу все. Как бы ни было, звучит и выглядит это странно и не очень понятно. Примеры на скриншотах выше и ниже наглядное тому подтверждение. Порой ИИ настолько утопает в своем творчестве, что начинает ругать даже сам Яндекс.

Понять что-либо внятное о товаре по таким отзывам сложно. Когда покупатели сталкиваются с некими проблемами или находят огрехи в товаре они могут пояснить почему это произошло или аргументировать почему покупка не подошла именно им. В случае с ИИ таких пояснений нет, он просто склеивая самые важные, по своему мнению, фразы. Получается, что использовать такие отзывы для покупки не выйдет нужно все равно рыться в комментариях пользователей.

Самое интересно, что периодически умные отзывы показывают картину совершенно отличную от средней оценки товара. Даже те позиции, на карточках которых давно горит 5 звезд могут получить в усредненном отзыве пару оплеух от искусственного интеллекта. Вряд ли это, как считали ранее покупатели, платят реальные продавцы.

И еще одна печальная картина. Каждый продавец сталкивается с отрицательными отзывами на свои товары, даже если продает отличный продукт. Бывает, что у покупателей просто нет настроения на позитивные выводы или вообще никогда нет настроения. Такие отзывы, особенно редкие, постепенно уходят вниз, зарастают хвалебными одами и становятся незаметными. Но теперь, с помощью ИИ, даже таких грустных покойников, достать из-под земли получится. И тут уже ничего не скроешь.

В целом, сам Яндекс признает, что нововведение еще сыровато. В компании сразу заявили, что пока отзывы нейросети будут проверять и люди вычитывать, править и находить неточности. Но люди, очевидно, не могут работать быстрее, чем ИИ пишет отзывы на Маркете и пока все выглядит именно так, как сам искусственный интеллект и написал:

Подробнее..

Recovery mode IT-стыд 2020

04.06.2021 04:18:40 | Автор: admin
Каин послеубийства своего брата Авелявзгляда на российское айти в 2020 коллаж автораКаин послеубийства своего брата Авелявзгляда на российское айти в 2020 коллаж автора

Это реинкарнация поста, наделавшего шума в начале года, но затем распубликованного по моей же вине. Но выводы сделаны и карнавал стыда продолжается. :-)

Привет, Хабр! В конце каждого года, на многих сайтах принято подводить различные итоги и Хабр не стал исключением. Лента наполняется темами типа топ ЯП по итогам 2020, топ 10 технологий, топ 20 работодателей, тысячи их. Но чего нет так это списка зашкваров года, которые подарили нам IT-компании и которые вызывают чувство испанского стыда. Надо сделать, подумал я и составил такой топ сам. Почему, зачем и собственно сами герои под катом. И прошу не судить строго, это мой первый, чисто развлекательный и субъективный пост. Сразу предупрежу о моей довольно специфичной манере изъясняться, которая возможно напомнит вам те времена, когда рунет был юн, дик и более-менее свободен.


Это уже было в Симпсонах

К моему удивлению, я не обнаружил такого подобного позорного списка ни на одном из более-менее известных ресурсов. А такого, чтобы кто-то делал это на регулярной основе каждый год и вовсе нет. В 2007 были жалкие попытки в виде создания Антипремии Рунета, которая задумывалась как поощрение тех, кому на небезызвестной и мусорной Премии Рунета не хватило места. Продержалась Антипремия 7 лет, после чего цирк сгорел, аклоуныоргкомитет разбежался. Впрочем, даже к лучшему. С тех пор никаких попыток не делалось.

Вечно ниша свободной быть не может, так почему бы не попытаться занять её с этим небольшим постом, не претендующим на пафосный статус премии. Тем более премия как бы подразумевает какое-никакое, но всё же награждение, а участников этого топа награждать никак не хочется.

Если пост зайдёт общественности каждый год буду его актуализировать. Более чем уверен, что на данную тему компании натравят сочувствующих гребцов и заминусят в хлам, а некоторые и без указки придут отстаивать родную галеру, но на такие жертвы придётся пойти, ради всеобщего блага (и я ни капли не шучу, когда так говорю), как говорится чтобы помнили. Некоторые действия забывать нельзя, покуда они не искуплены равноценными делами. Так мы подошли к пояснению, зачем я это делаю.

Зачем

Все просто у нашего общества крайне короткая память. В мире, где каждый день генерируются терабайты информации, где между информационными сервисами идёт битва за внимание людей такая память становится спасительным для нашего мозга способом не перегореть. В этих условиях значительные скандалы быстро забываются, а компании их учинившие продолжают пиариться (в том числе и на Хабре), успешно хантить людей, засылать гонцов на конфы с рассказами о крутости компании. На мой скромный взгляд такого быть не должно. К компаниям должно прийти понимание, что совершать такие подлости плохо не только, с точки зрения этики, но и вредно для бизнеса.

Сразу оговорюсь, что некоторые инциденты из перечисленных начались ещё в 2019, но основное развитие получили в 2020, что и позволяет зачислить их в этот перечень. Вся информация взята из публичных источников, а вольная трактовка событий являет собой набор оценочных суждений автора. Посмотрим же, какой стыд нам подарил уходящий год.

Опенсорсеры года Wargaming

Ещё 17 декабря 2019 года картофельная танковая фабрика оскандалилась тем, что начала юридически преследовать своих бывших сотрудников в судах Беларуси, Кипра и США за работу над опенсорс проектом движка Framework/DAVA Engine, который она официально развивала до весны 2018 года. Поддержка проекта в качестве опенсорс официально декларировалась Wargaming на многих конференциях, в статьях, интервью и других источниках (пруф). Но потом, пять незадачливых выходцев из Wargaming, которые на данный момент работают в белорусской компании БлицТим, получили персональные иски и требование компенсации в виде $1 690 000.

Вышеупомянутые сотрудники ранее работали в минском центре разработки кипрской группы компаний Wargaming и принимали непосредственное участие в разработке игры World of Tanks Blitz и движка DAVA Framework/DAVA Engine. Затем после ухода данных сотрудников в собственный проект, картофельная фабрика золотых снарядов, предъявила им иск за размещение на гитхабе копий исходных текстов DAVA Framework и создание форков от этих копий на личные аккаунты в GitHub. Такой вот суровый опенсорц.

Сейчас сутяги из Wargaming делают вид, что ничего криминального не происходит, не комментируют ситуацию и всё также клепают посты в своембложикепро то, какие они молодцы. В Верховном суде Беларуси танкофилы уже проиграли. Пожелаю парням из БлицТим удачи, а киприотам-золотоснарядникам из Wargaming дарю своё презрение. Кто хочет следить за процессом может делать этотут.

Работники года ДИТ

Или Департамент информационных технологий города Москвы (чувствуете, как повеяло номенклатурой?). Про дела этих ребят вы наверняка слышали, ведь 2020 для них выдался ну очень продуктивный. Если пандемия застала вас в Москве, то, возможно, вы даже были вынуждены пользоваться их говносервисами (под угрозой штрафа).

Криво работающие Цифровые пропускаполучающие разрешениена отправку рекламы на следующие 10 лет, забагованный Социальный мониторинг, наспех собранный из кодатрекера мусоровозови обязывающий людей раз в 3 часа делать селфи и отсылать на проверку, откровенно шпионское Госуслуги СТОП Коронавирус (это реальное название от богов нейминга) все это поделки этих ребят. При этом их бюджет в 2020 составил 80 млрд руб. Как говорится, делайте выводы господа. Что забавно, по собственной оценке бракоделов из ДИТ все это позволило Москве избежать самого опасного сценария, который был в Италии и других европейских странах. Ага, конечно, особенно если отчётность по заболевшимможно подкручивать.

Бурление говн от этих сервисов было такое, что владыка ДИТ, амбассадор Бенгальского залива Эдик Лысенко, при поддержке своих миньонов дажеснизошел до диалогас сообществом, в котором ничего толком и не сказал, а возможность уличить дитовцев во лжи была бездарно слита, в виду нежелания Хабра вставать ни на какую позицию, а предоставить площадку и быть рупором. Ну вот это мы вне политики, ага. Дошло до того, что пообещали даже второй эпизод диалога, но уже с приглашённым экспертом, который будет притягивать дитовцев за слова, но разговоры так и остались разговорами, а ДИТ прекратили активность на Хабре. Действительно, чего этим холопам пояснять, господам некогда, нужно бюджеты осваивать.

Перевозчики года Яндекс.Такси

В рамках освещения ситуации поделу Ивана Голуноваиздание Медиазона получило комментарий пресс-секретаря ЯТНаташи Рожковойо том, что сервис передаёт силовикам данные о поездках своих клиентов по первому же запросу, даже если он прислан с почты на мейлру, а не в официальном виде. Именно от ЯТ один из экс-полицейских, сейчас проходящий обвиняемым по делу Голунова, узнал его домашний адрес.

Как рассказала Рожкова, сервис обязан предоставлять данные по официальным запросам правоохранительных органов. Как правило, правоохранительные органы в запросах не сообщают деталей дела, является ли человек подозреваемым или, наоборот, потерпевшим. Из практики мы знаем, что предоставление информации важно для раскрытия преступлений и подчас помогает спасти чью-то жизнь. Вот уж точно, благими намерениями вымощена дорога в ад.

Впрочем я не удивлен такими речами Наташи. До того, как стать прессеком Я.Такси, Наташаподвизалась на госслужбеначальницей специально для нее созданного, отдела информационной политики администрации Орловской области, прославившись там тем, что написала заявление в прокуратуру на учредителя одной из орловских газет и пыталась строить главреда другой (не были лояльны губеру), в перерывах радуя людей инструкциями в своем FB, как процедить воду через лифчик, если вы вдруг оказались в тайге. Пост был удален, но чиновница успела попасть в очередной скандал и втянуть туда своего бывшего начальника, врио губернатора Андрея Клычкова. В Яндекс берут только лучших, да? Вскоре после всего этого Наташа из Яги перескочила в Сбер. К чему тут такая большая вставка про эту даму, спросите вы? А к тому, чтобы вы знали, какие персонажи занимаются отмыванием имиджа.

Чуть позже, главарь пресс-службы ЯТ Вова Исаев заявил, что бумажный запрос таки был. Но в виду аффиляции Яши с госами я лично склонен думать, что им никто не мешает выдать данные хоть по свистку, не то что по запросу с личной почты на мейлру, а бумажный запрос можно и задним числом сделать. Тем более, что бумагу эту можно никому не показывать, ведь раскрывать содержание таких запросов запрещает, например, статья 161 УПК.

Яндекс.Такси нет в реестре организаторов распространения информации, то есть сервис имеет право не предоставлять правоохранителям никаких данных, но всё равно делает это, видимо, по дружбе. Отмечу, что отдельного блога на Хабре у компании нет, может, даже и к лучшему.

Клиентоориентированность года Яндекс.Go

В 2020 году сервис Я.Такси сменил название на Яндекс.Go, вобрав в себя еще несколько желтопузых сервисов. Поменялась оклейка машин, реклама, но не главное люди и процессы. А ведь не зря говорят, когда в борделе плохо идут дела менять нужно девочек, а не кровати. Именно потому, что люди и процессы остались теми же, зашквар ЯГи не заставил себя долго ждать.

25 декабря появиласьстатьяот клиента сервиса, который обнаружил, что цена за поездки на такси, для клиентов имеющих подписку Яндекс.Плюс (своеобразная программа лояльности) выше на 10%, чем цена для клиентов без Плюса. Что примечательно именно эти 10% хитрецы из ЯГи обещали своим клиентам в виде кэшбека баллами, которые можно потратить на желтые сервисы. По сути клиент сам переводит свои деньги в баллы, а ЯГой это подается как офигенный бонус.

От такого маневра, общественность натурально начала превращаться в нефритовый стержень и ринулась сравнивать цену на такси с Плюсом и без оного все сходилось с показаниями топикстартера. Так как топикстартер выбрал наиболее благоприятную дату и время публикации (вечер пятницы, время когда пиарщики ЯГи спокойно квасят в барах) то тема осталась без должного ответа со стороны сервиса. Впрочем, ответить было по факту нечего.

В этот же день, после публикации статьи (напомню, вечер пятницы) сервис оперативно поправил пользовательское соглашение и пытался вяло отвечать, а в понедельник начал нативно отрабатывать негатив, публикуя через сочувствующие телеграм-каналы и неподкупных журналистов объясняющие статьи (с мутнейшими схемами) согласно которым, клиенты с плюсом платят не дороже, а просто часть суммы переводятся в баллы. Крайним в этой системе остается водитель, но всем пофигу. В итоге осадочек, как говорится, остался даже у некогда лояльных клиентов, а градус народной любви к компании на букву Я еще больше снизился. Будьте аккуратны со всякими там программами лояльности.

Связисты года Yota

Можно как угодно относиться к деятельности ФБК и их фюреру-блогеру (мне, например, нравится их развлекательный бложик на YouTube), но в 2020 с их подачи в этом посте можно упомянуть компанию Yota, котораянезаконно отключила связьодному из самых известных сотрудников ФБК Руслану Шаведдинову в момент, когда силовики ломали дверь в его квартиру, чтобы не дать ему возможности оповестить родных или адвоката о происходящем, и спустя несколько дней даже не удосужилась прокомментировать эту постыдную историю. Позже стало известно, что Yota ещё и установила особый режим для номера Шаведдинова, при звонке, на который сообщается, что абонент находится не в сети. Также к номеру прикреплена плашка с пометкой обо всех действиях по номеру сообщать в PR.

Конечно, скорее всего, почти любой оператор выполнил бы такое незаконное требование про отключение связи. Но, как правило, в каждой подобной ситуации находится один смелый, который не стал бы это делать, но какой именно в конкретный раз окажется смелым заранее никогда не знаешь.

Телеком вообще не жалует Хабр, вот и у голубых телефонистов нет блога, один ихаккаунтуже 2 года молчит, авторой аккаунтиспользуется исключительно для ответов.

Карьерная возможность года Wildberries

Случай, который на Хабре не освещен был вообще. В конце сентября закрыли крупный (по их меркам) проект с командой из 30 человек, а от руководства поступило указание сократить на некоторых проектах 30% штата. Такое случается, конечно, но это было лишь начало.

29 ноября руководительница группы мобильной разработки в Wildberries Татьяна Аверьяноварассказалао массовых сокращениях в компании. По её словам, маркетплейсвыпинывал на морозувольнял сотрудников целыми командами по собственному желанию, не выплачивая компенсации. А уже 30 ноября в офисе увольнялось столько людей, что отдел кадров и бухгалтерия не справлялись с обработкой и выдачей документов, часть попросили прийти за доками позже.

Так же она рассказала о том, что Wildberries задерживает зарплату, технику для работы выдаёт сотрудникам только в аренду за плату. Компания приостановила набор новых сотрудников и иногда отзывает уже отправленные кандидатам предложения. В Wildberries, конечно же, все отрицают. Но рейтинг и отзывы об этом корейском онлайн-базаре на Хабр.Карьерекак бы намекаютна истинное положение дел.

Стыд и срам года Рамблер

В этой номинации и не могло быть другой компании, ведь инциденты подобные этому происходят чуть ли не раз в несколько лет. Данная история была широко освещена на самом Хабре и за его пределами, поэтому я не буду детально ее пересказывать. Кратко напомню, что в декабре 2019 Рамблер спустя 18 лет начал судебное преследование своих бывших сотрудников Игоря Сысоева и Максима Коновалова, пытаясь отжать у них права на самый популярный в мире веб-сервер Nginx, который был создан в 2002, когда Сысоев работал в Рамблере сисадмином. Незадолго до этого Nginx был куплен американской корпорацией F5 Networks за $670 млн. Узнав об этом, в Рамблере жутко возбудились, и посчитав что Nginx был создан в служебное время, и заявили о своих правах на проект. Немедленно было возбуждено уголовное дело, а в офисе у Сысоева и Коновалова даже прошли обыски. Претензии предъявила компания Рамблер, хотя формально обвинителем стала Lynwood Investments CY Ltd, которой передали на это права. Последняя связана с совладельцем группировки Rambler Сашей Мамутом.

Реакция общественности не заставила себя долго ждать и IT-аудитория облила Рамблер таким потоком говна, что долетело даже до самого Германа Грефа, который был вынужден вмешаться в ситуацию через своего зампреда Льва Хасиса, который на тот момент был председателем совета директоров Рамблера. В итоге в 2020 Рамблер попросил прекратить уголовное дело о правах на Nginx, исключив себя из числа потерпевших. Правда теперь истцом станет кипрская Lynwood,продолжив разбирательствоуже в международном суде.

На Хабре у этой группировки клоунов естьаккаунтиблог, который они в последнее время начали оживлять и практически никто уже не припоминает компании этот стыд.

Что забавно, сам Хабр показал себя в этой истории довольно неоднозначно. Ситуация с Nginx сподвигла написать осуждающий пост самогоДенискина, редакция велахронологию инцидента, а на главной была даже специальная ссылка, позволяющая держать руку на пульсе ситуации. Но это всё не помешало пригласить Рамблер в марафон удалёнки. Как говорится, вы не понимаете, это другое. В целом понятно желание быть IT-Швейцарией, но тут либо крестик снимите, либо трусы наденьте.

Заключение

Надеюсь, в 2021 будет меньше стыда за наше родное айти, а все провинившиеся реабилитируются выпуском крутых опенсорс продуктов (например). Учитывать ли инфу из этого поста при устройстве на работу в такие компании, при одобрении их активности на Хабре или конфах? Каждый решает сам.

Спасибо, что прочитали этот пост и увидимся в следующем году. Если я упустил кого-то, за кого тоже в 2020 было стыдно пишите о них в комментариях. Также буду рад почитать вашу объективную критику, с ней получится делать Хабрастыд-2021 менее стыдным. Всех с Новым Годом и Рождеством!

Подробнее..

Как именно нужно читать предупреждение ФАС Яндексу и что оно значит для Рунета

22.03.2021 10:20:41 | Автор: admin


Я один из многих юристов, который больше года назад участвовал в подготовке обращения в ФАС с вопросом, нормально ли, что Яндекс стал лучшим поиском по сервисам Яндекса. Собственно, ответ пришёл несколько недель назад в виде предупреждения о прекращении действий (бездействия), которые содержат признаки нарушения антимонопольного законодательства.

Вопрос был в том, правильно ли то, что Яндекс даёт преференции своим сервисам в поиске. Суть вопроса сводилась к тому, можно ли считать отдельным рынком рынок поиска.

Дело вот в чём: если юридически поиск в интернете это рынок, то на нём действует антимонопольное законодательство. И тогда, цитируя сам Яндекс (точнее, пост об иске против Google): это обращение признание одного неприятного факта. У нас с вами есть все шансы попасть в страну, где только одна компания будет решать, какими сервисами будут пользоваться люди. И если мы всегда верили в конкуренцию и право выбора пользователя, то ФАС должна восстановить справедливость.

Если же поиск в интернете это не отдельный рынок, то Яндекс частная компания, которая в своём поиске может делать что хочет. Ведь это их поиск, их алгоритмы ранжирования и их ручные настройки. Частное дело частной компании.

Коротко: ФАС усмотрела признаки нарушений (пока де-юре не сами нарушения, это важно) в действиях Яндекса. И попросила, по сути, вернуть нейтральность в поиск, то есть обеспечить чуть более равные условия всем компаниям на рынке. В перспективе это может коснуться не только Яндекса, но и любого поиска в России.

Предупреждение ФАС это, по сути, предложение: сделайте вот так, пожалуйста, или мы возбудим дело, поэтому давайте детально разберёмся, что же происходит.

В предупреждении обозначено, что рынок поиска есть, и это крайне важно для Рунета. Давайте посмотрим, почему.


Уточнение


Я использую упрощения и говорю не на юридическом языке. Это вносит неточности, недопустимые для официального документа, но позволяющие объяснить на пальцах, что происходит. Текст имеет эмоциональную окраску, которая также привнесена мной, поскольку выражает моё отношение к вопросу.

Толкования и прогнозы это моё мнение на основе профессионального опыта, и, естественно, как любые толкования и прогнозы, они с юридической точки зрения являются всего лишь фантазией.

То есть всё это моё личное мнение и мой взгляд на события.

Теперь можно начинать.

Почему ситуацию сложно комментировать?


В первую очередь это связано с тем, что формат предупреждения ФАС неоднозначная юридическая конструкция. Сильно упрощая, непонятно, можно ли относиться к предупреждению, как к нормативному документу или нет. Арбитражная практика складывалась в свое время неоднозначно и в итоге пленум Высшего Арбитражного Суда сказал, что это ненормативный документ. При этом исполнить это предупреждение нужно: ФАС требует исполнения озвученных пунктов или же прямо указывает альтернативу в виде возбуждения дела. Выбирать Яндексу.

Смысл сообщения: ФАС усматривает признаки нарушения вот у этих юрлиц:

выразившихся в создании на рынке оказания услуг поиска общего характера в информационно-телекоммуникационной сети Интернет с применением информационных технологий неравных (дискриминационных) условий путем предоставления для сервисов лиц, группы лиц ООО Яндекс (в том числе ООО Яндекс.Вертикали, ООО Яндекс.Маркет, ООО Яндекс.Медиасервисы, ООО Кинопоиск)


Признаки нарушения заключаются в том, что некоторые юрлица имеют право показываться в блоках до основной выдачи, а некоторые нет.

при которых сервисы лиц, входящих в группу лиц ООО Яндекс, в том числе используют интерактивные обогащенные ответы (колдунщики1 2, объектные ответы3 и другая применимая терминология) (далее интерактивные ответы) на страницах поисковой выдачи поисковой системы Яндекс (yandex.ru), при этом у лиц и их сервисов, не входящих с ООО Яндекс в одну группу лиц, такая возможность отсутствует и (или) не соответствует тем техническим, визуальным и иным возможностям и преимуществам интерактивных ответов поисковой системы Яндекс (yandex.ru), которые получают сервисы лиц, входящих в группу ООО Яндекс


Мы оценивали влияние этих блоков на трафик и вообще собирали данные о том, что происходит. Про статистические методы и конкретные примеры лучше напишут мои коллеги.

ФАС вынесла предупреждение, сказав важную вещь: есть признаки нарушения антимонопольного законодательства:

признаков нарушения антимонопольного законодательства, предусмотренных пунктом 8 части 1 статьи 10 Федерального закона от 26.07.2006 135-ФЗ О защите конкуренции (далее Закон о защите конкуренции)


То есть усматривается ситуация, в которой всё похоже на то, что нарушен Закон о защите конкуренции. То есть похоже, что Яндекс уже подпадает под антимонопольное законодательство не только на рынке интернет-рекламы (он давно уже понятен, и там действует почти такая же схема, как на рынке обычной рекламы), но и в поиске.

Признаки это не само нарушение. Признаки это ситуация неопределённости.

Далее ФАС предлагает:
  1. Перестать создавать такие признаки прямо сейчас: Прекращения предоставления сервисам лиц, входящим в группу лиц ООО Яндекс (в том числе ООО Яндекс.Вертикали, ООО Яндекс.Маркет, ООО Яндекс.Медиасервисы, ООО Кинопоиск) преимущественных возможностей пока непонятно, как именно это реализовывать.
  2. Очень важно: обеспечить для всех прозрачный регламент, то есть, по сути, рассказать, что за факторы ведут к попаданию выше основной выдачи что есть польза для пользователя: Опубликования условий доступа сервисов к техническим, визуальным и иным возможностям по продвижению (привлечению внимания пользователей) в поисковой системе Яндекс (yandex.ru), в том числе с помощью интерактивных ответов и (или) иных применимых функций и технологий, демонстрируемых на страницах поисковой выдачи поисковой системы Яндекс (yandex.ru), в формате, доступном для ознакомления хозяйствующих субъектов вне зависимости от вхождения в группу лиц ООО Яндекс.
  3. Обеспечить равные возможности независимо от того, входит юрлицо в группу компаний Яндекс или нет: Обеспечения для сервисов лиц, не входящих с ООО Яндекс в одну группу лиц, доступа к техническим, визуальным и иным возможностям по продвижению (привлечению внимания пользователей). И Обеспечения демонстрации сервисов лиц, не входящих в группу лиц ООО Яндекс, и сервисов лиц, входящих в группу лиц ООО Яндекс по единым правилам ранжирования, применяемым при формировании органической выдачи в поисковой системе Яндекс, на равных условиях, не допуская преимущественной демонстрации сервисов лиц, входящих в группу лиц ООО Яндекс.


Всё это нужно сделать за 1 месяц, затем проинформировать ФАС и приложить отчёт о действиях.

Если это не будет сделано и признаки нарушения сохранятся, то будет возбуждено дело:

Федеральная антимонопольная служба обращает внимание ООО Яндекс на тот факт, что в соответствии с частью 8 статьи 39.1 Закона о защите конкуренции, в случае невыполнения предупреждения в установленный срок при наличии признаков нарушения антимонопольного законодательства антимонопольный орган обязан принять решение о возбуждении дела о нарушении антимонопольного законодательства.


Таким образом, в документе написано (напомню, с моей точки зрения) следующее: Яндекс может добровольно согласиться со всем этим и сделать, как предложили в ФАС. Это очень мягкая мера, ведь факт нарушения не утверждается и пока не предполагается ответственность. Либо же посчитать, что признаки нарушения и нарушение это разные вещи, и доказать, что признаки могут возникнуть без самого нарушения. То есть обратиться в суд и доказывать свою точку зрения. Либо же проигнорировать предупреждение, и тогда ФАС заведёт дело, в ходе которого будет и вынесено решение, что именно можно, а что нельзя делать на поисковом рынке и Яндексу, и Гуглу, что такое поисковый рынок и так далее.

Поскольку предупреждение по сути может быть аргументировано оспорено только в суде, оно (вроде бы) имеет нормативный характер. Но при этом строго формально нет. Это пока что-то вроде попытки урегулировать ситуацию мирно.

Какие ещё есть инструменты у ФАС?


ФАС вместо мягкой формы может использовать императив: это называется предписание, которое обычно содержит конкретный алгоритм действий, обязательный к исполнению, и санкцию, как меру ответственности. Предписание подразумевает возбуждённое по факту нарушения административное дело.

Пока предписания нет.

То есть если признаки сохраняются больше месяца и трёх дней ФАС подразумевает, что может и начать дело, и оно кончится жёстче. На текущий момент Яндекс выбирает, какой сценарий подходит компании больше, а Гугл с интересом смотрит, потому что к нему решение тоже будет иметь прямое отношение.

Общий смысл: или нужно обсуждать, есть такой отдельный поисковый рынок и определять его, или же его нет. Если он есть на нём будет стандартное антимонопольное регулирование. Если его нет это частное дело Яндекса. Сейчас погружаемся глубже в прогноз ФАС считает, что, условно, такой рынок должен быть, и если бы он был, то Яндекс бы уже нарушал. Но поскольку рынок не определён точно, нужно либо устранить непорядок самим, либо дождаться, когда он будет описан формально и устранить потом уже силами государства.

Что будет делать Яндекс?


На текущий момент доподлинно известно лишь то, что Яндекс недоволен всей этой ситуацией в целом и претензии к себе считает необоснованными. К сожалению, мне неизвестно о том, как именно компания собирается реагировать на позицию регулятора и собирается ли вообще.

Как я понимаю, они не считают, что рынок поиска есть как сущность.

Уходя дальше в область гаданий и учитывая все вышесказанное, можно предположить, что признаки нарушения, о которых говорит ФАС, могут быть устранены временно или же формально, без строгого следования тексту предупреждения ФАС. В процессе подготовки обращения в ФАС мы наблюдали ручную регулировку. Мы не в ситуации, когда кто-то будет смотреть за Яндексом, включено там или выключено если признаки нарушения всё же есть, то нужно постоянное нормативное решение.

Разумеется, не стоит исключать попыток лоббирования интересов Яндекса на GR-уровне, но здесь я рассуждать и подтверждать или опровергать слухи о подобной работе не возьмусь.

На мой взгляд, вся история рано или поздно должна разрешиться нормативным решением. Иначе, предположу, история будет возвращаться на круги своя из-за учащающихся подобных запросов к ФАС про поисковики.

Почему это важно для Рунета?


Потому что это предупреждение первое официальное признание регулятором того, что интернет-поиск является рынком.

По сути, поиск (Яндекс, Гугл, Ютуб и так далее) это окно и первый шаг пользователя в Интернет. Если отдельно взятая частная компания будет контролировать его на монопольных условиях (а поисковый рынок в России имеет признаки монопольного из-за того, что Яндекс имеет долю около 60% на нём: По оценкам самого Яндекса, его доля на рынке поиска в границах РФ в 2019 году составила 56,31%, а за период с января по май 2020 года выросла до 59,92%), то это плохо. Поэтому государство хочет обеспечить равные условия игры для всех на нём. Можно сказать, что монополизация и доминирование на рынках это естественный процесс, но и регулирование поведения доминирующих игроков это также естественный процесс и устойчивая мировая практика.

Мы живём в обществе, где конкуренция считается за благо. То есть антимонопольное законодательство подразумевает защиту интересов конечного потребителя, имеющего возможность свободного выбора.

Строитель рынка не работает в условиях создания преференции для членов своей семьи, предполагается, что у всех продавцов доступ к возможностям рынка равнозначный (в том числе обусловленный правилами самого строителя). Именно это составляет предмет регулирования государством и именно здесь вмешательство уместно.

В поиске применение норм российского антимонопольного права будет означать нейтральность поиска для всех участников.

ФАС наказывает Яндекс или нет?


  • Регулятор определяет, есть рынок или нет.
  • Если рынок есть, он регулируется по принципу равных прав и обязанностей участников, которые закреплены в антимонопольном законодательстве.
  • Если кто-то не нейтрален, ему выдаётся алгоритм действий, как исправить нарушения.
  • Суть антимонопольного регулирования в том, что на рынках должны быть установлены правила игры, одинаковые для всех участников. Во всём мире практика развивается так, что это не просто репрессивные правила, а правила, призванные сохранить конкурентную среду для всех участников рынка.
  • В настоящий момент важное значение имеет тот факт, что ФАС впервые констатирует в своем предупреждении наличие дискриминационных условий на: рынке оказания услуг поиска общего характера.
  • В равной мере все принципы будут относиться и к Гуглу и всем поисковикам.

Есть ли похожие случаи с Гуглом?


Да, и речь не только про Гугл, но и Фейсбук и другие крупные компании. Антимонопольные меры применяются в разных случаях и носят разный характер.

Пример 1: еврокомиссия против Google: претензии по работе поисковой рекламы
Вместе с окном поиска от Google, которое устанавливали различные веб-сайты, компания требовала также устанавливать принадлежащий ей сервис контекстной рекламы AdSence и запрещала рекламировать через него своих конкурентов. Было доказано, что Google нарушал европейские нормы по конкуренции при размещении рекламы в интернете и ее выделении при поиске в сети.

Нарушение антимонопольных правил ЕС продолжалось более десяти лет. Все нарушения были зафиксированы в контрактных обязательствах, которые Google навязал владельцам веб-сайтов. Еврокомиссия изучила сотни договоров, заключенных с 2006 по 2016 годы. В некоторых договорах были отдельные пункты об эксклюзивности права на рекламу, которые прямо запрещали партнерам Google размещать на своих страницах с результатами поиска рекламу от конкурентов Google. С 2009 года Google несколько ослабил эту практику, требуя от партнеров в контрактном порядке размещения в наиболее дорогих рекламных зонах сайтов строго оговоренного минимума контекстной рекламы, предоставляемой Google. Но в то же время в контракты были включены положения, требующие от издателей получать письменное разрешение от Google, прежде чем вносить изменения в способ отображения любых конкурирующих рекламных объявлений. Это означало, что Google мог контролировать, насколько привлекательной может быть контекстная реклама конкурентов.

Как ограничили: в 2019 году компания была оштрафована на 1,49 млрд евро за злоупотребление своим доминирующим положением и препятствие конкуренции. Еврокомиссия пришла к выводу, что поведение Google наносит ущерб конкуренции и потребителям, а также сдерживает инновации. Кроме того, от компании потребовали прекратить незаконные действия и воздерживаться от любых мер, которые имеют такой же или эквивалентный эффект.

Пример 2: Еврокомиссия против Google: форсированное развитие Android
Еврокомиссия в 2015 году начала официальное антимонопольное разбирательство в отношении бизнес-практик Googlе, связанных с Android. Разбирательство началось после жалобы объединения FairSearch, в которое вошли Microsoft, Nokia, Oracle и другие компании. На тот момент, по данным Statcounter, 64% мобильных устройств в Евросоюзе работали на Android, а к 2018 году (когда было вынесено решение по кейсу), доля Android выросла до 80%. Google подозревали в нарушении правил ЕС, запрещающих антиконкурентные соглашения, и в злоупотреблении доминирующим положением. Предполагалось, что Google незаконно препятствовал разработке и доступу на рынок конкурирующих мобильных операционных систем, приложений и услуг мобильной связи в Европейской экономической зоне.

Было доказано, что Google наложил определенные ограничения на производителей устройств Android и операторов сетей, чтобы трафик с устройств Android попадал в поисковую систему Google. Google использовал Android в качестве средства, чтобы укрепить доминирующее положение своей поисковой системы. В частности, Google обязывал производителей предустанавливать приложение Google Search app и приложение с браузером Chrome, платил некоторым производителям и мобильным операторам, чтобы они предустанавливали поисковое приложение Google в эксклюзивном порядке. А также компания препятствовала деятельности производителей, которые хотели продавать смартфоны на альтернативных версиях Android, не одобренных Google. Когда Google разрабатывает новую версию Android, он публикует исходный код в Интернете. Это в принципе позволяет третьим сторонам загружать и изменять этот код для создания своих версий Android (так называемых Android Forks).

В заключении Еврокомиссии говорилось, что Google получает большую часть доходов за счет своего флагманского продукта поисковой системы Google. Компания поняла, что переход от компьютеров к мобильному Интернету, который начался в середине 2000-х годов, станет фундаментальным изменением для нее. И Google разработал стратегию, которая позволяла бы нивелировать последствия этого сдвига и гарантировать, что пользователи будут продолжать использовать Google Search также на своих мобильных устройствах. По данным Еврокомиссии, озвученным в 2018 году, на устройствах с Android, где предустановлены приложения Google, 95% поисковых запросов делается через Google Search, а на устройствах Windows Mobile, где нет таких предустановленных приложений, через Google Search проходит 25% запросов, а остальные осуществляются через предустановленный поисковик Microsoft Bing.

Как ограничили: в 2018 году Еврокомиссия оштрафовала Google на 4,34 млрд евро, а также обязала пересмотреть практики, о которых говорилось в решении. Размер штрафа был рассчитан на основе суммы дохода Google от услуг поисковой рекламы на устройствах Android в странах Европейской экономической зоны. В решении Еврокомиссии подчёркивалось, что доминирование на рынке не является незаконным в ЕС, однако доминирующие компании несут особую ответственность за то, чтобы не злоупотреблять своим сильным положением на рынке, ограничивая конкуренцию. Также в Еврокомиссии отмечали, что действия Google могут наносить вред потребителям, ограничивая инновационное развитие в мобильном пространстве. По заявлению участников объединения FairSearch, за два с половиной года с момента принятия решения Еврокомиссии, мало что изменилось. В январе 2021 года участники коалиции говорили, что рынку все еще наносится ущерб, эффективных средств правовой защиты нет, а на карту теперь поставлено доверие к Еврокомиссии. FairSearch призвала принять меры прямо сейчас, потому что нет времени ждать месяцами или годами, пока предложенный закон о доминирующих платформах решит проблему.

Пример 3: Россия: притеснение Яндекса
В России в 2015 году ФАС рассматривала жалобу на Google Inc. и Google Ireland Ltd. (ирландское подразделение корпорации) со стороны Яндекса. Яндекс был недоволен тем, что Google не разрешает предустановку приложений Яндекса на мобильных устройствах марок Fly, Explay и Prestigio. Кроме того, Яндекс требовал от американской компании отказаться от обязательной привязки операционной системы Android к поисковику Google. Яндекс ссылался на то, что понес убытки из-за действий Google, которые вынудили производителей мобильных устройство оказаться сотрудничать с российской компанией, и жаловался, что его вытесняют с рынка.

Именно тогда прозвучали на Хабре слова Григория Бакунова:
Мы обратились в регулирующий орган, ФАС, чтобы вернуть равноправные отношения на рынке мобильных устройств. Наше обращение признание одного неприятного факта. У нас с вами есть все шансы попасть в мир, где только одна компания будет решать, кто получит возможность донести сервисы до людей и чем эти люди смогут пользоваться. Мы всегда верили в конкуренцию и право выбора пользователя.


Комиссия ФАС посчитала, что предустановка программных продуктов на мобильном устройстве является самым эффективным способом распространения программных продуктов. Были представлены данные, подтверждающие, что покупатели смартфоном чаще используют предустановленные приложение, а не закачивают их аналоги самостоятельно.

ФАС признала компанию Google нарушителем закона о конкуренции, наложила штраф, а также потребовала устранить нарушения (то есть как раз дала алгоритм перехода обратно к нейтральности), то есть внести исправления в соглашения с производителями мобильных устройств, выпускаемых в России. Кроме того, компания должна была уведомить всех пользователей мобильных устройств на Android о возможности деактивации предустановленных сервисов и установки альтернативных приложений, совпадающих по функциональности, о возможности смены поиска в браузере Google Chrome и установки иного поискового виджета.

Google пытался оспорить решение, но суд иск отклонил. Итоговая сумма штрафа, объявленная ФАС в 2016 году, составила 438 млн рублей (9% от оборота компании на российском рынке за 2014 год плюс инфляция). За неисполнение предписания в срок Google Inc и Google Ireland Ltd были назначены дополнительные штрафы по 500 тысяч рублей. В итоге дело перешло в область уголовного права, так как ФАС пришлось подать судебный иск о принудительном исполнении решения. По условиям заключенного мирного соглашения, Google согласился выплатить штраф в полном размере, а также разработать окно выбора поисковой системы на существующих и будущих устройствах, использующих операционную систему Android. Кроме того, Google заключил одобренное ФАС коммерческое соглашение с Яндексом, предоставив дополнительные возможности для поискового сервиса в браузере Google Chrome.

Пример 4: Гугл и Турция
По мнению турецких антимонопольщиков, Google нарушил условия честной конкуренции, несправедливо распоряжаясь доступом к рекламным площадям. Антимонопольное ведомство нашло подтверждение тому, что Google усложнил деятельность других предприятий на рынке контентных услуг, отображая текстовые рекламные объявления в верхней части общих результатов поиска в интенсивной манере. Это была более привлекательная выдача, которая при этом не была четко обозначена как реклама, но делала менее интересными для пользователей обычные результаты поиска. Иными словами, компаниям, которые не платили за рекламное размещение Google, было сложнее попасть в поле зрения потенциальных клиентов.

Турецкое антимонопольное ведомство в 2020 году выписало Google штраф в размере $25,6 млн. Кроме того, теперь компания должна будет обеспечить активную конкуренцию на рынке, приняв необходимые для этого меры в течение шести месяцев (решение было опубликовано в ноябре 2020 года). Также в течение пяти лет компания обязана отчитываться о том, как она позволяет сохранять конкуренцию.

То есть общий смысл антимонопольного регулирования в Интернете сейчас сводится к тому, что крупные компании, фактически, монополизируют те или иные участки (рынки), но делают это куда быстрее, чем появляется нормативная база. То есть в разрыве между мы уже доминируем и появились законы про это есть период, когда можно сделать очень много всего. Поэтому развитые страны активно занимаются регуляцией отрасли. Не всегда это получается гладко, поскольку ситуация новая, требует специальных знаний и меняется прямо во время обсуждения. Так что в Рунете мы видим один из первых шагов в этом направлении.

Так что я рад, что на наш запрос ответили. Мы 17 лет занимались обновлением расписаний электричек, прогнозированием движения поездов, научились делать удобную продажу железнодорожных и авиабилетов, недавно поучаствовали в наконец-то внедрении электронных билетов на автобусы на госуровне (с 1 января 2021). Долгие годы именно наше расписание было в топе выдачи Яндекса, как самое полезное и точное для пользователя, и пользователи привыкали, что в Яндексе можно его найти. То есть мы развивали и Яндекс тоже своим трудом. Ситуация видится мне так: Яндекс во многом скопировал наши сервисы у себя и начал продвигать их своими средствами. Мы не против копирования и не против конкуренции мы только за равные условия для всех игроков рынка. Копируйте нас и делайте лучше, но давайте сравнивать без дискриминации.
Подробнее..

ФАС возбудило дело против Яндекса что это значит для Рунета

15.04.2021 10:21:55 | Автор: admin

Скриншот показывает, как эффективно Яндекс добавляет свои сервисы наверх выдачи

Привет! Я один из тех юристов, которые направили обращение в ФАС, в результате рассмотрения которого появилось предупреждение о прекращении действий (бездействия), которые содержат признаки нарушения антимонопольного законодательства.

Возможно, вы уже видели волну новостей про то, что ФАС возбудило дело против Яндекса и тут же произошёл резкий скачок акций, в результате чего компания потеряла за час торгов 106 миллиардов рублей рыночной капитализации. Я почти уверен, что роль тут сыграли, скорее, громкие заголовки и спекулятивный характер рынка акций, а не детальное содержание новости и её суть. То есть это, скорее, спекулятивное падение.

Именно детальное содержание я и хочу сейчас разобрать.

Итак, в предыдущих сериях: ФАС вынесло предупреждение о том, что нужно устранить признаки нарушения антимонопольного законодательства. Это означает, что Яндекс уже не рассматривается как частная компания со своим продуктом, и поиск это уже не их личное дело, а, как определено в предупреждении, является рынком поиска. Рынок это ключевое слово, потому что именно созданием и регуляцией равных условий на рынках занимаются в антимонопольной службе.

Прошел месяц, и ситуация выглядит так, что Яндекс ничего устранять не стал, а вместо этого выбрал стратегию затягивания времени, 1 апреля подав ходатайство о продлении срока предупреждения на 1 месяц. Похоже, в ФАС такой ход не оценили, и возбудили административное дело, как, собственно, и указали в предупреждении.


Важное примечание
Я использую упрощения и говорю не на юридическом языке. Это вносит неточности, недопустимые для официального документа, но позволяющие объяснить на пальцах, что происходит. Текст имеет эмоциональную окраску, которая также привнесена мной, поскольку выражает моё отношение к вопросу. Толкования и прогнозы это моё мнение на основе профессионального опыта, и, естественно, как любые толкования и прогнозы, они с юридической точки зрения являются всего лишь фантазией. То есть всё это моё личное мнение и мой взгляд на события.


Хроника основных событий


2019 год: объединяется несколько крупных компаний, основанных ещё на заре Рунета и страдающих от действий Яндекса в поиске, в союз (который позже журналисты назвали ИТ-коалицией) с целью выработки как правовых, так и технологических решений, позволяющих рынку развиваться в условиях честной конкуренции.

2020 год: ИТ-коалиция понимает, что необходимо нормативное регулирование рынка поиска, и обращается в ФАС с вопросом по существу: нормально ли, что Яндекс превращается в лучший поисковик по сервисам Яндекса. Вот здесь мой коллега приводит публичные примеры того, что сервисы Яндекса получают на 20% больше трафика, который дискриминационными (с нашей точки зрения) методами отбирается у участников рынка.

2021 год: ФАС рассматривает материалы коалиции и официально выносит в конце февраля предупреждение Яндексу, обозначающее две важные вещи: наличие рынка поиска и указывающее на признаки нарушения антимонопольного законодательства
выразившихся в создании на рынке оказания услуг поиска общего характера в информационно-телекоммуникационной сети Интернет с применением информационных технологий неравных (дискриминационных) условий путем предоставления для сервисов лиц, группы лиц ООО Яндекс (в том числе ООО Яндекс.Вертикали, ООО Яндекс.Маркет, ООО Яндекс.Медиасервисы, ООО Кинопоиск)

Учитывая довольно интересную юридическую природу предупреждения ФАС, Яндекс, фактически, получает предложение добровольно устранить признаки нарушения или перейти в стадию разбирательства в рамках возбужденного дела. То есть ФАС пока не давала правовой оценки, есть ли нарушение, ФАС лишь сказала: выглядит так, что нарушения есть. И предложила перестать так делать. Без санкций и конкретных нормативных предписаний. Если бы Яндекс добровольно пошел бы сценарию предупреждения, то на этом сюжет бы и закончился до следующего эпизода дискриминации, грубо говоря.

Вот здесь я подробно разбираю этот документ и его влияние на отрасль.

Конец марта 2021: Яндекс бездействует и ничего не устраняет, публично заявляя, что нарушений в своих действиях не видит, более того, что частично требования из предупреждения компанией уже выполнены. ФАС молчит. Колдунщики работают на полную катушку.

1 апреля 2021: Яндекс подаёт ходатайство в ФАС о продлении срока действия предупреждения на 1 месяц.

13 апреля 2021: ФАС объявляет о возбуждении дела против Яндекс.

Что это значит и что теперь будет?


Предупреждение не было документом, который обязательно исполнять: фактически, это было предложение добровольно устранить нарушение (точнее, признаки нарушения) или же попробовать доказать в суде, что нарушений нет и претензии ФАС необоснованны. Предупреждение не обязательно исполнять, но его неисполнение приводит к возбуждению административного расследования, так как с признаками нарушений все-таки надо что-то решать.
Федеральная антимонопольная служба обращает внимание ООО Яндекс на тот факт, что в соответствии с частью 8 статьи 39.1 Закона о защите конкуренции, в случае невыполнения предупреждения в установленный срок при наличии признаков нарушения антимонопольного законодательства антимонопольный орган обязан принять решение о возбуждении дела о нарушении антимонопольного законодательства.

Признаки сохранились, предупреждение не выполнено, ФАС возбуждает дело. Отсутствие задержки похоже, это подтверждение новой бизнес-ориентированной политики ФАС.

Это первое громкое и резонансное дело в Рунете относительно подобного регулирования на рынке Интернет-поиска. Учитывая его особый статус, я почти уверен, что ФАС будет действовать хирургически точно, как в части доказательств, так и последующего предписания. Вообще, у дела два основных возможных исхода:
  1. Яндекс не нарушитель, за признаками нарушения не было самого нарушения это если ФАС не усмотрит достаточных доказательств дискриминации. Конец истории.
  2. Яндекс нарушил антимонопольное законодательство. Вот предписание по устранению. Вот новые принципы регуляции рынка. Вот штраф с оборота Яндекса по данному рынку.

С учетом всех обстоятельств мне сложно представить себе вариант 1. Странно было бы предположить, что коалиция два года безапелляционно и безосновательно просит ФАС разобраться с Яндекс, а ФАС, учитывая стадию с предупреждением и длительное рассмотрение материалов дела, просто идет на поводу хотелок нескольких компаний. То есть логично предположить, что и повод для разбирательства, и стратегия обвинения, и достаточный объём доказательств у ФАС, все-таки, есть.

Если за признаками нарушения всё же объективно было нарушение, то дальше последствия следующие:
  • Дело должно закончиться нормативным предписанием о том, как устранить указанные нарушения. Это конкретный алгоритм действий, который нельзя не выполнить. Напомню, в предупреждении была описана последовательность: прекратить создавать признаки нарушения, обеспечить прозрачный регламент для игроков рынка, обеспечить равные возможности независимо от того, входит юридическое лицо в группу компаний Яндекс или нет, проинформировать ФАС о предпринятых действиях. Поскольку, скорее всего, речь пойдёт про поведенческое предписание (набор критериев, которым должен соответствовать Яндекс в поиске), то это же через несколько итераций станет новой регуляцией рынка. Следовательно, такому же набору критериев относительно нейтральности к игрокам рынка должен будет следовать и Google.
  • Выносится санкция в виде штрафа, то есть наказание за нарушение антимонопольного законодательства. Я не буду гадать по конкретике, размер штрафа зависит от нарушения и его масштаба, но, вероятно, это действительно будет определенный % от выручки Яндекса на рынке поисковых услуг за всё время нарушения с момента возбуждения дела. Так указывает сама ФАС.

Для тех, кого прямо сейчас дискриминирует Яндекс, это и хорошая, и плохая новость. Хорошая в том, что наконец-то это стало заметно, и, как и во многих других странах, у нас появится регуляция, не позволяющая поисковику использовать доминирующее положение на рынке, чтобы диктовать свои правила игры рынку. Ну, знаете, это именно те слова, которые прозвучали в своё время в обращении к Гуглу: У нас с вами есть все шансы попасть в страну, где только одна компания будет решать, какими сервисами будут пользоваться люди мы всегда верили в конкуренцию и право выбора пользователя. Ну вот теперь у пользователя появится право выбора. Со временем.

Подобные ситуации происходят практически на всех крупных национальных сегментах Интернета: технологии развиваются быстрее, чем законодательная база, и регуляция просто не успевает за образованием новых рынков. Тем не менее, общемировой тренд обеспечение нейтральности поиска разными способами. В нашем случае, самый легитимный и эффективный способ это административное дело по факту состоявшегося нарушения и введение новой регуляции по его итогам.

Плохая новость для тех, кого дискриминирует Яндекс, в том, что до конца дела Яндекс может продолжать те действия, которые создали признаки нарушения. В смысле, меняться и устранять что-то сейчас или продолжать гнуть свою линию это выбор исключительно поисковика до появления предписания. Дела рассматриваются не один месяц, и все компании продолжат нести убытки из-за неравных условий на рынке поиска. Затем, когда дело будет завершено, оно вряд ли сразу вступит в силу. Будет небольшое окно для возможности оспорить решение ФАС в суде. Если юристы Яндекса захотят отстаивать сугубо финансовые интересы компании, то окончательного решения по существу истории придется ждать еще довольно долго. Речь о полутора-двух годах в совокупности.

То есть за 2 года поменяется что-то в выдаче или нет это вопрос добровольного желания Яндекса идти на уступки. Судя по тому, что Яндекс не согласен с обвинением, оперативно этого не случится.

Как работать в условиях длящегося правонарушения поживем увидим, ясности сейчас нет.
Этот процентный штраф с оборота, куда он пойдёт?

Штраф пойдёт в бюджет, то есть в пользу государства. Подобная мера не распределение денег между пострадавшими участниками и не какая-то иная форма компенсации, это наказание за нарушение антимонопольного законодательства, повлекшее улучшение своих финансовых показателей. Штраф, фактически, призван сделать такое нарушение невыгодным в конечном итоге.

Очень хочется особо отметить тот факт, что штраф никоим образом не решает проблему и вряд ли ключевым образом повлияет на настроение Яндекса. Регуляция рынка поиска и определение его границ для конкурентного развития вот истинная цель. ФАС не действует в интересах заявителя или ответчика, но действует в интересах рынка в целом, поэтому решение проблемы лежит именно в области установления справедливых условий на рынке (и определении границ этого рынка).

Что будет с регуляцией на рынке?


Если ситуация кончится определением границ рынка поиска и нормативами по нему, то это будет означать появление неких правил в поисковой выдаче.

Прямо сейчас основная претензия касается так называемых колдунщиков, то есть блоков над выдачей, в которые не могут попасть любые компании. Управление этими блоками, перекрывающими значительную часть экрана пользователя до выдачи вопрос того, как решит Яндекс. Как я уже говорил, наша оценка сервисы Яндекса из-за этого и других действий получают на примерно 20% больше трафика с Яндекса, чем в среднем другие участники рынка.

Выглядит это примерно вот так:



Проблема в том, что никто не знает пока, как регулировать этот рынок. Поисковая выдача качественна, пока её не подкручивают, пользуясь соответствием формуле ранжирования. Поэтому формула ранжирования скрывается поисковиком. Регуляция на рынке может означать раскрытие правил ранжирования всем (это нормальная практика в других областях, и подобное содержалось в предупреждении). Яндекс это вряд ли устраивает. Альтернатива просто убрать дополнительные блоки выдачи, но они-то реально полезны. Сейчас они забирают трафик у почти всех на рынке: многие вебмастера развивают своими сайтами Яндекс из-за того, что ответ на запрос показывается прямо в выдаче, а не по переходу. Но это даёт Яндексу возможность конкурировать с Гуглом за Рунет. То есть, это вообще-то полезная фича, просто реализована она сейчас не так, чтобы все были на равных.

Такое происходит не только в РФ. К Google у властей США тоже есть серьезные претензии. Недавно была история, которую у нас в СМИ не особо заметили, зато там кое-кто стоял на ушах. Были опубликованы архивные материалы расследований Федеральной комиссии по торговле США, из которых следовало, что американские власти еще во время президентства Барака Обамы имели доказательства антиконкурентных практик Google, но руководство антимонопольного регулятора отказалось подавать иск против компании. Журналисты опубликовали сотни страниц документов, из которых следует, что интернет-гигант действовал в нарушение законов США как минимум последние 10 лет. И это в итоге привело к установлению цифровой монополии и вымыванию конкурентов Google с рынка. Компания не только действовала проверенным методом покупки конкурирующих сервисов, но и вынуждала производителей мобильных устройств и операторов связи подписывать долгосрочные контракты, по которым именно Google устанавливался в качестве поисковой системы по умолчанию. В соглашениях фигурируют огромные суммы в десятки миллиардов долларов в год.

Мы очень надеемся, что решение будет таким, которое, с одной стороны, не повредит пользователям в удобстве, а с другой устранит неравные условия на рынке поиска. Напомню, хоть, с нашей точки зрения, Яндекс и имеет привычку копировать успешные проекты и использовать свой трафик для продвижения своих аналогов, мы уверены, что в условиях честной конкуренции это нормально. Поэтому если поисковая выдача будет нейтральной, мы сможем свободно конкурировать. Вопрос в том, как быстро выдача станет нейтральной и как конкретно это будет достигнуто.
Подробнее..

А чего плохого в монополии Яндекса? И вообще в монополиях?

26.04.2021 10:24:01 | Автор: admin

В этот блок выдачи могут попасть только сервисы группы юрлиц Яндекса

Я уже несколько постов разбираю наше обращение в ФАС по поводу интеграции поиска Яндекс с различными сервисами Яндекса. Напомню предыдущие серии: предупреждение ФАС, ФАС возбуждает дело против Яндекса. В комментариях к постам встречается огромное количество вопросов относительно того, чего, собственно, плохого в том, что делает Яндекс. Они частично задевают вообще фреймворк антимонопольных законов России и мировую практику, поэтому я сейчас постараюсь на уровне ликбеза рассказать, откуда такие принципы вообще пошли.

Итак, основные точки прошлого обсуждения:
Почему Яндекс не может делать со своим продуктам что угодно? Это же их поиск, нет?
Почему крупные компании пошли за помощью государства, а не прибегли к рыночным методам, если их что-то не устраивает в работе Яндекса?
Почему бы не сделать свой конкурирующий поисковик и не устанавливать в нём свои правила?
Чем вообще плоха монополия?
Чем отличается доминирующий игрок от просто игроков?
Почему государство вдруг должно устанавливать правила для интернет-рынков? Неужели нельзя порешать это саморегуляцией?

Чтобы понять смысл антимонопольного регулирования, нужно мысленно смоделировать несколько ситуаций, что бы было, если бы его не было вообще. Давайте для начала разберёмся, зачем оно вообще существует в современном мире.


Примечание: этот текст выражает моё субъективное мнение, основанное на личном и профессиональном опыте. Полностью правильная юридическая терминология сделала бы текст очень громоздким. Например, понятия монополист и доминирующий игрок не являются юридическими синонимами, но при этом являются разговорными. Поэтому если вы юрист, страдайте.

Немного истории и теории


Антимонопольное законодательство, как отрасль права, направленная на поддержание конкуренции и ограничение монополистической деятельности, возникло в США в конце XIX века в связи с окончательной победой индустриализации. В том или ином виде оно существует более чем в 100 странах мира. Большинство национальных законов, вне зависимости от страны, где они применяются, имеют общие объекты регулирования и общие положения. Это говорит нам о том, что предмет регулирования един, есть возможность международного сотрудничества в данной сфере, а также допустимо использовать международный опыт в правоприменительной практике. То есть регулирование либо развивалось методом форков одного набора нормативов, либо же независимо пришло к примерно общим формам. Обе ситуации говорят о том, что на текущий момент в этом наборе нормативов достигнуто некое плато оптимизации, и принципиально новые вещи пока не появляются.

Тем не менее, как показывает практика, сама антимонопольная система в классическим виде с девятнадцатого века безнадёжно устаревает, и мы прямо сейчас наблюдаем конфликты новой онлайн-экономики и старых фреймворков. Забегая вперёд, скажу, что одна из главных проблем это скорость реакции: пока к законам выходит патч или апдейт, ситуация уже разительным образом меняется. По сути, мы наблюдаем сейчас очень много эксплуатаций 0-day уязвимостей в законах в разных странах.

Почему только в 100 странах, а не во всех сразу? Есть государства, где временно не до экономики, и основная валюта патрон 7,62. Есть государства, где экономика не настолько развита, чтобы отсутствие такого регулирование хоть как-то влияло на экономику. И, главное, вышеупомянутые 100+ стран это страны с рыночной экономикой. Экономические системы бывают разные, и, в частности, Советский Союз не так давно исповедовал не капитализм с рыночной экономикой, а социально-ориентированную плановую экономику. В плановой экономике антимонопольные меры не нужны by design. Но Россия с 1991 года не использует плановую экономику с централизованной системой управления: сейчас наша система ближе к понятию рыночной экономики. Это не хорошо и не плохо, это вопрос выбора фреймворка и его реализации. Мы относительно недавно осознали необходимость регуляции рынков. До 90-х не существовало в нормативах понятий вроде ФАС, РКН, ФНС, слов монополист или доминирующий игрок, а самим словом рынок люди пользовались чаще в контексте колхозный.

Рыночная экономика подразумевает конкуренцию. Конкуренция это основной механизм автобалансировки (регуляции) системы. Условно, любая экономика постоянно решает сложнейшую математическую задачу определения, сколько и каких товаров нужно производить и поставлять (и по каким ценам). Можно выбирать централизованные вычисления (планы производств для каждого предприятия), а можно выбирать децентрализованную регулировку на микросервисах: одна булочная Парижа не знает, сколько нужно печь багетов, но все булочные Парижа идеально обеспечивают город. Конкуренция это способ передачи информации внутри рыночной экономики.

Конкуренция означает состязательность игроков на рынке в борьбе за потребителя и равные возможности участников при контроле со стороны государства за соблюдением правил. И конкуренция означает благо для конечного потребителя, который получает баланс цены/качества и возможность выбора лучшего. Потому что предполагается, что одна из главных парадигм экономики это удовлетворение конечных потребителей.

Что будет, если конкуренция в рыночной экономике перестанет работать?


Предположим, есть несколько транспортных компаний, которые возят грузы по стране и конкурируют на этом рынке. Одна из них занимает большую часть рынка и постепенно становится монополией транспортного рынка, перевозя почти все товары страны.

Следствие первого порядка в том:
  1. Раньше авторегулировка конкуренцией работала так, что компания была ограничена в тарифе на перевозки тарифами конкурентов.
  2. Раньше там, где основная компания не покрывала территории, эту часть рынка забирали конкуренты.
  3. Раньше потребитель имел возможность выбора, то есть испорченные отношения с одной транспортной компанией не означали для него отсутствие перевозок.

После монополизации компания может:
  1. Устанавливать любой тариф по своему выбору, потому что конкурентов нет. А если они вдруг появятся то демпинговать в регионе их появления до их разорения (повторить несколько раз), пока дураки не кончатся.
  2. Не поставлять услуги в какие-то города просто потому, что ей это невыгодно.
  3. Отказать кому-то в перевозке, и он останется без возможности что-то возить.
  4. Навязывать эксклюзивные условия, по которым грузоотправители не должны заказывать транспортные услуги у конкурентов.
  5. Использовать сам факт размера своего бизнеса (инвестиций/рабочих мест и пр.) как инструмент давления на государство в случае возможных рисков для собственной монополии.

Следствия второго порядка:
  1. Поскольку перевозчик может устанавливать разные цены для любимых и нелюбимых компаний, он внезапно начинает влиять на все розничные сети, например. И тем самым через монополизацию одного рынка начинает контролировать другие рынки, приводя к монопольным ситуациям там.
  2. В целом, компании ничего не мешает копировать успешные бизнесы и устанавливать для своих льготные цены перевозок, а конкурентам их повышать или ухудшать сроки, условия и т.п. Это также приведёт к монополизации соседних рынков и ухудшению условий для потребителя.

То есть монополизация рынка похожа на домино. Стоит образоваться монополии на одном рынке, как на смежных тут же могут начаться неприятные эффекты. И ФАС должна включаться, что не допустить их и в перспективе полного коллапса экономики.

Постойте, но у нас же много естественных монополий в стране. Почему всё не навернулось?


Потому что в некоторых сферах плюс монополии единая точка управления и общность требований превосходят минусы. Как это устроено на практике: обычный человек в России не может выбрать потребителя электричества, и полагается на одного поставщика, а не несколько различных компаний. Обычный человек не может выбрать перевозчика по железной дороге и полагается на РЖД и так далее.

Но в этих сферах монополисты не действуют бесконтрольно. К ним приходит государство и говорит, условно, следующее:
  1. Если вы монополист есть планка сверху на ваши цены. То есть нельзя продавать электричество по 500 рублей за КВт*ч.
  2. Никому достаточно крупному нельзя давать разные условия разным покупателям: например, выбирать, кому продавать, а кому нет. Если электростанция подключает питание, то должно быть одно общее правило, как его получить с одной формулой расчёта, а не что-то мне этот Вася не нравится, ему не будем кабель давать.
  3. Игроки рынка должны быть в равных условиях относительно потребления питания: нельзя юрлицам одной группы продавать электричество за 2 рубля КВт*ч, а другим за 10 рублей КВт*ч.
  4. Нельзя заключать такие сделки слияния-поглощения, которые ведут к монополизации рынка и, соответственно, возможности контроля одной группы лиц над значимой частью рынка.


Правила конкуренции для игроков устанавливаются в законах о защите конкуренции и в России они принимаются и применяются с 1991 года, сейчас действует закон, принятый в 2006 году, который регулярно актуализируется и дополняется (последние поправки вступили в силу в феврале 2021 года).

Ок, а как это может выглядеть на рынке интернет-поиска?


Для начала отличный пример от nApoBo3:
Есть ОС, создать ОС дорого и сложно, продвинуть ОС ещё сложнее, в итоге может сформироваться монополия. Но монополия может пойти дальше, например ничто не мешает монополисту ограничить в своей ОС все прочие, кроме своего браузеры в потреблении памяти или в скорости сети. Таким образом у нас станет уже две монополии, на ОС и браузер. Дальше монополия может замедлить интернет страницы всех конкурентов, видео хостингов, соц.сетей, заблокировать рекламу всех площадок кроме своей. Ну и т.д. Как итог, у нас не рынок, где конкуренция должна по идее приводить к балансу интересов потребителя и поставщика, а диктат одного поставщика, сверхприбыли которого позволяют ему на корню давить, скупать и разорять исками любых потенциальных конкурентов.

Что самое смешное, такой пример у нас уже был. Мне 43 года, я пользовался Netscape Navigator, и он был отличным браузером. Помните такой?

Теперь посмотрим на поиск:
  1. Становимся точкой входа в Интернет. Для этого мы улучшаем поиск и используем контент сайтов Рунета, чтобы люди привыкали заходить в сеть именно через поиск, а не какими-то другими способами. Именно это действие в какой-то момент создаёт потенциальное влияние на потребителя, позволяющее очертить рынок. Но пока это действие ничему не вредит, и в регуляции эта область ещё не нуждается. Просто поисковик консолидирует трафик.
  2. Чтобы не создавать резкого перехода к следующему пункту, включаем режим плавного подогрева лягушки. Начинаем забирать у владельцев сайтов трафик, переводя его на свои сервисы: давая новости новостных сайтов прямо в поисковой выдаче, делая турбо-страницы для мобильных телефонов на своей платформе и так далее. То есть разделяем поставщика и его клиентов презентационным слоем в архитектуре. Затем можно будет просто переключить бекэнд (поставщика услуг), а для потребителя визуально ничего особо не поменяется.
  3. Пользуясь тем, что мы теперь точка входа в Интернет, начинаем развивать свои сервисы на других рынках. Даём им преференции в поиске и тем самым выдавливаем конкурентов с других рынков. Занимаем эти рынки.

Готово! Вы монополия, и можно творить всё, что угодно. Например, не заниматься больше поиском, ранжировать как захочется, отключать от поиска конкретных игроков, банить в поиске город Омск (а почему бы и нет?) и так далее.

Конечно, можно просто влиять на рынки и получать отчисления от ключевых игроков, но можно и самому стараться эти рынки занять.

И ещё в какой-то момент простой поисковик становится настолько важным для конечных потребителей (экономики), что его уже нельзя разрегулировать: условно, он может ухудшить жизнь потребителей так, что они пойдут против государства.

Так сделайте свой поисковик, в чём проблема-то?


Это как пытаться построить свою электростанцию, когда вам поставляют питание в рамках SLA, установленным государством. Попытаться можно, но на практике вы будете терпеть и жрать кактус ещё долго. Поэтому и есть ФАС, поэтому и есть регуляция.

Экономическая теория говорит: в здоровой рыночной экономике присутствует все. Это самозанятые, ИП, микро-бизнес, малый бизнес, средний, крупный и бизнес-экосистемы, например, концерны, охватывающие своими вертикалями несколько рынков. Одна из ключевых проблем российской экономики это именно недостаток на рынке игроков в секторе малого и среднего бизнеса, поскольку именно они составляют основу для здоровой и конкурентной среды. То есть у нас автобалансировка имеет очень большой шаг квантования, что не всегда позволяет эффективно решать задачи экономики.

Контроль со стороны государства никогда не ставит себе целью уничтожение части тех или иных игроков. Антимонопольное законодательство не имеет задачу ликвидировать монополистов или доминирующие компании. Монополии это нормально (монополия РЖД это естественная монополия, например, обусловленная общественной значимостью ЖД перевозок). Возникновение доминирующих игроков это норма и также признак здоровой системы.

Речь только о том, что выживать в условиях рыночной экономики должна быть возможность у всех. Вопрос в том, что в условиях рыночной экономики у всех игроков должна быть равная возможность для развития на конкурентных рынках. Ключевое слово здесь возможность, и гарантируется эта возможность именно контролем государства. Эта задача лежит на надзорном органе, который действует на основании закона. Неотвратимость наказания по закону в случае нарушений это залог для процветания всей экономики.

Контроль болезненный вопрос и справедливо задавать вопрос, насколько он адекватен и где его границы. Но отсутствие контроля вообще, то есть в принципе, ни экономической теорией, ни юридической наукой на сегодняшний день не рассматриваются. Рыночная экономика не подразумевает вольницу и, тем более, анархию.

В 1997 2005 года я помню Интернет совершенно другим. Фактически он представлял из себя не очень качественную по содержанию очень медленную прото-википедию с редкими вкраплениями чатиков, первобытных дейтинг-досок, сайтов-визиток, разрозненных текстов и тому подобного (порно уже было, конечно). Коммерческого интереса, по большому счету, никто особо к нему не испытывал, даже рекламы было мало. Рынком не пахло. Поиск, в частности, предназначался для чего угодно, но только не для приобретения чего бы то ни было.

Сейчас Интернет стал реальным метасектором экономики, причем глобально. С развитием технологий (связи и скорости передачи данных, прежде всего), колоссальным приростом трафика оказалось, что это еще и бизнес-среда, удобная как для бизнеса, так и для потребителя.

Государство быстро сообразило, что рынок рекламы там точно имеет место быть, с чем, по сути, никто и не спорил. Правила торговли онлайн повсеместно приравнивают к оффлайновым (закон об онлайн-чеках, например, один чего стоит), словом, регулирование идет по стандартной схеме и во всех аспектах. Регулирование приходит в реальные сектора экономики с их возникновением, собственно говоря.

Поиск это самостоятельный сложный продукт, с одной стороны, поддерживаемый и обслуживаемый одной компанией, с другой стороны, это уже среда, где соревнуются компании и частные лица за привлечение внимания пользователей к своим коммерческим ресурсам. И, очевидно, можно предположить, что компания-поиск и компания-потребитель поиска очень заинтересованы друг в друге. Поиск становится некой платформой-витриной, где вниманию потребителя предлагается и контент, и сервисы и информация практически по всему ассортименту существующих товаров или услуг гражданского оборота. Кто субъекты, то есть участники всего этого веселья? Те самые микро, малые, средние и ИП. Так случилось, что Интернет на сегодняшний день для них является единственной возможной бизнес-средой. Просто по факту: эти игроки зависимы от Интернета, как от среды вообще и от поиска, как платформы, в частности.

По сути, поиск это аналог рынка в небольшом городе. Фермер может пытаться продавать товар напрямую, но это не его компетенция и не самый подходящий вариант. А может отнести на рынок, где уже есть покупатели. То есть фермеры начинают зависеть от рынка. Если рынок монополизирует рынок рынков в этом самом городе (то есть мафия будет последовательно отстреливать тех, кто пробует открыть свои рынки это очень жизненный пример из 90-х) тогда образуется ситуация, что именно рынок управляет всеми фермерами. Дальше владелец рынка решает, что неплохо бы своим родственникам-фермерам дать преференции и позволить торговать на лучших местах и подешевле в плане аренды. Так наш фермер постепенно оказывается выкинут с рынка монопольным концерном, что ведёт к отсутствию конкуренции. Дальше вы уже знаете. Да, мир несправедлив, да, фермеры разоряются. Но государство говорит: если вы доминируете, то нельзя не пускать кого-то на рынок и нельзя своим давать другие условия, нежели чужим. То есть базар оказывается средой, которая потребовала в какой-то момент правил и регулирования. Хотя построил его и организовал в нашем примере один метко стреляющий человек. При этом важно, что это рынок с двумя типами игроков, то есть на начальном этапе он наполнял рынок за счёт фермеров, именно они создавали контент, который позволил рынку стать доминирующим в городе. Получается, что когда-то территория базара из примера был продуктом недвижимости, но со временем общественная и экономическая значимость этого базара превратила его из частного купеческого предприятия в инфраструктуру городского (государственного) значения. РЖД тоже когда когда-то частным предприятием были, знаете ли.

И не одним, поэтому, например, у нас есть отличный левопутный участок около Рязани

Про участок Москва Рязань
В стране есть участок железной дороги с левосторонним движением. Это Москва Рязань. Участки Москва Коломна и Коломна Рязань проектировали англичане, а реализовывали французы. Поскольку железные дороги Российской Империи были частными, англичане спроектировали по своим стандартам. Во Франции же несмотря на правосторонне автомобильное движение, железнодорожное в основном левопутное. Кто как проектировал. Позже при слиянии частных железных дорог и национализации этот участок был интегрирован с другими дорогами специальным переходным мостом.


То есть вы идёте к госоргану потому, что вы в этой истории как фермеры?


Да.

По той же причине Яндекс обращался в ФАС с иском против Гугла, когда их не пускали на телефоны на Android.

Тут надо ещё раз сказать, что регулирование Интернета, как коммерческой среды, чрезвычайно затруднено молниеносным развитием технологий. Все революционные идеи наподобие платформ Uber, Airbnb и т.п. сталкивались с колоссальными проблемами отсутствия адекватного правового регулирования. И вовсе даже не в России, точнее, поначалу далеко не в России.

Право не успевает за развитием технологий. Пока.

Но выживать рынку во всем его разнообразии нужно здесь и сейчас, иначе сценарий вы уже видели. Монополизация даёт короткий период плюсов для рынка, а потом обеспечивает его стагнацию.

Регулирование рождается от беды, если говорить простым языком. От потерь, проблем и ощущения угрозы. Функция регулирования это всегда функция государства, к его помощи и обращаются в цивилизованных обществах, властные полномочия устанавливать правила это то, что общество делегирует власти.

Безусловно, это не означает невозможности бизнесу договариваться без вовлечения арбитра, но когда речь идет о серьезном коммерческом интересе, то переговорные возможности сторон, и так-то, неравнозначные, зачастую являются призрачными.

Почему ИТ-коалиция из компаний Рунета, обратившаяся в ФАС, не создаст свою монополию?


Монополии не создаются вопреки другим монополиям (в случае исчезновения одной это возможно, конечно), они возникают самостоятельно на новых формирующихся рынках и занимают их, обеспечивая адекватное удовлетворение потребительского спроса в своих сегментах. И это нормальный процесс. Ненормально лишь то, что на фоне естественного развития крупных игроков не выживают остальные или их развитие находится под угрозой. Нет задачи превращаться в монополию, есть задача конкурировать и обеспечивать баланс между игроками всех весовых категорий.

Это примерно как если вам не нравится, что из крана течёт чёрная жижа вместо воды вам не предлагают насыпать свой остров и строить свою страну там. Вам нужно обратиться к арбитру (в данном случае Роспотребнадзору), чтобы он объяснил естественной монополии, в чём дело.

Что ещё делает ФАС?


Внезапно, именно ФАС, например, реализует исполнение закона о рекламе. То есть если вас достали спамеры с SMS или звонками, обращаться надо именно в эту организацию, поскольку такие действия также относятся к нечестной конкуренции. Именно ФАС следит за тем, чтобы на щите не было написано Лучший в мире гамбургер здесь или Кредиты за 0% прямо сейчас без конкретных доказательств или всех положенных пояснений.

Так что в идеальном мире ФАС выступает в роли ещё вот этого мужика для игроков рынка:


Персонаж Боб Коди фильма Трасса 60

Ну, по крайне мере, служба должна быть такой по назначению.

Что происходит сейчас?


С моей точки зрения, данное расследование ФАС это первое резонансное дело о регулировании конкуренции в Интернете. Пока сложно сказать, какое это будет регулирование, насколько оно получится качественным и как повлияет на рынок, но, по крайней мере, мы переходим от стадии анархии к стадии хоть каких-то правил.

Напоследок процитирую комментарий Am0ralist.
Вначале гугл серьезно нарушил антимонопольные законы (и по мнению ФАС, и по мнению ЕС), его наказали, но ситуация на рынке уже была нарушена. В результате решили продвинуть свои компании, потому что местному бизнесу труднее конкурировать с мировым.
Но попутно Яндекс всё же продолжил занимать серьезную долю на рынке и за это время тоже стал использовать часть практик против свободной конкуренции, уже сам перейдя к выдавливанию конкурентов в других рынках. Теперь ФАС пришёл к нему.
В итоге можно увидеть, что ФАС в стране ещё более-менее работает, раздавая плюхи не потому, что там было против Гугла. А потому, что компаниям выгодно нарушать рыночную конкуренцию в свою стороны и меры они не знают.

В этом очаровании последних фраз и состоит суть происходящего конфликта с жабой и гадюкой (в том плане, что здесь нет ни однозначно доброй стороны, ни однозначно злой все отстаивают свои коммерческие интересы, а в конечном счете, право на равные возможности конкуренции в сети).
Подробнее..

Как Яндекс маркет тебя затролит

26.04.2021 14:21:23 | Автор: admin


Всем привет! Предлагаю вам понаблюдать в реальном времени как я пытаюсь получить заказ, который я делал на яндекс маркет и как я бьюсь с техподдержкой уже третий день. Как по мне это увлекательное занятие! Конечно, особой ценности статья не несет, но, возможно, вам это будет интересно.

Head


Думаю, многие знают, что такое Яндекс со своим сервисом Яндекс маркет. Маркет за последние несколько лет превратился из агрегатора цен в полноценную платформу, где ты можешь приобретать товары онлайн от партнеров или самого Яндекса.



Яндекс активно развивает свои сервисы, которыми я пользуюсь каждый день. Надо отдать должное картам, навигатору или яндекс музыке. (Не реклама, просто я действительно пользуюсь этими продуктами).

Body


Я прекрасно понимаю, что везде работают люди и есть человеческий фактор, что иногда случаются ляпы, то доставка придет позже, то совсем отменят заказ, а ты его ждал все это объяснимо конечно не приятно, но понять и простить можно.

Но тут я столкнулся вообще с непонятной мне ситуацией. Я сделал обычный заказ в маркете, нужен мне был салонный фильтр для автомобиля. Ссылка на товар

Оплатил покупку, доставка по умолчанию стояла по-клику это новая фича баг от яндекса, когда заказ поступает на склад рядом с твоим домом и ты заказываешь по клику доставку курьера, и он приносит тебе твой заказа в диапазоне от 1540 минут. Почитать про это Хау-Ноу можно тут



В назначенное время мне пришло уведомление что курьер готов привезти заказ и я могу его вызвать что я и сделал. Прождав около двух часов, никто ко мне так и не пришел, и я получил сообщение что Курьер не смог вручить мне заказ.



Позвонив в поддержку маркета, мне сказали, что сейчас мало курьеров и пробуйте еще. Но эти попытки ни к чему не привели ситуация такая же. Звонки и переписка с техподдержкой вообще не дают никаких результатов.

Кстати, в чате с поддержкой все сообщения обрабатываются ботом, судя по диалогам, ну или просто отвечают готовыми фразами про каких-то водителей но это не точно.

Общение с техподдержкой в чате, много скринов



























Так же отдельный баг, мой заказ якобы у курьера, который несет мне его уже вторые сутки. Конечно, возможно это специальная фишка по доставке медленными курьерами или просто яндекс разрабатывает сервис по доставки на основе черепах или улиток.



Пример разговора с техподдержкой.


Галина так и не перезвонила, жаль я ей поверил :( За все время никто из поддержки так и не связался и не перезвонил.

Bottom


Буду держать в курсе этого квеста. На текущий момент ситуация не решена. Может быть представители Яндекс увидят это и свяжутся со мной?

Эта мистика сильно испортила мне впечатление о сервисе, впредь я несколько раз подумаю, чтобы снова сделать заказ на яндекс маркет. Скорее всего я перейду на другие площадки онлайн торговли, благо их много и работают более стабильно и предсказуемо.

Будет интересно узнать какие еще курьезы с сервисом бывали у Вас?
Подробнее..

Яндекс.Маркет темные паттерны монополии

24.04.2021 10:05:15 | Автор: admin

Начиная с новости о выкупе Беру с Сбербанка, Яндекс начал объединять свои бизнес модели Беру и Маркет, всё больше ухудшая сервис и всё больше навязывая свои услуги и продавцам, и покупателям. Вначале просто появились надежные поставщики и сервис доставки через Маркет, однако первой проблемой данного сервиса стало то, что "надежными поставщиками" в Яндексе по сути решили назвать фирмы, которые согласились доставлять через Маркет часть своих товаров... И понеслось.

Предупреждение: Все скриншоты в теме - примеры поисковой выдачи Маркета и не имеют никакого отношения к качеству представляемых услуг самих магазинов. Читайте и сотавляйте отзывы, желательно не на Маркете.

Да, с момента появления шильдика "надежный поставщик" качество сервиса Яндекс.Маркета продолжило стремительно пробивать дно. Когда один подобный поставщик перед Новым годом устроил глобальную завлекаловку на свой сайт путем занижения цен, после чего начал массово отказываться от кучи заказов, даже получив оплату. То есть перед самым новым годом благодаря Маркету куча людей получила кучу позитивных эмоций из-за того, что вначале принятые заказы в течении недели отменялись.

Но давайте угадаем, что же сделал Маркет в ответ на жалобы и оставленные отзывы?

Угадали?

Правильно - НИ-ЧЕ-ГО. Ровно ничего, кроме пассивно агрессивных ответов "Сожалеем, что у вас сложилось подобное впечатление о нашей работе.". То есть это не они, понимаете ли, всей компанией на качество сервиса болт положили, это ты такой дурак, смеешь обижаться на отказ техподдержки что-либо делать с магазином, который благодаря такому красивому шильдику (вот, Яндекс же нам доверяет) просто накручивает визиты на сайт заниженными ценами. Правильно, ведь деньги Яндекс получает от магазина, а ты со своими возмущениям - помеха на пути к бабкам.

Но так как отзывы и неудобные вопросы можно задавать не только в самом Маркете, но и на других сайтах, а так же в комментах разработчикам из стана Яндекса на Хабре (на что они так ни разу и не ответили, что характерно), то видимо кто-то очень умный подошёл к решению проблемы кардинально. Встречайте:

Опа, а где звёздочки?Опа, а где звёздочки?

Да-да, вы правильно поняли. Надежных поставщиков не осталось. А на продавца, который доставляет через маркет, покупатель теперь не может оставить открытый отзыв! Есть лишь метрики самого Яндекса (а пути их накруток самим яндексом выше по отзывам на пикабу навалом):

Память Маркета всего 90 дней. Что, конечно, побольше, чем у золотой рыбки, но...Память Маркета всего 90 дней. Что, конечно, побольше, чем у золотой рыбки, но...

Теперь обычные магазины с кучей отзывов за накопленные года работы о том, как они реально косячат с качеством товаров, гарантийным обслуживанием и прочими причинами не покупать технику в меняющих каждый год юрлица магазинах, стали бороться в поисковой выдаче Маркета с вот такими прекрасными оценками от Яндекса "качеств работы" по оценке за 90 дней. И назвать подобный подход иначе, чем темным паттерном, направленным на управлением поведения пользователя на ресурсу и вынуждающим компании работать через доставку от Яндекса - у меня уже тогда не получалось.

Тот момент, когда отзывы о магазине ещё можно найти на Маркете. Думаю, не надолго.Тот момент, когда отзывы о магазине ещё можно найти на Маркете. Думаю, не надолго.

Но, Яндекс не был бы самим собой, если бы не решил продолжить копание вниз. Да, теперь Яндекс доставляет заказы покупателям и имеет статистику чужих продаж. Так почему бы не использовать эти данные в качестве своего конкурентного преимущества и... Правильно, устроить на своей платформе для других магазинов продажи с своего же склада? Как вы думаете, как долго мелкий и средний бизнес сможет конкурировать с Яндекс.Маркетом в продажах на его же площадке?

Но даже это не главное. Самое чудесное я лично для себя обнаружил только сегодня:

Вот видите, всего 1 цена, покупка только со склада Маркета... Пользователь не имеет выбора.Хм, кстати, а вам не интересно, что произойдёт, если нажать кнопку?Вот видите, всего 1 цена, покупка только со склада Маркета... Пользователь не имеет выбора.Хм, кстати, а вам не интересно, что произойдёт, если нажать кнопку?Если честно, у меня не осталось слов, вне запрещённых после 1 февраля для соцсетей.Если честно, у меня не осталось слов, вне запрещённых после 1 февраля для соцсетей.

Мне кажется, что в своем стремлении захватить все рыночные сфера в России используя любые максимально тёмные паттерны по принуждению всех пользоваться их услугами через монопольного влияния на поисковый рынок, Яндекс окончательно утратил берега, и тут уже нужны не разбирательства от ФАС по отдельным эпизодам, а так же отдельные запреты и возможные штрафы, а просто физическое разделение компании. Потому что завтра они начнут вести себя так просто везде.

Подробнее..

Свободное API для поиска в интернете

03.03.2021 10:13:29 | Автор: admin

Во время разработки некоторых проектов может понадобится удобное API для поиска в интернете. К сожалению, популярные поисковики, такие как Google и Яндекс, не дают свободного доступа к своей поисковой выдаче.

На замену закрытым API приходит Searx.

Searx это свободная поисковая система, объединяющая результаты других поисковых систем, но не хранящая информацию о своих пользователях.

Создать свой инстанс Searx может каждый. Полный их список есть на сайте searx.space. Для своих целей мы будем использовать Roughs Searx, так как он никак не ограничивает число запросов и позволяет получать поисковую выдачу даже с помощью автоматизированных скриптов.

Адрес API-сервиса:https://searx.roughs.ru/search

Поддерживаются как GET, так и POST запросы.

Параметры запроса

  • q (обязательно)Текст запроса, результаты которого нужно получить.

  • format (обязательно)Формат вывода результатов. Доступные форматы: json, csv, rss.

  • categories Список категорий поиска, разделенных запятыми.

  • safesearch Фильтр безопасного поиска. 0 выключен, 1 включен.

С полным списком параметров можно ознакомиться на этой странице.

Примеры запросов

Найти новость по запросу Технологии и вывести результат в формате RSS:
https://searx.roughs.ru/search?q=Технологии&format=rss&categories=news

Выполнить поиск картинок по запросу Горы с фильтром безопасного поиска и вывести результаты в формате json:
https://searx.roughs.ru/search?q=Горы&format=json&categories=images&safesearch=1

Найти решение для 2+2*2 с помощью WolframAlpha и получить ответ в формате таблицы CSV:
https://searx.roughs.ru/search?q=2+2*2&engines=wolframalpha&format=csv

Подробнее..

Яндекс научил Алису принимать платежи за онлайн-покупки. Девочка созрела?

31.05.2021 16:13:25 | Автор: admin

"Яндекс" с каждым днем делает все более интересные (заметьте, мы не рискуем говорить - уверенные) шаги в сторону развития своих торговых платформ. И все чаще напоминает собой российский Amazon замедленного действия.

А еще "Яндекс" как настоящий родитель. Холит, лелеет и иногда не справляется со своей дочерью. Она показывает характер, замыкается в себе, но, стоит отдать должное, не грубит. И вот настал светлый час, дочка созрела и родители доверили ей первые карманные деньги. Точнее научили ими пользоваться, а вот сами деньги, конечно, "Алиса" будет брать у покупателей. Это хоть и робкий, но серьезный шаг. Учитывая, что "Яндекс" изо всех сил вытащить свой Маркет на передовую, новая функция может ему в этом помощь. В будущем.

Что добавили и как работает?

Компания заявила, что меню голосового помощника впервые дополнилось функцией покупки. Пока речь идет только о книгах и совместном проекте "Яндекса" и "ЛитРес". Выглядит все так: пользователь должен подать голосовую команду "Алиса, купи эту книгу" или "Оплати "ЛитРес". Сама "Алиса" провести платеж не сможет. Уверены, к счастью. После пользовательского запроса она отправляет push-уведомление для подтверждения платежа. Работать вся эта "магия" должна на Яндекс.Станции, Станции Мини и Станции Макс.

"ЛитРес" рад сотрудничеству, хотя и без него у компании все отлично. По итогам прошлого года емкость рынка аудиокниг в России выросла на 44%. При этом навыком "Аудиокниги ЛитРес" с момента его бета-тестирования воспольховался каждый десятый владелец станции от "Яндекс", а это более 100 000 человек.

Ради чего это все?

Следующим этапом "Алису" хотят научить давать рекомендации о том какую книгу лучше всего купить. Думаем, что это отличная возможность для развитие еще одного рекламного канала. Только представьте, умные устройства смогут таргетироваться на пользователей и нативно (хотя кто его знает) рассказывать им о товарах, которые решат продвигать сами продавцы.

При этом сами компании говорят о том, что оплата аудиокниг - шаг к созданию на базе голосового помощника маркетплейса товаров и услуг. Нам это видится как тесная интеграция "Алисы" и "Яндекс.Маркет". Вопрос что мы сможем получить от новых навыков?

Пока что все это выглядит как робкий и неуверенный шаг. Яндекс словно и сам переживает, что доверил Алисе право распоряжаться покупками клиентов. Но без этого никуда. И очевидно, что свой куш компания все равно сорвет. Как заявляет сам "Яндекс" в январе-июле 2020 года продажи портативной акустики и "умных" колонок в Россиивырослина 31% до 1,3 млн штук. Как минимум, владельцы станций - это уже немаленькая аудитория говорящего маркетплейса.

Правда продаётся?

Мало ли что говорит официальная статистика. Мы решили проверить как дела с продажами умных устройств Яндекса обстоят на самом деле в 2021 году. С помощью сервиса внешней аналитики маркетплейсов SellerFox мы собрали данные о спросе и выручке всех моделей Яндекс.Станции с января по мая этого года. А вдруг умные колонки и вовсе не покупают, а навыки "Алисы" лишь способ для привлечения внимания?

На Wildberries за 5 месяцев было продано более 8 тысяч колонок. Самые популярные модели - версии Мини. Видимо на это влияет низкая стоимость устройств. Общее количество продаж таких колонок всех цветов 3 341 штук за первые пять месяцев 2021 года. Станция.Макси - самая дорогая модель колонки от Яндекса и самая непопулярная. По крайней мере, на Wb.

Объем продаж, выручки и средняя стоимость товаров на маркептлейсе Wildberries с 01.01 - 31.05.2021, данные сервиса аналитики SellerFoxОбъем продаж, выручки и средняя стоимость товаров на маркептлейсе Wildberries с 01.01 - 31.05.2021, данные сервиса аналитики SellerFox

На Ozon устройства Яндекс с голосовыми помощниками продавались в первом полугодии гораздо веселее. С января по май покупатели заказали здесь больше 22 000 колонок. Тут в топ тоже выбились "Мини". Далеко в отстающих их старшие братья. А вот максимально продвинутая колонка "Макси" продалась за первые 5 месяцев года вообще в 7 раз хуже лидера.

Наверняка продажи могли бы быть и выше, если бы не программа лояльности Яндекса по которой пользователи могли получить Станцию за символическую плату, всего лишь оформив подписку на Яндекс.Плюс. Не стоит забывать и про другие интернет-магазины и офлайн-ритейл. Под Новый год устройства Яндекса на фирменных стойках стали красоваться во всех крупных гипермаркетах. Так что компания постаралась занять место на полках россиян по полной.

Интересно только станут ли сами устройства эффективнее взаимодействовать с пользователями? И насколько реально ожидать скоро появления полноценных торговых навыков у Алисы. Одно дело, если речь идет о покупке электронного товара или услуги. Другое, когда речь идет о физическом товаре, оформление покупки которого это длинный путь с указанием получателей, места вывоза, контактов и еще массы данных.

Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru