Русский
Русский
English
Статистика
Реклама

Google

Recovery mode Federated Learning of Cohorts убийца cookie или всего лишь еще один способ трекинга пользователей

14.04.2021 12:16:12 | Автор: admin

В последнее время активно освещается проблема приватности пользовательских данных. Скандал с Cambridge Analytica и Facebook, внедрение GDPR, многомиллионные штрафы для Google за установку файлов cookie без ведома пользователей, обновление iOS 14 (с ограничениями трекинга) все это оказывает давление на рекламодателей, рекламные платформы и заставляет всерьез озаботиться обеспечением приватности данных.

Компания Google разработала и активно тестирует новую технологию, которая может заменить традиционный таргетинг рекламы на основе cookie-файлов Federated Learning of Cohorts (FLoC). В статье рассказываем, что это за технология и чего ждать рекламодателям.

Чем не угодили cookie и почему нельзя просто так взять и отказаться от них

Основная претензия к cookie-файлам отсутствие гарантии конфиденциальности пользовательских данных. Сторонние cookie, установленные на сайтах, собирают слишком много информации о пользователях. С помощью этих данных (история поисковых запросов, просмотров страниц, заполнение полей в формах ввода данных и т. д.) можно идентифицировать конкретного человека, что является серьезной угрозой приватности.

Вместе с тем просто убрать cookie не получится слишком многое держится на них:

  • рекламные системы используют cookie для ретаргетинга и поиска релевантной аудитории для показа определенных рекламных объявлений. Чем релевантнее (и эффективнее) реклама, тем больше денег получают рекламные системы от рекламодателей;

  • рекламодатели с помощью рекламных систем получают возможность запускать более результативные рекламные кампании (и получать больше прибыли);

  • сайты-издатели и вебмастеры зарабатывают на размещении рекламы. Они напрямую заинтересованы в том, чтобы реклама была выгодна рекламодателям и размещений было много.

И, наконец, сами пользователи привыкли к многим удобствам, которые обеспечивают cookie:

  • сохранение настроек авторизации и параметров;

  • юзабилити, основанное на поведении пользователя;

  • персонализация интерфейса, контента, рекламы.

Как использовать данные с сохранением конфиденциальности

Есть хороший пример, в котором сочетаются те же задачи, что и в вопросе с cookie, медицина. Например, для повышения эффективности тестов на определение заболевания нужно собрать обучаемую модель. При этом:

  • нужно получить как можно больше данных об обследованиях пациентов;

  • данные должны быть обезличенные (медицинские учреждения не делятся данными конкретных пациентов из соображений конфиденциальности).

Решение этой задачи обрабатывать данные на стороне каждого медицинского учреждения и передавать общей модели обобщенные данные (без раскрытия персональных данных отдельных пациентов).

Именно такая концепция лежит в основе Federated Learning.

Что такое Federated Learning

Google разработала и активно тестирует новую технологию Federated Learning of Cohorts (FLoC).

Federated Learning распределенная модель, которая использует алгоритмы машинного обучения для анализа пользовательских данных и формирования когорт. Когорта группа обезличенных данных пользователей (браузеров) с похожими свойствами. Данные пользователей (которые могут содержать чувствительную и конфиденциальную информацию) не поступают напрямую ни в один централизованный обработчик или сервер: вычисление и назначение когорты происходит на стороне браузера.

Остальным сервисам (рекламным платформам, сайтам и т. д.) передается только идентификатор когорты, без данных, по которым можно идентифицировать отдельных пользователей.

Для справки. Еще в 2017 году Google тестировал технологию Federated Learning в приложении Gboard для Android. Когда Gboard показывает предлагаемый запрос, смартфон пользователя локально сохраняет информацию о текущем контексте и клике на предложение (или отсутствии клика). Federated Learning обрабатывает эту историю на стороне устройства и предлагает улучшения для следующей итерации модели предложений Gboard.

Для чего может применяться FLoC

  • Показ рекламных объявлений людям, чьи браузеры принадлежат к когорте, которой характерно определенное поведение (например, посещение сайта рекламодателя) или интерес к определенным продуктам.

  • Применение моделей машинного обучения для прогнозирования вероятности конверсии на основе когорты пользователя (и корректировки ставки на рекламном аукционе с использованием полученной вероятности).

  • Рекомендация релевантного контента пользователям.

Как работает FLoC

Разберем на примере, как работает FLoC на практике. Для понимания процесса определим трех основных участников:

  • рекламодатель компания, которая хочет показать свои рекламные объявления целевой аудитории и платит за показ. В нашем примере это будет интернет-магазин обуви;

  • издатель новостной сайт, который продает рекламные места (размещает у себя рекламные объявления и получает вознаграждение от рекламной системы);

  • рекламная система платформа, предоставляющая инструменты для размещения рекламы.

Рассмотрим этот процесс подробнее, для примера возьмем двух пользователей, которых зовут Сергей и Антон (имена выбраны рандомно). Изначально их браузеры принадлежат к одной и той же когорте, допустим, 1354.

1. FLoC-сервис

FLoC-сервис, используемый браузером, создает математическую модель с тысячами когорт. Каждая из когорт соответствует тысячам браузеров с похожей недавней историей активности и имеет свой уникальный номер, по которому ее можно идентифицировать.

2. Браузер

Из FLoC-сервиса браузер Сергея получает данные, описывающие FLoC-модель. Браузер пользователя определяет свою когорту: для вычисления подходящей когорты используется специальный алгоритм, который соотносит браузерную историю с наиболее подходящей когортой. В нашем примере это будет когорта под номером 1354. Обратите внимание, браузер Сергея не передает никаких данных FLoC-сервису.

Точно так же браузер Антона вычисляет идентификатор своей когорты. История браузера этого пользователя отличается от истории браузера Сергея. Однако они достаточно похожи, поэтому им присваивается одинаковая когорта 1354.

3. Взаимодействие с рекламодателем

  • Сергей посещает сайт рекламодателя (shoe.com).

  • Сайт запрашивает ID когорты браузера пользователя и получает значение 1354.

  • Сергей ищет кроссовки для бега.

  • Сайт сохраняет информацию о том, что браузер из когорты 1354 выявил интерес к беговым кроссовкам.

  • Позже на сайте зафиксирован дополнительный интерес к товарам со стороны когорты 1354, а также со стороны других когорт.

  • Время от времени сайт собирает информацию о когортах и проявленному интересу к товарам и передает ее рекламной системе.

4. Издатель новостной ресурс news.com

  • Антон посещает новостной сайт news.com.

  • Сайт издателя запрашивает у браузера пользователя его когорту.

  • Затем сайт отсылает запрос рекламной системе и включает в этот запрос ID когорты браузера Антона 1354.

5. Рекламная система

Рекламная система может подобрать подходящее для Антона рекламное объявление, основываясь на данных от издателя и рекламодателя:

  • когорта браузера Антона (1354) эти данные рекламной системе передает издатель;

  • интересы, которые соответствуют данной когорте, передаются от рекламодателя (Браузеры из когорты под номером 1354 могут быть заинтересованы в беговых кроссовках).

Рекламная система подбирает подходящее объявление беговые кроссовки от shoe.com.

На сайте отображается объявление кроссовок.

Ключевая особенность такого подхода

Сейчас показ релевантных рекламных объявлений базируется на технологиях отслеживания файлов cookie и цифровых отпечатков устройств. Эти технологии используются рекламодателями для отслеживания поведения в сети отдельных пользователей.

FLoC позволяет сохранить релевантность, но без ущерба для приватности данных: браузер не делится браузерной историей ни с FLoC-сервисом, ни со сторонними службами. Браузер вычисляет подходящую когорту на стороне устройства пользователя. История браузера при этом никогда не покидает пределы устройства.

Браузерная когорта может меняться

Важно понимать принцип определения и назначения когорт. Когорта это не группа пользователей (как привычно воспринимаются сегменты аудитории), а совокупность (кластер) схожих историй браузерной активности.

Характеристики активности каждой когорты в основном постоянны. Поэтому когорты хорошо подходят для подбора рекламных объявлений, так как объединяют схожие поведенческие характеристики. Условно, когорта 1354 будет объединять людей, заинтересованных в беговых кроссовках, сегодня, через месяц и через полгода. Только сегодня это может быть одна группа людей, а через месяц совершенно другая.

Браузеры отдельно взятых пользователей могут переходить от когорты к когорте по мере того, как их история браузинга меняется. Ожидается, что браузер будет пересчитывать свою когорту каждые 7 дней.

В примере, который мы рассматривали выше, браузеры обоих пользователей принадлежат к одной когорте 1354. В будущем, по мере того, как пользователи будут посещать различные сайты, их браузеры будут менять когорты, отображая изменение интересов.

На какой стадии сейчас находится технология и что ждать в ближайшее время

30 марта Google запустил тестирование технологии в браузере Chrome. Первичные тесты проводятся на небольшой группе пользователей в таких странах:

  • Австралия;

  • Бразилия;

  • Канада;

  • Индия;

  • Индонезия;

  • Япония;

  • Мексика;

  • Новая Зеландия;

  • Филиппины;

  • США.

Со временем тестирование будет расширяться и на другие регионы.

Главные вопросы к Federated Learning

Что с релевантностью рекламы?

Вопрос, который больше всего интересует рекламодателей. Они опасаются ухудшения эффективности рекламы при отказе от привычных cookie.

По заявлениям Google, беспокоиться не стоит: при тестировании FLoC Google определил, что использование новой технологии обеспечивает как минимум 95% конверсий по сравнению с использованием традиционного показа рекламы на основе cookie.

Решит ли FLoC проблему приватности пользовательских данных?

Размер когорты должен быть достаточным, чтобы сохранялась анонимность

В каждой когорте могут быть тысячи браузеров. Чем меньше размер когорты, тем более персонализированной будет реклама, но при этом уменьшится степень приватности (и наоборот).Для обеспечения анонимности пользователей в когорте Google использует обобщение данных k-анонимность. Под термином k-анонимность понимается метод, который позволяет скрыть персональную информацию нескольких лиц в наборе данных, если эти лица похожи друг на друга. Если упрощенно, k количество пользователей в группе с похожими свойствами. Чем больше это число, тем более анонимна группа и сложнее отследить отдельно взятого пользователя. Подробнее о k-анонимности можно почитать тут.

k-анонимность не гарантия

Несмотря на заявления Google об обезличивании данных пользователей в когортах (с помощью вычисления ID когорты на стороне браузера и размера когорт), многие игроки в отрасли высказывают опасения по поводу того, что новая технология не решает проблему сохранения анонимности:

  • при авторизации на сайте через аккаунт Google сайт может сопоставить пользовательские данные с ID когорты FLoC в этом случае уже нет полной обезличенности данных;

  • деперсонализация может быть возможной благодаря пересечению нескольких характеристик, например идентификатора когорты и IP-адреса пользователя;

  • также есть мнение о том, что данные все равно хранятся у Google (пусть и частично обезличенные), а это дает частной компании неоправданно широкие возможности и власть над информацией.

Чего ожидать рекламодателям и чем закончится борьба за приватность пользовательских данных

Пока FLoC все еще находится на стадии тестирования и не является окончательным вариантом выводы делать рано. Возможно, будут рассмотрены другие альтернативы трекингу с помощью файлов cookie. Но ясно одно все основные участники рынка (рекламодатели, рекламные платформы и издатели) заинтересованы в нахождении баланса:

  • между приватностью пользователей, за которую активно борются регуляторы, общественные организации и отдельные компании (привет, Apple);

  • и трекингом, который позволял бы сохранить возможность показывать пользователям релевантную рекламу и извлекать из этого прибыль.

Если говорить про Google, рекламный бизнес занимает львиную долю в структуре доходов корпорации и снижать его эффективность явно не входит в планы IT-гиганта. Поэтому с большой долей уверенности можно сказать, что Google приложит все усилия для поиска решения, которое удовлетворит всех (и позволит компании продолжать получать миллиарды выручки с рекламы).

Подробнее..

Перевод Отключение Google FloC на вашем веб-сайте

16.04.2021 20:09:46 | Автор: admin

Google недавно объявил о развертывании технологии Federated Learning of Cohorts (FLoC) в рамках инициативы Privacy Sandbox, направленной на замену сторонних файлов cookie новым методом профилирования пользователей, который собирает данные, генерируемые непосредственно браузером.

Организация Electronic Frontier Foundation (EFF) выпустила обзор FLoC и связанных с ним угроз, а также разработала полезный инструментдля проверки, используется ли браузер пользователя для сбора данных и снятия цифрового отпечатка устройства.

Сайт для проверки, используется ли в вашем браузере FloC Сайт для проверки, используется ли в вашем браузере FloC

Примечания: EFF отмечают, что вместо устранение проблемы, Google создает новые. Если любой сайт сможет получить данные о когортах, возникнут условия для предварительной жесткой фильтрации целых групп пользователей, исходя из обобщенных предпочтений. Среди новых рисков также выделяют появление фактора для более интенсивного использования методов косвенной идентификации пользователя(browser fingerprinting), использующих специфичные настройки и особенности оборудования.

Plausible Analytics также присоединился к статье, в которой объясняется, какое отношение FLoC имеет к пользователям и разработчикам.- что послужило источником вдохновения для этого краткого руководства.

Заголовок FLoC

Основной способ, с помощью которого конечный пользователь может избежать FLoC, это просто не использовать Chrome, а вместо этого выбрать браузер, уважающий конфиденциальность, например Mozilla Firefox.

Но владельцы веб-сайтов также могут гарантировать, что их веб-серверы не участвуют в этой огромной сети, отказавшись от FLoC.

Для этого необходимо добавить следующий кастомный заголовок HTTP-ответа:

Permissions-Policy: interest-cohort=()

В этом руководстве вы найдете инструкции о том, как добавить кастомные заголовки HTTP-ответов в конфигурации веб-серверов и прокси-серверов.

NGINX

Добавьте в файл конфигурации NGINX следующее:

# /etc/nginx/sites-available/default.confserver {    location / {add_header Permissions-Policy interest-cohort=();...

Перезапустите NGINX с помощью команды service nginx restart

Apache

Добавьте следующую директиву в свой файл конфигурации Apache:

# /www/htdocs/example.com/.htaccess <IfModule mod_headers.c>  Header always set Permissions-Policy: interest-cohort=()</IfModule>

Перезапустите Apache с помощью команды service apache2 restart

Caddy

Добавьте следующее в свой Caddyfile:

# Caddyfileexample.com {header Permissions-Policy "interest-cohort=()"...

Перезапустите Caddy с помощью команды caddy reload

Lighttpd

Добавьте в файл конфигурации Lighttpd следующее:

# /etc/lighttpd/lighttpd.confserver.modules += ( "mod_setenv" )setenv.add-response-header = ( "Permissions-Policy" => "interest-cohort=()" )

Перезапустите Lighttpd с помощью команды service lighttpd restart

Netlify

Добавьте в файл конфигурации Netlify следующее:

# netlify.toml[[headers]]  for = "/*"  [headers.values]    Permissions-Policy = "interest-cohort=()"

Если вы предпочитаете использовать _headers файл вместо файла конфигурации TOML, добавьте в этот файл вместо указанных выше строчек следующее:

# _headers/*  Permissions-Policy: interest-cohort=()

При следующей сборке или развертывании Netlify добавит и обслужит заголовки.

GitHub Pages

В настоящее время не существует возможности добавлять кастомные заголовки HTTP при использовании GitHub Pages. Однако есть обходной путь добавление метатегов на сами страницы.

Добавьте в раздел <head> HTML-кода следующее:

<meta http-equiv="Permissions-Policy" content="interest-cohort=()"/>

GitLab Pages

Как и в случае с GitHub, при использовании GitLab Pages нет возможности добавлять кастомные заголовки HTTP. Таким образом, придется воспользоваться тем же методом, что и выше, и устанавливать директивы в самом HTML.

Однако, если вы пользуетесь GitLab Community Edition, можно установить заголовки, добавив в свой gitlab.rbфайл следующее:

# gitlab.rbgitlab_pages['headers'] = [ "Permissions-Policy: interest-cohort=()" ]

Вы также можете указать заголовки при запуске GitLab Pages binary:

./gitlab-pages -header "Permissions-Policy: interest-cohort=()"

CloudflareWorkers

Вы можете создать следующий Worker Script, чтобы установить заголовки ответа:

addEventListener('fetch', event => {  event.respondWith(handleRequest(event.request))})async function handleRequest(request) {  let response = await fetch(request)  let newHeaders = new Headers(response.headers)  newHeaders.set("Permissions-Policy", "interest-cohort=()")  return new Response(response.body, {    status: response.status,    statusText: response.statusText,    headers: newHeaders  })}

Добавьте этот Worker Script в домен, установив этот домен в качестве Worker Route.

WordPress

WordPress позволяет устанавливать заголовки из своей кодовой базы с помощью хуков. Добавьте следующий код в конец functions.php файла активной темы:

function disable_floc($headers) {    $headers['Permissions-Policy'] = 'interest-cohort=()';    return $headers;  }add_filter('wp_headers', 'disable_floc');}

Сохраните файл в админ-панели WordPress. Все новые запросы будут содержать необходимый заголовок.

Если вы используете какие-либо механизмы кэширования и плагины (например, FastCGI Cache от NGINX, W3 Total Cache и т. Д.), необходимо очистить кэш, чтобы он был повторно заполнен с указанными выше дополнениями.


Дата-центр ITSOFT размещение и аренда серверов и стоек в двух дата-центрах в Москве. За последние годы UPTIME 100%. Размещение GPU-ферм и ASIC-майнеров, аренда GPU-серверов, лицензии связи, SSL-сертификаты, администрирование серверов и поддержка сайтов.

Подробнее..

Обновляемся на новую версию API Android по наставлению Google

27.05.2021 20:23:24 | Автор: admin

Скоро выходит Android 12, но в этом августе уже с 11-й версии разработчикам придётся использовать новые стандарты доступа приложений к внешним файлам. Если раньше можно было просто поставить флаг, что ваше приложение не поддерживает нововведения, то скоро они станут обязательными для всех. Главный фокус повышение безопасности.

Переход на новую версию API довольно трудоёмкая операция, требующая больших затрат на её поддержку при введении крупных апдейтов. Далее расскажу немного про наш переход и возникшие при этом трудности.

Что происходит

Если вы уже знакомы с теорией, то этот раздел можно пропустить тут я хочу поверхностно сравнить подходы к предмету в разных версиях операционной системы.

В Android есть внутреннее Internal Storage (IS) и внешнее хранилище External Storage (ES). Исторически это были встроенная память в телефоне и внешняя SD-карта, поэтому ES был больше, но медленнее и дешевле. Отсюда и разделение настройки и критически важное записывали в IS, а в ES хранили данные и большие файлы, например, медиа. Потом ES тоже стал встраиваться в телефон, но разделение, по крайней мере логическое, осталось.

У приложения всегда есть доступ к IS, и там оно может делать что угодно. Но эта папка только для конкретного приложения и она ограничена в памяти. К ES нужно было получать доступ и, кроме манипуляции со своими данными, можно было получить доступ к данным других приложений и производить с ними любые действия (редактировать, удалять или украсть).

Но после разделения на внутреннее и внешнее хранилища все равно оставались проблемы. Многие приложения могли хранить чувствительную информацию не только в IS, но и в ES то есть ответственность лежала целиком на разработчиках и на том, кто хочет завладеть файлами.

В Android решили всё это переделать ещё в 10-й версии, а в 11-й это стало обязательным.

Чтобы минимизировать риски для пользователя в Google решили внедрить Scoped Storage (SS) в ES. Возможность проникнуть в папки других приложений убрали, а доступ есть только к своим данным теперь это сугубо личная папка. А IS с 10-й версии ещё и зашифрована по умолчанию.

В Android 11 Google зафорсировала использование SS когда таргет-версия SDK повышается до 30-й версии API, то нужно использовать SS, иначе будут ошибки, связанные с доступом к файлам. Фишка Android в том, что можно заявить совместимость с определённой версией ОС. Те, кто не переходили на 11, просто говорили, что пока не совместимы с этой версий, но теперь нужно начать поддерживать нововведения всем. С осени не получится заливать апдейты, если не поддерживаешь Android 11, а с августа нельзя будет заливать новые приложения.

Если SS не поддерживается (обычно это для девайсов ниже 10-й версии), то для доступа к данным других приложений требуется получить доступ к чтению и записи в память. Иначе придётся получать доступ к файлам через Media Content, Storage Access Framework или новый, появившийся в 11-м Android, фреймворк Datasets в зависимости от типа данных. Здесь тоже придётся получать разрешение доступа к файлу, но по более интересной схеме. Когда расшариваемый файл создаёшь сам, то доступ к нему не нужен. Но если переустановить приложение доступ к нему опять потребуется. К каждому файлу система привязывает приложение, поэтому когда запрашиваешь доступ, его может не оказаться. Особо беспокоиться не нужно, это сложно отследить, поэтому лучше просто сразу запрашивать пермишен.

Media Content, SAF и Datasets относятся к Shared Storage (ShS). При удалении приложения расшаренные данные не удаляются. Это полезно, если не хочется потерять нужный контент.

Хотя даже при наличии SS можно дать доступ к своим файлам по определённой технологии через FileProvider можно указать возможность получения доступа к своим файлам из другого приложения. Это нормально, потому что файлы расшаривает сам разработчик.

Также добавилась фича если приложение не использовалось несколько месяцев, то снимаются все пермишены и доступы к системным элементам. По best practice разрешение запрашивается по требованию, поэтому мы просто перед выполнением какого-либо действия проверяем, есть ли у нас пермишены. Если нет, то запрашиваем.

В то же время перекрыли доступы к приложениям внутри девайса. Если раньше можно было отследить, что установлены определённые приложения и отправлять к ним соответствующие интенты, то сейчас мы должны прямо в манифесте прописать, что работаем именно с этими приложениями, и только после этого получить доступ.

В качестве примера можем взять шаринг мы шарим множество приложений, и их всех нужно указывать в манифесте, иначе они не обнаружатся. Начнём перебирать пакет установленных приложений будет информация, что не указанного в манифесте приложения нет и при шаринге всё отвалится.

Перейдём к практике.

Переход на новую версию

Основная функциональность по работе с файлами в приложении iFunny представлена в виде сохранения мемов в память и расшаривания их между приложениями. Это было первое, что требовалось починить.

Для этого выделили в общий интерфейс работу с файлами, реализация которого зависела от версии API.

interface FilesManipulator {    fun createVideoFile(fileName: String, copy: Copier): Uri    fun createImageFile(fileName: String, copy: Copier): Uri    fun createFile(fileName: String, copy: Copier): Uri    fun getPath(uri: Uri): String    fun deleteFile(uri: Uri)}

FilesManipulator представляет собой интерфейс, который знает, как работать с файлами и предоставляет разработчику API для записи информации в файл. Copier это интерфейс, который разработчик должен реализовать, и в который передаётся поток вывода. Грубо говоря, мы не заботимся о том, как создаются файлы, мы работаем только с потоком вывода. Под капотом до 10-й версии Android в FilesManipulator происходит работа с File API, после 10-й (и включая её) MediaStore API.

Рассмотрим на примере сохранения картинки.

fun getContentValuesForImageCreating(fileName: String): ContentValues {    return ContentValues().apply {        put(MediaStore.Images.Media.DISPLAY_NAME, fileName)        put(MediaStore.Images.Media.IS_PENDING, FILE_WRITING_IN_PENDING)        put(MediaStore.Images.Media.RELATIVE_PATH, Environment.DIRECTORY_PICTURES + File.separator + appFolderName)    }}fun createImageFile(fileName: String, copy: Copier): Uri {    val contentUri = MediaStore.Images.Media.getContentUri(MediaStore.VOLUME_EXTERNAL_PRIMARY)    val contentValues = getContentValuesForImageCreating(fileName)    val uri = contentResolver.insert(contentUri, contentValues)         ?: throw IllegalStateException("New image file insert error")    downloadContent(uri, copy)    return uri}fun downloadContent(uri: Uri, copy: Copier) {    try {        contentResolver.openFileDescriptor(uri, FILE_WRITE_MODE)                .use { pfd ->                    if (pfd == null) {                        throw IllegalStateException("Got nullable file descriptor")                    }                    copy.copyTo(FileOutputStream(pfd.fileDescriptor))                }        contentResolver.update(uri, getWriteDoneContentValues(), null, null)    } catch (e: Throwable) {        deleteFile(uri)        throw e    }}fun getWriteDoneContentValues(): ContentValues {    return ContentValues().apply {        put(MediaStore.Images.Media.IS_PENDING, FILE_WRITING_DONE)    }}

Так как операция сохранения медиафайлов достаточно длительная, то целесообразно использовать MediaStore.Images.Media.IS_PENDING, которая при установлении значения 0 не дает видеть файл приложениям, отличного от текущего.

По сути, вся работа с файлами реализована через эти классы. Шаринг в другие приложения автоматически сохраняют медиа в память устройства и последующая работа с URI уже происходит по новому пути. Но есть такие SDK, которые ещё не успели перестроиться под новые реалии и до сих пор используют File API для проверки медиа. В этом случае используем кеш из External Storage и при необходимости провайдим доступ к файлу через FileProvider API.

Помимо ограничений с памятью в приложениях, таргетированных на 30-ю версию API, появилось ограничение на видимость приложения. Так как iFunny использует шаринг во множество приложений, то данная функциональность была сломана полностью. К счастью, достаточно добавить в манифест query, открывающую область видимости к приложению, и можно будет также полноценно использовать SDK.

Для неявных интентов тоже приходится добавлять код в манифест, чтобы задекларировать то, с чем будет работать приложение. В качестве примера выложу часть кода, добавленного в манифест.

<manifest  ><queries><intent>    <action android:name="android.intent.action.SENDTO" />    <data android:scheme="smsto, mailto" /></intent>    <package android:name="com.twitter.android" />    <package android:name="com.snapchat.android" />    <package android:name="com.whatsapp" />    <package android:name="com.facebook.katana" />    <package android:name="com.instagram.android" />    <package android:name="com.facebook.orca" />    <package android:name="com.discord" />    <package android:name="com.linkedin.android" /></queries></manifest>

После проверок запуска UI-тестов на девайсах с версиями API 29-30 было выявлено, что они также перестали корректно отрабатываться.

Первоначально в LogCat обнаружил, что приложение не может приконнектиться к процессу Orchestrator и выдает ошибку java.lang.RuntimeException: Cannot connect to androidx.test.orchestrator.OrchestratorService.

Эта проблема из разряда видимости других приложений, поэтому достаточно было добавить строку <package android:name="androidx.test.orchestrator" /> .

Тест удачно запустился, но возникла другая ошибка Allure не может сохранить отчёт в память устройства, падает с ошибкой.

Очевидно из-за Scoped Storage стало невозможно сохранять файлы в другие папки, поэтому снова почитав документацию по управлению файлами в памяти на девайсе, обнаружил интересный раздел. Там рассказано, как для нужд тестов открыть доступ к папкам девайса, но с существенными ограничениями, которые можно почитать тут.

Так как нам нужно использовать этот пермишен только для тестов, то нам условия подходят. Поэтому я быстренько написал свой ShellCommandExecutor, который выполняет команду adb shell appops set --uid PACKAGE_NAME MANAGE_EXTERNAL_STORAGE allow на создании раннера тестов.

На Android 11 тесты удачно запустились и стали проходить без ошибок.

После попытки запуска на 10-й версии Android обнаружил, что отчет Allure также перестал сохраняться в память девайса. Посмотрев issue Allure, обнаружил, что проблема известная, как и с 11-й версией. Достаточно выполнить команду adb shell appops set --uid PACKAGE_NAME LEGACY_STORAGE allow. Сказано, сделано.

Запустил тесты всё еще не происходит сохранения в память отчёта. Тогда я обнаружил, что в манифесте WRITE_EXTERNAL_STORAGE ограничен верхней планкой до 28 версии API, то есть запрашивая работу памятью мы не предоставили все разрешения. После изменения верхней планки (конечно, для варианта debug) и запроса пермишена на запись тесты удачно запустились и отчёт Allure сохранился в память устройства.

Добавлены следующие определения пермишенов для debug-сборки.

<uses-permission android:name="android.permission.MANAGE_EXTERNAL_STORAGE" /><uses-permission    android:name="android.permission.WRITE_EXTERNAL_STORAGE"    android:maxSdkVersion="29"    tools:node="replace" />

После всех вышеописанных манипуляций с приложением, можно спокойно устанавливать targetSdkVersion 30, загружать в Google Play и не беспокоиться про дедлайн, после которого загружать приложения версией ниже станет невозможно.

Подробнее..

Квантовый процессор Google осознает себя? Почему квантмех и свобода воли (не) связаны, и почему это неочевидно

31.05.2021 18:12:13 | Автор: admin

Недавно вышел препринт с забавным названием Есть ли у роботов с квантовым процессором свобода ослушаться?. Идея статьи в том, что квантовый процессор возможно, достаточно сложная система, чтобы внутри нее возникло сознание, обладающее свободой воли (да, звучит как научная фантастика).

Обычно про связь квантовой физики и сознания пишут всякие псевдоученые, и основным посылом там является что-то типа мышление формирует реальность, что следует просто из неправильной интерпретации проблемы измерения. В общем, я бы проигнорировала эту статью, если бы одним из авторов не был основатель квантовой лабы Google, и если бы статья не была про, собственно, квантовый процессор Google.

К тому же, несмотря на то, что мне кажется, что квантовая механика не имеет отношения к свободе воли, я думаю, что следует искать аргументы против своей позиции. Это важно, чтобы иметь возможность поменять свое мнение в случае, если я неправа. Поэтому я решила разобраться подробнее, что же имеется в виду в этой статье.

Дисклеймер: Я считаю, что информация о том, есть ли у нас свобода воли, практически не должна влиять на наши действия. Мне интересен вопрос о свободе воли просто из любопытства, без практической ценности

Как квантовая механика связана со свободой воли?

Обычно под свободой воли подразумевается возможность сделать выбор независимо от обстоятельств. Другими словами, это значит, что в одних и тех же обстоятельствах можно принять разные решения. В этой статье я буду использовать именно такое определение (существуют и менее мейнстримные определения, такие как компатибилизм, но я не буду их затрагивать). С точки зрения внешнего наблюдателя такая свобода воли означает, что, зная все внешние условия, невозможно предсказать, как будет вести себя субъект.

Что это значит с практической точки зрения?

В качестве небольшого отступления рассмотрим практическую сторону вопроса: есть ли у такой свободы воли какие-то проявления во внешнем мире? Оказывается, что наличие свободы воли запрещает возможность копирования сознания на любой физический носитель. Ведь если мы сделали копию сознания, то (по определению) эта копия принимает точно те же решения, что и оригинал. Значит, с помощью такой копии мы можем предсказать, как будет вести себя оригинальное сознание во всех ситуациях. А это противоречит определению свободы воли.

Естественно, невозможность предсказания поведения не достаточное условие наличия свободы воли. Легко представить себе ситуацию, когда нельзя предсказать поведение системы, но свободой воли она не обладает. Например, вряд ли свободой воли обладают электроны, точную координату которых мы не можем измерить из-за принципа неопределенности Гейзенберга. Но точно верно обратное - если система обладает свободой воли, то мы не можем предсказать ее поведение, то есть это является необходимым условием.

В классической физике это условие не выполняется никогда все ее законы детерминистичны это значит, что из начальных условий системы можно предсказать ее состояние в любой следующий момент времени. Поэтому свободу воли часто пытаются связать с квантовой механикой - единственной на данный момент физической теорией, которая может быть недетерминистичной. Подробнее про квантовую механику и детерминизм у меня есть отдельная статья.

Предыдущие попытки связать квантмех с сознанием

Итак, если у кого-либо во вселенной и есть свобода воли, то она не может быть вызвана никакими другими известными законами физики, кроме квантовой механики. В другую сторону это не работает: из квантовой механики автоматически не следует наличие свободы воли. Теперь возникает следующий вопрос: может ли квантовая механика обеспечивать свободу воли?

Вероятно, обычной квантовомеханической неопределенности здесь недостаточно: даже если квантмех действительно недетерминистическая теория и состояние системы в некоторые моменты времени является случайным и не зависит от предыстории, то, если в наших решениях как-то задействована квантовая механика, она лишь должна добавлять случайности в наши выборы. Способность делать выбор самостоятельно отсюда никак не следует.

Может быть, можно связать со свободой воли не принцип неопределенности, а коллапс волновой функции? Коллапс в квантовой механике тесно связан с проблемой измерения. Он используется для объяснения, как из состояния суперпозиции (из которого нельзя предсказать результат измерения, но можно вероятности различных результатов) получается наблюдаемое измеренное состояние. Процесс, когда суперпозиция ломается вследствие измерения, называется коллапсом. У научного сообщества нет единого мнения о том, в какой именно момент происходит этот коллапс, как его описывать, и происходит ли он вообще, что открывает пространство для спекуляций.

Например, сознание и коллапс волновой функции пытался связать Пенроуз. Он считает, что в мозге возможны квантовые вычисления и что коллапс обеспечивается сознанием. Сейчас эти идеи не воспринимаются всерьез большинством ученых, т.к. содержат много неоправданных допущений, противоречат существующим нейробиологическим теориям и, более того, частично опровергаются экспериментом. Кроме того, идея о том, что коллапс невозможен без участия осознающих субъектов, приводит к абсурдному выводу (цитирую Скотта Ааронсона):

Квантовое состояние вселенной менялось во времени линейно, в соответствии с уравнением Шредингера, в течение миллиардов лет, пока не появились первые наблюдатели (люди? обезьяны? пришельцы?) и посмотрели вокруг и в этот момент состояние взяло и внезапно сколлапсировало!

Таким образом, найти понятные и логичные способы связать квантовую механику со свободой воли не так-то легко.

Квантовый процессор и Найтовская неопределенность

Но вернемся к нашему квантовому процессору. Как все же авторы статьи делают вывод, что в нем возможна свобода воли?

Центральным понятием их препринта является Найтовская неопределенность (Knightian uncertainty) я подробнее писала про нее в отдельной статье. Идею коротко можно сформулировать так: есть квантовые системы, состояние которых мы принципиально не можем измерить, и поведение которых не можем предсказать, даже в терминах вероятностей это и называется Найтовской неопределенностью. Из ее наличия делается вывод о том, что система может обладать свободой воли (важно подчеркнуть, что авторы не утверждают, что свобода воли в этом случае точно существует, а лишь говорят о том, что это возможно). Как именно делается такой вывод разберемся в следующем разделе, а пока просто попробуем понять, откуда она берется в квантовом процессоре.

Дело в том, что Google уже умеет делать системы, в которых около 100 кубитов (т.е. элементарных вычислительных ячеек в данном случае особых систем из сверхпроводников). Такая система является достаточно большой, чтобы у нас не хватило всей памяти на Земле для того, чтобы записать ее состояние. А если мы не можем его записать, то и предсказать результаты измерений мы тоже не можем.

Рассмотрим подробнее, как так получается. Если мы привели процессор в некоторое состояние, которое определяется квантовыми флуктуациями, то, чтобы его измерить, нужно записать волновую функцию системы из 100 связанных кубитов, которая описывается 2100 комплексными числами. Чтобы записать эти числа с точностью хотя бы 2 знаков после запятой, на каждое число понадобится около 20 бит. Тогда для записи всех этих чисел понадобится примерно 3*109 Зеттабайт. Это примерно в 47 миллионов раз больше, чем все данные, сгенерированные на планете Земля в 2020 году. А если кубитов будет уже не 100, а 300, и мы будем считать, что способны записать одно комплексное число в любой атом, то атомов во вселенной не хватит, чтобы записать состояние такой системы.

Найтовская неопределенность и свобода воли

Итак, резюмируем промежуточные выводы: для свободы воли необходима квантовая механика, но неясно, как квантовая механика может обеспечивать свободу воли. Google утверждает, что их процессор может обладать свободой воли из-за Найтовской неопределенности, но не объясняет, как именно свобода из этой неопределенности следует. Соответственно, возникает вопрос: как одно следует из другого?

Более того, если свобода воли следует из Найтовской неопределенности, то мы должны наблюдать что-то похожее на нее и в нашем мозге. Ведь изначально свобода воли у нас ассоциируется именно со способностью людей принимать решения. Если в нашем мозге нет никакой Найтовской неопределенности, то свобода воли квантового процессора вряд ли имеет что-то общее с тем, что мы обычно называем этим понятием.

Оказывается, есть большая статья на эту тему. Ее автор, Скотт Ааронсон, считает, что Найтовская неопределенность в мозге физически возможна, и рассуждает на тему того, как она может приводить к свободе воли. Он считает (в некотором смысле, постулирует), что для свободы воли необходимо отсутствие возможности предсказывать поведение субъекта даже вероятностно.

Важно отметить, что он не утверждает, что все его рассуждения действительно верны, а лишь рассматривает, как свобода воли могла бы быть устроена. Его аргументы местами выглядят фантастически, и первым делом хочется с ними не согласиться. Но, если вдуматься, они действительно являются корректными в том смысле, что не противоречат известным физическим законам. Я коротко приведу здесь цепочку рассуждений Скотта Ааронсона:

  • Где в природе может возникать Найтовская неопределенность?

Ею может обладать волновая функция вселенной в момент большого взрыва. Дело в том, что если у нас есть только одна копия системы, то в принципе невозможно измерить все ее параметры, потому что измерения разрушат исходное состояние. Для измерения всех параметров волновой функции необходимо измерить систему много раз, а для этого нужно уметь создавать ее копии (и физики успешно делают это, например, с фотонами). Очевидно, что копии волновой функции в момент большой взырва мы создавать не умеем. Поэтому, даже если окажется, что это простая функция с небольшим числом параметров, у нас нет возможности узнать, чему равны их значения. Отсюда следует Найтовская неопределенность.

  • На что Найтовская неопределенность, обусловленная начальной волновой функцией вселенной, может влиять прямо сейчас?

Мы до сих пор наблюдаем реликтовое излучение это фотоны, излучившиеся вследствие процессов, последовавших за большим взрывом. Эти фотоны легко задетектировать. Если у вселенной была начальная волновая функция, то она вполне могла повлиять на распределение фотонов реликтового излучения.

  • Как это связано с мозгом?

Некоторые процессы в мозге чувствительны к небольшим изменениям окружающих условий. В частности, такой чувствительностью обладают натриевые каналы, открытие и закрытие которых отвечает за то, активируется ни нейрон. В том числе натриевые каналы могут быть чувствительны к квантовым флуктуациям. Например, это может происходить так: фотон (играющий роль квантовой флуктуации) попадает в мозг, где поглощается электроном, немного меняющим траектории нескольких молекул около натриевого канала, что запускает цепь событий, заставляющую канал открыться, что в свою очередь ведет к активации нейрона. Источником такого фотона может быть что угодно, в том числе реликтовое излучение.

Рассмотрим подробнее, что из этого следует. Допустим, мы каким-то образом узнали волновую функцию начала вселенной и получили способность ее менять. Пусть при этом мы хотим изменить одно конкретное решение конкретного человека, причем так, чтобы ничего кроме этого не изменилось. Какие изменения нам следует сделать в начальной волновой функции для достижения этой цели? Исходя из наших предыдущих рассуждений, оказывается, может быть достаточным изменить энергию одного фотона реликтового излучения такого, который затем попадет прямо в мозг.

  • Как отсюда следует свобода воли?

Все фундаментальные законы физики (например, квантовая механика и общая теория относительности) обратимы относительно времени. Эта фраза означает следующее: если мы любой физический процесс снимем на видео и прокрутим его задом наперед, то такой процесс также будет описываться известными физическими законами. Например, если посмотреть на поглощения фотона задом-наперед, то получится испускание фотона.

Про обратимость квантовой механики во времени

Можно возразить, что квантовая механика не обратима относительно времени, потому что процесс измерения связан с коллапсом волновой функции и необратим. На это можно ответить следующим образом: в современной картине мира измерение связано с процессом декогеренции, которая описывается обратимым во времени уравнением Шредингера (если измеряемую систему расширить до система + измерительный прибор).

Из этого следует, нет причин (кроме наших субъективных ощущений) считать, что время течет из прошлого в будущее, а не наоборот. Такую картину мира философы называют блок-вселенной (Block Universe) в ней вселенную можно представить как 4-мерное пространственно-временное многообразие, замерзшее во времени. Тогда причинно-следственные связи приобретают другое значение. Теперь предложение Я съел яблоко, потому что к этому привело предыдущее микросостояние вселенной имеет столько же смысла, как Я съел яблоко, потому что захотел. Более того, фраза Я съел яблоко, потому что к этому привело будущее микросостояние вселенной также имеет смысл!

Другими словами, ничего не мешает нам направить причинно-следственные связи в другую сторону (например, от нашего текущего психологического состояния к состоянию вселенной в момент большого взрыва), и это все еще не будет противоречить законам физики. Значит, мы можем сказать, что наш мозг поглотил фотон реликтового излучения минуту назад, потому что сейчас мы решили съесть яблоко.

Такие рассуждения могут показаться странными (особенно тем, кто знаком с термодинамикой), потому что мы привыкли к тому, что время течет (и причинно-следственные связи направлены) в ту сторону, в которую возрастает энтропия. Например, нам легко понять, что видео с разбивающимся кувшином воспроизводится в правильную сторону, а видео с кувшином, собирающимся из осколков в обратную. В этом примере первый процесс сопровождается возрастанием энтропии, а второй убыванием. Но стоит заметить, что понятие энтропии тесно связано с понятием вероятностей. На самом деле процесс, где кувшин собирается из осколков, также возможен, просто сильно менее вероятен, ведь есть много способов разбить кувшин, а вот собрать его из осколков только один. То есть, возрастание энтропии это некоторое эмерджентное свойство, не следующее напрямую из фундаментальных законов природы, которые сами по себе остаются обратимыми во времени.

В любом случае, даже если принять, что время объективно течет вперед для процессов с возрастающей энтропией, ничего не мешает нам направить причинно-следственные связи в другую сторону для тех процессов, в которых энтропия не возрастает а такие в природе тоже есть. Фотон реликтового излучения, излученный при большом взрыве и направляющийся к нам, как раз является таким процессом.

Таким образом, цепочка размышлений Скотта Ааронсона выглядит так. Можно предположить, что при принятии решения мы испускаем мозгом фотон реликтового излучения назад во времени, и наше решение сделать это нельзя предсказать никаким образом, т.к. наличие такого фотона обеспечивается волновой функцией вселенной в момент большого взрыва, а узнать, что это за состояние, мы никак не можем.

Почему все вряд ли так работает

Я надеюсь, что читатели получили удовольствие от попыток представить, как мы принимаем решения, испуская фотоны в прошлое (по крайней мере мне очень нравится осмысливать такие мозговыносящие гипотезы). Но теперь вернемся в реальность и подумаем, почему все скорее всего так не работает.

Для начала заметим, что в этой логической цепочке очень много неоправданных допущений. Вот только некоторые из них:

  1. Начальное состояние вселенной можно описать волновой функцией. На самом деле это утверждение не следует из современной космологии. Оно может быть как верным, так и неверным.

  2. Квантовые флуктуации играют значимую роль в активации нейронов. Хоть это утверждение и не противоречит современным представлениям, опять же никто не доказал, что это правда так.

  3. Активации одного нейрона достаточно, чтобы принять решение. Многие современные нейробиологические модели рассматривают кодирование информации в кластерах нейронов. Не факт, что случайная активация одного нейрона может на что-то повлиять.

  4. Все события, которые мы ассоциируем со свободой воли, связаны с поглощением фотона реликтового излучения. Опять же, нет никаких оснований считать, что это так работает.

Естественно, это не полный список вопросов, которые возникают к гипотезе о связи Найтовской неопределенности и свободы воли. Стоит отметить, что на многие возражения, которые могут прийти в голову, автор уже ответил в оригинальной статье. Но если вспомнить, что автор не утверждает, что все действительно устроено именно так, а просто стремится показать, что наличие свободы воли физически возможно, то представленные в статье аргументы мне кажутся достаточно сильными. Действительно все, что в ней написано, не противоречит законам физики. Более того, многие утверждения автора фальсифицируемы (т.е. потенциально проверяемы экспериментом) например, утверждение о том, что квантовые флуктуации влияют на активацию нейронов.

Заключение

Если мы придерживаемся научной картины мира, для объяснения явлений следует выбирать наиболее простые теории это называется Бритвой Оккама. С моей точки зрения, наиболее простым объяснением является отсутствие связи между Найтовской неопределенностью и свободой воли, и, за неимением других механизмов, обеспечивающих свободу воли, и отсутствие свободы воли.

Следовательно, раз Найтовская неопределенность скорее всего не имеет отношения к свободе воли, то и квантовый процессор Google ей скорее всего не обладает. Значит, пока можно не бояться восстания машин в лице 100-кубитного процессора.

Несмотря на то, что я не согласна с авторами статей, которые разобрала, я получила искреннее удовольствие в процессе: мне нравятся моменты, когда я могу немного переосмыслить свою картину мира. Надеюсь, что вы тоже получили такое удовольствие в процессе чтения этого текста.

Подробнее..

Вслед за Apple и Google комиссию магазина приложений снизила Amazon

18.06.2021 16:08:17 | Автор: admin

Магазин приложений Amazon Appstore снизил комиссию для разработчиков, получающих доход менее $1 млн в год. Также 10 % от дохода будут конвертироваться в бонусы, которые разработчики смогут потратить на облачный сервис Amazon.

15 июня этого года Amazon объявила о снижении комиссии с 30 % до 20 % для разработчиков приложений. Оно проходит в рамках программы поддержки малого бизнеса и касается только тех разработчиков, кто получает доход менее $1 млн в год.

По данным Amazon, 94 % из опрошенных ими мобильных разработчиков указали, что пользуются облачными сервисами. Поэтому компания решила ввести кэшбек в размере 10 % от годового дохода. Полученные бонусы разработчики смогут потратить на облачные сервисы Amazon.

Новые условия вступят в силу в четвёртом квартале этого года. В качестве дополнительного бонуса, Amazon будет продвигать приложения небольших разработчиков в отдельной строке Amazon Appstore.

Другие владельцы магазинов приложений вводят более низкие комиссии, чем у Amazon. Первого января этого года Apple сократила комиссию с 30 % до 15 % для разработчиков с годовым доходом менее $1 млн. С 1 июля Google также снизит ставку с 30 % до 15 % на первый заработанный за год миллион долларов для всех компаний.

В апреле о снижении комиссии объявила и Microsoft. С 1 августа для всех разработчиков комиссия за игры для ПК в Windows Store упадёт с 30 % до 12 %. Таким образом, этот магазин сравняет комиссию с Epic Games Store.

В сентябре прошлого года компании Epic Games, Spotify Technology и Match Group (владелец Tinder) объединились для оказания давления на Apple и других создателей магазинов приложений. По мнению коалиции, завышенные комиссии создают преимущества для собственных продуктов владельцев площадок, что обеспечивает неравные условия на рынке.

Подробнее..

Получаем результат правильно(Часть2). FragmentResultAPI

25.05.2021 20:20:29 | Автор: admin

Мы продолжаем рассказ о новинках библиотеки Jetpack, призванных упростить обмен данными между компонентами Android приложения. Первая часть была посвящена передаче данных из Activity и новому Api Activity Result.

На этот раз посмотрим, какое решение Google предлагает для Fragment. Ввиду популярности паттерна Single Activity работа с фрагментами представляет большой практический интерес для многих Android-разработчиков.

Как передать данные между двумя фрагментами? - частый вопрос на собеседованиях. Ответить на него можно по-разному: создание общей ViewModel, имплементация интерфейса в Activity, использование targetFragment и другие способы.

С появлением Fragment Result Api в этот список добавился простой способ передачи небольшого объема информации из одного фрагмента в другой. Например, возвращение результата какого-либо пользовательского сценария. Мы разберем, как применять новый Api на практике, но сначала немного теории.

Теория

Начиная с версии 1.3.0-alpha04, FragmentManager реализует интерфейс FragmentResultOwner. Это означает, что FragmentManger является диспетчером для результатов, которые отправляют фрагменты. Благодаря этому фрагменты могут обмениваться информацией, не имея прямых ссылок друг на друга.

Таким образом, всё взаимодействие происходит через FragmentManager:

  • Если фрагмент ожидает получить некоторые данные от другого фрагмента, он должен зарегистрировать слушатель во FragmentManger с помощью метода setFragmentResultListener().

  • Если фрагменту необходимо вернуть результат другому фрагменту, он передает FragmentManger объект Bundle, содержащий информацию. Для этого вызывается метод setFragmentResult().

  • Чтобы FragmentManger знал, как соотнести Bundle с нужным слушателем, необходимо указывать строковый ключ при регистрации слушателя и при передаче результата.

Упрощенно данную схему можно представить так:

FragmentB передает данные в FragmentA . FragmentManager выполняет роль диспетчераFragmentB передает данные в FragmentA . FragmentManager выполняет роль диспетчера

Достоинством Fragment Result Api является lifecycle-безопасность - результат передается во фрагмент, только когда тот достиг состояния STARTED, но еще не находится в состоянии DESTROYED.

Под капотом FragmentManger хранит все зарегистрированные слушатели и все отправленные результаты в потокобезопасных реализациях Map:

  • Map<String, Bundle> для результатов, отправленных фрагментами

  • Map<String, LifecycleAwareResultListener> для зарегистрированных слушателей

Когда фрагмент регистрирует FragmentResultListener, FragmentManager добавляет его в Map, а при уничтожении фрагмента, слушатель удаляется из Map. Для того, чтобы учитывать жизненный цикл фрагмента, FragmentResultListener оборачивается в LifecycleAwareResultListener.

При отправке результата, FragmentManager ищет зарегистрированный с тем же ключом слушатель и передает ему результат. Если слушатель не найден, то результат сохраняется в Map в ожидании дальнейшего использования.

А теперь практика.

Практика

В качестве примера возьмем следующий кейс: ProductsFragment содержит список товаров, которые можно сортировать по различным критериям, а SortFragment позволяет указать нужную сортировку. Информация о выбранной сортировке будет передаваться с помощью Fragment Result Api.

Так выглядит итоговая реализация, которую можно найти по ссылке нижеТак выглядит итоговая реализация, которую можно найти по ссылке ниже

В коде все выглядит довольно просто. Чтобы наладить передачу результата, необходимо выполнить всего два шага.

Шаг 1

В ProductsFragment, который ожидает получить результат, мы должны зарегистрировать слушатель с помощью FragmentManager. Для этого воспользуемся экстеншен-функцией setFragmentResultListener из fragment-ktx, которая принимает строковый ключ и слушатель, обрабатывающий результат.

Регистрацию слушателя можно произвести в колбеке onCreate():

override fun onCreate(savedInstanceState: Bundle?) {   super.onCreate(savedInstanceState)   setFragmentResultListener("request_key") { key, bundle ->        val selectedSort = bundle.getParcelable<Sort>("extra_key")        // применение полученной сортировки   }}

Шаг 2

Когда SortFragment будет готов отправить результат, вызывается метод setFragmentResult, в который передается тот же строковый ключ и заполненный объект Bundle.

applyButton.setOnClickListener {   setFragmentResult(      "request_key",       bundleOf("extra_key" to getSelectedSort())   )}

Вот и всё, что требуется для передачи результата с помощью Fragment Result Api.

Важно

Хотя Api довольно прост, стоит разобрать некоторые нюансы его работы, связанные с правильным выбором FragmentManager и жизненным цикломфрагментов.

Выбор FragmentManager

FragmentManager выполняет основную работу в передаче результата от одного фрагмента к другому. Но каждому фрагменту доступен выбор из нескольких вариантов: parentFragmentManager, childFragmentManager и FragmentManager у активити-хоста. Разберемся, в каких случаях стоит выбирать тот или иной FragmentManager.

Сначала представим так называемую master-detail конфигурацию. Активити содержит два фрагмента, FragmentA и FragmentB, между которыми требуется передать результат.

Активити является хостом для FragmentA и FragmentBАктивити является хостом для FragmentA и FragmentB

В таком случае передавать результат между фрагментами может FragmentManager активити-хоста, т.к. доступ к нему имеют оба фрагмента. Получить данный FragmentManager можно путем вызова requireActivity().supportFragmentManager либо parentFragmentManager.

Следующая ситуация характерна, например, для открытия DialogFragment или в случае, если FragmentA размещает внутри себя FragmentC.

FragmentA является хостом для FragmentСFragmentA является хостом для FragmentС

При таком сценарии, передать результат из FragmentС в FragmentA можно двумя способами:

  • Через FragmentManager активити с помощью requireActivity().supportFragmentManager

  • Через дочерний FragmentManager у FragmentA. Чтобы получить на него ссылку, FragmentA должен обращаться к childFragmentManager, а FragmentС к parentFragmentManager.

Особенности Lifeсycle

Как уже сказано, Fragment Result Api обеспечивает lifecycle-безопасность - результат доставляется, только если фрагмент находится на экране. Рассмотрим несколько примеров.

Представим стандартный случай - фрагмент подписывается в колбеке onCreate, затем переходит в состояние STARTED, и как только другой фрагмент передает во FragmentManager результат, фрагмент-подписчик его получает.

Фрагмент получит лишь bundle3, так как он был отправлен последнимФрагмент получит лишь bundle3, так как он был отправлен последним

Если еще до перехода фрагмента в состояние STARTED, во FragmentManager было передано несколько результатов, то фрагмент получит лишь последний из них (так как FragmentManager хранит результаты в Map<String, Bundle>, то каждый последующий перезаписывает предыдущий).

Автоматическая отписка фрагментов происходит при достижении состояния DESTROYEDАвтоматическая отписка фрагментов происходит при достижении состояния DESTROYED

Если после закрытия вновь открыть этот же фрагмент, ему будет доставлен тот результат, который он не успел получить.

Если фрагмент фрагмент-подписчик был закрыт до отправки результата, он получит его при повторном открытии.Если фрагмент фрагмент-подписчик был закрыт до отправки результата, он получит его при повторном открытии.

В том случае, когда фрагмент не закрыт окончательно, а лишь находится в бэкстеке (в таком случае он в состоянии CREATED), то результат будет доставлен, как только пользователь вернется к этому фрагменту.

Сценарий при нахождении фрагмента в бэкстеке в момент передачи результатаСценарий при нахождении фрагмента в бэкстеке в момент передачи результата

Все рассмотренные ситуации объединяет то, что фрагмент подписывался по уникальному строковому ключу. Но что если сразу несколько подписчиков будут использовать один и тот же ключ? Напомним, что FragmentManager сохраняет информацию о подписках в Map<String, LifecycleAwareListener>, следовательно не может содержать несколько записей с одним и тем же ключом. Именно поэтому результат будет доставлен в тот фрагмент, который зарегистрировал слушатель последним.

Результат получает только последний подписчикРезультат получает только последний подписчик

Заключение

Подводя итог, отметим достоинства нового способа передачи результата между фрагментами:

  • Fragment Result Api является стабильным, можно не бояться использовать его в продакшене. Тем, кто использует targetFrament особенно стоит присмотреться, ведь targetFrament стал Deprecated.

  • Api прост в использовании и не требует написания большого количества кода

  • Учитывает жизненный цикл фрагментов - при получении результата, можно сразу работать со view фрагмента

  • Позволяет пережить изменение конфигурации и даже смерть процесса (FragmentManager умеет сохранять данные о переданных результатах в Parcelable)

Но присутствуют и недостатки:

  • необходимо следить за уникальностью строковых ключей, а также выбирать правильное место для их хранения

  • так как результат передается в Bundle, отсутствует его типизация. При неаккуратном обращении, можно получить ClassCastException.

В целом, Fragment Result Api оставляет положительное впечатление, и точно стоит того, чтобы его опробовать, а наглядный пример можно найти по ссылке.

Подробнее..

Перевод Google прячет настройки служб геолокации, чтобы людям было сложнее их отключить заявляет суд

02.06.2021 18:06:54 | Автор: admin
Angela Lang/CNETAngela Lang/CNET

Это решение было принято после того, как Google провела исследование, показавшее, что "значительное увеличение" числа пользователей, отказавшихся от использования геолокации, пришлось на момент предоставления компанией быстрого доступа к настройкам, говорится в документах. Поисковый гигант увидел в этой тенденции "проблему" и заставил других производителей телефонов Android спрятать настройки.

Эти документы являются частью дела о мошенничестве, возбужденного против Google в прошлом году генеральным прокурором Аризоны Марком Брновичем. Ранее газета Arizona Mirror сообщила об их публикации.

"В сущности, усилия Google были направлены на снижение доступности настроек местоположения, поскольку их собственное исследование показало, что пользователи с большей вероятностью отключат геолокацию, когда им будет предоставлена чёткая и ясная возможность сделать это", - говорится в неотредактированном отрывке из иска. "Google пыталась убедить операторов и производителей устройств скрыть настройки местоположения или сделать их менее заметными, на ходу искажая факты в попытке унять беспокойство пользователей в отношении конфиденциальности."

Google не сразу ответила на запрос о комментариях.

Одной из производителей, на которых Google "успешно оказала давление", была LG, которой пришлось перенести переключатель геолокации на вторую страницу настроек, говорится в иске. LG также не торопилась комментировать ситуацию.

Иск был подан в ответ на расследование агентства Associated Press, которое изучило методы обработки данных о местоположении Google на телефонах под управлением Android. Издание сообщило, что Google по-прежнему отслеживает местонахождение людей, даже если они отключают "Историю местоположений".

Если эта настройка приостановлена, компания по-прежнему отслеживает перемещения пользователей, хотя и не отражает это в Google Maps, говорится в отчете. Однако пользователи могут приостановить отслеживание местоположения, отключив другой параметр, называемый Активностью в Интернете и приложениях.

Google генерирует подавляющую часть своего дохода за счет масштабной рекламной деятельности, основанной на сборе и анализе данных об использовании своих продуктов. Пользователи были "убаюканы ложным чувством безопасности", потому что Google заставила пользователей поверить, что они отключили настройки для сбора данных о местоположении, когда они все еще действовали, написал Брнович в Twitter, когда иск был впервые подан.

Прим. пер.: Некоторые ссылки доступны через VPN.

Подробнее..

Ультимативное сравнение систем распознавания речи Ashmanov, Google, Sber, Silero, Tinkoff, Yandex

27.05.2021 16:21:56 | Автор: admin

sandwich_fake


Какое-то время назад мы писали цикл статей про то, как правильно измерять качество систем распознавания речи, и собственно снимали метрики с доступных решений (цикл статей 1, 2, 3) (на тот момент и коммерческих и некоммерческих решений). На Хабре была выжимка из этого цикла в рамках этой статьи, но до масштабного обновления исследования, достойного публикации на Хабре, руки никак не доходили (это требует как минимум большого количества усилий и подготовки).


Прошло некоторое время и пора обновить наше исследование, сделав его по-настоящему ультимативным. По сравнению с прошлыми исследованиями изменилось или добавилось следующее:


  • Добавилось много валидационных сетов из разных реальных доменов;
  • На рынок вышел Сбер, в первую очередь интересно протестировать именно его;
  • Для чистоты эксперимента, мы не предупреждали разработчиков систем о доменах и факте проведения тестов;
  • Мы также попробовали немного протестировать пропускную способность сервисов (понятно, что мы не знаем какое железо и ограничения стоят в облаке);
  • Мы рассматриваем только коммерческие системы, к которым у нас получилось получить доступ и которые показали хоть какой-то намек на "всеядность", работу с холодного старта и "энтерпрайзность";

Методология


Мы старались следовать нашей стандартной методологии (см. ссылки выше) с небольшими изменениями:


  • Тестируем одни и те же данные в формате wav (или просто PCM);
  • Мы слали запросы во все системы в 8 параллельных потоков (если было очень много таймаутов или все было медленно, то снижали);
  • Расчет скорости делался отдельным небольшим прогоном без всяческой пред- или пост-обработки, чтобы не "загрязнять" метрики, допустим, нормализацией или ресемплингом;
  • Считаем основную метрику WER. Не пугайтесь высоких показателей в районе 20% WER, нужно понимать что в самой разметке заложено порядка 5% WER и что иногда система получает штраф за неверную форму слова (но корень сохраняется, подробнее писал по ссылке в начале статьи);
  • По причине большого количества доменов в этот раз на каждый домен случайно выбрали по 1 часу аудио. Стабильные результаты как правило получаются с 2-3 часов аудио (поэтому некоторые метрики могут визуально быть "хуже" прошлых тестов). За тесты в Гугле нам пришлось заплатить почти 500 долларов!;
  • Метрики считаются на нормализованных текстах (то есть без цифр, "как слышится так и пишется"), так как системы нормализации могут быть разными и строго говоря к качеству распознавания имеют непрямое отношение и зачастую делаются под домен;
  • Если у системы нет такого функционала, то мы нормализуем тексты самостоятельно. В любом случае это влияет в рамках 1 п.п. WER, мы проверяли;
  • Сначала мы пробовали слать ogg/opus в системы, которые его поддерживают, но потом отказались от такой идеи, потом что резко вырос процент "пустых" ответов;
  • Все данные по умолчанию отправляются с родной частотой дискретизации (8 или 16 kHz), но мы не записывали исходную частоту дискретизации всех оригинальных аудио до обработки;

Сухие метрики


Все модели, кроме Silero bleeding egde, это модели упакованные в production сервисы.


Датасет Ashmanov Google Google Sber Sber Silero Silero new Tinkoff Yandex
default enhanced IVR prod bleeding edge
Чтение 10 11 10 7 7 6 8 13
Умная колонка 35 24 6 30 27 27 14
Энергосбыт 24 39 41 20 16 11 15 13
Звонки (такси) 47 16 18 22 32 13 12 21 15
Публичные выступления 28 27 24 18 14 12 20 21
Финансы (оператор) 31 37 37 24 33 25 24 23 22
Аэропорт 31 36 37 26 21 22 25 21
Аудио книги 22 60 54 19 24 20 28 22
Радио 24 61 40 26 18 15 27 23
Умная колонка (далеко) 42 49 8 41 27 52 18
Банк 62 30 32 24 28 39 35 28 25
Звонки (e-commerce) 34 45 43 34 45 29 29 31 28
Заседания суда 34 29 29 31 20 20 31 29
Yellow pages 45 43 49 41 32 29 31 30
Финансы (клиент) 43 55 59 41 67 38 37 33 32
YouTube 32 50 41 34 28 25 38 32
Звонки (пранки) 44 72 66 46 41 35 38 35
Медицинские термины 50 37 40 50 35 33 42 38
Диспетчерская 61 68 68 54 41 32 43 42
Стихи, песни и рэп 54 70 60 61 43 41 56 54
Справочная 39 50 53 32 25 20 27

Также интерес представляет процент пустых ответов сервисов (не совсем ясно, это баг или фича, артефакт нагрузки или самих моделей, но где-то снижение нагрузки помогает снизить этот процент). Традиционно этот процент высокий у Гугла. И как ни странно он довольно высокий у Сбера (и там скорее всего это фича, так как их пропускная способность явно не узкое место).


Ashmanov Google Google Sber Sber Silero Tinkoff Yandex
default enhanced IVR
Чтение 0% 0% 0% 0% 0% 5% 4%
Умная колонка 0% 2% 0% 0% 4% 0%
Энергосбыт 1% 12% 13% 6% 0% 2% 1%
Звонки (такси) 0% 0% 0% 1% 0% 0% 7% 0%
Публичные выступления 0% 1% 0% 0% 0% 2% 0%
Финансы (оператор) 0% 0% 0% 2% 0% 0% 6% 0%
Аэропорт 0% 8% 10% 4% 0% 4% 0%
Аудио книги 0% 22% 6% 2% 0% 1% 0%
Радио 0% 19% 2% 3% 1% 4% 0%
Умная колонка (далеко) 0% 12% 0% 0% 1% 0%
Банк 0% 2% 3% 1% 1% 0% 5% 1%
Звонки (e-commerce) 0% 0% 0% 7% 1% 0% 7% 0%
Заседания суда 0% 0% 0% 1% 0% 4% 0%
Yellow pages 1% 13% 9% 14% 0% 2% 2%
Финансы (клиент) 0% 0% 7% 35% 9% 0% 5% 0%
YouTube 0% 13% 1% 6% 0% 1% 0%
Звонки (пранки) 1% 33% 12% 17% 5% 1% 1%
Медицинские термины 0% 1% 0% 7% 0% 6% 1%
Диспетчерская 3% 26% 28% 25% 0% 2% 4%
Стихи, песни и рэп 2% 19% 3% 25% 0% 1% 1%
Справочная 1% 12% 14% 9% 0% 3% 0%

Качественный анализ и интерпретация метрик


Неудивительно, что каждый силен в том домене, на котором фокусируется. Tinkoff на звонках в банк, справочную, финансовые сервисы. Сбер имеет ультимативно лучшие результаты на своей "умной колонке" (спекулирую, что они поделились в лучшем случае 1/10 своих данных) и в среднем неплохие показатели. IVR модель Сбера на доменах, где оригинальные данные лежат у нас в 8 kHz, показывает себя достойно, но она не ультимативно лучшая. Приятно удивил Яндекс в прошлых рейтингах их модели были не в списке лидеров, а сейчас точно лучше, чем в среднем по больнице. Другой сюрприз Google, который является аутсайдером данного исследования вместе с Ашмановым.


Также интересно посчитать количество доменов, где production модели поставщика лучшие / худшие (допустим с неким "послаблением" в 10% от лучшего или худшего результата):


Сервис Лучше всех Хуже всех
Ashmanov 0 7
Google 1 13 (9 у enhanced)
Sber 2 0
Sber IVR 4 4
Silero 13 0
Tinkoff 6 2
Yandex 10 1

Как и ожидалось наша модель показывает в среднем неплохие показатели на всех доменах, заметно отставая на банках и финансах. Также если смотреть по формальной метрике "на каком числе доменов модель лучшая или почти лучшая" то наша модель как минимум лучше всех генерализуется. Если включить в забег нашу bleeding edge модель (мы пока не выкатили ее еще), то она отстает только на "умной колонке" и банковских датасетах, лидируя уже на 17 доменах из 21. Это логично, так как у нас нет своей колонки и банки очень неохотно делятся своими данными даже приватно.


Удобство использования


У Сбера на момент тестирования было только gRPC API. Это не самое удачное решение для SMB клиентов с точки зрения удобства, имеющее более высокий порог на вход. Также в их реализации вообще не прокидываются важные ошибки (или отсутствуют в принципе, чем часто грешат корпоративные сервисы). Документация запрятана внутри портала их экосистемы, но в целом кроме лишней "сложности" проблем особо там нет, читать приятно. 40 страниц на два метода это конечно сильно (мы читали сначала в PDF), но документация хотя бы подробная и с примерами и пояснениями.


У Яндекса и Гугла стандартная корпоративная документация. Она несложная, но иногда длиннее, чем хотелось бы. Есть и обычные и потоковые интерфейсы. У Яндекса кстати она стала сильно приятнее и человечнее с момента, когда я в последний раз ее видел.


У Tinkoff само распознавание работает по умолчанию также через gRPC, а поверх написаны клиенты (в тех, которые мы разбирали было много лишнего). С учетом фокуса на enterprise (оставим за скобками этические, правовые и финансовые последствия монетизации банком ваших данных без явного согласия и возможности отказаться) это имеет больше смысла, чем то, что сделал Сбер. Это уже мои спекуляции, но скорее всего это в первую очередь артефакт разработки решения под свои нужды.


У сервиса Ашманова вообще нет документации, примеры не работают из коробки, пришлось немного позаниматься перебором для запуска. Отдельно отмечу, что обычно b2b сервисы не славятся читаемыми ошибками и читаемой документацией, но тут вообще не было ни ошибок, ни документации. Или 500-я ошибка или 200 с пустым ответом. Это создает легкий когнитивный диссонанс с учетом проработки анимации девушки-маскота, количества маркетинговых материалов и "успешных" кейсов.


ashmanov


У нашего сервиса само публичное АПИ весьма минималистичное и состоит из 2 методов (синтеза и gRPC нет еще в публичной документации) с примерами. Есть также gRPC АПИ, которое сейчас проходит обкатку. Наверное я тут не лучший судья, но основная ценность как мне кажется состоит в радикальной простоте для публичного АПИ и детальных инструкциях / сайзингах / опциях конфигурирования для более крупных клиентов.


Пропускная способность


Все АПИ, которые мы протестировали (кроме Ашманова) показали себя довольно бодро по скорости (это баг или фича решать вам). Для измерения пропускной способности мы считаем показатель секунд аудио в секунду на 1 поток распознавания (RTS = 1 / RTF):


Сервис RTS per Thread Threads Комментарий
Ashmanov 0.2 8
Ashmanov 1.7 1
Google 4.3 8
Google enhanced 2.9 8
Sber 13.6 8
Sber 14.1 1
Silero 2.5 8 4-core, 1080
Silero 3.8 4 4-core, 1080
Silero 6.0 8 12 cores, 2080 Ti
Silero 9.7 1 12 cores, 2080 Ti
Tinkoff 1.4 8
Tinkoff 2.2 1
Yandex 5.5 2 8 много пустых ответов

Поскольку никто не публикует сайзинги облачных и даже иногда коробочных (тут поправьте меня, если пропустил) версий своих систем публично (кстати прошлая версия нашего сайзинга например доступна по ссылке), то довольно сложно оценить адекватность работы систем по ресурсам. Ведь за АПИ может скрываться как одна VDS, так и сотни карт Nvidia Tesla, которыми любят хвастаться корпорации в своих пресс-релизах (что кстати частично подтверждается результатами Сбера пропускная способность там не падает от роста нагрузки совсем). Расчеты выше не являются заменой полноценным сайзингам.


В защиту нашей системы могу сказать, что за этим бенчмарком стоит довольно слабый сервер конфигурации EX51-SSD-GPU, у которого сейчас есть некоторая фоновая нагрузка и который скорее сейчас оптимизирован на скорость ответа а не на пропускную способность. Еще небольшой тонкий момент состоит в том, что мы считали время каждого запроса и суммировали и поэтому никак не нормализовывали результаты на пинг, но оставим это для следующих исследований.


Вообще меня очень приятно удивили результаты Сбера. На текущих версиях моделей у нас например сайзинг на 12 ядерном процессоре + GPU рассчитан на ~150 RTS. По идее это означает, что если мы поднимем тестовый и сервис на 12+ ядрах процессора на чуть более новой карточке, мы должны получить результаты более близкие к Сберу. У нас все равно не получается получить такие же высокие показатели без просадки от нагрузки, но какие-то выводы уже можно строить и получается все равно весьма достойно. Снимаем шляпу перед инженерами Сбера и ставим aspirational цель сделать наш сервис еще в 2-3 раза быстрее.


На цене мы останавливаться особо не будем (большая часть серьезных клиентов все равно не использует облако), но в очередной раз неприятный сюрприз преподнес Гугл выставив круглый счет за смешной (как нам кажется) объем. А ответ прост зачастую облачные корпоративные сервисы распознавания имеют не только крутой ценник (и в случае Гугла еще и в долларах), но и неочевидные системы округления вверх. В начале своего пути мы тестировали какой-то сервис из Великобритании который округлял до 60 секунд!


photo_2021-05-27_09-18-04


Небольшая ложка дегтя


Довольно приятно, что наш публичный некоммерческий датасет Open STT, неоднократно обсуждавшийся на Хабре, был предвестником релизов публичных данных, например от Сбера. Но долгосрочно все равно хотелось бы видеть хотя бы какую-то соразмерность вклада госкорпораций количеству вложенных в них публичных денег. В сравнении с похожими релизами на западе, мы пока сильно отстаем. Да и Яндекс традиционно не публикует ничего полезного в сфере распознавания речи, интересно почему.

Подробнее..

Перевод Новая техника колоризации изменит представление о внешнем виде исторических личностей

19.04.2021 18:14:05 | Автор: admin
Около века назад, на заре фотографии и кино, люди столкнулись с массой сложностей, мешающих запечатлеть мелкие, но значимые аспекты портрета. Мало того, что фотографы были ограничены черно-белой съемкой, так и камеры тех времен не могли захватить достаточное количество света, а также некоторые детали видимого цветового спектра, влияющие на характеристики снимка. Из-за этого многие известные личности на старых фотографиях выглядят не так, как выглядели вживую.



Новая технология на базе искусственного интеллекта Time-Travel Rephotography добавляет на снимки цвета и реставрирует их. Причем делает это настолько качественно, что переработанные снимки запросто сойдут за фото, сделанные в 2021 году. ИИ позволяет устранить главный недостаток старых камер использование ортохроматической пленки.

Проще говоря, искусственный интеллект обрабатывает фотографию так, будто ее сделали на новую камеру, которая способна захватить достаточное количество света, необходимого для создания качественной и реалистичной картинки (без технических ограничений).

Как работает технология


В прошлом из-за отсутствия того самого необходимого света многие кадры выглядели более шумными и зернистыми. А известные люди на них выглядят старше и морщинистее, чем были в момент съемки.

Это все потому, что свет проникает сквозь кожу человека и подсвечивает ее изнутри. Новые фотоаппараты улавливают это свечение, а старые не могли. Благо современные технологии позволили использовать это явление в колоризации фотографий и устранить лишний шум и морщины.

За последние пару лет методика осовременивания Time-Travel Rephotography помогла улучшить качество огромного количества старых фотокарточек за счет добавления цветов, а также сопоставления снимков 20-го века с кадрами, сделанными цифровыми камерами. Благодаря этому кожа людей на старых фото после обработки выглядит более реалистично и естественно.

Time-Travel Rephotography разработали сотрудники Google совместно с исследователями из Вашингтонского университета и университета Беркли. И начали они с работы над архивными фотоальбомами в попытке создать для каждого черно-белого снимка цветного близнеца с корректными по нынешним меркам характеристиками.

Также технология Time-Travel Rephotography помогла устранить технические недостатки камер 1900-х годов. Удалила со снимков лишний шум и зернистость, сопоставив их по качеству с фотографиями текущего века.

Зачем это нужно?


Создатели Time-Travel Rephotography считают ключевым достоинством технологии возможность взглянуть на то, как исторические фигуры выглядели в реальной жизни без искажений, вызванных техническими ограничениями.

Правда, специалисты отмечают, что свежие рендеры могут заметно отличаться от оригинальных фотографий, и эти изменения могут становиться заметнее по ходу развития искусственного интеллекта.

Больше о проекте можно прочитать по ссылке.
Подробнее..

Перевод Машинное обучение в разработке игр

22.04.2021 10:12:30 | Автор: admin

В последние годы мы наблюдаем взрывной рост популярности многопользовательских онлайн-игр, которые покоряют сердца миллионов игроков во всем мире. В результате этого многократно растут требования к гейм-дизайнерам, потому что игроки хотят видеть продуманную механику и баланс. Ведь нет никакого интереса, если одна стратегия заметно превосходит все остальные.

При разработке игрового процесса баланс обычно настраивается по следующей схеме:

  1. Проводятся тысячи игровых партий с участием тестировщиков.

  2. Собираются отзывы и на их основании в игру вносятся корректировки.

  3. Шаги 1и2 повторяются, пока результат не устроит и тестировщиков, и гейм-дизайнеров.

Этот процесс не только времязатратный, но и несовершенный. Чем сложнее игра, тем вероятнее, что незначительные недостатки останутся незамеченными. Когда в играх много разных ролей с десятками взаимосвязанных навыков, добиться правильного баланса оказывается очень сложно.

Сегодня мы представляем механизм на базе машинного обучения, который помогаетадаптировать игровой балансза счет обучения моделей, выступающих в роли тестировщиков. Мы продемонстрируем подход на примере экспериментальной компьютерной карточной игрыChimera. Мы уже показывали ее в качестве опытной системы дляграфики, сгенерированной алгоритмом машинного обучения. При таком тестировании обученные программные агенты проводят между собой миллионы партий. Из их результатов собирается статистика, которая помогает гейм-дизайнерам улучшать баланс, совершенствовать игру и приближать ее к первоначальному замыслу.

Chimera

Мы задумывалиChimeraкак экспериментальную игру, при разработке которой будет активно использоваться машинное обучение. Для нее мы сознательно предложили такие правила, которые расширяют возможности и серьезно усложняют создание традиционных игровых ИИ-алгоритмов.

В Chimera игроки из других существ создаютхимер, которых нужно развивать и делать сильнее. Цель игры победить химеру противника. Игровой процесс включает в себя основные моменты, описанные ниже.

  • Игроки могут использовать:

    • существ, которые атакуют (урон зависит от показателяатаки)или защищаются (теряя показательздоровья);

    • заклинания, которые дают особые эффекты.

  • Существа вызываются вбиомыограниченной вместимости, которые размещаются на игровом поле. У каждого существа есть предпочтительный биом, и оно получает постоянный урон, если окажется в неподходящем или перенаселенном биоме.

  • В самом начале игрок получает зародыш химеры, который нужно развивать и делать сильнее, добавляя фрагменты других существ. Для этого игрок должен набрать достаточное количествоэнергии связииз разных источников.

  • Игра заканчивается, когда игрок доводит здоровье химеры противника до нуля.

Обучение игре в Chimera

Chimera это карточная играс неполной информациейи большим пространством состояний, поэтому мы думали, что модели будет сложно научиться в нее играть. Особенно учитывая то, что мы собирались применять относительно простую модель. На вооружение был взят подход, использовавшийся в ранних игровых агентах, таких какAlphaGo, когдасверточную нейронную сеть(CNN) обучают предсказывать вероятность выигрыша по произвольному игровому состоянию. Первую модель мы обучили на играх с произвольными ходами, а затем заставили агента играть против самого себя, собирая данные для обучения последующих его итераций. С каждым разом качество данных повышалось, как и игровые навыки агента.

Результаты игры агента против лучшего написанного вручную ИИ-алгоритма по мере обучения. Исходная нулевая версия агента делала ходы случайно.Результаты игры агента против лучшего написанного вручную ИИ-алгоритма по мере обучения. Исходная нулевая версия агента делала ходы случайно.

В качестве игрового состояния, которое подается на вход CNN, мы выбрали кодированное изображение. Такой подход оказался эффективнее всех процедурных агентов и нейронных сетей других типов (например, полносвязных). Выбранная архитектура модели достаточно компактная, чтобы ее можно было выполнять на ЦП за разумное время. Поэтому мы загрузили веса модели и запускали агент в реальном времени в клиенте игры Chimera на платформеUnity Barracuda.

Пример кодированного игрового состояния, на котором обучалась нейронная сеть.Пример кодированного игрового состояния, на котором обучалась нейронная сеть.Помимо принятия игровых решений модель использовалась, чтобы показывать приблизительную вероятность выигрыша игрока во время игры.Помимо принятия игровых решений модель использовалась, чтобы показывать приблизительную вероятность выигрыша игрока во время игры.

Настройка баланса в Chimera

Наш подход помог смоделировать на много миллионов больше матчей, чем живые игроки смогли бы сыграть за тот же период времени. Собрав данные из игр самых успешных агентов, мы проанализировали результаты и нашли дисбаланс между двумя придуманными нами игровыми колодами.

Первая,Evasion Link Gen,состояла из заклинаний и существ со способностями, которые давали дополнительную энергию связи, необходимую для развития химеры. В ней также были заклинания, позволявшие существам уклоняться от атак. В колодеDamage-Healнаходились существа с разными показателями силы и заклинаний, лечившие и наносившие незначительный урон. Мы думали, что эти колоды будут примерно равносильны, однакоEvasion Link Genпобеждала в 60 % случаев при игре противDamage-Heal.

Собрав разные показатели по биомам, существам, заклинаниям и развитию химер, мы сразу увидели две вещи:

  1. Развитие химеры давало явное преимущество агент, развивший свою химеру больше своего оппонента, побеждал в большинстве игр. При этом среднее число эволюционных этапов на игру не соответствовало нашим ожиданиям. Мы хотели сделать развитие ключевой составляющей игровой механики и увеличить общее среднее количество эволюционных этапов.

  2. Существо Тирекс оказалось чересчур сильным. Его появление в игре тесно коррелировало с победами, и модель всегда старалась играть с Тирексом, невзирая на штрафы за его вызов в неподходящий или перенаселенный биом.

На основании этих наблюдений мы внесли в игру некоторые изменения. Чтобы поощрять развитие химеры, мы сократили количество энергии связи, необходимой для эволюции, с трех до единицы. Мы также добавили период восстановления для Тирекса: теперь после любого действия ему приходилось ждать в два раза дольше, чтобы выполнить следующее действие.

Повторив игру модели против самой себя с обновленными правилами, мы заметили, что игра изменилась в нужном направлении среднее число эволюционных этапов увеличилось, а Тирекс перестал доминировать.

Сравнение влияния Тирекса до и после корректировки баланса. На диаграммах показано количество выигранных (или проигранных) игр, когда в колоде используется определенное заклинание (например, заклинание для уклонения, повышающее характеристики Тирекса). Слева: до изменений Тирекс оказывал серьезное влияние по всем оцениваемым показателям самый высокий коэффициент выживаемости, наибольшая вероятность вызова даже при штрафах, самое часто поглощаемое существо при победах. Справа: после изменений Тирекс стал гораздо менее мощным.Сравнение влияния Тирекса до и после корректировки баланса. На диаграммах показано количество выигранных (или проигранных) игр, когда в колоде используется определенное заклинание (например, заклинание для уклонения, повышающее характеристики Тирекса). Слева: до изменений Тирекс оказывал серьезное влияние по всем оцениваемым показателям самый высокий коэффициент выживаемости, наибольшая вероятность вызова даже при штрафах, самое часто поглощаемое существо при победах. Справа: после изменений Тирекс стал гораздо менее мощным.

Ослабив Тирекса, мы снизили зависимость колодыEvasion Link Genот чрезмерно сильного существа. Но даже при этом соотношение побед сохранилось на уровне 60/40 вместо 50/50. При детальном рассмотрении журналов отдельных игр стало видно, что они часто велись без продуманной стратегии. Проанализировав данные снова, мы обнаружили ряд других областей, где можно было внести изменения.

Мы увеличили начальный уровень здоровья обоих игроков, а также эффективность лечащих заклинаний. Это помогло увеличить продолжительность игр и разнообразить стратегии. В частности, это позволило игроку с колодойDamage-Healдержаться достаточно долго, чтобы получить преимущество от своей стратегии лечения. Чтобы игроки с умом подходили к вызову существ и их размещению, мы увеличили штрафы за использование существ в неподходящих или перенаселенных биомах. Наконец, мы сократили разрыв между самыми сильными и слабыми существами, немного изменив атрибуты.

С новыми корректировками мы получили итоговые сбалансированные показатели для двух колод:

Заключение

Обычно на поиск дисбаланса в новых играх могут уходить месяцы тестирования. Рассмотренный здесь подход помог нам не только выявить возможные недостатки баланса, но и внести корректировки для их устранения за считаные дни. Мы выяснили, что относительно простая нейронная сеть способна обеспечить высокую эффективность при игре против человека и традиционного ИИ. Такие агенты можно использовать и в других целях, например при обучении новых игроков и поиске неочевидных стратегий. Мы надеемся, что эта работа вдохновит на дальнейшее изучение возможностей машинного обучения в разработке игр.

Слова благодарности

Этот проект был реализован при поддержке множества людей. Мы благодарим Райана Поплина, Максвелла Ханнамана, Тейлора Стейла, Адама Принса, Михала Тодоровича, Сюэфан Чжоу, Аарона Каммарата, Эндипа Тура, Транга Ле, Эрин Хоффман-Джон и Колина Бозвела. Спасибо всем, кто участвовал в игровом тестировании, давал советы по игровому дизайну и оставлял ценные отзывы.

Подробнее..

Открылся набор в Indie Games Accelerator и Indie Games Festival от Google Play

14.06.2021 12:13:27 | Автор: admin

Indie Games Accelerator и Indie Games Festival две программы для независимых (инди) разработчиков мобильных игр, организованных командой Google Play. Программы направлены на то, чтобы помочь небольшим игровым студиям и разработчикам стать популярнее в Google Play независимо от того, на какой стадии находятся их проекты.

В этом году обе программы пройдут в онлайн-формате, заявки принимаются до 1 июля подробности под катом.

Для нас важно поддерживать не только крупные международные компании, но и небольшие инди-команды благодаря своей креативности и увлеченности играми, они создают уникальные и интересные проекты. Если вы работаете над уникальным проектом и хотите, чтобы о нем узнал мир, предлагаем вам принять участие в одной (или обоих сразу) из наших программ Indie Games Accelerator и Indie Games Festival.

Каждая из программ направлена на то, чтобы помочь небольшим игровым студиям стать популярнее в Google Play независимо от того, на какой стадии находятся их проекты: в акселератор принимаются проекты на этапе идеи или прототипа, фестиваль подойдет для игр, находящихся в активном оперировании. Заявки на обе программы принимаются до 1 июля.

Indie Games Accelerator: обучение и менторская поддержка

Эта программа разработана для начинающих инди-разработчиков, которые работают над прототипами будущих игр или делают тестовые релизы.

Проекты, которые пройдут отбор и станут участниками акселератора, смогут присоединиться к 12-недельной образовательной программе, а также получат возможность поработать над своими проектами вместе с экспертами из Google, крупных игровых студий и венчурных фондов. Rovio, Game Insight, Zynga, Play Ventures, Unity Technologies, Belka Games с полным списком менторов и условиями участия можно ознакомиться здесь.

В этом году в акселерационной программе участвуют более 70 стран, заявки на Indie Games Accelerator из России, Украины и Беларуси будут приниматься впервые!

Indie Games Festival: промо-кампании для финалистов

Эта программа разработана для небольших команд, которые недавно выпустили игру и хотят дальше работать над проектом без помощи паблишера или инвесторов.

Основные критерии отбора: инновационность, увлекательность и дизайн. Среди призов: фичеринг на Google Play и промо-кампании для 3 игр-победителей стоимостью 100 000 евро.

Условия участия: в программе участвуют 29 стран Европы, включая Россию, Украину и Беларусь; максимальное количество человек в команде 50, игра должна быть выпущена на Google Play не ранее 3 марта 2020 г. Подробнее с правилами участия и критериями отбора можно ознакомиться здесь.

В прошлом году в финал конкурса прошло три проекта из России: My Diggy Dog 2 от King Bird Games, Color Spots от UX Apps и Tricky Castle от Team Tricky подать заявку можно до 1 июля.

Подробнее..

Fuchsia OS от Google выходит из тени ее установят на Google Nest Hub

05.05.2021 14:10:44 | Автор: admin

На Хабре многие внимательно следят за судьбой молодой ОС Fuchsia OS от Google. Долгое время ее предназначение и позиционирование оставались достаточно туманными. Компания рассказывала о том, что ОС можно использовать на широком спектре разных устройств, но, где именно, оставалось лишь догадываться.

Похоже, что вскоре эту ОС можно будет потрогать. Как оказалось, в Сеть утекли спецификации нового умного устройства Google, обновленной модели Nest Hub. И ее программное обеспечение как раз эта загадочная операционная система. Вполне может быть, что она быстро станет чем-то большим, чем нишевой ОС, как это случалось с другими платформами.

Немного подробностей о Google Nest с цветочком


К слову, в том, что операционная система будет установлена именно на Nest Hub, нет ничего удивительного. Компания ранее тестировала ее на разных потребительных устройствах, включая Google Pixelbook, Nest Hub и Nest Hub Max.

На днях спецификации нового устройства (вернее, модифицированного) опубликованы Bluetooth Special Interest Group. Это не совсем утечка, а вполне официальный документ, но не от Google. Девайс не новый это устройство 2018 года с новой прошивкой. После ребрендинга его назвали Google Nest Hub, ранее оно называлось Google Home Hub.

Ранее в поле Software Version Number для девайса было указано, что его операционная система платформа Cast. Сейчас же красуется надпись Fuchsia 1.0.


Можно, конечно, попробовать установить Fuchsia и сейчас, ведь ее исходники находятся в свободном доступе. Но, к сожалению, сделать это сложно, если вообще возможно. Устройства защищены от загрузки неподписанного и не авторизованного вендором ПО. Конечно, умельцы смогут обойти этот момент, но, возможно, тратить время сейчас и не нужно, поскольку после выхода основного девайса с Fuchsia на борту все станет гораздо проще.

Кстати, существует еще возможность, что компания выпустит ограниченное количество умных устройств с новой ОС только для разработчиков, чтобы те ознакомились с платформой и научились разрабатывать под нее ПО. В любом случае, если устройство и выйдет, то через несколько месяцев, а не сейчас.

Fuchsia OS открытый проект


В конце 2020 года компания Google изменила модель лицензирования этой ОС. Коммиты и патчи стали принимать от всех желающих. Так что если на Хабре есть те, кто потратил время на помощь разработчикам этой ОС, будьте довольны: благодаря вашей работе вскоре выйдет первая версия платформы.

Исходный код ОС был впервые опубликован в августе 2016 года, в течение четырех лет разработчики вели разработку открыто, с прозрачным репо проекта.

После открытия Fuchsia для сообщества коммиты стал принимать управляющий совет, в состав которого вошла группа опытных технических руководителей компании. Совет следит за выполнением дорожной карты проекта и администрирует пользовательские изменения.

По словам команды Fuchsia, главные архитектурные принципы ОС безопасность и обновляемость. Fuchsia система широкого профиля, ее можно использовать для установки как на ПК, так и на телевизоры, умные колонки, гаджеты интернета вещей.

Особенности Fuchsia


Основа ОС не Linux, а микроядро Zircon. Тем не менее, в ОС уже предоставляется уровень совместимости POSIX Lite, работающий поверх Fuchsia System ABI. Все это позволяет обеспечить запуск ряда Linux-программ, но при этом нужно перекомпилировать приложения или даже модифицировать исходные тексты. Одна из проблем POSIX Lite неполная реализация всех возможностей POSIX.

У Fuchsia есть собственный графический интерфейс, который написан на Dart с использованием фреймворка flutter.

Кроме того, проект развивает:

  • фреймворк для построения интерфейсов пользователя Peridot;
  • пакетный менеджер Fargo;
  • стандартную библиотеку libc;
  • систему рендеринга Escher;
  • Vulkan-драйвер Magma;
  • композитный менеджер Scenic;
  • файловые системы MinFS, MemFS, ThinFS (FAT на языке Go) и Blobfs
  • менеджер разделов FVM.

Для разработки приложений предоставляется поддержка языков C/C++, Dart, в системных компонентах также допускается использование Rust, в сетевом стеке Go, а в системе сборки языка Python.

Подробнее..

Подробнее об обновленных правилах программы для разработчиков Google Play

08.04.2021 12:19:54 | Автор: admin

31 марта мы опубликовали обновленные правила программы для разработчиков Google Play. Изменения касаются разрешения на доступ ко всем хранящимся на мобильном устройстве файлам, неприемлемого контента (включая ненормативную лексику), азартных игр, а также игр, конкурсов и турниров с реальными денежными призами. Кроме того, мы добавили новые уточнения и примеры для уже существующих правил полный список изменений можно посмотреть в Центре правил. Все новые и существующие приложения должны быть приведены в соответствие с обновленными правилами до 5 мая 2021 г.

Конфиденциальность и безопасность пользователей имеют первостепенное значение для Google Play, поэтому мы постоянно работаем над нашими политиками и правилами. Джо Дэвис, менеджер Академии Google Play, объясняет новые правила в семиминутном видео (доступны субтитры на русском языке):

  • 0:45 All Files Access Permission

  • 1:30 Новостные приложения

  • 2:12 Пояснения для Personal & Sensitive User Data

  • 2:27 Пояснения для Families Ads & Monetization policies

  • 3:48 New Package (App) Visibility policy

Полный список изменений со ссылками на примеры можно посмотреть в Центре правил. Напоминаем, что все новые и существующие приложения должны быть приведены в соответствие с обновленными правилами до 5 мая 2021 г.

Дополнительный материал:

  • Developer Policy Center все правила Google Play и дополнительные материалы в одном месте. Для тех, кто предпочитает формат видео роликов, плейлист Google Play PolicyBytes.

  • Учебная программа о политиках и правилах Google Play на сайте Play Academy.

Подробнее..

Виртуальные машины А2 крупнейшие облачные образы с графическими процессорами NVIDIA A100 теперь доступны для всех

20.04.2021 12:16:22 | Автор: admin

Недавно, в нашем Google Cloud блоге, мы анонсировали, что в сервисе Compute Engine появились виртуальные машины A2 на базе графических процессоров NVIDIA Ampere A100 с тензорными ядрами. С их помощью пользователи смогут выполнятьмашинное обучениеивысокопроизводительные вычисленияна базе архитектуры NVIDIA CUDA, увеличивая рабочие нагрузки за меньшее время и цену.

В этой статье, мы хотим рассказать подробнее о том, что представляют из себя виртуальные машины А2, об их производительности и особенностях. И рассказать о том, как мы используют эти машины наши коллеги и партнеры.

Высочайшая производительность

Одна ВМ A2 поддерживает до 16графических процессоров NVIDIA A100. На сегодняшний день это самый производительный экземпляр графического процессора на одном узле среди всех конкурирующих решений от крупнейших поставщиков облачных услуг. В зависимости от масштабов рабочей нагрузкивы также можете выбрать виртуальные машины A2 с меньшим числом графических процессоров (1, 2, 4 и 8).

Конфигурации ВМ A2 доступные в сервисе Compute EngineКонфигурации ВМ A2 доступные в сервисе Compute Engine

Это позволяет исследователям, специалистам по обработке данных и разработчикам значительно увеличивать производительность масштабируемых рабочих нагрузок (например, машинное обучение, логический вывод и высокопроизводительные вычисления) на архитектуре CUDA. Семейство ВМ A2 на платформе Google Cloud Platform способно удовлетворить потребности самых требовательных приложений для высокопроизводительных вычислений, например при моделировании методами вычислительной гидродинамики вAltair ultraFluidX.

Для тех, кому нужны сверхпроизводительные системы, Google Cloud предлагает кластеры из тысяч графических процессоров для распределенного машинного обучения, а также оптимизированные библиотеки NCCL для горизонтального масштабирования. Версия ВМ с 16 графическими процессорами A100, объединенными через шинуNVIDIA NVLink, это уникальное предложение Google Cloud. Если вам нужно масштабировать требовательные рабочие нагрузки по вертикали, можно начать с одного графического процессора A100 и довести их число до 16 без настройки нескольких ВМ для машинного обучения на одном узле.

Новая ВМ A2-MegaGPU: 16 графических процессоров A100 со скоростью передачи данных 9,6 ТБ/с по интерфейсу NVIDIA NVLinkНовая ВМ A2-MegaGPU: 16 графических процессоров A100 со скоростью передачи данных 9,6 ТБ/с по интерфейсу NVIDIA NVLink

Чтобы удовлетворить потребности разных приложений, доступны и менее производительные конфигурации ВМ A2 с встроенным SSD-диском на 3ТБ, который ускоряет доставку данных в графический процессор. Так, графический процессор A100 в Google Cloud более чем в 10раз увеличивает скорость предварительного обучения модели BERT-Large по сравнению с NVIDIA V100 прошлого поколения. При этом в конфигурациях с числом графических процессоров от 8 до 16 наблюдается линейный рост производительности. Кроме того, разработчики могут использовать предварительно настроенное ПО в контейнерах из хранилища NVIDIANGCдля быстрого запуска экземпляров A100 в Compute Engine.

Отзывы пользователей

Мы стали предлагать ВМ A2 с графическими процессорами A100 нашим партнерам в июле 2020 года. Сегодня мы работаем со множеством организаций и помогаем им достигать новых высот в области машинного обучения, визуализации и высокопроизводительных вычислений. Вот что они говорят о виртуальных машинах А2:

КомпаниюDessaнедавно приобрел холдинг Square. Она занимается исследованиями в сфере ИИ и стала использовать ВМ A2 одной из первых. На базе ее экспериментов и инноваций Square разрабатывает персонализированные сервисы и умные инструменты для Cash App, которые с помощью ИИ помогают неспециалистампринимать более взвешенные финансовые решения.

"Благодаря Google Cloud мы получили необходимый контроль над своими процессами, говорит Кайл де Фрейтас, старший разработчик ПО в Dessa. Мы понимали, что предлагаемые в Compute Engine ВМ A2 на базе графических процессоровNVIDIA A100с тензорными ядрами способны радикально сократить время вычислений и значительно ускорить наши эксперименты. Процессоры NVIDIA A100, используемые в Google Cloud AI Platform, позволяют нам эффективно развивать инновации и воплощать в жизнь новые идеи для наших клиентов".

Hyperconnect это международная компания, занимающаяся видеотехнологиями в сфере коммуникаций (WebRTC) и ИИ. Hyperconnect стремится объединять людей во всем мире и для этого создает сервисы на базе различных технологий обработки видео и ИИ.

"Экземпляры A2 с новыми графическими процессорами NVIDIA A100 на платформе Google Cloud поднимают производительность на совершенно новый уровень при настройке моделей глубокого обучения. Мы легко перешли на них с прошлого поколения графических процессоров V100. Благодаря конфигурации ВМ A2-MegaGPU мы не только ускорили обучение более чем в два раза по сравнению с V100, но и получили возможность масштабировать по вертикали рабочие нагрузки с большими нейронными сетями в Google Cloud. Эти инновации помогут нам оптимизировать модели и повышать удобство использования сервисов Hyperconnect", говорит Ким Бемсу, исследователь по машинному обучению в Hyperconnect.

DeepMind(дочерняя компания Alphabet) это команда ученых, инженеров, специалистов по машинному обучению и других экспертов, которые развивают технологии ИИ.

"DeepMind занимается искусственным интеллектом. Наши исследователи проводят различные эксперименты в этой сфере с применением аппаратных ускорителей. Благодаря Google Cloud мы получили доступ к новому поколению графических процессоров NVIDIA, а виртуальная машина A2-MegaGPU-16G позволяет проводить обучение моделей быстрее, чем когда-либо. Мы с радостью продолжаем работать с платформой Google Cloud, которая поможет нам создавать будущую инфраструктуру машинного обучения и ИИ", Корай Кавукчуоглу (Koray Kavukcuoglu), вице-президент DeepMind по исследовательской деятельности.

AI2 это некоммерческий исследовательский институт, занимающийся перспективными исследованиями и разработками в сфере ИИ для общего блага.

"Наша основная миссия расширение возможностей компьютеров. В связи с этим мы сталкиваемся с двумя фундаментальными проблемами. Во-первых, современные алгоритмы ИИ требуют огромных вычислительных мощностей. Во-вторых, специализированное оборудование и ПО в этой области быстро меняются. И с этим нужно что-то делать. Процессоры A100 в GCP в четыре раза производительнее наших нынешних систем, и для их использования не требуется серьезно перерабатывать программный код. По большому счету достаточно минимальных изменений. Графический процессор A100 в Google Cloud позволяет значительно увеличить количество вычислений на доллар. Соответственно, мы можем проводить больше экспериментов и использовать больше данных", говорит Дирк Груневельд, старший разработчик Allen Institute for Artificial Intelligence.

OTOY это компания, которая занимается облачными графическими вычислениями. Она развивает инновационные технологии создания и доставки контента для средств массовой информации и индустрии развлечений.

"Уже около десяти лет мы расширяем границы возможного в сфере графической визуализации и облачных вычислений и стремимся устранить ограничения для художественного творчества. Благодаря процессорам NVIDIA A100 в Google Cloud с большим объемом видеопамяти и самым высоким рейтингом OctaneBench за всю историю мы первыми достигли уровня, когда художникам при реализации своих замыслов больше не нужно задумываться о сложности прорисовки. Система визуализации OctaneRender снизила стоимость спецэффектов. Она позволяет любому разработчику с графическим процессором NVIDIA создавать великолепную картинку кинематографического качества. Виртуальные машины с процессорами NVIDIA A100 в Google Cloud предоставляют пользователям OctaneRender и RNDR доступ к современным графическим процессорам NVIDIA, прежде доступным только для крупнейших голливудских студий", говорит Джулз Урбах, основатель и генеральный директор OTOY.

Цены и доступность графических процессоров

Экземпляры NVIDIA A100 теперь доступны в следующих регионах: us-central1, asia-southeast1 и europe-west4. В течение 2021года к ним добавятся дополнительные регионы. ВМ A2 в Compute Engine доступны по запросу со скидкой за вытесняемые экземпляры и обязательство по использованию, а также полностью поддерживаются в Google Kubernetes Engine (GKE), Cloud AI Platform и других сервисах Google Cloud. A100 предлагаются по цене всего 0,87доллара США за один графический процессор в вытесняемых ВМ A2. С полным прейскурантом можно ознакомитьсяздесь.

Начало работы

Вы можете быстро развернуть работу, приступить к обучению моделей и выполнять рабочие нагрузки с логическим выводом на графических процессорах NVIDIA A100 с помощьюобразов ВМ для глубокого обученияв доступных регионах. В этих образах собрано все необходимое ПО: драйверы, библиотеки NVIDIA CUDA-X AI и популярные фреймворки для ИИ, такие как TensorFlow и PyTorch. Оптимизированныеобразы TensorFlow Enterpriseтакже включают поддержку A100 для текущих и прошлых версий TensorFlow (1.15, 2.1 и 2.3). Вам не нужно беспокоиться об обновлении ПО, совместимости и настройке производительности всё это мы берем на себя. Наэтой страницеприводятся сведения о доступных в Google Cloud графических процессорах.


Напоминаем что при первой регистрации в Google Cloud: вам доступны бонусы на сумму 300 долларов США, а более 20 бесплатных продуктов доступны всегда. Подробнее поспециальной ссылке.

А так же выражаем благодарность за помощь в подготовке материала коллегам: Бхарат Партасарати, Крис Клебан и Звиад Кардава

Подробнее..

Google бесплатно изготовит чип на техпроцессе 130нм Skywater Апрель-Июнь 2021

23.04.2021 20:10:29 | Автор: admin

Если вы прочитали мою статью, то вы слышали про технологию Skywater 130nm. Google сделала анонс второй программы Multi-project-wafer, и вы можете произвести свою микросхему за бесплатно. С несколькими оговорками

  • Проект должен быть по технологии 130нм Skywater

  • Проект должен быть доступен всем

  • Проект должен находиться под лицензией из списка одобренных

  • Проект должен быть готов к июню 18 числа 2021-го года.

Несмотря на то, что 130нм очень древняя технология почти 20 летней давности, тем не менее с ней можно разработать самые разнообразные и интересные проекты.

Меня поправили в коментариях

130 нм мэйнстрим в части микроконтроллеров, многих видов автомобильных и высоковольтных силовых микросхем, а вовсе не древняя технология. Не надо все мерить по процессорам для песональных компьютеров, современные 130 нм так же похожи на 130 нм из Pentium III, как Tesla 3 похожа на Ford T. И там, и там четыре колеса, на этом сходство заканчивается.

Для изготовления микросхем Google и её партнер efabless выбрали компанию Skywater Technology Foundry, ранее известную под названием Cypress Semiconductor. Производство первых микросхем будет окончено в декабре.

Ранее бывшую собственным производством Cypress и выделенную в независимую компанию. Сама Cypress продолжает существовать в fabless режиме.

Кхм, меня попровляют в личных сообщениях, спасибо @amartology.

Технология имеет слой для полупроводников и 5 металлических слоёв. Заказчики проектов получат 50 экземпляров в корпусе WCLSP 6x10.

Из проектов прошлого года мне понравился вот этот. Это проект передатчика-приёмника для любительских спутников AMSAT.

Для того чтобы вы смогли разработать свою микросхему гугл также выпустила Process Development Kit доступный по ссылке вот тут. Важно сказать, чтобы гугл вашу микросхему вообще одобрил она должна быть собранна по проекту Caravel user project.

Если у вас есть готовый проект написанный на Verilog, его можно собрать используя OpenLANE.

Подробнее..

Перевод Патентный тролль Как отсудить 308 млн долларов у Apple

29.04.2021 12:05:53 | Автор: admin

Несколько недель назад компания Personalized Media Communications (PMC), о которой вы, вероятнее всего, никогда ранее не слышали, выиграла патентный иск и отсудила у Apple 300 миллионов долларов. Ознакомиться с решением суда можно здесь.

Патентные юристы относят такие компании, как PMC, к так называемым патентным холдингам или торговцам патентами. Эта компания приобрела более 100 различных патентов на программы, разработанные начиная с 1980-х годов, и использует свое владение этими патентами, чтобы подавать судебные иски на крупные IT-компании и таким образом зарабатывать, выигрывая в судах и получая крупные денежные компенсации.

Компания PMC не производит совершенно никакого продукта, они даже не пытались заниматься чем-то подобным. Генеральный директор компании во время выступления в суде сообщил, что компания никогда не занималась никакими исследованиями или разработкой какого-либо продукта [1]. Ее основные принципы заключаются в том, чтобы владеть максимально возможным количеством патентов и зарабатывать на этом. Компания владеет патентами на изобретения 1980-х годов и зарабатывает, подавая судебные иски на компании, в настоящее время пользующиеся данными изобретениями.

PMC до сих пор активно ведёт свою деятельность; в ноябре она судилась еще с несколькими крупными компаниями, такими как Walmart и Disney [2]. По заявлению компании PMC, которая в настоящее время выступает в в качестве истца в более чем двадцати судебных разбирательствах в федеральных судах, Disney обязана выплатить ей приблизительно 43 миллиона долларов за использование сервисов видео-стриминга [3]. Сейчас компания также ведет патентную борьбу в судах с Amazon и Netflix.

Как же они это делают?

Для того, чтобы понять бизнес-схему, по которой работают патентные холдинги, нужно сперва рассмотреть, как компании подобные Personalized Media Communications выигрывают дела в суде.

Нагляднее всего было бы изучить судебные материалы дела PMC против Apple, решение которого стало известно совсем недавно, но, к сожалению, у нас нет такой возможности. Протоколы еще недоступны для публичного использования, и юристы обеих сторон еще продолжают анализировать и редактировать материалы дела [4]. Эти документы станут доступны только через несколько месяцев после окончания суда [5].

Однако в публичном доступе уже есть материалы по другому делу, которое очень похоже на дело против Apple это протоколы дела PMC против Google? которое слушалось в том же суде города Маршалл, штат Техас, с тем же судьей Джеймсом Родни Гилстрапом, в ноябре 2020 года.

Дело PMC против Google имело совсем другой исход в отличие от дела против Apple. Юристы PMC требовали, чтобы компания Google выплатила 183 миллиона долларов в качестве компенсации ущерба, заявив, что YouTube нарушил их патентное право. Дело было разрешено в пользу ответчика, и это была сокрушительная победа: присяжные признали, что Google не нарушает чьих-либо патентных прав, и PMC была вынуждена покинуть зал заседания суда с пустыми руками [6]. Компания PMC недавно направила уведомление о том, что они будут подавать апелляцию в федеральный окружной суд, что было довольно предсказуемо.

Письменный протокол дела PMC против Google позволит лучше разобраться в том, как именно действует PMC, одна из самых первых и наиболее успешных компаний по торговле патентами. В деле против Apple компания PMC поменяла свою стратегию обратилась к другой юридической фирме и представила другие доказательства. В этот раз они повысили ставки, выступили против другого оппонента и в итоге выиграли крупное дело. Когда станут доступны протоколы дела PMC против Apple, можно будет для большей наглядности сравнить два этих невероятных кейса.

Семейный бизнес


Во время вступительных заявлений адвокат PMC Арун Субраманиан рассказал присяжным историю основателя и главного изобретателя компании PMC Джона Харви:

В 1960-х годах Джон Харви поступил в Йельский университет на курсы военной подготовки офицеров службы резерва в военно-морском флоте. Он окончил обучение и поступил на службу в военно-морской флот. Он дважды участвовал в военных действиях во Вьетнаме, неся службу на эскадренном миноносце У нас есть несколько фотографий его первых дней в военно-морском флоте.

Джон Харви был начальником подразделения связи. Он занимался шифрованием сообщений и обработкой сигналов. Именно во время его службы в военно-морском флоте он начал интересоваться технологиями связи.

Перенесемся на несколько лет позднее, в 1981 год, когда мистер Харви познакомился с инженером по электрооборудованию, которого звали Джим Куддихи. Работая вместе, мистер Харви и мистер Каддихи создавали инновационные изобретения в технологии связи, которые значительно опережали свое время [7].

По словам Субраманиана, у телевизоров 1980-х годов были антенны, напоминающие заячьи уши, ручки, которые иногда отваливались, и высокая зернистость изображения. Используя мощность вычислительных машин, цифровых сигналов и сетей, Харви и Каддихи стремились усовершенствовать и улучшить качество телевидения которое могло бы существовать в будущем.

Они зарегистрировали свой первый патент в 1981 году, и в том же году основали PMC. Сейчас юристы компании Personalized Media Communications характеризуют компанию как семейный бизнес, в котором всего 7 сотрудников.

Субраманиан объяснил, что задачей PMC было зарегистрировать технологию, которую открыли мистер Харви и мистер Каддихи, чтобы компании, которые хотели использовать эту технологию, могли ею воспользоваться, получив соответствующую лицензию. У компании было зарегистрировано более 20 патентов, и они зарабатывали миллионы долларов, продавая другим компаниям лицензии на право использования их технологий.

Цель их искового заявления в суде о патенте снова поставить на ноги свой бизнес. И это вовсе не так сложно, как может показаться на первый взгляд. Разве в изобретениях Харви и Каддихи не было особенного, если такое количество крупных корпораций платило им миллионы и миллионы долларов? И они говорят об этих крупных лицензионных соглашениях здесь, перед федеральным судьей, облаченным в черную мантию, который уже дал всем ясно понять, что патенты, а также судьи, присяжные, и юристы, которые ими занимаются это Очень Важно.

Если у Харви и Каддихи и было какое-то реальное изобретение, похоже, что это было компьютеризированное графическое изображение, которое накладывалось на экран телевизора. В начале 1990-х PMC продемонстрировала прототип своего изобретения неким потенциальным инвесторам в Нью Йорке. Экспериментальное устройство состояло из видеомагнитофона и компьютера, которые были присоединены к экрану телевизора, и это устройство каким-то бразом накладывало видеопотоки друг на друга. В системе не использовался Интернет.

Чем бы на самом деле ни было это странное приспособление, когда его демонстрировали инвесторам, оно уже довольно устарело для своего времени, и весь показ, должно быть, произвел жалкое впечатление. В начале 1990-х годов программисты в университетах уже трудились над разработкой первых веб-браузеров; интернет-компании Prodigy и CompuServe уже вовсю боролись за первенство на потребительском рынке, у них были миллионы клиентов, которые пользовались их услугами.

PMC никогда ничего не продавала. И, как признался их генеральный директор, она никогда не вкладывала деньги в научно-исследовательские разработки. Вместо этого они выбрали путь патентных троллей, придумывая витиеватые описания своих патентов, чтобы реальные компании, такие как Sony, Arris и другие правообладатели, вынуждены были покупать на них лицензии. По словам начальника юридического отдела компании PMC Томаса Скотта, эти компании приобретали лицензии на их изобретения, потому что они пользовались этими изобретениями [8].

В своем вступительном заявлении Субраманиан сумел подать все факты так, словно Джон Харви был выдающимся изобретателем, мышление которого значительно опережало научный прогресс его времени. Он опустил тот факт, что Джон Харви, окончив службу в военно-морском флоте, работал в сфере финансов, а вовсе не занимался инженерным делом. Компания PMC зародилась как общее дело двух из Йельского университета, один из которых позже стал инвестиционным банкиром, а второй патентным юристом.

Подводная лодка всплывает


Субраманиан продолжил свое выступление в суде, объяснив, как различные функции Youtube нарушали четыре патента PMC (1, 2, 3, 4). PMC ранее запатентовала технологию удаленной промежуточной станции передач которая используется в YouTube в их системе кэширования видео с помощью технологии конечных узлов. Субраманиан продемонстрировал патент PMC номер 8601528, в 21-ом пункте которого описывается определение отсутствия полностью сгенерированных данных телевизионного изображения, а далее следует переход к последующему описанию. Затем Субраманиан обращается к присяжным с речью о совершенно фантастической истории, согласно которой самые первые программисты, работавшие над созданием YouTube, каким-то невероятным образом не просто узнали о патенте 8601528, но и воспользовались описанной в нем технологией:

В точности следуя методам из патента номер 8601528, YouTube способен пропускать отсутствующие и недостающие кадры и переходить к последующим кадрам. Это именно то, что происходит в исходном коде приложения.

Субраманиан также заявил, что технология превью к видео, используемая в YouTube, нарушает патент PMC, связанный с презентацией мультимедиа, и что патент US 7769344, принадлежащий PMC, в точности описывает систему DRM-защиты цифрового контента, используемую Youtube.

Согласно всем четырем патентам, эти технологии были использованы в программе, созданной в 1981 году. Как же PMC удалось выиграть дело, если обычно патентное право на изобретение действительно в течение 17 или 20 лет? Ну, PMC воспользовались правом зарегистрировать подводный патент при такой системе можно подать заявление на патент в Ведомство по патентам и товарным знакам США, после чего патент не публикуется в течение очень большого срока. Таким образом, у компании есть время на реализацию своего изобретения. Срок действия патента начинает отсчитываться только после того момента, как ведомство выдаст патент на готовое изобретение.

Этот метод использования патентной системы был запрещен в 1995 году, когда Ведомство по патентам и товарным знакам США изменило систему экспирации патентов. Но начальник юридического отдела PMC Томас Скотт, который давал показание на этом судебном заседании, был одним из последних счастливчиков, сумевших воспользоваться старой системой. В июне 1995 года, за день до того как новый патентный закон вступил в силу, Скотт зарегистрировал более 300 патентов, и все они были связаны с их основным патентом 1981 года.

В 1999 году Personalized Media рассказала о своей стратегии в газете New York Times, добавив, что ее целью было заключение патентных сделок с компаниями, которые использовали технологии, описанные в патентах, принадлежащих PMC.

Харви и Скотт были первыми, кто осмелился использовать чистую продажу патентов в качестве модели ведения бизнеса. Эта модель очень хорошо окупалась. Все четыре патента, которые PMC использовали в деле против Google, как и патент на систему DRM, который они использовали против Apple, очевидно, относятся к той сотне изобретений, которые Скотт зарегистрировал в самый последний момент в 1995 году.

Компания существует для того, чтобы эксплуатировать патенты


Во время судебного заседания Google не пытались доказать, что эти патенты пустышки. Вместо этого юристы делали акцент на том, что не было факта нарушения чьих-либо прав, так как все эти старые патенты не имеют никакого отношения к Youtube.

Эти патенты относятся к устройствам, изобретенным в 1981 году они не имеют ничего общего с современными интернет-технологиями, которые мы используем в настоящее время, сообщил присяжным юрист Google Чарльз Верхоевен в своем вступительном заявлении в суде [9]. Он продолжил:

PMC компания, продающая лицензии. Она ничего не производит. Она не предоставляет никаких коммерческих услуг. Она существует для того, чтобы эксплуатировать патенты, которые мистер Харви регистрировал в течение многих лет. Кроме этого компания совершенно ничем не занимается

Практически все упомянутые изобретения (три из четырех) были созданы в 1981 году. Четвертое появилось в 1987 году. Это было за 25 лет до момента, когда Google выкупил YouTube. 25 лет. Скорость современного научно-технического прогресса настолько высока, что для всех совершенно очевиден тот факт, что разрыв в 25 лет это огромный срок, и технологии, которые использовались 25 лет назад, не имеют ничего общего с технологиями, используемыми сегодня.

Сейчас у нас есть ноутбуки. У нас есть смартфоны. У нас есть интернет. В 1981 году не было общедоступного интернета, никто его не использовал. Ни в одном из этих патентов даже не упоминается слово Интернет.

Через два дня, когда начальник юридического отдела PMC Томас Скотт давал показания в суде, Верхоевен снова во время своего заявления подчеркнул, на чем основана модель заработка компании PMC они, по сути, делала деньги из воздуха [10].

Вопрос: (Верхоевен) Был ли в истории компании PMC хотя бы один прототип, который был использован в производстве какого-либо реально существующего продукта, выпущенного самой PMC или же какой-либо другой компанией?

Ответ: (Скотт) Да, конечно.

Вопрос: Хорошо. Что это был за продукт?

Ответ: Их выпускали наши получатели лицензий.

Вопрос: И вы утверждаете, что они развили идеи вашего прототипа?

Ответ: Нет, они они разрабатывали собственные продукты и приобретали лицензии на наши изобретения, потому что пользовались этими изобретениями.

Вопрос: В разработку прототипа когда-либо инвестировал кто-либо, кроме членов PMC я имею в виду лица, не входящие в штат компании PMC?

Ответ: Не инвестировали, нет.

Вопрос: И сам прототип, а не лицензии на его использование, никогда никому не продавали, все верно?

Ответ: Нет (не продавали).

Вопрос: И прототип больше не работает, не так ли?

Ответ: Нет, он больше не работает, уже нет.



Google встречались с главами компании PMC по крайней мере дважды, в 2011 и 2015 годах, для обсуждения сделки о покупке патента. Во время первой встречи представители PMC показали пункты их патентной заявки, которые по их мнению нарушила компания Apple и сколько денег Google могли бы заработать на этом деле, выкупив патенты PMC и подав иск против Apple. Обе попытки переговоров были провальными, Google не согласились на заключение сделки о покупке патента [11].

Google вела переговоры с PMC еще в 2009, когда Джеральд Хольцман, занимавший в то время пост PMC, отправил главному юридическому директору Google Кенту Уолкеру электронное письмо с заголовком Наши новые патенты.

В 2011 году Хольцман (скончавшийся в 2018 году), вместе с патентным агентом PMC Бойдом Лемна, проводил презентацию для Google с целью убедить гиганта поисковых систем выкупить патенты PMC, чтобы подать иск в суд против Apple. Они продемонстрировали патентную заявку и (по неподтвержденным данным) оценку того, сколько Google могли бы заработать, купив патенты PMC и затем подав в суд на Apple.

Следующая встреча Google и PMC состоялась в 2015 году в Нью-Йорке. Большинство заседаний проходило в закрытом зале суда, и протоколы по ним недоступны для общего пользования. Но по результатам было ясно, что дискуссии ни к чему не привели, и все было спокойно до 2019 года, когда PMC предъявила новый иск.

В конечном итоге, является ли Apple жертвой PMC? Если смотреть на вопрос исключительно со стороны логики да, по моему мнению это именно так. С моей точки зрения, бизнес-модель компаний, торгующих патентами, просто неэтична, независимо от того, сколько денег лежит на счетах у ее жертв.

Но Apple жертва, не вызывающая большого сочувствия у окружающих. Не только потому, что это самая богатая корпорация на планете, но и потому что у Apple очень большой опыт монополистического использования интеллектуальной собственности, и в частности системы DRM, что приводило к нездоровому отсутствию конкуренции и негативным последствиям для общества. Именно поэтому блоггер Кори Доктроу находит такое крупное поражение Apple в суде любопытным и приятно-ироничным, если даже чисто теоретически предположить, что компания проиграла это дело в суде тем, кто изобрел DRM. Решение суда в пользу PMC вдохновило его написать пост о том, как Apple находит бреши в системе интеллектуальной собственности и использует их в своих интересах. Я очень рекомендую ознакомиться с этим постом. Если вы хотите больше узнать о том, как именно нарушаются права интеллектуальной собственности, работа Кори определенно стоит вашего внимания.

1. Свидетельские показания генерального директора PMC Мэри Кэтрин Метцгер от 05.11.2020. Дело 2:19-cv-00090-JRG, документ 450, страница 111.

2. Показания Метцгер, Документ 450, страница 110.

3. Свидетельские показания Бойда Лемна от 04.11.2020. Документ 444, страница 18.

4. Материалы по этим судебным разбирательствам были отредактированы еще до того, как юристы начали их изучать. Согласно протоколам дела PMC против Apple, судья Гилстрап согласился сделать слушание закрытым во время долгих судебных заседаний. Можно ознакомиться с недавним коллективным письмом, подписанным двадцатью двумя профессорами права, которые являются специалистами в области интеллектуальной собственности. Письмо называется Требование о прояснении ситуации в Уэйко, в нем рассматривается вопрос о другом крупном деле о патентах.

5. Существуют исключения и особые случаи, но обычно через 3 месяца судебные протоколы становятся доступны по цене 10 центов за страницу. По истечении данного срока также упрощается бесплатное распространение и передача документов, как непосредственной передачей между физическими лицами, так и через специальные программы, такие как RECAP.

6. В суде Google не предоставили свидетельств, подтверждающих недействительность показаний PMC, поэтому присяжные выносили решение, не ставя под вопрос законность патентов PMC.

7. Вступительное заявление Субраманиана, 02.11.2020, Документ 438, страницы 38-54.

8. Свидетельские показания Томаса Скотта от 02.11.2020. Документ 438, страница 137.

9. Вступительное заявление Верхоевена, 02.11.2020, Документ 438, страницы 54-74.

10. Свидетельские показания Томаса Скотта от 02.11.2020, Документ 438, страница 136.

11. У компании Google была отдельная линия защиты о том, что она получила лицензию, когда заключила патентную сделку с компанией Rovi и выкупила её патент на продукт Interactive Program Guides. По данным Google, у компании Rovi были исключительные права на использование некоторых патентов PMC, включая 4 патента, упомянутых Rovi в этом деле. Так как присяжные вынесли решение о том, что Google не нарушала патентные права PMC, эта линия защиты не была задействована в суде.
Подробнее..

Перевод Три письма об увольнении почему люди уходят с любимой работы

21.05.2021 16:09:34 | Автор: admin


В юности я думал, что для того, чтобы быть счастливым на работе, достаточно трех вещей: интересных задач, достойной зарплаты и свободы творчества.

Но все оказалось куда сложнее. Что только не может отравить даже любимую работу: стыд за политику компании, токсичное начальство, перегорание. Коллеги, которые пытаются мешать секс с работой, переработки по ночам и выходным, игры престолов среди руководства все это может стать причиной увольнения. Иногда ты просто понимаешь, что ты не на своем месте.

Я перевел три самых известных прощальных письма с Хакерньюс о расставании с любимой работой из-за совершенно несправедливых превратностей судьбы. Надеюсь, вам понравится это пятничное, немного печальное чтиво о встрече с реальностью на рынке труда в IT.

Я смогла бросить работу в Google и вы сможете бросить свою


Клэр Шапиро



У вас, наверное, очень большие яйца, мисс! Незнакомец в самолёте

Проработав в Google 7 лет, я покинула Кремниевую долину, чтобы переехать в Бельгию и присоединиться к Совету по инновациям (Board of Innovation). Вопрос номер один, который мне задавали (и до сих пор задают) семья, друзья, незнакомцы и коллеги с обеих сторон: Почему?

Я всегда считала себя своего рода дегустатором, экспериментатором. Я пробую всё и вся. У меня также по-прежнему есть потребность в постоянном обучении. И, знаете, это очень опасное комбо. На вечеринках я не только всегда пробовала все закуски, но и задавала людям МНОГО вопросов. К девяти годам я хорошо усвоила значение слова любознательный, потому что я наблюдала за реакцией окружающих, задавая им вопрос за вопросом вопрос за вопросом. Когда я стала старше, приобрела больше социальных навыков (уф!), но не потеряла стремления понимать окружающий мир. Особенно, когда дело касалось людей, а также причин и мотивации их действий. Я даже выбрала университет с максимально возможным количеством предметов, и брала уроки по всему от группового принятия решений, социального влияния и убеждения до антропологии еды и кулинарии. Поэтому естественно, что после ВУЗа я попала в Google и проработала там в течение последних 7 лет. За время работы в Google я перепробовала множество разных ролей и проектов словом, продолжала экспериментировать.

В Google я работала в кросс-функциональных командах, связанных с эксплуатацией, разработкой, управлением ИТ-продуктами и взаимодействием с пользователями. Кроме того, я разбиралась в юридических вопросах, в вопросах развития бизнеса, маркетинге и многом другом. Я также работала с командами от Дублина до Японии, изучая особенности делового общения с представителями разных культур. Мне посчастливилось побывать в среде, которая способствовала такого рода экспериментам. В какой-то момент они привели меня к тому, что я начала тратить 20% своего времени на работу Спринт-мастером Дизайн-спринтов и руководителем Академии Design Sprint в Google. Когда я ушла, я действительно почувствовала, что максимально использовала накопленный опыт. Я изучила компанию со всех сторон, работая с как можно большим количеством людей, прокладывая свой собственный путь (в какой-то момент я даже сама придумала для себя роль, из которой выросла распределённая команда).


Флэшбэк из прошлого. Работа в Google далеко позади (справа от меня моя лучшая подруга и огромный Андроид). Любопытный факт: у меня такие же штаны, как у массовки сериала Стажёры (The Internship).

Я могла бы постоянно экспериментировать и пробовать что-то новое, работая с удивительными, творческими, блестящими людьми в компании, которую я уважаю и которой восхищаюсь. Итак, если у меня была эта прекрасная возможность работать с таким количеством людей, которых я любила, почему тогда я решила уйти? И почему именно сейчас?

Для людей, покидающих Google, есть только три достойных причины для увольнения:

  1. Вы основываете собственную компанию.
  2. Вы полностью выгорели и хотите перезагрузиться и / или путешествовать по миру.
  3. Вы хотите знать больше, поэтому опять идёте в ВУЗ или бизнес-школу.

Практически невозможно вырваться из золотой клетки и перейти из Google в другую компанию напрямую. Потому что Google всегда выигрывает благодаря лучшим условиям, большим премиям и зарплате. Но через 7 лет я поняла, что мне нужно переосмыслить свои критерии.

Я знаю, мне нужно измениться, но я не знаю, кем я хочу стать все, чей возраст приближается к 30-ти

Я задалась вопросом что делает работу подходящей именно для меня?. И я начала понимать, что работа это не компания. Я любила Google, но меня мучила мысль, что эта работа мне не подходит. Меня это сильно расстраивало. В Google я пыталась найти свой дом, но на самом деле его там не существовало. Мне было трудно найти хотя бы пример для подражания и использовать готовые решения, потому что не было никого с похожим профилем или интересами. Я смотрела на людей, занимающих ту же должность, и думала: Я очень уважаю вас, но я не хочу быть вами. Когда просыпалась утром, я не вскакивала с кровати, чтобы быстрее бежать на работу. И конечно, я не тратила свободное время на чтение книг и статей об управлении разработкой ПО. И хотя я любила заниматься дизайн-спринтами, инновационной стратегией и фасилитацией в свои 20% рабочего времени, у меня не было возможности сделать это своей основной деятельностью. Поэтому я безуспешно пыталась загнать себя в рамки: продакт-менеджер, который ТАКЖЕ запускает дизайн-спринты как по мне, странное сочетание.


Мой кризис идентичности: на одной стороне визитки 'UX Program Manager', на другой 'Design Sprint Master'.

Кроме того, я всё больше и больше чувствовала, что живу в большом технологическом плену. Я где-то слышала, что 5 человек, которые находятся ближе всего, формируют вас самих, но как насчёт 500 человек, которые меня окружали? Мне всё сильнее казалось, что люди, мимо которых я проходила каждый день, выглядели и звучали все более и более однообразно.

Я мечтала посещать новые места и видеть новые лица вокруг себя. Преимущества и новизна работы в Google приелись, и я поняла, что нахожусь в том же положении, что и большинство других людей от 20 до 30 лет: вообще не знаю, что делать дальше. Я хотела найти подходящую компанию и работу, но совершенно не понимала, как это сделать.

Если бы я только знала, что мне делать со своей жизнью... те же, и всё о том же

Я начала с того, что умела лучше всего: с вопросов. Я расспросила людей МНОГО людей на разных должностях, в разных отраслях, с разным отношением к работе и своему месту в жизни. Я общалась с людьми из сферы технологий и за её пределами, нынешними и бывшими консультантами, генеральными директорами и основателями. Я также общалась с бывшими выпускниками программ MBA и людьми, бросившими MBA. Я разговаривала с людьми, которые люто ненавидели свою работу, и с теми, кто чувствовал, что нашёл свое призвание в жизни. Я разговаривала с фрилансерами, модельерами и художниками. Я не только спрашивала об их опыте, но и просила дать совет на основе того, что они знали обо мне. Я не зря использовала такое коллективное наставничество (которое, честно говоря, оказалось клубом глубокого сочувствия). Это помогло мне сформировать реалистичную картину того, как моя жизнь могла бы выглядеть, развиваясь по различным альтернативным сценариям.

Я решила, что бизнес-школа, фриланс, собственная компания это не мой путь (об этом можно написать отдельную статью). Я много думала о том, как я проводила своё время. Что из всего, что я делала, хорошо заряжало меня энергией? На протяжении последних лет работы в Google я пробовала много вещей, казалось бы, не связанных между собой просто потому, что они были мне интересны. Одна возможность приводила к другой: я успела побыть свахой (?), позаниматься театром импровизации, поработать с парой стартапов в сфере знакомств и даже в студии йоги. Я просто пыталась прочувствовать, каково это, когда ты ненадолго вырываешься из плена Google. Таким образом в какой-то момент я согласилась посвятить часть своего времени запуску дизайнерских спринтов и не пожалела об этом.

Со временем эти маленькие эксперименты привели к появлению новых возможностей и новому обучению. Друзья начали обращаться ко мне за помощью в проведении семинаров по стратегии развития и видению продуктов. Оглядываясь назад, я понимаю, что мои эксперименты, подработки и проекты из программы 20% говорили что-то обо мне и моих потребностях в новой работе. В то время я не осознавала, что именно они говорили, но всё это впоследствии помогло мне попасть в Совет по инновациям. Оказывается, за пределами Google, были вакансии, о существовании которых я даже не подозревала. Они идеально подходили для меня и моих навыков я просто не видела их раньше, потому что смотрела на вещи только в контексте Google. Я действительно очень счастлива, что всё-таки решила не тратить кучу денег на бизнес-школу. Итак, у меня всегда были ответы, но я их не замечала. Оказалось, что во мне живёт универсальный специалист по решению проблем, в сочетании с любовью к работе с людьми и дизайнерским спринтам. Так я и решила, что просто создана для работы консультантом по инновациям должности, о существовании которой я даже не подозревала. И я была не одна такая.

Статья Джули Почему я знала, что подхожу для работы, которой ещё не было (и как я её получила) как-то попала в мою ленту, и я поняла, что это максимально про меня. Я прочитала её, поделилась в соцсетях, а потом пригласила Джули на виртуальный чай. Мы сразу поняли, что команда BOI идеально мне подходит (несмотря на то, что находилась она на другом конце света): у них всегда была разнообразная работа, которая охватывала весь земной шар и имела огромное влияние на мир.

Цели были амбициозными (миссия BOI вдохновить 100 миллионов человек). Команда пока не большая, поэтому важен вклад каждого сотрудника. И в довершение всего, у них невероятная корпоративная культура: каждый человек, которого я встречала, был невероятно умным, харизматичным, скромным, искренним, осознанным и обладал прекрасным чувством юмора. Все эти качества я вряд ли могла бы найти в другой компании. Когда мы с Джули встретились, команда занималась пивной йогой на заднем плане и бегала с нерфами (правда, это была пятница). Вдобавок ко всему, они обладали междисциплинарной экспертизой, с ними было интересно поговорить. Они действительно знали своё дело. Это были люди, с которыми я могла и хотела работать каждый день (при этом весело проводя время). Я поняла, что уже много лет не чувствовала такого воодушевления и мотивации.


Они позвонили мне посреди бельгийской зимы, чтобы пожелать счастливого Рождества. Это было ещё за 4 месяца до того, как я присоединилась к команде.

Если бы ты могла вписаться в это бесплатно, всего на год, просто ради опыта Ты бы сделала это? мой друг Макс.

После ответа на вопрос Почему? я обычно слышу что-то вроде: Но как ты это сделала? Даже если мне нравилась работа и компания, как я осмелилась совершить такой скачок? Я никогда не работала в других отраслях, никогда не работала в маленькой компании и никогда ранее не бывала в Бельгии.

Кроме того, я потеряла 50% своей очень, очень удобной и щедрой зарплаты, которую получала в Google. Это был большой личный и финансовый риск. Стоит признать, что всё произошло не в одночасье. Я пыталась снизить и спрогнозировать потенциальные риски в течение примерно шести месяцев, когда задавала много вопросов, прогоняла в голове гипотетические сценарии и снова разговаривала с максимально возможным количеством людей. Мой лучший друг Макс сформулировал всё очень просто: Если бы ты могла вписаться в это бесплатно, всего на год, просто ради опыта ты бы сделала это? Ответ был очевиден: абсолютно, 100%, да!

И я была не первым человеком, который сделал что-то подобное. Я вспоминала, что мне говорили бывшие сотрудники Google. В 2013 году мой знакомый (и бывший сотрудник Google), прежде чем покинуть Google, заявил, что мы слишком молоды, чтобы чувствовать себя так комфортно. Год спустя моя подруга (ещё один бывший сотрудник Google) сказала мне, что однажды я проснусь и мне больше не нужно будет работать в Google. Она была права. А когда Трампа избрали в президенты, я окончательно поняла, что в этом мире нет ничего предсказуемого или стабильного. Золотая клетка оказалась всего лишь ментальным барьером, за который я держалась. Но потом на удивление легко смогла преодолеть его.

Честно говоря, когда я подписала контракт с BOI, я всё ещё чувствовала себя не совсем комфортно, особенно в финансовом вопросе. Но это было нормально: небольшой дискомфорт был лучшим признаком того, что я что-то делаю правильно. И вы можете не сомневаться, я провела много исследований и задала достаточно вопросов, чтобы убедиться: я знаю, во что ввязываюсь. И до сих пор у меня практически не было неприятных сюрпризов. Я очень довольна результатом, своей работой и компанией. На сегодняшний день я проработала в Совете по инновациям 3 месяца, выступила с лекциями на двух конференциях и побывала в 5 странах. Это безумие движется быстрее, чем всё, что я когда-либо делала, но это заставляет меня вырабатывать новый подход к работе и знакомиться с самыми разными отраслями и культурами. Я только что завершила свой первый большой проект в качестве руководителя, и это принесло такое удовлетворение, которого я никогда не испытывала в Google ни в одном из моих прошлых проектов.


Читаю лекцию по Дизайн-спринтам на Growth Conference, Июнь 2018

Ну хорошо, а что теперь? опять я.

Google был и всегда будет частью моей жизни, частью процесса моего становления, и, честно говоря, я считаю его своей (бесплатной!) альтернативой MBA. На самом деле, я всё ещё ловлю себя на том, что использую мы вместо они в рассказах о своём пребывании там. И действительно, большая часть времени, проведённого там, была прекрасной. Я ушла не столько из-за фрустрации или скуки, сколько из-за невозможности развиваться дальше. И даже несмотря на это, я не сидела на месте: работая в Google, я инвестировала в себя и пробовала всё, что меня интересовало. И в конце концов это привело к работе моей мечты. Я предпочла творческий беспорядок комфорту. Теперь я решила инвестировать в себя по полной и оставить одну замечательную компанию и команду в пользу другой замечательной компании и команды.

Итак, вот какое напутствие я могу дать вам:

Вы чувствуете себя комфортно на работе? Вы чувствуете, что идёте на компромисс, делая что-то, что вам не подходит? Вы чувствуете себя застрявшим на одном месте, желая выйти за рамки своей отрасли, страны или должности? Вы знаете, что должны измениться, но не знаете, в каком направлении и как? И если вы знаете, может быть, вы не чувствуете себя достаточно смелым, чтобы сделать это?

Я предлагаю сначала провести инвентаризацию того, что для вас наиболее важно, особенно в том, что касается будущего, которое вы себе представляете. Затем спросите себя, что вас вдохновляет. Даже если ваш ответ вызовет у вас скепсис или страх неизвестности скажите ДА любой возможности в этой сфере. И последнее, но не менее важное: разговаривайте с людьми, задавайте вопросы разным группам людей, чтобы получить ценные советы и посмотреть, насколько они подходят именно вам. Краудсорсинговое наставничество оказалось лучшим способом найти то, что я искала, а также лучшим способом проверить, что это оно самое.




Прощай, Amazon


Тим Брэй, бывший вице-президент Amazon

1 мая был моим последним рабочим днём в качестве вице-президента и одного из ведущих инженеров в Amazon Web Services. Я ушёл после пяти лет и пяти месяцев плодотворного труда и весёлого времяпрепровождения.

С учётом высоких зарплат в сфере не менее высоких технологий и моей доли в бизнесе компании, это, вероятно, будет стоить мне более миллиона долларов (до вычета налогов). Я уже молчу про то, что оставил лучшую в мире работу и лучших в мире коллег (из моей команды). Так что я достаточно сильно расстроен.

Всё началось, когда Amazon начала увольнять честных людей, которые не побоялись публично заявить о плохих условиях работы складских сотрудников. К тому же, масла в огонь подлила пандемия COVID-19.

Что произошло


В прошлом году сотрудники технических подразделений компании объединились в общественную организацию Amazon Employees for Climate Justice (AECJ). Именно тогда они впервые обратились к миру с открытым письмом, в котором поддержали резолюцию акционеров. Они призвали Amazon действовать решительно, чтобы остановить неблагоприятные климатические изменения, связанные с загрязнением окружающей среды. Я был одним из 8702 человек, подписавших его.

Хотя резолюция набрала много голосов, её отклонили. Четыре месяца спустя 3000 работников Amazon со всего мира заявили о намерении присоединиться к забастовке Global Climate Strike. За день до забастовки Amazon объявила о разработке масштабной программы по решению проблем с климатом. Но награда так и не нашла своих героев-активистов. И даже наоборот: они оказались под угрозой увольнения.

Через некоторое время началась пандемия COVID-19. На складах Amazon начались беспорядки. Встревоженные рабочие были не информированы, не защищены и напуганы. Официальные заявления утверждали, что были приняты все возможные меры предосторожности. Но затем был уволен Крис Смолс один из сотрудников, который якобы устроил забастовку на одном из складов. Однако, по его словам, он умолял руководство соблюдать хотя бы минимальные рекомендации по безопасности: дезинфицировать склады и отправлять на больничный сотрудников с подозрением на COVID.

Работники склада обратились в AECJ за поддержкой. Они распространили соответствующую петицию внутри страны и на четверг, 16 апреля, назначили видеоконференцию, с участием складских рабочих со всего мира и приглашённой активисткой Наоми Кляйн, а также других заинтересованных лиц. Объявление, попавшее в том числе и во внутренние списки рассылок в пятницу 10 апреля, по всей видимости, стало последней каплей. Эмили Каннингем и Марен Коста, два сильных активиста AECJ, были уволены в тот же день под формальным предлогом. Любому разумному человеку было ясно: их наказали за то, что они хотели вынести сор из избы.

Представители менеджмента Amazon могли попытаться запретить обсуждать компанию без своего присутствия или потребовать беседы без посторонних, или придумать что-то ещё. Времени было предостаточно. Вместо этого они просто уволили активистов.

Моё терпение лопнуло


Узнав о случившемся я сильно возмутился. Вице-президенты не должны публично выступать с критикой своей компании, поэтому я действовал через служебные каналы и строго по правилам. Я не вправе раскрывать дискуссии, которые у меня состоялись внутри компании. Но в этом письме я привёл многие аргументы, которые тогда высказывал. Думаю, меня услышали те, кто должен был услышать.

После этого, оставаясь вице-президентом Amazon, я был бы должен публично одобрять действия, которые я презирал. Я подал в отставку.

Жертвами такого чайка-менеджмента стали не абстрактные сущности, или мёртвые души, а реальные люди: Кортни Боуден, Джеральд Брайсон, Марен Коста, Эмили Каннингем, Башир Мохаммед и Крис Смоллс.

И ещё: тот факт, что у них не белая кожа, и/или не мужской пол это ведь просто совпадение, правда?

Башир Мохамед, например, считает, что его уволили, чтобы запугать других. Вы не согласны?

Продолжение истории со складами


Рабочие на складах действительно постоянно подвергаются опасности. Но не думаю, что СМИ смогут правильно рассказать про их проблемы. Лучше услышать всё из первых уст. Я зашёл в видеоконференцию, из-за которой Марен и Эмили уволили, и прослушал всю беседу. Ещё несколько историй вы можете послушать здесь, если хотите. Видео длится девять часов, но есть оглавление, вы можете решить, послушать ли людей из Польши, Германии, Франции или других стран США.

В дискуссию включились не только складские работники, но и даже генеральные прокуроры (из 14 штатов). И, стоит отметить, что Amazon дважды проиграл дело во французских судах.

С другой стороны, представители Amazon уверяли, что компания уделяет первоочередное внимание и прилагает огромные усилия для обеспечения безопасности складов. Я действительно верю в это: от людей, которым я доверяю, слышал об интенсивной работе и огромных инвестициях. Если это правда, тем лучше для них. Ну не может же такой гигант, как Amazon, так быстро переобуваться на ходу?

И, в конце концов, главная проблема не в специфике мер защиты от Covid-19. Дело в том, что Amazon рассматривает людей на складах как взаимозаменяемые единицы, способные собрать и упаковать товар. Но так смотрит на мир не только Amazon так устроен капитализм 21 века.

Менеджеры Amazon знают своё дело и не раз демонстрировали завидное мастерство в обнаружении возможностей и создании повторяемых процессов для их использования. Но они не смотрят не человеческие жертвы, они смотрят в сторону неуклонного роста и накопления богатства и власти. Если нам не нравятся определённые вещи, которые делает Amazon, нужно установить юридические ограничения, чтобы остановить это. И нет необходимости изобретать что-то новое: нужно обеспечить чёткую работу антимонопольного законодательства в связке с законодательством о заработной плате и расширении прав и возможностей наёмных сотрудников.

Не говорите, что это невозможно. Пример Франции говорит об обратном.

AWS vs Склад


Amazon Web Services (облачное подразделение компании), где я работал, это совсем другой мир. Там руководство гуманно обращается со своими работниками, стремится обеспечить им баланс между работой и личной жизнью, обеспечить интересные и разнообразные задачи (правда, в большинстве случаев терпит неудачу, как и все остальные). Я искренне восхищаюсь его руководством.

Средняя зарплата в этом подразделении очень высока, и любой ИТ-специалист оттуда может перейти через дорогу и найти другую работу с такой же или более высокой зарплатой.

Ценность складских рабочих падает, они становятся менее востребованы из-за массовой безработицы и более зависимы из-за привязки медицинского страхования (в США) к работе. Так что с ними могут обращаться как с дерьмом. Первым шагом на пути к решению этой проблемы должно стать создание профсоюзов.

Увольнение всех этих людей является не только побочным макроэкономическим эффектом и сопутствующим процессом жизнедеятельности свободных рынков. Это ещё и следствие токсичности, пронизывающей корпоративную культуру. Я не хочу ни распространять, ни пить этот яд. И это безусловно расстраивает меня.

Куда теперь?


Честно говоря, не знаю, куда теперь. У меня не было времени подумать об этом. Я всё ещё опечален, но уже дышу свободнее.




Очень, очень странный год в Uber


Сьюзан Фаулер

Как многие из вас знают, я покинула Uber в декабре и присоединилась к Stripe в январе. За последние пару месяцев я получила много вопросов о том, почему ушла и как мне работалось в Uber. Это странная, увлекательная и немного пугающая история, которую стоит рассказать, пока она ещё свежа в моей памяти, так что поехали.

Я устроилась в Uber на позицию инженера по эксплуатационной надёжности сайта (SRE) ещё в ноябре 2015 года, и это было прекрасное время. Они всё ещё пытались вытащить микросервисы из своего монолитного API, и это было настолько хаотично, что победить этот хаос могла только мощная армия SRE. Когда я пришла, команды ещё формировались, и мне дали редкую возможность выбрать, над чем и в какой команде я хочу работать. После первых двух недель изучения я решила присоединиться к команде, которая работала как раз по моему профилю. Скажете, мне повезло? И да, и нет.

В первый официальный день работы в команде мой новый менеджер отправил мне серию странных сообщений. По его словам, у него были открытые отношения с девушкой, которой всегда легко удавалось найти новых партнеров. Он же делал это с большим трудом. Ему не нужны были неприятности на работе, но всё равно он рисковал и искал женщин, с которыми можно было бы заняться сексом, среди своих коллег. Мне было ясно, что это харассмент: он всё-таки мой руководитель. Это было настолько странно и неприятно, что я немедленно сделала скриншоты этих сообщений и передала HR-специалисту.

В то время Uber была довольно крупной компанией, и, как я рассчитывала, она должна была использовать стандартные меры в подобных ситуациях. Я ожидала, что достаточно было доложить в отдел кадров, и вопрос решён. К сожалению, всё обернулось совсем иначе. Когда я сообщила о ситуации, HR и руководство более высокого уровня сказали мне, что тоже считают такое поведение сексуальным домогательством, но Но, по их словам, это была первая и досадная ошибка этого человека, и он не заслуживает ничего, кроме предупреждения и выговора. К тому же, он был на хорошем счету (то есть непосредственное начальство высоко оценивало эффективность его работы), поэтому тем более не стоило портить ему карьеру.

Затем мне сказали, что я могу сделать выбор: либо найти другую команду, и тогда мне больше не придётся взаимодействовать с этим человеком, либо остаться в команде, понимая, что он, скорее всего, поставил бы мне плохую оценку на аттестации. Я хотела остаться в команде, потому что у меня была хорошая экспертиза в том проекте, который команда пыталась завершить (действительно, это было в интересах компании), но они повторяли мне одно и то же снова и снова. А один HR прямо сказал мне, что это не будет выглядеть как месть, если я на одной из аттестаций вдруг получу плохую оценку, потому что мне давали выбор. Я пыталась эскалировать проблему, но так ничего не добилась ни с отделом HR, ни с моим собственным руководством (которые продолжали настаивать на том, что они жёстко отругали его и не хотели разрушать его карьеру из-за единственного проступка).

Так я покинула эту команду и взяла несколько недель, чтобы разузнать о других командах. В итоге я присоединилась к совершенно новой команде SRE, которая дала мне большую автономию. Так я начала получать удовольствие от работы, занимаясь интересными задачами. Фактически, работа, которую я делала в этой команде, превратилась в production readiness review (обзор готовности продакшна), о котором я написала в моём бестселлере Production-Ready Microservices.

В течение следующих нескольких месяцев работы в компании я общалась с большим количеством женщин-инженеров. Когда я слышала их истории, то очень удивлялась, узнав, что многие из них похожи на мою. Некоторые женщины даже сообщали в HR-отдел о том же самом менеджере, о котором сообщала я. И это было задолго до того, как я устроилась в компанию. Стало очевидно, что и HR, и менеджеры лгали о том, что это его единственный проступок. Он был не первый и уж точно не последний. Через несколько месяцев одна женщина снова заявила о его домогательствах, но и ей тоже сказали, что это впервые. Ситуация была обострена настолько, насколько это было возможно, но по-прежнему ничего не было сделано.

Я и несколько женщин, которые сообщали о харассменте в прошлом, решили назначить встречи с HR тет-а-тет и настоять на том, чтобы что-то было сделано. На моей встрече HR уверял, что о нём никогда раньше не сообщали, что он позволил себе вольности только в общении со мной. И, мол, ни одна из других женщин, с которыми они общались, не говорила про этого менеджера ничего плохого. Это была такая наглая ложь, что я просто опешила. И никто из нас ничего не мог поделать с этим. В конце концов этот менеджер покинул компанию. Я не знаю, что же он такого сделал, чтобы его всё-таки уволили.

А между тем, в рядах высшего менеджмента, отвечающего за проектирование инфраструктуры, бушевала настоящая игра престолов. Каждый менеджер боролся со своими коллегами и ещё пытался подорвать влияние своего непосредственного руководителя, чтобы занять его место. Эти менеджеры не предпринимали никаких попыток скрыть то, что они делают: они хвастались этим на собраниях, рассказывали об этом своим подчинённым и так далее. Я помню множество встреч с моим личным руководителем, где он хвастался, что снискал расположение своего начальника, и получит его место в течение квартала или двух. Я также помню очень неприятную беседу, на которой один из директоров хвастался нашей команде, что он скрыл важную для бизнеса информацию от одного из руководителей, чтобы выслужиться перед другим (и, как он сказал нам, улыбаясь, это сработало!).

Такие игры имели серьёзные последствия: от проектов отказывались налево и направо, OKR (цели и ключевые результаты) менялись несколько раз в квартал, никто не знал, какими будут наши приоритеты завтра. Всё это негативно сказывалось на результатах работы. Мы все жили в страхе, что наши команды будут распущены, что произойдет ещё одна реорганизация, и нам придётся начинать ещё один новый проект с неадекватным дедлайном. Это был полный и беспощадный хаос.

Во время всего этого мне посчастливилось поработать с одними из самых замечательных инженеров в Бэй-Эриа. Мы не отвлекались на распри и делали хорошую (иногда отличную) работу, несмотря на весь этот хаос. Нам нравилась наша работа, нам нравились задачи, мы любили заставлять эту безумную машину Uber работать. Вместе мы находили способы переживать реорганизацию и изменения OKR, закрытые проекты и невыполнимые сроки. Мы поддерживали друг друга, поддерживали работу гигантской экосистемы Uber и говорили себе, что со временем она станет лучше.

Дела не улучшались, и инженеры начали переходить в менее хаотичные компании. Когда я закончила очередной проект и в очередной раз увидела, что ничего не менялось, я тоже задумалась об уходе. Я соответствовала всем требованиям: проект был завершён, у меня были менеджеры, которые хотели, чтобы я была в их командах, и у меня были отличные результаты, поэтому я не видела, что могло бы пойти не так. Но меня не отпустили.

По словам моего менеджера, его руководителя и директора подразделения, мой переход блокировался, потому что у меня были недокументированные проблемы с эффективностью работы. На самом деле я знала, что у меня отличные результаты, и что никогда не было жалоб на мою работу. Я выполняла все OKR, ни разу не срывала дедлайны даже в безумном организационном хаосе, многие менеджеры звали меня в свои команды. Я спросила, в чём именно заключается моя проблема с эффективностью работы, но мне не ответили. Сначала они сказали, что с моими OKR что-то не так, но я ответила, что это они дали мне такие OKR, и, если хотят видеть другую работу от меня, то пусть дадут другие задачи и нормативы. Потом они отступили и перестали говорить, что это проблема. Я продолжала настаивать, пока, наконец, мне не сказали, что проблемы с производительностью не всегда связаны с работой, но иногда могут быть связаны с вещами, не имеющими отношения к работе или вашей личной жизни. Я не могла этого понять, поэтому сдалась и решила остаться, получив новый проект.

После завершения проекта я вновь получила отличную оценку эффективности моей работы без единого замечания. Я снова попыталась перейти в другую компанию. Но мне сообщили, что оценка моих результатов работы была изменена после официальной публикации, и поэтому я опять не могу уйти с хорошей характеристикой. Когда я спросила руководителей, о причинах изменений (и почему они не сообщили мне об этом?), они ответили, что у меня нет никаких признаков карьерного роста. Но на тот момент я издавала свою книгу с О'Рейли, выступала на крупных технических конференциях и делала всё, что нужно делать для карьерного роста. Но они сказали, что это не имеет значения, так как нужно было проявить себя как инженер. В итоге я опять осталась.

Я попросила их откатить изменения моей оценки. Мой менеджер сказал, что изменения не будут иметь реальных последствий, так что мне не стоило об этом беспокоиться. Но в тот день я пошла домой и заплакала, потому что (даже если не считать последствий для моей зарплаты и бонусов), это имело реальные последствия серьёзные последствия, о которых моё руководство хорошо знало. Ранее я была зачислена в программу для выпускников, которую запустила Кафедра компьютерных наук в Стэнфордском университете. Моё обучение спонсировала компания Uber, а она спонсировала только сотрудников с высокими показателями. Мои прежние показатели позволяли участвовать в программе, но последняя оценка всё перечеркнула.

Уже потом я узнала, что благодаря моему присутствию в команде, мой менеджер мог похвастаться, что, несмотря на массовой уход женщин-инженеров из компании, в его команде они остаются.

Когда я устроилась в Uber, среди общего количества сотрудников более 25% составляли женщины. К тому времени, когда я начала попытки перейти в другую компанию, их количество упало ниже 6%. Было две основные причины: хаос и сексизм. Когда я спросила директора нашего подразделения о том, почему уходят женщины, он ответил, что им нужно переходить на более высокие позиции, которых нет в компании.

Маразм крепчал. Каждый раз, когда происходило что-то нелепое, каждый раз, когда отправлялось сексистское электронное письмо, я отправляла короткий отчёт в отдел HR, просто чтобы вести учёт. Уровень бреда совсем зашкалил в истории с кожаными куртками, которые должны были заказать для всех SRE. Дело было так: ранее организация обещала всем кожаные куртки. Мы нашли свои размеры и сделали предзаказы. Однажды все женщины (я полагаю, что нас тогда оставалось шесть в подразделении SRE) получили электронные письма примерно следующего содержания: женщинам в итоге не купят кожаные куртки, потому что в подразделении недостаточно женщин, чтобы оформить оптовую закупку и получить скидку.

Неужели Uber SRE не смог найти в своём бюджете место для покупки кожаных курток для шестерых женщин, и при этом смог позволить себе купить их 120+ мужчинам? Директор подразделения ответил, что если мы, женщины, действительно хотим равенства, то должны понимать: было бы несправедливо покупать женщинам кожаные куртки, которые стоят немного дороже, чем мужские куртки. Поэтому, если мы хотим получить кожаные куртки, то мы, женщины, должны сами найти куртки по оптовой цене.

Я отправила эту бредовую переписку в отдел HR, и вскоре после этого они попросили меня встретиться. Не знаю, чего я ожидала после всех моих предыдущих встреч с ними, но эта была ещё более нелепой, чем я могла себе представить. HR начала встречу с того, что спросил меня, заметила ли я, что я последняя буква в алфавите, что я требую к себе слишком большого внимания. Никогда не думала, что к такому можно придраться. Я ответила, что всё, что передавала в отчётах, сопровождалось скриншотами. Из них видно, что я явно не была инициатором большинства конфликтов. Она возразила, сказав, что в отдел HR не поступало никаких записей об этих инцидентах. Я настаивала на том, что сообщала об этом и у меня были сохранены сообщения из электронной почты и чата.

После этого HR-у стало понятно: лгать дальше бесполезно. Тогда она спросила меня, дружат ли женщины-инженеры в Uber и много ли разговаривают. Затем спросила, как часто мы общаемся, о чём говорим, какие адреса электронной почты мы используем для общения, какие чаты посещаем и так далее. Я отказалась отвечать.

Когда я упомянула про то, как мало женщин в SRE, HR-специалист зачем-то начала рассказывать, что иногда определённые люди определённого пола и этнического происхождения лучше подходят для одних профессий, чем для других. Мол, поэтому меня не должен удивлять гендерный дисбаланс в отделе. Наша встреча закончилась тем, что она отругала меня за фиксацию переписки по электронной почте. Потому что отправлять собранную таким способом информацию в отдел HR непрофессионально.

Менее чем через неделю после этой идиотской встречи мой менеджер назначил со мной встречу тет-а-тет и предупредил, что у нас будет сложный разговор. Он рассказал мне, что моё положение в компании стало шатким из-за моих отчётов в HR-отдел. И добавил, что в Калифорнии много рабочих мест и я всегда смогу найти другую работу, если отправлю такие отчёты снова. Я ответила ему, что увольнять за такое незаконно. Он возразил, что имеет большой опыт и знает, что законно, а что нет.

Я сразу же сообщила о его угрозе встречи и HR-у, и самому CTO: они оба признали, что это незаконно, но никто из них ничего не сделал (намного позже мне сказали, что они ничего не сделали, потому что менеджер, который мне угрожал, был на хорошем счету).

Менее чем через неделю у меня на руках был оффер из другой компании.

В свой последний день в Uber я подсчитала процент женщин, которые всё ещё работали там. Из более чем 150 инженеров в командах SRE женщины составляли только 3%.

Оглядываясь назад на то время, которое я провела в Uber, меня переполняет благодарность за то, что была возможность поработать лучшими инженерами. Я горжусь проделанной работой, я горжусь тем влиянием, которое смогла оказать на всю компанию. И я горжусь тем, что работа, которую я проделала и о которой написала книгу, была по достоинству оценена другими технологическими компаниями во всём мире.

И когда я думаю обо всех странных ситуациях, в которые попадала, работая в Uber, мне иногда становится очень грустно. А вообще, я не могу не смеяться над тем, насколько нелепо это было. Такой странный опыт. Такой странный год.




Я уверен, что у Хабра есть масса историй про увольнение. Во время некоторых, которые мне рассказывают друзья, я даже не знаю смеяться или плакать.

Расскажите свои с комментариях?



VPS серверы от Маклауд быстрые и безопасные.

Зарегистрируйтесь по ссылке выше или кликнув на баннер и получите 10% скидку на первый месяц аренды сервера любой конфигурации!

Подробнее..

Антимонопольное регулирование цифровых платформ в России. Почему ФАС возбудила дело против Google?

20.04.2021 00:18:08 | Автор: admin

Привет, Хабр!

Я 8 лет занимаюсь проектами в антимонопольной сфере одном из самых интересных направлений юриспруденции. Сейчас руковожу командой в юридической фирме ART DE LEX, которая специализируется на цифровых рынках. Мы ведем работу по возбужденному сегодня Федеральной антимонопольной службой делу против Google.

В этой статье я рассмотрю отдельные аспекты антимонопольного регулирования в отношении цифровых платформ, приведу примеры антимонопольного анализа и базовые рекомендации для пользователей и платформ.

В последнее время заметно беспрецедентное внимание государства к сфере IT и в первую очередь к деятельности техногигантов Apple, Alphabet, Amazon, и Facebook. Важное значение здесь имеет активность Минюста США и Федеральной торговой комиссии, известных ранее своим мягким отношением к этим компаниям и делавших ставку на возможность саморегуляции отрасли. Например, основания для подачи иска против Google из-за действий по монополизации рынка мобильного поиска были у ФТС еще восемь лет назад, но экономисты регулятора не усмотрели тогда существенных рисков.

Теперь ситуация изменилась в конце прошлого года Минюст США подал иск против Google, ФТС против Facebook, а Конгресс США и вовсе рассматривает возможность принудительного разделения компаний. Такая активность на родине техногигантов (с учетом высокого уровня протекционизма) стала еще одним сигналом другим странам к работе в данном направлении. Тем более, что есть уже примеры довольно агрессивного поведения со стороны отдельных компаний. Так, в Австралии в ответ на новый закон, обязывающий делиться частью рекламных доходов, получаемых за счет использования контента новостных изданий, Google пригрозил закрыть в стране свою поисковую систему, а Facebook на какое-то время заблокировал ссылки на новости от австралийских издателей.

Вчера ФАС объявила о возбуждении антимонопольного дела в отношении компании Google. По тому же нарушению, признаки которого недавно ведомство усмотрело в действиях Яндекса, злоупотреблению доминирующим положением. Ранее злоупотребившими доминирующим положением ФАС признавала Apple, HeadHunter, Microsoft, Booking и Google.

Злоупотребление доминирующим положением

Первое, на что обращают внимание при описании злоупотребления доминирующим положением, доминирование само по себе нарушением не является. Даже доля в 100 % на мировом рынке и рыночная власть над всеми контрагентами это не нарушение. Но определенные действия (или бездействие) наносят вред экономике, если совершаются именно доминантом. Это логично исключение русскоязычного сайта из поисковой выдачи Google и Яндекса приведет к катастрофическому падению трафика, а отсутствие в выдаче DuckDuckGo, скорее всего, вообще не будет заметно (не в обиду отличному сервису).

В антитрасте есть два подхода к определению злоупотребления доминирующим положением:

  • прямое указание видов действий доминанта, признаваемых нарушением, они запрещаются per se (лат. "сам по себе") без оценки и доказывания последствий,

  • указание последствий, при возникновении (или угрозе возникновения) которых любые действия доминанта признаются нарушением, если между действиями и последствиями есть причинно-следственная связь.

В Федеральном законе "О защите конкуренции" от 26.07.2006 135-ФЗ (ЗоЗК) прямо перечислены 11 видов действий, которые запрещаются per se. Среди таких действий установление или поддержание монопольно высокой цены, создание дискриминационных условий, навязывание невыгодных условий договора и др.

Но одновременно используется и второй подход, в качестве последствий указаны (достаточно одного):

  • недопущение, ограничение, устранение конкуренции,

  • ущемление интересов других лиц (хозяйствующих субъектов) в сфере предпринимательской деятельности,

  • ущемление интересов неопределенного круга потребителей, в том числе следующие действия (бездействие).

Есть еще случаи, когда применение указанных запретов исключается, про которые я этой статье писать не буду, так они требуют отдельного рассмотрения.

Я буду в тексте использовать слово "товар" также для обозначения услуг и работ. Это юридический термин, используемый в антимонопольном законодательстве. Терминология в антитрасте выглядит так, как будто речь всегда идет о физических товарах. Например, формулировка "Google продает YouTube Дудю" означает, что Google LLC оказывает Дудю комплекс бесплатных услуг сервиса YouTube.

В общем виде алгоритм установления злоупотребления доминирующим положением выглядит следующим образом:

Рассмотрим на актуальном примере:

Сейчас большую активность проявляет Коалиция за справедливость приложений (КСП), которая объединила ряд разработчиков в борьбе против несправедливых условий магазинов приложений.

Основные претензия КСП к Apple:

высокая комиссия за платежи в App Store и платежи внутри приложений,

ограничения на использование альтернативных средств оплаты.

Нарушает ли Apple российское законодательство?

Позиция на рынке

На первом этапе устанавливается доминирующее положение. И часть работы здесь уже выполнила ФАС.

По результатам рассмотрения дела Лаборатория Касперского vs Apple ФАС определила, что существует мировой рынок распространения приложений для мобильных устройств, функционирующих под управлением операционной системы iOS. На этом рынке доля у Apple будет близка к 100 %, так как официальные альтернативные каналы установки приложений отсутствуют. Можно, конечно, попробовать рассмотреть Testflight, PWA, IPA Sideloading (с джейлбрейком и без) в качестве таких каналов. Но первым же опросом разработчиков и пользователей такое предположение будет опровергнуто, да и фактическая доля использования этих каналов будет минимальной.

Почему именно для мобильных устройств и операционной системы iOS? Здесь все просто опросы разработчиков показали неготовность к отказу от разработки приложений для мобильных устройств и разработки приложений для одной мобильной ОС в пользу любой другой.

Итак, переход на другую ОС или другой канал распространения с целью обхода уплаты комиссии не альтернатива для разработчиков.

По механизмам монетизации Apple разделил приложения на 8 групп:

бесплатные не платят комиссию,

бесплатные с рекламой не платят комиссию,

бесплатные с физическими товарами и услугами не платят комиссию,

бесплатные с оплатой внутри приложений платят комиссию с платежей внутри приложений,

платные платят комиссию с платежей в App Store при приобретении,

бесплатные с подпиской платят комиссию с платежей за подписки, оформленные через сервис Apple,

приложения с контентом (в оригинале читалки) приложения, в которых контент приобретается за пределами приложения, а потребляется внутри приложений, аналогично следующей категории,

кроссплатформенные платят комиссию только с платежей на iOS, с платежей на других платформах не платят.

Получается, что у разработчиков есть несколько вариантов обхода необходимости платить комиссию:

сделать приложение бесплатным,

изменить модель монетизации и получать доход с рекламы,

проводить платежи на другой платформе или через браузер.

Первый вариант полностью лишит разработчика прямого дохода. Второй довольно сомнителен изначальное решение не использовать монетизацию с помощью рекламы, наверное, было обусловлено меньшей доходностью этого метода или нежеланием портить рекламой пользовательский опыт. Третий вариант мог бы сработать для некоторых приложений, но Apple ограничивает информирование пользователя о возможности использования альтернативных методов.

Таким образом, возможность найти альтернативу платежной системе Apple выглядит сомнительной. Наверное, при наличие такой возможности КСП и не появилась бы. Чтобы это проверить необходимо провести опрос репрезентативной выборки разработчиков и пользователей. С высокой вероятностью он подтвердит наши предположения. В таком случае мы получим близкую к 100 % рыночную долю Apple, и, соответственно, установим доминирующее положение.

Навязывание

Эквайринг Apple неразрывно связан с магазином App Store. Но являются ли они одним товаром? Чтобы ответить на этот вопрос, необходимо определить будут ли разработчики приобретать App Store и эквайринг по отдельности при наличии такой возможности. В контексте нашей ситуации вопрос упрощается до "Будут ли разработчики использовать альтернативные системы эквайринга при наличии такой возможности?". Для ответа даже не нужен опрос можно просто посмотреть способы оплаты в приложениях доставки еды, такси и интернет-магазинов, которым Apple дает возможность выбора. И практически везде мы увидим набор различных способов оплаты (вплоть до оплаты наличными). Да и сам факт допустимости использования для отдельных видов приложений различных способов оплаты показывает, что Apple продает свой эквайринг и App Store по отдельности.

Так как это различные товары, то перед нами может быть классический случай связывания или продажи "в нагрузку". За практику связывания в 2015 г. был признан злоупотребившим доминирующим положением Google он обязывал разработчиков устанавливать с Play Store весь пакет GMS и ставить Google поиском по умолчанию. Для тех, кто помнит покупку билетов на вокзале, продажа страховки ЖАСО вместе с ж/д билетом без указания на возможность отказа один первых кейсов по этому виду нарушений в России.

На классических рынках связывание это чаще всего нарушение. Но на цифровых рынка связывание бывает позитивным явлением и может приносить больше пользы, чем вреда. Например, единство аппаратной части и ОС в планшетах и смартфонах Apple вполне можно было бы обосновать целями обеспечения стабильности, безопасности и совместимости. Но в нашем случае довольно сложно дать обоснование полезности связывания App Store с системой обработки платежей, да и сам Apple отлично обходится без такого связывания для отдельных категорий приложений.

Связывание и навязывание условий, препятствующих использованию альтернативных систем платежей, могут быть квалифицированы как нарушение п. 3 ч. 1 ст. 10 ЗоЗК навязывания контрагенту условий договора, невыгодных для него или не относящихся к предмету договора.

Создание препятствий доступу на рынок

Отсутствие возможности использовать альтернативный эквайринг вредит не только разработчикам, но и владельцам потенциальных альтернатив. Apple закрывает для них довольно привлекательную часть рынка.

Это нарушает еще один запрет п. 9 ч. 1 ст. 10 ЗоЗК создание препятствий доступу на товарный рынок.

Завышение цены и ценовая дискриминация

Комиссию можно рассматривать как цену на услугу. В ЗоЗК есть отдельный состав для случаев завышения цены установление монопольно высокой цены. МВЦ цена, которая превышает цену на сопоставимом конкурентном рынке, а расходы на производство и реализацию и прибыль при такой цене выше "необходимых". Эта "необходимость" не определена, что для антимонопольного регулирования нормально, так как невозможно прописать в законе единую формулу для всех цен на всех рынках.

Расходами и прибылью оперировать неудобно, поэтому на практике при оценке цены используют рентабельность соотношение доходов от товара к расходам на его производство и реализацию. Рентабельность Apple необходимо с чем-то сравнить. Но не совсем ясно за какой именно набор услуг Apple взимает комиссию непосредственно за эквайринг или за возможность использования инфраструктуры платформы.

В первом случае сравнение проводится с такими сервисами как Stripe, PayPal, которые позволят организовать оплату в приложении. Допустим, что наше приложении не приносит больших доходов, средний платеж в нем составляет 5$ и Apple применяет пониженную комиссию в 15 %. Для Stripe и PayPal возьмем размер комиссии за внутренние платежи в США.

Apple 5 * 0,15 = 0,75$

Stripe 5 * 0,029 + 0,3 = 0,445$

PayPal (Micropayment) 5 * 0,05 + 0,05 = 0,3$

Если брать российского разработчика с небольшим оборотом, то на платеж в 300 руб. комиссия Apple составит 45 руб., а сервиса интернет-эквайринга Тинькофф всего 9 руб.

Даже для льготного разработчика с "льготной" комиссией разница с ценами известных эквайринговых сервисов довольно большая. Колоссальные различия будут, например, у крупных разработчиков F2P игр для них комиссия Apple не упадет ниже 30 %, а вот комиссии за внешний эквайринг будут очень малы за счет объемных скидок.

Я предполагаю, что затраты на эквайринговую часть у Apple вряд ли выше, а скорее даже ниже, чем у специализированных сервисов. В итоге мы получаем завышенную рентабельность по сравнению с сервисами, предлагающими схожий функционал. Эти же эквайринговые сервисы можно признать участниками сопоставимого рынка и констатировать превышение цены на сопоставимом рынке.

Второй вариант Apple берет комиссию не только за эквайринг, но и за возможность использования инфраструктуры, компенсируя тем самым инвестиции в создание и поддержание этой инфраструктуры.

У этого толкования есть ряд проблем.

Только 16 % из всех приложений приносят Apple комиссионные, остальные пользуются инфраструктурой бесплатно. Такое явление называется кросс-субсидирование и зачастую оно связано с дискриминацией. Есть ситуации, когда оно допустимо и обосновано. Например, при наличии на платформе платных и бесплатных тарифных планов. В таком случае пользователи сами выбирают использование платного плана, а бесплатные осуществляют важную функцию привлечения новых пользователей, которые затем могут перейти на платные тарифы.

В нашем случае трудно найти обоснование дискриминации. Разработчик крупного приложения доставки еды с десятками тысяч загрузок будет работать бесплатно, а инди-разработчик текстового квеста платить 15 %. Дискриминация есть и при первом варианте, но здесь она более очевидна, так как инфраструктуру используют все, а платит за нее меньшинство.

App Store как платформа подвержена влиянию сетевого эффекта (подробнее см. ниже) увеличение количества разработчиков увеличивает ценность услуг платформы для пользователей (и наоборот). Повышение ценности App Store, в свою очередь, повышает ценность iPhone и iPad основных товаров Apple. Следовательно, за счет создания и поддержания разработчиками приложений для iPhone и iPad растут (или не падают) доходы Apple. Можно даже попробовать оцифровать пользу разработчиков для Apple, например, выяснив путем опроса какой процент пользователей откажется от приобретения нового iPhone, если из App Store пропадут все приложения членов КСП.

Таким образом, в действиях Apple можно найти признаки п. п. 1 и 8 ЗоЗК установления монопольно высокой цены и создания дискриминационных условий.

Следовательно, в действиях Apple есть признаки 4 из 11 прямо перечисленых видов злоупотребления доминирующим положением. Возможно, что Epic Games и Spotify стоит развернуть фронт борьбы и в России.

Чаще всего пострадавшим от злоупотребления цифровой платформой доминирующим положением становится бизнес, работающий через эту платформу. На начальном этапе платформа предлагает максимально выгодные условия сотрудничества и набирает базу пользователей. Эта база дает ей рыночную власть, которая позволяет все больше менять правила в пользу платформы. Это может проявляться во введении принудительной рекламы на видеохостинге, создании собственных сервисов и их приоритизации поисковой системой, продвижении на платформе собственного ПО при одновременном ограничении стороннего и т. д.

Яркий пример из нового дела против Google только за период с июля по сентябрь 2020 г. YouTube удалил более 1,8 млн каналов более 32 млн видеозаписей. При этом в блоге сервиса сообщается о высокой вероятности блокировки даже без прямых нарушений, в том числе из-за более активного использования автоматических систем оценки контента и сдвигами к стратегии чрезмерной защиты приоритета скорости модерации перед качеством.

При этом пользовательское соглашение направлено на обеспечение максимальной дискреции YouTube и снижение ответственности перед пользователями. В отношении бизнес-пользователй YouTube не несет ответственности за упущенную выгоду, недополученный доход, потерю данных, упущенный шанс, потерю предполагаемых сбережений, а также косвенные, сопутствующие или штрафные убытки. Договорная подсудность судам Англии и Уэльса ведет к необходимости полагаться на ограниченные возможности внутренней апелляции сервиса.

Что делать платформам и пользователям?

Самая оптимальная стратегия защиты интересов для бизнес-пользователей это создание коалиций. Объединившись, компании многократно усиливают свою возможность быть услышанными на различных площадках: экспертных советах, ассоциациях, круглых столах, заседаниях судов и антимонопольных органов. Упомянутая выше КСП или коалиция против колдунщиков яркие примеры объединений, успешно реализующих стратегию защиты своих интересов в антимонопольных органах.

Российский антимонопольный орган был создан и приобретал опыт в сложных условиях переходной экономики, на фоне столкновения огромного количества разнонаправленных интересов. В рамках своих полномочий он выступал медиатором, помогая сторонам разбирательства в короткие сроки прийти к консенсусу. Благодаря этому сейчас у ФАС есть ряд свойств, необходимых для разрешения конфликтов в на цифровых рынках:

  • скорость с поступления жалобы до принятия решения проходит около 16 мес. (в Еврокомиссии дела могут рассматриваться до 8 лет), дело Яндекс vs Google было рассмотрено за 7 мес.,

  • эффективность предписания ФАС почти всегда исполняются,

  • компетентность ФАС получила признание на международном уровне, ее решения успешно проходят судебную проверку.

Важное значение имеет наличие коалиции при рассмотрении в ФАС антимонопольных дел. Фактически процесс в ФАС очень состязательный и весьма желательно иметь сильное представительство и единую позицию. Коалиция позволит выполнить и прикладную задачу обеспечить привлечение экспертов (экономистов, социологов, технических специалистов) для формирования позиции.

Для платформ, особенно самых крупных, важен конструктивный диалог со всеми категориями пользователей. С их участием имеет смысл вести работу по саморегуляции. Примеры отраслевой саморегуляции разрабатанные участниками рынка под эгидой ФАС Кодекс поведения автопроизводителей и автодилеров и Кодекс добросовестных практик в фармацевтической отрасли. Индивидуальная саморегуляция обычно осуществляется путем разработки, обсуждения с ФАС и заинтересованными лицами (например, в рамках экспертного совета при ФАС) и принятия публичных правил торговой практики компании.

Для цифровых платформ потребуется более детальная проработка актов саморегуляции и более широкое их обсуждение, а для трансграничных цифровых платформ обсуждение и согласование на международном уровне.

Анализ состояния конкуренции. Предварительное определение продуктовых границ

В антимонопольном анализе самая сложная часть анализ состояния конкуренции. Именно в результате его проведения выясняется занимает ли компания доминирующее положение. И первый шаг здесь это определение рынка.

В экономической теории под рынком понимается институт или механизм, который сводит вместе покупателей или продавцов конкретного товара или услуги. В антитрасте при расследовании потенциального нарушения или согласовании сделок ключевое значение имеет определение релевантного рынка рынка, на котором произошло нарушение, или рынка (рынков), затрагиваемых сделкой.

Релевантный рынок (или товарный рынок) это сфера обращения взаимозаменяемых товаров, в границах которой приобретатель может приобрести товар, а за их пределами не может (или это нецелесообразно). Следовательно, рынок определяется через его границы. Эти границы могут быть продуктовыми или географическими.

В этой статье я ограничусь темой продуктовых границ одной из самых интересных в антитрасте. Для начала необходимо предварительно определить о каком собственно товаре идет речь. Это можно сделать, например, на основе условий договоров или оценок специалистов, перечень способов открытый. Уже на этом этапе задача становится нетривиальной у нас нет четкого алгоритма предварительного определения товара.

Приведу пример по мотивам дела "о колдунщиках":

Владелец агрегатора отелей ABC вбивает в Google запрос "отели Москва" и видит вместо первой ссылки (или второйтретьей, это как повезет) Google OneBox с формой и данными сервиса Google Travel. Уже есть основания для подачи заявления в ФАС здесь признаки и недобросовестной конкуренции, и злоупотребления доминирующим положением. Но для начала можно установить какую именно услугу оказывал Google владельцу ABC.

Для этого открываем договор между компаниями пользовательское соглашение. Но в Условиях использования Google про поисковый сервис лишь упоминается никакого перечня услуг, оказываемых Google владельцу сайта ABC, нет. Как в данном случае определять продуктовые границы? Поисковый запрос гласил "отели Москва". Значит, может быть, речь идет об услугах поиска средств размещения? Но на этом рынке Google никаких услуг владельцу ABC не оказывал, здесь они прямые конкуренты. Этот рынок релевантен с точки зрения недобросовестной конкуренции, но не злоупотребления доминирующим положением.

Можно попробовать определить продуктовые границы через услуги, которые оказываются поисковым сервисом любому вебсайту, настройки которого допускают индексацию поисковым роботом. Тогда предполагаемое нарушение произошло на рынке услуг по отображению сайтов поиска средств размещения в поисковой выдаче. Такой подход тоже не будет корректным ведь для пользователей, непосредственно осуществляющих поиск, Google выступает в качестве поисковой системы общего характера.

Однако формулировка "услуги по отображению сайтов в поисковой выдаче" не будет отражать всех взаимоотношений в рамках осуществления интернет-поиска поисковая выдача не существует сама по себе, она воспринимается пользователем, который ввел поисковый запрос. Поэтому наиболее оптимальным будет описание продуктовых границ рынка, учитывающее и вторую категорию пользователей, авторов запросов.

В таком случае речь идет уже о рынке услуг поиска в интернете общего характера. Этот рынок будет многосторонним его участниками будут владельцы универсальных поисковых систем, владельцы индексируемых интернет-ресурсов и авторы поисковых запросов. Именно такой подход к определению границ рынка использовала ФАС, выдавая Яндексу предупреждение и возбуждая антимонопольное дело.

В дальнейшем мы будем определять заменители предварительно определенного товара, поэтому сначала логично определить товар максимально конкретно сузить продуктовые границы. Однако допустить слишком слишком сильное сужение тоже нельзя используемые характеристики должны иметь значение для потребителя, влиять на выбор им того или иного товара.

Пример предварительного определения продуктовых границ:

ФАС предварительно определила товар как колесо цельнокатаное диаметром 957 мм с набором технических характеристик: марка стали, внутренний диаметр отверстия ступицы. Каждое колесо с отличающимся набором обозначенных характеристик предварительно рассматривалось в качестве отдельного товарного рынка. Это обоснованное сужение границ взаимозаменяемость колес с каждой связкой характеристик еще предстояло определить в дальнейшем.

С учетом этого попробуем назвать услугу, оказываемую Google через сервис YouTube. Посмотрим как определяют YouTube сам Google и коллективный разум (Wikipedia):

Terms of Service

The Service allows you to discover, watch and share videos and other content, provides a forum for people to connect, inform, and inspire others across the globe, and acts as a distribution platform for original content creators and advertisers large and small.

Условия использования YouTube

Сервис платформа, на которой пользователи могут находить и смотреть видео и другой контент, публиковать собственные материалы, а также общаться между собой и делиться новостями и идеями. Авторам и рекламодателям платформа также предоставляет возможность показывать и распространять ролики и объявления.

Wikipedia (en)

YouTube is an American online video-sharing platform headquartered in San Bruno, California.

Wikipedia (ru)

Видеохостинг, предоставляющий пользователям услуги хранения, доставки и показа видео.

И обратимся к определениям вида платформ, к которым относится YouTube:

Wikipedia (en)

An online video platform (OVP), provided by a video hosting service, enables users to upload, convert, store and play back video content on the Internet, often via a structured, large-scale system that may generate revenue. The website, mainly used as the video hosting website, is usually called the video sharing website.

Wikipedia (ru)

Видеохостинг веб-сервис, позволяющий загружать и просматривать видео в браузере, например, через специальный проигрыватель. При этом большинство подобных сервисов не предоставляют видео, следуя таким образом принципу контент генерирует пользователь (User-generated content).

Теперь у нас есть базовая терминология, но использовать термины "видеоплатформа" и "видеохостинг" в качестве продуктовых границ рынка мы сразу не можем, так как они слишком широкие. Так мы сразу отнесем, например, Netflix и TikTok к заменителям YouTube, не предоставив себе возможности проверить наличие реальной взаимозаменяемости между сервисами. Поэтому мы, ориентируясь на указанные выше источники, выделим ключевые признаки YouTube.

Начнем с функционала. Функциональное назначение являлось отправной точкой выявления продуктовых границ делах Лаборатория Касперского vs Apple (в качестве функционального назначения товара определена возможность распространения приложений, предназначенных для использования на абонентских устройствах) и Стафори v. HeadHunter (функциональное назначение определено перечнем функций для каждой из выделенных категорий пользователей - соискателей и работодателей).

В нашей ситуации оптимальным будет по аналогии с делом Стафори vs HeadHunter определить перечень функций YouTube:

  • Загрузка, хранение и показ видеоконтента

    Загрузка и хранение это именно доступный для пользователей функционал. То есть, любой зарегистрированный пользователь может загрузить контент (хранить и показывать его) или посмотреть чей-то контент. Эта характеристика отличает основанные на пользовательском видеоконтенте видеохостинги от, например, онлайн-кинотеатров.

  • Поиск видеозаписей

    Для авторов и зрителей важны не только и не столько само загрузка, хранение и показ видеоконтента (эти функции можно реализовать и на собственном сервере), но и возможность в широком смысле найти контент. В этом помогает витрина видеоконтента разделы Главная (с рекомендованным на основе истории просмотра и поиска, сведений из аккаунта Google и браузера Chrome видеоконтентом), Популярные видео и Подписки.

    Cервис обладает высококачественным поиском, в выдаче которого также учитываются данные, на основе которых делаются рекомендации. Кроме того, в сервисе имеется функция Следующее, предлагающая схожий контент при просмотре видео. В плане поиска YouTube сильно обгоняет сервисы с видеофункционалом. Но мы не будем это свойство ограничивать функционалом и качеством YouTube. Будем понимать под поиском функцию, для которой бы подошло более емкое слово "discovery".

    Такой функционал позволяет зрителям быстро и удобно находить интересующие их видеозаписи и трансляции, а авторам набирать просмотры и подписчиков. Рекомендации позволяют показывать пользователю наиболее релевантные для него видео. Это означает, что контент канала будет автоматически предлагаться к просмотру зрителям, с высокой степенью вероятности относящимся к целевой аудитории канала.

  • Социальные функции, связанные с видеоконтентом

    Это комментирование и оценка. Без них описываемый вид платформ сложно представить. Но здесь мы ограничиваемся функциями, завязанными на основной вид контента. Иначе границы будут изначально сильно расширены, что не позволит достоверно учесть мнение пользователей.

Функциональные характеристики имеет смысл дополнить характеристиками качественными.

  • Диверсифицированность контента, авторов и зрителей

В приведенном ранее примере я упоминал, что ФАС выделил рынок услуг поиска в интернете общего характера. Однако поисковые функции предлагает подавляющее большинство платформ: поиск по средствам размещения в Booking, по репозиториям в GitHub, по видеоконтенту в YouTube и т. д. Не следовало ли ФАС разбить общий поиск на сегменты и анализировать их как отдельные рынки?

Выше уже затрагивался вопрос связывания двух товаров в один и их разделения. Приведу более известный пример услуги мобильной связи.

Следует ли считать мобильный интернет, мобильную телефонию и смс-сообщения отдельными услугами, выделяя каждую в отдельный рынок? Или это одна услуга мобильной связи? В сфере мобильной связи имеет место яркий пример конвергенции, обусловленный на стороне производства возрастающим объемом общего оборудования и ПО, используемого для оказания всех трех услуг.

Конвергенция привела к тому, что все три услуги начали продаваться едиными пакетами. Ценовая политика операторов привела к экономической нецелесообразности приобретения услуг мобильной связи по отдельности. Сейчас профиль потребления очевиден подавляющее большинство абонентов приобретает услуги мобильной связи в пакете. Поэтому на данный момент следует определять единый рынок мобильной связи. Не исключено, что использование пакетной продажи приведет к объединению рынка мобильной связи с рынками фиксированной связи.

Сферы использования общих и специализированных поисковиков иногда пересекаются отель, репозиторий и видеозапись можно найти и в Google. Однако, например, в ситуации с репозиторием Google не предоставит удобных функций фильтрации поисковой выдачи и расширенного поиска, возможности ознакомления и взаимодействия с репозиторием и т. д. Поэтому пользователи предпочтут использовать GitHub для поиска репозитория с конкретными параметрами. Но заменить Google коллекцией спецпоисковиков тоже никто не спешит.

YouTube это специализированный на видеоконтенте сервис, но в отношении видов контента такая специализированность отсутствует. На YouTube размещают видеоконтент и крупнейшие СМИ, и бьюти-блогеры. Аудитория YouTube тоже диверсифицирована это люди разных возрастов, видов профессиональной деятельности, интересов. Диверсифицированность аудитории и контента отличает YouTube от, например, сервиса Twitch, специализирующегося на тематике компьютерных игр.

  • Отсутствие существенных ограничений по длительности, размеру и формату видеоконтента

Важным свойством YouTube, отличающим его, например, от TikTok, является возможность хранения (показа и трансляции) длительных видеозаписей. На YouTube можно добавлять файлы размером до 128 ГБ включительно. Максимальная продолжительность видео 12 часов.

YouTube активно используется на всех видах устройств компьютерах, телевизорах, смартфонах и планшетах для просмотра как горизонтального, так и вертикального видео. Сервисы TikTok, Instagram и IGTV в подавляющем большинстве случаев используются для просмотра вертикального видео на смартфонах. Профиль использования этих сервисов является фактическим ограничением для показа на них горизонтального видеоконтента.

Я не указал еще две особенности YouTube, которые важны для потребителя и влияют на его выбор. Их учет, скорее всего, позволил бы признать Google единственным участником рассматриваемого рынка. Это высокое качество и большая пользовательская база.

На пользовательской базе остановлюсь подробнее.

Рассматриваемый рынок является многосторонним. Его участники это продавцы (владельцы платформ) и потребители (зрители, авторы, рекламодатели). На таких платформах имеют место сетевые эффекты прямые (зависимость потребительской ценности товара от количества потребителей одной и той же группы) и косвенные (зависимость ценности товара для одной группы потребителей от количества потребителей в другой группе).

Хрестоматийный пример прямого сетевого эффекта увеличение количества пользователей телефонных аппаратов повышало потребительскую ценность аппаратов, так как количество потенциальных контактов с использование этого вида связи. Эта же логика распространяется на мессенджеры и социальные сети.

В нашем случае имеют место, в первую очередь, косвенные сетевые эффекты:

  1. Чем больше на YouTube зрителей, тем больше просмотров, что увеличивает ценность платформы для авторов и приводит к увеличению их количества и активности на платформе;

  2. Чем больше на YouTube авторов, тем больше контента и тем выше его качество, что привлекает зрителей;

  3. Увеличение количества просмотров и видеоконтента приводит к повышению привлекательности YouTube для рекламодателей увеличивается как их количество, так и их расходы на рекламу;

  4. Популярность сервиса среди рекламодателей, в свою очередь, привлекает новых авторов и мотивирует их на повышение количества и качества контента goto п. 1.

Этот цикл позволяет обеспечить сервису стабильный рост количества и активности пользователей, а, следовательно, и рост рекламных доходов. Он также дает платформе стабильность группы пользователей удерживают друг друга от возможного отказа от YouTube.

Имеет ли смысл выделять большую пользовательскую базу как один из признаков определяемого товара? Сейчас на практике этого не делают. Но если не учесть этот признак, то получится, что на данном этапе мы признаем конкурентом YouTube какой-нибудь небольшой видеохостинг на 1000 видеозаписей. На самом деле, это не приведет с существенному искажению результатов исследования, так как пользовательская база и ее активность будут прямо коррелировать с рыночной долей сервиса. Небольшие сервисы просто будут иметь минимальную долю на рынке. Они также зачастую специализированы на определенной тематике и могут не относиться к рассматриваемому рынку.

Итак, мы предварительно определили товар это услуги платформ, обладающих вышеуказанными характеристиками. Кратко назовем их услугами платформ социального сетевого видеохостинга (ССВ). Дополнение "социального сетевого" здесь для того, чтобы сделать акцент на пользовательский контент и социальные элементы.

Следующим этапом будет определение взаимозаменяемых товаров. Об этом в следующей статье.

Подробнее..

Отказ от ссылок в 2021году

19.05.2021 10:20:52 | Автор: admin

Темаотказа от ссылоквсегда была предметом горячих споров, а эксперты по SEO расходились во мнениях относительно того, следует ли отклонять плохие ссылки и как это может повлиять нарейтинг сайтав Google.Хотя масштабы спорны, алгоритмы ранжирования все же влияют накачество ссылок, поэтому плохая ссылка может очень сильно повредить поисковый рейтинг.Со всеми изменениями и проблемами, приобретенными к 2021году, мы считаем целесообразным регулярно проверять ссылки на их актуальность и качество.Давайте подробнее рассмотрим, как и почему отклонять обратные ссылки - и как определить, нужно ли вам это делать вообще. А поможет вам в этоммассовая проверка ссылок.

Краткое введение в отмену

В прошлом Google оценивал страницы по качеству ссылок с помощью PageRank, но эта система быстро использовалась.Обновление алгоритма Penguin в 2012 году было направлено на то, чтобы препятствовать сайтам с обилием спам-ссылок.Эти сайты могли восстановиться только путем удаления этих плохих ссылок, и поэтомуродился инструмент Google Disavow.Позже в Penguin 4.0 произошло важное изменение: Google не будет столько наказывать низкокачественные ссылки, сколько обесценивать их, а это означает, что вам нужно отклонять ссылку только в том случае, если вы получили уведомление об этом, то есть ручное действие.

Перенесемся в сегодняшний день, иGoogle утверждает,что отказ от ссылокне сильно повлияетна рейтинг вашего сайта.Однако неофициальная позиция несколько более двусмысленна:Джон Мюллер изGoogleутверждает,что отречение может действительно принести пользу некоторым сайтам.В конце концов, в некоторых случаях отказ может помочь, но Google затрудняет использование необходимого инструмента, а если зайти слишком далеко, безусловно, можно получитьнеприятные последствия.

Что такое ручные действия

Вы можете узнать статус своего сайта, заглянув в Google Search Console в разделе Ручные действия.Это просто, когда Google дает вам знать, что он планирует исключить или наказать определенный контент более низкого качества из результатов поиска.Штрафные ссылки могут включать в себя что угодно, от наполнения ключевыми словами или скрытого текста, неестественных или неорганически полученных ссылок, автоматических ссылок, PBN, спама в комментариях и форумах, ссылок, вдохновленных влиятельными лицами / платных ссылок, подозрительных перенаправленийи т. д.

Отказ от отцовства - хорошая идея?

Как и в большинстве случаев, связанных с SEO, все зависит от обстоятельств.Насколько низкое качество ссылок и насколько они влияют на рейтинг?Хорошее эмпирическое правило - отрицать только тогда, когда у вас буквально нет другого выхода.Например, сначала обратитесь к владельцам некачественных ссылок, указывающих на ваш сайт, и попросите их удалить, используя отказ только в крайнем случае.В конечном счете, это расширенная функция, которую следует использовать с осторожностью, поскольку она может принести больше вреда, чем пользы.

Что делать, если я не принимаю меры вручную?

Прежде чем что-либо делать, вам потребуется всесторонний аудит ссылок, чтобы правильно понять, как работают ваши ссылки.Будьте уверены, Googleпроигнорируетвсе ссылки, за исключением тех, за которые ваша команда SEO несет прямую ответственность.При оценке качества ссылок ищите все, что нарушаетусловия Google, например платные ссылки, схемы ссылок и взаимные ссылки / обмен, подозрительные якорные тексты, статьи со ссылками на хитрые сайты,вредоносные программы и скрытые сайтыили "наркотики, покер и порно".

Если эти ссылки не приносят доход и не влияют на ваш обычный поисковый трафик, решение может быть таким же простым, как полное удаление страницы.

Советы по эффективному отклонению

  • Естественно, удалите все ссылки, которые вы получили вручную.

  • Сосредоточьтесь на создании ссылок, представляющих ценность для читателей, которые повысят авторитет и доверие к домену вашего сайта.

  • Если вы не слишком уверены в SEO, используйте инструмент мониторинга обратных ссылок или проконсультируйтесь с командой SEO для получениясовета экспертово том, какие именно ссылки следует отклонять в рамках обычногоаудита сайта.

  • Убедитесь, что вы получаете ссылки с авторитетных отраслевых сайтов.

  • Ссылки на домены с истекшим сроком действия или чрезмерно региональный контент могут пропускаться через обычные фильтры, поэтому следите за ними.

  • Как правило, наиболее вероятными виновниками являются ссылки с чрезмерно оптимизированным якорным текстом, ссылки, не относящиеся к отрасли, или ссылки, которые кажутся спамерскими, поэтому начните с них.

  • Не думайте, что удаление любой старой ссылки автоматически улучшит рейтинг - это может сделать прямо противоположное.

Лучшая стратегия

В целом, ваше внимание должно быть сосредоточено на поддержании максимально возможного качества исходящих ссылок и отказе от тех, которыеявно и значительно вредятвашим результатам обычного поиска - в противном случае действуйте осторожно.Внимательно следите за любыми входящими ссылками, которые могут навредить репутации вашего сайта.Даже скрупулезный аудит ссылок может пропустить несколько плохих ссылок, но этот относительно небольшой риск следует сопоставить с вашими общими приоритетами SEO, риском неправильного отрицания и вашеймаркетинговой стратегиейв целом.

Подробнее..

Recovery mode 9 способов, которые помогут сэкономить бюджет на контекстную рекламу и повысить эффективность кампаний

16.06.2021 12:16:05 | Автор: admin

Хорошо, когда бюджет на рекламу практически не ограничен и можно позволить себе выкупать первые позиции по всему пулу запросов. Но чаще всего ситуация обратная: есть 100 тысяч и с каждого рубля нужно выжать максимум. В статье собрали рекомендации, которые помогут сэкономить бюджет, не потеряв позиции в выдаче, и получать больше целевого трафика.

1. Уточняйте таргетинг с помощью операторов и типов соответствия

Показ по запросам в широком соответствии однозначно позволяет расширить охват и в нишах, где не так много трафика по основным ключевикам, может быть единственным решением. Но там, где трафика достаточно, широкое соответствие будет размывать точность таргетинга и приводить к показам по нерелевантным запросам.

С помощью операторов в Яндекс.Директе и типов соответствия в Google Ads можно добиться показа по целевым запросам и минимизировать расход бюджета на запросы, которые не конвертят или вовсе не подходят для кампании.

Операторы соответствия в Яндекс.Директе

  • ! фиксатор формы слова. Позволяет зафиксировать слово в указанном числе, падеже и времени. Например, при запросе вида купить !самокаты детские показы будут по запросам, в которых слово самокаты указано именно в множественном числе.

  • + фиксирует стоп-слова (предлоги, местоимения, слова, не несущие смысла). Запрос лампа +для рабочего стола обеспечит показы по схожим запросам, в которых содержится предлог для. По запросу лампа на рабочий стол показов не будет.

  • [ ] фиксирует порядок слов в фразе. Особенно актуален при рекламе туристических услуг, путевок, перевозчиков, авиабилетов везде, где от порядка слов во фразе напрямую зависит релевантность показа.

  • " " (оператор кавычки) фиксирует количество слов во фразе. Позволяет добиться показов по фразам, не содержащим дополнительных слов.

  • () и | используются совместно, нужны для группировки слов в сложных запросах. Например, можно объединить запросы купить самокат двухколесный и купить самокат трехколесный в один купить самокат (двухколесный | трехколесный).

Типы соответствия в Google Ads

  • Широкое соответствие тут все ясно, показы возможны по любым запросам, связанным с ключевым словом. Разброс может быть большим, поэтому при широком соответствии важно мониторить отчет по ключевым словам и оперативно минусовать нерелевантные.

  • Фразовое соответствие объявления могут показываться по поисковым запросам, которые включают значение ключевого слова. Это позволяет задать более точный таргетинг, в отличие от широкого соответствия, куда могут попадать совсем неподходящие запросы.

  • Точное соответствие обеспечивает максимальную точность таргетинга. Объявления будут показаны по запросам, значение или намерение которых совпадает с ключевым словом. Тут есть небольшой нюанс: точное соответствие не гарантирует показ исключительно по заданному запросу. Показы будут по всем запросам, которые Google посчитает идентичными по значению. Но все же так можно исключить массу нерелевантных показов.

2. Работайте с минус-словами

Это далеко не новый совет, но важный. Работа с минус-словами должна быть регулярной. Сразу после запуска кампании отслеживать запросы и минусовать нерелевантные желательно ежедневно. Спустя пару недель количество нерелевантного трафика должно быть существенно меньше и минусовку можно проводить не так часто.

В кампаниях с несколькими группами объявлений обязательно делайте кросс-минусовку: это поможет исключить конкуренцию между ключевыми запросами в рамках одной кампании.

3. Не конкурируйте ставкой

От позиции объявления в результатах поиска зависит объем трафика. Естественное желание всегда показываться на первых позициях оправдано: больше трафика больше конверсий. Однако это не всегда рентабельно. Если аукцион перегрет, то для попадания на первые позиции придется заплатить слишком дорогую ставку. Такой трафик может не окупиться.

Первым делом считайте рентабельность трафика

Если показ на первой позиции обходится дороже прибыли, которую приносит этот трафик, платить за попадание в топ не имеет смысла.

Для расчетов соберите следующие данные:

  • стоимость клика на первой позиции;

  • % конверсии сайта (можно брать средний по сайту, но если коэффициент конверсии существенно различается в зависимости от категории или товара, лучше считать по категориям или потоварно);

  • маржинальность товара.

Например, у нас есть такие данные:

Стоимость клика на первой позиции

30 рублей

Конверсия сайта

3%

Маржинальность товара

300 рублей

Чтобы получить 1 конверсию, необходимо потратить: 1/0,03 * 30 = 1000 рублей. При такой конверсии и маржинальности показ на первых позициях однозначно нецелесообразен. Разумнее показываться ниже, получать меньше трафика, но зато работать в плюс.

Повышайте позицию за счет других факторов (кроме ставки)

Повысить ставку самый простой и прямолинейный способ показываться выше. Но добиться этого можно не только ставкой. Позиция объявления в выдаче зависит нескольких факторов:

  • качество самого объявления;

  • релевантность и качество целевой страницы;

  • условия, в которых выполняется поиск;

  • ожидаемый эффект от расширений, которые используются в объявлении.

Не на все факторы получится повлиять, но объявления и посадочную страницу можно проработать. При прочих равных, если ваше объявление более информативное, полезное и имеет хорошую кликабельность, то есть шансы, что вы сможете показываться выше конкурентов, у которых с качеством объявлений похуже.

При снижении ставки детально прорабатывайте семантику

Если снижаете ставку для экономии бюджета, полезно более детально проработать семантику и собрать как можно больше релевантных СЧ и НЧ запросов. Так вы сможете показываться по запросам, по которым не так много трафика, но более целевые пользователи. Плюс есть шанс, что конкуренты не настолько детально прорабатывают семантику и по таким ключам у вас будет меньше конкуренции.

Автоматизировать подбор запросов можно с помощью специальных инструментов. Для примера покажем, как это сделать с помощью инструмента Подбор слов и медиапланирование от Click.ru.

В сервисе можно собрать семантику тремя способами:

  • автоматически на основе контента сайта. Нужно указать URL своего сайта, и система подберет запросы, основываясь на содержимом страниц;

  • на основе сайтов конкурентов;

  • из счетчиков статистики. Можно собрать запросы, зафиксированные счетчиками Яндекс.Метрики и Google Analytics (по которым люди уже заходили на ваш сайт).

Чтобы расширить список запросов, можно добавить базовые запросы в ручной подборщик, раскрыть список вложенных запросов и отобрать подходящие:

После подбора добавим все подходящие фразы в медиаплан. Отобразится таблица с прогнозными данными для каждого запроса по следующим метрикам:

  • CTR;

  • частотность;

  • средняя стоимость клика;

  • количество кликов в месяц;

  • бюджет.

В Click.ru можно также подключить рекламные аккаунты Google Ads и Яндекс.Директа и управлять ими с одного интерфейса. А при подключении к партнерской программе можно получать до 12% от суммарного расхода на рекламу по всем аккаунтам. Подробнее здесь.

4. Тестируйте оплату за конверсии

Если у вас есть товары, которые пользуются спросом и стабильно приносят конверсии, протестируйте модель оплаты за конверсии. Выгоды такой модели можно даже не расписывать, но вкратце:

  • вы платите только за целевые действия (заказ/заявка);

  • плата за клики и показы, которые не приводят к конверсии, не списывается;

  • можно задавать цену за конверсию с учетом маржинальности. Это позволит всегда быть в плюсе.

Такие модели доступны в Google Ads и Яндекс.Директе (правда, не во всех типах кампаний).

Оплата за конверсии в Google Ads

Оплата за конверсии при рекламе в Google доступна для умных и стандартных кампаний в КМС. Чтобы воспользоваться оплатой за конверсии, необходимо выбрать стратегию с целевой ценой за конверсию при настройке ставок в кампании:

В некоторых аккаунтах опция оплаты за конверсии может быть недоступной. Это возможно по таким причинам:

  • в качестве цели кампании выбрана офлайн-конверсия (для них модель оплаты за конверсии недоступна);

  • в аккаунте получено менее 100 конверсий за последние 30 дней;

  • данные о конверсиях поступают в аккаунт с задержкой более 7 дней;

  • аккаунт не соответствует требованиям (достаточно неопределенная формулировка, но фактически с этим ничего нельзя поделать и остается только ждать, пока опция станет доступна).

Оплата за конверсии в Яндекс.Директе

В Директе оплату за конверсии можно подключить в динамических объявлениях, текстово-графических кампаниях и смарт-баннерах.

У Яндекса менее строгие требования для доступа к оплате за конверсии:

  • на сайте должен быть установлен счетчик Метрики и настроены цели;

  • по выбранной цели (за достижение которой хотите платить) счетчик должен фиксировать хотя бы 10 конверсий еженедельно.

Чтобы подключить оплату за конверсии, при создании кампании выберите стратегию Оптимизация конверсии и включите опцию Оплата за конверсии.

5. Работайте с качеством объявлений

Ранее мы уже упоминали, что достичь более высоких позиций в выдаче можно не только за счет повышения ставки. Вот факторы, которые учитывают рекламные системы при ранжировании объявлений:

Google Ads

Яндекс.Директ

релевантность объявления

CTR объявления

рейтинг объявления

коэффициент качества объявления (учитывает релевантность объявления запросу, статистические данные по объявлению, релевантность объявления странице сайта, на которую ведет ссылка, и др.)

конкуренция на аукционе

условия, в которых выполняется поиск (содержание поискового запроса, местоположение пользователя, тип устройства, время поиска и т. д.)

ожидаемый эффект от выбора расширений и формата объявления

Качественная проработка объявления позволяет не переплачивать на аукционе и занимать хорошие позиции. Вот, что можно сделать для достижения этой цели:

  • использовать все доступные поля при создании объявлений (например, Google постоянно напоминает о том, что нужно добавить больше заголовков или вариантов описаний). Важно заполнять их не просто для галочки, а качественно прописывать с учетом потребностей целевой аудитории: это поможет повысить CTR;

  • добавлять все расширения, которые уместны;

  • использовать в заголовках ключевые слова (опять же, эта рекомендация постоянно отображается при создании объявлений в Google Ads);

  • прописывать в тексте объявлений емкую и полезную информацию для клиентов. Ориентируйтесь на то, что важно клиенту для принятия решения о покупке.

Если у вас есть активные кампании, которые стабильно приносят хорошие результаты, проанализируйте их и определите, какие именно объявления показывают максимальную эффективность. В новых кампаниях используйте эти наработки при составлении объявлений.

6. Запускайте несколько объявлений в группе

Эта рекомендация не связана напрямую с расходом бюджета, она больше про общий подход к ведению рекламных кампаний. При первичном запуске кампании не всегда получается с первого раза найти рабочую комбинацию таргетингов и объявлений. Все нужно тестировать, в том числе и объявления.

Оптимально создавать 2-3 варианта объявлений на группу и тестировать их на протяжении нескольких недель, чтобы накопить более-менее значимый объем данных. Затем вы сможете выявить варианты, которые приносят более дешевые конверсии (или конверсии с большей ценностью) и отключить неэффективные объявления.

7. Помните про временной таргетинг

Если вы рекламируете товары или услуги, которые имеют четкую привязку к определенному времени суток (например, доставка завтраков), настроить временной таргетинг ваша обязанность. В остальных случаях нужно смотреть по ситуации.

Если есть накопленная статистика за длительный период (оптимально, за несколько месяцев), проанализируйте отчет по времени показа объявлений и посмотрите, есть ли там временные отрезки, в которые бюджет расходуется, а трафик совсем не конвертит. Если такие периоды есть, можно задать понижающие корректировки ставок на это время или вовсе отключить показы. А сэкономленный бюджет перераспределить на время, когда трафик более конверсионный.

8. Корректируйте ставки по сегментам: отключайте показы там, где нет конверсий

Кроме анализа эффективности рекламы в зависимости от дня и времени суток, целесообразно отслеживать, какие сегменты аудитории показывают хорошую конверсию, а какие просто съедают бюджет. Для этого полезно анализировать сегменты по следующим параметрам:

  • по геолокации;

  • устройству показа;

  • аудитории;

  • полу и возрасту.

Список доступных корректировок ставок в Директе и Google AdsСписок доступных корректировок ставок в Директе и Google Ads

Например, в некоторых нишах с десктопа практически нет заказов, а все конверсии приходят именно с мобильных. Тратить бюджет на показы для десктопов в этом случае имеет смысл, если у бюджета нет жестких ограничений и вы можете позволить себе работать в долгую и на охват. Если же каждый рубль должен приносить максимум возврата инвестиций как можно быстрее, то лучше сосредоточиться на мобильном трафике и перераспределить на него бюджет.

В кампании с рекламой домашнего декора ситуация обратная:

  • с мобильных нет конверсий при расходе почти 50 евро;

  • с десктопов 10 конверсий по 1 евро.

Очевидно, что мобильный трафик экономически невыгоден. Его можно не отключать сразу, а для начала задать понижающую корректировку на 4050%. Если после этого с мобильных по прежнему не будет конверсий (или конверсии будут нерентабельными), можно будет отключить полностью.

9. Не показывайтесь по запросам с неопределенным интентом

В зависимости от того, на какой стадии воронки продаж находятся потенциальные клиенты, их запросы будут отличаться. Например, рассмотрим продажу детских самокатов. Вот как запрос, который вводит пользователь, может идентифицировать его текущее намерение:

Запрос

Намерение

детские самокаты виды

Планирует покупать самокат, но хочет подробнее изучить, какие самокаты вообще бывают.

детские самокаты купить

Ищет магазины, в которых продаются самокаты. Пока не ясно, готов к покупке или просто хочет прицениться.

детский самокат Best Scooter трехколесный купить

Четко знает, какой тип самоката и какого производителя хочет приобрести.

Чем точнее запрос, тем ниже его частотность и тем больше он привлекателен (конверсия по последнему запросу будет намного выше, чем по первому). Также есть запросы с невыраженным намерением. Например, по запросу детские самокаты непонятно, что интересует пользователя: он хочет выбрать и купить или ему просто захотелось посмотреть, какие самокаты для детей существуют.

Выгоднее всего фокусироваться на запросах, которые идентифицируют людей, находящихся на нижних стадиях воронки: они знают, что именно хотят и готовы к покупке.

Чтобы расходовать бюджет более эффективно:

  • показывайтесь по СЧ и НЧ запросам с ярко выраженным интентом (намерением);

  • минусуйте общие фразы и фразы, по которым много показов и кликов, но нет конверсий.

На примере ниже две группы ключевых слов. На первый взгляд, между ними нет существенных различий. Однако в первой группе содержатся слова, обозначающие технические детали и более явное намерение. Во второй общие фразы, обозначающие категорию товаров, но без детализации. По коэффициенту и стоимости конверсий однозначно понятно, что в первой группе более теплый трафик.

Пользуйтесь этими рекомендациями и тратьте бюджет на рекламу эффективно. Успешных продаж!

Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru