Русский
Русский
English
Статистика
Реклама

Социальные проекты

Как помочь тем, кто помогает

02.12.2020 14:12:13 | Автор: admin

Привет, Хабр. Меня зовут Оля Никитушкина, я работаю в Яндексе уже 12 лет. В начале 2020 года направление моей деятельности кардинально изменилось и оказалось связано с социальным проектом Помощь рядом. Он зародился в конце марта в ответ на эпидемию коронавируса. Тогда у нас не было ни долгосрочного плана, ни понимания, какое место мы должны занимать в благотворительной сфере. Всё это пришло позже.

Сегодня я расскажу не столько о том, что мы успели сделать в этом году, сколько о важной идее, которая во многом определила обновление проекта. А ещё поговорим об осознанной благотворительности и о том, как Яндекс может продвигать эту идею. В конце поста поделюсь новостью о продуктовом изменении, которое позволит любому пользователю приложения Яндекс Go стать системным благотворителем.

Как родился проект

Весной пандемия ударила по всем. По одним сразу, другие ощутили её последствия позже. Но в целом ситуация тогда ухудшалась стремительно. Мы поняли это по всплеску обращений к Яндексу, связанных с перевозками:

Медицинским работникам требовалось быстро и часто посещать больных на дому. Спецтранспорта не хватало, а пользоваться общественным транспортом врачи не могли: это опасно для других пассажиров.
Нагрузка на социальных работников и волонтёров многократно возросла: они посещали одиноких жителей, доставляли продуктовые наборы, помогали в больницах, хосписах и домах престарелых.
Люди с онкологическими заболеваниями и другие пациенты из группы риска сами или с помощью фондов и НКО добирались из дома в больницу и обратно.

На тот момент я занималась международными запусками Яндекс Go. Когда границы закрылись все планы (что очевидно) заморозили. Наша команда переключилась на запуск сервиса для перевозки врачей и волонтёров. Тогда мы собрали сотрудников Такси, Еды, Дзена и Поиска. Никто из нас раньше не организовывал такие проекты. В целом задача походила на ту, с которыми мы работали и раньше при запусках: погрузиться в новую область, сформулировать цель и придумать, как её достичь.

Наши ребята поехали в Казань: первый город, который на официальном уровне был готов и принять помощь, и помочь всё организовать. Ребята неделю ходили по больницам и разговаривали с врачами и всеми, кто причастен к выездам на дом (тогда мы не задумывались о том, как это может быть опасно, но, к счастью, никто не заразился). Это со стороны может показаться, что вопрос простейший чего тут изучать? На самом деле всё было непонятным. И мы ни с кем не могли посоветоваться. К примеру, как решить, выделять машину для каждого врача или строить процесс, как в B2B-тарифе, когда организация вызывает доступную машину для сотрудника? Особое внимание мы, конечно, уделили безопасности. Вместе с таксопарками-партнёрами мы сформировали отдельный парк автомобилей, обеспечили водителей средствами защиты (масками, перчатками, санитайзерами), автомобили оборудовали перегородками и регулярно дезинфицировали. Все водители, кто участвовал, настоящие герои, они подключались к парку для социально важных заказов по собственному желанию, принимать другие заказы в это время они не могли. Мы создали специальный тариф для таких перевозок, с которого не брали комиссию сервиса, все деньги проекта отправлялись на оплату труда водителей.

В итоге мы договорились с людьми, настроили процессы и запустились. Затем начали повторять этот опыт и в других городах. Где-то мы договаривались о помощи врачам на уровне регионального минздрава, в других местах на уровне руководства крупных больниц. Волонтёрам мы помогали через благотворительные фонды, которые организовывали поездки для них и своих сотрудников (знакомство с фондами во многом определило нашу дальнейшую работу, но об этом чуть позже).

По сути, за два месяца нам удалось построить сеть транспортировки людей из группы риска или тех, кто помогает людям из группы риска. Бесплатно такое не организовать. Мы вложили 250 млн рублей, которые пошли на переоборудование и регулярную дезинфекцию машин, отладку логистики, оплату поездок и другие расходы. Запустили сайт и форму на нём, чтобы любой желающий мог присоединиться к нам и поддержать проект. Так нам удалось собрать ещё 119 млн рублей. С марта по август на эти деньги мы организовали:

402 тыс. поездок для 12 тыс. врачей в 34 городах;
доставку 56 тыс. продуктовых наборов в 58 городах;
45 тыс. поездок в 104 городах для волонтёров и людей с ослабленным иммунитетом;
13 тыс. поездок для доноров крови.

Это был наш первый, масштабный и разнообразный опыт в благотворительной деятельности. В конце лета Помощь рядом оказался на распутье: сворачивать работу и расходиться по своим проектам или продолжать помогать (и если да, то в каком формате)? Примерно тогда мы уже начали понимать, что нам удалось построить и каким должно быть наше будущее.

Как обновился проект

Будем честны: пандемия это вершина айсберга. И до неё было, и после неё будет огромное число людей, которым каждый день нужна помощь.

Яндекс разбирается в технологиях, но не в социальных проблемах. Мы не знаем, как правильно помогать людям с онкологическими заболеваниями. Или детским хосписам. Или одиноким старикам. Но есть организации, которые разбираются во всём этом лучше нас: это благотворительные фонды и другие НКО. Весной мы глубже узнали, как устроена их работа и с какими задачами они сталкиваются. Многие из этих задач с помощью сервисов Яндекса можно решать быстрее и эффективнее. В наших силах сделать так, чтобы НКО помогли большему числу людей.

Так родилась идея помогать тем, кто помогает. Осенью мы обновили проект Помощь рядом. Он перестал быть временной инициативой по борьбе с коронавирусом и превратился в постоянную социальную программу Яндекса по поддержке фондов, НКО и других социальных проектов. Фонды помогают людям в трудной ситуации, а мы помогаем фондам сервисами и технологиями.

Эту идею нельзя назвать новой. Есть организации, которые давно и успешно помогают фондам. И мы долго не могли сформулировать, а что же полезного мы можем дать. Мы так или иначе нашли бы ответ через какое-то время, но пандемия нас сильно ускорила. В итоге мы сфокусировались на том, в чём Яндекс силён, решили смотреть на социальные стороны всех наших сервисов и работать с вызовами внутри каждого сервиса.

Сейчас мы выстроили работу в трёх направлениях.

1. Сервисы и технологии для помощи НКО

В Яндексе создают сервисы и технологии для решения повседневных задач в самых разных областях. Мы также хотим, чтобы наши сервисы помогали НКО делать работу масштабнее и проще справляться с задачами.

Во-первых, Яндекс организует поездки для подопечных фондов маломобильных детей и взрослых. Их перевозят автомобили из таксопарков-партнёров Яндекс Go. Во-вторых, компания бесплатно предоставляет фондам сервисы для бизнеса: Диск, Трекер, Облако, Телефонию и другие.

Фонд Друзья, наш партнёр и стратегический консультант, и программа Пасека Теплицы социальных технологий верифицируют фонды для участия в проекте и помогают нам разобраться в особенностях благотворительной деятельности.

2. Распространение важной информации

Когда информации не хватает из-за неизвестности часто возникает страх. Мы считаем важным сделать так, чтобы люди не боялись заболеваний и без труда находили ответы на вопросы. К примеру, чтобы родители детей с церебральным параличом знали, как помочь ребёнку, как получить поддержку государства и фондов. Чтобы люди вокруг них не думали, что ДЦП заразен или излечивается психологическим и физическим давлением (к сожалению, таких заблуждений в любом обществе хватает). Чтобы родители знали, какие организации помогают с реабилитацией детей.

Или возьмём тот же инсульт. Он стремительно молодеет. Каждый 10-й из тех, кто пережил инсульт, моложе 44 лет. Человеку с инсультом необходима срочная помощь врачей. Важна каждая минута. И простое знание типичных симптомов инсульта существенно повышает шансы спасти человека. Эту информацию нужно распространять: она способна сохранить множество жизней.

Мы поняли, что Яндекс может помогать и поддерживать фонды информационно. К примеру, многие фонды запустили и ведут сообщества в Кью. Это простой способ создать базу знаний, доступную широкой аудитории. Эксперты отвечают на вопросы, связанные с проблематикой фонда, а дальше люди могут находить ответы самостоятельно в поисковой системе. Это снижает нагрузку на фонд и даёт доступ к информации всем, кто в ней нуждается. Дальше больше.

3. Осознанная системная благотворительность: самое масштабное и долгосрочное направление

Любая финансовая поддержка важна для фондов. Но жертвовать регулярно пусть даже небольшие суммы гораздо полезнее, чем делать это по-крупному, но раз в пять лет. Подопечные фондов нуждаются в поддержке всегда, а не время от времени. И дело не только в объёме средств, но и в планировании. Когда поток стабилен фонд понимает, кому и чем он поможет в будущем.

В России немногие жертвуют средства регулярно. Не потому что не могут (в конце концов, важна любая сумма, рубль в день это не так уж много), а потому что это сложно, неудобно, непонятно.

Мы считаем, что лучший сценарий сделать благотворительные пожертвования удобной, прозрачной привычкой для огромного числа людей, рутиной, польза от которой так же понятна, как, например, от занятий спортом или правильного питания. Только так помощь нуждающимся станет существенно масштабнее.

Недавно у нас родилась идея: а что, если Яндекс как раз и станет тем звеном, которое поможет распространять осознанную благотворительность? Мы создаём сервисы, которыми пользуются миллионы. Мы можем сделать так, чтобы с помощью наших сервисов стало просто и удобно регулярно поддерживать фонды.Чтобы каждый пользователь мог легко стать частью большой социальной помощи.

Команда приложения Яндекс Go первой в Яндексе поддержала эту идею. Теперь в новых версиях приложения можно включить функцию, которая автоматически округляет стоимость поездки на такси в большую сторону до числа, кратного десяти: 251 рубль до 260, 328 рублей до 330 и т. д. Если чек и так круглый, дополнительно ничего не спишется.

Сумма округления поступает в копилку проекта Помощи рядом для благотворительных фондов, которые организуют поездки на такси для маломобильных людей. Яндекс будет постоянно финансово участвовать в этом проекте, сейчас мы удваиваем все округления и пожертвования.

Перечисляя несколько рублей с каждой поездки, вы поможете организовать тысячи поездок в месяц. Это поможем людям посещать врачей, не пропускать реабилитацию, встречаться с друзьями и выезжать, например, в музеи, как мы это сделали в Санкт-Петербурге с благотворительной организацией Перспективы.

Это поможет подопечным наших фондов-партнёров (сейчас это Галчонок, Дом с маяком, ОРБИ, Перспективы, Подарок ангелу, Спина бифида и Хрупкие люди) стать мобильнее. Мы верим, что это существенно повысит качество их жизни.

Помощь рядом молодой проект. Он вырос из инициатив сотрудников и команд Яндекса весной 2020 года в поддержку тех, кто оказался в центре борьбы с пандемией. Когда проект начинался, мы не знали и не умели примерно ничего, разбирались в особенностях благотворительной деятельности вслепую. И конечно, только благодаря помощи фондов-партнёров Друзья, Подарок ангелу и Живой мы так быстро поняли основы и запустили проект.

Сейчас у нас за спиной сотни тысяч организованных поездок для нуждающихся, стратегия подключения сервисов и технологий в помощь фондам, информационная поддержка социально значимых тем. А ещё первое продуктовое решение в Яндекс Go, которое, хочется верить, поможет распространить идею осознанной благотворительности среди широкого круга пользователей. За первый день более 15 тысяч человек включили благотворительное округление в Яндекс Go. Спасибо каждому, кто это сделал!

Останавливаться на этом мы не планируем. Мы будем и дальше искать те точки, где наши сервисы и технологии могут принести наибольшую пользу благотворительным фондам и другим некоммерческим организациям. Если у вас есть идеи, вопросы или предложения пишите нам.

Подробнее..

Кто и за что попал в топ 50 компаний-инноваторов (рейтинг от FastCompany)

10.03.2021 20:17:40 | Автор: admin

Fast Company опубликовали список 50 лучших инновационных компаний на начало 2021 года. Будут ли обижаться на них Apple или гений UI/UX Facebook или нет, но выглядит картина следующим образом.

В оригинальном списке можно раскрыть каждый из пунктов, и прочитать подробности о достижениях для каждой из компаний.

Первая десятка компаний

  1. Moderna тут все понятно: за разработку вакцины, которую можно сравнительно легко перевозить без сверхнизких температур.

  2. Pfizer + BioNTech аналогично, но они были официально первыми (прим. переводчика плюс технология messenger RNA это серьезный прорыв в медтехнологиях, о чем недавно писало издание Массачусетского Университета)

  3. Shopify за возможность легко запустить небольшой интернет-магазин.

  4. SpaceX нечего и комментировать: деньги у Маска есть, азарт есть. Вот и пробует улететь куда подальше с планеты помочь освоению землянами космоса, причем в основном успешно. Место в списке заслуженно, даже странно, что всего лишь 4.

  5. SpringHill Company за возможность создавать и распространять развлекательный контент тем авторам, которым сложно пробиться в индустрию развлечений своими силами.

  6. Epic Games за то, что привнесли в борьбу с Tech-гигантами новый пользовательский опыт. В качестве примера в рейтинге упоминается Fortnite. На сегодня это уже не игра, а целая виртуальная среда, которая живет своей жизнью. В ней проходят даже концерты.

  7. Netflix этот стриминговый сервис попал в список не из-за великолепного контента (табличка Сарказм), а за то, что уделяет внимание интересам аудитории people of colour.

  8. Tock сервис для резервирования и доставки для кафе и ресторанов. Малому и среднему HORECA-бизнесу подобные решения в 2020-2021 помогают держаться на плаву.

  9. Microsoft за активные инновации в организации рабочих мест, за работу над системами экстренного реагирования на природные катастрофы, за ряд экологических инициатив (например, план удалить до 2050 весь углеродный выброс). Я периодически заглядываю в блог и LinkedIn Билла Гейтса, где он активно продвигает экопроекты, поэтому, как и в случае со SpaceX, удивляюсь, почему не более высокая позиция в топ 50.

  10. Graphika аналитическая компания, которая попала в список за активную борьбу с дезинформацией (от выявления манипуляций на выборах до поиска искаженных фактов по COVID-19).

Чтобы не превращать текст в полотно из 50 компаний, выделю еще несколько интересных компаний, некоторые из которых попали в топ благодаря интересным бизнес-моделям. На них был запрос в обществе и рыночных нишах, вот они и выстрелили. Так, Peloton и Zwift активно взялись за ЗОЖ. Обе компании делают упор на велотренажеры и на вовлечение клиентов в домашние тренировки и соревнования.

Другие компании развернулись в сторону локального туризма и вылазок на природу в условиях локдауна. Например, американский сервис бронирования кемпингов Hipcamp. Или компания Getaway, которая предлагает отдохнуть в ультрасовременных одноместных хижинах (cabins) в лесу (как бы это страшно ни звучало). На момент написания этого текста у компании есть 12 локаций в США, где они оборудовали такие места для уединения. Что ж, спрос порождает предложение.

Компания Snap Inc создатель мессенджера Snapchat попала в топ благодаря внедрению миниприложений (mini apps). Это приложения сторонних разработчиков, которые запускаются внутри мессенджера и объединяют социализацию и дистанционный интерактив с коммерческими сервисами и решениями. Выгода обоюдная: поддержка бизнеса и сочетание приятного с полезным для пользователей. Например, виртуальные примерочные (AR) или приложения для совместного обсуждения, какой фильм посмотреть с возможностью сразу купить билеты. Или же миниприложение, которое с помощью Computer Vision позволяет прямо из Snapchat распознавать и идентифицировать объекты реального мира.

Разработчики популярного сервиса для PM Asana попали на 15 место. В данном случае и комментировать нечего: сервис известный, в клиентах у них 89 тыс. компаний и 3,5 млн. пользователей.

Еще одна биотех-компания, которая занимается разработкой COVID-тестов, Seegene, на 20 месте (55 млн. тест-систем, отправленных в 67 стран).

О компании Corning (22 в списке) вы могли слышать уже давно, когда в Hi-Tech новостях обсуждалось их ударостойкое стекло Gorilla Glass. Почему тогда компания в списке за 2020-2021? В прошлом году компания гораздо больше внимания стала уделять не столько защите устройств от падений, сколько защите поверхностей от царапин. Corning неплохо продвинулись в этом направлении, за что и попали в топ.

Есть в списке и еще одна компания, связанная с космосом, кроме детища Илона Маска. Это LeoLabs разработчики радаров для отслеживания объектов на низкой околоземной орбите. Учитывая, что в ближайшие несколько лет количество спутников на орбите обещает перевалить за 50 тыс., компания ввела подписку для клиентов владельцев спутников, которая позволяет отследить, не решил ли их спутник рухнуть в атмосферу Земли. Да и в целом для решения проблемы космического мусора решения компании могут быть полезны.

Есть в списке и несколько компаний, решающих продовольственные проблемы. Они, как правило, занимаются, экономным выращиванием растительных заменителей для молочных и мясных продуктов (Puris и NotCo).

На 43 месте гигант облачных данных Snowflake, чьи инструменты помогают хранить, анализировать и извлекать пользу из огромных массивов данных.

На 45 месте персональный фаворит нашего проекта Make it in Ukraine сервис рассылок и блогов Substack. Когда-нибудь я напишу статью о том, как мы перешли на Substack и сколько нам удалось сэкономить на отказе от излишних дорогих опций. Чаще, пишут наоборот: на что променяли Substack и почему. Да, ему не хватает кастомизации и ряда полезных функций. Но с задачами, которые мы перед ним поставили, он справляется пока хорошо. Так что появлению его в списке мы очень рады.

На 49 месте известная многим видеоплатформа для дистанционного обучения Skillshare. Прошлогодний бум EdTech в цифрах для Skillshare выглядит так: из 12 млн. пользователей четверть пришла за 2020 год. Что неудивительно, учитывая, сколько мы все курсов набрали себе для изучения с весны 2020. Все их изучили? Я нет, честно скажу.

Вместо заключения

Гиганты Google, Amazon и упомянутые в первом абзаце Facebook и Apple не только отсутствуют в топ 10. Они вообще не попали в список. Хороший сигнал и повод задуматься для их менеджмента не идут ли они по накатанной дорожке и не пора ли выступить с новой полезной инициативой?

А какую компанию вы считаете лучшим инноватором? Пишите в комментариях, буду рад узнать ваше мнение.

Подробнее..

Перевод Справедливое моделирование с помощью Fairlearn

18.11.2020 16:23:31 | Автор: admin
Справедливое моделирование это область искусственного интеллекта, которая гарантирует, что на результат машинного моделирования не влияют такие защищённые атрибуты, как пол, раса, религия, сексуальная ориентация и т. д. В последнее время справедливое моделирование привлекло значительное внимание в научном сообществе и промышленности, ведь сейчас многие решения принимаются на основе результатов от моделей машинного обучения.

В мире, где люди борются за равенство, обеспечение справедливого поведения моделей должно быть главным приоритетом. Сегодня специально к старту курса Машинное обучение представляем вам перевод статьи, в которой показано, как с помощью Fairlearn можно выявить и решить проблему недобросовестного поведения моделей машинного обучения.





Различные организации, такие как Google, IBM и Microsoft, разработали собственные инструменты с открытым исходным кодом, которые могут использоваться для справедливого моделирования. Здесь я продемонстрирую инструмент Fairlearn, разработанный компанией Microsoft. В конце статьи статьи даётся ссылка на блокнот. Если вы хотите запустить код, я настоятельно рекомендую вам использовать его. Здесь даётся только высокоуровневый обзор кода.

Данные


Для демонстрации Fairlearn поработаем с набором данных о доходе взрослого человека. В машинном обучении этот набор используется очень часто. Обычно целевой переменной в наборе данных является переменная дохода, которая обозначает, зарабатывает ли человек более или менее 50 тысяч в год. В целях повествования я буду рассматривать другую целевую переменную. В качестве целевой переменной я возьму данные о том, выплатил ли человек кредит. Я создам эту целевую переменную очень просто. В случае если наблюдение составило более 50 k, предполагается, что он может вернуть кредит. Иначе нет.

df.loc[:, "target"] = df.income.apply(lambda x: int(x == ">50K")) # int(): Fairlearn dashboard requires integer targetdf = df.drop("income", axis = 1) # drop income variable to avoid perfect prediction

Построение простой модели


В базе данных содержится более 48 000 наблюдений. Для простоты я не буду делать никакого выделения переменных и просто включу в модель все переменные. Я также не буду разбивать данные на тренировочный и тестовый наборы, поскольку это только демонстрация. Однако есть один шаг, который мне нужно сделать. Некоторые из переменных в наших данных (т. е. race и gender раса и пол) могут рассматриваться как чувствительные или защищённые признаки. Лучше не включать эти переменные в набор, потому что я не хочу, чтобы модель принимала их во внимание. Однако я сохраню их в новой переменной, потому что они понадобятся в будущем.

race = df.pop("race") # Pop function drops and assigns at the same timegender = df.pop("gender")


Удаление защищённых признаков из модели часто называют справедливостью через неосведомлённость.

Для демонстрации я буду использовать в прогнозах простой классификатор дерева принятия решений. Модель прогнозирует, сможет ли человек вернуть кредит.

from sklearn.tree import DecisionTreeClassifierclassifier = DecisionTreeClassifier(minsamples_leaf=10, max_depth=4) # parameters have not been tunedclassifier.fit(df, target)# Note that we are predicting using the same data as we used for training, this is just for the sake of example# Never do this in real lifeprediction = classifier.predict(df)

Для правильной оценки работы модели необходимо знать классовый дисбаланс. В нашем случае 76 % людей не в состоянии вернуть кредит. Я не буду обучать модель с непропорционально небольшим количеством примеров основного класса или добавлять примеры в класс меньшинства, чтобы избавиться от дисбаланса этого класса.

Выявление несправедливости в модели


Для выявления несправедливости в моделях машинного обучения можно использовать две стратегии:

  1. Набор данных может быть разделён на основе защищённого атрибута, а затем можно рассчитать метрики производительности для разделения (например для мужчин и женщин). Большая разница в показателях производительности может быть признаком несправедливости.
  2. Можно вычислить специальные метрики справедливости, такие как демографический паритет и выравнивание шансов.

Первый метод реализован в Fairlearn функцией group_summary_. Эта функция требует в качестве входных данных:

  1. Метрику, которую вы хотите использовать, загружаемую из sklearn.
    Истинные значения.
    Прогнозы вашей модели.
    Чувствительные признаки.

from fairlearn.metrics import group_summaryfrom sklearn.metrics import accuracy_scoregroup_summary(accuracy_score , target, prediction, sensitive_features = gender)

Эта функция возвращает три значения: общая точность (0,84), точность для женщин (0,93) и точность для мужчин (0,80). В нашем примере имеется существенная разница между точностью для мужчин и женщин, которая может быть признаком несправедливости.

Как упоминалось во втором методе, в Fairlearn также применяются более специальные метрики, которые можно использовать для оценки справедливости модели. Наиболее часто используемые показатели справедливости демографический паритет и выравнивание шансов. Понятия описываются в этой статье. В Fairlearn эти метрики реализованы функциями demographic_parity_difference, demographic_parity_ratio и equalized_odds_difference:

from fairlearn.metrics import demographic_parity_difference, equalized_odds_difference, demographic_parity_ratiodpd = demographic_parity_difference(target, prediction, sensitive_features = gender)eod = equalized_odds_difference(target, prediction, sensitive_features = gender)dpr = demographic_parity_ratio(target, prediction, sensitive_features = gender)print("Demographic parity difference: {}".format(round(dpd, 2)))print("Equalized odds difference: {}".format(round(eod, 2)))print("Demographic parity ratio: {}".format(round(dpr, 2)))

Чтобы принять решение о том, справедлива ли модель, нам необходимо определить пороговые значения этих метрик. Корпорация Майкрософт не указывала эти значения в Fairlearn. К счастью, IBM указала их в Fairness 360 tool. Вот они:

  • Демографическая разница в паритете: если абсолютное значение меньше 0,1, то модель можно считать справедливой.
  • Уравновешенная разница шансов: если абсолютное значение меньше 0,1, то модель можно считать справедливой.
  • Разница в равных возможностях: если абсолютное значение меньше 0,1, то модель можно считать справедливой.
  • Коэффициент демографического паритета: справедливость этого показателя составляет от 0,8 до 1,25.

В нашем случае разница в демографическом паритете (0,15) и соотношение (0,3) указывают на несправедливость, в то время как разница в выравнивании шансов (0,08) не указывает на несправедливость. Конечно, расчёт всех этих мер для всех ваших моделей может потребовать много программирования. Вот почему Fairlearn также включает в себя дашборд FairlearnDashboard, позволяющий графически исследовать справедливость модели машинного обучения. Дашборд требует следующих входных данных:

  1. Истинный результат.
  2. Прогноз.
  3. Чувствительный признаки.
  4. Имя чувствительного признака.

from fairlearn.widget import FairlearnDashboardFairlearnDashboard(ytrue = target,                   y_pred = prediction,                   sensitivefeatures = gender,                   sensitive_feature_names = ["gender"])

На дашборде отображаются эти экраны:


Лендинг дашборда

После лендинга пользователь вынужден принять два решения. Сначала необходимо выбрать, какой чувствительный признак вы хотите изучить.


Какой выбран чувствительный признак?

В нашем случае я буду использовать только переменную gender. Далее пользователю необходимо определить используемую метрику производительности.


Какой показатель эффективности?

Несмотря на классовый дисбаланс, я всё равно буду использовать точность как метрику производительности, так как это метрика, которую все понимают. После того как пользователь прошел по интерфейсу, модуль начинает вычислять различные метрики, которые могут использоваться для оценки справедливости модели:


Результаты

Верхняя часть дашборда показывает диспропорции в производительности. В этой части показано, какие ошибки алгоритм допускает и для мужчин, и для женщин. На примере видно, что модель чаще недооценивает (не даёт кредит, даже если человек может вернуть деньги) мужчин, чем женщин. В нижней части дашборда показана диспропорция в прогнозах для мужчин и женщин. График показывает, что процент отбора (процент положительного прогноза или часть людей, которая получает кредит) для мужчин намного выше, чем процент отбора для женщин. Оба вышеперечисленных момента свидетельствуют о проблемах несправедливости в модели.

Разрешаем несправедливость


Как только будет выявлена несправедливость, внимание должно быть сосредоточено на избавлении от нее. Один из методов в Fairlearn Reduction_ (редукция). Он имеет три параметра:

  1. Base_estimater: функция оценки (обычно поставляется со sklearn). Здесь использовался классификатор дерева решений.
  2. Ограничения: ограничения в отношении справедливости, которым должна удовлетворять модель. В fairlearn мы имеем (для бинарной классификации) ограничения DemographicParity, TruePositiveRateParity, EqualizedOdds и ErrorRateParity. Это мягкие ограничения.
  3. Чувствительные признаки: какой чувствительный признак вы хотите принять во внимание (в методе обучения).

В Fairlearn два метода редукции: ExponentiatedGradient или GridSearch. Я решу проблему несправедливости с помощью определённых в Fairlearn методов. В нашей реализации используется ограничение демографического паритета, а также ограничение выравнивания шансов:

from fairlearn.reductions import ExponentiatedGradient, DemographicParity, EqualizedOddsclassifier = DecisionTreeClassifier(min_samples_leaf=10, max_depth=4)dp = DemographicParity()reduction = ExponentiatedGradient(classifier, dp)reduction.fit(df, target, sensitive_features=gender)prediction_dp = reduction.predict(df)

Прогнозирование через редукцию в Fairlearn следует тому же синтаксису, что и пакет sklearn. Однако есть одна разница: чувствительные признаки должны быть переданы в метод обучения:

eo = EqualizedOdds()reduction = ExponentiatedGradient(classifier, eo)reduction.fit(df, target, sensitive_features=gender)prediction_eo = reduction.predict(df)

После того как я сгенерировал прогнозы с использованием ограничений, определённых в Fairlearn, я могу сравнивать различные модели с помощью дашборда Fairlearn. Теперь, вместо того чтобы подавать только прогнозы дерева решений, я также предоставляю ограниченные прогнозы с помощью словаря:

FairlearnDashboard(y_true = target,                   y_pred = {"prediction_original" : prediction,                             "prediction_dp": prediction_dp,                             "prediction_eo": prediction_eo},                   sensitive_features = gender,                   sensitive_feature_names = ["gender"])

Теперь на дашборде отображается такой экран:


Сравнение моделей

Приведённый выше график позволяет пользователю сравнивать исходную и ограниченную модели. На оси Х указывается общая точность моделей. По оси Y даётся расхождение в прогнозах или в точности. Нажав на одну из точек, пользователь может выбрать модель для дальнейшего исследования. Когда мы на примере смотрим на диспропорции в прогнозах для модели, использующей ограничение демографического паритета, мы видим, что коэффициент отбора для мужчин и женщин примерно одинаков:


Коэффициенты отбора теперь схожи

Другой реализованный в Fairlearn для уменьшения несправедливости метод так называемый ThresholdOptimizer. Этот оптимизатор определяет оптимальный порог, используя компромисс между целями (например оптимизацию точности) и ограничение (например демографический паритет). Требуется только функция оценки. По умолчанию она имеет целью оптимизацию оценки точности, ограничением по умолчанию является DemographicParity. Подробности о настройке этих параметров здесь.


Результат работы оптимизатора пороговых значений

Когда результаты оптимизатора пороговых значений также передаются на дашборд, можно увидеть, что этот оптимизатор избавляется как от несоответствия в точности, так и от несоответствия в прогнозах, жертвуя лишь небольшой долей общей точности.

Вывод


Пакет Fairlearn позволяет пользователю быстро оценивать и устранять несправедливость в моделях машинного обучения. Пользователь может воспользоваться функциями, определёнными в пакете, или сделать это с помощью визуального интерфейса. Оценивая и устраняя несправедливость в моделях машинного обучения, практики могут предотвратить дискриминацию людей в своих моделях.

Ссылка на блокнот

image



Рекомендуемые статьи


Подробнее..

BitClout. Котики осваивают новую криптовалюту и соцсеть

28.03.2021 18:07:46 | Автор: admin

Добрый день, дорогие друзья.

Первое европейское котокафе и приют нового типа Республика Кошек, благодарит нашего друга писателя Алекса Кимена, за предоставленную возможность рассказать в его блоге на Хабре о нашем скромном опыте по освоению новой социальной сети и криптовалюты BitClout.

На днях в сети появился новая соцсеть на базе блокчейна с возможностью монетизации и инвестирования. Мы вчера потратили весь день, пытаясь понять, что это такое и какую пользу из этого может извлечь социальный проект, подобный нашему.

Так же мы подскажем, как можно зарегистрироваться в этой социальной сети и немного поэкспериментировать.

И так, что же такое BitClout?

Это соцсеть, более всего похожая на Твиттер. Но с некоторыми важными особенностями: каждый пользователь этой сети одновременно является держателем ее криптовалюты, инвестором в блогеров, на которых он подписан и создателем своей собственной монеты.

Вот ссылка на whitepaper BitCloud на английском языке: https://drive.google.com/file/d/1nUA7ysEKhZntwpTPHR4JXTOo8P1hlex4/view?usp=sharing

Для работы в этой сети вам необходимо владеть минимальным объемом монет самого BitClout. Рыночная цена монеты на данный момент около $148. Для базовых действий с аккаунтом переименование, постинг и т.п. вам нужно владеть некоторой минимальной суммой. Обычно достаточно иметь эквивалент в $0.01.

Изначально, вы имеете в своем распоряжении именно BitClout (так же для понимания пишется цена в $).

Эти деньги вы можете:

1) Дарить

2) Покупать на них монеты других пользователей

Помимо этого, вы можете создать свою монету и начать ее продавать. Цена на вашу монету определяется по некоторой математической модели и зависит от вашей популярности в BitClout (алгоритм не понятен. Скорее всего на него влияет число подписчиков, лайков, покупателей и т.п. активностей)

Таким образом, у пользователей появляется гипотетическая возможность привлечь средства для своих проектов. Способы получения средств:

1) Продажа своей монеты. Чем больше у вас подписчиков, покупателей и т.п. тем выше стоимость вашей монеты. Таким образом имеет смысл развивать свой блог. Напомним, что BitClout соцсеть и там можно постить фотографии, ссылки и сообщения. Чем больше у вас подписчиков, тем выше цена вашей монеты и общая ваша капитализация. В перспективе это можно монетизировать через рекламные записи в вашем блоге.

2) Комиссия за продажу монету (чуть дальше расскажем подробнее)

3) Спекуляции и инвестиции в свою монету. Вы можете покупать и вашу монету, увеличивая таким образом вашу капитализацию. Рост цены вашей монеты может сделать ее привлекательной, для других пользователей.

4) Инвестирование или спекулятивная покупка монет тех пользователей, популярность (и цена монет) которых, как вы полагаете, будет расти.

Но, довольно слов. Попробуем показать, как это выглядит по шагам.

1) Следует учесть, что на данный момент пользователям из некоторых регионов (США, Англия и каких-то других - точного списка нет, но наверняка это развитые страны) при регистрации дается бонусная сумма BitClout около $7.4. Если у вас есть такая возможность, регистрируйтесь через VPN от этих стран и укажите телефонный номер этих стран, для получения бонуса. Важно одновременно использовать ВПН и телефонный номер целевой страны. По отдельности бонус не начисляется. Телефон можно использовать только один раз. Если вы укажите американский телефон, но войдете с российского IP (или наоборот) - вы не получите бонус.

2) Регистрация возможна только по специальной ссылке: https://bitclout.com/?password=e6c71ab9a53127276d522e66f7856ffb50a1e6a9e9332fe42d5ace6745a3eddc

3) ОЧЕНЬ ВАЖНО: ЗАПИСАТЬ 12 КЛЮЧЕВХ СЛОВ (СИД-ФРАЗУ) ПРИ РЕГИСТРАЦИИ. БЕЗ ЭТОЙ ФРАЗ В ПОТЕРЯЕТЕ ДОСТУП К АККАУНТУ!!!

4) При регистрации можно пропустить ввод телефона и электронной почты. Это можно сделать позднее.

5) Когда вы пройдете 4 шага регистрации, система скажет, что без некоторой суммы, вы не сможете создать профиль и предложит вам купить BitClout.

На данный момент это можно сделать лишь отправив ваши биткойны на указанный кошелек.

ВАЖНО: сейчас отсутствует системы вывода денег обратно с BitClout!!! Отправив туда ваши деньги, вы не сможете сейчас их получить назад! Эту функцию обещают добавить, но сейчас вывода денег нет!

Альтернативный вариант получить стартовый бонус, привязав телефон. Но только для некоторых стран: США, Англия + возможно другие. На номера РФ бонусы не дают.

6) Что делать, если у вас нет телефона в США, и вы не готовы отправлять в систему ваши биткойны?

Ради этого и написана эта статья. Уже на этом этапе вы получаете публичный ключ. Он доступен при нажатии кнопки Wallet. Если вам интересно поиграть с этой соцсетью, но у вас нет возможности отправить туда деньги, вы можете в комментариях к этому сообщению опубликовать публичный ключ, полученный вами на этом этапе.

Мы постараемся отправить туда $0.01. Этого будет достаточно, для активации аккаунта. Так же мы призываем всех читателей, у кого есть возможность получить бонус поддержать тех пользователей, кому нужна минимальная сумма для активации аккаунта.

7) После получения денег у вас появится возможность заполнить ваш профиль. При этом важно обратить внимание на такой параметр, как Founder Reward Percentage процент вознаграждения пользователя. Это сумма (в BitClout) которую вы будете получать, каждый раз, когда кто-то покупает вашу монету. Она будет аккумулироваться на вашем счете BitClout см. верхний правый угол. Если вы укажете 0 то вы не получите ничего. Если вы укажете 100 то вы получите все, а покупатель ничего. По умолчанию стоит 10%. Тут важно соблюсти баланс. Но окончательный механизм работы и стратегия использования этого показателя пока окончательно неясна.

Ну, а далее вы получаете возможность публиковать ваши посты, подписываться на других пользователей. Ставить лайки. Покупать монеты. Огромное поле для экспериментов и творчества.

Мы будем очень благодарны вам, если вы подпишетесь на наш блог в BitClout. И поддержите нас.

О нас:

"Республика кошек" в Санкт-Петербурге первое в России котокафе и центр Котокультурной столицы страны с 2011 года.

Место для творческих персон Петербурга, любителей кошек, туристов;

Рупор и витрина для бездомных кошек, своеобразная альтернатива привычным формам приютов;

Ежегодно более 700 животных находят здесь новый дом, заведение посещает порядка 100 тысяч петербуржцев и гостей города;

Площадка для привлечения внимания общественности к проблемам бездомных животных и гуманного к ним отношения;

BK: https://vk.com/cats_republic

FB: https://www.facebook.com/CatsRepublicRus

Наш публичный ключ в BitClout:

BC1YLiGvMGoARwCaXgtxCTB48mSpeCZnboQS34UgoMsr73Dv1m5koe2

Наш юзернейм в BitClout: CatsRepublic

Большое спасибо за вашу поддержку!


Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru