Русский
Русский
English
Авторизация
Ip-адрес
Восстановление пароля
Регистрация
Статистика
Реклама

Спам и антиспам

Анонс как создаются Highload проекты на PHP

27.07.2020 16:04:10 | Автор: admin


Вы просили, и мы сделали! Теперь наши прямые эфиры проходят во всех соцсетях сразу завтрашний стрим можно будет посмотреть на нашем youtube-канале, в ВК, Facebook и в Инстаграме



Завтра, 28 августа, в 20:00 пройдет прямой эфир с Александром Высоцким ведущим PHP-разработчиком в лондонском офисе Badoo, работает в команде антиспама. Ну что, готовы поговорить про PHP?



Саша ответит на ваши вопросы, а также расскажет:

  • Как PHP позволяет быстро разрабатывать масштабируемый проект и почему он подходит для решения именно их задач.
  • Почему Badoo использует не микросервисы, а монолит.
  • Как релизиться два раза в день, когда у тебя два продукта на нескольких платформах и сотни версий клиента.
  • О специфике работы инженера в антиспам-команде: ML, очень много данных и создание инструментов для других команд.
  • PHP и MySQL: что делать для оптимизации производительности бэкенда.
  • Как перевезти в Лондон жену, чтобы она поступила в университет, а не скучала дома. Налоги, местная медицина, жилье на двоих.
  • Что помогало ему каждый раз адаптироваться на новом месте.
  • Как инженеры Badoo движут русскоговорящее PHP-сообщество: конференции, митапы, блог и неформальные сходки разработчиков.



Вы можете задавать вопросы к Александру прямо здесь в комментариях, он ответит на них во время прямого эфира.

Как не пропустить эфир?



Выбирайте платформу, которая вам нравится


Нажмите кнопку Напомнить

До встречи в эфире!

Подробнее..
Категории: Блог компании ruvds.com , Интервью , It-инфраструктура , Высокая производительность , Php , Спам и антиспам , Highload , Badoo , Ruvds_эфиры

Как создаются Highload проекты на PHP расшифровка

08.08.2020 12:09:15 | Автор: admin


28 июля в нашем инстаграм-аккаунте и ютубе прошел прямой эфир с Александром Высоцким ведущим PHP-разработчиком в лондонском офисе Badoo, который работает в команде антиспама. Саша рассказал о том как создаются Highload проекты на PHP, своей жизни в Лондоне и, конечно, про Badoo.

***

Меня зовут Высоцкий Александр, я работаю в компании Badoo ведущим PHP-разработчиком.
Мы делаем Badoo и Bumble это онлайн-платформы для знакомств. У нас 500 миллионов пользователей по всему миру. В команде 300 человек, у нас 2 офиса разработки в Москве и Лондоне, 20 open source-проектов и множество других внутренних инструментов.

Я родом из Саратова, там же получил профильное образование. Я закончил специалитет и аспирантуру на Факультете компьютерных наук и информационных технологий СГУ. К моменту окончания аспирантуры успех поработать на позиции backend- разработчика в разных областях, от туристической сферы до игр. В середине 2016 основной проект завершился, и передо мной возник вопрос: что делать дальше искать что-то новое в Саратове, переехать в Москву или Санкт-Петербург или податься в зарубежные компании? Тогда я уже знал о Badoo, и сделал apply на открытую позицию в лондонский офис. Правда, мне не хватило опыта и знаний, чтобы получить offer, но параллельно мне пришли предложения о работе из Германии и Нидерландов, и я решил вместе с супругой переехать и работать в немецкой компании. Полтора года жили в Лейпциге это город в Саксонии, в десятке крупнейших городов Германии. Я там работал над туристическими решениями. Однако желание работать в Badoo не пропало, и я подался на открытую позицию еще раз, через год. После нескольких интервью по телефону и одного on-site мне сделали offer. В начала 2019 года я релоцировался уже в Лондон.

Я хочу рассказать, каково работать на позиции backend-разработчика в Badoo, в условиях двух релизов в день, реального highload и миллиона строк кода, как адаптироваться к жизни и работе за границей и сохранить при этом семью.

Насколько бесшовен deploy в условиях монолитности?


Ответ на этот вопрос можно разделить на две части. Первая техническая реализация нашего CICD-pipeline, ее хорошо описал мой бывший коллега Юрий Насретдинов в своем докладе на HighLoad (5 способов deploy PHP-кода в условиях highload). Я его рекомендую посмотреть. Если коротко у нас есть несколько сотен серверов, которые обслуживают запросы пользователей. При deploy мы раскладываем только изменения в репозитории и атомарно переключаем symlink. Вторая проверка того, что deploy не разломает нам production. Любой код перед выкладкой проверяется с помощью unit, интеграционного и UI-теста, а также статическим анализатором, на предмет явных проблем. У нас большой и профессиональный QA-отдел, позволяющий успешно релизить 2 раза в день.

Используете ли DDD или другие архитектурные паттерны?


DDD это Domain Dream Design. Это не архитектурный паттерн скорее, а методология. Я бы не сказал, что у нас используется один конкретный подход, скорее комбинация из нескольких. Насчет паттернов в backend для решения задач используется несколько паттернов проектирования, я бы хотел выделить это подробно: наш отдел их активно разрабатывает, и они помогают нам эффективно решать задачи. Мы активно используем реализации [5:17 ???], у нас есть очень много очередей, мы отправляем миллионы событий, которые обрабатываются соответствующими консумерами. Также среди активно используемых паттернов есть модуль: большая часть нашего кода разбита на отдельные связанные инстансы, которые взаимодействуют через ограниченный открытый API.

Какие фреймворки используются?


У нас свой, внутренний фреймворк, мы не используем сторонние открытые решения.

Как PHP позволяет быстро разрабатывать масштабируемый проект, и почему он подходит для решения именно этих задач?


Объемный вопрос, я его разобью на несколько частей.

Безусловно, PHP это отличный инструмент, который позволяет нам решать задачи web-разработки. Но отношение к нему в сообществе неоднозначно, и это связано с его репутацией. С самого появления PHP бытовало мнение, что на нем очень легко писать плохой код но, по моему мнению, низкий порог входа не является недостатком. Наоборот, это позволяет приобщить к разработке широкий круг людей. Кроме того, он действительно позволяет хорошо решать задачу разработки web-приложений, и с каждой новой версией язык улучшается. PHP 7 сделал огромный шаг вперед по части performance и удобства разработки. У нас в блоге на Хабре есть отличная статья о том, как переход на эту версию позволил нам высвободить значительную часть ресурсов.

Популярность PHP в последнее время падает, и это закономерно появляются другие инструменты и языки, которые конкурируют с PHP, и многие разработчики на них переключаются. Но у нас принято подбирать инструменты под конкретную задачу, и PHP с задачей справляется.

Почему Badoo использует монолит, а не микросервисы?


Это довольно холиварный вопрос, сообщество расколото на два лагеря по этому поводу. Ни для кого не секрет, что у нас используется монолитная архитектура, и за время существования проекта мы научились бороться с минусами этого подхода и использовать все его преимущества. Кроме того, у нас есть набор сервисов (на Go, PHP, C++), которые мы активно используем в повседневной работе. Если понимать вопрос как стоит ли нам бросать все и применять все наличные ресурсы для переписывания существующего монолита под микросервисную архитектуру я считаю, что нет. У нас есть бизнес-задачи, с которыми существующее решение успешно справляется. Если будет такая необходимость, мы это сделаем, но, как я уже говорил, мы выбираем инструмент в соответствии с решаемой задачей.

Как релизиться 2 раза в день, когда у тебя 2 продукта на нескольких платформах и сотни версий клиента?


У нас очень короткий релиз-цикл и, действительно, два deploy в день. Нам очень важно поддерживать качество работы нашего продукта на высоком уровне мы не хотим выкатывать в production баги/фаталы. Поэтому на первое место выходит тестирование фичей, которые катятся на production. Я уже упоминал о том, что у нас есть большой набор инструментов для тестирования каждого релиза, и это позволяет нам выкатывать минимальное количество багов/фаталов на production. Кроме того, у нас есть подход, который связан с тем, что каждый backend-разработчик отвечает и заинтересован в том, чтобы его фича на backend запустилась без каких-либо дополнительных действий со стороны его отдела и со стороны frontend и mobile-команд. Может быть такая ситуация, когда у тебя есть тикет на разработку backend-фичи, ты ее релизишь на production, но она реально начинает использоваться только через какое-то время. И тогда к тебе приходят QA-инженеры и спрашивают, почему она не работает. Поэтому мы на стороне backend при релизе функционала покрываем его максимальным количеством тестов, моков и QAP, чтобы быть на 100% уверенными в том, что все, что мы катим на 100% рабочее.

Стоит ли идти в крупную компанию из фриланса на меньшую ЗП, если до этого не было опыта работы в крупной компании?


Дисклеймер: вы можете зайти на наш сайт tech.badoo.com, где мы выкладываем текущие вакансии. Может быть, попадется что-то по душе, и вы попробуете сделать apply.

Тут вопрос, скорее, не про зарплату, а про процессы, связанные с переходом в крупную компанию. Если заниматься фрилансом значит, ты сам для себя устанавливаешь рабочий день и строишь рабочие процессы, которые тебе позволяют доводить задачи до конца. В компании все по-другому: жесткие дедлайны, гораздо больше коммуникаций как между коллегами в команде, так и между командами. Нужно подумать, подходит ли такой темп и формат работы для тебя, и принимать решение, исходя из этого. А насчет зарплаты надо смотреть на перспективу. Если сейчас отказаться от большой зарплаты на фрилансе и перейти на меньшую, в компанию, то впоследствии зарплата может вырасти сильнее благодаря опыту в индустрии.

Расскажите, были ли такое, что production не выдерживал highload и как с этим боролись?


На моей памяти не было. У нас опытные инженеры, наш продукт разрабатывается уже более 15 лет, и у компании огромный опыт именно highload-разработки. Мы нацелены на то, чтобы performance наших приложений был на максимуме.

Какие плюшки в Badoo относительно мелких компаний?


Об этом лучше прочитать на нашем сайте, там лучше написано, чем я могу перечислить. Но основные моменты, которые не могут не радовать это DMS, компенсация фитнеса, завтраки-обеды-ужины в компании, качественная рабочая техника.

Чем вы тестируете API?


У нас есть unit-тесты и целый фреймворк для запуска большого количества тестов параллельно, с минимальными затратами времени. Подробно об этом можно прочитать в статье Владимира Янца в нашем блоге, он хорошо и подробно описал эту тему. Если говорить о UI-тестах мы используем Bash для их запуска, чтобы проверять корректность работы UI.

Расскажи о специфике работы инженера в антиспам-команде. Machine learning, очень много данных, создание инструментов для других команд.


Да, я работаю в команде антиспама. Исходя из названия, может показаться, что мы занимаемся одним только антиспамом, но это далеко не так. Наша цель обеспечить самый лучше экспириенс от использования наших приложений. Для нас очень важна задача защиты пользователя, и на это выделяется большое количество ресурсов и усилий.
Если обобщить, мы занимаемся борьбой с недоброжелательными юзерами: теми, кто рассылает спам, занимается мошенничеством и портит опыт от использования приложений. Мы активно используем ML. Я, конечно, не могу вдаваться в детали, чтобы не облегчать жизнь спамерам, но вот несколько примеров.

У нас есть модель для детекта spam/scam. Мы сделали тулзу для анализа мобильного трафика для параллельной команды. Также у нас в компании используются нейросети для жестовой фото-верификации и при отправке непристойных фотографий в мессенджере. Недавно наши коллеги запустили т/н dick pic detector для защиты от нежелательного контента в личных сообщениях (пользователь может выбирать, хочет ли он получать такой контент).

PHP и MySQL что делать для оптимизации производительности backend?


Здесь затрагивается стек, который используется в компании, и производительность, поэтому я также разобью ответ на две части.
Насчет стека: благодаря тому, что в Badoo большое количество отделов и команд, мы используем максимально широкий набор технологий начиная от PHP, MySQL, Nginx, Go, C++ и заканчивая Tarantool, LUA и Scala. Каждая команда выбирает инструмент для эффективного решения поставленной задачи. Так как мы работаем в условиях highload и обрабатываем десятки тысяч запросов в секунду, критичным становится вопрос performance нашего backend.

Теперь стоит упомянуть об инструментах, которые были созданы внутри компании и были выложены в open source. Первый инструмент это Pinba (PHP is Not a Bottleneck Anymore). Это инструмент для сбора статистики и мониторинга производительности приложения без импакта на его performance, и для представления собранных данных в human-friendly виде. Следующий Codeisok: инструмент для управления git-репозиториями и проведения code review. Мы активно юзаем нашу внутреннюю наработку, и перед тем, как фича переходит в master, мы применяем лучшие практики code review (о них тоже можно прочитать в нашем блоге), чтобы до production доезжал максимально эффективный код. Еще один инструмент, который позволяет нам трекать performance каждого отдельного участка кода это LifeProf: он позволяет в автоматическом режиме профилировать все запросы. Все эти инструменты (и даже больше) можно найти в нашем Github-репозитории.

Как перевести в Лондон жену, чтобы она поступила в университет, а не скучала дома? Налоги, местная медицина, жилье на двоих.


Очень широкая тема. У меня есть опыт жизни в Германии и Англии, и он отличается, но я расскажу про Лондон.
Переезд это испытание. Ты выходишь из привычной среды, рядом с тобой нет друзей, родственников, родителей, с которыми ты привык общаться каждый день. Это определенный удар для тебя и для супруги, для семьи в целом. Тут важно найти выход из этого состояния. Рецепт, который нашли мы это максимально быстрая интеграция в новое общество. В Германии очевидным барьером был язык мы всегда учили английский, а тут предстояло влиться в немецкое общество; это требовало усилий, и было стрессово, но за 1.5 года жизни в Германии мы смогли достигнуть высокого уровня языка, уча его каждый день. В Лондоне такой проблемы не стояло, и опыт жизни в иностранном государстве уже был.
Компания Badoo оказывала максимальную поддержки при переезде в вопросах поиска первой квартиры, в общении с налоговой. Это позволяло легко влиться в жизнь в Лондоне.

Налоги: в Англии прогрессивная шкала, доход делится на группы по возрастанию, и с каждой группы снимается своя ставка.
Медицина это еще один холиварный вопрос. Кто-то говорит, что с ней все в порядке, кто-то не согласен. У меня был положительный опыт.
Поиск жилья это отдельная история. Сложно найти хорошее жилье, его слишком быстро разбирают; кроме того, перед тем, как получить квартиру внаем, нужно пройти определенную проверку. В моем случае были даже звонки в Германию тем людям, у которых мы снимали жилье спрашивали, насколько я хороший квартиросъемщик.

Моя супруга всегда хотела учиться на дизайнера, и планирует поступать. Здесь мы нашли курсы, которые подошли; она как раз учила язык и сдавала тест IELTS, чтобы поступить на бакалавриат интерьерного дизайна. Очень широкий набор учебных заведений, но нужно помнить, что для иностранцев стоимость обучения в несколько раз выше, чем для местных.

Как контролировать усилие, усидчивость, самомотивацию, прокрастинацию?


Не секрет, что из-за пандемии большая часть IT-компаний перешла на работу из дома. Для меня было сложно перестроиться на другие рельсы, но я выделил для себя несколько моментов.

Во-первых, нужен жесткий контроль рабочего времени. Можно сообщить всем коллегам, что с 9 до 18 ты работаешь и доступен во всех мессенджерах, а вне этого времени не отвечать на запросы. К этому все относятся с пониманием. Когда ты работаешь из дома, сложно разделить работу и семью, но для сохранения психологического настроя и отношений в семье это очень важно.
Самомотивация и прокрастинация. Очень многие статьи на Хабре говорят, что прокрастинация это нормально, но, когда ее много это плохо. Когда мне попадается большая задача, я делю ее на много маленьких, и тогда новая страшная фича уже не кажется страшной, и ее можно без проблем зарелизить.

Используете ли вы ORM или прямое взаимодействие с хранилищем? Почему?


Я уже упоминал, что у нас свой собственный фреймворк. Мы используем собственную реализацию ORM.

В Штатах офис не планируете?


У нас есть офис в США, там хостится Bumble в городе Остин, штат Техас. Но там нет инженерной команды, и пока неизвестно, будем ли мы расширяться.

Что помогало адаптироваться каждый раз на новом месте?


Главная поддержка всегда находится внутри семьи. В нашем случае мы с супругой поддерживали друг друга, и это помогло нам преодолеть все первоначальные трудности. Кроме того, мне каждый раз везло с командой у меня очень крутые коллеги, они всегда поддерживают и слово, и делом, делятся опытом, на первых порах могут вместе с тобой сходить и решить проблему. В общем, хорошая семья и хорошие коллеги это на вес золота.

Как инженеры Badoo движут русскоговорящее PHP-сообщество? Конференции, митапы, блог, неформальные сходки.


Badoo активно проводит и участвует в большом количестве профильных событий. Это заложено в культуре компании и в культуре наших инженеров. Разработчики постоянно делятся наработками и знаниями на внутренних и внешних митапах, встречах и конференциях.
У нас есть Badoo PHP Meetup: два раза в год, в московском офисе. На последних встречах было около 250 участников. Мой коллега Владимир Янц, о котором я уже говорил, развивает неформальные встречи в Москве BeerPHP Moscow. У него уже есть последователи в Санкт-Петербурге, Саратове и других городах. Формат, конечно, заимствован у аналогичных митапов BeerJS, но это все равно очень круто в неформальной обстановке пообщаться с единомышленниками, коллегами и просто чуваками из индустрии.

Инженеры Badoo регулярно входят в состав программного комитета единственной PHP-конференции в России, PHP Russia. В этом году ее онлайн-часть стала международной и бесплатной для всех участников, благодаря нашей компании.
Также у нас есть блоги на Хабре и Medium, где мы делимся всеми наработками (не только PHP).

Как скалируются разные куски монолита под нагрузку?


Хороший вопрос в продолжение темы о монолите и микросервисах. У нас в блоге выложена отличная презентация о performance и о том, как с архитектурной точки зрения построен наш backend я расскажу кратко. У нас есть около 600 серверов, которые обрабатывают все запросы от клиентов, и на них возложен наш монорепозиторий. При таком подходе мы обладаем некоторой гибкостью в скейлинге, добавляем новые тачки, вкладываем код и они готовы к использованию.

Расскажите подробнее о самописном фреймворке Badoo на основании чего он реализован и на что больше похож?


Этим занимается так называемая команда платформы очень крутые ребята, которые делают backend для backend и поддерживают основную часть backend-разработчиков. Они дают нам много крутых плюшек. Я уже отчасти об этом говорил например, они реализуют тот самый функционал очередей, которые широко используется в компании; они также делают облачный сервис для наших нужд.

Я бы не сказал, что он на что-то конкретное похож. Я работал с Aravel и Symfony безусловно, какие-то части есть, и мы можем использовать модули, которые находятся в open source в нашем проекте, но я не думаю, что наш git-репозиторий сильно отличается по подходам от других современных фреймворков. Мы используем пакетные менеджеры, чтобы подтягивать сторонние зависимости, используем autoloading, используем модули, чтобы инкапсулировать части кода.

Какие самые сложные задачи пришлось решать в Badoo?


Не могу выделить конкретную задачу или проект, которые были бы очень сложными. У нас есть интересные проекты, и есть очень интересные, и они все очень разные. В моей практике это все проекты, связанные с Machine Learning. Когда я учился в аспирантуре, я касался этой темы, и эта область и задачи из нее мне импонирует. Я упоминал проект, который мы делали для команды Performance Marketing, связанный с анализом трафика он был очень крутой, мы нашли и открыли много полезных инсайтов.

Используется ли в Badoo компиляция PHP?


Нет.

Репа одна, все пушат в одно место?


Да, репа одна, и все backend-инженеры пушат в одно место. У нас есть внутреннее правило нейминга веток, которые так или иначе связаны с решаемой задачей. Напрямую запушить мастер, конечно, нельзя, ветка пушится туда после успешного code review, после всех чеков и юнит-тестов, и после того, как QA-инженер, который работал над задачей вместе с тобой, сказал, что все в порядке.

Есть ли DDD в Badoo, как вы к нему относитесь?


Я уже вскользь упоминал, что в чистом виде определенной методологии у нас нет мы используем компиляцию из нескольких подходов. Если речь о моем личном отношении я поддерживаю любой подход, который позволяет эффективно решать задачи. DDD стоит того, чтобы в нее вкладываться это позволит делать приложения на новом качественном уровне.

Как Badoo работает со спамом? Простые if или уже есть ML?


Я где-то видел шутку о том, что ML это просто большая куча if/else. Но, конечно, мы используем что-то гораздо более продвинутое.
У нас есть несколько направлений использования ML, и он позволяет сильно улучшать проекты. Я уже упоминал нейросети, которые позволяют определять жест фотоверификации. Это сильно снижает нагрузку на пост-обработку верификационных фотографий, если на клиенте вводится такая предобработка то есть, детектинг того, что это действительно человек делает фотографию сейчас и он делает то, что от него попросили. Нейронки это круто.

Как именно мы работаем со спамом тема закрытая, я не могу сильно распространяться. Но мы активно боремся со спамом, мошенничеством и связанными вещами. У нас есть целое подразделение, задачей которого является решение такого рода проблем. Перед нами стоит задача свести спам/scamming и другие нежелательные вещи на нашем проекте к минимуму, это цель номер один для компании.

Как организовано взаимодействие модулей проекта? Класс к классу, или что-то более хитрое?


Хороший вопрос. Каждый модуль имеет одну точку входа, которая может инстанцироваться только через фабрику. Таким образом, предоставляется внятное API наружу для других модулей или для других фичей. Мы не раскрываем всю внутреннюю реализацию для остального проекта, оставляем только то, что хотим отдать наружу.

Правда ли, что Badoo не нанимает на работу в Англию? Не могу найти явный ответ.


До пандемии у нас были вакансии в Москве и в Лондоне. Всегда указано, в каком офисе открыта вакансия компания придерживается максимальной прозрачности в этом вопросе.

На чем реализуете ML? PHP, другой язык, какой-то фреймворк, полностью своя разработка?


У нас есть очень крутые ребята в data team. В блоге есть крутой доклад от Александра Крашенинникова к сожалению, он уже мой бывший коллега в котором рассказано, что это за команда, какие проблемы она решает, как улучшает работу Badoo и помогает нам всем. Эта команда создала свой собственный фреймворк для ML, который очень прост в использовании и доступен всем остальным командам в компании можно сказать, они уже сделали всю работу за нас. У них очень крутая реализация, отличная документация, очень прямолинейный подход работы с фреймворком.

какие используется специфичные для разных БД плюшки, используя ORM?


Не до конца понимаю вопрос, но постараюсь ответить.

Я уже говорил, что основная наша БД это MySQL, в ней хранится большая часть данных. Также мы используем Exasol, Presto, Tarantool, для специфичных задач Aerospike; то есть, у нас есть большой набор хранилищ под каждую задачу. Мы себя не ограничиваем в выборе инструмента: если использование технологии выгодно, мы ее используем. MySQL центральное место для нашего приложения, и мы используем разнообразные репликации, шардинги, чтобы эффективно держать нагрузку.

Ваш API монолит?


Да.

Пришлось работать на удаленке? Сложнее стало? Как взаимодействовали?


Да, мы до сих пор работаем на удаленке. Я уже говорил, что в начале было сложно из-за того, что ты не можешь находиться со многими коллегами в одном таймфрейме. Кто-то еще не пришел на работу, кто-то уже ушел. Требуется синхронизация между разными командами, и между коллегами. Вопросы коммуникации стало сложнее решать, и из-за того, что стало невозможно адресовать сложный вопрос напрямую коллеге, приходилось писать или звонить, что занимает гораздо больше времени, чем дойти до кого-то в офисе и задать вопрос.
Для взаимодействия у нас есть большой набор чатов, видеоконференций, которые мы используем.

Что думаете про PHP 8, планируете переходить?


Мы активно следим за каждым новым релизом PHP. Безусловно, будем использовать все возможности новой версии конечно, после того, как мы убедимся, что наш код совместим, и переход на PHP 8 даст нам больше выгоды, чем то время, которое мы потратим на сам переход. Мы определимся с переходом, когда PHP 8 выйдет.

Как я уже говорил, когда мы перешли на PHP 7, у нас высвободилось много серверов, которые мы направили на другие задачи то есть, переход на новую версию способен принести большую выгоду.

Как устроен тестинг для разработчиков? Все самому локально в docker поднимать, или что-то сложнее, на виртуальных серверах?


Еще одна ситуация, когда я не могу точно ответить.

Docker мы не используем, у нас есть общее dev-окружение, которые мы используем для разработки. Наша платформа занимается, в том числе, поддержанием нашего dev-окружения в рабочем состоянии для разработки, и там мы запускаем все тесты, раскладываем фичи, которые будем катить на production. То есть, у нас есть преднастроенное окружение.

Так и не понял, на чем ML: PHP, Python, что-то другое?


Раньше использовали Python для ML-фреймворка, но сейчас перешли на Spark это сильно повысило performance.

Как балансируете нагрузку на 600 серверов? Я правильно понимаю, что это монорепа на каждом сервере, в docker?


Монорепа на каждом сервере, но балансируется не в docker, а с помощью Nginx.

Какие у вас ожидания от кандидата на собеседовании, какие soft/hard-скиллы в среднем достаточны?


Я уже говорил, что все открытые вакансии есть на нашем сайте tech.badoo.com. Я советую никому не стесняться, не бояться, заходить и делать apply.

Очень сложно сказать, какие конкретные ожидания могут быть у компании от кандидата. Я бы сказал: если, читая описание, возникает ощущение, что ты не подходишь на эту вакансию нужно 100% делать apply. Релевантный опыт или знания можно узнать от человека в ходе нескольких раундов интервью. На мой взгляд, нужно делать apply в любом случае.

Из hardskills безусловно, нужно иметь опыт и понимание того, как работают PHP и MySQL это основные технологии, которые мы используем, стек. Это если речь идет о backend-разработке, у других отделов свой стек.

Softskills это обширная тема. На мой взгляд, значительная часть разработки связана не с написанием кода, а с общением с людьми. Очень важно задавать правильные вопросы. Если ты умеешь это делать, задача на 50% решена. Проблемы miscommunication всегда есть, но чем их меньше, тем лучше для тебя, для компании и продукта. Это стандартный набор сейчас, но умение хорошо коммуницировать, работать в команде нужно. Также для нас важно, чтобы люди умели брать на себя ответственность по доведению проекта (фичи, части функционала) до завершения.

Используете ли автогенераторы кода, для каких задач?


Используем, довольно часто. При разработке, когда нужно сгенерировать модели по какому-то описанию, заложенному в конфигах, или если есть класс, который должен реализовывать функциональность по определенному шаблону.

Как осуществляется репликация баз данных для MySQL?


Могу ответить только поверхностно.
Ни для кого не секрет, что у нас есть датацентры в Европе и США, и необходимо поддерживать между ними консистентность данных. Мы используем репликацию между основными хранилищами, чтобы поддерживать в каждом месте актуальную информацию. Из-за того, что между датацентрами может быть большой replication lag, мы используем разного рода кэши для тех задач, где не критична актуальность данных.

Junior берете, или минимум mid?


Как я уже сказал, нужно сделать apply. В ходе интервью станет понятно, достаточно ли сейчас у вас знаний и опыта, чтобы начать работать в компании, или вам стоит получить релевантный опыт и знания в другом месте и потом вернуться, как я.

Bспользуете исключения, или стараетесь избегать?


Используем. И стараемся избегать.

Test-driven development, когда сначала тесты, потом код не практикуете?


Мне кажется, на этот вопрос я буду отвечать уже опосредованно в третий раз. У нас каждая команда может использовать при разработке свой подход, и я знаю, что некоторые коллеги практикуют этот подход. Я знаю, что он работает, но сам не практикую.


Что было ранее


  1. Илона Папава, Senior Software Engineer в Facebook как попасть на стажировку, получить оффер и все о работе в компании
  2. Борис Янгель, ML-инженер Яндекса как не пополнить ряды стремных специалистов, если ты Data Scientist
  3. Александр Калошин, СEO LastBackend как запустить стартап, выйти на рынок Китая и получить 15 млн инвестиций.
  4. Наталья Теплухина, Vue.js core team member, GoogleDevExpret как пройти собеседование в GitLab, попасть в команду разработчиков Vue и стать Staff-engineer.
  5. Ашот Оганесян, основатель и технический директор компании DeviceLock кто ворует и зарабатывает на ваших персональных данных.
  6. Сания Галимова, маркетолог RUVDS как жить и работать с психиатрическим диагнозом. Часть 1. Часть 2.
  7. Илья Кашлаков, руководитель фронтенд-отдела Яндекс.Денег как стать тимлидом фронтендеров и как жить после этого.
  8. Влада Рау, Senior Digital Analyst в McKinsey Digital Labs как попасть на стажировку в Google, уйти в консалтинг и переехать в Лондон.
  9. Ричард Левелорд Грей, создатель игр Duke Nukem 3D, SiN, Blood про личную жизнь, любимые игры и о Москве.
  10. Вячеслав Дреер, гейм-дизайнер и продюсер игр с 12-летним стажем про игры, их жизненный цикл и монетизацию
  11. Андрей, технический директор GameAcademy как видеоигры помогают прокачивать реальные навыки и найти работу мечты.

Подробнее..
Категории: Блог компании ruvds.com , Интервью , Высокая производительность , Php , Карьера в it-индустрии , Спам и антиспам , Highload , Badoo , Ruvds_эфиры

EDR откуда взялся и почему это очередной виток защиты от хакеров

15.12.2020 14:09:01 | Автор: admin


Компьютеры всегда были полем боя. Вечная битва взлома и защиты началась с появления первого массового ПК и будет продолжаться пока существует человечество. Первые хакеры были исследователями, они искали способы оптимизировать вычисления, найти более эффективные режимы работы, выжать максимум из скудных возможностей компьютеров. Тогда еще не было термина хакер, людей, которые занимались взломом, сейчас бы назвали системными программистами и программистами микроконтроллеров, до сих пор бьющихся за каждый лишний байт и пишущих на низком уровне.

Сложно сказать, когда развлечение стало злонамеренным, а потом корыстным. Первоначально, порча данных или железа не приводила к выгоде, потому написание вирусов был удел одиночек, любителей в хорошем смысле слова, людей не ищущих выгоды.

Все изменила сеть

Предпосылки возникновения EDR


Очень долго, компьютерные вирусы были чрезвычайно специфическими программами. Им приходилось выживать в очень стесненных условиях слабых компьютеров с ограниченными ресурсами, авторы вирусов были гуру Ассемблера, досконально знали все тонкости работы компьютеров на низком уровне. Но компьютеры становились мощнее, их связала сеть и все это запахло большими деньгами. Взлом был поставлен на поток, теперь это серьезный и крупный бизнес, уязвимости продают за огромные деньги, основной трафик компьютерных сетей DDoS. Таким же крупным бизнесом стала и защита от атак. Прошли те времена, когда антивирусные программы покупались на дискетах и защищали только один компьютер. Даже сами понятия вирус и антивирус уже устаревают, целью атак становятся целые организации, а занимаются этим уже не одиночки-энтузиасты.


Но атакующие программы довольно долго оставались все такими же специфическими, их можно было распознать по характерным сигнатурам, особенностям поведения и вектору атаки. Антивирусы работающие по древним досовским принципам были довольно эффективны, эвристический анализ анализ позволяет быстро находить шифрующиеся и полиморфные вирусы. Специалисты по безопасности разрабатывали новые методы защиты, основанные на комплексном анализе разных признаков злонамеренной деятельности, таких как: нетипичный сетевой трафик, подозрительная активность аккаунтов пользователей, присутствие на компьютерах подозрительных программ и тп. Системы SIEM (Security Information and Event Management) выявляют зараженные компьютеры благодаря анализу логов корпоративной сети. А локальные системы EPP (Endpoint Protection Platform) следят за порядком на рабочем месте сотрудника по принципу классического антивируса и фаервола.

Казалось бы, все под контролем, но проблема пришла с другой стороны.


Кевин в молодые годы, фото из полицейского участка

Со времен знаменитого Кевина Митника классическая социальная инженерия не только успешно применяется до сих пор, но и развивается в ногу со временем. Уже не надо самому обзванивать все номера принадлежащие фирме, чтобы найти беспечного сотрудника, который согласится открыть дверь или ввести необходимую взломщику команду. Простейший скрипт разошлет десятки тысяч поддельных писем, бот будет стучаться в мессенджеры и соцсети, а фишинговые сайты соберут богатый урожай паролей. У такой атаки нет особых сигнатур, ее нельзя отследить по логам сетевого экрана. Узкоспециализированная программа, написанная под конкретные меры безопасности, заранее выбранной компании, тоже будет пропущена антивирусом без поднятия тревоги.

Сравнительно недавно, в 2013 году, компанией Symantec была расследована деятельность одной хакерской группировки под названием Thrip. Их действия были очень успешны именно потому, что они практически не использовали традиционный хакерский софт, оставляющий привычные следы и хорошо известный современным системам безопасности. Для проникновения в организацию такие хакеры используют социальную инженерию. Чтобы получить привилегии администратора, однократно модифицируют обычную утилиту, не засвечивая одну и ту же сигнатуру при разных взломах. Более того, подобные программы или скрипты используются очень кратковременно и потом сами себя удаляют, не оставляя следов, или хуже того существуют только в оперативной памяти, никогда не записывая свой код в файлы, храня данные в реестре, а для работы вызывая стандартные powershell.exe или wmic.exe, не поднимающих тревогу у обычных антивирусов. После проникновения в систему используются самые обычные служебные утилиты, которые разрешены политиками безопасности. Например Thrip применяли для проникновения модифицированную пентестерскую программу Mimikatz, предназначенную для изучения языка C и экспериментов над защитой Windows, а потом, для удаленного управления взломанными компьютерами, использовали утилиту PsExec фирмы Microsoft из пакета PsTools и другую совершенно легальную программу LogMeIn. Чтобы своровать данные они использовали не хитрые шпионские программы, а самый обычный FTP-клиент WinSCP.

Подобная активность практически незаметна для средств типа SIEM и EPP.

Принципы работы EDR


В том же 2013 году, Антон Чувакин (русский специалист по компьютерной безопасности, окончивший ФизФак МГУ, работающий за границей), предложил выделить новую категорию инструментов для предотвращения хакерских атак и назвал их ETDR (Endpoint Threat Detection & Response), позднее общепринятой стала аббревиатура EDR. Под конечной точкой подразумеваются сервер, десктопная рабочая станция, ноутбук и смартфон.


Антон Чувакин

Чем же отличаются EDR от других, более традиционных методов защиты?

Главное отличие EDR от SIEM это работа с локальными данными и логирование событий происходящих на конкретном компьютере. SIEM следит за глобальным сетевым трафиком в организации, заставить эту систему собирать данные с каждого отдельного компьютера очень накладно и потребует слишком больших мощностей.

По сути, это логическое развитие привычных антивирусов и систем EPP, следящих за подозрительной активностью трафика и занимающихся поиском известных вредоносных программ. Но если антивирусы отлавливают вредоносный софт в момент его запуска, инструменты EDR работают глубже.

Любая система EDR состоит из нескольких типичных модулей, взаимодействие которых можно разобрать на примере EDR фирмы Comodo Cybersecurity, которая выложила исходный код Open EDR в общий доступ:

  • Core Library базовый фреймворк, который содержит основные функции и является ядром системы;
  • EDR Agent service собственно само приложение EDR;
  • Process Monitor DLL-библиотека, которая внедряется в различные процессы для перехвата вызовов API и инструментарий для работы с ней;
  • File filter driver мини-фильтр файловой системы, который перехватывает запросы ввода-вывода файловой системы, отслеживает доступ к реестру, обеспечивают защиту компонентов и настроек EDR и тп;
  • Network monitor компонент мониторинга сетевой активности;




Гибкие настройки позволяют отфильтровать ложные тревоги и отрегулировать систему для конкретной специфики сети в организации, а ядро системы закапывается на очень глубокий уровень, используя для этого хакерские технологии, такие как Rootkit.

Помимо сигнатурного и эвристического анализа, EDR непрерывно сканирует систему на предмет IoC (Indicator of Compromise Индикатор компрометации) и IoA (Indicators of Attack Индикатор атаки), выслеживая определенные признаки, которые могут говорить о попытке вторжения: фишинговые письма, обращение на подозрительные IP-адреса, отслеживание хешей вредоносных файлов, значения реестра и тп.

Кажется, что все это не очень сильно отличается от обычного антивируса и фаервола? Не совсем.

Искусственный интеллект стоит на страже


Некоммерческая организация MITRE Corp накопила большой массив данных из логов сканирования корпоративных сетей и конечных точек, собранных во время проникновения злоумышленников в системы, а также пентестинга и собственных исследований, систематизировав их и вычленив основные тактики атак. Первый вариант базы был представлен в 2013 году, с каждым годом она расширялась и дополнялась.

Термином Threat Intelligence (Анализ угроз) называется анализ данных получаемых EDR при сканировании, когда они сопоставляются с известными тактиками злоумышленников. При получении положительной корреляции с паттернами MITRE ATT&CK, система поднимет тревогу, а при необходимости может инкапсулировать угрозу в песочницу и отключить подозрительные машины от компьютерной сети. При этом, сбор очень подробных и систематизированных логов, позволяет инженерам-безопасникам быстро найти брешь при обнаружении факта проникновения злоумышленников в систему и дальнейшего расследования инцидента.

Недавно британская компания Micro Focus International представила отчет по текущим трендам информационной безопасности. Опрос из 15 пунктов был разослан нескольким сотням специалистам из разных стран. Выяснилось, что 90% пользуются базой MITRE ATT&CK и 93% применяют технологии AI и ML.

Анализ данных с помощью ИИ позволяет перейти на новый уровень, от Threat Intelligence, к Threat Hunting. Специалисты по безопасности моделируют разнообразные атаки на инфраструктуру своей компании, заранее определяют слабые места и принимают меры для их укрепления.

Еще один вектор для приложения ИИ в безопасности анализ поведения сотрудников.

Составляется карта обычной активности в учетной записи работника, согласно которой, его трафик и запущенные программы более-менее одинаковые день ото дня. И если вдруг выясняется, что он залогинился глубокой ночью, запускает нетипичный для него софт и пытается обратиться к неизвестному адресу в инете система поднимет тревогу и может заблокировать аккаунт.

Будущее рядом




Канадский научный фантаст Питер Уоттс в своей мрачной трилогии Рифтеры, действие которой происходит в ближайшем будущем, описывает некий зельц умный гель, состоящий из нервных клеток коры головного мозга, культивированных на искусственном субстрате. Ученые научились образовывать в нем связи наподобие тех, что есть в человеческом мозгу, и создавать на его основе высокопроизводительные биокомпьютеры, превосходящие по мощности компьютерные нейросети. С особенностями мышления подобных устройств связана главная интрига трилогии, но я расскажу только об одной области их применения.

В будущем, компьютерные вирусы и сетевые атаки настолько забили все информационные каналы, что интернет, в нашем современном понимании, перестал существовать. Тогда, в качестве антивирусов, приспособили умные гели, которых нельзя было обмануть простым шифрованием и полиморфизмом, они на лету отслеживали паттерны взлома и моментально его пресекали. Эта мера полностью очистила компьютерные сети от подобных угроз.

Кто знает. Может базы данных подобные той, что собирает MITRE и машинное обучение, очистят инет от вирусов быстрее, чем предполагал Питер Уоттс? Хотя, ведь киберпреступники тоже могут пользоваться технологиями ИИ. Более того, есть свидетельства, что они их уже освоили



Подробнее..
Категории: Блог компании ruvds.com , Информационная безопасность , Ruvds , Антивирусная защита , Спам и антиспам , Социальная инженерия , Взлом , Edr , Хакеры

Перевод Как обнаружить и остановить Emotet c помощью Varonis

02.10.2020 18:16:15 | Автор: admin


Наша группа реагирования на инциденты отслеживает беспрецедентное количество заражений вредоносным ПО Emotet. Количество активных одновременных расследований Emotet в три раза превышает наш предыдущий рекорд. В этом посте будут рассмотрены индикаторы компрометации, меры по их устранению и то, как Varonis может помочь вам обнаружить и остановить Emotet на каждой фазе атаки.

Обзор Emotet


После долгого перерыва весной 2020 года злоумышленник TA542 (также известный как Mummy Spider) вернулся с новой масштабной спам-кампанией, использующей несколько ботнетов по всему миру, а также использующей улучшенный арсенал вредоносного ПО.
Emotet, первоначально известный как банковский троян, впервые был обнаружен в 2014 году. Его основная цель заключалась в перехвате банковских учетных данных с помощью атак типа Man-in-the-browser. На сегодняшний день Emotet эволюционировал в самообновляемый универсальный набор вредоносных программ, который также действует как загрузчик для полезных нагрузок, таких как Qbot и Trickbot (которые, в свою очередь, загружают Ryuk и Mimikatz).



Поскольку Emotet является полиморфным, конкретные IOC (индикаторы компрометации), такие как URL-адреса загрузчика, комбинации С2 IP (Command and Control IP)/порт и шаблоны спама часто меняются. Эта особенность делает обнаружение на основе правил игрой в кошки-мышки, усугубляемой тем, что существует три разных ботнета Emotet, каждый со своей собственной инфраструктурой. Вы можете найти чудесно подробный ежедневный журнал Emotet IOC, который ведется командой Cryptolaemus.
Попав в сеть, Emotet использует различные методы для распространения, повышения привилегий, обеспечения устойчивости и вывода данных за пределы компании. К cлову, поведенческие модели угроз Varonis могут обнаруживать ранние признаки взлома Emotet, а также аномальное поведение после вторжения.

Первичная компрометация


Вектор заражения Emotet фишинговая кампания, поддерживаемая тремя глобальными ботнетами: Epoch 1, Epoch 2 и Epoch 3 (для краткости E1, E2, E3). Каждый Epoch имеет свою собственную инфраструктуру C2, расписание обновлений и шаблоны спама. Фишинговое письмо, как правило, содержит вложения с поддержкой макросов или вредоносные ссылки, предназначенные для заражения новых хостов и добавления их в свой кластер.
Во время последней волны заражений вредоносные письма Emotet содержали защищенные паролем вложения ZIP. Это делается с расчётом, что фильтры электронной почты пропустят запароленный архив без сканирования и не обнаружат вредоносные документы с поддержкой макросов. Такой подход получил название Operation Zip Lock.



Пароль обычно указывается в теле письма в виде простого текста, например:
Zip file attached to email: Very urgent information from 24-09-2020.zip
The password for the document is LQWMFXu

При фиксации всплеска количества писем с запароленными вложениями ZIP, рекомендуется помещать такие письма в карантин. Однако имейте в виду, что Emotet также использует документы Office, прикрепленные напрямую.
Кампании вредоносного спама были обнаружены на многих языках: английском, голландском, французском, немецком, итальянском, японском. Epoch-и, вероятно, имеют географическую привязку (например, в Японии распространен E3).

Развитие успеха


Emotet выводит украденные сообщения электронной почты и списки контактов жертв на сервер C2 с помощью запросов HTTP POST. Затем ботнет использует эти данные, чтобы выдать себя за отправителя и ответить на существующие разговоры. Сделать это можно, либо подменив отправителя, либо, если есть полный контроль над машиной жертвы, отправив электронное письмо непосредственно от имени жертвы.
Такая техника делает спам Emotet очень убедительным и увеличивает вероятность того, что новая жертва откроет вредоносное вложение.
Varonis отслеживает почтовые ящики Microsoft Exchange и Exchange Online и может обнаруживать вложения вредоносных файлов, которые соответствуют словарю известных шаблонов, используемых в шаблонах спама Emotet. С помощью модуля Edge, контролирующего прокси, возможно обнаружить, когда пользователь нажимает ссылку в теле письма, что приводит к загрузке вредоносного загрузчика Emotet.

Varonis анализирует все действия с почтовым ящиком (отправка/получение/открытие/удаление и т. д.) и это позволяет быстро идентифицировать учетные записи, которые были скомпрометированы и начали рассылать спам-кампании (внутренние или внешние). Профиль поведения пользователя создается с учетом всех наблюдаемых платформ: незначительные отклонения в поведении в почте в сочетании с подозрительными событиями входа в систему, сетевыми подключениями и доступом к данным позволяют получать точные оповещения с небольшим количеством ложных срабатываний.



Varonis Edge может обнаруживать кражу сообщений электронной почты и контактов Outlook. На практике мы наблюдали вывод этих данных благодаря покрытию прокси-серверов компании Emotet использовал команды HTTP POST. Если в будущем будет создан скрытый канал DNS, то он будет покрыт моделями эксфильтрации на основе DNS.
Подключения к серверам C2 можно обнаружить несколькими способами. Во-первых, если соединение производится с доменом с плохой репутацией, Varonis предупредит и пометит эти соединения. Во-вторых, Varonis обнаруживает, когда злоумышленники скрывают свой трафик в большом количестве соединений (white smoke), используя алгоритм генерации доменов (DGA). В-третьих, модели поведения Varonis обнаруживают, когда злоумышленники используют DNS в качестве скрытого канала, чтобы скрыть свои команды или передачу данных в виде DNS-запросов. Наконец, Varonis будет предупреждать о необычной веб-активности, такой как использование новых или необычных пользовательских агентов, нетипичный или первый доступ учетной записи к интернету или необычная загрузка данных на внешний ресурс.



Распространение


Emotet имеет множество модулей, которые можно динамически загружать с его C2 сервера для расширения функциональности вредоносного ПО. Есть модуль рассылки спама, модуль кражи электронной почты, банковский модуль и т. д.
Один из модулей, на который следует обратить особое внимание, это модуль для распространения, который позволяет делать это с помощью эксплойтов SMB, таких как EternalBlue (MS17-010) и путем доступа к скрытым административным шарам (ICP$, C$ и Admin$). Мы рекомендуем пропатчить все машины, которые все еще уязвимы для EternalBlue, и отключить административные шары.
Хотя основным методом распространения Emotet является SMB, исследователи из BitDefense обнаружили новую технику распространения, которая сканирует сети Wi-Fi с помощью функции WlanEnumInterfaces в wlanAPI.dll и пытается распространиться на подключенные устройства.
Вредоносное ПО попытается взломать защищенные паролем сети Wi-Fi с помощью встроенного списка паролей. В случае успеха оно пересылает комбинацию SSID и пароля сети обратно на C2 сервер и предпринимает еще одну попытку атаки методом перебора, на этот раз направленную на клиентов этой сети.



Повышение привилегий


Злоумышленники получают учетные данные от привилегированных учетных записей используя хорошо известные инструменты с открытым исходным кодом, ища пароли, хранящиеся в виде простого текста, и собирая учетные данные из Active Directory. Получив учетные данные администратора, злоумышленник может добавить одного или нескольких пользователей в группу администраторов домена.

Наблюдая за активностью файловой системы, Varonis быстро определяет, когда известные инструменты проникновения сохраняются на диск или, когда пользователь ищет в общих файловых ресурсах файлы с паролями или другими конфиденциальными данными. Любая учетная запись пользователя обычно имеет доступ к гораздо большему количеству данных, чем должна, поэтому такие поиски часто бывают плодотворными подробнее об этом ниже.

Emotet хорошо известен тем, что загружает другие виды вредоносных программ таких как Ryuk, которые в свою очередь загружают инструменты взлома, такие как Mimikatz, для сбора учетных данных и повышения привилегий. Varonis анализирует активность в Active Directory для обнаружения сбора учетных данных (например, Kerberoasting) и других атак. Чтобы снизить вероятность того, что эти атаки будут успешными, Varonis выводит потенциально слабые места (например, административные учетные записи, имеющие SPN) на панель управления. Сокращение площади атаки в AD и на файловых ресурсах усложняет жизнь злоумышленникам. Varonis также уведомит, когда учетная запись будет добавлена в административную группу.



Последний рубеж


Если признаки проникновения, распространения и повышения привилегий не были замечены, важно обеспечить критический уровень защиты крупнейших хранилищ данных, защищая серверы Windows и UNIX, устройства NAS, SharePoint и Exchange (как локально, так и в Office 365).

Varonis анализирует активность файловой системы на платформах, которые обеспечивают аудит с помощью своих API, таких как Office 365 и устройства NAS от NetApp, EMC и других. На платформах, где включение родного аудита может вызывать проблемы с производительностью или аудит недостаточно полный, например, Windows, UNIX, Exchange и SharePoint, Varonis использует собственные проверенные в боях агенты для захвата операций.

Если пользователь начинает обращаться к необычному количеству или множеству данных по сравнению с его нормальным поведением, Varonis обнаружит это с помощью одной или нескольких поведенческих моделей. Если пользователь начинает шифрование файлов, это также будет обнаружено многие наши заказчики автоматизируют обработку такого инцидента при помощи скриптов, отключая учетную запись и убивая активные сессии.



Varonis выявляет, где доступ к данным избыточен, т. е. пользователи имеют доступ, в котором они не нуждаются. Предусмотрена возможность автоматического изъятия избыточных прав доступа (как прямых, так и путем удаления учетной записи из групп безопасности). Ограничение доступа к важным данным уменьшит риски и затруднит работу любого злоумышленника.



Заключение


Ботнет Emotet это самое крупное и изощренное оружие в мире для распространения вредоносных программ. Трудно предсказать, какое оружие TA542 будет использовать в следующий раз или какие APT поделятся своим оружием. Что мы действительно знаем, так это то, что кампании Emotet происходят всплесками и сильно различаются по своему характеру, поэтому чрезвычайно важно иметь многоуровневый подход к защите, включая управление обновлениями (patch management), обучение антифишингу, фильтрацию почты, защиту пользовательских устройств и подход, ориентированный на защиту данных (data-centric) наравне с инфраструктурой в целом.

Комплексное обнаружение может дать вашей организации преимущество, но и сокращение поверхности атаки (повышение уровня защищенности) вносит не меньший вклад. Технология Varonis, ориентированная на защиту данных, выстраивает кольца детективного контроля от данных до Active Directory, DNS, VPN и прокси. Varonis также подсвечивает потенциально уязвимые учетные записи и легкодоступные данные, чтобы вы могли исправить ситуацию до того, как злоумышленники ей воспользуются.
Подробнее..
Категории: Информационная безопасность , It-инфраструктура , Спам и антиспам , Спам , Блог компании varonis systems , Фишинг , Ботнет , Emotet , Ryuk , Троян , Ta542

Сломался сайт или вас забанили?

03.11.2020 04:15:37 | Автор: admin

По всем канонам жанра, когда вы сталкиваетесь с ошибкой на сайте, из-за которой абсолютно ничего не работает, вы прикидываете уровни абстракции на которых вероятнее всего эта ошибка произошла. И если раньше в списке моих приоритетов была ошибка в коде сайта, то теперь в первую очередь я думаю, что попал в условный Shadow Ban. Особенно, если речь идет о заграничных сервисах. Давайте посмотрим почему так происходит, и что можно с этим поделать.


Все больше популярных сайтов в интернете прибегают к теневому бану в том или ином виде. Причем его изощренность зависит от каждого конкретного случая. Это может быть пустая страница, как будто сервер умер, сообщение 500 об ошибке сервера, сообщение об ошибке 404, неправильные редиректы при попытке отправить заполненную форму. Суть одна владелец сайта не хочет, чтобы вы, ваша страна, ваша подсеть или IP адрес, пользовались его сайтом. Но при этом внятного объяснения давать не хочет, потому что оно для кого-то может звучать оскорбительно, а то и неприемлемо с точки зрения местного законодательства.


Как правило есть несколько основных причин почему ваш IP адрес или отпечаток броузера забанен:


  • вы используете TOR или публичный прокси, VPN

  • адрес принадлежит хостинг-провайдеру в датацентре, а не интернет-провайдеру, предоставляющему услугу доступа в интернет обычным людям

  • с вашего IP адреса или подсети идут хакерские атаки, брутфорсы, иная противоправная деятельность

  • у вас IPv6

  • вы сидите с IP страны к которой у владельца сайта нет коммерческого интереса или много людей из нее показало себя хакерами, скаммерами, спамерами и т.п.

  • автоматическая система безопасности на основании скрытых критериев решила, что вы верблюд, не имеющий справки об обратном


Если вы живете в аграрной, ядерной или морской(снабжает морепродуктами ядерную) сверхдержаве, то шанс пополнить ряды преждевременно забаненных весьма велик. Причем буквально на уровне файервола. Основные причины того малая платежеспособность, обилие скаммеров и хакерских атак, что является обратной стороной экспорта IT-услуг из региона. Не стоит забывать и про полуостров, в чьей территориальной принадлежности не хотят разбираться иностранные компании, и потому банящие диапазоны IP из стран принадлежащих странам, что претендуют на данный полуостров. Особой пикантности добавляет ситуация, когда диапазоны страны забанены, но значительная часть программистов самого сервиса находится в ней самой.


И да, всегда есть вероятность, что просто локализация на сайте сделана настолько криво, что он молча и внезапно падает. Особенно это касается США, где традиция локализации слаба, а 256 байт хватит всем. Но, поскольку сайт не работает у тех, у кого он падает, они не могут найти контакты и написать гневное письмо в техподдержку. Это тоже надо учитывать. Как и то, что техподдержка будет отвечать в духе Sorry, we couldn't help you. Seems problem is on your side. Thank you for choosing us! Bgggeeeee...


Вот алгоритм поведения, чтобы понять, можете ли вы воспользоваться сервисом, обойдя Shadow Ban, или он действительно сломан.


1) Выключите TOR или VPN, если они у вас имеются.


2) Скачайте Google Chrome с сайта Google, именно официальную сборку, без плагинов. Создайте новый чистый профиль броузера и попробуйте проделать на сайте требуемые действия из под этого профиля.


3) Поменяйте язык системы на английский, или установите локаль en_US, или запустите броузер с локалью en_US.


4) Попробуйте воспользоваться бесплатным или платным VPN, или прокси, чтобы выходный адрес VPN был в той же стране, что и ваш сервис. Предпочтителен свой VPN на арендованной VPS в той же стране. Обязателен Google Chrome с чистым профилем, иначе можете потерять купленный IP в никуда, система безопасности просто добавит его в бан по отпечатку броузера.


5) Последний рубеж, если вам ОЧЕНЬ надо. Виртуальная машина или отдельный компьютер с Windows 8-10, язык системы установлен в язык региона, где находится сайт. Доступ к сайту через IE или Chrome с чистым профилем, через приватный прокси, чей IP числится за провайдером интернета, а не датацентра, а сам прокси находится в той же стране, что и сайт.


В случае умных систем защиты могут быть очень простые комбинации для бана, и достаточно создать просто новый профиль в броузере или воспользоваться Opera VPN. Или наоборот во временный бан улетят даже проверенные пользователи с многолетней историей посещения, и проще и дешевле переждать период обострения у администрации.


И конечно же читайте комментарии, там тоже могут быть полезные советы.

Подробнее..
Категории: Информационная безопасность , Браузеры , Accessibility , Локализация , Фриланс , Спам и антиспам , Shadow ban , Firewall

Перевод Окей, Гугл, опубликуй свои секретные ключи DKIM

20.11.2020 12:14:59 | Автор: admin


Интернет даже в лучшие свои годы был опасным местом. Иногда архитекторы Интернета находили способы снижения угроз, иногда терпели неудачу. Однако постоянно повторяется ситуация, когда крупная Интернет-компания находит решение, которое на самом деле ухудшает ситуацию почти для всех. Сегодня я хочу поговорить об одном из таких случаев, а также о том, как большая компания наподобие Google могла бы найти способ исправить ситуацию.

В этом посте раскрывается вопрос Domain Keys Identified Mail (DKIM), безвредного крошечного антиспам-протокола, который каким-то образом превратился в монстра. Моя просьба проста, вкратце её можно сформулировать так:

Уважаемый Google: пожалуйста, реализуйте периодическую ротацию и публикацию ваших секретных ключей DKIM. Благодаря этому весь Интернет станет намного безопаснее, ведь у преступников пропадёт сильный стимул кражи электронных писем и организации их утечек. Исправление практически не будет вам ничего стоить и выбьет из рук воров мощнейший инструмент.

Это краткая версия. Ниже представлена более подробная.

Что это за DKIM, и как он защищает мою электронную почту?


Электронная почта была создана в те времена, когда Интернет ещё назывался ARPANET. Это были гораздо более спокойные дни, когда современные меры безопасности, да и, честно говоря, само понятие того, что Интернету потребуется безопасность, оставались далёким, научно-фантастическим будущим.

Первые протоколы электронной почты (типа SMTP) работали на основе системы доверия. Электронные письма могли поступать на ваш почтовый сервер непосредственно с почтового сервера отправителя или передаваться через посредников. Как бы то ни было, если в письме указано, что оно пришло от вашей подруги Алисы, то вы верите, что оно действительно от Алисы. Зачем кому-то вообще лгать о подобном?

Широкое распространение электронной почты показало, что такое отношение дало сильный сбой. Всего за несколько лет пользователи Интернета узнали, что есть множество людей, желающих солгать о том, кем они являются. В большинстве своём это были почтовые спамеры, находившиеся в восторге от того, что SMTP позволял им выдавать себя почти за любого отправителя вашу подругу Алису, вашего босса, налоговую службу, дружелюбного нигерийского принца. Без надёжного механизма, способного предотвратить рассылку такого спама, электронная почта оказалась ужасно уязвимой к спуфингу.

К чести поставщиков услуг электронной почты, они быстро осознали, что электронная почта без аутентификации отправителя по сути непригодна для работы. Для надлежащей фильтрации писем им нужно было хотя бы проверять, с какого сервера пришло электронное письмо. Это свойство имеет техническое название, оно называется авторизацией источника.

Решение задачи авторизации источника, как и почти остальные исправления базовых Интернет-протоколов, напоминало ремонт изолентой. Поставщиков услуг почты попросили подключить (дополнительное) новое криптографическое расширение под названием Domain Keys Identified Mail, или DKIM. DKIM запекает в каждое отправленное почтовым сервером письмо цифровые подписи. Когда почтовый сервер получателя принимает подписанное DKIM письмо, заявляющее, что оно, допустим, поступило от Google, то сначала он при помощи Domain Name System (DNS) находит публичный ключ Google. Получатель теперь может проверить подпись, чтобы убедиться, что письмо аутентично и не модифицировано, ведь подпись связана с содержимым и большинством заголовков. После этого такое знание можно использовать в качестве входных данных для фильтрации спама. (Подобные гарантии обеспечивает похожий протокол под названием ARC.)

Разумеется, такое решение неидеально. Поскольку DKIM необязателен, злонамеренные посредники могут вырезать подписи DKIM из письма, чтобы убедить получателей, что оно никогда не было подписано DKIM. Похожий протокол под названием DMARC, использует DNS, чтобы позволить отправителям почты передавать свои предпочтения, принуждающие проверять подписи их электронных сообщений. Совместное использование этих двух протоколов, по сути, должно полностью избавить Интернет от спуфинга.


Пример подписи DKIM одного из полученных мной сегодня автоматизированных писем.

В чём проблема DKIM/ARC/DMARC и что такое оспоримость?


В качестве меры защиты от спама DKIM, ARC и DMARC не имеют никаких особых проблем. Сложность в том, что подписывание DKIM обладает неожиданным побочным эффектом, распространяющимся дальше, чем изначальная задача фильтрации спама. Если вкратце:

DKIM обеспечивает пожизненную гарантию аутентичности писем, чем может воспользоваться любой для криптографического подтверждения аутентификации украденных электронных писем даже спустя годы после их отправки.

Эта новая особенность отсутствия возможности аннулирования изначально не задумывалась как цель DKIM. Проектировщики не планировали её, никто не обсуждал, будет ли это хорошей идеей, и большинство она застала врасплох. Хуже того эта неожиданная особенность имела весьма серьёзные последствия: она делает нас более уязвимыми к вымогательству и шантажу.

Чтобы понять, в чём проблема, стоит рассмотреть цели DKIM.

Основной целью создания DKIM было предотвращение фальсификации писем спамерами в процессе передачи. Это означает, что серверы-получатели на самом деле должны иметь возможность проверки того, что письмо было отправлено с заявленного исходного почтового сервера, даже если по пути это письмо проходит через множество не имеющих доверия серверов.

Однако после завершения передачи почты цель DKIM оказывается выполненной. То есть гарантия аутентичности должна сохраняться только в течение короткого промежутка времени. Поскольку обычно для получения письмам требуется всего несколько минут (в редких случаях часов), гарантия аутентичности не должна длиться годами, а эти подписи не должны быть открыты пользователям. Тем не менее, происходит именно так.

До недавнего времени никто об этом не задумывался. На самом деле, первые конфигурации DKIM походили на дурную шутку: поставщики услуг почты выбирали ключи подписи DKIM, которые было очень легко взломать нападающему с достаточной мотивацией. В 2012 году исследователь систем безопасности Закари Харрис выяснил, что Google и множество других компаний использовали для подписывания DKIM 512-битный RSA. Он показал, что такие ключи на арендованном облачном оборудовании можно взломать за считанные часы, а затем использовать их для фальсифицирования писем от Ларри и Сергея.

Реакцию Google и других поставщиков услуг электронной почты на весь этот конфуз с Ларри и Сергеем предсказать несложно. Не обдумав хорошенько последствия, они быстро усилили ключи, повысив их до 1024-битного или 2048-битного RSA. Это предотвратило фальсификации, однако непреднамеренно превратило безобидный протокол антиспама в пожизненный штамп криптографической аутентичности, который можно использовать для подтверждения любого дампа электронной почты вне зависимости от того, как он попал в руки подтверждающего.

Ты сошёл с ума, никто не использует DKIM для аутентификации писем.


Как бы там ни было, штамп аутентификации по DKIM широко использовался прессой, в основном в контексте взлома электронной почты политиков. Это реально, важно и значимо.

Самый знаменитый пример, вызвавший в то же время серьёзные разногласия: в 2016 году Wikileaks опубликовал набор писем, украденных из аккаунта Google Джона Подеста. Поскольку источник этих писем был мутным, WikiLeaks столкнулся с тяжкой задачей подтверждения подлинности этих сообщений. Изящным решением стал DKIM: каждое письмо, представленное на страницах Wikileaks, публично указывает статус подтверждения прикреплённых подписей DKIM. Также сайт предоставляет полезную страницу ресурсов для журналистов, объясняющих, как DKIM доказывает реальность писем.

Однако письмами Подеста история с DKIM не закончилась. В 2017 году ProPublica использовал DKIM для проверки аутентичности писем, предположительно отправленных критику личным адвокатом президента Трампа Марком Касовицем. В 2018 году Associated Press снова использовала его для проверки подлинности утечки писем, связывающих российского юриста с Дональдом Трампом-младшим. И это же произошло снова в этом году, когда получатели предполагаемого ноутбука Хантера Байдена передали Робу Грэму для проверки по DKIM одного письма 2015 года, чтобы преодолеть скептицизм журналистов относительно источников их информации.

Кто-то может сказать, что верификация по DKIM не важна, и что верить или не верить в утёкшие письма можно только на основании их содержимого. Однако то, что многочисленные новостные организации решили положиться на DKIM, чётко демонстрирует, насколько ошибочно такое предположение. Новостные организации, в том числе и Wikileaks, косвенно признают, что спорные источники получения писем приводят к сомнениям: вероятно, к таким сильным, что убедительная публикация в национальной новостной организации оказывается из-за этого невозможной. DKIM позволяет обойти эту проблему и устранить подобные помехи.

Агентство Associated Press даже выложило инструмент для проверки DKIM.

Если вкратце, то протокол антиспама, изначально предназначенный для обеспечения кратковременной идентификации писем, перемещающихся между почтовыми серверами, изменил своё предназначение (без малейших обсуждений или согласия коммерческих пользователей почты), превратившись в инструмент, обеспечивающий криптографически неоспоримую аутентификацию каждого вашего входящего или исходящего письма. Это потрясающий ресурс для журналистов, хакеров и шантажистов.

Но он не даёт никаких преимуществ вам.

Что же можно с этим поделать?


DKIM никогда не предназначался для долговременной аутентификации писем. Обеспечиваемые им гарантии безопасности важны, но должны существовать только в течение нескольких часов (возможно, дней) с момента передачи письма почтовым сервером. Сам факт, что DKIM по-прежнему может использоваться для доказательства подлинности украденного письма, написанного ещё в 2015 году, по сути, является провалом: результатом неправильного использования и настройки поставщиками услуг почты, которые должны были думать головой.

К счастью, существует простое решение.

DKIM позволяет поставщикам периодически выполнять ротацию, или замену ключей, используемых для подписывания исходящих писем. Частота такой ротации немного ограничена кэшированием инфраструктуры DNS, но эти ограничения не особо строги. Даже крупный поставщик наподобие Google с лёгкостью может менять ключи подписи как минимум каждые несколько недель, не мешая при этом передаче почты. Подобная замена ключей в любом случае является хорошей практикой, и представляет собой часть решения.

Разумеется, простая замена пар ключей DKIM сама по себе ничего не решит: хитрецы из Интернета постоянно архивируют публичные ключи DKIM. На самом деле, именно так было подтверждено в 2020 году письмо на ящик Google из 2015 года: ключ, который Google использовал для подписывания писем DKIM в тот давно прошедший период (с 2012 по 2016 год использовался один и тот же ключ серьёзно, Google, что это за раздолбайство!), уже больше не используется, но был кэширован во многие места в Интернете.

Для решения этой проблемы требуется всего один небольшой дополнительный элемент: Google должен публиковать часть пар ключей с секретным ключом после ротации и вывода их из эксплуатации. Компания должна публиковать этот секретный ключ в легкодоступном публичном месте, чтобы любой мог использовать его для фальсификации подозрительных старых писем от любого пользователя Google. Публичная доступность ключа подписи Google сделает любую новую утечку писем криптографически спорной. Так как любой посторонний сможет фальсифицировать подписи DKIM, они станут практически бесполезными в качестве свидетельства аутентичности.

(Те, у кого есть собственные почтовые сервера, могут реализовать это автоматически при помощи этого замечательного скрипта.)

Google может запустить этот процесс прямо сейчас, выпустив свои древние приватные ключи 2016 года. Поскольку их секретность сегодня в буквальном смысле не служит никаким задачам безопасности, за исключением подтверждения утечек почты сторонними лицами, нет никаких причин хранить эти значения в секрете. Просто выложите их.

(Читатель-параноик может также учесть возможность того, что мотивированные нападающие могли уже украсть у Google старые секретные ключи DKIM. В конечном итоге, ключи подписи DKIM не являются королевскими драгоценностями экосистемы Google, поэтому Google вряд ли прикладывает максимальные усилия для обеспечения их безопасности. В таком случае сохранением секретности ключей Google просто создаёт ситуацию, в которой определённые акторы могут безнаказанно фальсифицировать письма.)

Но аутентификация по DKIM отличная штука! Разве мы не хотим иметь возможность проверки утекшей у политиков почты?


Современные реализации DKIM вызывают проблемы, потому что стимулируют к конкретному виду правонарушений: краже приватных писем для использования в публичных кампаниях шантажа и вымогательств. Последние несколько лет получалось так, что эта особенность в основном использовалась таким образом, который многие люди считают приемлемым, или потому, что это соответствует предпочтениям их последователей, или потому, что пойманные политики как бы заслужили это.

Но плохое случается и с хорошими людьми. Если ты создаёшь механизм, стимулирующий к преступлениям, то рано или поздно преступление совершат против тебя.

Поставщики услуг электронной почты наподобие Google приняли решение (часто не спрашивая своих клиентов), что любой, кто подберёт пароль к электронной почте клиента или вытянет его фишингом у одного из сотрудников компании, сможет обеспечить криптографически неоспоримое доказательство, которое можно показать любому для подтверждения аутентичности результатов преступления. Возможно, такое доказательство для задач преступника окажется необязательным. Но оно определённо имеет ценность. Устранение такой возможности это благо в чистом виде.

Тот факт, что мне приходится спорить об этом, очень меня печалит.

Временные метки, улучшенная криптография и другие формальные возражения


Каждый раз, когда я упоминаю мысль о публикации старых секретных ключей, я получаю кучу формальных возражений от людей с очень хорошими замечаниями. Но думают они о более серьёзной модели угроз, чем та, с которой мы обычно сталкиваемся.

Самое распространённое возражение публикация секретных ключей сработает, только если подписанные письма были получены после публикации секретных ключей. По этой логике, которая справедлива, любые письма, украденные и опубликованные до публикации секретного ключа DKIM, являются неоспоримыми. Например, если кто-то взломает ваш аккаунт и сразу же начнёт публиковать в реальном времени получаемые вами письма, то их криптографическая проверяемость всё равно возможна.

Кто-то даже предложил возможность хитрой атаки, при которой получатели (или хакеры, имеющие постоянный доступ к вашему аккаунту электронной почты) используют публичный сервис создания временных меток, например, блокчейн, для надёжного штемпелевания на любом получаемом ими письме времени получения. Это позволяет таким получателям доказать, что они подписали письмо до публикации секретного ключа DKIM шах и мат.

Это отличный умный теоретический хак, но он, по сути, не относится к нашей теме в том смысле, что обращается к более сильной модели угроз. Самая критическая проблема DKIM сегодня заключается в том, что подписи DKIM находятся внутри вашего архивированного почтового ящика. Это означает, что хакер, взломавший мой аккаунт Gmail сегодня, сможет продемонстрировать подписи DKIM на письмах, которые я отправлял/получал годы назад. Публикация старых секретных ключей DKIM мгновенно решит эту проблему. Решение теоретической проблемы хакера в реальном времени может подождать своей очереди.

Иногда я слышу и другое возражение: криптографическая аутентификация это полезная функция. И при определённых условиях я с этим согласен. Проблема DKIM в том, что ни одного клиента не спросили, нужна ли ему по умолчанию эта функция в его коммерческом аккаунте почты. Если люди захотят криптографически подтверждать свои письма, то для этой цели можно воспользоваться удобным набором инструментов.

Кроме того, существует вопрос, можно ли будет решить проблему оспариваемости DKIM при помощи новой криптографии. Я, как исследователь криптографии, отношусь к этому с энтузиазмом. На самом деле, мы с моими соавторами Майком Спектером и Сану Парком недавно написали статью о том, как может работать долговременное решение проблемы DKIM. (Майк написал об этом замечательный пост.) Я не буду заявлять, что наше решение обязательно является лучшим, но надеюсь, что оно вдохновит кого-то на дальнейшие исследования.

Однако иногда наилучшим решением является самое простое. А на данный момент Google, являясь крупнейшим коммерческим поставщиком услуг электронной почты, может оказать огромное влияние (и защитить своих клиентов от будущих утечек), совершив очень простое действие. И для меня загадка, почему компания до сих пор так не поступила.


На правах рекламы


Виртуальный сервер от VDSina с защитой от DDoS-атак позволит разместить любой проект всё будет работать без сбоев и с высоким uptime! Подобрать параметры сервера можно самостоятельно с помощью удобного конфигуратора.

Подробнее..
Категории: Информационная безопасность , Спам и антиспам , Gmail , Блог компании vdsina.ru , Google mail , Dkim , Дким , Domain keys identified mail , Smtp

Телефонное мошенничество по горячим следам

22.01.2021 22:04:25 | Автор: admin
Намедни моих тестя и тещу телефонные мошенники развели на 350 000 (триста пятьдесят тысяч) рублей. Я не смог им помешать, хотя очень пытался, и деньги заслуженных пенсионеров пополнили общак в какой-нибудь колонии под Челябинском, зато у меня получилось по горячим следам получить ответы на вопросы, которые интересовали меня, когда я читал подобные истории в интернете.
И я хочу поделится эти сокровенным, даже можно сказать дорогостоящим знанием с вами.

Добро пожаловать под кат!

Одним совсем не прекрасным утром я позвонил тестю, по какому-то, не особо важному, делу, но его телефон был занят. Я перезвонил через полчаса по-прежнему было занято. Тесть бывший военный, говорит по телефону всегда максимально коротко, и мне сразу стало понятно, что что-то случилось.
Я позвонил на телефон тещи и из трубки полились бессвязный поток слов и всхлипы. По первым же словам сразу стало понятно, что произошло служба безопасности счет скомпрометирован сняли деньги понес в банкомат, класть на секретный счет
Я попытался спасти ситуацию перебил ее бред, сказал, что это мошенники и чтобы она остановила тестя, любым способом почему-то мне на ум не пришло ничего умнее, чем предложить облить его водой. Мне казалось, что под воздействием НЛП мошенников люди становятся словно зомбированными и если их облить холодной водой это позволит привести их в чувство.
Но ничего не получилось. Тещу заклинило на одной фразе Он меня не слушает, которую она повторяла в ответ на все мои слова. Я не сразу, через пару минут только, сообразил, что у нее истерика и она меня совсем не слышит. Она очень властный человек, тесть без ее указаний, обычно, никаких серьезных решений не принимает, тем более об операции с крупной суммой денег и эта ее фраза была совершенно неестественной, надо было мне понять быстрее, что она не в адеквате, но я тоже был на стрессе.
Прекратив бесполезный разговор, я велел жене набрать теще и попытаться что-нибудь ей втолковать (ничего у нее, конечно, не вышло), а сам прыгнул в машину и поехал к ним, в тщетной надежде успеть помешать тестю перевести деньги мошенникам, но, к сожалению, не успел. Теща дверь мне не открыла испугалась, что это бандиты пришли ее убивать, а тесть, с удивленным видом, стоял у банкомата, которому он только что скормил 350 000 рублей по 15 тысяч за один раз. Удивленным потому, что мошенники сбросили звонок и почему-то не перезвонили, и он так бы терпеливо стоял и ждал дальнейших указаний, если бы я не пришел за ним.

Развод был классическим позвонила служба безопасности, как следует запугала, потом прислала на мейл инструкцию что делать, он пошел снял все деньги с пенсионного счета и положил их на указанный номер телефона. Бинго!

Расследование, проведенное мною, по горячим следам, дало ответы на такие вопросы:
Да как вы могли попасться так глупо, я же вам присылал ссылку о таком виде мошенничества месяц назад!
Внезапно выяснилось, мы говорим с родителями на разных языках. Тесть отправлял мне по WhatsApp разную чушь, которую я удалял, не читая открытки ко всем, церковным и не очень, праздникам, новости Первого канала, разную уфологическую хрень, теории заговоров и т.п. И когда я ему сказал, что я посылал ему подобную историю про звонок от службы безопасности банка он только хлопал глазами оказалось, что он тоже удалял, не читая, все мои послания, в том числе эти самые истории о мошенничествах, считая все, что я присылаю, неинтересной ерундой.

Почему поверили что это реально звонят из банка?
Мошенники грамотно запугали пенсионеров страшными и непонятными фразами счет скомпрометирован, фиксирую информацию и т.п. А словосочетания СЛУЖБА БЕЗОПАСНОСТИ на бывшего военного и его жену подействовала прям магически тесть потом сказал, что у него все в душе оборвалось, типа ну все конец, посадят или расстреляют. А теща впала в истерику Беги скорее, делай что они говорят. О деньгах в тот момент они уже не думали себя бы спасти от тюрьмы или от чего похуже.

Почему вы не сообразили проверить их данные телефон, мейл и т.п.?
Оказалось, сообразили, проверили в тот момент, когда тесть сидел за компьютером чтобы принять по почте инструкцию, звонок прервался и у него было несколько секунд, чтобы что-то предпринять. Он вдруг засомневался и решил проверить номер телефона, с которого звонили, но тот или реально был похожим на телефон банка или тестю в горячке так показалось, в любом случае шанс спастись был упущен. А то, что ему банк посылает письма не с официальной почты, а с яндекс.ру и деньги требует перевести на левый номер телефона так кто ее знает-то эту официальную почту, и, наверное, сотрудник СБ пишет с секретного номера, а номер на то и секретный, поэтому не +7 495, а +7 909
Когда тесть снимал все свои деньги в банке, кассир могла бы, конечно, что-то заподозрить, когда пенсионер с выпученными глазами примчался закрывать счет, но во-первых это не ее работа, во-вторых тестя проинструктировали, что надо сказать, что женится сын и нужны деньги на свадьбу, в-третьих зная тестя, он бы не стал никого слушать, устроил бы скандал, но деньги все равно бы снял.

А теперь вопрос на миллион Почему не позвонили в банк или мне, вы же знаете, что я работаю в этом банке?!
выяснилось, что теща позвонила, только не нам с банком, а тому, кому полностью доверяет и считает ЭКСПЕРТОМ во всем и в банковском деле тоже сыну своей подруги. Он действительно работает в банке (оператором на телефоне в коллцентре какого-то мелкого полуподпольного банка, но какая разница, в банке же), и у моей тещи он считается супер-пупер знатоком что у него не спроси горячие новости(Первого канала), сериалы, ток-шоу на все у него есть авторитетное мнение (живет с мамой, смотрит с ней все эти новости, сериалы и ток-шоу). У меня и у банка про такое спрашивать бесполезно, поэтому она нашему мнению, естественно, не доверяет.
Теща и в обычной-то ситуации любит навести тень на плетень, а уж тут, когда целая СБ позвонила В общем, эксперт ничего не понял из того, что она полунамеками спрашивала, но на всякий случай сказал, что СБ это дело серьезное, и если со счетом что-то не так деньги с него лучше снять все, последний шанс соскочить с крючка мошенников был упущен.
Звонок в реальную службу безопасности мобильного оператора номера мошенников, ожидаемо, ничего не дал Мы не можем ограничивать наших клиентов в праве пересылать и получать деньги, обращайтесь в полицию, а позвонили мы через полчаса после последнего перевода денег, я надеялся, что можно остановить транзакции или заблокировать счет на время разбирательства, но нет.

И последний, самый интересовавший меня вопрос:
Ну ОК, счет скомпрометирован, ладно, но у вас же на руках были НАЛИЧНЕ! Все деньги спасены, зачем вы их понесли класть на какой-то секретный счет мошенникам? Положили бы их в шкаф, под постельное белье и дело с концом
Тесть с тещей только молча хлопали глазами такая идея им в головы не пришла. Мошенники не давали им ни минуты опомнится, все 3(ТРИ) часа, пока продолжалась спецоперация, НЕПРЕРВНО висели на телефоне, постоянно направляя и контролируя их действия, и, попутно, продолжая запугивать. Если звонок срывался, тут же перезванивали, не давая шансов соскочить с крючка.

Какой из этого всего следует вывод:


Если мошенники нащупали слабое место и человек заглотил наживку испугался, запаниковал, то все шансы, что он потеряет свои деньги, становятся очень велики. И на то, что он будет делать какие-то логичные и осмысленные действия, которые помогут ему спастись, рассчитывать не стоит.
Если, конечно, не произойдет какой-нибудь случайности, как например, это случилось с одной моей знакомой, когда ей позвонила СБ ее банка и стала спрашивать ПИН-код и прочее она уже начала было диктовать номер, но поезд метро, в котором она ехала, вошел в тоннель и связь разорвалась. Она некоторое время ждала звонка, а потом сама перезвонила только уже в настоящий банк. Но тут просто повезло.

Поэтому, проведите своим родителям ликбез по безопасности, попробуйте смоделировать с ними опасные ситуации и покажите, как на них реагировать, куда и кому обратится за помощью, если что-то идет не так.
И, пожалуйста, это крайне важно, не повторяйте моих ошибок сделайте это лично!
Подробнее..
Категории: Информационная безопасность , Спам и антиспам , Мошенничество , Мошенники , Компьютерная грамотность

Свободный антирекламный щит рядового пользователя Яндекс без дзена, Youtube без рекламы, Хабр без баннера

19.03.2021 16:09:40 | Автор: admin

Контроль над содержимым web должен принадлежать рядовому пользователю, а не маркетологам. Юзер сам в состоянии определять, что для него является пагубной рекламой, а что полезным контентом. Если пользователь считает, что новости или дзен Яндекса - это своего рода реклама, то он может ограничить себя от вредоносного для него контента совершенно законно в касание и без красноглазия. Решение под катом.

В 20 веке в противопосталение массового засилья рекламы на телевидении, разработчики телевизионной аппаратуры придумали кнопку на пульте ДУ - "mute". Дедушки и бабушки положительно оценили антирекламный прогресс, взяв на вооружение этот эффект оглушающей тишины.

В 21 веке непродуктивные методы рекламы, например, такие как 25-кадр остались в прошлом, а FUD маркетологов и адблоки киберпанков (другие приёмы и ПО) над манипуляцией сознания общества развернулись на самом близком фронте в мировой сети Интернет.

Windows/GNU/Linux и Android OS-ы. В этой статье будут изложены современные и эффективные приёмы кунг фу против глобальной рекламы на сегодняшний день.

Ublock origin

Яндекс пользовательская (моя) персональная стартовая страница на ПК.

Яндекс стартовая на Android.

Так выглядят мои стартовые страницы Яндекса. Отсутствует прямая реклама; Я.Дзен; Я.Плюс; Я.Новости; телепрограмма и прочее, что нарушало мое интернет-равновесие.

Поясняю свою позицию на примере ликвидации блока: Яндекс.Новости с www.yandex.ru. Основная причина в том, что транснациональная корпорация подсовывает мне неприемлемый, новостной, политический контент (только ли мне?). В Яндексе я не авторизован и мой персональный профиль менее известен Я.Маркетологам (я не сохраняю cookies/историю и пароли в браузере, потому что серфю в браузерах Firefox и DuckDuckGo в дефолтном режиме инкогнито мимо политических интриг).

Пример новостной Топ-ленты в DDG-браузере на главной странице Яндекса

В каждой стране свой местный поисковик генерирует новости подобного рода или так обучился только Яндекс?

Как мне удалось настроить персональные страницы сайтов, убрав лишнее? Очень просто: я использовал вместо Adblock Plus --> uBlock Origin.

Многим пользователям известен addon к браузерам Adblock Plus, который блокирует социальные и рекламные трекеры. Но у этого расширения есть существенные изъяны:

  • Adblock Plus не позволяет пользователям самостоятельно выбирать и блокировать контент, который не нравится или является рекламой по мнению пользователя (к сожалению блокировка рекламы осуществляется по интересам разработчиков аддона, а не юзера). Пользователь не только не может заблокировать некоторую рекламу, которая ему мешает, но ему и недоступна статистика по блокировке элементов.

  • Для кого-то политика конфиденциальности Adblock Plus (сбор персональных данных) может оказаться неприемлемой.

По этому поводу я когда-то отредактировал две статьи в Википедия "п. Конфиденциальность", качнув чашу весов в пользу uBlock Origin. И внесенные изменения устояли не смотря на то, что эти статьи относятся к горячим (см война правок в вики).

Процитирую здесь свои пункты из Вики, которые имеют значения:

"""Конфиденциальность Adblock Plus

Согласно политике конфиденциальности: Adblock Plus или Adblock Browser обрабатывает персональные данные пользователей такие как ip, операционная система, дата последнего обновления, версия браузера.[13]

Политики конфиденциальности uBlock и uBlock Origin различаются.

Согласно политике конфиденциальности uBlock Origin: обработка персональных данных пользователей не осуществляется[44] в отличие, например, от политик конфиденциальностей Adblock Plus или uBlock[46].

uBlock Origin входит в предустановленное ПО дистрибутива с повышенными требованиями к приватности и анонимности пользователей GNU/Linux Tails.[47]"""

Преимущества uBlock Origin перед Adblock Plus очевидные:

  • Кроме автоблокировки рекламы, например в Ютубе, осуществляется блокировка web-контента на выбор пользователя в касание, то есть пользовательский интерфейс в uBlock Origin дружелюбный. Пользователь может заблочить "любой/не нравящийся" контент на любимых сайтах.

  • Полноценная статистика о блокировках скриптов/рекламы.

  • Отсутствие сбора данных о пользователе.

Недостатки uBlock Origin в целом:

  • Addon uBlock Origin с открытым исходным кодом, имеет высочайшую популярность на Github-е. На данный момент проект набрал 24к звёзд, но при всем этом предложить патчи или открыть проблему для рядового пользователя является затруднительным, так как разработчик uBlock Origin ограничил круг лиц к репозиторию, который мог бы предлагать исправления и улучшения.

  • Разработчики Яндекс браузера преуспели: Addon uBlock Origin цензурирован своей магией на главной странице Яндекса в Яндекс браузере.

Существует и поддерживается миф о том, что после чрезмерной блокировки рекламы Адблоками страницы медленнее грузятся. Миф опровергается в любом браузере замером скорости загрузки сайта через инструменты разработчика до и после блокировок. В моем случае после блокировки 'Яндекс-мусора' скорость загрузки страницы не замедлилась, а наоборот возросла.

Скрины до и после блокировки.

И последнее про плагин: при установке uBlock Origin пользователю нужно быть внимательнее, так как существует похожая версия ПО - uBlock (которая имеет похожий логотип, но при этом собирает данные о пользователе), а сам uBlock Origin имеет две версии (стандартную и для разработчиков), я рекомендую версию для разработчиков, различие заключается в опережающей разработке стабильного uBlock Origin.

Youtube vanced

Вы обращали внимание на то, что в Telegram (клиент приложения под Android) ссылки на Ютуб-ролики открываются без рекламы? Фокус в том, что рекламу создает приложение Youtube, а само видео лежит глубоко по ссылке.

Пример:

https://www.youtube.com/watch?v=zRO_KsPZJto #привычная пользовательская ссылка.

https://r4---sn-gvnuxaxjvh-n8ves.googlevideo.com/videoplayback?expire=1616171383&ei=F31UYJqLGciA8gOKm7_wAw&ip=213.24.126.231&id=o-AJuntU-XuYfFhEdh34GL-alsXySNS6KpPCZkQEAR1Qrm&itag=137&aitags=133%2C134%2C135%2C136%2C137%2C160%2C242%2C243%2C244%2C247%2C248%2C278&source=youtube&requiressl=yes&mh=sP&mm=31%2C29&mn=sn-gvnuxaxjvh-n8ves%2Csn-n8v7kn7e&ms=au%2Crdu&mv=m&mvi=4&pcm2cms=yes&pl=24&initcwndbps=1185000&vprv=1&mime=video%2Fmp4&ns=61gZCT2jccJUZOaT0KITAP8F&gir=yes&clen=51122421&dur=1351.332&lmt=1535003351967636&mt=1616149486&fvip=4&keepalive=yes&fexp=24001374%2C24007246&c=WEB&n=I9K3vXiGUFbZi4NnVC&sparams=expire%2Cei%2Cip%2Cid%2Caitags%2Csource%2Crequiressl%2Cvprv%2Cmime%2Cns%2Cgir%2Cclen%2Cdur%2Clmt&sig=AOq0QJ8wRAIgcuPYMOpTQkMQZF56dtE4udtjeisXpUE2emMgBDvWeIkCIBHGs17vGxDDYM1qK3AyPhI8IS0Lq5DP3EoSkds7qA74&lsparams=mh%2Cmm%2Cmn%2Cms%2Cmv%2Cmvi%2Cpcm2cms%2Cpl%2Cinitcwndbps&lsig=AG3C_xAwRQIhANuabfdPjT_rF1P4F9THlQwadPCmpRB9f9DqPZ3Am1aUAiBuvPsP8335FKM2GqJya3ItMOe1eGo2nYZhOpIFsVbscg%3D%3D&ratebypass=yes #реальная ссылка.

YouTube vanced - это аналог приложения YouTube для OS Android, настоящая психотерапия после бесконечной (я даже слышал выражение по ублюдской) рекламы, которая приводит в тч. и к депрессиям интернет-зависимых людей.

Приложение YouTube vanced полностью убирает рекламу и поддерживает некоторые, полезные, дополнительные функции: например, работа в фоне, работа в окне. Визуально - это тоже самое приложение, что и стандартный YouTube только без рекламы. YouTube vanced поддерживается и на стареньких гаджетах и на современных.

YouTube vanced работает и на нерутированных гаджетах.

Официальный сайт: https://vancedapp.com/
Обратите внимание, существуют поделки, например, https://youtubevanced.com/

Остается загадкой: почему сайт YouTube vanced открывается в браузере Chrome, а киберпанки выходят на связь, приложение явно наносит урон по рекламному рынку Гугла и по заработку блогеров, но выручает простых пользователей.

Подробнее..
Категории: Информационная безопасность , Интерфейсы , Реклама , Интернет-маркетинг , Спам и антиспам , Цензура , Пиар , Антиреклама , Адблоки , Борьба

Вы часть руководства? Отключите прием вызовов в телеграм! Баг-хантер? Уважайте других людей

13.04.2021 22:15:19 | Автор: admin

Всем привет. Сегодня речь пойдет не совсем о разработке. Я даже не знаю с чего начать. Это просто крик души.

Вы когда-нибудь пользовались звонками в телеграм? Это в целом удобно, особенно если не знаешь номера телефона. Но три месяца назад началась очень неприятная история, которая в конечном счете вымотала всю нашу поддержку, да и меня тоже.

Хто я?

Я - технический директор зарубежной компании. Прошел весь путь с момента идеи продукта и до текущего момента. По сути, мы - стартап, но вышли на самоокупаемость. Я часто отвечаю в поддержке для ускорения процесса если, конечно же, у меня есть свободное время. Итак, история началась 3 месяца назад. Наша команда в основном работает удаленно, но желающие могут посещать офис в Москве. Так вот, в конце января наш офис (а за одно и столицу) решил посетить один из сотрудников. Было принято решение встретить его с аэропорта. Должен сказать, я не отвечаю на телефонные звонки когда за рулем. И вот я еду в аэропорт, как мне начинает звонить раннее неизвестный мне человек в телеге. Я конечно же сбрасываю, но так просто я не отделался. Звонки начали повторяться постоянно. Сбросил - через 5 секунд тебе уже снова звонят. Ну что-ж. Выход очевиден: беззвучный режим и глаза на дорогу.

Как только я доехал до аэропорта и открыл чат - увидел что этот человек, который так сильно названивал, нашел несколько багов в нашем приложении и просит вознаграждение. После чего я перенаправляю его на других сотрудников, забираю коллегу и еду обратно. Дальше пришло несколько сообщений которые я снова не прочитал потому что был за рулем и снова очередь звонков, которые были сброшены.

Вернувшись в офис, я решил уделить время охотнику за багами. После небольшой переписки, багхантер понимает что вознаграждение не я плачу и что все-таки я бесполезен для него. Ситуация стихает на некоторое время. Но неделю назад все началось с бОльшей силой. Я как обычно сижу на работе, провожу митап со своей командой, как мне начинают звонить. Естественно все по старой схеме: я занят > сброс > звонок. Цикл замкнулся.

while (true) {  const rand = randomFloat();  if (rand > 0.9) {    writeMessage("Hi");    continue;  }    callTelegramm();}

После митапа я пишу "What happened?" ииии... Дальше ничего. Сообщение не прочитано, человек так сильно пытался до меня дозвониться и пропал. Через 3 дня он объявляется и сообщает что нашел аж 10(!) багов. Я думаю "как же так, 10 багов, я о них ничего не знаю". Логично что я сразу же занялся его вопросом и решил лично проверить все.

-_- ([%$#%^&$#] заголовок украден хакерами анонимусами)

После проверки "багов" оказалось что часть из них - возможность вытащить "личные данные пользователей". Звучит страшно, но на деле там оказалось что можно получить nickname пользователя, чей ник ты и так должен знать и (внимание) ID пользователя. Wow. Чтобы было немного понятнее: вы можете найти в телеграм пользователя по его нику. Чтобы его найти - вы и так должны знать ник. Это точно личные данные пользователей уязвимые для атаки? Вот такой же "баг" у нас нашли.

Другой "баг" - возможность доступа к открытым разделам приложения без оплаты. Мы сняли требование оплаты для того чтобы пользователь мог зайти в настройки и изменить емаил или пароль. Или же сменить тарифный план на бесплатный. Так вот как оказалось - это критическая уязвимость.

Еще могу рассказать как взломать абсолютно любой сервис. Как же? Все просто: открываете дев-тулзы на сайте и меняете текст в хтмл на свой личный. Для удобства представим что вы в сообществе вк добавляете модератора. Так вот вы находите в девтулзах слово "модератор" и пишете "владелец". А потом нажимаете кнопку, которая и выдает права. Проверять не стоит, ведь вы и так уверены что сообщество теперь принадлежит другому пользователю. Правда если все же проверить права - он окажется модератором, но это не важно. Звучит как ерунда? Я с вами согласен.

В конечном счете оказалось из 10 багов, за которые, кстати, тот самый нереальный охотник просил $2000, действительно багами считать можно только 2. И то они заключались в том, что мы не ограничиваем максимальное количество вводимых символов в инпут пароля при логине и регистрации. Казалось бы: можно попробовать забить сервер. Но при превышении максимального веса запроса - сервер сам отбросит его, да и к тому же у нас передается очень много данных между клиентом и сервером. Бывает возвращается ответ с 10к+ строк текста.

Пора поговорить о bug bounty

Решение было принято. За это платить $2000 не будем, оно того не стоит. Было предложено $400 за эти 2 момента. Но эта сумма не устроила охотника за багами. Он снисходительно снизил цену до $1500. 1500? Что? За максимальное ограничение символов? Его аргументом стало то, что это можно использовать для DDOS-атаки. Но DDOS-атака не проводится на поля для ввода. Она не так подбирается. Ищется место, в котором сервер медленнее всего обрабатывает запрос - очевидно там тяжелая работа с базой или какая-то дополнительная обработка, а может и в оперативу выгружает большое количество данных. И именно в этом место начинается атака чтобы положить сервер. В результате я предложил решение: проведешь успешную атаку с этим "багом" и мы поговорим об оплате за него.

Тут баг-хантер решил что пора понижать планку еще: до $1000. На самом деле $400 за эти "баги" и так сильно завышенная цена. После моего отказа - начались звонки - я отписал что в данный момент работаю и не могу ответить, но звонки продолжились. На следующий день все повторилось - я перенаправил его на других сотрудников, но с ними сей человек разговаривать не стал и продолжил долбиться ко мне в личку. В конце рабочего дня он отписал, что согласен на $600, после чего мы с ним еще раз поговорили и сошлись на 500, но без дальнейшего продолжения сотрудничества. После чего я связался с CEO компании и оказалось, что за день до этого ему уже перевели $500 (в тот момент, когда его это не устраивало). Я снова списался с охотником на баги и оказалось что он хочет еще $500. То есть в общей сложности $1000. И снова начались звонки... Я запретил ему в настройках звонить мне - он зарегал второй аккаунт, затем третий. После - начал звонить и писать в чат поддержки с требованием перевести ему еще со словами "иначе с вами никто не будет работать". Дальше - больше. Дело пошло к угрозам, жалобным и злобным эмоджи.

Потом пошел флуд в личку. И в конечном счете я не выдержал и отправил его в бан.

Может быть у кого-то были подобные проблемы? Как вы их решаете? Формально у нас не было компании на hackerOne. Этот человек сам нашел нас и сам же скинул баги и запросил цену. Мы готовы платить, но всему есть предел. Буду рад обсудить это в комментариях.

Мораль сей басни такова

  1. Не названивайте в телеграм постоянно. Если человек сбросил - он занят и обязательно ответит позже

  2. Не ломите цену. Ну ей богу. Ограничение по количеству символов в инпуте не стоит 2000 у.е. Оно и 500 не стоит если честно. Такими темпами можно будет оценивать отсутствие валидации полей на клиенте в тысячу долларов. А главным аргументом станет "Ну и что, что запрос не выполняется. Он же на сервер улетает. Запрос лишний - можно дудосить"

  3. Проверяйте баги прежде чем отписывать о них. Изменить в девтулзах текст - это не баг если он ни к чему не привел

Всех же, кто является частью руководства компании, призываю ограничить прием вызовов в телеграм не только в личном, но и в аккаунте поддержки - нашу команду просто вымотали за 3 дня. 3 дня безостановочных звонков. А главное - поддержка не может себе позволить заблокировать пользователя или сама отключить прием вызовов. Я восхищаюсь их терпению. Я бы просто не выдержал.

Подробнее..
Категории: Информационная безопасность , Безопасность , Управление персоналом , Спам и антиспам , Чулан , Телеграм , Баги , Поддержка , Уважение , Надоело

Recovery mode Антирекламный щит рядового пользователя Яндекс без дзена, YouTube без рекламы, Хабр без баннера

12.06.2021 12:08:35 | Автор: admin

Контроль над содержимым web должен принадлежать в т.ч. рядовому пользователю, а не только маркетологам. Web-пользователь сам в состоянии определять, что для него является пагубной рекламой, а что полезным контентом. Если пользователь считает, что новости или дзен Яндекса - это своего рода реклама, то он может ограничить себя от вредоносного для него контента совершенно законно в касание и без красноглазия. Решение под катом.

В 20 веке в противопоставление массового засилья рекламы на телевидении, разработчики телевизионной аппаратуры придумали кнопку на пульте ДУ - "mute". Дедушки и бабушки положительно оценили антирекламный прогресс, взяв на вооружение этот эффект оглушающей тишины.

В 21 веке непродуктивные методы рекламы, например, такие как 25-кадр остались в прошлом, а FUD маркетологов и адблоки киберпанков (другие приёмы и ПО) над манипуляцией массовым сознанием развернулись на самом близком фронте в мировой сети Интернет.

Windows; GNU/Linux и Android OS-ы. В этой статье, и возможно в комментах, будут изложены современные и эффективные приёмы защиты второй линии против глобальной рекламы на сегодняшний день.

uBlock Origin

Яндекс (мои) персональные поисковые страницы на ПК/Android.Яндекс (мои) персональные поисковые страницы на ПК/Android.

Так выглядят мои персональные страницы Яндекса. Отсутствуют/выпилены: прямая реклама; Я.Дзен; Я.Плюс; Я.Новости; телепрограмма, подвал и прочее, что нарушало мое интернет-равновесие.

Поясняю свою позицию на примере ликвидации блока: Яндекс.Новости с www.yandex.ru. Основная причина в том, что транснациональная корпорация подсовывает мне неприемлемый, новостной, политический контент (только ли мне?). В Яндексе я не авторизован и мой персональный профиль менее известен Я.Маркетологам (я не сохраняю cookies/историю и пароли в браузере, потому что серфю в браузерах Firefox и DuckDuckGo в дефолтном режиме инкогнито мимо политических интриг).

Пример новостной Топ-ленты в DDG-браузере на главной странице Яндекса

Пример поискового запроса в Яндексе: 'Стивен Сигал'

Интересно: в каждой стране свой местный поисковик генерирует контент подобного рода или так обучился только Яндекс?

Как мне удалось персонализировать страницы сайтов, убрав лишнее? Очень просто: я использовал вместо коммерческого Adblock Plus --> киберпанковский uBlock Origin.

Многим пользователям (в какой-то степени благодаря той же рекламе) известен addon к браузерам Adblock Plus, который блокирует социальные и рекламные трекеры. Но у этого расширения есть конкретные изъяны:

  • Adblock Plus имеет неочевидный отстрел выборочных HTML-элементов (к сожалению блокировка рекламы осуществляется по интересам разработчиков аддона, а не юзера). Пользователю недоступна статистика по блокировке элементов.

  • ABP - это коммерц, а это значит, что режущую рекламу фильтры/политика/код сформировываются по рыночным $-правилам.

  • Для кого-то политика конфиденциальности Adblock Plus (сбор персональных данных о пользователях) может оказаться неприемлемой.

По поводу конфиденциальности: я когда-то отредактировал пару статей об адблоках в свободной энциклопедии, качнув чашу весов в пользу uBlock Origin. И внесенные изменения устояли не смотря на то, что подобные статьи относятся к горячим (см. война правок в вики).

Процитирую здесь "свои пункты" из Википедии, которые имеют значения:

"""Конфиденциальность Adblock Plus

Согласно политике конфиденциальности: Adblock Plus или Adblock Browser обрабатывает персональные данные пользователей такие как ip, операционная система, дата последнего обновления, версия браузера[13].

Политики конфиденциальности uBlock и uBlock Origin различаются.

Согласно политике конфиденциальности uBlock Origin: обработка персональных данных пользователей не осуществляется[44] в отличие, например, от политик конфиденциальностей Adblock Plus или uBlock[46].

uBlock Origin входит в предустановленное ПО дистрибутива с повышенными требованиями к приватности и анонимности пользователей GNU/Linux Tails.[47]"""

Преимущества uBlock Origin перед Adblock Plus очевидные:

  • Кроме автоблокировки рекламы, например в Ютубе, осуществляется блокировка web-контента на выбор пользователя в касание, то есть пользовательский интерфейс в uBlock Origin дружелюбный. Пользователь может заблочить "любой/не нравящийся контент" на любимых сайтах.

  • Полноценная статистика о блокировках скриптов/рекламы.

  • Дополнительные, расширенные авто-фильтры, например, adguard-фильтры.

  • Отсутствие какого-либо сбора перс.данных пользователей.

Недостатки uBlock Origin в целом:

  • Addon uBlock Origin с открытым исходным кодом, имеет высочайшую популярность на Github-е. На данный момент проект набрал 24к звёзд, но при всем этом предложить патчи или открыть проблему для рядового пользователя является затруднительным, так как разработчик uBlock Origin ограничил круг лиц к репозиторию, который мог бы предлагать исправления и улучшения. UPD: ситуация поправлена.

  • Разработчики Яндекс браузера преуспели: Addon uBlock Origin цензурирован своей магией на главной странице Яндекса в Яндекс браузере.

Существует и поддерживается миф о том, что после чрезмерной блокировки рекламы адблоками страницы медленнее грузятся. Миф опровергается в любом браузере замером скорости загрузки сайта через инструменты разработчика до и после блокировок. В моем случае после блокировки 'яндекс-мусора' скорость загрузки страницы не замедлилась, а наоборот возросла.

Скрины до и после блокировки 'яндекс-мусора'.

И последнее про плагин: при установке uBlock Origin пользователю нужно быть внимательнее, так как существует альтернативная версия ПО - uBlock (которая имеет схожий логотип и название, но при этом собирает данные о пользователе), а сам uBlock Origin имеет две версии (стандартную и для разработчиков), я рекомендую версию для разработчиков, различие заключается в опережающей разработке стабильного uBlock Origin.

Это расширение ничто. Так что, если вы действительно хотите внести свой вклад, подумайте о людях, усердно поддерживающих списки фильтров, предоставленные Вам для бесплатного использования.

Оф.цитата из uBO.

YouTube vanced & альтернатива

Вы обращали внимание на то, что в Telegram (клиент приложения под Android) ссылки на Ютуб-ролики открываются без рекламы? Фокус в том, что рекламу создает приложение YouTube, а само видео лежит глубоко по ссылке.

Пример:

https://www.youtube.com/watch?v=zRO_KsPZJto #привычная пользовательская ссылка.

https://r4---sn-gvnuxaxjvh-n8ves.googlevideo.com/videoplayback?expire=1616171383&ei=F31UYJqLGciA8gOKm7_wAw&ip=8.8.8.8&id=o-AJuntU-XuYfFhEdh34GL-alsXySNS6KpPCZkQEAR1Qrm&itag=137&aitags=133%2C134%2C135%2C136%2C137%2C160%2C242%2C243%2C244%2C247%2C248%2C278&source=youtube&requiressl=yes&mh=sP&mm=31%2C29&mn=sn-gvnuxaxjvh-n8ves%2Csn-n8v7kn7e&ms=au%2Crdu&mv=m&mvi=4&pcm2cms=yes&pl=24&initcwndbps=1185000&vprv=1&mime=video%2Fmp4&ns=61gZCT2jccJUZOaT0KITAP8F&gir=yes&clen=51122421&dur=1351.332&lmt=1535003351967636&mt=1616149486&fvip=4&keepalive=yes&fexp=24001374%2C24007246&c=WEB&n=I9K3vXiGUFbZi4NnVC&sparams=expire%2Cei%2Cip%2Cid%2Caitags%2Csource%2Crequiressl%2Cvprv%2Cmime%2Cns%2Cgir%2Cclen%2Cdur%2Clmt&sig=AOq0QJ8wRAIgcuPYMOpTQkMQZF56dtE4udtjeisXpUE2emMgBDvWeIkCIBHGs17vGxDDYM1qK3AyPhI8IS0Lq5DP3EoSkds7qA74&lsparams=mh%2Cmm%2Cmn%2Cms%2Cmv%2Cmvi%2Cpcm2cms%2Cpl%2Cinitcwndbps&lsig=AG3C_xAwRQIhANuabfdPjT_rF1P4F9THlQwadPCmpRB9f9DqPZ3Am1aUAiBuvPsP8335FKM2GqJya3ItMOe1eGo2nYZhOpIFsVbscg%3D%3D&ratebypass=yes #реальная (генерированная) ссылка.

YouTube vanced - это аналог приложения YouTube для OS Android, настоящая психотерапия после чрезмерной (я даже слышал выражение ублюдской) рекламы, которая приводит в тч. и к депрессиям интернет-зависимых людей .

Приложение YouTube vanced полностью убирает рекламу и поддерживает некоторые, полезные, дополнительные функции: например, работа в фоне, работа в окне. Визуально - это тоже самое приложение, что и стандартный YouTube только без воспроизведения рекламы. YouTube vanced поддерживается и на стареньких гаджетах и на современных.

YouTube vanced работает и на нерутированных гаджетах. Очевидно, что упомянутое приложение вы не встретите в google play market.

Официальный сайт: https://vancedapp.com/
Обратите внимание, существуют поделки, например, https://youtubevanced.com/

Альтернативный просмотр YouTube без рекламы (но без лайков/комментариев): пользователю поможет open source приложение NewPipe из f-droid, которое позволяет еще и скачивать видеоролики или SkyTube (так же на Android можно скачивать и в CLI с помощью пакета youtubedr в Termux:
 $ youtubedr download htps://www.youtube.com/watch?v=zRO_KsPZJto

С Android устройств можно активничать на YouTube и из обычного FF или Brave браузеров с расширением/встроенным uBO, режущим рекламу, но на мой субъективный взгляд это не так удобно как в приложении. Однако это явно лучше, чем подвергаться 'насилию' навязчивой рекламы, особенно если пользователь пользуется видео-платформой нечасто.

Спойлер
из КФ/ Очень странные делаиз КФ/ Очень странные дела

Не в обиду эффективным маркетологам, зачитавшимся такими произведениями, как например, "Атлант расправил плечи", презирающих и обвиняющих активных противников рекламы, которые по их мнению утратили рациональное мышление в реальной виртуальности. Встает вопрос: зачем свободная и бесплатная альтернатива, существующая на донаты, если имеется монетизированный YouTube Premium? В этом нарастающем конфликте у каждого своя правда: между маркетологами (стремящимися собирать, хранить, делиться с целью повысить эффективность рекламы, или того хуже обрабатывать весьма личную информацию о юзерах) и сопротивляющимися этому явлению пользователями.

Согласно соглашению YouTube:

YouTube может прекратить Ваш доступ или доступ посредством Вашего аккаунта Google ко всему Сервису или его части, если сочтет, что предоставление Вам доступа к Сервису более не имеет коммерческого смысла.

Помимо навязчивой рекламы, обновленного соглашения и просто ради конкуренции развиваются децентрализованные сервисы подобные YouTube: D.Tube; PeerTube.

Или прочие, например, bitchute, который уже успели задеть РКН.
БлокировкаБлокировка

Остается загадкой: почему сайт YouTube vanced всё ещё открывается в браузере Chrome, а киберпанки выходят на связь, диссиденты явно наносят урон по рекламному рынку в т.ч. Гугла и по заработку блогеров, но выручают простых пользователей.

p.s. Только таким способом удалось реанимировать статью из черновиков.

Подробнее..
Категории: Информационная безопасность , Маркетинг , Реклама , Спам и антиспам , Цензура , Антиреклама , Борьба , Щит

Перевод Можем ли мы привлечь общество к самостоятельному поддержанию интернет-культуры?

17.11.2020 08:20:28 | Автор: admin


С развитием социальных сетей и других онлайн-платформ люди получили беспрецедентную возможность для проведения публичных мероприятий. Но нередко эта способность по публикации и распространению информации используется не во благо. Здесь и распространение насилия, терроризма, фейка, популяризации запрещенных препаратов, спам, оскорбления и многое другое, что вызывает резонанс в обществе. И в таких случаях возможности онлайн-платформ по распространению информации начинают работать во вред людям.

При этом трудностей с выявлением информации, которую мы не хотели бы видеть, у онлайн-платформ хватает, так как объем распространяемого в интернете контента огромен, и он постоянно растет, а задача модерации контента при этом отнюдь не тривиальная. Поэтому, несмотря на успехи автоматических методов, число нанятых онлайн-платформами модераторов, вручную просматривающих контент, также непрерывно растет, как и волна критики со стороны общества в отношении процесса модерации.



И прежде всего в обществе все чаще разгораются споры кто и в каком объеме должен нести ответственность за контент.



В конце мая 2020 года Президент Дональд Трамп подписал исполнительное распоряжение, касающееся платформ социальных сетей, призвав привлечь их к ответственности за контент, размещенный на их сайтах, и приказав Федеральной торговой комиссии и генеральному прокурору начать расследование деятельности компаний. Причиной стало размещение в Twitter предупреждающего ярлыка о проверке фактов на некоторых твитах президента, которое президент воспринял как цензуру, применённой избирательно и не прозрачно.

Но чтобы мы хотели от интернет-компаний? Чтобы они были своеобразным глобальным цензором всего и вся на своих платформах, пускай даже дорогой ценой ручной модерации? Или все же не лезли в наше общение, во имя свободы слова? Где грань? Кто задает правила игры? Возможен ли компромисс в модерации информационного поля для всех участников сторон: интернет-компаний, пользователей, контролирующих органов? Может ли статься так, что поддержанию интернет-культуры это комплексная проблема, являющейся проблемой не только интернет-компаний, но и требующая участия самого общества в этом процессе и требующая принятие им на себя хотя бы части ответственности за публикуемый им же контент?

Подобные вопросы возникают все чаще и чаще




Но какими возможностями обладает общество для участия в процессе регулирования сетевой культуры?



В настоящее время компании пытаются привлечь пользователей к модерации путем использования кнопки пожаловаться, реализация применения которой имеет несколько основных подходов.

Так, по нажатию этой кнопки контент, выделенный пользователем, может быть отправлен на проверку назначенному заранее модератору. Плюс такого подхода это простота указания нарушения конечными пользователями. Минусом этого подхода является отсутствие доверия к оценке отдельного пользователя и, как следствие, необходимость подтверждения нарушения модератором, который нередко не успевает реагировать в следствии постоянного роста объема контента. И в этом случае, конечное слово, а значит и ответственность за отторжение неприемлемой информации полностью лежит на плечах интернет- компаний.

Другим основным подходом можно считать коллективную модерацию. Разновидностей такого подхода много, но в общем случае этот подход можно описать следующим образом. При нажатии кнопки пожаловаться определенным количеством пользователей на одном и том же контенте, компании могут считать, что нарушение было, и запустить автоматическую процедуру удаления неприемлемого контента или пометить его каким-либо образом, предупреждая тем самым своих пользователей. Плюс такого подхода состоит в том, что пользователи полностью самостоятельно могут влиять на информационную культуру. Принимая на себя таким образом групповую ответственность за отторжение неприемлемой информации. Минусом является то, что такая технология по-прежнему не доверяет оценке отдельного пользователя и, как следствие, она подразумевает некоторое, достаточное количество голосующих пользователей, которых может просто не набраться для организации голосования по конкретному контенту.

В итоге, участие общества в процессе регулирования сетевой культуры на практике является опосредованной или громоздкой процедурой, которую сложно использовать массово. И это несмотря на то, что пользователи заинтересованы в поддержании адекватной интернет-культуры и, как показывает практика использования кнопки пожаловаться, готовы в ней участвовать в случае нарушений! Однако их голоса воспринимаются очень условно, и все из-за того, что в интернете нет доверия к оценке, сделанной рядовым пользователем. Нет, по умолчанию.



Но можем ли мы научится доверять оценке отдельного пользователя?



Казалось бы, в интернет невозможно просто так взять и довериться оценке рядового пользователя. Но ведь можно создать условия, при которой этой оценке можно доверять. И такой успешный опыт уже есть. Такой метод использует широко известная и всем поднадоевшая reСaptcha. Точнее, одна из ее первых версий, в которой пользователю для авторизации на сайте предлагалось написать несколько слов. Одно из этих слов было проверочным и известно системе, а другое слово было неизвестно системе, и его требовалось распознать. Сами же пользователи не знали, какое слово известное, а какое нет, и для того, чтобы быстрее авторизоваться, вынуждены были стараться отвечать честно, а не гадать.

В итоге пользователи, которые отвечали честно и правильно вводили проверочное слово, считались объективными, и reCaptcha их пропускала дальше, а также принимала ранее не известное ей слово, как верный результат. И это оказалось эффективно. Таким несложным методом пользователи reCaptcha только за первые полгода работы успешно распознали около 150 миллионов не распознанных слов, которые не смогли распознать автоматические методы.


А что, если применить такой подход в области модерации?



Подобно reCaptcha можно дать отдельному пользователю возможность выполнить тест на модерацию, т.е. тест на оценку соответствие ряда публикаций неким заранее заданным правилам. При этом среди публикаций будет публикация, оценка которой нам не известна, а остальные публикации будут проверочными с заранее известными оценками. Далее, если пользователь успешно прошел тест, т.е. был честен в оценке проверочных публикаций, известных системе, то мы принимаем его оценку неизвестной публикации, то есть доверяем мнению этого пользователя. Причем, для получения оценки неизвестной нам публикации, таким образом, нам не нужно будет организовывать коллективное голосование. Достаточно будет одного пользователя.

Объединив этот тест с кнопкой пожаловаться, мы можем организовать среду, позволяющую пользователям полностью самостоятельно модерировать информацию. Для организации этого, после нажатия кнопки пожаловаться пользователю сначала будет предложено пройти тест. Затем, если он успешно прошел тест, публикация, на которую он хочет пожаловаться и которая, как он считает, нарушает некое заранее заданное правило, будет отправлена на проверку.

В процессе прохождения теста пользователь будет является невольным, непредвзятым модератором некой публикации, оценка которой еще не известна, среди остальных публикаций.А публикация, на которую пользователь пожаловался, будет в свою отправлена другому пользователю, который также использует кнопку пожаловаться, работающую подобным образом. И уже этот пользователь в свою очередь будет невольным, непредвзятым модератором, данной публикации.



Что может дать такой подход?


  • Этот подход позволит упростить процесс модерации, сделать его массовой процедурой, при которой каждый пользователь имеет возможность выявлять нарушающую правила информацию.
  • Этот подход позволяет четко ответить на вопрос о предвзятости модерации или на обвинения в цензуре: нет, такая модерация не является предвзятой оценивающий пользователь не знает, оценка какой публикации уже известна, а какую публикацию модерирует именно он.
  • Этот подход предлагает компромиссное решение для всех участников сторон: пользователей, интернет-компаний, контролирующих органов. Здесь сами пользователи являются непредвзятыми цензорами, компании создают условий пользовательской модерации, определяя вместе с контролирующими органами правила сетевого поведения.


Использование этого подхода видится прежде всего при модерировании интернет-обсуждений (комментариев). Так с его помощью его несложно организовать пользователей с разных сайтов в своеобразное сообщество модераторов. Сообщество, в котором адекватные, соблюдающие культуру пользователи имеют преимущество перед нарушающими и в котором используются простые правила. Небольшой пример возможной реализации такого подхода и правил сообщества приведен здесь.

Такой подход можно использовать и в других местах информационного поля. Например, для разметки видеоконтента, для выявления в них грубости, жестокости, наркотиков и т.д. Это может быть разметка видео, которое вы встретите на YouTube или пересланное вам по Whatsapp, в одну из групп, в которой вы состоите. Тогда, если это видео вас шокировало, и вы хотите предупредить других людей, вы можете с помощью указанного подхода пометить его как видео, содержащее тот или иной тип неприемлемого контента. Разумеется, предварительно выполнив тест по модерации. Для упрощения модерацию видео можно оптимизировать и посылать на модерацию не все видео целиком, а только фрагмент видео, содержащий неприемлемый контент. В итоге, при дальнейшем распространении этого видео, оно будет распространятся с пометкой, которая может быть полезной другим пользователям, не желающим видеть такого рода контент.

Этот же подход можно применить и к нарушениям другого типа. Например, в случае фейка пользователи могут самостоятельно добавлять ярлык о проверке фактов или же добавлять ссылку на опровергающую информацию.

И в заключении следует отметить, что нарушающая информация, выявленная пользователями с помощью указанного подхода в том или ином месте информационного поля, может быть передана на вход автоматическим методам, с целью последующей автоматизации процесса выявления подобных нарушений. Это позволит пользователям совместно с интернет-компаниями решать трудную задачу по модерированию публикуемой и распространяемой нами же информации.

Подробнее..
Категории: Социальные сети и сообщества , Управление сообществом , Управление медиа , Спам и антиспам , Контент , Сообщества , Модерация , Комментарии , Дискуссии

Как мы боролись с фейковыми аккаунтами на сайте знакомств

18.02.2021 22:12:39 | Автор: admin

С ростом популярности сервиса мы столкнулись с нереально большим количеством мошенников, которые регистрировали фейковые аккаунты и спамили других пользователей (порно, наркотики и вся остальная запрещёнка). Дошло до того, что таких регистраций стало в несколько раз больше, чем настоящих пользователей. Жалобы и отток нормальных посетителей положили начало нашей борьбе.

Изначально подтверждение регистрации было через email (сервис существует с 2007 года), но с ростом посещаемости мы заметили аномально резкий всплеск подозрительных регистраций. Решили внедрить подтверждение ключевых действий с аккаунтом, привязав их к мобильному телефону.

Отправка SMS на короткий номер

Первый вариант верификации был через отправку пользователем исходящего sms на короткий номер. Люди отправляли сообщение на самый дешевый короткий номер, тем самым подтверждали свой. В 2010 году это казалось решением проблемы, не требующим существенных затрат. Мы были одни из первых, кто это внедрил, а тогда больше половины пользователей принципиально не хотели светить свой номер мобильного телефона. Мало того, отправка на номер для пользователя была платной, хоть и минимальной стоимости около 2 (сумму забирал себе оператор), и требовала дополнительного действия. Вдобавок: поддерживались не все операторы, а сами короткие номера тогда часто ассоциировались с мошенниками. Хлынули жалобы, конверсия регистраций упала. Стало понятно, что решение выбрано неудачно.

Подтверждение SMS с кодом

Решили внедрить отправку клиенту sms с кодом. Несмотря на существенные расходы в пределах 50000 (около 1,500$ по тому курсу) на подтверждения и восстановления паролей, команда вздохнула с облегчением и о проблеме надолго забыли. Время и трудозатраты на борьбу со спамерами изматывали сильнее, чем дополнительные расходы.

Всё изменилось ближе к 2015 году, когда сотовые операторы ввели интерконнект. До этого исходящие сообщения стоили очень дешево (от 10 копеек) из-за возможности отправлять смски через региональных операторов в обход прямых подключений, не теряя в качестве доставки. После интерконнекта операторы стали блокировать отправку sms из других сетей своим абонентам, если она происходила от незарегистрированного имени отправителя. У заказчиков и агрегаторов не было выхода, кроме как подключаться напрямую и отправлять через прямые официальные каналы, которые в целом были всегда, но стоили до 10 раз дороже. Для усиления эффекта основные операторы выкупили почти всех тех мелких, через которых можно было отправлять сообщения дешево. Когда рынок стал монополизирован, операторы еще сильнее подняли цены на смски и продолжают это делать каждый год.

После повышения цен затраты увеличились на порядок: до 300000-400000 в месяц. Рост количества пользователей и платные плюшки ещё позволяли нести такие издержки, но шутки про то, что затраты на sms превышают затраты на несколько десятков серверов уже перестали быть смешными. Но других вариантов не было: безопасность аккаунта и блокировка спамеров важнее, приходилось платить.

Тем временем география пользователей расширилась за пределы России, в первую очередь за счет СНГ. А это, в свою очередь, совпало с желанием заработать и у операторов соседних стран: Украина, Беларусь, Казахстан, Киргизия и других. Они решили, что 1-2 за sms это не предел, давайте повысим до 7-13! Так было введено разделение трафика на национальный и международный с разницей в несколько раз.

Примеры:

Страна\Стоимость SMS

Национальные

Международные

Казахстан

1,5

7

Беларусь

0,75

11

Украина

1

5

Под международный трафик автоматически попадают все известные международные бренды, все проекты, которые не имеют в данной стране юр.лица и национального домена. Некоторые страны (особенно Казахстан) еще изобретательнее подошли к вопросу: если у проекта есть сайт в другой доменной зоне (например, не только site.kz, но еще и .ru), проект не может быть согласован по национальному тарифу, несмотря на то, что sms отправляются от имени местного проекта и только по Казахстану местным жителям. Попробуешь обойти огромный штраф и блокировка имени.

Звонок с кодом голосом

Расходы на sms перевалили за психологический барьер 1 млн в месяц, что само по себе всерьез заставляло задуматься над альтернативами. Но вместе с ростом расходов вернулась и старая проблема в новом обличии. Теперь благодаря куче ?сервисов по приему sms в выдаче Яндекса на виртуальные номера стало легко зарегистрировать аккаунт для любой социальной сети, включая VK и Facebook.

Так мы начали работать над аутентификацией через звонки. Идея пришла к нам несколько лет назад и была внедрена как дополнительный резервный способ подтверждения номера для некоторых стран. Действие от клиента требовалось такое же, как с sms ввести код, который мы отправляем, только в случае со звонками код диктовался голосом при ответе на звонок.

Как это выглядело на сайтеКак это выглядело на сайте

Но и тут есть подводные камни: по России и некоторым странам звонки работают хорошо, но из-за международной тарификации стоимость минуты по некоторым направлениям превышает 20-30 (например: Беларусь, Украина и др). Вторая проблема качество доставки: операторы могут фильтровать трафик по длительности соединения. Звонки определяются операторами, как спам и фильтруются, а значит пользователь не получает свой код подтверждения.

Еще был Viber :)

И предупреждение с угрозой штрафа в 5000 евро за отправку запрещенного контента. Пока мы тестировали новый способ и часть пользователей получали приветственное сообщение при регистрации вида Здравствуйте, %username%!, пранкеры подсуетились и начали оформлять левые регистрации на чужие номера. Людям пришли сообщения вида Здравствуйте, Жопа:

Детализация из кабинета оператораДетализация из кабинета оператора

Заметили быстро и лавочку прикрыли, но собрали негатив. Сам же Viber показал низкое проникновение (порядка 15-25%) и экономическую нецелесообразность из-за минимального платежа в ~30000, который сгорает в конце месяца, если пакет услуг на эту сумму, при цене сервисного сообщения в ~50 копеек, не был использован.

Звонок с кодом в номере

В итоге пришли к подтверждению регистраций звонком без соединения, когда кодом являются последние 4 цифры номера, с которого происходит звонок пользователю.

Как выглядит форма в мобильном приложенииКак выглядит форма в мобильном приложении

Манила цена сервисов: от 10 копеек за такой звонок. Протестировав их оказалось, что за эту стоимость звонки доставляются не всегда, в некоторые страны звонки через них в принципе не работают. Интересно, что у некоторых провайдеров звонок стоит от 4, что даже дороже sms. Как выяснилось позже - дешевые сервисы использовали серые каналы, подменяли исходящие номера на чужие или несуществующие и сами не платили за трафик. Клиент, перезвонивший по такому номеру, мог обнаружить на другом конце прачечную или секс-шоп.

Стало понятно, что гарантия доставки может быть лишь при наличии своих пулов номеров и белых каналов, а значит и экономии в 20 раз не получится. В партнерстве с greensms.ru под нас запустили сервис со своими номерами и резервными каналами, а позже добавили в API и выложили SDK к нему на разных языках на GitHub. В процессе оказалось, что даже при нулевой продолжительности соединения с абонентом, вышестоящие операторы связи произвольно тарифицируют количество секунд разговора (кстати, кто сталкивался с подобным и смог решить это с оператором или на стороне Asterisk напишите, пожалуйста, в комментариях).В итоге удалось добиться стабильных результатов при стоимости в 40-60 копеек.

Сначала пользователи встретили нововведения замешательством. Конверсия при использовании sms >95%, звонки сейчас показывают ~85%. Еще год назад конверсия была, примерно на 10% хуже, но стала расти по мере распространенности метода и с изменениями в интерфейсе.

Статистика конверсии по странам в админкеСтатистика конверсии по странам в админке

Люди не понимали, где брать 4 цифры, в каком номере, сбрасывали вызов, запрашивали повторный и потом всё равно обращались в поддержку, приходилось всё объяснять, показывать.

Сейчас проще: всё больше проектов используют этот способ, люди привыкли и не так удивляются. Кстати, теперь еще и Яндекс их внедрил для подтверждения номера при входе на новом устройстве в свой аккаунт.

Совет: обязательно размещать рядом с полем ввода цифр скриншот телефона с выделенными 4 цифрами, которые нужно будет ввести пользователю.
Где допустимо стоит подключать автоматическое считывание цифр номера при регистрации из приложения.

Количество фейковых регистраций упало до минимума. Но новый метод привлекает новые попытки использовать его в своих целях: спам звонками, попытки спарсить базу телефонов пользователей и прочее непотребство, требующее превентивных мер.

Финальная битва между добром и интернетом

А не будет её финальной. Чем популярнее становится сервис, тем больше желающих использовать его в плохих целях. И на новые методы защиты находятся новые методы нападения. Так что ждем новых ухищрений, может с помощью eSIM?

Жаль, что меры безопасности зачастую снижают удобство использования для обычных пользователей. Но радует, что улучшение юзабилити и адаптация к новому тоже непрерывный процесс.

Подробнее..
Категории: Социальные сети и сообщества , Развитие стартапа , Двухфакторная аутентификация , Управление продуктом , Стартап , Sms , Спам и антиспам , Блог компании веб-студия и дата-центр itsoft , Код в номере

Как меня обманул Мегафон. Они называют это телемаркетингом

04.11.2020 02:21:17 | Автор: admin
Добрый день всем!

А дело было так: звонит поздно вечером девушка из Мегафона и лепечет что-то про скидочные купоны-талоны, которые появятся в моём личном кабинете. Мол, это просто партнерская программа и она не хочет, чтобы я пропустил такую прекрасную возможность.
Ни слова ни о какой стоимости. В общем, странный такой звонок. Я даже подумал, не мошенники ли какие звонят: сейчас же, говорят, научились делать так, как будто тебе звонят с телефона организации, а на самом деле нет. Но пин-коды/пароли вроде не просили называть для моей же личной безопасности.
Оказалось, что нет.
То есть звонили то мошенники, но из Мегафона.
Выяснилось это, когда уже ночью пришла мне СМС следующего содержания:
Combo подключено. Теперь Вам доступны скидки и другие полезные бонусы! Начать пользоваться: combo.mail.ru/login. Оплата за первые 30 дней составила 99 руб., далее подписка продлевается автоматически каждые 30 дней: в следующие два месяца за 99 руб., далее за 199 руб. Управление: lk.megafon.ru/inapp/myservices

Ого, какое выгодное предложение подумал я и поспешил в ЛК отключить эту навязанную путем обмана услугу.
Выяснилось, что с меня действительно уже списали 99 рублей, как и было сказано в СМС.
Пришлось из принципа переписываться в чате ЛК с поддержкой, 99 рублей через несколько минут мне вернули.
И предложили, если мне такие звонки не очень нравятся, оформить другую услугу, на это раз бесплатную: Отказ от телемаркетинга оператора.

От такого блестящего предложения было действительно трудно отказаться.

В общем, если у вас Мегафон, и вы не хотите попасть в подобные ситуации, заходите в свой личный кабинет, спускайтесь в самый низ странички, нажимайте Обратиться в поддержку, затем зеленую кнопку Открыть чат, и вставляйте в чат фразу:
Прошу подключить мне бесплатную услугу Отказ от телемаркетинга оператора.




Всем успехов!
Подробнее..
Категории: Научно-популярное , Лайфхаки для гиков , Управление продажами , Сотовая связь , Спам и антиспам , Мошенничество , Мегафон , Телемаркетинг

Kак исправить DMARC Record not found

24.02.2021 18:11:35 | Автор: admin

Если вы видите запись DMARC не найдена, запись DMARC не опубликована илизапись DMARC отсутствует, это означает, что в домене отсутствует самый эффективный и мощный механизм идентификации электронной почты, такой как DMARC.

Source: ShutterstockSource: Shutterstock

Чтобы предотвратить спуфинг электронной почты (практика злоумышленников маскироваться под конкретного пользователя или подключенного к сети устройства с целью похищения данных), все домены должны иметь систему авторизации электронной почты. Наверное, вы слышали о механизмах SPF и DKIM. Но дело в том, что ни SPF, ни DKIM сами по себе не могут остановить заимствование вашего домена и не могут предотвратить спуфинг электронной почты. DMARC (Domain-based Message Authentication, Reporting & Conformance) приходит на помощь. Он сочетает в себе механизмы SPF и DKIM и обеспечивает 100% защиту от атак.

DMARC может защищать от фишинг атак. Фишинг - это мошенническая попытка получить конфиденциальную информацию. Выдавая себя за правомерного индивида, хакеры манипулируют жертвами для выполнения определенных действий. По данным Verizon Data Breach Investigations Report 2018, Фишинг и претекстинг составляют 93% нарушений. 80% всех нарушений связаны с учетными данными DBIR.

Итак, как исправить и добавить отсутствующую запись DMARC?

Возможно, вы получили упомянутое ниже с помощью какого-нибудь инструмента проверки DMARC:

  • No DMARC record

  • No DMARC record found

  • DMARC record is missing

  • DMARC record not found

  • No DMARC record published

  • DMARC policy not enabled

  • Unable to find DMARC record

В зависимости от того, чего вы хотите достичь. Есть 2 возможных варианта.

Вариант 1: Просто избавьтесь от раздражающего сообщения No DMARC record, не понимая реальной ценности DMARC и любой защиты от спуфинга электронной почты.

Ответ очень прост. Технически исправление Записи DMARC Не найдено буквально означает добавление записи DNS TXT в субдомен _dmarc.yourdomain.com в соответствии со спецификацией DMARC.

Простую запись DMARC можно рассмотреть на следующем примере:

v=DMARC1; p=none; rua=mailto:whateveryoulike@yourdomain.com

Получилось! Недостающая запись DMARC была успешно добавлена.

Поздравляю, но этой записи недостаточно, чтобы остановить спуфинг и атаки с изменением авторства.

Вариант 2: Обеспечьте 100% защиту от атак с изменением авторства и спуфинга.

Чтобы добиться 100% защиты, вам нужно понять механизм системы DMARC и то, как она работает. Трудно добиться 100% защиты от спуфинга электронной почты; это требует усердия и некоторого времени (обычно более 2 месяцев и зависит от того, насколько сложна ваша инфраструктура электронной почты).

Сложность в том, что, если ваша конфигурация неверна, то не только поддельные электронные письма, отправленные хакерами с вашего домена, но и ваши действительные электронные письма могут быть отклонены. Это как иметь защищенную папку, к которой никто не может получить доступ, и даже вы не можете получить к ней доступ (папка очень безопасна, но она бесполезна, если даже пользователь не может получить к ней доступ).

Процесс начинается с простого ввода базовой записи DMARC.

3 шага для устранения проблемы No DMARC record found

1. Опубликуйте запись SPF.

Используйте бесплатный генератор SPF записи EasyDMARC или любой другой, чтобы создать свою запись и опубликовать сгенерированную запись в вашем DNS.

Запись SPF выглядит следующим образом.

v=spf1 include:spf.easydmarc.com include:amazonses.com ip4:198.105.215.71/32 -all

2. Настройте идентификацию DKIM.

Далее вам нужно настроить свой почтовый сервер. Для этого вы можете использовать бесплатный генератор DKIM записи EasyDMARC для идентификации DKIM. Вот автоматический скрипт, который поможет вам настроить почтовый сервер Linux с помощью DKIM.

Для правильного синтаксиса необходимо использовать генераторы записей DKIM.

3. Опубликуйте запись DMARC.

Наконец готовы настроить запись DMARC. Используйте бесплатный генератор DMARC записи EasyDMARC и опубликуйте сгенерированную запись в свой DNS.Во-первых, настоятельно рекомендуется иметь политику мониторинга (p=none). После получения успешных результатов мониторинга система предложит вам изменить опубликованную политику.

Не используйте политику p=reject в самом начале, если вы не уверены, что у вас есть правильная конфигурация и видимость в вашей почтовой инфраструктуре.

Очень важно подчеркнуть, что ни SPF, ни DKIM сами по себе не могут помешать киберпреступникам отправлять электронные письма с использованием вашего домена.

Имейте в виду, что только запись DMARC с политикой p=reject является самой мощной и стандартной в отрасли системой идентификации электронной почты. Однако добиться p=reject трудно, потому что размещение его в DNS без надлежащего мониторинга может привести к тому, что ваши действительные электронные письма будут отклонены.

Вы можете легко определить и устранить свои проблемы, автоматизировав свои отчеты с помощью EasyDMARC. Вот пример вышеупомянутых агрегированных отчетов DMARC:

Эти статьи помогут вам настроить DMARC-записи от различных провайдеров DNS:

Подводя итог, можно сказать, что настроить идентификацию электронной почты довольно просто, но профессионалы сделают это быстрее и качественнее.

Подробнее..
Категории: Системное администрирование , It-компании , Спам и антиспам , Dmarc , Phishing , Phishing protection , Spoofing , Scam , Dmarc dkim spf

Настройка собственного почтового сервера

26.02.2021 20:18:58 | Автор: admin

Есть три основных шага, чтобы установить и настроить собственный почтовый сервер.

  • Настройка IP и DNS

  • Выбор и запуск приложения почтового сервера

  • Добавление своего почтового сервера в белые списки

Настройка IP и DNS

Обеспечение внешнего статического IP-адреса, публичного домена и записи PTR

Это основные требования для запуска собственного почтового сервера.

  • Публичный статический IP-адрес
    IP-адрес почтового сервера должен быть общедоступным и постоянным во времени. Убедиться в этом можно у хостинг или Интернет-провайдера.

  • Доменное имя указывает на IP
    DNS-запись публичного доменного имени почтового сервера должна указывать на этот IP-адрес. Им можно управлять в настройках DNS провайдера доменного имени.

  • IP указывает на доменное имя
    Самое главное, обратная DNS-запись (именуемая PTR) должна указывать на доменное имя почтового сервера по IP-адресу. Можно попросить своего хостинг-провайдера или поставщика интернет-услуг настроить его. Его можно легко проверить по IP-адресу онлайн (например, тут), или с помощью команды nslookup в Windows и команды host в системах на основе UNIX.

Настройка MX записи в DNS

Запись почтового обмена (MX) указывает почтовый сервер, ответственный за прием сообщений электронной почты от имени домена.

Например, если наш домен - mycompany.com, почтовый сервер - mail.mycompany.com, то запись DNS для mycompany.com будет:

Type

Host

Value

Priority

TTL

MX

@

mail.mycompany.com

10

1 min

где:

  • Priority (приоритет) используется, когда в домене более одного почтового сервера.

  • TTL (время жизни) можно установить любое предпочтительное значение, а наименьшее значение используется для применения конфигурации DNS как можно скорее при отладке настроек.

Настройка DKIM записи в DNS

Почта, идентифицированная ключами домена (DKIM) это протокол безопасности электронной почты, который прикрепляет зашифрованную цифровую подпись к электронному письму. Принимающий сервер проверяет его с помощью открытого ключа, чтобы убедиться, что электронное письмо не было подделано.

Понадобятся приватный и открытый ключи. Их можно создать с помощью онлайн-инструментов, например Power DMARC Toolbox - DKIM Record Generator, или с помощью команд OpenSSL (приведен пример для Windows):

  • Создать приватный ключ
    openssl.exe genrsa -out private.key 2048

  • Создать публичный ключ из приватного
    openssl.exe rsa -in private.key -pubout -outform der 2>nul | openssl base64 -A > public.key.txt

И запись DNS будет выглядеть так:

Type

Host

Value

TTL

TXT

selector._domainkey

v=DKIM1; k=rsa; p=public_key

1 min

где:

  • selector - самостоятельно выбранный идентификатор (например, mysrv), который будет использоваться в приложении почтового сервера (смотрите ниже).

  • public_key - открытый ключ, закодированный алгоритмом base64 (содержимое public.key.txt).

  • TTL (время жизни) имеет то же значение, что и в предыдущем разделе.

Настройка SPF записи в DNS

Инфраструктура политики отправителя (SPF) это стандарт проверки подлинности электронной почты, который проверяет IP-адрес отправителя по списку авторизованных IP-адресов владельца домена для проверки входящей электронной почты.

Тут запись DNS будет выглядеть так:

Type

Host

Value

TTL

TXT

@

v=spf1 a mx include:relayer_name -all

1 min

где:

  • relayer_name - имя необязательного внешнего почтового сервера-ретранслятора (смотрите ниже). Если не нужно - убирается вместе с "include:".

  • TTL (время жизни) имеет то же значение, что и в предыдущем разделе.

Можно использовать удобный онлайн-генератор записи SPF.

Дополнительные записи DNS

Некоторые поля не обязательны, но желательно иметь.

  • DMARC
    Запись доменной проверки подлинности сообщений, отчетов и соответствия (DMARC) позволяет собственному почтовому серверу декларировать политику того, как другие почтовые серверы должны реагировать на недостоверные сообщения от него.

  • BIMI
    Индикаторы бренда для идентификации сообщений (BIMI) это новый стандарт, созданный для того, чтобы упростить отображение логотипа рядом с сообщением. Кроме того, BIMI предназначен для предотвращения мошеннических электронных писем и улучшения доставки.

  • TLS-RPT
    TLS-отчетность (TLS-RPT) дает ежедневные сводные отчеты с информацией о электронных письмах, которые не зашифровываются и не доставляются.

Все эти записи могут быть созданы с помощью Power DMARC Toolbox.

Выбор и запуск приложения почтового сервера

Конечно, хостинг должен позволять устанавливать программное обеспечение. Можно использовать любое подходящее приложение для почтового сервера. Например, есть бесплатный hMailServer для Windows, который предоставляет все необходимые функции с минимальным использованием ресурсов. Для систем на базе UNIX существует множество бесплатных почтовых серверов, таких как Exim Internet Mailer или iRedMail.

Если вы знаете ещё хорошие программы, то поделитесь ими в комментариях. Подробный обзор выбора такого программного обеспечения, конечно, заслуживает отдельной статьи.

Инициализация

Когда программное обеспечение выбрано и установлено, самое время его настроить.

  • Домен и пользователи
    Нужно добавить домен и начальный набор пользователей почтового сервера.

  • Безопасность
    Чтобы обеспечить соответствующий уровень безопасности, мы должны добавить сертификат SSL для домена.

  • Подпись сообщений
    Далее, следует настроить DKIM. Нужно указать полученные выше приватный ключ и селектор. Кроме того, методы заголовка и тела должны быть установлены на расслабленный, алгоритм подписи должен быть установлен на SHA256, иначе на некоторых SMTP серверах не проходит проверка (например, google).

  • Защита от спама
    Наконец, нужно настроить антиспам-проверку специальными узлами черных списков, такими как spamhaus.org, чтобы защитить пользователей почтового сервера от нежелательных сообщений.

Протоколы электронной почты

Нужно настроить три протокола электронной почты, которые необходимы для её отправки и получения.

SMTP

SMTP используется для приема входящей и исходящей почты с/на другие почтовые серверы. И это позволяет пользователям домена отправлять свои сообщения.

  • 25 порт
    Этот порт необходим для управления входящими подключениями от других почтовых серверов. Метод безопасности следует установить в STARTTLS.

  • 587 порт
    Он нужен для почтовых клиентов собственного почтового сервера. Метод безопасности следует установить в STARTTLS.

  • 465 порт
    Он не является официальным и может потребоваться для старых почтовых клиентов. И метод безопасности следует установить в SSL/TLS.

POP3, IMAP

POP3 и IMAP используются отдельными почтовыми клиентами, такими как Outlook на ПК или любой почтовый клиент на мобильных телефонах. Это позволяет пользователям домена управлять своими сообщениями.

Порт 993 следует использовать для защищенных соединений IMAP, а порт 995 - для POP3. Для обеспечения совместимости с большинством клиентов метод безопасности следует установить в SSL/TLS (не STARTTLS).

Также можно настроить порты 143 для IMAP и 110 для POP3, но они не шифруются и сейчас их уже мало кто использует.

Проверка

Итак, когда все настроено, нужно протестировать почтовый сервер, отправив письмо кому-нибудь из списка пользователей. Кроме того, в некоторых почтовых приложениях есть функция самодиагностики (см. ниже пример от hMailServer).

Теперь пора проверить отправку на внешний адрес.

Аккаунт Gmail.com

Если есть учетная запись Gmail.com (что наверняка), можно отправить тестовое письмо на свой адрес Gmail. Затем открываем свою электронную почту в браузере и нажимаем Показать подробности.

Если есть подписано: домен, подпись DKIM настроена правильно. Если есть отправлено по почте: домен, SPF в порядке.

Также, можно убедиться в оригинальных заголовках, что статус проверки пройден.

Также, в Outlook можно видеть те же заголовки в свойствах сообщения.

Специальные онлайн-сервисы

Существует множество онлайн-сервисов, которые могут проверять отправку электронной почты. Ниже приведены некоторые из них.

  • AppMailDev
    Этот сервис позволяет тестировать конфигурацию почтового сервера, такую как DKIM и SPF, отправляя электронное письмо на указанный сгенерированный почтовый адрес. Нужно просто следовать инструкциям на экране и результаты теста будут отображены там же.

  • DKIMValidator
    Предоставляет те же функции, что и предыдущая служба. Результаты тестирования будут отправлены на адрес отправителя.

  • HAD Email Auth Tester
    Чтобы проверить отправку сообщения здесь, нужно отправить специальное сообщение на tester@email-test.had.dnsops.gov. Результаты тестирования будут отправлены на адрес отправителя.

  • PowerDMARC
    Этот сервис предоставляет только облегченную проверку всех атрибутов, но у него есть удобные инструменты, указанные в ссылках выше.

Итак, если всё настроено правильно, но сервер присутствует в чёрных списках спама, нужно внести его в белый список.

Добавление почтового сервера в белые списки

Итак, если всё вышеперечисленное настроено правильно, другие почтовые серверы по-прежнему могут отмечать сообщения как спам и отклонять их. Это бывает, когда IP (или его диапазон) домена попадает в какой-то черный список. Чаще всего причиной этого является использование соседних IP-адресов для рассылки спам-сообщений.

Внесение в белый список в публичных источниках

Итак, сначала проверим IP (и, если необходимо, домен) онлайн на наличие в каких-либо черных списках. Его можно проверить в любом онлайн-чекере, который можно найти через поиск. Например, MXToolBox проверяет самые популярные черные списки. Также, multirbl.valli.org показывает много источников черного списка и доверие к каждому из них.

Затем нужно последовательно просмотреть каждый элемент в результатах и прочитать рекомендации о том, как внести IP-адрес в белый список в конкретном источнике черного списка. Но не все из них могут позволить это сделать бесплатно, например, немецкий UCEPROTECT-Network.

Кстати, на тут на habr обсуждалась автоматизация мониторинга IP в блэклистах.

Внесение в белый список определенных почтовых серверов

Некоторые серверы, такие как Outlook, имеют свои собственные черные списки. Проверка проста - приложение почтового сервера уведомит о неудачной доставке в почтовом клиенте. Большинство почтовых серверов предоставляют в ответе URL-адреса разблокировки. Таким образом, нужно открыть такой URL и следовать инструкциям, например, как этот.

Обход черных списков

Если какой-то официальный черный список не разрешает добавление в исключения или когда-нибудь почта перестает отправляться на определенный домен - можно использовать внешние службы ретрансляции SMTP. Они позволяют использовать их в качестве шлюзов (или прокси) при отправке почты.

  • MailerSend
    Один из самых дешевых - позволяет бесплатно отправлять 20 тысяч писем в месяц и имеет низкую стоимость дополнительной отправки. Но есть особенность: поля CC и BCC пока не поддерживаются.

  • SendInBlue
    Это еще один хороший сервис, который позволяет бесплатно отправлять 9 тысяч писем в месяц с лимитом 200 в день. Но есть нюансы: встроенное отслеживание электронной почты нельзя отключить и высоковатая цена сверх бесплатного лимита.

В каждой службе нужно зарегистрироваться и получить подтверждение почтового домена. После подтверждения, каждый из них дает указания на то, что должно быть настроено для DNS (DKIM, SPF и DMARK) и почтового приложения (адрес сервера ретрансляции SMTP, порт и учетные данные).

Заключение

Итак, теперь можно использовать все преимущества выделенного почтового сервера. Надеюсь, что этот материал поможет наиболее эффективно достичь поставленной цели. Если есть какие-либо вопросы или предложения по этой теме, буду рад обсудить в комментариях.

Подробнее..
Категории: Сервер , Серверное администрирование , Спам и антиспам , Dns , Почта , Администрирование доменных имен , Настройка , Бесплатно , Imap , Белый список , Smtp , Pop3

Борьба с робозвонками выходит на новый уровень телекомы США ограничат нежелательную активность

16.01.2021 20:09:22 | Автор: admin

Рассказываем, как развивается борьба с телефонным спамомв США, чего уже удалось добиться регуляторам и как они планируют закрепить успехи далее помогать гражданами отбиваться от усиливающегося шквала нежелательных звонков с рекламными объявлениями и участившимися во время кризиса попытками получения денежных средств обманным путем.

Unsplash / Ray WUnsplash / Ray W

Многолетнее сопротивление

Пару лет назад Федеральная комиссия по связи США (Federal Communications Commission, FCC) взялась за активную борьбу с нежелательными вызовами. Тогда общее число робозвонков составляло около 50 миллиардов в год, поэтому автоматизировать работу с нарушителями в этой области было достаточно сложно. FCC не обладала полномочиями для всестороннего расследования жалоб и поиска реальных операторов серых телефонных номеров и подставных АТС, с помощью которых осуществлялись массовые спам-звонки. В свою очередь, Министерство юстиции, куда поступали дела о нарушениях, не справлялось с анализом десятков тысяч спорных ситуаций, поэтому из $200 млн выставленных штрафов комиссии удалось собрать менее 1%.

Столь скромные успехи регулятора спровоцировали дальнейший рост числа робозвонков, поэтому FCC вместе с представителями Конгресса США подготовили законопроект о расширении полномочий комиссии. Помимо этого, ее представители обратились к телеком-компаниям с просьбой рассмотреть внедрение SHAKEN/STIR протокола, позволяющего идентифицировать звонящих еще до установки соединения.

Однако пока шло обсуждение и проводились формальные процедуры по принятию закона, нежелательные робозвонки успели стать наиболее распространенной причиной жалоб граждан в Федеральную торговую комиссию США (Federal Trade Commission, FTC). Более того, сотни тысяч таких жалоб были связаны с участившимися попытками вымогательства, которые по оценкам экспертов FCC приводили к ежегодному хищению около $3 млрд частных средств.

Unsplash / Devin KaselnakUnsplash / Devin Kaselnak

Как только так называемый Telephone Robocall Abuse Criminal Enforcement and Deterrence Actприняли, и комиссия обрела расширенные полномочия, активизировалась работа и на стороне телекомов. Они приняли во внимание рекомендации, c которыми FCC обратились к ним ранее T-Mobile, Sprint, Comcast и AT&T начали внедрять SHAKEN/STIR. Но этот процесс затянулся, а положительная динамика в работе с нарушителями так и не вышла на заметный уровень.

Что на этот раз

Новые требования FCC сводятся к непосредственному ограничению количества звонков, поступающих на телефонные номера граждан США со стороны организаций. Причем как коммерческих, так и любых других категорий компаний. Теперь звонить по отдельно взятому гражданскому номеру они смогут до трех раз в месяц. Плюс будут обязаны предоставлять возможность отказа от последующих вызовов, а телекомы обеспечат прозрачность всего процесса для потенциального разбирательства по жалобе или запросу регулятора.

В последнем случае речь может идти о фактической идентификации тех, кто осуществляет вызовы, в том числе и для блокировки злостных нарушителей. Этим также будут заниматься провайдеры услуг. Еще их обяжут самостоятельно проверять, не используют ли их сети и инфраструктуру каким-либо недобросовестным образом.

Unsplash / Engin AkyurtUnsplash / Engin Akyurt

Комиссия пояснила, что на данном этапе телекомам не следует автоматизировать процесс блокировок. Они пока не должны касаться нежелательных звонков, только противозаконной деятельности. Такую модерацию стоит проводить силами сотрудников, плюс уведомлять все стороны процесса о блокировке или ходе разбирательства о вводе ограничений на звонки.

Что дальше

Запрос на идентификацию и прозрачность процессов в сетях телефонных операторов может поспособствовать повсеместному внедрению SHAKEN/STIR. Клиентам телеком-компаний он поможет быть уверенными в том, что на экране их смартфонов действительно отображается актуальный номер того, кто осуществляет вызов, а регуляторам эффективнее разбираться с нарушителями. Подобная фичасегодня может являться даже более востребованной, чем ежегодные обновления смартфонов или онлайн-сервисов крупных технологических компаний.

Как показывает пример GDPR, подобную практику могут взять на вооружение и регуляторы в других странах, где принято ориентироваться на опыт США, либо адаптировать местные законы.

Подробнее..
Категории: Законодательство в it , Блог компании vas experts , Vas experts , Спам и антиспам , Спам , Телекомы , Робозвонки , Телефонный спам , Телефонные сети

Тариф 100к, или как вельми зело огорчить спамера

20.01.2021 00:15:59 | Автор: admin

Уже не впервые сталкиваюсь, что читатели Хабра не все поголовно умеют правильно бороться со спамом. И я не про SpamAssasin, Ктозвонил и прочие приложения для фильтрации информационного мусора, а про несложную, но весьма доставляющую всем сторонам процесса подачу жалобы в ФАС.

Давайте расскажу, как буквально за 15 минут не отрываясь от любимого компьютера подключить спамеру задораздирающий тариф линейки Административный: Административный 100к, Административный 150к и вплоть до Административный 500к как повезет.

Итак, получаете вы SMS, звонок или электронное письмо со всем этим Процентные ставки снижены, Распродажа! Скидки до 146%, Вам одобрен микрозаем на макроусловиях, воспламеняетесь праведным гневом, ставите отметку это спам, удаляете все это правильно, но уже заложено в CTR спамеров и толку от этого немного: спам как валил так и продолжает валить.

А вот штраф от Федеральной монопольной службы от 100 до 500 тысяч рублей никто из спамеров в маркетинговый бюджет не закладывает. 100 тыр. за каждое сообщение, посланное каждому пожаловавшемуся получателю, на секундочку! Алгоритм действий следующий

1. Нет, не хватайтесь сразу за авторучку клавиатуру, сперва оцените перспективы. Жалобой будет заниматься ФАС России, а не Интерпол, поэтому письма от нигерийских принцев или заокеанских благодетелей всех мужчин с короткими причиндалами тут не подходят. Благо сегодня нас чаще донимают спамом вполне себе местные и притворяющиеся респектабельными компании Сбер, Яндекс и прочие, чьи концы искать придется недолго.

2. Нет, все еще не хватайтесь за клавиатуру, сперва напрягите память: вы точно не давали согласия на получение рекламно-информационных материалов этому отправителю? Может, договор с ним подписывали, а там мелким шрифтом: согласен? Точно нет? Не надо напрягать ФАС пустой работой, от этого никому хорошо не будет.

3. Наконец можно взяться за клавиатуру. Пишите заявление в свободной форме, где излагаете обстоятельства произошедшего: такого-то числа в такое-то время на такой-то номер/адрес получено такое-то рекламное сообщение; прошу принять меры и доколе?!

Образец заявления
[Название территориального управления ФАС] России

От: Иванова И.И.
Адрес: (если хотите получить ответ на бумаге)
E-mail: (если не хотите)
Телефон: (на всякий случай)

ЗАЯВЛЕНИЕ
по факту нарушения требований законодательства о рекламе

1 января 2021 года на используемый мною абонентский номер мобильной телефонной связи (123) 123-4567 (оператор ОАО Название оператора) поступил незапрошенный мною звонок с номера +78001234567, использующегося, насколько мне известно, АО Банк говноедов (ОГРН XXX, ИНН XXX). При установлении соединения мне была воспроизведена предварительно записанная аудиозапись следующего содержания:
Добрый день, мы обновили предложение, увеличили сумму и снизили процентную ставку. Только у нас все условия доступны без визита в офис <> Если вы не хотите получать рекламные предложения нажмите восемь.
Согласно п.1 ст.3 Федерального закона от 13.03.2006 38-ФЗ О рекламе (далее 38-ФЗ), реклама информация, распространенная любым способом, в любой форме и с использованием любых средств, адресованная неопределенному кругу лиц и направленная на привлечение внимания к объекту рекламирования, формирование или поддержание интереса к нему и его продвижение на рынке.
Таким образом, указанная аудиозапись является рекламой услуг АО Банк говноедов.
Согласно п.1 ст.18 38-ФЗ, распространение рекламы по сетям электросвязи <...> допускается только при условии предварительного согласия абонента или адресата на получение рекламы. При этом реклама признается распространенной без предварительного согласия абонента или адресата, если рекламораспространитель не докажет, что такое согласие было получено.
Поскольку единственным пользователем абонентского номера (123) 123-4567 с 2010 года являюсь я, и я никогда не давал АО Банк говноедов согласия получать рекламу на этот номер, указанная реклама распространялась без моего предварительного согласия на ее получение. Дополнительно сообщаю, что я не являюсь и никогда не являлся клиентом указанного банка, а также не вступал с ним в иные договорные отношения.
Согласно п.2 ст.18 38-ФЗ, не допускается использование сетей электросвязи для распространения рекламы с применением средств выбора и (или) набора абонентского номера без участия человека (автоматического дозванивания, автоматической рассылки).
Однако указанная аудиозапись была, очевидно, распространена с применением средств набора абонентского номера без участия человека.
Согласно п.1 ст.28 38-ФЗ, реклама банковских, страховых и иных финансовых услуг и финансовой деятельности должна содержать наименование или имя лица, оказывающего эти услуги или осуществляющего данную деятельность.
Однако указанная аудиозапись не содержит наименования лица, оказывающего финансовые услуги, на которые указывает упоминание увеличенной суммы и сниженной процентной ставки.
Согласно ч.1 ст.14.3 Кодекса Российской Федерации об административных правонарушениях, нарушение рекламодателем, рекламопроизводителем или рекламораспространителем законодательства о рекламе <...> влечет наложение административного штрафа на <...> юридических лиц от ста тысяч до пятисот тысяч рублей.

В связи с вышеизложенным, прошу:
1. Возбудить производство по делу об административном правонарушении, допущенном АО Банк говноедов, и наложить на него предусмотренное законом административное взыскание.
2. Признать меня потерпевшим по делу об указанном административном правонарушении в порядке, предусмотренном ст.25.2 Кодекса Российской Федерации об административных правонарушениях.
О результатах рассмотрения настоящего заявления прошу проинформировать меня в предусмотренный законом срок.

Приложение:
аудиозапись рекламного сообщения;
согласие на обработку моих персональных данных;
детализация услуг связи по номеру (123) 123-4567 за 01.01.2021.

/факсимиле подписи/
И.И. Иванов 01.01.2021 г.


4. К заявлению прикладываете доказательства злодейства, список которых зависит от вида спама.

Приложения в случае спама в виде SMS:
скриншот сообщения целиком (например, в JPG);
детализация услуг связи за соответствующую дату (в PDF берется через ЛК сайта оператора);
копия договора об оказании услуг связи с вашим оператором (может и не потребоваться);
согласие на обработку персональных данных ФАС (строго по форме, см. ниже);
что сами сочтете нужным, например договор со спамером, из которого видно, что вы не давали согласия на получение рекламы.
Подробнее можно почитать тут.


Приложения в случае спама в виде звонка:
аудиозапись рекламного сообщения (например, в MP3);
детализация услуг связи за соответствующую дату (в PDF берется через ЛК сайта оператора);
копия договора об оказании услуг связи с вашим оператором (может и не потребоваться);
согласие на обработку персональных данных ФАС (строго по форме, см. ниже);
что сами сочтете нужным, например договор со спамером, из которого видно, что вы не давали согласия на получение рекламы.


Форма согласия ФАС на обработку ПД для спама по SMS или звонком:
В название территориального управления ФАС
от Иванова Ивана Ивановича
Паспорт 123456 выдан ОВД Дальние берега
города Москвы 01.02.2000 г., код подразделения 123-456
Проживающего по адресу: г. Дальнебережный, ул. Правды, 1
Тел: (123) 123-4567
E-mail: ivanov@example.com

СОГЛАСИЕ НА ОБРАБОТКУ ПЕРСОНАЛЬНХ ДАННХ

Я, Иванов Иван Иванович, даю согласие на обработку моих персональных данных, указанных мной в настоящем Согласии, а также в обращениях, поступающих от моего имени в адрес [название территориального управления ФАС] России, в целях исполнения антимонопольным органом и его территориальными органами государственной функции по предупреждению, выявлению и пресечению нарушения физическими и юридическими лицами законодательства Российской Федерации о рекламе, возбуждению и рассмотрению дел по признакам нарушения законодательства Российской Федерации о рекламе.
Настоящее Согласие распространяется на получение и передачу [название территориального управления ФАС] России информации о моих фамилии, имени, отчестве, о детализации счета, телефонных соединениях, СМС-сообщениях, иных переданных данных на / от абонентский номер (номер телефона): (123) 123-4567 в сети оператора связи Знак обслуживания (ОАО Название оператора), а также на осуществление иных действий (операций) по обработке персональных данных, предусмотренных Федеральным законом от 27.07.2006 152-ФЗ О персональных данных и необходимых для исполнения вышеуказанной государственной функции, в том числе на получение сведений о моих сообщениях и телефонных соединениях, их содержании в порядке ст. 63 Федерального закона от 07.07.2003 126-ФЗ О связи.

/факсимиле подписи/
Иванов И.И.
1 января 2021 г.


Приложения в случае спама по электронной почте (это вам точно понравится):
изображение сообщения электронной почты (т.е. то, что вы видите в почтовом клиенте);
сообщение электронной почты с заголовками в текстовом виде (опционально; сюрприз в формат EML ФАС не умеет смените файлу расширение на TXT);
согласие на обработку персональных данных ФАС (строго по форме и она отличается, см. ниже);
лог почтового сервера с информацией о получении сообщения электронной почты;
что сами сочтете нужным, например договор со спамером, из которого видно, что вы не давали согласия на получение рекламы.

Да, глаза вам не врут: ФАС желает получить выписку из лога SMTP-сервера получателя спама! Я ни к чему вас не призываю, а просто покажу образец, как примерно выглядит интересующий ФАС фрагмент для общего развития тех, кто никогда в жизни не видел лога SMTP-сервера и понятия не имеет, где и как его взять. То есть, для over 90% читателей ;)

192.168.0.1 04:51:30 Connected
192.168.0.1 04:51:30 >>>> 220 smtp.spamer.ru ESMTP Exim 4.93; Wed, 01 Jan 2021 04:51:30 -0200
192.168.0.1 04:51:30 <<<< HELO smtp.example.com
192.168.0.1 04:51:30 >>>> 250 smtp.spamer.ru Hello smtp.example.com [192.168.0.1], pleased to meet you.
192.168.0.1 04:51:30 <<<< MAIL From:<spamer@spamer.ru>
192.168.0.1 04:51:30 >>>> 250 2.1.0 <spamer@spamer.ru> Sender ok
192.168.0.1 04:51:30 <<<< RCPT To:<user@example.com>
192.168.0.1 04:51:30 >>>> 250 2.1.5 <user6example.com> Recipient ok; will forward
192.168.0.1 04:51:30 <<<< DATA
192.168.0.1 04:51:30 >>>> 354 Enter mail, end with on a line by itself
192.168.0.1 04:51:30 *** <spamer8spamer.ru> <user6example.com> 1 19770 00:00:01 OK 1kNHhq-000ENW-As
192.168.0.1 04:51:31 >>>> 250 2.6.0 19770 bytes received in 00:00:01; Message id 1kNHhq-000ENW-As accepted for delivery
192.168.0.1 04:51:31 <<<< QUIT
192.168.0.1 04:51:31 >>>> 221 2.0.0 smtp.spamer.ru closing connection
192.168.0.1 04:51:31 Disconnected


Дополнение к заявлению в ФАС если спам пришел по электронной почте:
Указанное сообщение поступило с адреса электронной почты spamer@spamer.ru. Согласно служебным заголовкам этого сообщения, оно было послано с IP-адреса 192.168.0.1).
Согласно данным Whois-сервиса RIPE NCC (организации, отвечающей за распределение IP-адресов в Европе), администратором IP-адреса 192.168.0.1 является организация Bank of Shiteaters, LLC с контактным адресом feedme@spamer.ru.
Согласно данным АНО Координационный центр национального домена сети Интернет, доменное имя spamer.ru администрируется ОАО Банк говноедов с ИНН XXX (http://personeltest.ru/aways/cctld.ru/service/plus/).


Формулировка согласия ФАС на обработку ПД при жалобе на спам по электронной почте:
Настоящее Согласие распространяется на получение и передачу [Название территориального управления ФАС] России информации о моих фамилии, имени, отчестве, о переданных данных на/от адрес(а) электронной почты: user@example.com, а также на осуществление иных действий (операций) по обработке персональных данных, предусмотренных Федеральным законом от 27.07.2006 152-ФЗ О персональных данных и необходимых для исполнения вышеуказанной государственной функции, в том числе на получение сведений о моих сообщениях электронной почты, их содержании в порядке ст. 63 Федерального закона от 07.07.2003 126-ФЗ О связи.


5. Заявление и приложения к нему оборачиваете в общий PDF (это не обязательно, просто так удобнее), прикладываете к нему аудиофайл (если он есть), обернутый в ZIP (т.к. ФАС принимает только PDF и ZIP) и посылаете в свой местный УФАС либо через сайт ведомства, либо через портал Госуслуги (рекомендую второй вариант).

6. В течении пары дней на контактный адрес электропочты вы должны получить уведомление о принятии заявления в работу. В течении месяца с этой даты результат его рассмотрения или уведомление о продлении рассмотрения еще на месяц. В любом случае, вас должны известить об принятом в итоге решении. Если чего-то не доложили в комплект поданных документов должны прислать предложение доложить.

По моему опыту, окончательное решение может выноситься до полугода, но рано или поздно выносится. Пользуясь случаем, передаю приветы Сберу, ВТБ24, Озону, Билайну и прочим спамерам, обедневших моими стараниями на 100 и больше тыр, и забывших с тех пор, как присылать мне свой спам.

FAQ:
Q: Я получу эти 100к+ штрафа от спамера?
A: Нет, их взыщут в бюджет. Вы получите только моральное удовлетворение.

Q: Зачем просить ФАС признавать меня потерпевшим?
A: Потерпевшему в теории должны сообщить размер штрафа, наложенный на спамера (просто жалобщику не обязаны). Кроме того, потерпевший может потом с решением ФАСа идти в суд и требовать от спамера возмещения морального (а то и материального) вреда (ИМХО овчинка выделки не стоит). Можно не просить признать себя потерпевшим, хотя минусов в такой просьбе я не вижу.

Q: И как результаты-то?
A: Я довольно осторожно раскидываюсь своими контактами. Спам приходит несколько раз в год от разных отправителей. Каждое сообщение отправляется в ФАС, за последние лет 10 отказов по моим заявлениям не было (Московское УФАС), раньше были. Пополняю бюджет понемножку, на миллион уже, думаю, точно пополнил ;)

Q: А можно ли пожаловаться еще и в Роскомнадзор на незаконный оборот ПД?
A: Можно, если есть признаки, но мой личный опыт в основном негативный не хотят они работать.

Q: Что делать, если я где-то просмотрел мелкий шрифт и дал согласие на получение рекламы?
A: Отозвать его. По одному из моих заявлений спамер врал ФАСу, что такое согласие я давал, но ФАС решил, что согласие было вынужденным (нельзя было сделать заказ, не дав согласия на получение рекламы) и потому не данное надлежащим образом, т.е. спамера не спасло даже вранье. Но я не уверен, что это общая позиция в подобных случаях.


Если есть какие-то вопросы по тексту или по практике жученья спамеров через ФАС спрашивайте в комментах.
Подробнее..
Категории: Законодательство в it , Спам и антиспам , Спам , Фас

ДИТ Москвы, коронобесие, большие данные преступление и наказание

20.04.2021 18:08:31 | Автор: admin
За неделю Роскомнадзор дважды составил административные протоколы на Департамент информационных технологий Москвы: за незаконную обработку ПД и наглое вранье надзорному органу.


Во время пика прошлогоднего коронабесия, когда власти вводили пропуска, комендантский час, патрули с собаками чумными докторами и это все, я развлекал себя, измываясь над московской системой оформления электронного пропуска на передвижение, который якобы требовался для обуздания пандемии.

Гипотеза состояла в том, что вся эта система сплошная профанация и нужна лишь для распила бюджета и построения цифрового профиля москвичей, а любой гражданин, располагая толикой изворотливости и информацией из открытых источников, может ее легко обойти. Проверка носила бескорыстный характер, так что я был целиком в белом жабо white hat.

Гипотеза подтвердилась: сперва я заказал себе многоразовый пропуск на название и ИНН несуществующей организации, который был действителен где-то месяц и даже пару раз автоматически продлевался системой.

Затем пропуск аннулировали и новый можно было заказать лишь через более сложную процедуру, сопроводив справкой с места работы. Для получения пропуска Вам необходимо подтвердить, что Вы работаете в указанной организации, путем предоставления договора, справки с места работы или иного документа, сообщала система, и стращала ежа голой жопой ч.1 ст.20.6.1 КоАП РФ, с которой автор страшилки был явно незнаком. Но можно было пойти и по простому пути, объявив себя журналистом или адвокатом, что я успешно и сделал.

Проверка гипотезы сопровождалась рядом условий, которые я сам себе поставил: система не должна получить никаких данных обо мне, кроме тех, предоставление которых неизбежно для целей получения пропуска. Т.е. пропуск должен содержать ФИО его невозможно не указать. К пропуску можно привязать транспортную карту бессмысленно привязывать несуществующую или чужую, она просто не сработает в метро (в наземном транспорте со свистом работала непривязанная). Московские власти хотят знать мое место работы обломятся.

Одновременно я проверял другую гипотезу, а именно: все собранные при заказе пропуска данные будут использоваться ДИТ Москвы как ему заблагорассудится, игнорируя требования закона и элементарной порядочности. Эта гипотеза также подтвердилась.

Для ее проверки я внимательно следил, чтобы при заказе пропуска не принять случайно кабальное соглашение об обработке персональных данных, и гарантирую это: соглашения либо не было вовсе, либо в нем однозначно было прописано, что данные собираются исключительно в целях выдачи пропуска.

Был более жесткий вариант заказа с соглашением, предусматривающим пожизненное анальное рабство и передачу персональных данных партнерам оператора, которые смогут использовать их в любых целях. Этот вариант заказа был отметен без раздумий, как нарушающий условия задачи.
Кабальное соглашение во всей красе
Настоящим подтверждаю свое согласие на осуществление Департаментом предпринимательства и инновационного развития города Москвы, Департаментом информационных технологий города Москвы (ОГРН 1107746943347, адрес 123112, г. Москва, 1-Красногвардейский проезд, д. 21, стр. 1), государственным казенным учреждением города Москвы Информационный город (ОГРН 5147746224324, адрес 123112, г. Москва, 1-Красногвардейский проезд, д. 21, стр. 1), Фондом Московский инновационный кластер (ОГРН 1197700007141, адрес: 125009, г. Москва, Вознесенский переулок, д.22) (далее оператор) обработки следующих моих персональных данных: фамилия, имя, отчество; дата рождения; адрес; профессия; место работы, адрес организации, иная информация о трудовой деятельности; должность в организации; данные документа, удостоверяющего личность, гражданство, образование; номера телефонов; адрес электронной почты; технические данные, которые автоматически передаются устройством, с помощью которого используются информационные системы и (или) сайт оператора (в том числе технические характеристики устройства (идентификатор устройства), IP-адрес, файлы cookies, информация о браузере и др.), в том числе на осуществление следующих действий: обработка (включая сбор, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, обезличивание, распространение и передачу третьим лицам, блокирование, уничтожение персональных данных), в целях проверки достоверности данных цифрового пропуска для передвижения по городу Москве, коммуникации со мной оператора и (или) третьих лиц, в том числе при моем обращении к оператору; в том числе смс и e-mail рассылок посредством указанных мною в настоящем согласии номеров телефона и (или) адреса электронной почты, направления мне новостных материалов оператора и (или) третьих лиц; получения от оператора и (или) третьих лиц по сетям электросвязи информации (материалов информационного и (или) рекламного характера)
Источник


Как и предполагалось, моя внимательность ни на что не повлияла: через некоторое время от правительства Москвы повалил спам. И тогда в условиях самоизоляции у меня появилось новое развлечение курощение ДИТ. Закон нарушают? Нарушают. Ответственность за это предусмотрена? Предусмотрена. Вот и отвечайте по закону. Заранее было понятно, что задача не из легких привлечь госструктуру за рассылку спама и вольное обращение с персональными данными, но если не пробовать, это хамство будет вечным.

Я подал жалобы в ФАС и Роскомнадзор, с первой из которых у меня сложились многолетние плодотворные отношения по штрафованию спамеров, а со вторым не сложились от слова совсем: РКН упорно не видел моих персональных данных, а тем более нарушений в порядке их обработки, сколько бы и на кого я ни жаловался. А в этот раз начались такие чудеса, будто я из 2021 года попал в Светлую Россию Будущего.

На московские власти я и раньше жаловался в ФАС и это была едва ли не единственная жалоба за последние 5 лет, которая не вызвала живого отклика в сердцах антимонопольщиков: это не реклама, а социальная реклама ответили они, а потому оснований для принятия мер нет. Элегантное решение, я считаю: и волки целы, и баранам овцам нечего возразить формально ФАС права, а неформально я злопамятный и ждал подходящего случая, который не заставил себя ждать.
Спам, на который я жаловался в ФАС


Подрядчик бесплатно: найдем швейный цех под ваши нужды завлекал заголовок очередного спама от московских властей про Биржу контрактного производства бесплатный сервис, где можно найти швейный цех или фабрику и заказать производство одежды, обуви, домашнего текстиля или аксессуаров.

Ну если и это социальная реклама, подумал я, то извините пойдемте в суд, хоть в Верховный. А вот и нет, не социальная, и не реклама вообще ответила ФАС. Рекламой является информация, <> направленная на привлечение внимания к объекту рекламирования тогда как в поступившем Вам e-mail-сообщении отсутствует информация об объекте рекламирования. Целью данного сообщения не является привлечение внимания потребителей к объекту рекламирования.

Т.е. Биржа контрактного производства и все письмо про нее, по мнению Московского УФАС России, не информация об объекте информирования, а Хотите уйти из Китая и найти швейное производство в России? Сделайте это с нами! не имеет целью привлечение внимания потребителей к объекту рекламирования. Серьезно?!

И даже эта, кхм, позиция была выражена лишь после пинка, поскольку без оного ФАС лишь сообщила, что не получила ответа на свой запрос от спамера ГКУ города Москвы Московского городское агентство по телекоммуникациям и на основании этого приняла решение об отказе в возбуждении дела. Пришлось пинать напоминать заплаканной ФАС, что на такой случай в КоАП предусмотрена ст.19.7, устанавливающая ответственность за непредставление информации в государственный орган, осуществляющий государственный контроль.

В общем, с ФАС мы упражняемся в казуистике языкознании и логике, результат пока неизвестен, но если жалоба на процитированное решение не найдет отклика и у руководства ФАС, есть планы прогуляться в суд и заставить-таки антимонопольщиков работать.

А теперь про Светлую Россию Будущего и Роскомнадзор, который мы все заслуженно не любим, а он настолько крут, что выдает целебных даже спамерам из правительства Москвы.
Спам, на который я жаловался в Роскоманадзор


Сперва Управление Роскомнадзора по ЦФО ответило мне, что я сам себе злобный Буратино, т.к. зарегистрировался на московском портале госуслуг: начав пользоваться Порталом, Вы приняли соглашение о пользовании информационными системами и ресурсами города Москвы (далее Соглашение) в полном объеме. В соответствии с пунктом 3.3 Соглашения Вы дали свое согласие на получение информационных сообщений.

Ответ был предсказуемым и основанным на позиции вранье Департамента информационных технологий города Москвы, присланном в ответ на запрос Роскомнадзора, к чему я был готов. В свою очередь, я сообщил Роскомнадзору, что а) портал был создан раньше, чем правительство Москвы учредило ДИТ, а потому я никак не мог давать ему согласия на получение спама; б) на портале есть настройки получения информационных соглашений, и я изначально отказался от их получения; в) [звучит барабанная дробь] я зарегистрирован на этом портале с другим адресом.

Я все понимаю большие города, большие данные, слегка запутались в них, немножечко соврали про цели сбора персональных данных для пропусков, уточку переборщили с их незаконной обработкой, случайно сопоставили один набор ПД с другим, непроизвольно разослали спам с кем не бывает, правда? Даже законодатель предусмотрел такие ошибки, дополнив в профилактических целях КоАП статьей 13.11.

Пока я все эти соображения излагал Роскомнадзору, пришло письмо из ДИТ, и уже не спам: в ходе проверки выявлено ошибочное направление информационной рассылки [снова барабанная дробь], уведомляем Вас об уничтожении адреса электронной почты [мой адрес], Ba-Dum-Tss!!! Большие города, пустые поезда большие данные, снова ошибочка вышла! Я мысленно посочувствовал сотрудникам ДИТ, танцующим танец маленьких ужей на сковородке, убедился, что мой адрес не уничтожен ДИТом в приступе добросовестности, и переслал сообщение в Роскомнадзор.

Погодите-ка со своей ст.13.11 КоАП, неожиданно взбеленился Роскомнадзор, нам тут что, всю дорогу ссали в уши?! Тогда мы начнем возбуждаться по признакам ст.19.7 КоАП, выразившимся в представлении в государственный орган, осуществляющий государственный контроль (надзор), наглой лжи сведений (информации) в искаженном виде. На прошлой неделе составили протокол, меня не звали, т.к. я не сторона этих увлекательных правоотношений, но хочется думать, что было жарко.

А на этой неделе позвали составлять протокол за рассылку самого спама незаконный оборот моих персональных данных. Да, было жарко! Первые полчаса мы с нач. отд. по защите прав субъектов ПД (кстати, очень милая дама) сидели и ждали, пока представитель ДИТ напишет ходатайство о переносе заседания на 3 дня, т.к. якобы идет проверка и ДИТ надо установить все факты, это была душеспасительная социально-значимая рассылка (звук закатываемых в сарказме глаз), а адрес взят из открытых источников Вардан Кушнир. Некрасиво глумиться над своим процессуальным противником, но вы понимаете мои чувства?

В общем, за эти полчаса я хорошо прогрелся, почти вскипел и обдумал, почему против переноса. Во-первых, потому, что за уже прошедшие два месяца ДИТ мог бы провести пять проверок и 3 дня погоды не сделают. Во-вторых, потому, что как следует из письма ДИТ, проверка уже закончилась и установила наличие ошибки (даже мой адрес обещали уничтожить!) В-третьих, мне уже достаточно трех версий, почему ДИТ спамил (хотя постойте, а как же результаты проверки, которая уже завершилась, но нужно еще 3 дня?) и может хватит врать?

Хватит, решил Роскомнадзор, ходатайство о переносе рассмотрения отклонил и составил протокол об административном правонарушении. С нетерпением жду суда над ДИТ: все-таки, немного поостыв, я решил, что с интересом выслушаю четвертую и пятую версии вранья на тему, откуда у ДИТ мой адрес электронной почты и почему он считает, что на него можно невозбранно слать спам. Есть даже пара предположений, какими они будут

Итого в сухом осадке:
  • 3 версии, откуда ДИТ взял мой адрес для рассылки спама, ни одна из которых его же не устраивает;
  • проверка, которая завершилась, но нужно еще 3 дня на ее окончание;
  • задокументированное вранье ДИТ надзорному органу;
  • 2 протокола об административном правонарушении, совершенном ДИТ.


Ну, кто меня теперь осудит за намерение пойти в суд и поддержать позицию Роскомнадзора?
Подробнее..
Категории: Законодательство в it , Спам и антиспам , Спам , Дит москвы , Роскомнадзор , Фас

Роскомнадзор vs Билайн куры передохли, пришлите новый телескоп

23.04.2021 16:06:54 | Автор: admin

В прошлом году Билайн стал требовать для входа в Личный кабинет абонента принять оферту и согласиться получать рекламу спам от полосатых и его партнеров, а в случае несогласия отправляться в Мегафон или МТС на ближайший хутор ловить бабочек.

Идея сафари на чешуекрылых показалась мне настолько оригинальной, что я пригласил присоединиться к приключениям Роснепотребнадзор, ФАС и Роскомнадзор, предложив по дороге обсудить: не слишком ли много ухи съели пчеловоды, требуя от абонентов согласия на спам? Две первые инстанции посчитали, что не слишком: вы же не приняли оферту, дорогой абонент, значит ваши права не были нарушены, играйте в юного энтомолога без нас. А надзор, профилактика, предупреждение оставьте тем, кто верит в Деда Мороза.

Зато Роскомнадзор заинтересовался новым видом активного отдыха, запросил у туроператора Билайна проспекты, составил на него административный протокол за то, что не сразу выслали, а затем направил требование о приведении своей деятельности в соответствии с действующим законодательством. Самого текста не видел, но предполагаю, что требовалось не орфографические ошибки в оферте исправить.

Прошел месяц, Билайн исполнил требование вывесил новую оферту. Было:
2.8. Выражаю Оператору согласие на обработку <> и передачу указанных сведений или результатов их обработки, в том числе вероятностных, партнерам Оператора (далее Партнеры) в целях предоставления товаров/работ/услуг Оператора или Партнеров.
Также выражаю согласие на направление мне сообщений рекламного и/или информационного характера <> а также организацию Оператором канала коммуникации между Партнерами и мной по телефонным номерам, пользователем которых я являюсь.

Стало:
2.8. Соглашаясь с настоящими Условиями, Абонент выражает Оператору согласие на обработку указанных ниже его персональных данных в целях:
<>
  • предоставление Оператором Абоненту информации об услугах Оператора и партнерах Оператора (в том числе информирование Абонента о предоставляемых партнерами Оператора товарах, работах, услугах партнеров Оператора, включая рекламу партнеров Оператора);
  • предоставление товаров/работ/услуг партнеров Оператора и партнеров Оператора.

Спешили выполнить требование Роскомнадзора, отсюда и партнеров Оператора и партнеров Оператора, руки тряслись, понимаю, но разницы не вижу.

Похоже, одного административного протокола полосатым мало, попросил Роскомнадзор уважить пчеловодов повторной проверкой, чреватой уже составлением протокола о неисполнении требования надзорного органа.

Почему Билайн так бьется за п.2.8 оферты, что даже рискует вызвать на себя огонь регулятора, полагаю, очевидно (спойлер: чтобы невозбранно рассылать спам абонентам и продавать их рекламные профили своим партнерам). Неочевидно, как далеко он готов зайти для достижения этой цели, хотя для меня очевидно, рассказываю.

Однажды мне потребовался договор с Билайном, свой экземпляр которого я считал безвозвратно утраченным армейским способом. Пошел в офис обслуживания, предъявил паспорт, попросил копию, через минуту мне ее выдали все просто, быстро и безвозмездно, т.е. даром. Однако при детальном рассмотрении оказалось, что вместо копии мне выдали подделку справку о помутнении рассудка при заключении договора и приступе амнезии. Перерыл все антресоли и все-таки нашел свой экземпляр договора, сравните сами:


Если верить копии подделке, при заключении договора я дал согласие на получение рекламной информации, а если оригиналу с чернильными подписями обеих сторон и сургучной печатью ОАО Вымпел-Коммуникации находился в то время в здравом уме и до сих пор пребываю в трезвой памяти, четко зафиксировавшей: такого согласия я не давал.

Похоже, глазастых и здравомыслящих, которые вычеркивают при заключении договора дефолтное согласие получать спам, становится все больше, и полосатые придумали хитрый финт: доступ в Личный кабинет только в обмен на анальное рабство отказ от своих прав. Связь есть? Есть! А следить, какие подписки и услуги вы сами подключили абоненту не обязательно

А вы как, вздыхаете и соглашаетесь с подобными офертами, или отстаиваете свои права?

P.S.: причем тут куры и телескоп?
Подробнее..
Категории: Законодательство в it , Сотовая связь , Билайн , Спам и антиспам , Спам , Персональные данные , Роскомнадзор

Из песочницы 5 лучших сервисов временной почты личный опыт

10.07.2020 12:22:13 | Автор: admin
Сделать сервис временной почты по-настоящему комфортным для себя задача не из легких. Казалось бы, что сложного: загуглил запрос временная почта, получил кучу сайтов в выдаче, выбрал ящик и пошел дальше в Интернет по своим делам. Но когда есть необходимость пользоваться временной почтой чаще, чем раз в год, лучше выбрать такой сайт внимательнее. Делюсь своим опытом в виде рейтинга 5 сервисов временной почты, которыми я пользовался.

Что такое временная почта?


Временная почта это сервис, который предоставляет пользователю адрес почтового ящика на своем сайте на некоторый срок. Обычно он сгорает сам по себе через несколько минут. Но, забегая наперед, скажу, что уже появились сайты, на которых он сохраняется на несколько дней.

Чтобы создать такую почту, нужно зайти на сайт провайдера услуги и нажать кнопку Получить. В целом, каждый сайт временной почты предоставляет удобный сервис, где не нужно тратить время на регистрацию и заполнять несколько полей своими данными. Просто зашел на сайт, создал адрес и ввел его на нужном сайте для начала переписки. Чтобы такую почту отключить, достаточно закрыть вкладку в браузере или подождать 10 минут.

Случаи, когда временная почта может пригодится


  1. Защита от спама. Такой почтовый ящик лучше использовать для регистрации на любом ненадежном сайте например, дать его провайдеру WiFi сети в аэропорту (не очень актуально в карантин, конечно, но рано или поздно такой лайфхак точно кому-то пригодится) или любому потенциальному спамеру и любителю до-продаж.
  2. Получение доступа к бесплатному курсу или программе. Я пробовал с помощью временной почты продлевать доступ к trial версиям IQBuzz и PressIndex, а когда наконец остановил свой выбор на одной из них (это был IQBuzz, кому интересно), зарегистрировал единственно нужный мне софт на свою основную почту. В целом, с тех пор все тестирую именно на временной почте.
  3. Для проверки разработки и e-mail маркетинга. Часто нужно проверить качество работы функционала или отображение разработанного письма и временная почта помогает сэкономить время и оперативно разобраться самому в возможных проблемах.
  4. Переписка с незнакомым отправителем. Для тех, кто не хочет сильно рисковать, но сильно хочет с кем-то познакомиться в Интернете, временная почта может стать отличным компромиссом для личной безопасности. Если на сайте знакомств какой-то подозрительный (или не очень) тип хочет перевести переписку в личные письма, рекомендую обезопасить себя хотя бы так.

Какой сервис лучше выбрать?


Я решил сравнить сайты временной почты по критериям, которые оказались для меня важными и определяющими. В скобках отмечу, что каждый из этих сервисов соответствует необходимому минимуму, чтобы получить определение временная почта, но от первых четырех пришлось отказаться из-за их недостатков (все подробности ниже). Если есть необходимость сравнить эти сайты еще по какому-то критерию, дайте знать в комментариях, бегло опишу. Про другие сервисы не могу ничего сказать, потому что не пробовал.

Temp-Mail.org

10minutemail

Tempinbox

GuerrillaMail

TempMail+

Время хранения


писем

до 2 часов

до 100 минут (10 по умолчанию)

до 24 часов

до 1 часа

до 7 дней

Получение

Без перебоев

С перебоями

Без перебоев

С перебоями

Без перебоев

Мусор на сайте

Реклама 80%

Реклама 60%

Реклама 10%

Реклама 10%

0% рекламы

Дизайн

Замусорен

Мало функций

Нужны переходы

Нужный минимум

Нужный минимум

Выбор домена

Без выбора

Без выбора

5 вариантов

11 вариантов

5 вариантов

Temp-Mail.org


Когда-то мне впервые понадобилась временная почта, этот сервис был долгое время единственным и одним из лучших, но потом ребят поглотила реклама. Полезные фичи отваливались одна за одной: перестала работать функция выбора нескольких доменов, начал подвисать ящик, да и в общем сайт сейчас выглядит очень подозрительным для Гугла.



Из сильных сторон наличие браузерных плагинов и отображение API временной почты. Еще удобно, что даже если закрыл вкладку и возвращаешься на сайт спустя несколько минут, все равно видишь адрес своей временной почты. Удобно это в первую очередь потому, что кликая ссылки в своей временной почте, ты не открываешь окно в новой вкладке, а остаешься в той же. Плюс, есть QR код, чтобы переключиться на просмотр ящика со смартфона. Но, если честно, удобство это относительное, потому что сейчас приходится перед каждым новым действием выдерживать испытание капчей.

Из минусов сервиса куча рекламы и перекрестных ссылок. Сайт настолько перегружен этим мусором, что выглядит как корзина со спамом, где все письма открыты одновременно. И самое забавное в этом всем то, что даже на сам ящик временной почты приходит автоматический спам! В общем, сейчас сайт совершенно непригоден для временной почты и для любых целей, к сожалению.

TempMail.Plus


На данный момент, я активно юзаю именно этот сервис. В нем собрано лучшее, что я видел у других и все без воды и рекламы.



Что мне нравится:
Есть возможность сохранять все письма и сам почтовый ящик на неделю.

Можно поставить пин-код и даже создать секретный почтовый адрес, который поможет сохранить имя основного почтового ящика в секрете.

Можно написать письмо самому или вручную удалить все письма.

Имя ящика можно вбить вручную или попросить сервис придумать его случайно.

Одна маленькая, но решающая деталь из всех сервисов временной почты, которые я использовал, только разработчики TempMail Plus додумались до гениально простого: любая ссылка, которая приходит на временную почту, открывается в новой, а не той же вкладке.

После нескольких месяцев возвращений Назад и поисков вкладок в Истории, это, оказывается, так удобно!

Что не ок: видно, что сайт новый, и дизайн выглядит полусырым. Плюс, по опыту пользования остальными сайтами временной почты, я подозреваю, что такой сайт без рекламы долго не протянет (хотя они вроде работают пока на донатах). Поэтому признаю, что актуальность этого рейтинга может поменяться со временем. Но на сегодня TempMail.Plus для меня самый приятный и эффективный сервис временной почты из всего, что есть.

10minutemail.com


Этот почтовый сервис еще одна классика временной почты. Именно благодаря 10minutemail появился термин почта на 10 минут как главный синоним запроса временная почта. Но, как и Temp-Mail.org, этот сервис начинает потихоньку сдавать позиции в сравнении с остальными конкурентами на рынке. Пусть и рекламы на нем значительно меньше.



Основное преимущество сервиса простота в использовании. Заходя на страницу, видно два поля: блок рекламы, огромный таймер, отсчитывающий 10 минут в обратном порядке, и поле готового адреса и временного почтового ящика. Зашел и все уже готово.

Однако, с увеличением количества предложений на рынке, жизнь почты, которая длится всего 10 минут, оказывается недостаточной. Приходится либо держать вкладку всегда открытой, либо регулярно нажимать кнопку дать мне еще 10 минут (что, кстати, возможно только 10 раз). Плюс, в случае с моей регистрацией на PressIndex, временная почта дала сбой за 10 минут на ящик так и не пришло ни одно письмо. А раз обновив вкладку, ты теряешь свою почту навсегда. Поэтому на практике такая почта реально оказывается одноразовой и не приспособленной к длительным перепискам.

tempinbox.xyz


Tempinbox относительный новичок на рынке, и поэтому выглядит намного привлекательнее многих остальных сервисов временной почты. Очень долгое время я пользовался именно им, и рекомендую начинать тестировать с этого сайта, а не с первых двух даже если временная почта нужна по очень быстрому и пустяковому делу.



Главное удобство tempinbox акцент на максимальной кастомизации процесса создания временного ящика. Если подробнее, то на сайте есть два основных способа создать почту. Первый: нажать кнопку Random и получить доступ к случайно созданному почтовому сервису. Второй: немножко заморочиться и выбрать самому и e-mail ID, и домен тем более, выбор интересный: от стебного fakemyinbox.com до более серьезного fitschool.space. Также на главной минимум рекламы, что после 10minutemail и Temp-Mail выглядит как глоток свежего воздуха.

Главный недочет сайта: хоть адрес временного почтового ящика закрепляется за пользователем навечно (читай: до срока жизни домена, на который он зарегистрирован), сами письма на нем исчезают автоматически через 24 часа. Поэтому вернуться к чему-то важному (вроде пароля от учетной записи) на этом сервисе уже будет невозможно. В моем случае, письма самоликвидировались спустя всего пару секунд. А когда понадобился пароль от созданной вчера учетной записи, стало понятно, что tempinbox мне больше не подходит.

Guerrillamail.com


Я попробовал переметнуться на Guerrilla Mail. Начитавшись позитивных отзывов, я понял, что он напичкан кучей полезных фич но на практике их оказалось так много, что ничего не работает хорошо.



В целом, мне очень импонирует дизайн и UX сайта. На временном ящике уже лежит письмо с инструкцией по использованию сервиса. Обновление почты происходит каждые 10 секунд, и есть возможность выбирать среди 11 доменов. Также, на сайте есть отдельная вкладка Отправить, что особенно удобно для ведения личной переписки.

Но для меня Guerrilla Mail оказался совершенно неудобным. Письма хранятся на почтовом ящике всего час что меньше даже в сравнении с тем же tempinbox. Еще не очень удобно копировать адрес сгенерированной почты его надо искать в письме с инструкциями. Да и письма до этого почтового ящика доходят с перебоями.

Спасибо за внимание. Надеюсь, был полезен.
Подробнее..
Категории: Реклама , Спам и антиспам , Спам , Почта , Временная почта

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru