Социальные сети

Психотронная тюрьма риторики история о том, что мешает нам мыслить здраво

10.06.2021 12:09:47 |

Автор: admin

Аристотель придумал, что в риторике есть четыре главных способа убеждения. Пафос через эмоции и повествование. Логос через факты и логику. Этос через авторитет того, что убеждает. Есть еще кайрос, фактор контекста: того, когда вас пытаются убедить и при каких условиях.

Познакомился я с ними, когда работал академконсультантом в США: помогал получать высшее образование так, чтобы иметь хорошие оценки и не тратить слишком много денег. В колледжах США, риторику изучают все гуманитарии на первом курсе, иногда даже технари. И так как всю риторику сводили именно к способам убеждения, мои клиенты из Ближнего Востока и Китая часто этим возмущались. И спрашивали меня, какой скрытый смысл в том, чтобы изучать такие очевидные вещи.

Что же, ответ у меня есть. Я считаю, что этос это бич мыслящего человека. Кейрос кайданы, который выковал информационный век. А понимание того, как работает риторика базовый инструмент критического мышления. Особенно для IT-специалиста.

Я так много рассказывал об этом на кухнях и в чатах, что решил написать статью. А получился лонгрид с научными исследованиями, разбором влияния алгоритмических новостных лент, и безумным комиксом из мемов, который я делал 4 часа в Фигме. Поехали!

Доверяй да проверяй: проблема экспертов

В любой сложной теме, СМИ и блогеры в первую очередь обращаются к экспертам. Врача слушать о медицине надежнее, чем копирайтера за 50 рублей/килознак. Отставной военный разбирается в войне в Сирии лучше, чем банковский клерк Славик. Трейдер лучше объяснит о будущем криптовалют, чем скептик из улицы. Ну а то, что есть на завтрак Герман Греф, интереснее для публики содержимого вашего собственного завтрака. Это всё этос, убеждающая и привлекающая способность авторитета и знаменитости.

Мы, как вид, прошли эволюционный отбор по критерию подвластности этосу[1]. Чтобы выжить, нашим предкам пришлось брать на веру слова опытных и знаменитых сородичей. Те, кто слушал на охоте Праславика, который когда-то убил мамонта, выжили и родили детей. Те же, кто верил Правиталику, который поймал в бороде блоху, на охоте не выжили, и гены их не пошли в народ. Чем больше развивалось человечество, тем меньше эмпирического опыта мог получить отдельный человек, и тем важнее ему было учиться у более опытных сородичей. Так мы и дожили до того, что верим авторитетам.

А те, кто убил и скушал мамонта лишь потому, что Славик описал его очень вкусным, проходили отбор по пафосу. Но там в деле замешаны еще сострадание, эмпатия, и всё куда сложнее.

Что же тогда не так в том, чтобы слушать прогнозы трейдеров и знаменитостей, а не троллей из интернета и ноунеймов? Подвох в том, что утверждения об экспертах выше верны только касательно _эмпирического опыта_. Это значит, что в повторяющихся ситуациях и в анализе прошлого, эксперты справляются лучше, чем люди с улицы. По крайней мере, иногда.

А вот в прогнозировании будущего, эксперты справляются хуже. И это не шутки: исследования Филиппа Тетлока показали, что среднестатистический эксперт-политолог справляется хуже, чем статистический анализ[2]. И что специалисты, что статистика справились хуже, чем шимпанзе, мечущий дротики в мишень. А в случае с предсказаниями котировок фондового рынка, усредненный диванный эксперт из интернета справляется лучше, чем профессиональный аналитик из банка[3][4]. Об этом Нассим Талеб рассказывает половину своей книги Черный Лебедь, повторяя на всякий лад.

Важный момент: эксперты действительно существуют, и разница между человеком из улицы и профессором есть[2]. Но настоящих экспертов больше там, где можно легко получить эмпирический опыт и поставить эксперимент. И там, где для работы требуется открытость мышления и готовность к неожиданностям.

Потому врачи, водители, инженеры, пилоты и физики справляются со своей работой лучше, чем случайный человек с улицы, посади его лечить людей или пилотировать. Но все они могут делать катастрофические ошибки, вне зависимости от именитости и опыта.

В итоге, единственный рабочий способ ориентироваться в мире это сравнение мнений, собственный анализ, эксперименты, или хотя бы критическое мышление. Но постоянно мыслить критически очень сложно. Мозг очень экономный механизм, и он максимально пытается использовать дешевые обученные нейросети, а не дорогие аналитические. Это имеет смысл: чем больше ты калорий сэкономил в живой природе, тем реже ты выходишь из логова в поисках еды, и тем меньше твой шанс стать едой самому.

Этос: мастер-класс на пальцах

Эксперты и исследования Тетлока как-то далековато находятся к нам, чтобы восприниматься серьезно. Поэтому у меня есть два примера: один из повседневной жизни, а другой повлиял в прошлом году на всех нас.

Как состоявшийся спорщик но начинающий писатель, я влияние этоса испытал на себе сполна. Когда у меня в Психотронке 30 подписчиков не считая собаки, а у блогера-политолога их 300 тысяч, его этоса хватит, чтобы при встрече в чате, толпа стала на его сторону вне зависимости от темы спора. В моем случае, блогер доказывал, что совершенно невозможно получить Ph.D. в США, цитируя Библию как источник в научной работе. Тем более, в медицинской специальности. Ведь в цивилизованном мире так дела не делаются.

Я не осуждаю людей. Логичнее доверять экспертному блогеру, ведь человеку есть что сказать. Однако исследования показывают, что с ростом авторитетности и известности эксперта, растет только его уверенность в собственных предсказаниях, но никак не точность этих предсказаний[2]. В той истории с Библией, к блогеру прилетел черный лебедь, ведь соискатель Ph.D. с Библией был моим клиентом. И моим клиентом он стал потому, что его куратор цитирование Библии требовал. Но меня все равно признали фантазером и забанили.

Этос в интернете, где авторитет измеряется цифрами, вообще творит страшные вещи. Например Tomas Pueyo, автор той самой статьи о коронавирусе, перевод которой набрал на Хабре рекордное количество просмотров, не врач. И даже не статистик, хотя всю статью украсил графиками. Конечно, у Томаса есть степень магистра инженерного дела и MBA, и он самостоятельно провел анализ данных из открытых источников, пусть методами своих расчетов не поделился.

Но подвох в том, что до марта 2020 года, Томас писал только о инфобизнесе (которым сейчас и занимается), личном успехе и позитивном мышлении. И его лучшие статьи назывались "Как написать смешную речь?" или "Как умерить ожидания CEO". Но с марта 2020-го, естественно, Томас писал только о коронавирусе, ведь по его же словам 20, он получил в тысячи раз больше просмотров, чем обычно.

Через год этого человека будут цитировать министры и общественные деятели, обосновывая необходимость жесткого карантина

Итак, вопрос. Хотели ли бы вы, чтобы Томас был министром здравоохранения в вашей стране и принимал решения по борьбе с эпидемией? Последние три абзаца, в сочетании с картинкой выше, заставляли бета-тестеров этого текста говорить нет. Именно так работает риторика, ведь этос Томаса к этому моменту серьезно пострадал.

Правильный ответ другой. По крайней мере, британцы бы предпочли Томаса своим министрам. В апреле 2020, Томас в гостях у MIT Technology Review упоминает о том, что Британия поздно последовала его совету превентивных карантинов, и поплатится за это жизнями[20]. В январе 2021, Борис Джонсон, премьер-министр Британии, будет просить прощения за 100,000 смертей от коронавируса в том числе, из-за промедления с карантином.

Прогнозы развития пандемии, которые Томас сделал, оказались очень похожими на то, что произошло на самом деле. Но его нельзя было предсказать, судя из его биографии и предыдущих заслуг. Этос оказался бесполезным дважды: он сперва заставил поверить неспециалисту, а потом отринул то, что неспециалист может сделать правильные выводы.

В итоге, чтобы есть досыта и не стать едой самому, приходится думать самостоятельно. И думает каждый по своему карману. Мыслители при деньгах, вроде основателя Амазона Безоса, нанимают штат разноплановых экспертов. Их заставляют работать в команде и пользоваться проверенными методами; это увеличивает точность предсказаний[2]. В итоге, Безос хвастается тем, что его работа думать о проблемах на 2-3 года в будущем, а сегодняшние беды разребают мальчики на побегушках[5]. Судя по всему, пока его подход работает.

Но у начинающего критического мыслителя, как правило, нет ни денег, ни влияния Безоса, не говоря уже о карманной корпорации. Поэтому, новичок начинает с того, что учат еще в школе: сравнивает разные точки зрения. И попадает во вторую ловушку в пасть прирученного кайроса.

Прирученный алгоритмами кайрос

Кайрос то есть влияние контекста и своевременности подачи на убедительность информации тоже известен со времен греков[6], но менее известен, чем его три брата. Настолько менее известен, что на русскоязычной вики о нем нет статьи, а в риторику его включают только самые хорошие (читай: самые дорогие) колледжи. Так случилось потому, что кайрос до ХХ века был вещью очень очевидной. В летнюю жару предложение искупаться соблазнительнее, чем во вьюгу. Бедный охотнее выступит за налоги для богатых, чем богатый. В общем, банальности.

Разумеется, манипулировать контекстом додумались тоже давно. Революции происходили тогда, когда было много голодных и недовольных. Газеты почти с самого своего появления занялись рекламой, а потом борьбой за то, чтобы быть главным источником новостей[7]. А зачем это им было нужно, догадаться несложно.

Даже сайты до появления адблока продолжали многовековые традиции.

Но в эпоху газет, большую часть времени люди проводили в реальном мире. Опровергнуть откровенную чушь можно было выглянув в окно, или поговорив с соседями. Потому журналисты практиковали миротворчество в отношении к заморским странам. События там проверить обычный человек не мог и не сильно хотел.

Но в ХХ веке случилась перемена. Первое что большую часть своей познавательной деятельности человек стал проводить в интернете. Второе что информационную среду человека перестал определять его выбор, будь то выбор газеты, бара или места жительства. На сцену вышли контентные алгоритмы, со временем потеснив прежнего лидера распространения информации соседей[8]. То, что показывает Фейсбук в ленте, Ютуб и Яндекс Новости, формируется специально исходя из предпочтений пользователя и его поведения. Эдакой личный тайный советник для каждого.

Как человек, который постоянно работает с рекламой, я уверяю вас (поняли подвох, да?), что считаются не только лайки. Длительность чтения, внимательность, соответствие переписке, которую тоже анализируют работы всё это учитывается для того, чтобы показать вам правильный набор постов. На Хабре есть профессионалы по таргетингу рекламы и те, кто делает контентные алгоритмы, так что микрофон тут передаю им. Вот тут можно почитать, например, сколько всего Фейсбук знает о пользователе, а тут небольшой обзор на алгоритмы Ютуба.

При этом, цель контентных алгоритмов не в том, чтобы пользователь стал умнее, сильнее, или хотя бы счастливее. Их цель увеличить время пользователей за просмотром контента, а вместе с этим количество взаимодействий с рекламой. Взаимодействия важны: пассивные зрители менее ценны чем те, который лайкают (или дизлайкают) и комментируют. А лучше всего, когда в контент вовлечены другие и друзья: тогда зависнуть можно надолго[9].

Моя попытка проиллюстрировать работу контентных алгоритмов. Полный размер

Таким образом, людям показывается не только то, с чем они согласны и что им нравится, но и то, что вызывает у них эмоциональный ответ. Например, группы единомышленников, где можно пообщаться с другими людьми. Или противоречащие их взглядам посты, но вызывающие эмоциональный ответ. Ведь там можно побить врага комментами вместе с единомышленниками, которых алгоритм тоже подвезет.

Самоисполняющиеся пророчества

И когда я рисовал картинку выше, то понял, что контентные алгоритмы влияют не только на потребителей, но и на производителей контента. Алгоритм пессимизирует то, что не вызывает ответа у пользователей, и продвигает то, что заставляет читателей реагировать. И дальше включаются правила рыночной экономики.

Контент с риторикой логоса, вроде Итоги личного опыта пользования Linux на разныхы платформах, вызывает меньше реакции чем риторика пафоса: 10 причин ненавидеть Linux: исповедь бородатого юзера [10]. Это мотивирует производителей контента сменять разумные доводы эмоциональными ради больших охватов. Второй факт: адаптация контента под конкретную аудиторию и тему приводит к большему росту популярности, чем нейтральность, объективность и широкий обзор.

Журналисты и опытные в вопросе люди скажут, что так было всегда. Но раньше, адаптация контента под пользователей происходила в прямом контакте между читателями и продюсерами. Теперь же, продюсеры контактируют не с пользователями, а алгоритмами. И уже они распределяют контент между пользователями, согласно своему тайному пониманию темы и аудитории.

Получается самовыполняющееся пророчество. Пользователи группируются алгоритмами в аудитории по критерию поведения и интересов. Им показывается определенный контент, и отфильтровывается тот, который алгоритм считает вредным для вовлеченности. Ну а создатели контента, с целью повысить популярность своего творчества, вслепую нащупывают алгоритмические понятия о прекрасном. И начинают производить таргетированный контент, который алгоритмы подхватывают на ура.

Я коллекционирую мемы про кликбейт, который тоже является попыткой оптимизировать алгоритмы.

Истории получаются едва не библейские. Например, книжный блогер 5 лет обозревает хорошую литературу и не получает ни гроша. А знаменитостью становится, как только начинает обозревать треш для подростков[11]. Без слез смотреть нельзя.

Ранее, контентные алгоритмы замечались в еще более грязной игре. Например, женщинам показывались их более успешные знакомые, потому что наблюдение за ними затягивает. Но психиатры обнаружили вредный эффект такого социального сравнения и забили тревогу[12], и Фейсбук лавочку прикрыл. Из-за похожего давления, Фейсбук в 2018 году перекрутил алгоритмы, уведя трафик рекомендаций от брендовых страниц к страницам реальных людей[13]. История, где Фейсбук вдруг осознает, как плохо он поступал, и перекраивает все алгоритмы, продолжается до сих пор.

Но до сих пор мне Фейсбук советует одних политиков, а моей маме других. Мой брат живет в совершенно ином Ютубе, чем я. Каждый может эмпирически увидеть существование контентных алгоритмов. И мы возвращаемся к основной теме чем же риторика кайроса так вредна?

Война воображаемых миров

Главная беда алгоритмических лент в том, что они приводят к сильному сужению разнообразия точек зрений, доступных человеку. В свою очередь, у нас есть встроенное когнитивное искажение, эвристика доступности, из-за которой события кажутся более вероятными, правдивыми или частыми, если легче вспоминаются. Соединение алгоритмической ленты и эвристики доступности создает ситуацию, где человек постепенно убеждается, что его картина мира является единственно возможной. Этот феномен стал известен как информационный пузырь, по-английски Filter Bubble[14].

Ученые считают алгоритмические пузыри причиной поляризации политических и социальных движений в последнее время например, в США[15]. Те же ненавидимые всеми в рунете SJW просто варятся Твиттером, Фейсбуком и Ютубом в сообществе согласных между собой людей. Оно существует по четким для них правилам, в нем происходят события по определенным сообществом причинам; это де-факто отдельный мир со своими физическими законами. И когда большой инфо-повод или ошибка алгоритма вкидывает к ним события из другого пузыря например, объективированных женщин с громадной грудью из пузыря геймеров SJW испытывают культурный шок.

Та самая политическая поляризация и радикализация в США. Источник с большими размерами и анимацией

Такой же шок, как если бы вдруг на улицах появились римляне и стали требовать эвокации доллара как бога в Пантеон. Так как мы теперь потребляем информацию и удовлетворяем любопытство не из окружения, а интернета, то разрушение пузыря это буквальное вторжение из другого мира. Оттуда радикализация между политическими партиями, потакание лутингу ради социальной справедливости, и прочие дикие для нас, но совершенно естественные для обитателей соседнего пузыря вещи.

И это работает во все стороны. Мы на Хабре непонятные пришельцы для мира открыток из Одноклассников. Когда Джавараш переводили свои курсы для англоязычной аудитории, англоязычные возмущались, что робот удивляется цветным волосам женщины[16]. А теперь и дня не проходит без вскрытия очередного информационного пузыря.Журнал Рабдно тому пример: если хотите увидеть, как выглядит культурный шок, покажите тимлиду из Москвы интервью с воспитателем детского сада, который питается объедками, или моряком, который неделями может ходить на горящем корабле.

Я лично считаю, что общество уже стало приспосабливаться к среде алгоритмов и создавать специфичные для проживания в информационных пузырях феномены. Например, канцелинг исключение из информационной повестки это имитация людьми работы информационных алгоритмов, стражей их мировоззренческого порядка.

Да, остракизм, изгнание из общества, существовал еще в Древних Афинах, и в них же считался смерти подобным[17]. Но редко когда остракизм ограничивался одним информационной повестки, как это случилось недавно с Трампом. Раньше, все же, предпочитали выдавливать из физической реальности.

В итоге, кайрос препятствует тем, кто прошел первый уровень квеста к критическому мышлению и поборол власть этоса. Когда точки зрения выдаются строго под момент, а их разнообразие дозировано, чтобы вы не удалились из Фейсбука, нельзя прийти к нестандартному выводу. Когда в Гугле сайты, на которых стоит больше всего обратных ссылок (читай: вложено больше денег), показываются выше других[18], нестандартные выводы даже не нагуглить.

И это если вам повезет понять, что ваша картина мира не соответствует действительности.

Вот мы и пришли к тому, что бытовой рациональности для хорошей жизни недостаточно. Доверять авторитетам и ссылаться на них это наше врожденное свойство. Но даже если удается начать мыслить критически и приступить к самому простому, сравнению точек зрения, в ногу стреляет намеренная узость информационного пузыря современного человека.

Выводы простые. Во-первых, как бы не было это больно, свобода мышления требует открытости к чужим мирам и мировоззрениям. Даже если чужие миры выглядят, как ад из Doom, а вы в том аду Думгай.

Во-вторых, стоит перехватить себе контроль над потребляемой информацией. Это сложнее: усилиями Гугла, RSS уже не так популярен, и мало где остались места, где хитрый робот не пытается сделать выбор для вас. Отказ от новостной ленты как лишенной практического смысла вещи, и подбор каналов, изданий и блогов под свои интересы и цели хороший шаг.

И главное: не забывайте о рациональности. Новости и информационные пузыри довели уже до того, что американские бедняки голосуют за Республиканцев, в большинстве своем крупных и наследственных богачей[19]. Действуйте в первую очередь в интересах своих и своей семьи. И только потом в интересах государства, народа, и прочих воображаемых персонажей.

Источники и комментарии к ним

Если вы впервые решили почитать научную литературу, вас могут порадовать цены от $35. Деньги, однако, достаются не ученым, а издателям. Совет от бывалых: ученые всего мира *покупают* статьи на SciHub и LibGen.

Ищите по DOI (обычно можно найти в URL или возле заголовка), или по URL.

[1]: Chudek, M et al. (2013). Culture-gene coevolution, large-scale cooperation, and the shaping of human social psychology. In K. Sterelny, R. Joyce, B. Calcott, & B. Fraser (Eds.), Life and mind: Philosophical issues in biology and psychology. Cooperation and its evolution (p. 425457).

[2]:What Research Tells Us About Making Accurate Predictions,* Harvard Business Review, 2015. Это краткий пересказ исследований Ф. Тетлока, оригинальная книга называется Expert Political Judgment.

[3]: Nofer M. (2015) Are Crowds on the Internet Wiser than Experts? In: The Value of Social Media for Predicting Stock Returns.

[4]:Lang et al. (2016). How Crowdsourcing Improves Prediction of Market-Oriented Outcomes. Journal of Business Research, 69:10, p. 4168-4176

[5]: VC.ru (2020).Джефф Безос рассказал о своих принципах принятия важных бизнес-решений. Из Invent and Wander: The Collected Writings of Jeff Bezos.

[6]: Kairos.Wikipedia.

[7]: Musson, A. (1958).Newspaper Printing in the Industrial Revolution. The Economic History Review, 10(3), 411.

[8]: Dietz, R. (2002).The estimation of neighborhood effects in the social sciences: An interdisciplinary approach. Social Science Research, 31(4), 539-575. Хорошая обзорная статья на тему того, что раньше думали социологи о соседях. Сейчас всё пишут об интернете и наркотиках, скукота.

[9]: DeVito, M. (2016).From Editors to Algorithms. Digital Journalism, 5(6), 753-773. Автор пытается деконструировать алгоритмы новостей Фейсбука по общедоступной информации. На мой вкус, с тех пор изменилось не так много.

[10]: Lee D. at al. (2014). The Effect of Social Media Marketing Content on Consumer Engagement: Evidence from Facebook. ISIS Conference. Кстати, интересный кейс использования Amazon Mechanical Turk для обработки большого массива комментов и сообщений.

[11]: Книжный чел. (2021). Энтони Юлай: плохие книги, будни книжного блогера. #74 на YouTube.

[12]: de Vries, D., & Khne, R. (2015). Facebook and self-perception: Individual susceptibility to negative social comparison on Facebook. Personality And Individual Differences, 86, 217-221.

[13]: Pleshakov D. (2018). Facebook feed update: what happened and what to do? Captain Growth Blog.

[14]: Filter Bubble. Wikipedia.

[15]: Molla R. (2020). Social media is making a bad political situation worse. Vox.com

[16]: Еленевич А. (2020). Как JavaRush запускали продукт в США: ошибки, которые не стоит повторять. VC.ru

[17]: Ostracism. Wikipedia.

[18]: Semrush. (2020). Ranking Factors Study 2.0. Интереснейшее чтиво о том, что на самом деле влияет на поисковую выдачу Гугла.

[19]: Barber, N., Ph.D, (2020, July 31). Why Do Many Poor People Vote Republican? Psychology Today.

[20]: MIT Technology Review (2020, April 3). How to make sense of all the information about coronavirus.

Подробнее..

Категории: Блог компании ruvds.com , Социальные сети и сообщества , Научно-популярное , Алгоритмы , Читальный зал , Психология , Социальные сети , Ruvds_статьи , Фейсбук снова гадит

Перевод Социальные сети управляют вами, но есть способы дать им отпор

25.09.2020 14:16:06 |

Автор: admin

Уроки от фильма Netflix Социальная дилемма.

Социальные сети делают вас другим человеком. Они меняют то, что вы делаете, меняют ход ваших мыслей и, в конечном итоге, меняют вас. И, кажется, это чуть страшнее, чем известный и давно обсуждаемый вопрос о защите конфиденциальных данных.

Документальный фильм Социальная дилемма от Netflix показывает, что проблема соцсетей в действительности гораздо глубже, чем может показаться. Через интервью с инженерами, участвовавшими в их создании, нам дают понять, что характерные особенности соцсетей, вызывающие привыкание, тщательно изучаются и с успехом применяются для того, чтобы заставить нас проводить на платформах еще больше времени. Каким образом? Все просто: алгоритмы, используемые в соцсетях, умеют создавать наши идеальные психологические портреты и постепенно изменять нас в собственных интересах.

Как говорит в Социальной дилемме Эдвард Тафти (Edward Tufte): Есть только две сферы деятельности, представители которых называют своих клиентов пользователями: торговля наркотиками и разработка программного обеспечения. Социальные платформы предлагают свои услуги бесплатно, поэтому мы думаем, что продукт, который они продают это наше внимание, и если сервис бесплатный, то вы и есть продукт. Однако, этим дело не ограничивается.

Это постепенное, легкое, незаметное изменение в вашем собственном поведении и восприятии. Именно это и есть единственная вещь, на которой они могут зарабатывать деньги: изменение того, что вы делаете, как вы думаете, изменение вашей личности.

Социальная Дилемма

Так, собственно, в чем проблема?

Социальная дилемма называет три главных повода для беспокойства.

Психическое здоровье

Исследование, в котором поучаствовали 5000 человек, показало, чем чаще люди используют социальные сети, тем хуже они оценивают состояние собственного физического и психического здоровья и тем ниже их удовлетворенность жизнью

Американский журнал эпидемиологии (American Journal of Epidemiology), 2017

Большинство инженеров, работающих в известных технологических гигантах, посещали университетские курсы, где учились использовать основы человеческой психологии с целью манипуляции нами для достижения своих собственных целей. Социальные сети успешно играют на глубинных проявлениях человеческой природы, как бы мы ни пытались этому сопротивляться. Они соблазняет вас. Они манипулирует вами. Они хотят от вас многого, говорит Тристан Харрис (Tristan Harris), бывший специалист Google по этике дизайна и соучредитель Центра гуманных технологий.

Тим Кендалл (Tim Kendall), бывший исполнительный директор Facebook и Pinterest, делится: Думаю, в этом есть некая классическая ирония. Целый день я работаю над созданием чего-то такого, чьим заложником стану сам. И в некоторые моменты я ничего не смогу с собой поделать.

Психологические манипуляции вызывают особую тревогу о представителях более молодых поколений. Современные дети рождаются в мире, управляемом технологиями, который им просто не с чем сравнить.

Мы создали целое поколение людей, выросших в среде, где главной целью общения, главной целью всей культуры, является манипуляция, говорит в фильме писатель Джарон Ланье (Jaron Lanier).

Цена которую мы платим высока. Всё это оказывает огромное влияние на психическое здоровье детей, приводя к росту числа самоубийств и проявлений членовредительства среди подростков.

Демократия

Количество стран, проводящих политические дезинформационные кампании в соцсетях, удвоилось за последние два года

Социальная Дилемма

Неожиданный поворот: социальные сети увеличивают дистанцию между людьми. Идеологическую дистанцию. В фильме рассказывается о том, что разрыв во взглядах сторонников Республиканской и Демократической партий с каждым годом увеличивается, и с каждым годом остается все меньше пространства для взаимопонимания и конструктивного диалога.

Этот феномен один из симптомов болезни, которой больны мы все, и ее страшным последствием может стать угроза демократии. Но эта угроза не является результатом взлома нас какими-то идеологическими группами. Эти группы просто используют имеющиеся в их распоряжении инструменты. Профессор Гарвардской школы бизнеса указывает на простую, но шокирующую правду о российском влиянии на выборы в США в 2016 году: Русские не взламывали Facebook. Они использовали инструменты, которые Facebook специально создал для добросовестных рекламодателей.

Дискриминация

Алгоритмы продвигают контент, который вызывает возмущение, разжигает ненависть и усиливает предубеждения, живущие в информации, которую мы же им даем

Социальная Дилемма

Социальные сети разрушают понятие истины. Вместо того, чтобы жить в едином мире, каждый из нас проводит дни в своем собственном, специально созданном мире даже не осознавая этого. У новостных лент есть пугающий эффект в них мы подтверждаем свои собственные взгляды на жизнь снова и снова, и это отдаляет нас от реальности.

Конечная цель технологических компаний 'определять аудиторию из одного человека' и извлекать максимум данных о каждом пользователе", говорит Тристан Харрис. "Это отправляет каждого человека в свою собственную кроличью нору", или, как говорит режиссер фильма Джефф Орловски (Jeff Orlowski): "2,7 миллиарда "Шоу Трумэна", работающих одновременно.

Как следствие, мы видим, например, активизацию движения сторонников плоской Земли. Все благодаря алгоритму Youtube, который продолжает подбрасывать людям контент, совпадающий с их видением мира, даже если оно не соответствует действительности.

Проще всего думать, что это действует на нескольких не очень умных и легко внушаемых людей, предупреждает Гийом Шасло (Guillaume Chaslot), инженер, создавший алгоритм Youtube, но алгоритм с каждым днём становится всё умнее и умнее. Сегодня он убедит кого-то, что Земля плоская, а завтра он сможет убедить в чём-то и вас.

Что можете сделать вы как личность

Первый совет дает сайт Социальной дилеммы голосом Тима Кендалла (Tim Kendall).

Проанализируйте время, проводимое перед экраном
- Оцените свой уровень цифровой активности: вы не будете мотивированы на решение проблемы, если у вас нет её полноценного осознания. Это исследование показывает, что среднестатистический человек ежедневно проводит перед экраном телефона примерно 4 часа. При этом, отвечая на вопрос о продолжительности пребывания перед экраном, эти же люди будут утверждать что провели там не более половины этого времени. Вы можете проконтролировать себя с помощью установки на телефон отслеживающих активность приложений (тайм-трекеров), которые сообщат вам сколько времени вы проводите перед телефоном и какие приложения используете. Два неплохих варианта: StayFree и YourHour.
- Отключите уведомления: они отвлекают вас, держат в постоянном желании их проверить и в течение всего дня притягивают вас к телефону. Особое беспокойство вызывает факт, что среднестатистический пользователь получает 63 уведомления в день. Это означает, что если вы бодрствуете в течение 16 часов, то получаете уведомление каждые 15 минут.
- Установите ограничения: воспользуйтесь еще одной полезной функцией тайм-трекеров, определите для себя дневные лимиты на использование конкретных приложений, в особенности, соцсетей и новостных ресурсов. Кроме этого можно установить для себя временные (например, не использовать телефон после 9 вечера) или территориальные (не брать телефон в спальню) ограничения.
Наведите порядок в лентах новостей

Социальные сети постоянно кормят нас невероятным количеством информации, сражаясь за наше внимания. Потратьте немного времени и пересмотрите аккаунты, которые вы отслеживаете. Все ли они все еще актуальны для вас?

Стив Бартлетт (Steve Bartlett), генеральный директор Social Chain одного из крупнейших агентств по продвижению в соцсетях, подчеркивает важность гигиены новостных лент: Ваша лента это ваша библиотека, и, даже если вы этого не осознаете, она управляет тем, что вы знаете, думаете или чувствуете. Старайтесь становиться фолловерами тех, кто просвещает, вдохновляет и мотивирует. Откажитесь от чтения записей негативных, мелочных и демотивирующих людей.
Выбирайте видео на Youtube

Одна их ключевых рекомендаций, озвученных в Социальной дилемме, это получение контроля над контентом, который мы видим. Именно мы должны его выбирать. Самый простой способ это сделать последовать совету Жарона Ланье (Jaron Lanier): прекратите кликать на видео, которые предлагает вам Youtube.
Проверяйте факты

Существует исследование, проведенное в Массачусетском технологическом институте (MIT), которое показывает, что фейковые новости распространяются в Твиттере в 6 раз быстрее, чем правдивые. Количество фейковых новостей в лентах соцсетей просто зашкаливает.

Одна из первых вещей, которой учат будущих журналистов в университетах: всегда проверяйте дважды, даже если источник информации ваша мама. Не доверяйте своей маме. И тем более, не доверяйте лентам новостей.
Поделитесь фильмом с другими

Фильм заканчивается шуткой Следите за нами в социальных сетях. Шутка. Но, честно говоря, возможно, вам все же стоит написать пару слов о Социальной дилемме на своих страницах и рассказать лично своей семье и друзьям. Вместе мы сможем сделать несколько шагов навстречу лучшему миру. Примерно так, как описано в следующем разделе.

Что можем сделать мы как общество

Присоединиться к движению за гуманные технологии

Это движение создали Тристан Харрис (Tristan Harris), Аза Раскин (Aza Raskin) и Рэнди Фернандо (Randy Fernando), те, кто принимал участие в съемках Социальной дилеммы. Оно посвящено "созданию условий для радикально переосмысленной цифровой инфраструктуры 21 века, которая поддерживает благосостояние людей, наши отношения, демократию и единую информационную среду.

Можете использовать их ресурсы для того, чтобы оставаться в теме. Кроме этого можно прослушать несколько тематических курсов.
Бороться с политической дезинформацией

Плагин Ad Observer был создан как часть проекта Политическая Прозрачность в Интернете (Online Political Transparency) в университете Нью-Йорка (New York University). По заявлению проекта, онлайн-рекламу обычно видит только та аудитория, на которую нацелен рекламодатель, после чего эта реклама исчезает. Это затрудняет общественный контроль за такой рекламой и привлечение к ответственности рекламодателей, в том числе политических групп.

Установив данный плагин в свой браузер, вы внесете вклад в предоставление информации исследователям, поможете им разоблачать методы микротаргетинга, а также привлекать политических рекламодателей к ответственности.

Выводы

Не следует воспринимать эту информацию как предупреждение о конце света и полностью отключаться от сети. Что вам действительно нужно сделать, так это быть бдительными, развивать критическое мышление и начать предпринимать личные и коллективные действия по изменению ландшафта социальных сетей. Активно высказывайте свое мнение, не будьте пассивной пешкой, которую технологические гиганты используют как свой продукт.

С технологиями и социальными сетями не всё так уж плохо. Они все также дают возможность сокращать дистанцию между людьми, объединять их и распространять сообщения, которые могут помочь сделать мир лучше.

Джастин Розенштейн (Justin Rosenstein), один из разработчиков кнопки нравится в Facebook, говорит в фильме: Когда мы делали кнопку "нравится", наша мотивация была такая: Можем ли мы распространять позитив и любовь в мире? Мы не думали о том, что подростки будут впадать в депрессию, когда им ставят мало лайков, или что это может привести к политической поляризации.

Надежда есть. Но нам нужно перестать быть такими безразличными ко всей этой ситуации. Легче думать, что у вас нет абсолютно никакой силы противостоять технологическим гигантам. И если все будут так думать, это станет правдой. Но если мы объединимся в этой борьбе, то у нас есть шанс. Мы можем требовать, чтобы социальные сети разрабатывались исходя из принципов гуманизма, говорит Харрис. "Мы их создали, и мы должны взять на себя ответственность за то, чтобы они изменились.

О переводчике

Перевод статьи выполнен в Alconost.

Alconost занимается локализацией игр приложений и сайтов на 70 языков. Переводчики-носители языка, лингвистическое тестирование, облачная платформа с API, непрерывная локализация, менеджеры проектов 24/7, любые форматы строковых ресурсов.

Мы также делаем рекламные и обучающие видеоролики для сайтов, продающие, имиджевые, рекламные, обучающие, тизеры, эксплейнеры, трейлеры для Google Play и App Store.

Подробнее..

Категории: Информационная безопасность , Социальные сети и сообщества , Научно-популярное , Лайфхаки для гиков , Блог компании alconost , Alconost , Социальные сети , Здоровье , Социальная инженерия , Психология влияния , Социальная дилемма , Социальная психология , Психология убеждения

Настройки приватности Facebook VS OSINT

02.12.2020 16:10:54 |

Автор: admin

Уже достаточно много статей я разбирал OSINT и поиск в соцсетях с помощью Maltego. Сегодня же давайте поговорим о настройках приватности в их аккаунтах.

Когда-то я уже выказывал свое негодование относительно ситуации с настройками приватности в Одноклассниках. К слову, с того времени ситуация немножко изменилась в лучшую сторону, однако за полный контроль над приватностью своего профиля с вас все еще требуют деньги

Ну да и ладно бы с Одноклассниками. Куда интереснее проверить как обстоят дела с настройками конфиденциальности в самой большой социальной сети в мире. В Facebook.

В меню нам доступны следующие категории:

В эти категории внесены основные настройки приватности. Другие же не так очевидны и могут быть скорректированы отдельно для каждого пункта: места работы, учебы, семейного положения

Например, вы указали несколько мест работы и можете каждому из них задать видимость для отдельной категории пользователей соцсети. Однако если в дело вмешивается еще один пользователь, то тут не все так просто.

Допустим, Олег и Алена женаты, но Олег запретил Facebook показывать этот факт (нехороший такой Олег). При этом, Алена в настройках приватности данный пункт не скрывала, значит через ее профиль мы можем узнать, что Алена и Олег женаты.

Всю общедоступную информацию со страницы пользователя мы можем выгрузить на граф Maltego с помощью трансформа из состава пакета Social Links: [Facebook] Get User Details.
Для всех фото, постов и видео в хронике публикаций можно настроить отдельную видимость для всех или только для определенной категории пользователей.

Также можно отдельно настроить видимость списка друзей и подписок. А вот тут у нас есть несколько интересных опций: Настройки Конфиденциальность. Пройдемся по тем, которые могут существенно подпортить нам жизнь при проведении OSINT.

Кто сможет видеть ваши будущие публикации определяет, какое значение будет выставлено по умолчанию для каждого нового поста. Позволяет избежать случайной публикации поста с неверными настройками приватности. По умолчанию выставлено на Доступно всем.

Кто может посмотреть список ваших друзей а вот это уже важная настройка. Как писал Сервантес, а до него Еврипид: Скажи мне, кто твой друг и я скажу кто ты. По умолчанию данная настройка установлена на Доступно всем.

Однако, даже если установлено иное значение, то мы все равно можем кое-что узнать. Как? спросите вы. Ну, тут как обычно замешаны другие люди, точнее люди, которые есть у вас в друзьях, но при этом пренебрегают данной настройкой приватности.

Используя Entitie: Facebook Mutual Friends, мы можем получить список общих друзей между 2-мя аккаунтами. Для получения более полного списка друзей повторяем процедуру с результатами, полученными из первого запроса. Это, конечно, не так хорошо, как было бы с открытым списком, но лучше, чем ничего.

Еще одним интересным для нас разделом настроек является: Настройки Хроника и метки.

Кто может размещать публикации в вашей хронике? тут нам доступно всего 2 варианта Друзья и Только я. На видимость постов не влияет, едем дальше.

Кто может видеть, что публикуют другие в вашей хронике а вот это уже более интересная настройка, так как она напрямую влияет на видимость постов других людей в Вашей хронике. Значение по умолчанию Друзья. Если его сменить на Все, то таким образом посты ваших друзей у вас в хронике, например, поздравления с днем рождения, будут видны третьим лицам, что, как минимум, компрометирует ваш френдлист и дает нам поле для маневра методикой, описанной выше.

Разрешить другим людям делиться вашими публикациями в их историях дает возможность другим людям репостить ваши посты в своих историях.

Опция, кстати, по всей видимости сломана наглухо, потому что во время проверки мною, на момент написания статьи, возможность репоста записи все еще сохранялась даже при выключенной настройке. Возможно, на момент прочтения вами статьи эту опцию, наконец, починили.

Скройте из своей хроники комментарии с определенными словами Позволяет настроить встроенный спам-фильтр под ваш вкус. Можно даже загрузить CSV-файл со всеми неприемлемыми для вас словами. На тест я взял слово коронавирус, потому что заколебал он уже!

Оставляем 2 комментария под постом. Один простой, другой со стоп-словом.

Сам владелец страницы не видит текст комментария 2, однако видит, что комментарий в целом есть.

А вот если мы посмотри от третьего стороннего аккаунта, то мы не увидим комментарий 2 со стоп-словом вовсе.

Как итог, Maltego не может выгружать комментарии, которые попали под спам-фильтр.

Кто может видеть публикации, в которых вы отмечены, в вашей хронике если кто-то отмечает вас на фото, то пост с фото автоматически появляется в вашей хронике. Данный параметр позволяет контролировать, кто будет видеть данные посты по умолчанию (это Друзья друзей). Для поиска подобных постов в открытом доступе используется Transform: [Facebook] Posts Tagged.

Кто может видеть публикации, в которых вы отмечены значение по умолчанию Друзья. Дает возможность видеть вашим друзьям посты, на которых вас отметили, даже если изначально они не входят в аудиторию, которая может просматривать данный пост. Эта настройка не влияет на видимость постов.

Проверять метки, которые люди добавляют в ваши публикации, перед их размещением на Facebook интересная настройка почему-то по умолчанию установлена как Выключено. Это значит, что другие пользователи могут отмечать на ваших фото других людей без подтверждения с вашей стороны. Однако это касается только друзей. Сторонние аккаунты все же будут ждать одобрения с вашей стороны при установке метки.

Выводы

Несмотря на то, что Facebook имеет очень много настроек приватности, оказалось, что информация не всегда может быть скрыта на 100%. Большая часть настроек по умолчанию выставлена на Доступно всем, что тоже не повышает вашу безопасность.

Вне зависимости от того, какой соцсетью вы любите пользоваться, уделите время и ознакомьтесь, как работают ее настройки приватности. В современном мире, к сожалению, лучше не оставлять лишнего в публичном доступе.

Каждому есть, что скрывать. И помните: существует информация, которую лично вы не знаете, как использовать, а вот НЕВАЖНОЙ информации не существует, особенно, если дело касается вашей личности.

Кстати, в Телеграм-канале Тома Хантера как раз рассказываем, как даже не соцсети, а вполне сее домашние предметы и технологии могут собирать информацию о вас и пользоваться ею без вашего ведома.

До новых встреч!

Подробнее..

Категории: Информационная безопасность , Социальные сети и сообщества , Безопасность , Security , Facebook , Социальные сети , Блог компании t.hunter , Cybersecurity , Social media , Osint , Информационные технологии , Maltego t.hunter

ASocial полностью распределенная социальная сеть

08.02.2021 00:09:10 |

Автор: admin

Здравствуй, дорогой Хабравчанин!

aSocial icon

В свете последних событий идея о распределенной социальной сети вновь зохватывает разум, так что я хочу пригласить тебя к осмыслению ниже представленных идей, а коли они придутся по душе - буду рад отклику или, чем наука не шутит, даже кооперации :)

Если предпочитаешь "кажи код, а потом поговорим" - то вот: https://github.com/state-of-the-art/aSocial

aSocial, share your data only with the ones you trust the most.

Rough Summary

Современный мир представляет собой набор централизованных социальных сетей и мессенджеров, которые рады владеть вашей социальной информацией без каких-либо ограничений на ее фактическое использование. Данный проект создан, чтобы исправить неприятные проблемы централизации хранения важной информации, бороться с цензурой, упростить общение и взаимодействие людей, а также защитить его от посягательств извне.

Main screen basis

aSocial - распределенная, приватная и защищенная социальная сеть для тех, кому не безразлична свобода коммуникаций и полный контроль за своей социальной информацией. Она позволит взаимодействовать используя защищенные каналы связи, хранить вашу память о поколениях на подконтрольных устройствах, бороться с бесполезной информацией посредством платы за ее прием, упростит поиск новых знакомств и откроет возможности для построения надежных и защищенных социальных приложений.

Естественно, исходный код будет полностью открыт для общества - в наше время невозможно доверять закрытым продуктам и закрытым алгоритмам, при помощи которых они обращаются с нашими данными. Платформа будет построена на базе p2p технологий связи, в которых отсутствует центральный сервер - что поднимает безопасность и цензуроустойчивость на недосягаемый для современных систем взаимодействия уровень. Она откроет возможность для монетизации информации при помощи Bitcoin & Lightning сетей, откроет дорогу для упрощения интерфейсов, уберет сложности и волнения при распространении контента, унифицирует и защитит хранение и обработку социальной информации, позволит гибко взаимодействовать с историей - в общем даст полный контроль над тем что, как и когда происходило, происходит и будет происходить в вашей жизни, жизни ваших друзей, родных и других социальных агентов.

1. Project Overview

1.1. Purpose

Основная цель проекта - создать распределенную и безопасную платформу для взаимодействия пользователей в любых формах без ограничений.

Свобода и приватность взаимодействия - это высшее благо, к которому следует стремиться и оно не может подвергаться никаким ограничениям. Даже если это общение может казаться кому-то вредным - это лишь частное суждение и каждый волен сам выбирать свою судьбу в связи с кругом своего общения.

Система также должна быть достаточно защищенной чтобы также обеспечить возможность отрицания взаимодействия, так как это личный выбор личности - раскрывать или нет любую личную информацию, так как мы живем в неидеальном мире, в котором множество угроз зависят от полученной преступниками информации.

1.2. Scope

В целом aSocial должна стать самой распространенной системой для взаимодействия и хранения социальной информации, разрушив барьеры между людьми и упростив коммуникации и обработку подобных данных, в том числе освободив общество от излишней централизации.

1.3. Core features

Для того, чтобы построить хорошую социальную систему - нужно подумать об основных моментах, в которые можно включить:

Модульность - можно добавить, или выкинуть не важные компоненты системы (UI - нативный, WEB, консольный) или заменить на аналоги важные (базы данных, например). Это позволит применять систему на серверах или носимых устройствах при соблюдении заданных условий по безопасности и отзывчивости.
История - не только возможность создавать элементы (события, агентов) в нужные моменты времени, но также наблюдать за их изменениями во времени. Например, изменение фамилии у вашего друга - важная информация, в т.ч. возможность поглядеть, как оно было до изменения - не менее важно.
- Сквозная история изменений с возможностью перемотки
- Timeline - удобный показ событий и областей жизни (жил/работал) для агентов.
- Группировка и тегирование изменений
Персоны - в основном профили людей или лиц, с которыми мы взаимодействуем в обществе. Могут не иметь профиля, но существовать как ваша (или коллективная) память о них. Вы можете оставить ваше видение о любой персоне.
- Профиль может иметь несколько персон для разных задач, например Друзья, Работа, Отношения и любые другие. Для них генерируется отдельный адрес и они используются как начальная точка для коммуникаций.
- Каждая персона содержит пару ключей и генерирует приглашающие ключи для связи с другими персонами. Таким образом формируется дерево связей и с ним можно работать как в форме листьев, так и в форме веток или целого дерева.
События - то, что происходит, обычно имеет начало и иногда конец, как текущее место жительства, работа, учеба, вечеринка или когда вы нашли что-то важное.
Сообщения - как общение с другими агентами, так и запрос обновлений профиля (которые происходят в основном в бекграунде).
- Привязаны к монетизации для решения проблемы спама
- Дерево тредов с возможностью переноса сообщений
- Название / описание / теги веток
- Простой импорт из других мессенджеров / соцсетей
- Запрос обновления (новостей из СМИ, например)
Оверлеи - возможность иметь свой взгляд на любую информацию. Могут быть защищенными (паролем) или незащищенными, опциональны (включаются и отключаются по необходимости) и связаны с определенными базовыми объектами или создающие новые объекты. Например вы можете добавить друга в свою сеть, даже если у него нет профиля и позже, если он добавляется - прилинковать его профиль. Или в оверлее можете изменить его имя на альтернативное.
Синхронизация - вы владеете несколькими устройствами и эти устройства могут синхронизировать профили между друг другом и выполнять разные роли, например вы можете шарить свою любимую коллекцию фильмов с десктопа, но при этом не иметь их на телефоне.
Шаринг - нужен для передачи мультимедиа и других файлов. Использует bittorrent для приема и отдачи.

1.4. Additional features

На базе основных возможностей строится (или даже следует) дополнительный функционал:

Древо жизни - у каждого из нас есть история поколений, которую мы хотим передать дальше нашим детям, так почему бы не в той же самой социальной сети? Это удобное отображение родственных связей между персонами.
Завещания - разновидность хранимых сообщений и возможность задать условия для активации их отсылки или уничтожения. Бесплатно на подконтрольных устройствах и платно на релеях. Например отсутствие онлайн в течении месяца триггерит рассылку этих сообщений.
Контракты - сообщения, в которых вы договариваетесь об определенных обязательствах. Эти обязательства подписываются обеими сторонами, могут блокировать определенные средства на определенный срок и т.п.
Веб-интерфейс - модуль, при помощи которого вы можете получить доступ к своему профилю удаленно при помощи HTTP, вам лишь нужно запустить приложение, включить модуль в настройках и открыть в браузере нужный хост и порт.
Консенсус - дополнение к групповым чатам, чтобы быстро решать вопросы согласования с группой людей. Если человек согласен с предложением, то добавляется один голос. Если нет - он открывает дискуссию чтобы найти компромисс среди всех участников. Решение принимается как только каждый член группы согласен.

2. Obstacles

2.1. General

Разработка aSocial вызовет следующие проблемы:

Скорее всего будет слишком сложна в одиночку - можно упустить важные моменты и просчитаться в основных идеях, поэтому необходим peer-review и обсуждение концептов на ранних этапах построения системы. Для этого и существует данный документ - чтобы погрузить потенциальных соратников в проблему и выявить упущенные моменты чтобы в дальнейшем продолжить взаимодействие и совместно довести систему до готового состояния.

Принятие новой социальной сети пользователями столкнется с очевидными проблемами:

Подозрительность пользователей - все новое естественно вызывает вопросы, особенно такое количество новшеств. Опять-же открытость проекта сможет в общих чертах решить вопрос подозрительности - но наверняка придется приложить дополнительные усилия, чтобы показать и рассказать.
Противодействие политиков - они постараются ставить палки в колеса из-за консервативности и сложности управления нецентрализованной системой. Также лоббирование больших корпораций (Facebook) возможно окажет влияние на общее развитие. Путь биткоина в данном плане представляется разумным - пользователи выберут более удобную систему не смотря ни на что.
Противодействие спецслужб - они всегда хотят залезть в коммуникации пользователей под видом борьбы с терроризмом, что очевидная чушь. Попытаются встроить бэкдоры под видом полезных функций, но думаю что открытый характер платформы, аудит сообщества и отсутствие централизованного управления нивелирует подобный риск до минимума.

2.2. Technical

Подобные распределенные системы требуют особой тщательности в проработке протокола взаимодействия - так как изменить его будет довольно проблематично.

3. Industry and Market risks

Социальные сети и мессенджеры (на эти области и ориентируется данная разработка), так что выход на рынок первоначально базируется на заинтересованных лицах (гики, программисты, безопасники), откуда вполне может распространиться дальше при наличие удобных средств для взаимодействия.

4. Hardware

Целевые платформы для запуска приложения:

Android - большинство телефонов и носимых устройств в мире
Linux - опенсорс и все сервера в интернете
Windows - все еще большинство рабочих станций и хомяков
MacOSX - рабочие системы с UI, постепенно вытесняет Windows
iPhone - возможно, но скорее всего в последнюю очередь ввиду сложности экосистемы.

Отдельного железа не потребуется, но необходимо будет учитывать батарею и возможности для связи между устройствами.

5. Software

Architecture

Как основная платформа используется Qt5 с дополнениями для каждой платформы, приложение делится на два модуля - backend и frontend:

Backend

Занимается фоновой активностью - взаимодействует с устройствами поблизости и через интернет, передает и принимает данные с других устройств (например, чужие зашифрованные сообщения для дальнейшей передачи), получает обновления. Хранит промежуточные данные в LevelDB.

Frontend

Интерфейс пользователя для управления профилями. Основное хранилище - SqlCipher.

Storage

Для хранения используется пара локальных баз данных - встроенное незашифрованное nosql хранилище LevelDB, необходимое для поддержание работоспособности сервиса передачи данных и шифрованное sql хранилище SqlCipher (надстройка над sqlite3) для хранения данных профилей.

LevelDB

Позволяет хранить key-value данные, которые не представляют ценности для потенциальной атаки - это списки соединений, зашифрованные relay-данные В общем те данные, которые необходимы для взаимодействия систем в спящем режиме. Также хранит зашифрованные паролем ключи от доступных профилей.

SqlCipher

Зашифрованная база данных для хранения важной информации о профиле. Расшифровывается кусками по необходимости при помощи длинного ключа.

File Storage

Описанные базы данных хранятся на локальной файловой системе.

Обычные файлы и медиа хранятся не зашифровано на файловой системе. Отдельные фото/видео могут быть зашифрованы прямо на файловом уровне при необходимости и будут доступны исключительно из aSocial, так как все известные ОС не поддерживает механизмы дешифровки на файловом уровне.

Communication

Профиль представляет собой набор данных, зашифрованных криптографическим ключом, зашифрованным паролем.

При инициализации соединения с другими профилем (социальным агентом), создается уникальный ключ для коммуникации - т.е. любая связь с внешним миром осуществляется по уникальной паре ключей, чтобы предотвратить проблемы повторного использования одного и того же ключа. Этот ключ может использоваться исключительно тем, кто его получил. В профиль также можно подключить дополнительные ключи (или сгенерировать их) - они могут быть использованы для инициализации новых соединений, распространения своего профиля или приема донатов/единичных сообщений.

Попытка найти других людей - это в любом случае публикация информации, но совсем необязательно той, что размещена в вашем профиле: вы можете создать отдельный слой в который можно добавить информацию по вкусу для того, чтобы другие люди смогли найти вас.

При коммуникации используются любые доступные средства - Internet, Mesh, WiFi-direct, Bluetooth, NFC, USB-dongle В качестве протокола взаимодействия нужно осмотреть доступные опенсорс библиотеки для мессенджеров. Они уже поддерживают e2e шифрование, чаты, NAT-traversal и могут быть полезны на начальном этапе.

Security

Безопасность - это отправная точка этого проекта. Она заключается не только в шифровании, но и уверенности в полном контроле за принадлежащей вам информации. Любые разрешения на выдачу информации вовне полностью контролируются пользователем используя фильтры и уровни секретности (реализованные как дополнительные оверлеи/слои), которые переключаются при помощи различных паролей и шифруются различными ключами.

Считаю, каждый хочет казаться другим людям намного лучше, чем он есть - и мы видим, что профили в социальных сетях в основном вычурно идеальные. Но современные социальные сети в основном забывают, что есть и те самые настоящие люди за красивой картинкой, которые не имеют возможности хранить свои данные где-то кроме своей головы. aSocial улучшит эту систему и позволит хранить и делиться с определенными людьми даже сокровенной и секретной информацией.

Таким образом aSocial позволяет создавать разные публичные личности или различные лица могут быть реализованы при помощи разных профилей, которые могут сосуществовать на одном устройстве. Базовый уровень профиля - это ваша публичная личность.

При создании профиля для оверлеев инициализируется зашифрованное пространство случайного размера. Это пространство используется для размещения более секретной информации по луковичному принципу (каждый последующий уровень можно открыть из предыдущего при помощи уникального пароля). Таким образом любой пользователь может отрицать само наличие дополнительных уровней.

Изначально платформа поддерживает полное шифрование трафика, сквозное шифрование сообщений, возможность правдоподобного отрицания любых действий или наличия профиля вовсе. Встроенная возможно выбрать систему шифрования в зависимости от секретности сообщения:

Обычное - стойкое и компактное, можно выбрать разные типы. Размер - сжатое оригинальное сообщение.
Двусмысленное - возможность в едином сообщении послать два разных сообщения, которые могут быть выбраны в зависимости от указанного ключа. Зашифрованные сообщения перемешиваются и алгоритм выборки зависит от данных в ключе.
Перемешанное со случайным сообщением - разновидность двусмысленного, необходимая для того, чтобы помочь другим людям с двусмысленным шифрованием. Второй ключ не раскрывается, а данные для второго сообщения генерируются случайно. Размер - ~2x сжатое оригинальное сообщение. Применяется по умолчанию для улучшения безопасности всей системы.
Вероятностное - очень большой размер сообщения, просто как дополнительная опция для гиков - они гики и знают для чего его использовать)

(двусмысленное шифрование, перемешанное с мусором или вероятностное шифрование, которое подразумевает повышенную плату за сообщение из-за его увеличенного размера).

Spam, Ad & Monetization

Необходимость включения платежной системы в социальную сеть диктуется современными реалиями. Во-первых это позволяет бороться со спамом и рекламой, во-вторых это возможность создать новую платформу для монетизации информации и ее распространения.

Основная проблема спама и рекламы - это отвлечение внимания, они буквально пожирают наше время, тем самым мы платим нашим самым дорогим ресурсом за чужой и в основном бесполезное для большинства продвижение продукта. Вспомните приходящие СМС в сетях GSM - они отвлекают, реклама в интернете - безумно отвлекает. Исходя из этого мы должны бороться с подобными вредными явлениями, а лучшее средство борьбы - это увеличение платы за показ сообщения. Таким образом у пользователя появляется возможность ограничить круг лиц, при том не полностью блокируя сообщения извне.

В aSocial вы можете установить плату на прием сообщения нескольких уровней в зависимости от значения частоты общения. Т.е. вы получите плату и после этого сообщение появляется, если плата меньше минимальной - игнорируется. В зависимости от уровня оплаты выбирается важность сообщения:

Минимальная - появление сообщения в списке сообщений, нет нотификации пользователя. Применяется для последующих сообщений активного разговора.
Средняя - доп к минимальной - нормальная всплывающее окошко с оповещением о приходе сообщения. Применяется по умолчанию для первого сообщения нового разговора или для продолжения разговора через продолжительное время.
Повышенная - важные сообщения с особым всплывающим окном и продолжительной нотификацией, которая не прекращается, пока сообщение не будет прочитано.

Оплата зависит от размера сообщения - большее сообщение займет больше времени на прочтение.

Оплату может требовать и запрос (обновление) информации - например, публичный деятель или СМИ может требовать плату за получение публичной информации о нем/последних новостях.

Используемая технология - Bitcoin (как сеть Lightning). При добавлении нового контакта вы настраиваете новый Lightning канал для обмена средствами - и они пересылаются туда-обратно при обмене сообщениями. Вначале вы получаете сообщение и идентификатор транзакции, отправленной в сеть биткоина для инициации lightning-канала микротранзакций. Вы его получаете (при достаточности пересланных средств) и продолжаете общение по открытому lightning-каналу или закрываете его и забираете полученные средства. По-сути сообщения пересылаются вместе с контрактом на пересылку платежа, так что перед тем, как вас отвлечь - aSocial проверит достоверность транзакции.

При использовании релеев (пересылка и временное хранение сообщения - например из-за недоступности прямой связи с получателем) вы дополнительно оплачиваете прием и хранение до пересылки оператору релея. В меш-сетях (на базе bluetooth/wifi и прочих систем ближней связи) пользователи также могут брать небольшую плату за пересылку/хранение сообщения - но по умолчанию подобная взаимосвязь бесплатна, но регулируется размером кэша, бюджетом на активность приложения и зарядом устройства (чтобы регулировать расход батареи и прочих ресурсов).

Например, вы известный на весь мир создатель ядра Linux, ваше время безумно дорого - и вы вправе установить плату за входящие сообщения: для близких друзей, с которыми вы часто общаетесь - плата может быть близка к нулю, для внешних неизвестных - плата устанавливается в зависимости от вашего ЧСВ.

Хороший ориентир стоимости - это ваша почасовая зарплата (отвлечение внимания на час) умноженная на 2..4 (так как это личное время). При цене 1BTC=$9400 и вашей почасовой оплате $20 - стоимость сообщения от незнакомца ~$40-$60 (~500тыс сатоши) видиться вполне разумной. Я бы прочитал спам-сообщение за 60$ - вообще не вопрос ;)

7. Predecessors

В мире уже создано немало социальных сетей и мессенджеров с разной степенью защищенности, децентрализации, удобства - так что необходимо понимать на каком фундаменте начинается эта разработка. Упомянем несколько основных вех в развитии:

Centralized

IRC/ICQ/Jabber

Началось все с IM и чатиков, так как люди хотели общаться. Они позволяют обмениваться сообщениями, ссылками, участвовать в обсуждениях и хранить историю, но очень ограничены в переносе своего Я в виртуальное пространство, т.е. не подходят для хранения социальной информации. Имеют свою базу данных пользователей и в основном централизованы или федеративны.

Facebook/Вконтакте

Первые популярные социальные сети в полном значении этого слова. Выделялись удобством использования и отсутствием отдельного клиента (WEB-интерфейс). Позволяли более-менее удобно искать одноклассников и друзей (позволяли создать профиль с хорошим жизнеописанием), а также делиться с ними контентом в форме стены на вашей личной странице - чем и снискали огромную популярность у пользователей.

Их основной проблемой оказалась централизация - это огромный горшочек с медом (как и любая более-менее крупная база данных), привлекающий инсайдеров и хакеров. Также не поддерживают p2p шифрования, пропитаны рекламой и продающие/раздающие вашу информацию направо и налево. Думаю, сегодня уже очевидно, что доверять свою информацию бесплатно - не только бесполезно но и вредно. Выгода для конечного пользователя мизерна, а получаемый урон (от рекламы, утечек, ошибок, блокировок, цензуры) гораздо больше.

Twitter/Instagram/Youtube

Узкоспециализированные централизованные социальные сети, которые переняли все недостатки своих старших братьев.

Skype/WhatsApp/Telegram/Signal/Wire/Slack

Активные и довольно неплохо справляющиеся со своей работой мессенджеры, которые в основном нацелены не некоторое подобие приватности, хотя все еще централизованы по своей сути и сосредоточены на не хранении секретной информации (секретные чаты), что в целом нивелирует их полезность.

Distributed

К сожалению большинство распределенных социальных сетей так или иначе написаны на веб-ориентированных языках, подразумевающих взаимодействие клиент-сервер и подрывающие саму суть распределенности. Обычно это сложные в установке, требующие баз данных и нетривиальных навыков для поддержки. Другие же сильно устаревшие, контролирующиеся инвесторами или в зачаточном состоянии

RetroShare

Хорошая, но затянувшаяся разработка децентрализованного мессенджера. Интересные наработки по децентрализованной коммуникации с использованием DHT, tor/i2p и NAT-piercing, которые можно будет адаптировать для работы в aSocial. Из недостатков как мессенджера можно отметить:

Плохая поддержка мобильных устройств - в современном мире сложно представить приложение, которое изначально не ориентировано на носимые устройства.
Морально устаревший интерфейс, отправляющий в 2000 год
Выглядит скорее попыткой объединения разрозненных технологий для удобства пользователя, нежели чем попыткой переосмысления общения.

Diaspora / Matrix (and other server-based)

Нацелена скорее на борьбу с централизацией, нежели чем защищенность и приватность пользователей. Концепция подов подразумевает полумеру - вашей информацией все еще кто-то владеет кроме вас. Конечно, можно поднять свой под - но это очень нетривиальное занятие.

OpenBazaar

Подобравшиеся довольно близко к децентрализации и анонимности, но отступивший от своих первоначальных идей проект открытого рынка и замены маркетплейсам ebay/amazon. Успешно использует Bitcoin для расчетов, но прогнулся под давление инвесторов и отключивший встроенный функционал анонимности.

Conclusion

В целом проект aSocial может стать здоровым выигрышем для всех, поэтому я приглашаю тебя принять участие в обдумывании или даже в кодинге - вместе всяко веселее. Далее ссылки, где можно найти это безобразие:

Спасибо за внимание.

Подробнее..

Категории: Информационная безопасность , Социальные сети и сообщества , Безопасность , Open source , Распределенные системы , Социальные сети , Криптовалюты , Idea , Bitcoin , Криптовалюта , Данные пользователей , Qt5 , Lightning

Борьба с end-to-end шифрованием продолжается

18.04.2021 18:19:42 |

Автор: admin

На первый план вышли власти Великобритании. Они намерены ограничить использование каких-либо технологий, затрудняющих доступ правоохранителей и специальных служб к запрашиваемой ими информации. В том числе к сообщениям в соцсетях и мессенджерах.

Фотография: Jamie Street. Источник: Unsplash.com

Новая концепция

В центре внимания британского правительства крупнейшая социальная сеть Facebook и инициативы ее руководства. Одна из них заключается в защите end-to-end шифрованием всех продуктов компании, включая популярные мессенджеры, и набирает обороты с 2019 года, равно как и предложения местных властей по вводу ограничений для таких действий.

К слову, такие планы в Великобритании разрабатывают, начиная с 2017-го. Тогда речь шла о бэкдорах, но идею, конечно же, не приняли в ИТ-сообществе, поэтому от ее развития пришлось отказаться и выработать другой вариант для закручивания гаек. На этот раз противники E2E-шифрования отталкиваются от доводов о том, что оно усложняет обеспечение прав детей в интернет-пространстве и борьбу с соответствующими действиями злоумышленников. Поэтому и предлагают ограничить возможности ИТ-сервисов по защите пользовательского контента.

Почти запрет

Ранее подобную проблематику описали в так называемом Online Harms White Paper, а теперь перешли к работе над полноценным законопроектом Online Safety Bill. Его действие собираются распространить на компании, к чьим сервисам могут получить доступ граждане Великобритании, вне зависимости от юрисдикции провайдера. Помимо этого в законе предусмотрят обязательства по принятию мер для обеспечения безопасности пользователей и аудитории, штрафы до 10% от объема оборота ИТ-бизнеса, санкции для его руководства и возможность блокировки сервисов, нарушающих требования законодательства. Последнюю опцию попытаются реализовать в том числе и с помощью уведомления VPN-провайдеров, которыми могут воспользоваться граждане для доступа к скрытым ресурсам.

Есть мнение, что в ходе детализации Online Safety Bill скорее всего дойдет дело и до запрета на end-to-end шифрование. Однако эту норму могут распространись лишь на мессенджеры и соцсети, которыми не пользуются несовершеннолетние.

Фотография: Stillness InMotion. Источник: Unsplash.com

Как пишут в Wired, работа над новыми законодательными мерами уже во всю идет. Их должны принять в этом году. Поэтому сейчас к обсуждению подключают профильные сообщества и силовые ведомства. Так, на грядущем заседании сообщества NSPCC, занимающегося вопросами защиты детей, ждут выступления министра внутренних дел Великобритании Прити Пател. Высока вероятность, что она сформулирует критику сквозного шифрования именно с точки зрения ограничений на контент, к которому могут получить доступ дети, плюс выскажется о необходимости защиты их прав в онлайне и сложностях с поиском преступников, каким-либо образом их нарушающих и угрожающих безопасности граждан страны в интернете.

Никаких канареек

Если по ряду причин не получится ввести ограничения на сквозное шифрование в рамки нового закона, эксперты не исключают возможности возникновения ситуации, когда власти пойдут на прямой запрет end-to-end'а для компаний вроде Facebook. Его возможно осуществить с помощью механизма Technical Capability Notice (TCN). В таких уведомлениях прописывают соответсвующие ограничения и требования для доступа к пользовательским данным.

Что примечательно, предположительно бизнес обяжут помалкивать о запросах властей, и пользователи вместе с другими гражданами страны и мировой общественностью так и не узнают, кто, когда и за какой информацией обращался. Владельцы условной соцсети или мессенджера не смогут вывесить так называемую канарейку, чтобы предупредить всех, кто пользуется их продуктом о возникновении интереса со стороны каких-либо госслужб.

Дополнительное чтение:

Подробнее..

Категории: Информационная безопасность , Законодательство в it , End-to-end , Сквозное шифрование , Блог компании vas experts , Vas experts , Социальные сети , Законодательство и it-бизнес

Анализ тональности в русскоязычных текстах, часть 2 основные исследования

31.08.2020 18:16:08 |

Автор: admin

Исследователи применяли анализ тональности для совершенно разных русскоязычных текстов: постов из соцсетей, отзывов, новостных статей и книг. Как следствие, результаты их исследований тоже были совершенно разными и крайне интересными. Например, кто бы мог подумать, что тексты с положительной тональностью делают обучение иностранному языку более интересным, но менее эффективным? В этой серии статей мы рассмотрим, как и для каких целей применялись подходы анализа тональности для русскоязычных текстов, каких результатов удалось достичь, какие проблемы возникали, а также немного поговорим о перспективных направлениях.

В отличие от предыдущих работ я сосредоточился на прикладном применении, а не на самих подходах и их качестве классификации. В первой статье мы обсудили, что такое анализ тональности, какой он бывает и как его за последние 8 лет применяли для анализа русскоязычных текстов. В этой части мы детально рассмотрим каждое из 32 основных исследований, которые мне удалось найти. В третьей и заключительной части (будет на следующей неделе) поговорим об общих сложностях, с которыми сталкивались исследователи, а также о перспективных направлениях на будущее.

NB: Статья писалась для научного журнала, поэтому будет много ссылок на источники.

Во многих исследованиях использовались данные из российских соцсетей и агрегирующих платформ. Ниже приведено краткое описание самых популярных российских и зарубежных ресурсов и статистика их использования.

ВКонтакте доступна более чем на 90 языках, но преимущественно используется русскоговорящими. Согласно отчёту Deloitte [98], это самый популярный российский сайт, которым пользуется до 70 % населения страны. ВКонтакте активно использует молодёжь в возрасте 1624 года, а среди более старшей аудитории значимость ВКонтакте снижается.
YouTube занимает второе место по популярности в России, им пользуется до 62 % населения. Его активно использует молодёжь в возрасте 1624 года, а доли более старших возрастных групп варьируются в диапазоне 5864 %.
Twitter входит в десятку самых популярных в России сайтов [98], его использует до 5 % населения. Распределение возрастных групп пользователей в диапазоне 2565 лет почти равномерное, пик приходится на группу 5564 года.
LiveJournal тоже входит в десятку самых популярных в России сайтов, его использует до 3 % населения. Он больше востребован среди пользователей в возрасте 3544 года, а также у более старших поколений.
Medialogia российская компания, разрабатывающая автоматизированные системы для мониторинга и анализа в реальном времени СМИ и соцсетей. В сутки она автоматически обрабатывает 500 тыс. сообщений в СМИ и 100 млн сообщений в соцсетях. Система собирает данные из 52 000 источников в СМИ и из 900 млн аккаунтов в соцсетях.
IQBuzz сервис мониторинга, обрабатывающий информацию из более чем 10 000 источников в СМИ, из Facebook, Twitter, ВКонтакта, Моего Мира, Instagram, 4sq, LiveJournal, LiveInternet, Google, YouTube, RuTube и прочих. Система умеет автоматически определять позитивные и негативные сообщения, дедуплицировать и выполнять сложный поиск по накопленной базе данных.

Ниже я опишу найденные исследования, полученные в них результаты и сделанные авторами выводы, которые могут не совпадать с моей позицией.

1. UGC в соцсетях

Многие соцсети превратились в современные инструменты социального вовлечения [53]. Генерируемые пользователями данные являются важным и доступным источником общественного мнения, или хотя бы его отражением, поэтому он может дополнять или подменять собой опросы общественного мнения [54]. Генерируемые пользователями данные были исследованы по трём критериям:

Отношение к разным темам.
Индексы социального настроения.
Особенности пользовательского взаимодействия с данными, выражающими разные настроения.

1.1. Отношение к разным темам

Самыми частыми темами в исследовании русскоязычных текстов стали проблемы межэтнических отношений и миграции, а также Украинский кризис. Значительное внимание было уделено и анализу социальной напряжённости, а также другим темам.

1.1.1 Этнические группы и мигранты

Проблемы межэтнических отношений и миграции, а также связанные с ними темы, были глубоко исследованы с помощью хорошо проработанных социологических методов. Тем не менее, быстрое развитие интернета и обработки естественного языка позволило провести исследования по относительно новому подходу. Соцсети позволяют открыто участвовать в конфликте как отдельным людям, так и группам. В интернете суждения о проблемах миграции и этнических групп могут распространяться гораздо быстрее и охватывать гораздо более широкую аудиторию, чем до эпохи интернета [54]. Более академические исследования доказали, что негативное онлайн-содержимое влияет на офлайновые межэтнические конфликты [99] и преступления на почве ненависти [100]. Таким образом, по мере развития интернет-технологий растёт важность анализа проблем межэтнических отношений и миграции на основе онлайн-содержимого.

Исследование, проведённое Бодруновой и коллегами, было посвящено отношению русскоязычного онлайн-сообщества к мигрантам в публичном дискурсе [81]. Авторы собрали 363 579 постов ведущих российских блогеров в период с 4 февраля по 19 мая 2013 года. Применив стратегию, описанную в [59], [101], исследователи с помощью латентного размещения Дирихле (Latent Dirichlet Allocation [102]) выявили релевантные дискуссии. Затем вручную разметили некоторые обсуждения и классы тональности. Далее обучили модель биноминальной логистической регрессии (Binomial Logistic Regression [32]) для ряда задач классификации текста, в том числе для классификации эмоций. Согласно результатам, негативно воспринимались все мигранты, и больше всего прибывшие с Северного Кавказа по сравнению с выходцами из Центральной Азии и американцами. Позитивного отношения не выявлено ни к европейцам, ни к американцам. При этом европейцы, американцы и кавказцы воспринимались как агрессоры, а не жертвы. Выходцы из Центральной Азии описывались как чужие с негативной коннотацией. В целом, европейцы не воспринимались чужими или партнёрами, американцы воспринимались опасными, а евреи совершенно неопасными. Авторы исследования утверждают, что постсоветское ментальное разделение населения не полностью совпадает с текущими географическими границами, из-за которых ранее близкие группы уже воспринимаются как раздельные нации со своими политическими повестками. Одним из главных недостатков этой работы является отсутствие оценки качества описания данных и спецификации метрик классификации.

Коллектив под руководством Кольцовой [82] с помощью адаптированных методов из предыдущих работ ([103], [104]) оценил общий объём относящихся к межэтническим отношениям дискуссий на сайтах русскоязычных соцсетей. Для создания первичного корпуса из 2 660 222 текстов авторы разработали сложный список этнонимов и биграмм, охватывающий 97 этнических групп на постсоветской территории. Затем с помощью ручной разметки создали обучающий набор данных из 7 181 текста, каждый из которых аннотировался тремя специалистами по нескольким критериям, включая наличие межгрупповых конфликтов, положительные межгрупповые контакты и общую негативную или позитивную тональность. Для классификации эмоций авторы обучили на размеченном наборе данных модель логистической регрессии [32] и добились F₁=0,75 для позитивной тональности и F₁=0,68 для негативной. Авторы выяснили, что внимание к этническим группам сильно варьируется между разными группами и регионами. На основе этого исследования коллектив под руководством Кольцовой улучшил качество полученных результатов и увеличил количество предрассудков, которые можно найти в следующей работе [83]. Для начала авторы увеличили набор данных для ручной обработки с 7 181 до 14 998 уникальных текстов. Затем тексты были размечены как минимум тремя независимыми специалистами. Далее авторы научили модель логистической регрессии делить тексты на три категории (позитивное, нейтральное и негативное отношение) с помощью лучших гиперпараметров, взятых из предыдущего исследования. Это помогло значительно улучшить метрики классификации. Средние значения для настроений составили: P=0,67, R=0,55 и F₁=0,58.

Нагорный в своей работе [84] исследовал тему структуры этнических дискуссий в русскоязычных соцсетях. На основе списка из более чем 4000 слов, относящихся к этническим дискуссиям, автор собрал из ВКонтакта и IQBuzz 2 659 849 текстов за период с января 2014-го по декабрь 2016-го. Далее автор воспользовался ISLDA [26] модификацией алгоритма LDA, разработанной в Лаборатории интернет-исследований ВШЭ. Для вычисления класса тональности Нагорный применил SentiStrength [22] с русскоязычным словарём эмоций LINIS Crowd [26]. Для каждой темы был вычислен индекс полярности как сумма произведений вероятности этой темы в тексте на значение соответствующей эмоции, делённое на общую значимость темы. Проанализировав тематический профиль этнических дискуссий, полученный с помощью LDA, Нагорный выявил наиболее негативные и важные темы. Выяснилось, что основная часть дискуссий относилась к русско-украинским отношениям в связи с недавним конфликтом между странами. В результате трудно было отделить межэтнические темы от политических, поскольку конфликт повлиял на полярность дискуссий в интернете. Наиболее негативные обсуждения связаны с узбекской национальностью и турецко-армянскими отношениями в контексте геноцида армян. Однако у этого исследования есть недостатки. Во-первых, непонятно, как именно собирались данные. Хотя IQBuzz заявляет, что отслеживает все упоминания в интернете, проверить это без полного доступа к сообщениям ВКонтакте невозможно. Во-вторых, метрики классификации не измерялись на больших наборах текстов, поэтому трудно проверить качество классифицированных эмоций.

Исследователи Бородкина и Сибирев из Санкт-Петербургского университета изучили дискуссии в русскоязычном Twitter, относящиеся к проблемам международной миграции, а также к различным проблемам, связанным с миграцией [55]. Авторы использовали 13 200 сообщений, опубликованных с ноября 2017-го по февраль 2018-го. Эти данные были собраны по теме миграция и связанным ключевым словам. Затем авторы с помощью коэффициента Охаи измерили сходство тэгов и по принципу Парето убрали из графа сети незначительные, слабые связи. Для анализа тональности обучили классификатор на основе модели опорных векторов [33]. А для определения связей между характеристиками (например, эмоциями, особенностями содержимого) использовались соответствующие методы анализа. Выяснилось, что среди русских, живущих в разных странах, весьма схожее отношение к мигрантам. Значительная доля пользователей выражает негативное отношение к мигрантам других национальностей. Основные обсуждаемые темы: риски для культуры и безопасности, связанные с терроризмом и нелегальной миграцией, права человека в целом, нарушение прав иммигрантов в России в социальной и экономической сферах. У этого исследования есть несколько небольших недостатков. Подход к анализу тональности описан кратко, без подробностей стадии предварительной обработки, гиперпараметров модели и финального качества классификации с помощью обученной модели. Кроме того, базовый API Twitter предоставляет лишь частичный доступ ко всем сообщениям, так что репрезентативность проанализированных данных под вопросом.

Таким образом, в контексте исследования проблем миграции и межэтнических отношений исследователи по большей части изучали сгенерированные пользователями данные из социальных сетей, применяя комбинации методов тематического моделирования и анализа тональности. Концепция этнической принадлежности хорошо исследована в академической литературе, но с точки зрения вычислительной лингвистики определение национальности в пользовательских текстах сводится к задаче определения этнических маркеров, использованных авторами этих текстов [54]. Поэтому для выявления релевантных текстов исследователи часто создают списки маркеров этнического статуса и ищут тексты, содержащие такие маркеры. Однако извлечение репрезентативных данных задача трудная, потому что не все платформы дают полный доступ ко всей своей информации. Затем обычно анализируются настроения на уровне документов или аспектов. Поскольку негативные выражения могут содержать личную информацию, а также оскорбительные или разжигающие ненависть высказывания, такие данные могут подвергаться цензуре в соответствии с правилами соцсетей и требованиями законодательства. В Уголовном кодексе Российской Федерации есть нормативная база, регулирующая публичные призывы к радикальным действиям, что должно повлиять на объем сильных негативных высказываний как в онлайновых, так и в оффлайновых дискуссиях. Все эти особенности нужно явно описать в разделе, посвящённому ограничениям.

1.1.2. Украинский кризис

Отношения между Россией и Украиной стали напряжёнными после революции в 2014-м, последующего входа Крыма в состав РФ и вооружённого конфликта на территории Донецкой и Луганской областей. Поскольку многие соцсети превратились в современные инструменты социального вовлечения [53], был проведён ряд исследований в сфере вычислительной лингвистики, авторы которых попытались изучить возможность использования онлайнового дискурса для анализа высказанных мнений и характеристик участников дискурса. Согласно проведённой в 2001-м переписи населения Украины, 67,5 % её жителей считают родным языком украинский, а 29,6 % русский. Поэтому в дополнение к украинскому или вместо него исследователи обычно анализировали русскоязычные тексты.

Группа исследователей под руководством Дувановой изучила влияние Украинского вооружённого конфликта на онлайновые социальные связи между всеми украинскими областями [85]. В качестве источника авторы использовали ВКонтакте, так как это самая популярная соцсеть в Украине. Сначала на основе ключевых слов они определили список релевантных сообществ 14 777. Затем на основе этого списка было собрано 19 430 445 публикаций и 62 193 711 комментариев с помощью ПО для мониторинга соцсетей, представленного в работе Семёнова и Вейялайнен [105], а также Семёнова и соавторов [106]. Для классификации текстов на позитивные и негативные авторы применили подход на основе правил со словарём из 8863 позитивных и 24 299 негативных слов на русском и украинском языке. Выяснилось, что дискуссии в Украине стали более поляризованы в связи с военными действиями, например, в восточных областях страны выросло количество негативных и позитивных высказываний. Однако в других частях Украины военные действия не оказали заметного эффекта на интенсивность выражения эмоций. Таким образом, военные действия вызвали сильную эмоциональную реакцию в стране, но во внутренних коммуникациях между регионами не было отмечено неизбежного увеличения социальной сплоченности. Однако авторы не сообщили подробностей о предварительной обработке и обучении модели, а также о метриках классификации.

В работе коллектива под руководством Волковой [86] изучались выражения во ВКонтакте общественного мнения в ходе российско-украинского кризиса. На основе списка ключевых слов авторы собрали из ВКонтакта набор из 5 970 247 публикаций, появившихся в период с сентября 2014-го по март 2015-го. Для целенаправленного прогнозирования мнений исследователи применили систему классификации POLYARNIK [107] на основе морфологических и синтаксических правил, эмоциональной лексики и моделей обучения с учителем [108]. Для классификации эмоций авторы собрали набор независимых дискуссий в Twitter, связанных с кризисом. С помощью подходов, описанных в работах [109] и [110], авторы реализовали автоматическую разметку текстов по шести базовым эмоциям Экмана [111]. Затем они вручную перепроверили автоматическое аннотирование с помощью носителей русского и украинского языка. В результате получился набор из 5717 Twitter-сообщений с выражением злости, удовольствия, страха, печали, отвращения и удивления, а также 3947 сообщений, не выражающих эмоций. Финальная классификация эмоций, выраженных в текстах, осуществлялась в два этапа. Сначала тексты классифицировали как эмоциональные и безэмоциональные. Затем с помощью модели логистической регрессии [32] эмоциональные тексты разделялись по шести классам на основе стилистики, лексики и бинарных униграмм. Взвешенная F₁-мера модели эмоциональной классификации достигла 58 %. Согласно полученным результатам, доля позитивных мнений в отношении Евромайдана была в Украине выше, чем в России. Для сравнения, доля позитивных высказываний в отношении Путина и Крыма была выше в России, чем в Украине. Кроме того, некоторые результаты противоречат распространённым заблуждениям, тиражируемым в СМИ. Например, в России были публикации, авторы которых положительно высказывались в пользу США и против Путина, а в Украине были публикации, выражавшие поддержку Путину, а не Евромайдану. Основным недостатком исследования является то, что авторы применили POLYARNIK для анализа тональности без оценки качества классификации текстов по выбранной теме. Более того, авторы применили обученную на Twitter-сообщениях модель для распознавания эмоций в сообщениях из ВКонтакта, у которых иные лингвистические характеристики, как минимум, средняя длина текста. Также возникает много вопросов к качеству аннотирования единственным асессором, поскольку невозможно измерить метрики межэкспертного соглашения.

Взяв за основу российско-украинский конфликт 2014-го, Румшиский и соавторы проанализировали динамику отражения политического конфликта в соцсетях [87]. В отличие от исследования Волковой [86], при создании корпуса текстов для анализа исследователи не полагались на зашумлённые данные о местоположении авторов. Вместо этого они ориентировались на самоидентификацию пользовательских групп, связанных с кризисом. Проанализировав данные ВКонтакте, исследователи вручную выбрали 51 антимайданную группу с 1 942 918 уникальными пользователями, и 47 промайданных групп с 2 445 661 пользователем. Затем выделили все публикации на стенах этих групп, добавили публикации со стен активных пользователей и тех, кто поставил этим публикациям лайки. В коллекцию добавлялись только те публикации, в которых встречалось хотя бы одно ключевое слово из заранее определённого списка. Для прогнозирования тональности русскоязычных текстов исследователи применяли улучшенную версию библиотеки SentiMental, представляющую собой систему анализа тональности на основе словаря. Результаты исследования подтвердили, что рост интенсивности конфликта сопровождается негативными высказываниями. В ходе анализа исследовалась связь между доминирующей тональностью и мерой случайного блуждания дискуссии (random walk controversy measure). По мере роста количества диспутов одновременно растёт стандартное отклонение общей тональности, выражаемой противоположными группами, а также мера случайного блуждания дискуссии. Главный недостаток исследования заключается в том, что его авторы не предоставили никаких подробностей о предварительной обработке и обучении.

Заезьев предложил изучать процесс политической мобилизации с помощью анализа содержимого соцсетей [88]. За основу была взята Украинская революция 2013-2014 годов. Автор сосредоточился на первом этапе протестов, с 21 февраля 2013 по 22 февраля 2014. Он проанализировал публикации в самых популярных соцсетях Украины: ВКонтакте и Facebook. Заезьев определил набор релевантных ключевых слов на основе общих рекомендаций Годбоула [112], а затем с помощью IQBuzz собрал больше 124 000 сообщений. Применив алгоритмы распознавания тональности IQBuzz, исследователь классифицировал тексты по категориям: негативные, нейтральные, позитивные и смешанные. Предположив, что сторонники Евромайдана будут выражать позитивное отношение к этому событию, авторы убрали из коллекции все непозитивные сообщения. Затем отфильтровали коллекцию по заранее определённому списку ключевых слов, оставив 4255 сообщений. Анализ этих данных выявил, что в самую первую ночь протестов социальные сети использовались преимущественно как инструмент политической мобилизации, а позднее как инструмент медийного освещения. Главный недостаток исследования в том, что в нём не описаны метрики классификации тональности, поэтому трудно проверить точность результатов.

Исследователь Токарев из Московского государственного института международных отношений изучил дискурс в среде основных украинских блогеров относительно территории и населения Донбасса в период с 2009 по 2018 годы [56]. Автор проанализировал семантику, частоту и эмоциональность обсуждений в украинском сегменте Facebook. Исследование состояло из нескольких этапов. Сначала были определены лидеры мнений и скачаны их публикации с 1 января 2009 по 15 февраля 2018. Затем на основе заранее определённых ключевых слов из дискурса авторы определили публикации, посвящённые Донбассу. На следующем этапе был создан словарь эмоций, который в дальнейшем применялся для дифференцирования дискуссий по степени их эмоциональности. С помощью добровольцев был собран словарь из 566 слов-маркеров для территории и населения. Каждое слово было представлено на русском и украинском. Затем команда из 69 асессоров аннотировала словарь по пяти классам: позитивные, нейтрально-позитивные, нейтральные, нейтрально-негативные и негативные. Наконец, была оценена степень выражения эмоций и динамика дискуссий. Был проанализирован корпус из 1 069 687 публикаций 376 основных блогеров на семи языках. Выяснилось, что начало дискуссий по поводу территории и населения Донбасса началось на рубеже 2013-2014 годов. До этого частота упоминания этой области была почти нулевой. Выражалось значительное негативное отношение к населению, а негативное обсуждение территории практически отсутствовало. Превалировала нейтральная тональность. Количество позитивных и негативных обсуждений территории было гораздо меньше по сравнению с обсуждениями населения. Это позволяет сделать вывод о высокой степени неопределённости среди основных блогеров в отношении территории, а также о низкой вероятности перехода дискурса из нейтральной в позитивную тональность. Недостатки у этого исследования такие же, как у работы Заезьева [88], отсутствует описание метрик классификации.

Таким образом, в ходе исследования Украинского кризиса исследователи использовали информацию не только о тональности, но и о местопребывании авторов публикаций, чтобы изучить территориальную привязку пользователей. Для определения релевантных текстов собирался список слов-маркеров, относящихся к конфликту, и искались тексты, содержащие эти маркеры. При анализе этнических групп или проблем, связанных с миграцией возникают сложности в извлечении репрезентативных данных и исчерпывающем описании сопутствующих ограничений.

1.1.3. Социальная напряжённость

Процессы, наблюдаемые в современном российском обществе, формируют потребность в помещении социальных конфликтов в конкретные рамки [113]. Учитывая широкое распространение социальных сетей, несущих выгоду и риски для гражданского общества [114], анализу онлайн-содержимого следует уделять должное и надлежащее внимание, в том числе для выявления социальной напряженности. Можно измерять социальную онлайн-напряжённость с помощью индексов и метрик, а затем использовать эту информацию для отслеживания всплесков напряжённости, что представляет собой некую форму опережающего управления (anticipatory governance) [115].

Коллектив под руководством Донченко проанализировал комментарии ВКонтакте по социально-острым темам за период с января по июнь 2017 [89]. Исследователи составили список популярных тем, связанных с проблемами социальной напряжённости, и по нему собрали через API ВКонтакта релевантные пользовательские публикации. Затем тексты предварительно обработали: выделили основу слов (стемминг), убрали пунктуацию, заменили стандартные аббревиатуры и сленговые слова на соответствующие нормальные слова. Для категоризации по темам авторы обучили модель опорных векторов (SVM) [33] с векторизацией TF-IDF [116]. Остросоциальные темы: безработица, коррупция и рост цен на потребительские товары. Также с помощью SVM-модели классифицировали полярность тональности. Выяснилось, что протестные настроения обычно концентрируются в центрах густонаселённых регионов. Один из главных недостатков работы заключается в отсутствии оценки качества аннотирования данных и отсутствии спецификации метрик классификации тональности. Кольцова и Нагорный выяснили, какие темы относят к социальным проблемам, проанализировав комментарии читателей региональных российских СМИ [57]. Авторы собрали набор из 33 887 новостей и 258 107 комментариев с сайтов омских СМИ (Город55, БК55, НГС Омск и Омск-Информ) за период с сентября 2013 по сентябрь 2014. Чтобы определить темы, к которым относятся новостные тексты, авторы воспользовались Gensim-реализацией [117] алгоритма латентного размещения Дирихле [102] с метрикой, разработанной авторами Arun, Suresh, Madhavan и Murthy [118]. Для классификации тональности комментариев авторы использовали SentiStrength [22] с лексикой PolSentiLex. Кольцова и Нагорный обнаружили, что такие темы, как развлечения, культура, спорт и праздники чаще всего вызывают позитивные эмоции, а большинство негативных эмоций связаны с преступностью и катастрофами. Исследователи вычислили индекс важности и полярности каждой темы. Фундаментальной проблемой использования SentiStrength в этом исследовании является то, что авторы не описали метрики классификации данных по выбранной теме, поэтому трудно проверить точность результатов.

Таким образом, для идентификации остросоциальных тем авторы применяли два подхода. В первом случае данные фильтруются на основе списка ключевых слов, а во втором применяется неконтролируемая кластеризация всех данных с последующим определением остросоциальных тем. При использовании данных из соцсетей авторы столкнулись с теми же трудностями извлечения репрезентативных данных. Однако это не актуально при анализе данных с новостных сайтов, потому что на них обычно нет ограничений по доступу к опубликованной информации. Поскольку дискурс по остросоциальным темам может сопровождаться жёсткими высказываниями, последние могут подвергаться цензуре в соответствии с пользовательскими соглашениями и законодательством.

1.1.4. Прочие темы

Ряд исследований был посвящён темам из других сфер. Исследователь Рулёва изучала реакцию в русскоязычных пользователей Twitter и YouTube на взрыв метеора над Челябинском в феврале 2013 [58]. За последние 100 лет это было крупнейшее небесное тело, вошедшее в атмосферу Земли. Вполне ожидаемо, что это событие спровоцировало эмоциональные дискуссии в традиционных СМИ и на онлайн-платформах. Исследователь собрал по хэштегу метеорит 495 Twitter-сообщений, опубликованных с 15 по 20 февраля 2013, а также не указанное количество видео на YouTube. Был сделан акцент на сравнительный анализ содержимого с обеих площадок в контексте различий между первичным и вторичным разговорными жанрами [119]. Тем не менее, в текстах была также дана определенная интерпретация чувств и эмоций.

Рулёва обнаружила, что содержимое YouTube предоставляет больше полезных данных для исследования тональности по сравнению с Twitter. Автор опиралась на жанровый анализ и смесь лингвистического и семиотического анализа. То есть она анализировала сам текст и то, как он представлен. Автор полагает, что пользователи YouTube и Twitter часто принадлежат к разным социальным группам, поэтому могут иметь разные паттерны выражения эмоций. Хотя исследование в целом опосредованно связано с эмоциональными аспектами текста, Рулёва была одной из первых, кто исследовал различия между разными видами русскоязычной информации. Однако отсутствует подробное описание метода сравнения тональности и процедуры сбора данных в YouTube. Для поиска данных в Twitter применялась базовая фильтрация, при которой игнорировалась огромная часть сообщений, в которых отсутствовал хэштег метеорит. Более того, без использования Historical API поисковый инструмент Twitter даёт лишь частичный доступ ко всем сообщениям в открытом доступе.

Кириленко и Степченкова провели сравнительное исследование русскоязычного и англоязычного дискурса в Twitter об Олимпиаде 2014 в Сочи [90]. Через API Twitter было собрано больше 400 000 сообщений за полугодовой период, охватывающий Олимпийские игры [120], а затем подвергли кластерному анализу и анализу тональности в отношении состязаний. Авторы оценивали подходы Deeply Moving [121], Pattern и SentiStrength [22] на размеченном вручную наборе из 600 англоязычных и 3000 русскоязычных Twitter-сообщений. Несмотря на усиление выражения позитивного отношения к Олимпиаде в течение игры, это улучшение было значимо только для сообщений россиян. Впрочем, авторы не предоставили метрики классификации для оцениваемых моделей, а также не описали этап предварительной обработки.

Коллектив под руководством Спайсера изучил волну массовых протестов в связи с выборами в Думу и на пост президента РФ в период 2011-2012 [91]. Исследователи проанализировали релевантные русскоязычные сообщения в Twitter с 17 марта 2011 по 12 марта 2012, собранные через Twitter Streaming API. Данные выбирались по списку ключевых слов. Было собрано 690 297 русскоязычных сообщений, относящихся к политике. Для определения сторонников и противников Путина авторы использовали комбинацию списка ключевых слов и SentiStrength [22], а затем классифицировали 1000 самых активных пользователей по среднему баллу тональности их сообщений и по принадлежности к одной из сторон. Сравнив ручные аннотации 100 пользователей с обеих сторон с автоматической классификацией, исследователи обнаружили, что около 70 % участников были классифицированы корректно. В конце авторы применили метод качественного исследования [122] и вручную закодировали ключевые извлечённые n-граммы. Один из главных выводов заключается в том, что дискурс в Twitter вначале активно поддерживался оппозицией, а позднее мобилизация оппозиции значительно снизилась и выросла поддержка Путина. Однако у этого исследования несколько недостатков. Во-первых, непонятна репрезентативность образцов данных, потому что Twitter Streaming API предоставляет только частичный доступ ко всем публикациям. Во-вторых, метрики классификации не измерялись на целевой коллекции текстов, поэтому трудно проверить качество классификации тональности.

Ненко и Петрова провели сравнительный анализ распределения эмоций в Санкт-Петербурге на основе пользовательских комментариев о городских объектах в Google Places и данных из открытой ГИС-системы Imprecity [92]. Набор данных содержал 1800 маркеров эмоций из Imprecity и 2450 комментариев с привязкой к месту из Google Places. Два ассессора разметили комментарии на шесть эмоций и обработали с помощью наивного байесовского классификатора [123]. На основе результатов анализа тональности и набора данных из Imprecity авторы создали тепловую карту негативных и позитивных эмоций в Санкт-Петербурге. Общей тенденцией является концентрация позитивных и негативных эмоций в историческом центре на юге города, на западной оконечности Васильевского острова и в центре Петроградского острова. Однако авторы не описали методику предварительной обработки и метрики классификации.

Таким образом, изучая отношение к различным событиям или местам, исследователи столкнулись с теми же трудностями при поиске репрезентативных данных и исчерпывающем описании ограничений. Кроме того, основным недостатком большинства исследований было отсутствие оценки модели анализа настроений в текстах по выбранным темам, поэтому сложно проверить качество классификации.

1.2. Индекс социальных настроений

При измерении уровня счастья и удовлетворения жизнью, например, с помощью индекса субъективного благополучия (SubjectiveWell-Being (SWB)) [124], современные психологические подходы опираются на самооценочные шкалы. У таких подходов есть недостатки. Например, ограниченное количество интервью, высокая стоимость опроса респондентов и зависимость от памяти участников затрудняет представление статуса респондентов в реальном времени [125][127]. В качестве альтернативы исследователи попытались измерять различные индексы социальных настроений с помощью анализа тональности информации, потому что в генерируемых пользователями данных в соцсетях выражается широкий диапазон мнений [2], [127][133].

В своей работе [93] Панченко вычислил индекс настроений в русскоязычном Facebook в виде среднего уровня эмоций в массиве текстов. Было проанализировано 573 000 000 анонимизированных публикаций и комментариев за период с 5 августа 2006 по 13 ноября 2013, предоставленных для исследования ООО Дигсолаб. Авторы профильтровали весь набор русскоязычных текстов с помощью модуля langid.py [134]. Индекс социальных настроений вычислялся с помощью подхода на основе словаря [135], [136], аналогичного подходу Додда [129]. Автор разработал свой словарь эмоций из 1511 терминов, размеченный двумя специалистами на позитивные и негативные классы. Для оценки качества классификации Панченко применил словарный подход к набору данных ROMIP 2012 [15]. Автор утверждает, что на наборе рецензий на фильмы добился значения макроусреднённого F₁-балла до 0,383 и точности до 0,465. Для измерения тональности автор предложил четыре индекса: индекс тональности слов (Word Sentiment Index), индекс эмоциональности слов (Word Emotion Index), индекс тональности текста (Text Sentiment Index) и индекс эмоциональности текста (Text Emotion Index). Первые два оперируют тональностью слов, а вторые два тональностью текста. Согласно результатам анализа, позитивное содержимое превалирует над негативным. Максимальные значения индексов совпадают с государственными праздниками, а минимальные значения с памятными днями и национальными трагедиями. В целом, пользователи выражают позитивные настроения в 3,8 раза больше негативных. В публикациях люди используют меньше эмоциональных слов, а в комментариях больше. Самое важное ограничение связано с тем, что автор проверил качество классификации на рецензиях фильмов и применил его к текстам общей тематики, поэтому трудно проверить точность результата. Кроме того, не описан внутренний процесс сбора данных компанией Дигсолаб, и поэтому возникают вопросы о репрезентативности.

Коллектив под руководством Щекотина предложил новый метод субъективной оценки благополучия, который основан на данных ВКонтакте об активности пользователей [68]. Взяв модель индикаторов качества жизни, разработанную Гавриловой [137], авторы выбрали часть индикаторов для мониторинга в своём исследовании. Ориентируясь на географическую и социально-экономическую репрезентативность, они выбрали 43 российских региона из 85. Затем в выбранных регионах определили три крупнейших города и выбрали по 10 сообществ ВКонтакте, объединяющих жителей этих городов городские сообщества. Затем с помощью коллекции данных из соцсетей и аналитической платформы Университетского Консорциума исследователей больших данных, разработанной в Томском Государственном Университете, авторы извлекли опубликованную этими сообществами информацию за период с 1 января по 31 декабря 2018. После этого убрали нерелевантные данные рекламные публикации и тексты, не связанные с темой исследования (вакансии, спорт, культурные события). Отфильтровывание нерелевантных данных проводилось в два этапа: ручной анализ 60 000 сообщений и автоматическая чистка, при которой алгоритм обучался на вычищенных вручную сообщениях. После этого осталось около 1 700 000 публикаций. В ходе чистки публикации вручную аннотировались по 19 темам и трём классам тональности (позитивная, негативная и нейтральная). В ходе предварительной обработки были удалены редкие слова и символы, не относящиеся к русскому и латинскому алфавиту, а все остальные слова были сведены к своим основам (стемминг). Затем было обучено несколько алгоритмов машинного обучения. Лучшее качество классификации показал алгоритм градиентного бустинга из LightGBM [138] до 68 % при классификации категорий и 79 % при классификации тональности. Для вычисления индекса субъективного благополучия [124], [139] по каждому региону авторы предложили метод, основанный на индикаторах онлайн-активности. Результаты исследования показали, что в выбранных регионах активнее всего в позитивном ключе обсуждаются темы развития региональной инфраструктуры. Наименьшая позитивная деятельность связана с оценкой общего эмоционального состояния и свободы СМИ. Активнее всего в негативном ключе обсуждается тема безопасности, то есть оценка действий силовиков и других государственных организаций, связанных с обеспечением безопасности в регионе. Наименьшие негативные индикаторы онлайн-активности также характерны для общего эмоционального состояния и свободы СМИ. Кроме того, авторы составили исчерпывающий список ограничений, в том числе репрезентативность образцов данных, аудиторию анализируемых соцсетей и потенциальное влияние ботов.

Однако при подготовке обучающего набора данных авторы не описали распределение классов тональности. Если наборы данных не были сбалансированы, тогда качество классификации рекомендуется измерять с помощью более сложных метрик, например, точности (Precision), отклика модели (Recall) и F-меры.

1.3. Поведение пользователей

Содержимое соцсетей может быть ценным источником информации не только об отношении к разным темам, но и о поведенческих паттернах пользователей при взаимодействии с этим содержимым.

Светлов и Платонов определили влияние тональности на получение обратной связи от аудитории [69]. В качестве источника данных были взяты 46 293 публикации и 2 197 063 комментария из наиболее популярных аккаунтов российских политиков ВКонтакте за период с января 2017 по апрель 2019. Исследователи обучили BiGRU[140] на наборах данных RuTweetCorp [141] и RuSentiment [142], получив соответственно макро-усреднённую F₁ = 0,91 and F₁ = 0,77. На основе результатов анализа тональности авторы определили несколько паттернов реакции. Публикации классифицировались как позитивные, если у них было больше просмотров и лайков от пользователей. Публикации с большим количеством репостов и комментариев классифицировались как негативные. Однако вызывает много вопросов использование обучающих данных из одной сферы и применение обученных на них моделей в другой сфере. RuTweetCorp это коллекция коротких публикаций из Twitter, а RuSentiment коллекция общетематических публикаций из ВКонтакта, при этом обсуждаемое исследование посвящено политике. Хорошим выходом в этой ситуации будет ручное аннотирование небольшого набора текстов целевой тематики и тестирование на нём обученной модели.

2. Отзывы на продукты и сервисы

В эпоху интернета отзывы на продукты и сервисы стали мощным инструментом выражения социального подтверждения, который подталкивает людей покупать товары в разных интернет-магазинах [143]. Отзывы могут быть ценным источником информации не только для покупателей и продавцов, но и для исследователей. В этой главе литературные источники разделены по анализируемым темам: характеристики покупателей, характеристики продуктов и сервисов, характеристики торговцев.

2.1. Характеристики рецензентов

Исследовательская группа из Санкт-Петербургского университета проанализировала темы и тональность рецензий на 989 компаний-работодателей, действующих в 12 наукоёмких российских отраслях [70]. В качестве основного источника данных исследователи взяли один из крупнейших российских порталов с обзорами работодателей Отруде. После фильтрации и удаления лишних данных получился набор из 6145 отзывов. Предварительная обработка проходила в несколько этапов: лемматизация с помощью MyStem, удаление пунктуации и стоп-слов. Авторы автоматически классифицировали тексты по двум категориям на основе рейтинга рецензий: набравшие хотя бы три звезды считались позитивными, остальные негативными. Затем исследователи проанализировали тональность с помощью латентного размещения Дирихле [102] или тематического моделирования, и не указанной модели классификации. Коллектив под руководством Соколова выяснил, что на удовлетворение от работы влияет шесть основных факторов: порядок и график работы, условия труда, суть работы, зарплата, развитие карьеры, психологический климат, межличностные отношения с коллегами. Два последних фактора ментальная среда и межличностные отношения чаще всего обсуждаются людьми в сети при обсуждении удовлетворения от работы. Поэтому авторы предположили, что когда человек решает уволиться, он склонен мириться с экономическими факторами (например, с перспективами развития карьеры и увеличения зарплаты), а не с социоэмоциональными (например, с плохой сутью работы, плохими отношениями с коллегами). Ключевой проблемой исследования является корректность использования анализа тональности. Все обзоры на сайте Отруде содержат авторскую оценку, поэтому с формальной точки зрения для оценки этих рецензий не нужна классификация тональности. Ещё один недостаток заключается в том, что авторы не описали свой подход к анализу и результаты классификации тональности на тестовом наборе данных.

2.2. Характеристики продуктов и сервисов

Коллектив под руководством Селиверстова на основе данных с портала Автострада оценил отношение к состоянию дорог в Северо-Западном Федеральном округе РФ [71]. Для обучения авторы использовали RuTweetCorp [141], самый большой автоматически аннотированный набор текстов с небольшой ручной фильтрацией, собранный в русскоязычном Twitter. Ради целей классификации была взята регуляризованная (regularised) линейная модель со стохастическим градиентным спуском и модель Bag of Words с векторизацией TF-IDF. После обучения модель продемонстрировала точность двоичной классификации на уровне 72 %. Проанализировав обзоры за период с 1 марта 2009 по 1 ноября 2018, авторы обнаружили, что протяжённость всех позитивно оцениваемых дорог составил 9874 км (75 % общей протяжённости), а протяжённость негативно оцениваемых 3385 км (25 %). Однако у этого исследования есть ряд недостатков. Во-первых, авторы не описывают процесс предварительной обработки, что критически важно при обучении на RuTweetCorp. Дело в том, что этот набор изначально проектировался для создания лексикона эмоций, а не для прямой классификации тональности. Набор собирался автоматически в соответствии с определённой стратегией [144], то есть каждый текст ассоциирован с каким-то классом эмоций в зависимости от содержащихся в нём эмотиконов. Так что даже простой подход на основе правил может показать выдающиеся результаты. Например, если модель классифицирует текст как позитивный из-за наличия в нём символа ( или как негативный из-за отсутствия этого символа, то при двоичной классификации мы получим F₁ = 97,39 %. Для решения задач автоматического анализа тональности авторы набора данных рекомендуют удалять эмотиконы в ходе предварительной обработки. Согласно работе [145], в этом случае можно с помощью метода опорных векторов [33] достичь макро-усреднённого балла F₁ = 75,95 %. Так что без знания процесса предварительной обработки трудно оценить корректность исследования. Во-вторых, возникает много вопросов по поводу эффективности использования данных из одной сферы для обучения в другой сфере. В этом случае можно было бы вручную аннотировать небольшой набор данных по интересующей теме (пользовательские обзоры с транспортного портала) и протестировать на нём обученную модель. В-третьих, RuTweetCorp состоит из трёх классов, но авторы не учитывали в своём исследовании нейтральный класс. Позитивные и негативные сообщения были выложены на официальном сайте RuTweetCorp, а нейтральные на отдельном сайте. Я предполагаю, что именно поэтому в некоторых исследованиях [146][150] использовались только позитивные и негативные сообщения для двоичной классификации. Можно предположить, что нейтральный класс может изменить общее распределение негативных и позитивных обзоров дорог. Наконец, в большинстве обзоров с Автострады есть авторские рейтинги, так что с формальной точки зрения для оценки этих рецензий не нужна классификация тональности. В этом случае было бы интересно сравнить оценки на основе рейтингов из обзоров и метки классификации тональности.

2.3 Характеристики продавцов

Ли и Чен из Университета Аризоны разработали фреймворк машинного обучения для определения качества продаваемых товаров на основе отзывов покупателей [72]. Этот фреймворк состоит из трёх основных модулей: быстро увеличивающаяся выборка (snowball sampling) с помощью ключевых слов и релевантных пользователей, классификация тем на основе максимальной энтропии, а также анализ тональности с помощью глубокого обучения. Одной из отличительных особенностей последнего модуля является то, что он сначала с помощью Google Translate переводит русский текст в английский, и только потом классифицирует тональность с помощью рекурсивной нейронной тензорной сети с представлением слов в виде банка синтаксических деревьев [121]. Предложенный фреймворк был протестирован на русскоязычном форуме, посвященном мошенничеству с банковскими картами. В результате были выявлены основные продавцы вредоносного ПО и похитители данных банковских карт. С помощью более подробного анализа авторы выяснили, что у торговцев картами рейтинг обычно ниже, чем у торговцев ПО. Авторы считают, причина в том, что качество ПО определить легче, чем качество похищенных данных. Авторы упомянули, что классификатор тональности был обучен на онлайн-обзорах, что подходит для интересовавшей их темы, однако они не описали подробностей использования набора данных и метрик качества классификации. Перевод на другой язык может существенно изменить смысл или тональность текста, поэтому без тестирования на русскоязычных текстах практически невозможно оценить качество анализа.

3. Новости из СМИ

Обзоры и содержимое соцсетей, генерируемые пользователями, обычно представляют собой субъективные тексты, потому что авторы свободно выражают свои мнения. Однако с анализом новостей ситуация иная. Новостные агентства стараются избегать суждений и откровенной пристрастности, стараются избавиться от сомнений и двусмысленности. В основе их философии лежит объективность, или хотя бы широко приемлемая нейтральность [73]. Потому журналисты часто воздерживаются от использования негативной или позитивной лексики, однако прибегают к иным способам выражения своего мнения [74]. Например, журналисты могут подчеркнуть одни факты и опустить другие, вставить утверждения в сложную структуру дискурса, указать подходящую под их точку зрения цитату. Широкий интерес людей к новостям был подмечен ещё столетия назад [151], [152]. Новости используются как источник данных для анализа тональности в разных сферах. Например, для оценки тональности самих новостей [153], [154], для прогнозирования биржевых цен [155], [156], результатов выборов [157], [158], цен на товары в интернет магазинах [159] и будущего поведения покупателей [154]. Что касается русскоязычных новостей, то я определил две категории исследований: оценка тональности новостей и экономическое и деловое прогнозирование.

3.1. Содержимое новостей

Беляков посвятил несколько статей [94], [95] анализу тональности новостных сообщений с сайта российского МИД. Автор использовал статьи из раздела Новости, опубликованные с 1 по 28 февраля 2015. Единицы текста были отнесены к следующим категориям:

Украинский вопрос;
Сотрудничество России и Китая;
Отношения между Россией и Украиной;
Конфликт в Сирии;
Сотрудничество с Туркменистаном;
Отношения между Россией и Грецией;
Санкции против России;
Дипломатия сегодня.

Автор создал базовый классификатор на основе правил, который суммирует полярность эмоциональных слов в тексте и прогнозирует финальный бинарный класс. Дополнительно был составлен словарь из 300 позитивных и 300 негативных основ слов. Согласно результатам анализа, позитивный окрас имели категории Сотрудничество России и Китая, Сотрудничество с Туркменистаном, Отношения между Россией и Грецией, а также Дипломатия сегодня. Негативный окрас имели категории Украинский вопрос, Отношения между Россией и Украиной и Санкции против России. Важно то, что в исследовании рассматривалось только содержимое статей, написанных журналистами, то есть это выражение официальной позиции МИД по определённым темам. В будущем можно добавить реакцию читателей и комментарии к новостным статьям, опубликованные на сайте. С точки зрения анализа тональности, главный недостаток исследования Белякова заключается в отсутствии оценки модели. Не зная метрик качества на тестовых данных, мы не можем оценить работу модели, а значит и качество результатов анализа.

Исследовательская группа из РАН изучала отношение к технологиям и инновациям, упоминаемым в СМИ [96]. С помощью Exactus Expert [160] авторы выбрали из 16 источников больше 240 000 статей, посвящённых инновациям и технологиям, опубликованных с 2005 по 2015. Затем на основе выбранных вручную ключевых слов категоризировали статьи по 11 технологическим трендам из Списка критически важных технологий РФ. Далее авторы выбрали 120 статей и вручную аннотировали каждый объект тональности, упомянутый в статье, как позитивный или негативный. На основе обучающего набора из 346 аннотированных пар исследователи создали словарь эмоций и разработали алгоритм классификации на основе правил. Выяснилось, что, в целом, СМИ склонны писать о технологиях в нейтральном ключе, что может объясняться согласованностью стиля новостных сообщений. Сравнительно низкая доля негативных упоминаний об ИТ и биотехнологиях и их общее позитивное освещение в статьях говорит о том, что общество не беспокоится о потенциальных негативных последствиях этих технологий. В то же время, доля негативных отзывов о военных технологиях выше, чем по другим направлениям. Однако авторы не описывают метрики классификации в разработанном алгоритме. Более того, как уже упоминалось, эти статьи писали журналисты, которые могли выражать не только общественную, но и официальную точку зрения. Для оценки отношения общественности к разным темам необходимо дополнительно исследовать реакцию людей на новостные статьи.

Казун и Казун [75] проанализировали освещение в российских СМИ деятельность Трампа в ходе и после выборов. Авторы использовали базу данных Integrum для сетевого анализа и базу данных Медиалогии для анализа тональности дискуссий. Для исследования были взяты три временных интервала: за месяц до выборов, через месяц после и через 7 месяцев после. С помощью подхода Медиалогии тексты разделили на три класса: позитивные, негативные и нейтральные. Выяснилось, что освещение в СМИ деятельности Трампа до выборов было более негативным, чем позитивным. Однако в некоторые месяцы освещение кампании Клинтон было ещё более позитивным, чем освещение Трампа, хотя за четыре месяца до выборов связанные с Клинтон статьи были, в основном, критическими. Один из недостатков исследования заключается в том, что авторы не описали качество классификации данных по интересующей теме, поэтому сложно проверить точность результатов.

Подобные исследования были посвящены анализу новостей, связанных с политикой и правительством. В отличие от содержимого соцсетей, трудностей с доступом к старым данным не было, потому что СМИ обычно не препятствуют этому. Однако авторы некоторых исследований новостей пытались определить общественное мнение по конкретным темам, которые, по моему мнению, требуют дальнейшей проработки. СМИ, конечно, можно считать отражением общественного мнения, однако в некоторых случаях политика издательства может влиять на подачу, так что новости не всегда отражают мнение общества.

3.2. Экономические и бизнес прогнозы

Яковлева предложила вычислять высокочастотный индикатор экономической активности в России на основе новостных статей в сочетании с анализом тональности текстов [76]. В ходе исследования было создано два компонента: первый призван отразить количество тем, а второй идентифицировать тональность новостей. Предварительная обработка состояла из нескольких этапов: стемминг с помощью MyStem, удаление пунктуации, стоп-слов и ненужных пробелов. В качестве модели классификации тональности Яковлева взяла алгоритм опорных векторов [33] и обучила его на вручную аннотированных данных, содержавших 3438 позитивных и негативных новостных статей. Точность на тестовом наборе составила 64 %. Автор упомянул, что если модель определяла тональность текста с вероятностью менее 60 %, то тональность считалась нейтральной и текст исключался из анализа. Все темы, полученные с помощью первого компонента, были объединены с информацией о тональности из второй модели. На основе этих объединённых данных была разработана регрессионная модель для прогнозирования индексов деловой активности (Purchasing Managers' Indexes (PMI)). Тестовые данные охватывали период с февраля 2017 по август 2018. Модель продемонстрировала относительно хорошие возможности прогнозирования, точно аппроксимируя актуальный индекс для нового периода. Результаты исследования показывают, что модель может тщательно отслеживать экономические показатели, помогая быстрее реагировать на текущую финансовую ситуацию и оперативно принимать решения. Однако у этого исследования есть ряд недостатков. Во-первых, непонятно, какие вероятности использовались, потому что базовая реализация метода опорных векторов не предоставляет оценок вероятности напрямую. Более того, не описана методика выбора пороговых значений. Во-вторых, обучающие данные Яковлевой были аннотированы только одним специалистом, что не соответствует общепринятой практике [142], [161], [162]. Наконец, автор опубликовала графическое представление спрогнозированного сравнения и актуальные значения индекса деловой активности, но не упомянула ни одну метрику качества регрессии.

4. Книги

За последние 60 лет анализ научной литературы прошел большой путь, начиная от ручного подсчета цитат и анализа частоты слов и заканчивая современными методами автоматического глубокого анализа текста [163]. Одной из актуальных тем в этой сфере является анализ тональности учебных материалов.

4.1. Содержимое книг

Исследовательская группа Соловьёва изучила тональность учебников по обществознанию и истории, которые используются в российской младшей и средней школе [77]. Для этого исследования на основе 14 русскоязычных учебников под редакцией Боголюбова и Никитина был составлен Академический корпус русского языка. Предварительная обработка включала в себя токенизацию предложений, токенизацию слов и разметку частей речи с помощью TreeTagger [164]. С помощью русскоязычного словаря RuSentiLex [25] авторы вычислили частоту эмоциональных слов в каждом документе и измерили их удельное количество на 1000 слов в документе. Проанализировав корпус, авторы выяснили, что дискурс в учебниках истории для старших классов, а также в учебниках обществознания для средних старших классов, написанных Никитиным, в основном представлена негативная тональность: используются негативно поляризованные слова и представлены негативные примеры. А учебники, написанные Боголюбовым, имеют в целом позитивную тональность. Тем не менее, существенным источником ненадежности является точность и релевантность извлеченных из корпуса эмоциональных слов, поскольку RuSentiLex изначально создавался для других тем. Кроме того, RuSentiLex обеспечивает единое контекстнонезависимое представление эмоциональной полярности, независимо от того, в каком месте предложения встречается слово и независимо от его возможных значений. Поэтому такой подход не позволяет понять разные значения слов на основе контекста предложения.

4.2. Образовательный процесс

Колмогорова провела эксперимент по обучению русскому языку для китайских студентов [78]. Она измерила зависимость между тональностью образовательных текстов, субъективной оценкой иностранными студентами привлекательности и эффективности учебного курса, а также фактической успешностью обучения на таких текстах. Для анализа тональности автор применила классификатор эмоций на основе машинного обучения, разработанный в Лаборатории прикладной лингвистики и когнитивных исследований Сибирского Федерального Университета. Модель анализа тональности классифицировала тексты на 9 классов с макро-усреднённым F₁-баллом 50 %. Восемь классов соответствуют базовым эмоциям Lovheim [165], а последний это эмоционально нейтральные тексты. Для обучающего набора тексты выбирались в открытой группе ''Подслушано'' ВКонтакте. 231 носитель русского языка разметили тексты, субъективно оценивая степень выражения любых эмоций, при этом каждому тексту присваивалась лишь одна эмоция. Все тексты были размечены как минимум тремя асессорами. Если двое или трое асессоров присваивали тексту один и тот же класс, тогда эта эмоция закреплялась за текстом. В противном случае текст удалялся из обучающего набора для этого класса. Колмогорова использовала тексты, для которых ведущими эмоциями были удовольствие/радость и печаль/тоска. Эксперимент проводился с участием 30 студентов из Китая, которых разделили на три равные группы. Каждая группа изучала и экзаменовалась по теме Пунктуация. Одна группа училась на радостных текстах, вторая на грустных, третья на нейтральных. После завершения экспериментального обучения и экзаменов студенты заполнили анкету, в которой отметили степень общей заинтересованности в курсе и его эффективности, а также степень своей удовлетворённости процессом обучения. Проанализировав анкеты и результаты экзаменов, Колмогорова выяснила, что тональность учебных текстом сильно влияет на субъективную оценку образовательного процесса и его объективную эффективность. В среднем, на грустных текстах студенты делали меньше ошибок, чем на радостных и нейтральных, но работа с ними приносила меньше всего удовлетворения. Наибольший интерес вызвала работа с радостными текстами, но при этом эффективность обучения была ниже. Значительным источником неопределённости в данном исследовании является метод, который использовался для классификации эмоциональной полярности текстов. Модель обучалась на текстах из одной сферы, а применялась к текстам из другой без дополнительной проверки качества классификации. Автор не описала никаких подробностей относительно модели классификации, а также не дала больше информации о предварительной обработке и процессе обучения.

Таким образом, основная сложность в анализе учебников заключается в отсутствии словарей эмоциональной лексики и обучающих наборов по этой теме. Когда исследователи анализировали тексты на уровне слов с использованием словарей эмоциональной лексики, обычно для каждого слова бралось одно контекстнонезависимое представление эмоциональной полярности, вне зависимости от местоположения слова в предложении и вне зависимости от других его возможных значений. Более того, для анализа текстов на уровне документов становится сложно ассоциировать тексты с классами эмоций, потому что тексты в учебниках длинные, и на протяжении одного текста могут выражаться разные эмоции.

5. Смешанные источники данных

Для охвата более широкого спектра материалов, в некоторых исследованиях применяются тексты из разных источников. Например, если авторы используют новости и содержимое соцсетей, то они могут не только оценить полярность освещения определённых событий новостными агентствами и государственными организациями, но также могут оценить отношение людей к разным обсуждаемым темам.

В работе, опубликованной в Berkman Center for Internet & Society [97], Этлинг исследовал тональность обсуждений украинских протестов времён Евромайдана в различных русскоязычных и англоязычных онлайновых и традиционных СМИ, а также социальных сетей. В исследовании использовалось ПО Crimson Hexagon [166], в основе которого лежит методика анализа, разработанная Хопкинсом и Кингом [167]. Тексты классифицировались на четыре класса с точки зрения отношения к протестам: позитивные, нейтральные, негативные и не относящиеся. Источником данных стали русскоязычные и англоязычные публикации в Twitter, Facebook, в блогах, форумах и на новостных сайтах за период с 21 ноября 2013 по 26 февраля 2014. Из-за ограничений Crimson Hexagon тексты на украинском языке не рассматривались. Выяснилось, что русскоязычные источники и пользователи выражали больше поддержки протестам, чем ожидалось. Англоязычные тексты в США и Великобритании были более негативными, чем ожидалось, исходя из идеологической поддержки западных правительств. В то же время, содержимое соцсетей в Великобритании, США и Украине было более позитивным по сравнению с традиционными СМИ этих стран. Главный недостаток исследования связан с моделью классификации тональности. Во-первых, она обучалась на минимальном количестве данных, то есть примерно на 120-140 размеченных публикациях. Во-вторых, обучающие данные были аннотированы только одним асессором, что противоречит лучшим методикам [142], [161], [162]. Не проверялась надёжность и качество классификации, что противоречит основным принципам создания моделей машинного обучения с учителем [168]. Более того, не предоставлен полный список проанализированных источников, поэтому трудно валидность надёжность их выбора. Более того, не рассматривались тексты на украинском языке, тем самым исключая широкий спектр мнений.

Казун проанализировало интенсивность и тональность освещения в СМИ и соцсетях деятельности Алексея Навального на основе данных за 2014-2016 [80]. С помощью Медиалогии автор получил больше 145 000 новостных статей о Навальном из российских газет, с сайтов и трёх крупнейших федеральных ТВ-каналов. Для анализа тональности Казун использовал алгоритмы, разработанные в Медиалогии (классификация на позитивные, негативные или нейтральные классы), предварительно проверив их на двухстах размеченных вручную статьях. Выяснилось, что традиционные СМИ склонны игнорировать Навального за исключением случайных публикаций документов или новостных историй, чтобы очернить российскую оппозицию в целом или Навального лично. В блогах Навальный освещался в целом более позитивно, чем в других медиа. Однако дискуссии в этих статья было преимущественно критическими. Также авторы описали особенности каждого вида медиа, прояснив характерные стратегии публикации и паттерны тональности. Несмотря на общую негативность, новостное освещение деятельности Навального год от года становится позитивнее. Причины этой тенденции снижение количества критических статей и увеличение количества позитивных статей. Как и во всех обнаруженных примерах использования алгоритмов анализа тональности Медиалогии, авторы не описывают метрики классификации для целевой темы.

В своём исследовании [79] Брантли проанализировал украинскую революцию 2013-2014 на основе содержимого Twitter, Facebook, YouTube, блогов, форумов и новостных сайтов. С помощью платформы Crimson Hexagon он собрал коллекцию из 2 809 476 текстов на русском, украинском и английском языке. Рассматривались только тексты, которые были опубликованы из Украины в период с 21 ноября 2013 по 1 марта 2014. Два асессора, свободно владеющих всеми тремя языками, аннотировали обучающий набор данных для алгоритма BrightView, входящего в состав Crimson Hexagon и представляющего собой алгоритм непараметрического анализа данных, описанного в [166]. Тексты были разделены на три категории: позитивные, нейтральные и негативные. Тестирование на Crimson Hexagon показало совпадение с ручной классификацией в 92 %. Вместе с собранными данными автор использовал информацию из наборов данных Tone Dataset Global Knowledge Graph и Events Dataset and Global Events Language [169]. Выяснилось, что в Украине наблюдались ярко выраженные расхождения между политическими объединениями и предпочтениями, связанные с лингвистическими характеристиками. Это дополнительно подтверждается прошлыми результатами голосования, когда украиноязычные спикеры традиционно выражали больше поддержки оппозиции. Сравнив напрямую вовлечённость в сети и вне её, Брантли пришёл к выводу, что социальные сети значительно повлияли на физическое развитие протестов, то есть привели к увеличению количества протестующих на улицах.

Главный недостаток использования источников разных видов заключается в том, что помимо широкого спектра выраженных мнений авторы сталкиваются со сложностями и ограничениями, характерными для тех или иных видов источников. Они могут быть связаны с доступом к репрезентативными данным, исчерпывающим описанием ограничений, отсутствием обучающих данных для выбранной темы. В некоторых исследованиях анализ тональности и агрегирование индексов эмоций выполнялось на основе широкого спектра текстов без дифференцирования по видам источников. Например, при агрегировании эмоций авторы считали равными единицами и публикации из соцсетей и новостные статьи. Возможно, в подобных случаях более логично использовать более сложные модели, применяющие веса, чтобы корректнее анализировать тексты из разных видов источников.

6. Далее

Через пару дней выйдет заключительная часть, в которой поговорим об общих сложностях, с которыми сталкивались исследователи, а также о перспективных направлениях на будущее. Если есть желание прочесть всю статью сразу и на английском, вам сюда.

7. Источники

Полный список источников можно найти здесь.

Подробнее..

Категории: Социальные сети и сообщества , Научно-популярное , Машинное обучение , Блог компании mail.ru group , Социальные сети , Анализ данных , Компьютерная лингвистика , Анализ тональности

Общаемся в Telegram со смартфонов на Symbian

16.10.2020 18:23:47 |

Автор: admin

Среди всех вещей, которые люди делают с устаревшей вычислительной техникой есть одно довольно широкое направление, участники которого занимаются расширением возможностей вышедших из употребления устройств, стараясь сделать их актуальными настолько, насколько это вообще возможно. Мне тоже нравится выжимать все соки из устройств, особенно из мобильных, поэтому сегодня мы займёмся выводом телефонов середины-конца нулевых в современную сеть обмена сообщениями.

Введение

На самом деле получить доступ в Telegram на Symbian можно даже двумя способами. Но сейчас я расскажу только об одном, более трудоёмком в настройке и сложном, с точки зрения технической организации. Также стоит сразу оговориться, что описанный способ позволяет общаться не только в Telegram, но и в других современных сетях и работать будет на многих платформах, а не только на Symbian. Почему? Увидите позднее.

Так что же лежит в основе?

А в основе лежит популярный протокол Jabber, ныне известный под именем XMPP. Jabber поддерживает так называемые "транспорты" - шлюзы, преобразующие сообщения Jabber в сообщения подключаемых сетей и обратно. Подробнее об этом можно почитать здесь. Итак, идея очень проста: создать аккаунт на сервере Jabber, если его нет, взять десктопный Jabber-клиент с поддержкой транспортов, найти сервер на котором установлен Telegram-транспорт, добавить его в клиенте и зарегистрироваться, найти клиент для Symbian и вуа-ля, получить возможность писать людям со своей старенькой Nokia.

И что же со всем этим делать?

Давайте теперь пошагово разберем процесс настройки. Начать стоит с регистрации на одном из серверов Jabber. Этот пункт не обязателен, если у вас уже есть аккаунт, можно использовать его. Крупнейшим сервером в Рунете является jabber.ru. Требуется придумать имя пользователя и пароль. Ничего сложного. После регистрации можно переходить к следующему пункту: настройке десктопного клиента.

В качестве клиента я использовал Gajim, основное окно которого представлено ниже. Да, Psi+ более популярен и в начале я поставил его, но у меня далеко не всё заработало сразу и во время поисков проблемы я поменял в том числе клиент и Gajim полностью меня устроил (но проблема была не в Psi).

При клике по аккаунту откроется выпадающее меню, в котором надо выбрать "Просмотреть сервисы".

В открывшемся окне в строку адреса нужно ввести jabbercity.ru. Да, транспорт в Telegram установлен и на других серверах, но этот уже проверен и точно работает. Далее в списке транспортов находим нужный, выбираем его и тыкаем по кнопке "Зарегистрироваться".

Здесь потребуется ввести свой номер телефона и, нажав далее, дождаться сообщения об удачном завершении регистрации.

После этого сразу или некоторое время в Telegram придет стандартное сообщение с кодом подтверждения логина, а в "диалог" с Telegram-транспортом запрос этого самого кода, который нужно просто отправить ответным сообщением. Ии сразу после логина в Gajim появится запрос на добавление выгруженных контактов. На него, естественно, нужно ответить положительно. На этом работа в Gajim и самый сложный этап настройки закончен. Все добавленные контакты автоматически соберутся в одну группу.

Переходим к настройке клиента на Symbian. Я использовал Slick. Просто потому что мне его посоветовали. Если вы знаете более удобный и свежий клиент, буду рад советам в комментариях. Взять программу можно на сайте разработчика. Не буду вдаваться в подробности установки приложений Symbian, почитать об этом можно вот тут. После запуска попадаем в меню настройки аккаунтов. Здесь нужно поставить галочку рядом с Jabber и перейти в редактор учетной записи, в котором ввести имя пользователя, адрес сервера, на котором аккаунт был зарегистрирован, пароль и выбрать необходимость шифрования. Затем вернуться назад, нажать на кнопку сохранения и кнопку подключения к сети Jabber, выбрать точку доступа и...

И если всё получилось успешно, попасть в ростер, в котором будет группа Telegram со всеми подключенными контактами. Остаётся только выбрать, кому отправить сообщение.

Послесловие

Как я и говорил, точно так же можно получить доступ не только к Telegram, но к любой сети, для которой существует шлюз в Jabber и работать это будет на любом устройстве, для которого существует Jabber-клиент.

В моём случае это работает на Nokia C6. Все скриншоты были получены с неё.

В завершение хотелось бы ещё поблагодарить Дмитрия Вахрушева за помощь и советы при создании этой статьи, пользователя сайта 4PDA с ником Bugul Noz за инструкцию, которая стала основой вышеописанного, а также LonelyCatGames за такую долгую поддержку приложения и сайта.

Подробнее..

Категории: Социальные сети и сообщества , История it , Социальные сети , Telegram , Symbian , Nokia , Jabber

Человек не ловится

04.02.2021 22:21:15 |

Автор: admin

Говорят, против нас ведется информационная война. В предлагаемой статье отчасти содержится ответ, почему мы в ней терпим поражение.

День вчерашний

Две тысячи лет тому назад рыбаки Андрей и Петр бросили свои сети и последовали за Христом, чтобы вместо рыб ловить человеков.ⁱ И за две тысячи лет беспримерно преуспели в этом.

Но выбрав себе всего двенадцать учеников, Господь сделал это занятие уделом избранных. Люди же не потрудились вникнуть в глубину божественной мысли, не подумали, почему Господь решил ловить человеков, когда бы мог иметь все, что ни пожелает, и в результате за все это время не продвинулись в ловле себе подобных, предпочтя стяжание богатств и славы более привычных для них, приятных и понятных ценностей.ⁱⁱ

Более привычным и и в случае успеха осязаемым для них было обратное: завоевывать, разорять, отбирать, пленять, порабощать. Преувеличением будет сказать, что человек делал все исключительно силой. Клятвы, обеты, присяги, ограничение свобод и, как сейчас модно говорить, различные программы лояльности много уловок было придумано, чтобы привязать к себе себе подобных и заставить служить верой и правдой. Но и в основе этих мирных способов часто лежало принуждение, клятвы и присяги вытребовались против воли улавливаемых, а потому тоже были несовершенны, ненадежны и часто тщетны. Сложно было ожидать чего-то другого, когда в основе всех начинаний лежал принцип взять, а не дать. Совсем не то, что имел в виду Спаситель.

Как итог: ни одному предприятию за всю историю не удавалось наловить столько человеков себе в сторонники, ни одно из них не просуществовало столь же долго. И вряд ли найдется государство, оставшееся за две тысячи лет в одних и тех же границах или с неизменным устройством.

Так шли столетия, и ничего не менялось. Спустя две тысячи лет человек, так и не преуспев в этом ремесле без инструмента, сплел себе новые сети, чтобы снова попытать счастье. Такая вот ироничность и метафоричность истории. Тем более за две тысячи лет многое успело измениться и в сознании людей.ⁱⁱⁱ

Предпосылки

Вряд ли это могло случиться раньше. Одних технологий для этого точно было недостаточно. Необходимые условия, когда максима не имей сто рублей, а имей сто друзей получила шанс из умозрительного конструкта перерасти в нечто большее, сложились лишь к началу XXI века. Идеям и идеалам гуманизма при прежних порядках приходилось нелегко. Но что ни говори, мир стал куда более миролюбивым, чем еще какие-то сто лет назад.

За две тысячи лет человечеству удалось распрощаться с рабством и крепостным правом. На радостях было забыли, что black lives matter, но ничего, им напомнили, и они исправятся. Погромы, переселения народов, варфоломеевские ночи стали историей, хотя и позорной. Большинство цивилизованных стран отменило смертную казнь. И вот уже почти 80 лет человечеству удается обходиться без глобальных войн (только бы не сглазить!). Правда, говорят, началась другая война, информационная. Вот и повод еще раз задуматься, зачем и о чем все эти разговоры.^iv

Преимущественно мирно большая часть метрополий развязалась со своими колониями, и мир не рухнул. Значительную часть монополий упразднили либо разделили, и только на пользу экономике. Люди даже стали разрабатывать стандарты по обеспечению казалось бы, такая мелочь и глупость доступности веб-контента, потому что (вдруг?) обнаружили, что вокруг много людей с нарушениями слуха, зрения, моторики, с аутизмом, дислексией и пр., которые не могут воспринимать информацию в привычном для людей без нарушений виде, но тем не менее нуждаются в ней не меньше, если не больше.^v

Одним словом, люди начали постепенно понимать, что недостаточно владеть заводами, газетами, пароходами, надо еще иметь подход к тем, кто захочет этим всем воспользоваться. Потому что если таковые по той или иной причине не найдутся, то и все эти вожделенные ценности сразу перестанут иметь какой-либо смысл.

Если еще короче: человек начал постепенно понимать, что ценности стоит искать и видеть не только в том, что на нем и вокруг него, но и в том, что внутри.

День сегодняшний

Лед тронулся?

Ни одному предприятию за всю историю не удавалось наловить столько человеков.... До сегодняшнего дня. Согласно статистике из ныне живущих на земле 2.4 млрд человек последователи учения Иисуса Христа. Это больше, чем у какой-либо другой религии. Сравнение не совсем корректно, но факт остается фактом: больше только у Facebook 2.7 млрд, да Youtube дышит в спину у него 2 млрд пользователей (кто-то захочет сказать последователей и будет иметь полное на то право).^vi И им это удалось меньше чем за пару десятков не тысячелетий! лет!

Может быть, потому, что соцсети не стали выбирать себе избранных ловцов, но уравняли всех в правах, дали возможность каждому почувствовать себя в роли апостола? Соблазн попробовать был велик. Многие стали пробовать и у многих стало получаться. Те, у кого получалось, переходили в разряд избранных.

Но не все подошли к новому этапу (и новой возможной роли) в равной степени готовности, с одинаковым осознанием действительности, не каждый разглядел перспективу или почувствовал потребность в том, что они несут с собой.

С другой стороны, не от всякого ждали и ждут радения на этом поприще, не за каждым готовы пойти, да и не каждому это нужно. Но есть те, кому, другие бы сказали, сам бог велел. Есть те, от кого ждут служения в силу предназначения, возлагаемых надежд, в силу принятой на себя ответственности и взятых обязательств.

От того, насколько эти ловцы окажутся успешны, сегодня зависит очень многое. Их действия или бездействия уже влияют на жизни и судьбы миллионов людей. Последствия от этих действий или бездействий, возможно, станут основой для нового миропорядка (или беспорядка, как посмотреть) на десятилетия вперед. Но безучастного и равнодушного сегодня завтра ожидает забвение.

Папа может

Кто, казалось бы, должен в первую очередь использовать любые легальные, естественно возможности, чтобы уловить ладно, пусть не в сети, в лоно как можно больше сторонников? Конечно, церковь. Посмотрим, как в свете нашей узкой темы к решению этой задачи подходят католическая и православная.

У Папы Римского Франциска в Twitter девять экаунтов (@Pontifex). В экаунте на английском языке (с февраля 2012 года) на 5 декабря 2020 18,842,259 подписчиков, плюс в экаунтах:

на латинском 939,878,
на немецком 646,947,
на испанском 18,563,617,
на португальском 4,963,044,
на польском 1,073,189,
на итальянском 4,973,946,
на французском 1,637,366,
на арабском 457,648.

Итог: 52.097.894 (Пятьдесят два миллиона девяносто семь тысяч восемьсот девяносто четыре) подписчика.

Это помимо официальных экаунтов Ватикана. В них улов не такой богатый, но это и ожидаемо. Любопытствующие могут заглянуть на официальный сайт и продолжить изучение. Обратите отдельное внимание, сколько языков поддерживает сайт и что у многих версий свои учетные записи и каналы в соцсетях. Вот это человекоориентированный подход!

Совсем другая картина на аскетичном официальном сайте РПЦ (Московской патриархии).^vii На нем вы не найдете никаких упоминаний и ссылок на поддерживаемые в соцсетях экаунты. Их просто нет. Не только у патриарха, но и у организации в целом и у отдельных ее подразделений и служб. И если судить по одному этому факту, можно заключить, что человеки православной церкви не очень-то и нужны. Что ж, видимо, так оно и есть. Аминь.

Об исследовании

От кого еще люди как граждане вправе ожидать внимания и недвусмысленных сигналов о том, что они не пустое место, что жизнь их что-то да значит? Конечно, от государства.

Пример с церквями убедительный, но Россия все же светское государство, и нас в первую очередь интересует его готовность и активность на этой ниве. Тем более на фоне непрекращающихся разговоров о цифровизации экономики и стремлении идти путем инноваций, хотя, несомненно, это вторично.

Мы захотели выяснить, в какой степени готовности подошли к этому этапу российские органы власти, насколько актуальной для себя они видят эту задачу для начала обозначим ее как задачу установления более тесных и доверительных отношений не только с населением России, но и с гражданами, организациями и институтами других стран. В свете происходящих в последнее время в мире событий эта задача становится все более насущной.^viii

Для этого мы предприняли первое в своем роде детальное исследование опыта взаимодействия конституционных, федеральных и региональных исполнительных органов РФ с социальными сетями. Результаты исследования были обобщены в докладе Практика и опыт использования социальных сетей органами власти Российской Федерации.

Обложка к докладу "Практика и опыт использования соцсетей органами власти РФ"

Все данные относятся к июню текущего года. Всего для исследования было отобрано 169 органов власти с 598 экаунтами в 16 социальных сетях. Ниже следуют основные результаты и выводы, полученные в ходе исследования.

Общая численность подписчиков 144 органов власти в соцсетях 26,8 млн человек, или 18% населения страны. Это более чем не впечатляющий результат. Зная условность понятия подписчик применительно к социальных сетям, мы вынуждены признать, что реальный показатель окажется существенно ниже.

У бывшего президента США Барака Обамы, к примеру, в одном только Twitter около 127 млн пользователей. Если считать относительно населения США, то это без двух 40%.

Не нравится Обама, возьмите Трампа. У того в личном Twitter 88,7 млн, или 27%. Это только у одного человека в одном только экаунте! Одним словом, американские президенты как бывшие, так и нынешние не считают для себя зазорным иметь и активно вести личные экаунты в соцсетях. И взаимная неприязнь между первым лицом и платформой, которую мы наблюдаем в отношениях между Дональдом Трампом и Twitter, тому никоим образом не помеха. Nothing personal, its just business, как говорил Отто Бидерман.^ix

25 наших органов власти (169 144) полностью игнорируют соцсети. В основном это федеральные органы исполнительной власти (21%), но также 8 региональных администраций с общей численностью населения в регионах 16,2 млн, или 11% населения страны, а также Конституционный суд и Совет безопасности. Из ФОИВ это преимущественно спецслужбы СВР, ФСБ, ФСО, Росфинмониторинг и иже с ними, но кроме того Минюст и внимание! Федеральное агентство по печати и массовым коммуникациям (сапожник без сапог), видимо, настолько бесполезное, что недавно подверглось упразднению; плюс еще несколько мутных ведомств, о существовании которых, тем более об их назначении рядовой гражданин даже и не догадывается.

Исчезающе мал контакт органов власти с населением России в соцсетях

На рисунке серым цветом изображены конституционные (высшие) органы власти, синим - федеральные исполнительные (правительство), красным - региональные исполнительные (администрации субъектов РФ). Подробнее см. финальный отчет.

Только у четырех (!) органов власти количество подписчиков превышает 1%(!) населения страны. Топ-три выглядит так:

Президент 3,33 млн;
Правительство Москвы (с соцсетями мэра) 2,69 млн;
МИД 2,31 млн.

Самым неуловистым на человеков органом из конституционных оказался Верховный суд с 25,3 тыс. подписчиков; из региональных администраций Республика Хакасия с 2 тыс.; из федеральных правительственных Росрезерв 190 подписчиков.

Крайне неравномерно распределение подписчиков внутри групп. На первую тройку у конституционных органов власти приходится 82% всех подписчиков группы, у федеральных исполнительных 47% и у региональных администраций 46%. Это говорит о том, что подавляющая часть органов власти (во всех группах) является безбилетниками, а их присутствие в соцсетях чистая формальность.

О глубине разрыва позволяет судить разница между максимальным и минимальным значениями числа подписчиков. У высших органов эта разница составляет 132 раза, у региональных органов исполнительной власти 1283 раза и у федеральных органов исполнительной власти 12169(!) раз. В целом по выборке разница между лидером и замыкающим составила 17526 раз!

Нет смысла повторять здесь слово в слово содержание отчета. Представленной информации достаточно, чтобы составить мнение о крайне низком уровне контакта органов власти с населением страны на уровне соцсетей. Любой же, кто заинтересовался подробностями, может беспрепятственно ознакомиться с ними, задать дополнительные вопросы и т.д.

Кейсы

Учитывая некоторые особенности текущего политического момента, полагаем, более наглядно продемонстрировать сложившуюся ситуацию можно с помощью конкретных примеров, относящихся к конкретным ведомствам.

Росархив

Росархив важное ведомство в правительственной иерархии. Настолько, что некоторое время назад президент переподчинил его себе лично. Еще бы, такая кладезь востребованных, но так и не явленных общественному вниманию теперь работающих уже против нас тайн и секретов.

Советский, а теперь и российский пунктик на засекречивании всего и вся сыграли с нами злую шутку. Секретность лучшая почва для домыслов и фальсификаций. Если вам нечего сказать или вы не считаете нужным говорить о том, что считаете очевидным и само собой разумеющимся, то найдутся те, кто начнет говорить за вас. И не стоит обижаться, если они начнут говорить не то, что вы считаете нужным и правильным. С историей Второй мировой войны так и получилось. И мы опять оказываемся застигнутыми врасплох.^x А готовиться надо было начинать еще позавчера

Война, можно сказать, только началась, а евреи уже задумались об увековечении памяти жертв нацистского режима (шесть миллионов евреев). Это было в сентябре 1942 года, и, если кто не знал или забыл, до обретения израильтянами своего государства в его нынешнем виде оставалось чуть меньше шести лет, а сама перспектива такого поворота событий крайне туманной и ведомой только высшим силам.^xi Реализация идеи заняла пятнадцать лет и вылилась в создание мемориала Яд Вашем. Зато теперь весь мир знает, что такое Холокост. Именно так поступают, когда точно знают, чего хотят, что важно и что должно.

Советский Союз потерял в той войне около 27 миллионов. Но кто сегодня в мире назовет эту цифру по памяти?

Росархиву, конечно, есть что сказать и показать. Хватило бы на всех с горкой, и вашем и нашем (простите за каламбур). Но, судя по тому, что мы видим, сказать ему до сих пор нечего. По крайней мере пользователям соцсетей. Сегодня, спустя 75 лет после окончания войны, когда в соцсетях сотни миллионов и миллиарды пользователей по всему миру, российское архивное ведомство это всего 2988 пользователей в ВКонтакте и 145 подписчиков в Youtube-канале с двенадцатью(!) видео за два с половиной года, пять из которых о сугубо внутренних делах, которые среднестатистического обывателя по праву должны оставить совершенно безразличным; и 3749 просмотров.

И, да, кроме русскоязычной, вы не найдете у Росархива больше никакой версии сайта. А на нет и суда нет. Если это не нужно нам, то другим и подавно. И ложка, как говорится, хороша к обеду. Сегодня большая часть этих архивов действительно стала историей и интересна разве что исследователям. И время упущено безвозвратно. Воистину, что имеем не храним, потерявши плачем.

Роспотребнадзор

Если бы вы зашли на сайт службы год назад, то не нашли бы на нем никаких упоминаний об имеющихся у нее экаунтах в соцсетях. Сейчас их два, но забота о благополучии человека в ведомстве построена таким образом, что найти их будет все равно непросто. Выглядит это так, как показано на изображении фрагмента страницы контактов. И больше никак.

Единственное место на сайте, где можно найти ссылки на используемые соцсети

Роспотребнадзор так занят обеспечением благополучия человека, так занят, что на взаимодействие с ним у него времени не практически не остается. Это одно из ведомств, с которым очень сложно связаться.

Тишь, гладь да божья благодать были в Роспотребнадзоре при прежнем руководителе. Не задули ветры перемен и с приходом нынешнего. Экаунт в Facebook был создан в январе 2014 года (еще при г-не Онищенко), но оказался не востребован и с последним постом, сделанным 22 ноября того же года, мирно прогибернировал до весны 2020 года, когда коронавирус вынудил ведомство восстать из спячки.

Весной же был запущен экаунт в Instagram, и с того времени по настоящий момент он набрал 969,000 подписчиков! Это абсолютный рекорд среди ФОИВ. На момент сбора данных для исследования лидером по числу подписчиков в Instagram среди ФОИВ было министерство обороны, и было их у него 413,000, что более чем в два раза меньше, чем удалось наловить санитарам всего лишь за восемь месяцев.

О чем это говорит? Об огромном неудовлетворенном спросе на информационные услуги от профильных ведомств (с минздравом очень схожая ситуация). Конечно, не случись всей этой истории с COVID-19, вряд ли сети Роспотребнадзора принесли с собой столько человеков. Но что-то заставляет думать, что если бы не пандемия, то до населения с Вадковского переулка так и продолжало доноситься мирное посапывание. Одним словом, не было счастья, да несчастье помогло.

Как и в случай с Росархивом, мы коснулись только одного частного случая: там (не)предоставления общественности достоверной объективной информации о Второй мировой войне, здесь оперативной и профессиональной информации о возбудителе новой болезни во всех известных и касающихся ее аспектах. Мы понимаем, что оба примера лишь верхушки айсбергов от той информации, которой обладает Росархив, и тех функций, которые взвалил на себя Роспотребнадзор. И поэтому в полном праве ожидать от них еще большего.

К сожалению, натянув на себя массу функций и полномочий, в душе заботливое ведомство, видимо, так и осталось санэпидстанцией. И пока весь контакт со 150-миллионной аудитории свелся к 368 сообщениям в Instagram за восемь месяцев (по одному в день?) на тему ковида. Что ж, спасибо хоть на этом.

Если кому-то будет интересно, как взаимодействует с публикой CDC американский аналог Роспотребнадзора (только в части эпидемиологического контроля), загляните на его сайт. Обратите внимание на количество экаунтов в одном только Twitter по разным направлениям деятельности, поддерживаемых CDC. На фоне общительности эпидемиологов из США кажется, что российское ведомство связало себя обетом молчания.

Как бы между прочим: полное название ведомства: Федеральная служба по надзору в сфере защиты прав потребителей и благополучия человека. Вроде бы все понятно, кроме одного: на само ведомство этот надзор распространяется или нет?

Ростуризм

Удастся ли Роспотребнадзору удержать и оправдать чаяния наловленной им за время пандемии которая еще далеко не закончилась аудитории, покажет время. По крайней мере она у него есть и по меркам российских госорганов весьма солидная. А что же Ростуризм?

Разговоры о необходимости развивать туризм ведутся у нас едва ли не с сотворения мира. Последнее время все активнее напирают на внутренний. Пандемия, казалось бы, должна была сыграть на руку. Но не заладилось что-то в нашем туристическом ведомстве, не случилось ей стать и ему родной матерью. Или не очень и хотелось?

Как обходился Ростуризм двумя экаунтами в ВКонтакте и в Facebook, так и обходится по-прежнему. Как были его сети практически ни с чем, так и остаются с одной травой морской.

На июнь 2020 года в Facebook у агентства было 2245 пользователей. Сегодня эта цифра выросла до 3159. В VK в июне 7504, сегодня 9878. И это все. У многих из вас на порядки больше, наверное?

Туризм это не только инфраструктура и логистика, реклама и гостеприимство, это еще и творчество. Учитывая практически неисчерпаемость данной сферы, возможности для творчества в ней столь же неисчерпаемы. Если подходить к вопросу не чинушно, но тоже творчески. Но, увы, видимо, нет творцов в родном туристском ведомстве. И сказать им нам нечего.

Нет, не то чтобы оно совсем ничего не делало. Есть кое-какие подвижки. Однако не станем перебивать и лучше предоставим слово самому агентству. В части коммуникаций ему еще много над чем предстоит поработать.

Выводы

Несмотря на то, что у многих органов власти есть департаменты информационной политики или аналогичные им по целям и задачам структуры, это мало что меняет. Многие органы власти плохо представляют себе, какая информация полезна и интересна населению, как и зачем быть с ним в постоянном контакте. Работать с информацией они не любят и не умеют. Результаты исследования наталкивают именно на такие выводы.

У многих органов, особенно это бросается в глаза в случае с региональными администрациями, Youtube-каналы (у кого они есть, а есть они не у многих) забиты унылыми, часто многочасовыми видеоотчетами о работе различных комиссий, протокольных мероприятиях и т.п., которые по определению не могут привлечь к себе, тем более удержать внимание пользователя. Это делает видеохостинг очень непопулярной платформой среди органов власти, притом что он является, пожалуй, одной из наиболее популярных соцсетей у населения России, не говоря уже о мире.

Поэтому недоумение это самое малое, что возникает, когда видишь, как Росархив и Ростуризм проходят мимо всех тех возможностей, которые предоставляет крупнейший видеохостинг. В век электричества это примерно то же самое, что продолжать пользоваться конной тягой. И дело, определенно, не в том, что наши чиновники не знают об этих возможностях. В таком случае в чем, есть мысли?

Что бы ни думали серьезные дяди и тети, соцсети это не вздохи на скамейке и давно уже не забавы и развлечения. Не пользоваться сегодня соцсетями то же самое, что выходить с рогаткой против боевого дрона. Это как продолжать переводить бересту, когда изобретен печатный станок, или продолжать засылать на городскую площадь глашатая зачитывать перед толпой зевак высочайшие указы, зная, что в каждом доме есть радиоприемник.

(Само)устранение из этого контекста на руку кому угодно (конкурентов меньше, шансов больше!), кроме самого абсентеиста. Поэтому все разговоры и помыслы о запрете соцсетей играют не руку только тем, кто с помощью них днем и ночью продолжает набирать свой социальный капитал, который сегодня дороже и заводов и газет, и пароходов.

Причины нашего бездействия вторичны. Факт заключается в том, что и спустя две тысячи лет в отличие от других наше государство так и не научилось ловить человеков. Но в новых реалиях это, вероятно, худшее, что любое государство может себе пожелать. Хотя бы потому, что новая парадигма противостояния не предполагает физическое уничтожение сил противника. Уловить их на свою сторону проще, эффективнее и гуманнее.

Twitter

GitHub

i Ев. от Матфея 4,19.

ii Да и как их винить за такую поверхностность, если это свойство человеческой натуры. Будь по-другому, нам не пришлось бы ждать несколько тысячелетий, чтобы догадаться, что земля круглая, и объяснить закон всемирного тяготения. А по замыслу идея, высказанная Христом, того же порядка.

iii Две тысячи лет далеко не вся история человечества, и здесь следует сделать оговорку, что, несмотря на глобальность сегодняшнего мироустройства, наш акцент смещен все же на западную цивилизацию.

iv В наши дни сами мысли о возможности эдемской идиллии на земле чистой воды утопия. С другой стороны, кто две тысячи лет назад мог допустить мысль, что рабам на галерах когда-то наконец дадут отставку?

v Поскольку многими эти требования до сих пор не воспринимаются всерьез в России, например, даже на уровне стандартов тема доступности находится по существу в прошлом веке, надеюсь, у нас еще будет по этому поводу отдельный большой разговор.

vi Global social networks ranked by number of users 2020. Statista. Доступ 9 декабря 2020.

vii На фоне убранства отдельных храмов и праздничных одеяний священников убранство главного сайта православной церкви могло бы быть не в пример внушительней.

viii Прежде всего мы имеем в виду напряженное состояние информационного пространства и непрекращающиеся обвинения друг друга в искажении информации, истории, вмешательстве в выборы, во внутренние дела и т.п.; во-вторых, необходимость сохранения привлекательности страны, в частности для привлечения внимания как можно более массовых аудиторий в связи с необходимостью развития туризма и др.

ix Ничего личного, это всего лишь бизнес (с англ.). Из статьи Otto Berman. Wikipedia. Доступ 9 декабря 2020.

x Всего лишь два примера, как это делается: здесь и здесь.

xi Наглядный исторический пример того который почему-то не очень активно исследуется, что пока есть народ, имеет смысл думать о территориях и государстве. Если народа нет, то и все остальное теряет смысл. Поэтому в заведомо проигрышной позиции оказывается то государство, которое свои территории ставит превыше своего народа.

Подробнее..

Категории: Социальные сети и сообщества , Будущее здесь , Управление медиа , Сми , Социальные сети , Информация , Россия , Политика , Государственные органы , Власть , Население

Перевод Почему я по-прежнему пользуюсь RSS

08.02.2021 20:16:10 |

Автор: admin

Я твёрдо верю, что Интернет и его философия максимально проявились именно в RSS.

RSS или Really Simple Syndication является (или был в прошлом, в зависимости от вашей точки зрения) средством, которое объединяет в один канал практически все онлайн-ресурсы. Вы заходите на сайт, если он вам нравится, то добавляете его RSS в свой любимый ридер и с этого момента мгновенно получаете уведомления о любом новом контенте. Вот так просто.

Расцвет RSS пришелся на эпоху Веб 2.0 (около 1999-2010 гг.), когда движущей силой многих инноваций была полная свобода делать всё, что угодно, с информацией из интернета. Конечно, всё это происходило до того, как начали развиваться социальные сети в нынешнем виде, а большинство этих концепций оказались изолированы в своих замкнутых социальных фидах.

Как только социальные сети захватили власть в интернете, если вы находите в интернете что-то и хотите следить за источником, то просто добавляете его в твиттер или подписываетесь на YouTube. Это прекрасная идея до тех пор, пока вас устраивает дизайн этого сайта или алгоритм не решит, что вам не обязательно часто видеть какой-то контент из подписки (отеческое курирование вашей ленты).

Я уже говорил раньше, что социальные сети в целом мне не интересны, но только недавно решил по-настоящему искать альтернативы лучший способ взаимодействия с Интернетом. И нашёл ответ в RSS. Я наслаждался свободой видеть источники так, как мне хотелось, гибкостью, возможностью при желании поменять ридер, полным отсутствием рекламы. Трудно было не влюбиться в RSS.

Но лишь начав работать дома и полностью уйдя в интернет, я действительно понял, насколько важен RSS для нормальной цифровой жизни. Отбирая в ленту только конкретные сайты, блоги и авторов, которые мне действительно интересны, я эффективно устранил негативные последствия социальных сетей и чрезмерного использования интернета в своей жизни.

Мне стало проще заниматься глубокой работой, так как у меня не было социальных каналов, которые можно бесконечно прокручивать. Мне стало проще оставаться в курсе событий, так как я видел действительно только последние новости, а не алгоритмическую бесконечную ленту якобы новостей. Я мог открыть ридер пару раз в день, просмотреть последние статьи и продолжать работу. Весь процесс занимает менее 5 минут не то, что открываешь твиттер или ленту в социальной сети, и два часа пролетают мгновенно

Ещё один пример использования, который я с удивлением открыл для себя, это управление совместными проектами. Проблема, на которую неоднократно жаловались те, кто работает дома вас оглушает вездесущий, постоянный звон уведомлений, поскольку бесчисленные приложения для чата и совместной работы постоянно борются за ваше внимание с новыми вопросами, комментариями и обсуждениями, которые и так уже открыты в браузере. Для меня RSS решил проблему. Вместо того чтобы каждые 10 минут проверять, не появились ли новые задачи в проекте, или преследовать коллегу вопросами, закончил ли он эту функцию, я могу просто отслеживать всё с помощью RSS. Если всплывёт что-то важное, RSS сразу доставит это мне.

Как я уже говорил, некоторым кажется, что RSS отошёл на второй план, поскольку контент всё больше изолируется внутри замкнутых социальных платформ. Однако на многих сайтах RSS всё ещё легко доступен, например:

Reddit по-прежнему поддерживает RSS, достаточно добавить /.rss в конец заданного URL.
GitHub позволяет добавить фид активности аккаунтов/организаций, за которыми вы следите, если нажать на значок фида в нижней части страницы вашего аккаунта.

В коде страницы с коммитами любого проекта есть ссылка на фид такого вида:
```
<link href="http://personeltest.ru/aways/github.com/cloudera/flume/commits/master.atom" rel="alternate" title="Recent Commits to flume:master" type="application/atom+xml">
```
На YouTube тоже есть поддержка RSS: достаточно вставить ID канала (серию цифр и символов из URL на главной странице канала) в следующий адрес:
```
www.youtube.com/feeds/videos.xml?channel_id=CHANNEL_ID
```

Получать только нужный контент и только когда захочу, переключение между ридерами на моё усмотрение, и всё это без рекламы? Для меня ни один другой сервис не сравнится с гибкостью, надёжностью и общей простотой использования, которые предлагает RSS.

Возможно, его золотой век и закончился, но RSS ещё чувствует себя вполне бодрячком при наличии таких сервисов, как Feedly и Newsboat (рекомендую), а также множеством мобильных приложений на любой платформе, позволяющих наслаждаться Интернетом в его лучшем виде.

Подробнее..

Категории: Социальные сети и сообщества , It-стандарты , Github , Социальные сети , Reddit , Youtube , Блог компании itsumma , Infolust , Rss , Feedly , Inoreader , Feedbin , Newsblur , The old reader , Глубокая работа , Совместные проекты , Цифровое благополучие , Сохранение рассудка , Информационный поток

Клубный дом без Китая и его конкурент в нише аудиосоцсетей какой проект перспективнее

17.02.2021 16:08:10 |

Автор: admin

Обсуждаем, как развивается ситуация вокруг Clubhouse и его ближайшего конкурента, который не теряет надежд стать еще более заметным игроком в нише социальных сетей с аудио.

Фотография: Dmitry Mashkin. Источник: Unsplash.com

Что случилось

Сотрудники Internet Observatory Стэнфордского университета, специализирующиеся на вопросах информационной безопасности, указали на потенциальные слабые места новой социальной сети Clubhouse. В первую очередь они обратили внимание на одного из поставщиков облачной ИТ-инфраструктуры проекта компанию Agora Inc. со штаб-квартирой в Шанхае. Один факт того, что данные американских пользователей могут храниться не только на территории США, уже вызвал дискуссии в силу радикального закручивания гаек и подозрительного отношения к китайским технологическим вендорам. Эксперты дополнили свои доводы тем, что по их наблюдениям обмен идентификаторами пользователей и комнат с голосовыми чатами происходит в plaintext-формате без какого-либо шифрования, что в ряде ситуацией позволяет компании-хостеру сопоставлять обезличенные аудиозаписи разговоров с именами их участников. Как пишут в The Verge, эта уязвимость может ставит под угрозу не только конфиденциальные данные американцев, но и безопасность китайских пользователей, не желающих раскрывать суть своих переговоров третьей стороне госструктурам КНР, которые могут потребовать от китайского поставщика ИТ-инфраструктуры раскрыть такие данные.

Представители Agora опровергли все обвинения в свой адрес, а в Clubhouse подчеркнули, что и не собирались открывать доступ к соцсети в Китае. Однако представители проекта рассказали о том, что в какой-то момент аналитики компании действительно сообщили о росте трафика из Поднебесной и руководство Clubhouse решило заблокировать доступа к приложению, чтобы исключить какие-либо соприкосновения с китайской ИТ-инфраструктурой и сервисами, плюс потребовало от разработчиков обратить дополнительное внимание на шифрование данных.

Фотография: Road Trip with Raj. Источник: Unsplash.com

Стоит заметить, что за несколько дней до публикации исследования специалистов Стэнфордского университета соцсеть заблокировали уже на территории самого Китая по решению местных ведомств, отвечающих за контент в сетевом пространстве.

Почему сейчас

Аналитики связывают рост популярности аудиосоцсетей не только с запросом на новые решения со стороны лейблов и музыкальных сервисов, но и с широким распространением удобных беспроводных наушников вроде AirPods [только за 2019-й было продано более 60 млн пар] и их многочисленных аналогов. Последние позволяют аудитории соцсетей и видеохостингов проводить перед экранами меньше времени, но и не упускать возможность послушать что-то интересное вроде подкастов, новостей и записей других пользователей в качестве фона.

Количество стартапов, предлагающих подобные аудиосервисы, увеличивается с каждым днем. Одним из ключевых драйверов рынка выступает Clubhouse кто-то приписывает этому проекту абсолютный успех, другие считают его раздражителем, третьи просто-напросто блокируют [опыт Китая мы обсудили выше]. Так или иначе, он делает свое дело последние пару лет аудиосоцсети притягивают существенные объемы средств венчурных инвесторов, стремящихся поддержать как молодые команды, так и коллективы с многолетним опытом работы со звуком.

Фотография: Raul Angel. Источник: Unsplash.com

В качестве примера последнего можно привести южнокорейский Spoon, который только за 2018 и 2019 год привлек более 57 млн долларов инвестиций, хотя работает уже более пяти лет. Первыми существенными доходами соцсеть могла похвастаться три года назад, когда стала наиболее популярным сервисом для голосовых эфиров в Южной Корее спрос доходил до 2,5 млн скачиваний приложения в сутки, а за год компания-разработчик заработала 20 млн долларов. С тех пор она вышла на рынки Японии, Индонезии, Вьетнама и США, плюс увеличила выручку сперва до 41 млн в 2019-м, а в 2020-м приблизилась к отметке в 100 млн долларов.

На этом руководство компании не планирует останавливаться Spoon готовят к выходу на рынки ряда стран Юго-Восточная Азии, нельзя исключать и возможную экспансию в Китай. Сможет ли этот проект составить конкуренцию Clubhouse на европейском рынке, покажет будущее, однако стоит заметить, что Spoon выглядит как вполне устоявшийся бизнес на фоне других аудиостартапов, которые пока расходуют привлеченные средства инвесторов, хотя и уступает Clubhouse с точки зрения удобства и простоты пользовательского интерфейса.

Что еще у нас есть для дополнительного чтения:

Подробнее..

Категории: Социальные сети и сообщества , Блог компании аудиомания , Звук , Аудиомания , Социальные сети , Медиа , Аудиосоцсети , Clubhouse , Spoon

Clubhouse без iPhone. How-to инструкция

19.02.2021 10:18:50 |

Автор: admin

Дисклеймер

В этой статье я расскажу, как запустить Clubhouse без iphone с помощью консольного python приложения, которое позволит пользоваться большинством функций социальной сети. Clubhouse оказался прикольной теплой ламповой площадкой, но для владельцев андройдов вроде меня эта соцсеть недоступна, а версия для андройда, по слухам, выйдет не ранее мая.
Автор статьи отказывается от любой ответственности за неправомерное использование полученных знаний и напоминает что статья сделана с обучающей и справочной целью. Создание ботов, кибербуллинг и прочие плохие вещи делать крайне не рекомендуется.

Шаг 1. Виртуальный iPhone

Для того, чтобы зарегистрироваться в приложении вам понадобится сервис, предлагающий автоматизированное тестирование мобильных телефонов. В целом можно обойти это требование и зарегистрироваться с использованием реверснутой библиотеки, но вероятно вас смогут вычислить и забанить. К тому же в виртуальной лабе вы сможете потыкать приложение до выхода андройд версии и зафолловить понравившихся людей, чтобы у вас был список комнат с вашими интересами. На рынке есть несколько таких сервисов. Я остановился на browserstack.com там есть возможность получить доступ к реальному iphone, который лежит где-то в серверной и его экран расшаривается на веб-приложение. Нам понадобится функционал App Live он доступен только по подписке. Я честно отдал порядка 40 долларов за один месяц тестирования. Кроме этого, нам понадобится любое .ipa приложение, чтобы сервис позволил вам запустить выбранную модель iPhone'а:

iPhone 11 на app-live.browserstack.com

Никаких дополнительных настроек не надо - заходим в App Store под своим Apple ID и устанавливаем Clubhouse:

Установка приложения Clubhouse

Приложение попросит ваш телефонный номер, пришлет код на ваш реальный телефон, и тут вам понадобится приглашение в Clubhouse, заранее позаботьтесь, чтобы кто-то из друзей в приложении вам его отправил на ваш номер телефона. После получения приглашения заполните информации о себе в био это единственное место в приложении, где можно рассказать о себе текстом. Интерфейс простой, главное подписаться на интересных вам людей, чтобы дальше можно было легко находить комнаты для прослушивания в консоли:

Поиск людей в приложении Clubhouse через онлайн-доступ к реальному iPhone

У всех онлайн-сервисов по тестированию мобильных телефонов есть недостаток: они не умеют перенаправлять звук и микрофон на ваш браузер. То есть с этого эмулятора вы не сможете послушать в Clubhouse ни одной беседы и сами сказать ничего не сможете. Чтобы общаться в комнатах и слушать, что говорят другие, вам придется запустить python приложение на своем компьютере.

Шаг 2. Сlubhouse-py

Для прослушивания комнат и для диалогов будем использовать консольное pyhton приложение. Брать отсюда: https://github.com/stypr/clubhouse-py

Оно основано на реверснутом протоколе clubhouse'а и автор обещает удалить приложение после выхода нормальной версии для андройда. Для работы приложения требуется Python версии 3.7 и выше. Приложение работает под Windows и macos.
Установка простая:

git clone https://github.com/stypr/clubhouse-pycd ./clubhouse-pypip3 install -r requirements.txtpip3 install agora-python-sdk

Для запуска выполните:

python3 cli.py

Если у вас все заработало с первого раза поздравляю!

Но скорей всего будут проблемы.
Во-первых, на 19 февраля 2021 сборка библиотеки agora-python-sdk под Windows сломана, поэтому вместо установки через pip лучше собрать проект руками. Инструкция здесь: https://github.com/AgoraIO-Community/Agora-Python-SDK#installation

Во-вторых, для macos надо дать разрешения на доступ к Микрофону ( Microphone ) и Универсальный Доступ ( Accessability ) для терминала и python'а. А также, вероятно, потребуется изменить комбинацию клавиш для "поднятия руки", так как в двуязычном маке нормально не работает модуль для биндинга горячих клавиш. Для этого откройте в любом редакторе cli.py и измените :

if not channel_speaker_permission:      print("[*] Press [Ctrl+Shift+H] to raise your hands for the speaker permission.")      keyboard.add_hotkey(            "ctrl+shift+h",            _request_speaker_permission,            args=(client, channel_name, user_id)      )

на что-то подобное:

if not channel_speaker_permission:      print("[*] Press [3] to raise your hands for the speaker permission.")      keyboard.add_hotkey(            "3",            _request_speaker_permission,            args=(client, channel_name, user_id)      )

В-третьих, в macos из-за биндинга клавиш приложение надо запускать под рутом:

sudo python3 cli.py

После запуска приложение попросит указать номер телефона и ввести код для аутентификации, после чего сохранит полученный токен в settings.ini
Вот так выглядит запущенное клиентское приложение:

консольный интерфейс управления clubhouse-py

Еще важный момент: консольное приложение по-умолчанию отображает 20 записей в списке каналов и 20 пользователей в каналах. Чтобы увеличить лимиты можно изменить значение переменной max_limit в файле cli.py:

max_limit = 30

Вывод

Я смог протестировать Clubhouse и полноценно зарегистрировать себя и еще нескольких друзей таким способом. И уже несколько дней слушаю беседы и периодически общаюсь в них.
У приложения на python'е есть недостатки: самый главный - это консольный интерфейс. Вы не увидите обновления списка спикеров и не сможете включать/выключать ваш микрофон из приложения. Как workaround включайте/выключайте микрофон другими способами. Кроме того, список доступных бесед ограничен количество строк и возможна ситуация, когда вы не увидите нужную вам беседу. Немного поэкспериментировав, я не нашел способа выводить больше 30 записей в списке бесед, но думаю что такой способ точно есть. Иногда помогает сохранить channel_name отдельно и подключаться напрямую по адресу. Адрес беседы можно взять из ссылки на событие, например: https://www.joinclubhouse.com/event/M1e7eO3N. Приложение не создает подписку на события ( это не реализовано в протоколе clubhouse-py ), поэтому вы не сможете получать приглашения на приватные беседы и прочие оповещения. Но часть проблем можно решить, используя виртуальные лабы с iPhone'ами. Например, это удобно для того, чтобы посмотреть список предстоящих мероприятий, подписаться на каких-то известных людей и просто поискать своих друзей.

В общем, если нет айфона, но есть мозги, то решить проблему с популярным приложением можно. Обратное не работает.
Спасибо за внимание!

Подробнее..

Категории: Социальные сети и сообщества , Python , Iphone , Лайфхаки для гиков , Android , Социальные сети , Голосовые интерфейсы , Clubhouse , Vendorlock , Clubhouse-py

.NET разработчик, найдись! или история о строителях социальных сетей

04.03.2021 22:20:04 |

Автор: admin

Кадр из фильма Офисное пространство

На прошлой неделе технологическая компания, занимающаяся автоматизацией сетей общественного питания, опубликовала в соцсетях фотографию одной из своих точек питания при входе в которую висело объявление о поиске .NET-разработчика. Объявление содержало текст .NET разработчик найдись и QR-код, содержащий ссылку на описание вакансии. Этот нестандартный метод хантинга разработчиков заставил меня вспомнить о событиях 14-летней давности, свидетелем которых мне довелось быть. История, о которой пойдет речь, является примером самого быстрого найма разработчиков из всех, что я видел за свою карьеру. Поскольку я собираюсь рассказать эту историю без прикрас, то я последую примеру Игоря Ашманова и напишу статью в жанре зашифрованных мемуаров. Поэтому вы не увидите здесь ни имен людей, ни названий компаний.

Немного обо мне

К осени 2006 года я уже был опытным веб-разработчиком. За плечами были 3 года опыта коммерческой разработки в крупном ИТ-холдинге и веб-студии. Также был и 1 год опыта некоммерческой разработки, который был получен при создании интернет-портала своего вуза. В тот момент я искал финансовой стабильности, а где ее найти, как не в финансовой сфере, поэтому я устроился работать в Инвестиционную компанию.

Проекты

Я должен был переписать старый интернет-проект о ценных бумагах (далее Первый проект), с Classic ASP на ASP.NET. Поскольку на проекте за один год уже успели смениться 2 разработчика, то сначала нужно было доделать незаконченные задачи и навести небольшой порядок. Я, в принципе, был не против этого, потому что подобные задачи позволяли лучше изучить проект перед его переписыванием.

В первый день работы я узнал, что буду работать отдельно от сотрудников IT-департамента на территории Внутреннего заказчика во Вспомогательном офисе компании. Если быть точным, то это была работа не на территории заказчика, а рядом с территорией заказчика, потому что Внутренний заказчик не горел желанием размещать программиста в своем отделе.

Меньше чем через 2 месяца я разобрался с накопившимися в проекте проблемами. Внутренний заказчик был очень доволен и даже на одном совещании с руководством компании высказал идею, что для повышения эффективности было бы неплохо разместить рабочие места сотрудников IT-департамента в подразделениях, с которыми они работают.

Перед самым Новым годом Внутренний заказчик сообщил неожиданную новость, что его отдел стал ответственным за еще один интернет-проект (далее Второй проект) и мне нужно подключиться к работе над ним. Проект был старый и тоже был написан на Classic ASP. Работы по нему должны были стартовать еще в ноябре, но HR-служба не смогла нанять исполнителей.

Намного позже я узнал, что по определенным негласным причинам сотрудники IT-департамента больше не хотели участвовать в проектах Внутреннего заказчика, поэтому на эти проекты старались брать людей со стороны.

Первоначально работа по Второму проекту выглядела, как простое натягивание нового дизайна. Дома во время новогодних праздников я занимался тем, что нарезал и заверстывал макеты, полученные от дизайнера. При сопоставлении макетов и старого сайта стало понятно, что работы будет в разы больше. Предполагалось превратить старый проект о паевых фондах в портал для неквалифицированных инвесторов, и со временем на нем должно было появиться много нестандартного функционала.

Инвестиционная компания

Компания, по меркам тех времен, считалась крупной и росла намного быстрее своих ближайших конкурентов. В финансовой сфере она была известна, прежде всего, тем, что смогла очень выгодно инвестировать в популярные интернет-проекты. В какой-то момент руководство решило, что в компании уже накопился достаточный опыт для самостоятельно запуска подобных интернет-проектов.

Вспомогательный офис

Здания Вспомогательного и Основного офисов находились на разных сторонах одной улицы, расстояние между ними составляло несколько сотен метров. Вспомогательный офис представлял из себя большую квартиру в жилом доме дореволюционной постройки, которая была переделана под офис. В основном там располагались подразделения, отвечавшие за контент интернет-проектов финансовой тематики, и независимые интернет-проекты, которые по тем или иным причинам не могли считаться частью IT-департамента. Также там было небольшое количество финансистов, но они постепенно переезжали в другие офисы компании.

Когда я только пришел в компанию, то во Вспомогательном офисе было всего 2 независимых интернет-проекта:

Проект по созданию отечественного аналога eBay (далее я буду называть его Интернет-аукционом), который в основном состоял из .NET-разработчиков.
Экономическая онлайн-игра с очень разнообразной командой технических специалистов: от Flash-разработчика до C++-программиста.

Первоначально мое рабочее место находилось в стеклянной переговорке, в которой располагались сотрудники Интернет-аукциона. Поскольку переговорка была рассчитана лишь на пять человек, а команда росла, то через три недели мне пришлось переехать в другое помещение. Новое помещение уже было полноценной комнатой, в которой располагались сотрудники Онлайн-игры и еще два сотрудника, работающих самостоятельно. С этим коллективом я проработал больше полугода и наиболее яркие воспоминания о компании связаны именно с этим периодом.

Условия работы во Вспомогательном офисе многие сейчас назвали бы спартанскими. В доме не было горячего водоснабжения и в зимнее время года из крана лилась ледяная вода. У нас не было привычных для современных офисов микроволновок, кофе-машин, игровых приставок и настольных игр. Было только то, что требовалось для работы: столы, офисные кресла, системные блоки, мониторы и кулер, который сотрудники купили в складчину. На каждую комнату компания выделяла по одной бутылке для кулера в месяц, как правило ее хватало всего на несколько дней, поэтому каждый месяц мы скидывались на покупку дополнительных бутылок.

Из сиюминутных плюшек в компании были только талоны на бизнес-ланч, которыми можно было расплатиться в нескольких ближайших точках общепита. Остальные составляющие соцпакета начинали действовать только через год работы.

Но тем не менее у работы во Вспомогательном офисе были свои плюсы. Там не было суеты характерной для Основного офиса. Поскольку во Вспомогательном офисе работали в основном контентщики и веб-разработчики, то в нем царила тишина, что позволяло сосредоточиться на работе и достигать высокой продуктивности.

В начале 2007 года во Вспомогательный офис переехало Рекламное агентство, долей в котором уже долгое время владела Инвестиционная компания. С этого события начался процесс преобразования Вспомогательного офиса в своего рода Веб 2.0 инкубатор, что тоже можно считать одним из плюсов.

Строители социальных сетей

В середине февраля из-за изменившейся внешней конъюнктуры нам пришлось запустить Второй проект досрочно. Не успев отойти после его запуска, я услышал от Внутреннего заказчика очередную новость: В рамках этого проекта мы должны запустить Социальную сеть пайщиков. Сделать это нужно до конца апреля.. В принципе, наличие подобного функционала не было для меня неожиданностью, потому что в ранних версиях макетов присутствовал соответствующий раздел, но словосочетание социальная сеть звучало впервые. Несмотря на то, что основная концепция Социальной сети пайщиков была озвучена представителями компании в СМИ еще в январе, оставалось много организационных и юридических деталей, которые Внутренний заказчик должен был учесть при написании ТЗ.

Работы по Второму проекту было и без того много. Постоянный недостаток времени приходилось компенсировать переработками. Мой трудоголизм не раз становился поводом для шуток со стороны коллег (соседей по комнате).

Один раз, придя на работу, я увидел Flash-разработчика, сидящим под дверью комнаты. Я спросил у него: У тебя что нет ключа от комнаты?, на что он мне ответил: А зачем он мне вообще нужен? Если ты постоянно на работе сидишь!.

В другой раз я решил уйти с работы вовремя и когда я уже подошел к двери руководитель Онлайн-игры сказала мне: Хорошо тебе повеселиться! Ты же наверно на какое-то мероприятие идешь? .

Вся эта ситуация делала перспективы переписать Первый проект весьма туманными. Отсутствие возможности писать на .NET заставило меня больше смотреть по сторонам. Во время локального корпоративного мероприятия по случаю 23 февраля в комнате контентщиков, в которой был накрыт праздничный стол, я заметил человека, читающего какое-то руководство по Visual Studio Team System. Мне стало интересно, и я спросил у него: Вы .NET-разработчик?, и он ответил: Почти Я тимлид!. В процессе разговора выяснилось, что, в данный момент, он вместе с Проджект-менеджером из рекламного агентства разрабатывает концепцию Музыкальной социальной сети и в скором времени начнет собирать команду .NET-разработчиков. Я рассказал ему о своем опыте разработки на .NET Framework и SharePoint. На что он мне ответил: .NET Framework 1.1. это конечно хорошо, но на наш проект требуются люди, которые пишут на .NET 2.0 как минимум год причем полный рабочий день без отвлечения на всевозможные легаси-проекты. В общем, стало понятно, что он ищет людей, полностью погруженных в .NET-разработку на протяжении последних нескольких лет. Еще он мне рассказал, что планирует установить TFS и организовать работу команды по методологии MSF.

Придя на работу после праздников, я увидел, что Тимлид и Проджект-менеджер переселяются в комнату, в которой раньше сидели финансисты и переводчики. Эта комната была смежной с комнатой, в которой располагался отдел Внутреннего заказчика, т.е. чтобы попасть к Внутреннему заказчику нужно было пройти половину этой комнаты. После обеденного перерыва на двери этой комнаты уже висела табличка Социальные сети.

В начале марта на каком-то программистком сайте (sql.ru, relib.com или gotdotnet.ru) я увидел следующий баннер:

В оригинале на этом баннере был указан район, в котором располагались офисы Инвестиционной компании, и адрес электронной почты, содержащий название компании. При щелчке по баннеру осуществлялся переход на описание вакансии:

Как видно из рисунка это было довольно лаконичное описание. По внешнему виду оно напоминало объявления о найме сотрудников, которые публиковались в газетах или вешались на фонарных столбах. В принципе, было не сложно догадаться кому оно принадлежало. Чтобы подтвердить свои догадки я перешел на главную страницу. Это был личный сайт Проджект-менеджера из Рекламного агентства.

Надо признать, что Проджект-менеджер хорошо разбирался в таргетинге интернет-рекламы, потому что эта информация практически мгновенно дошла до своей целевой аудитории. На обеденном перерыве я зашел к разработчикам Интернет-аукциона, и, как выяснилось, они тоже видели этот баннер и были впечатлены размером заработной платы. Через несколько дней со мной по ICQ связался коллега с предыдущего места работы и начал узнавать у меня, что я знаю об этой вакансии. Я объяснил ему, что там требуется серьезный опыт работы с .NET 2.0. На что он ответил мне: Пусть у меня нет особого опыта работы с этой версией, но я все равно отправлю туда резюме, а потом, если что подтяну свои навыки. Поскольку он больше мне не писал, то думаю, что он не смог пройти первоначальный отбор.

Ближе к концу марта появилось некое подобие ТЗ на Социальную сеть пайщиков. Запуск планировалось производить в несколько этапов. Первый этап предполагал интеграцию с одной из внутренних учетных систем. Мы встретились с сотрудниками Отдела автоматизации, отвечающим за эту систему, и договорились, что они напишут для нас хранимые процедуры, которые будут возвращать нужные нам данные.

Периодически во время обсуждения своей работы в кабинете Внутреннего заказчика, я видел, как Тимлид Музыкальной социальной сети собеседовал кандидатов. Желающих устроится на этот проект было много и это не очень нравилось сотрудникам отдела Внутреннего заказчика, потому что они были вынуждены слушать практически одно и тоже в течение всего рабочего дня.

По моим подсчетам у Тимлида ушло не больше двух недель на подбор трех .NET-разработчиков, потому что уже в 20-х числах марта нанятые им сотрудники вышли на работу.

В то время найм разработчиков занимал гораздо меньше времени чем сейчас. Частично это было связано с тем, что тогда не существовало такого понятия как вайтишник. Лишь небольшое количество людей стремилось работать в IT и в большинстве случаев для подбора не требовались фильтры в виде многоэтапных собеседований. Была скорее обратная ситуация, когда студенты нетехнических специальностей устраивались айтишниками, чтобы наработать стаж, а потом шли работать по специальности. В основном они начинали в качестве админов, но некоторые работали и программистами, в результате чего иногда появлялись проблемные проекты, которые затем превращались в вечное легаси.

В тоже время опытных .NET-разработчиков было немного. Несмотря на то, что .NET Framework существовал уже пять лет, это все еще был переходный период. Мало кто из опытных разработчиков, начинал свой путь с .NET, потому что до версии 1.1 это была малопригодная для коммерческой разработки технология. На .NET в основном переходили разработчики, писавшие на следующих технологиях: Visual Basic, Classic ASP, Delphi и Visual J++. Осуществить такой переход было гораздо сложение чем сейчас перейти с .NET Framework на .NET Core или .NET 5. Как правило, у новоявленных .NET-разработчиков все еще оставалось на поддержке какое-то количество легаси-кода.

Помимо нестандартного размещения вакансии, у столь быстрого завершения поиска сотрудников были и другие объяснения:

Деньги решают все. Нижняя планка зарплаты была, конечно, хорошая, а вот верхняя, в те годы, могла заставить сильных разработчиков покинуть свои насиженные места. Многих не остановили бы даже не совсем комфортные условия работы. Но, с точки зрения работодателя, здесь был один минус. Например, разработчики Интернет-аукциона, имевшие сеньорские должности, ознакомившись с текстом вакансии в тот же день пошли в HR-службу компании требовать прибавку к зарплате.
Отсутствие бюрократических барьеров. Поскольку найм производился непосредственно Тимлидом, а офис находился в квартире жилого дома, то отсутствовали многие бюрократические барьеры: заказ гостевых пропусков у администрации бизнес-центра, бронирование переговорок, первый этап собеседования с HR-специалистом и согласование каждой кандидатуры с вышестоящим руководством.
Понятные критерии подбора. Потенциальных сотрудников оценивали исключительно по хард-скиллам. Причем большинство этих хард-скиллов было стандартизировано, потому что при разработке планировалось использовать исключительно технологии, инструменты и методологии одного вендора Microsoft. Сейчас такое сложно представить, но тогда это было нормой. Кроме того, это был совершенно некорпоративный найм. Если сейчас некоторые компании заявляют об отсутствии у них корпоративности, то, скорее всего, это является частью их корпоративной культуры. Никто не проверял кандидатов на соответствие корпоративной культуре, потому что сами нанимающие не были с ней знакомы.

На этом можно было бы закончить статью и добавить все описанное выше в качестве примера в учебники по IT-рекрутменту. Но тогда статья не была бы честной. Поэтому я расскажу историю до конца.

Меняющаяся реальность

Выйдя на работу, разработчики Музыкальной социальной сети приступили к проектированию своей системы. Тимлид рисовал архитектуру системы на доске, а разработчики высказывали свои мысли. Все это продолжалось как минимум несколько дней, что вызывало немое недоумение у Проджект-менеджера. Кроме того, ни у кого в команде не было опыта запуска социальных сетей.

И как я уже говорил раньше, многое в компании зависело от внешней конъюнктуры. В конце марта один Интернет-гигант купил Популярную в Рунете социальную сеть. Технически она была очень грамотно реализована. Тогда уже многие сайты использовали в своих интерфейсах AJAX, но не все использовали Unobtrusive (ненавязчивый) JavaScript. Данный подход позволял сайтам работать одинаково хорошо, как с включенным в браузере JavaScript, так и с отключенным.

Определенная часть команды Популярной социальной сети не стала переходить на работу в Интернет-гигант. Инвестиционная компания имела обширные связи в интернет-тусовке и поэтому практически мгновенно смогла выйти на этих людей и предложить им работу.

В начале апреля Проджект-менеджер объявил команде о закрытии проекта Музыкальной социальной сети.

Аудиторы интернет-проектов

Сразу же из команды Музыкальной социальной сети уволился один разработчик. После этого к решению проблемы подключилась HR-служба компании. Эйчары не могли допустить, чтобы только что нанятых высокооплачиваемых сотрудников просто выставили на улицу. Поэтому они начали искать варианты трудоустройства Тимлида и двух разработчиков внутри компании. В тот момент, в IT-департаменте просто не было физического места для размещения новых сотрудников. Единственным местом трудоустройства оставались независимые интернет-проекты Вспомогательного офиса. Было принято решение отправить по одному разработчику в каждый из проектов. Их задачей было провести технический аудит проектов и устранить найденные недоработки. Отчитываться они должны были Тимлиду, который, в свою очередь, должен был отчитываться перед руководством Инвестиционной компании.

Тимлид переехал обратно в комнату контентщиков. В комнату, в которой сидели разработчики Онлайн-игры и я, переехал самый опытный .NET-разработчик. Поскольку помимо технического образования у него также было и духовное образование, то мы между собой называли его Семинаристом. К разработчикам Интернет-аукциона переехал второй .NET-разработчик, которого там прозвали Велосипедистом за то, что он ездил на работу на велосипеде.

Семинарист обладал обширными знаниями по последним технологиям Microsoft. Из любопытства я спросил у него о том, как он смог так сильно прокачаться. На что он мне ответил: Последние полгода я работал Полугосударственной компании, в которой были продолжительные простои. Мы очень долго ждали пока бизнес-аналитики сформулируют свои требования. Кто-то во время этих простоев играл в Counter-Strike, а я и еще несколько человек прокачивались. Я оттуда уволился, чтобы больше разработкой заниматься, а сейчас вообще неизвестно чем занимаюсь.

В 20-х числах апреля Отдел автоматизации наконец-то предоставил мне хранимые процедуры. Нерешенной оставалась проблема добавления в учетную систему тестовых записей, на основе которых мы могли бы завести тестовые аккаунты. Ни айтишники, ни бизнес не могли решить эту проблему. Кто-то говорил, что так нельзя из соображений безопасности, а кто-то, что это невозможно юридически. В общем, мы шли по кругу. В какой-то момент Внутренний заказчик сказал мне, что договорился с руководителем Подразделения, занимающегося паями. И я услышал от него следующее: В общем, возьми паспорт и ИНН, и сходи в Основной офис и купи себе пай. Я так уже и поступил. На следующий день я пришел в Основной офис и обратился к сотруднику фронт-офиса, контакты которого мне дал Внутренний заказчик. Заполнив все анкеты, я внес через кассу свои собственные деньги. После того, как мне выдали все необходимые документы, сотрудник фронт-офиса сказал мне: Ой! Вы извините, но мы Вам случайно комиссию за оформление посчитали. Но я думаю, что ничего страшного из-за этого не случится.. Это было самое запоминающиеся оформление тестового аккаунта в моей жизни ;-)

Через пару дней Внутренний заказчик, занятый организационными вопросами запуска Социальной сети пайщиков, перестал отвечать на звонки и почту. После некоторого времени в мой почтовый ящик посыпались письма людей, которые не могли решить свои вопросы с Внутренним заказчиком. Однозначно истолковать суть этих писем было сложно, т.к. в них приводились ссылки на какие-то ранние договоренности с Внутренним заказчиком. Я обратился к нему за разъяснениями, на что он ответил: Игнорируй их и занимайся своей работой.. Сотрудники отдела Внутреннего заказчика, в принципе, были обычными контентщиками, поэтому часть звонков они также стали переводить на меня. Поскольку в моей комнате был всего один телефон, то это очень мешало работе разработчиков Онлайн-игры. И в один в прекрасный день мне позвонила Новый руководитель одного из маркетинговых подразделений. Первое, что я услышал: Почему Вас нельзя найти ни в IT-департаменте, ни в отделе Внутреннего заказчика? Когда вы заверстаете присланные мной макеты?. На это я ей ответил, что эти макеты содержат HTML-формы и вывод данных в виде таблиц, и одних графических файлов мало, т.к. нужен какой-то пояснительный текст. Ее ответ был следующим: Внутренний заказчик сказал, что работа по этой задаче ведется уже давно!. Поскольку до этого я не видел эти макеты и не имел никакой другой информации, то сказал ей, что, скорее всего, Внутренний заказчик пишет по этой задаче ТЗ. На что получил ответ: Вы не хотите работать!!!, затем разговор перешел на повышенные тона с обоих сторон. Весь этот бесконечный поток информации говорил только об одном, что задачи, стоящие в наших планах, были лишь верхушкой айсберга.

Несмотря на все отвлекающие факторы, между майскими праздниками мы все-таки запустили нашу социальную сеть.

В начале мая Вспомогательный офис начал расширяться. В качестве дополнительного помещения стала использоваться квартира на последнем этаже, из которой в конце апреля съехали какие-то англичане. Одними из первых туда переехали разработчики Интернет-аукциона. В их стеклянную переговорку должно было въехать новое подразделение, состоящее из очень известных деятелей Рунета. Новое помещение имело совершенно другую планировку. Разработчики Интернет-аукциона очень долго смеялись, когда в санузле обнаружили джакузи. Другой интересной особенностью этой квартиры было то, что внутри помещения рядом с дверью был стол, за которым сидел мужчина в строгом деловом костюме. Неосведомленные люди принимали его за охранника, но на самом деле он был финансистом, занимавшим директорскую должность, и по совместительству преподавателем учебного центра (его, кстати, сейчас часто показывают по телевизору).

Тем временем аудиторы интернет-проектов продолжали делать свою работу. Их основной задачей было, что-то найти. И они, как правило, что-то находили. В Онлайн-игре ничего особо серьезного не нашли, а вот в коде Интернет-аукциона был найден какой-то участок кода, имевший проблемы с производительностью. Тимлид на основе информации, полученной от Велосипедиста, записал нагрузочный тест и запустил его на stage-сервере. Сервер упал, причем упал в какой-то неподходящий момент, тем самым вызвав серьезное раздражение у разработчиков Интернет-аукциона. Если бы, тогда они сидели на одном этаже, то дело могло дойти и до драки. Аудиторы поняли, что дальше так работать уже нельзя и Тимлид встретился с руководством IT-департамента. В IT-департаменте существовал проект по разработке Социальной сети трейдеров. Внутри компании за него отвечали два .NET-разработчика, также над ним работали дизайнер и верстальщик, но они находились за пределами компании. Проект буксовал из-за разногласий .NET-разработчиков с дизайнером. В основном, эти проблемы были связаны со специфической HTML-разметкой, создаваемой технологией ASP.NET Web Forms. В общем, разработчики ни в чем не были виноваты. Руководство предложило усилить эту команду Тимлидом, Семинаристом и Велосипедистом. Проблема с отсутствием свободного места должна была решиться в конце мая или начале июня, после окончания ремонта новых помещений для IT-департамента.

Тимлид рассказал об этом варианте своей команде. После чего они даже сходили в Основной офис и пообщались с командой проекта. Семинариста этот вариант не устроил, потому что он больше не хотел связываться с легаси-кодом. Поэтому он отдельно от всех встретился с Проджект-менеджером и руководством Рекламного агентства. Он убедил их, что сам способен собрать команду разработчиков и запустить любой проект. Рекламное агентство заинтересовалось его предложением и выдвинуло идею проекта с очень оригинальной концепцией.

Во вспомогательный офис прибывали все новые и новые люди. В один прекрасный день ко мне подошел Руководитель контентщиков, который по факту отвечал за весь Вспомогательный офис, и сказал следующее: Тебе скоро придется покинуть это помещение. Куда тебя переселять не знаю. Не исключен и вариант переезда в коридор. В общем, решай этот вопрос с Внутренним заказчиком. В принципе, я знал, что этот день когда-нибудь наступит, но также я знал от Семинариста о новых помещениях IT-департамента. Поскольку это была уже не первая конфликтная ситуация за этот месяц, то я решил, что терять мне особо нечего и начал добиваться перевода в Основной офис. После долгой и не очень приятной переписки с Внутренним заказчиком, IT-директором и HR-директором, мне одобрили перевод в Основной офис, а также много чего наобещали.

Эпилог

Наступил конец мая. Вечером Тимлид, Велосипедист и я, держа в руках свои вещи, шли по улице в направлении Основного офиса. Впереди нас шли два грузчика и катили тележки с нашим оборудованием. На последнем этаже здания Основного офиса в большом зале, разделенном перегородками, нас ждали новые рабочие места. Поскольку в некоторых частях помещения еще шел ремонт, то мы были одними из первых, кто туда переехал. На столах были приклеены бумажки с нашими фамилиями, сняв их мы поняли, что опять являемся соседями.

Тимлид возглавил группу разработки Социальной сети трейдеров. Данная социальная сеть существует и по сей день. Работая в IT-департаменте ему часто приходилось нанимать разработчиков. Делал он это по-прежнему эффективно, но не так быстро, как во Вспомогательном офисе. Однажды, чтобы срочно закрыть вакансию ему пришлось переманить разработчика из команды Семинариста. В итоге он дорос до должности начальника отдела интернет-проектов. После 5 лет работы в Инвестиционной компании он переехал на западное побережье США.

Велосипедист принял активное участие в запуске новой версии Социальной сети трейдеров, но через полгода покинул компанию. Через некоторое время он устроился ведущим разработчиком в Крупнейший отечественный интернет-магазин, где проработал почти семь лет. Где он работает сейчас неизвестно.

Семинарист возглавил группу по разработке достаточно оригинального проекта, который можно охарактеризовать так: социальная сеть + тамагочи. После 4 лет работы в Инвестиционной компании перешел в Крупную нефтегазовую компанию, отработав там около года переехал на юг Евросоюза.

Я же через месяц после переезда закончил работу над оставшимся функционалом Социальной сети пайщиков. Затем запустил ряд сервисов в рамках второго проекта. Около полугода потратил на поиск разработчика на Classic ASP. В процессе поиска принял Третий легаси-проект, получив таким образом статус Главного и единственного подрядчика Внутреннего заказчика. Два раза хотел уволиться, но меня не отпускали. В итоге нанял .NET-разработчика для последующего переобучения на Classic ASP (своего рода профессиональный даунгрейд). Закончив все крупные задачи понял, что наконец-то могу уволиться, но просчитался с моментом. Через месяц после моего ухода начался кризис 2008 года. По прошествии двух месяцев устроился в более крупную компанию, в которой у меня появились проекты на .NET.

Внутренний заказчик на пике популярности Социальной сети пайщиков успел дать несколько интервью авторитетным финансовым изданиям, в которых подробно рассказал о принципах работы проекта. Примерно через полгода после моего ухода он покинул свой отдел, чтобы возглавить Социальную сеть трейдеров, технической частью которой занимался Тимлид. Из своих старых проектов Внутренний заказчик оставил за собой только Социальную сеть пайщиков. Социальная сеть пайщиков просуществовала около 4 лет и была закрыта одновременно с уходом Внутреннего заказчика из компании.

Инвестиционная компания успешно пережила кризис 2008 года и через некоторое время купила здание. Сейчас в этом здание работает большая часть сотрудников компании.

Несмотря на мою профессиональную стагнацию и упущенные возможности тучных лет, у этого места работы был один существенный плюс я воочию видел, как строился Рунет эпохи Веб 2.0.

Подробнее..

Категории: Социальные сети и сообщества , Управление проектами , Управление персоналом , Net , Карьера в it-индустрии , Социальные сети , Карьера программиста , Офис , Asp.net , Подбор персонала , Веб 2.0 , Офисное пространство , Classic asp

Зачем айтишнику развивать личный бренд? 5 причин, 3 условия, 4 инструмента

13.05.2021 14:15:47 |

Автор: admin

Здравствуйте, дорогой читатель! Сегодня я хочу поделиться своими мыслями и аргументами на тему личного бренда, расскажу подробнее, что это такое, и зачем оно нужно.

Итак, личный бренд это Вы. Да, да, именно Вы. Вы бренд. У Вас есть своя философия, отношение к клиентам и даже логотип! Вы лицо своего бренда, главный идейный вдохновитель, маркетолог и генеральный директор! А клиенты это все люди вокруг, с которыми Вы взаимодействуете. И, конечно, Ваши подписчики и друзья в социальных сетях.

Хм, а какой у каждого логотип-то? Ну, например, отпечаток пальца или лицо. Ваш образ, манера одеваться и даже говорить Ваш фирменный стиль.

Суть в том, что каждый человек уникален, каждый имеет опыт и экспертизу в какой-то области знаний. Как сделать из этого личный бренд?

Очень просто! Начать можно с того, чтобы начать делиться своими экспертными материалами в социальных сетях и на тематических площадках. Но не только! Ваша личная жизнь, Ваш lifestyle это все тоже часть Вашего личного бренда.

Зачем оно нужно Вам?

Личный бренд это доступ в те двери, о существовании которых Вы возможно даже не имели представление. Это новые друзья, знакомства, интересные мероприятия и самое главное деньги! Вам могут предлагать новые дополнительные проекты и заказы, Вас могут просить просто проконсультировать по теме Вашей экспертности. И да, заплатить за это деньги!

Какие бывают сложности?

У 9 из 10 людей сегодня есть определенные сложности в трансляции себя в онлайн. Сколько сторис Вы снимаете каждый день? Ваши друзья знают, как проходит Ваш день?

Многие считают, что делиться своей жизнью не нужно, потому что это никому не нужно и неинтересно. Но это неправда! Большое количество людей с удовольствием будут смотреть, как Вы кодите на работе, как Вы сходили на турник, как Вы выпили сегодня вкуснейший кофе на кокосовом молоке!

Это энергообмен. Когда определенное количество людей вовлечены в Вашу жизнь через онлайн, между вами происходит энергообмен. Ваша жизнь наполняется новыми красками, новыми людьми. Уже скоро Вы не поймете, как жили раньше, как шифровались не понятно от кого. Ок, но от кого Вы скрываетесь?

Попробуйте

Единственный способ понять, Ваше это или нет попробовать. Начните с 3х постов: расскажи о своем хобби, о работе и напишите экспертный пост, который может быть полезен Вашим коллегам (ну или работодателю, который предложит более выгодные условия)

А дальше?

Первый шаг сделан, Вы получили легкую эйфорию и, возможно, с трудом не удалили то, что только выложили. А, может быть, это даже понравилось?

Вас ждёт увлекательное путешествие по развитию личного бренда, где о Вас узнает широкий круг людей.

Интересное наблюдение, что когда Вы открываетесь таким образом миру, мир открывается Вам.

Откуда пошло понятие личного бренда?

Первым упомянул это понятие Наполеон Хилл, который 20 лет брал интервью у самых выдающихся личностей, именно тех людей, которые поставили развитие личного бренда во главу угла своей жизни.

В более современное время этого понятия ярко коснулся в 1997 году журналист Том Петерс в статье The Brand Called You:

Независимо от возраста, независимо от должности, независимо от того, в каком бизнесе мы находимся, все мы должны понимать важность брендинга. Мы являемся генеральными директорами наших собственных компаний: Me Inc. Чтобы быть в бизнесе сегодня, наша самая важная работа-быть главным маркетологом для бренда под названием You.

Это так просто и так трудно. И это неизбежно.

Зачем развивать личный бренд айтишнику?

Ок, сухо несколько фактов:

Вы начнете зарабатывать больше, проверено! Ваша экспертиза начнет расти, Вы начнете больше ценить себя, и люди вокруг тоже
Со временем Вы даже сможете уйти из найма и построить свою команду со своими правилами! Вас уже будут знать, как эксперта, к Вам будет доверие!
Вы сможете путешествовать, жить на море и вообще, где угодно! Если Вы еще этого не сделали, конечно
Social Proof. Если у Вас здесь большое сопротивление, то это Ваша самая большая точка роста! Если Вы интроверт по своей сути, то это не значит, что Вы не можете преломить и изменить ход своей истории. Даже интроверты сейчас развивают личный бренд!
Признание. Овации. О Вас будут говорить, Вами будут восхищаться (но и критиковать, конечно, тоже).

Если я Вас не убедил ни на 1%, то напишите мне 5 доводов, чтобы не делать этого, не развивать личный бренд, мне всегда интересно обратное мнение!

Часто бывает так, что хочется, но не можется, нет сил, времени, смелости или знаний. Тогда приходите ко мне! У меня свой проект по раскачке личного бренда. Будем работать индивидуально, я сам прошёл этот путь (сложный переход в открытость) и знаю, каково это! Присоединяйтесь!

Какие условия нужно соблюдать для развития личного бренда:

Честность. Если Вы встаете на путь развития себя как личного бренда, то предстоит избавиться от любого вранья, который Вы будете транслировать в онлайн.
Открытость. Здесь бывают сложности, потому что изначально у всех у нас нет привычки делиться своей жизнью с другими людьми. Нам просто кажется, что это не будет никому интересно. Но это не так.
Любовь к людям. Так как развитие личного бренда непосредственно связано со взаимодействием с людьми, этот пункт никак нельзя убрать из основных ингредиентов для успеха.

Это основа для старта и крепкого фундамента, а дальше маршрут будет у каждого свой.

Мощные инструменты для раскачки личного бренда:

Социальные сети. Самый простой и доступный способ создать и развить свой личный бренд. Для этого достаточно начать периодически транслировать свою жизнь, а также создавать полезный контент и делиться своей экспертностью.
СМИ, тематические издания. Далеко не все люди любят что-то писать, тем более большие статьи, но этот способ будем лучшим подтверждением Вашей экспертности. Дальше я расскажу, как найти площадку для публикации.
Вебинары, онлайн-мероприятия. Пока что ещё не так много мест, где можно провести свой вебинар на готовую аудиторию. Но если задаться этим вопросом, то можно найти площадки, где можно будет выступить онлайн. Например, социальная сеть КлабХаус, где каждый желающий может получить возможность на голосовое выступление.
Оффлайн мероприятия. Следующим шагом будет уже живое выступление перед аудиторией. Здесь можно получить реальную известность среди определенного сообщества. Обычно такой метод продвижения личного бренда вызывает наибольшую сложность. Но там, где большее сопротивление, также и самая большая точка роста. Каждый эксперт проходил через это.

Нам нужен план

Итак, для успешного развития себя как личного бренда необходимо прежде всего составить план, он будет включать в себя:

Контент-план для социальных сетей. Это необязательно скрупулезный план постов с четкими датами и временем. Однако Вам нужно выбрать хотя бы 5 рубрик, которые Вы будете освещать онлайн. Например, это могут быть Ваше хобби, личная жизнь, 2 рубрики с экспертными материалами и просто советы и инсайты.
План по собственному развитию. Вас следует определиться, какие навыки Вы будете развивать в себе в ближайший год. Какие курсы Вы посетите? Какие пройдете мастер-классы и тренинги? Может быть, Вы давно хотели обучиться слепой печати на клавиатуре?
План по публикациям. С помощью поиска в Яндекс и Гугл можно найти список онлайн-площадок, на которых можно опубликовать свой материал по определенной тематике. После того, как Вы нашли такие, то в некоторых изданиях нужно написать редактору, чтобы согласовать свой материал (его тему). Там, где этого делать не нужно, Вы можете самостоятельно определить тему статьи, которую будете размещать.
План-целеполагание. Чтобы наш корабль пришел в нужное место назначение, нам нужно определить конечную точку в которую мы идем. Например, набрать 100 новых подписчиков в Инстаграм, выступить на оффлайн мероприятии, написать 3 статьи и провести свой вебинар.

Какие ресурсы помогут начать публиковать себя:

PressFeed это замечательная площадка, где журналисты, редакторы, издатели и владельцы компаний публикуют запросы на экспертные материалы, вебинары и комментарии. Каждый день Вам на почту будет приходить список актуальных запросов
Хабр. Здесь Вы можете зарегистрироваться, как частный специалист и начать публиковать свои материалы. Это совсем не страшно, главное сделать первый шаг.
Также Вы можете озадачиться поиском других ресурсов, где можно свободно публиковаться (например, есть авторитетные онлайн-площадки Spark, Vc, Тиньков Журнал и много много других). Смотрите порталы для айтишников!
Вы удивитесь, но Вы даже сможете опубликоваться в Forbes, Деловом Мире или Газета.ру

Где брать фотографии?

Чтобы лента красиво смотрелась и выглядела на экспертном уровне прежде всего стоит отказаться от некачественных фото. Как это сделать? Очень простой лайфхак заведите себе одну классную привычку просить людей сфоткать Вас. Вы наверняка бываете периодически в каких-то новых интересных местах. Для старта хватит таких фото. А дальше уже можно устраивать себе фотосессии хотя бы раз в два месяца. Знаю, что для айтишника это что-то с другой планеты, но после первого раза Вы обязательно поймете ценность этого события и даже войдете во вкус.

Как писать посты?

Писательство это навык, который можно развить в себе, как и любой другой. Нужно только постоянная практика. Самое сложное это начать. Поэтому я рекомендую создать для себя атмосферу, в которой никто и ничто не будет отвлекать и написать хотя 3-4 строчки, а дальше просто отключить голову, перестать как-либо оценивать написанное и продолжать, пока хватит запала. Авиарежим на телефоне Вам в помощь.

Никто не обязывает Вас сразу выкладывать написанное. Для начала можно тренироваться в заметках или в ворде. Важен каждый подход, тут главное выработать привычку.

Никто точно не скажет Вам, какой должен быть тон общения с читателем, в каком стиле Вам общаться с человеком по ту сторону.

Но помните, что главная задача текста это донести информацию. Поэтому сконцентрируйтесь на потенциальном человеке, который будет Вас читать и пишите так, как будто Вы просто разговариваете с ним.

Как начать развивать личный бренд?

Зарегистрироваться под настоящим именем и написать область своей экспертности, область в которой Вы сейчас развиваетесь. Не обязательно быть супер-известным и авторитетным, чтобы просто написать область своей деятельности.
Составить контент-план, план по развитию и план по своим публикациям
Начать систематически следовать плану, выработать привычку добывать новые фото и писать новые тексты

Если Вы действительно нацелены развивать себя как эксперта, развивать свой личный бренд, я могу стать Вашим проводником, коучем и помощником на этом нелегком пути!

Какие бывают сложности

Нет мотивации. Определите для себя, для чего это нужно Вам? Например, Вы уперлись в потолок, но хотели бы зарабатывать больше. Или Вы хотели бы со временем уйти из работы в найме.
Нет времени. Для работы над личным брендом не требуется много времени. Если Вы будете выделять всего 30 минут в день на это, то через год у Вас уже будет многое выстроено и начнет работать на Вас! Вы можете всего небольшую часть времени перестать тратить на развлекательный контент и уделить время себе.
Нет сил. Обычно в начале дня у нас самое ресурсное состояние. Поэтому занимайтесь личным брендом именно в это время. Тогда у Вас всегда будут силы!
Страшно. Первые шаги делать особенно сложно, и встает множество вопросом и препятствий внутри. Постарайтесь договориться с собой и следовать плану, который я описал выше.

Что еще полезного можно почитать?

Для себя открыл одну интересную книгу, которая поможет получить полезную информацию для продвижения себя Фрипаблисити. Автор книги публиковалась в самых авторитетных изданиях и круто выстроила свой личный бренд. Однажды она просто сделала этот выбор.

Почему бы не попробовать и Вам?

Друзья, я буду очень рад вашей обратной связи, мыслям и комментариям на этот счет. Как я уже писал, я веду свой онлайн-курс, где помогаю раскачивать личный бренд людям и запускаю с ними проекты, буду рад новым людям!

Подробнее..

Категории: Социальные сети и сообщества , Конференции , Instagram , Лайфхаки для гиков , Развитие стартапа , Карьера в it-индустрии , Социальные сети , Контент-маркетинг , Саморазвитие , Развитие , Личный бренд , Самообразование , Карьера ит-специалиста , Коучинг , Личный рост

Майним еще больше данных настраиваем сбор рекламной статистики TikTok за день

11.06.2021 08:06:47 |

Автор: admin

Привет, меня зовут Маша, я работаю маркетинговым аналитиком в Ozon. Наша команда "питонит" и "эскьюэлит" во все руки и ноги во благо всего маркетинга компании. Одной из моих обязанностей является поддержка аналитики для команды медийной рекламы Ozon.

Медийная реклама Ozon представлена на разных площадках: Facebook, Google, MyTarget, TikTok и другие. Для эффективной работы любой рекламной кампании необходима оперативная аналитика. В данной статье речь пойдет о моём опыте сбора рекламных данных с площадки TikTok без посредников и лишних заморочек.

Задача на сбор статистики: вводные

У команды медийной рекламы Ozon есть бизнес-аккаунт TikTok, в котором они управляют всей рекламой на этой площадке. Они долго терпели, сами собирали данные из рекламных кабинетов, но всё-таки настало время, когда терпеть уже больше было нельзя. Так у меня появилась задача на автоматизацию сбора статистики из TikTok.

У нас в базах уже были данные о заказах по кампаниям из TikTok, для эффективной аналитики не хватало данных о расходах.

Итак, весь процесс от "нам нужны данные по расходам из TikTok" до "у нас есть данные по расходам из TikTok" разделился для нас на следующие этапы:

регистрация аккаунта разработчика,
создание приложения,
авторизация бизнес-аккаунта в приложении,
запрос, получение, обработка и загрузка данных.

Рассмотрим каждый из этапов подробнее.

Регистрация разработчика

Мы зарегестрировали аккаунт разработчика на нашего бизнес-менеджера. Перешли на портал TikTok Marketing API, нажали на "My Apps", далее кликнули на "Become a Developer", и началась череда заполнения форм.

TikTok не Facebook, у нас ничего ни разу не отклонял, но всё равно мы были очень внимательны при заполнении полей и не добавляли то, что нам не нужно прямо сейчас. Например, в поле "What services do you provide?" добавили только "Reporting".

Последним пунктом был "Create App". Процесс создания аккаунта разработчика и приложения в первый раз происходит вместе.

Создание приложения

Заполняем имя и описание приложение, callback-address. Далее нужно выбрать разрешения, которые приложение будет запрашивать у авторизирующегося в нем аккаунта. Так же, как и при заполнении полей для аккаунта разработчика, выбрали только пункт "Reporting". Указали ID рекламного аккаунта. После этого отправили приложение на проверку.

Как сообщает TikTok в своей документации, проверка может занять от двух до трех рабочих дней. Мы отправили приложение на проверку в пятницу, в понедельник с утра у нас уже было одобренное приложение и можно было продолжить работу.

К сожалению, у меня нет для вас советов на тот случай, если ваше приложение не одобрили. Главное, о чём нужно помнить это правильно заполнять все обязательные поля и запрашивать разрешения только на то, что действительно необходимо: ни больше, ни меньше.

Авторизация бизнес-аккаунта в приложении

Из всей рутинной работы по заполнению форм, эта часть оказалось самой интересной. У нас не было web-приложения, которое бы отлавливало редирект с авторизационным кодом, поэтому автоматическую авторизацию бизнес-аккаунта сделать не получилось. Но мы оперативно потыкали в кнопки и получили заветный Access Token, с помощью которого собираем данные всех рекламных аккаунтов нашего бизнес-менеджера.

Итак, по порядку, что мы делали не имея сайта, который бы отлавливал callback с авторизационным кодом.

Зашли в приложение и указали Callback Address https://www.ozon.ru.
Скопировали Authorized URL, перешли по нему, авторизовались под аккаунтом бизнес-менеджера.
Согласились на предоставление разрешений для приложения, нажали "Confirm".
Далее нас перекинуло на сайт Ozon, но с дополнительными аргументами в url. Получилось наподобие такого https://www.ozon.ru/?auth_code=XXXXXXXXXXX.
Скопировали значение auth_code, в приложении скопировали secret и app_id и отправили запрос к TikTok на получение long-term Access Token.

curl -H "Content-Type:application/json" -X POST \-d '{    "secret": "SECRET",     "app_id": "APP_ID",     "auth_code": "AUTH_CODE"}' \https://ads.tiktok.com/open_api/v1.2/oauth2/access_token

Получили ответ такого вида:

{    "message": "OK",     "code": 0,     "data": {        "access_token": "XXXXXXXXXXXXXXXXXXXX",         "scope": [4],         "advertiser_ids": [            1111111111111111111,             2222222222222222222]    },     "request_id": "XXXXXXXXXXXXXXX"}

Важно было успеть отправить запрос на получение long-term Access Token как можно быстрее, после редиректа на сайт Ozon. Связано это с временем жизни auth_code 10 минут.

Из полученного ответа необходимо сохранить значения access_token, его нужно использовать при каждом запросе. Если access_token будет потерян или, того хуже, скомпрометирован, нужно будет заново выполнять все пункты по аваторизации аккаунта бизнес-менеджера.

Так же при запросах нам понадобиться список advertiser_ids, но его не обязательно сахранять прямо сейчас список ID аккаунтов всегда можно посмотреть в аккаунте бизнес-менеджера.

Всё, мы готовы писать запросы!

Получение статистики

Когда мы только начинали собирать данные из TikTok, я пользовалась методом, который сейчас depricated, поэтому сразу расскажу о новом.

Итак, у нас есть всё необходимое для получения данных, а именно:

access_token,
список advertiser_ids.

В результате нужно получить расходы по кампаниям, в группировке до названия рекламного объявления.

media source -> campaign -> adset -> ad_name

Значение media source всегда неизменно, так как источник один TikTok. По остальным параметрам можно запросить данные из API TikTok.

Теперь нужно было решить, с какой детализацией по времени будем тянуть данные. TikTok позволяет загружать детализацию по часу и дню. Если выгружать детализацию по часу, то, максимум, за один запрос можно получить данные только за один день; если запрашивать детализацию по дням максимум, на один запрос мы получим 30 дней. Конверсии в покупки анализируются за целый день, поэтому и расходы решили собирать за день.

В новом методе получения данных добавили фильтр по типу размещения рекламы: AUCTION и RESERVATION. Ozon использует только AUCTION в своей стратегии ведения кампаний.

Кроме расходов мы собирали также и другую рекламную статистику по кампаниям: просмотры, клики, количество уникальных пользователей смотревших рекламу и другое. В итоге получился такой список метрик:

METRICS = [    "campaign_name", # название кампании    "adgroup_name", # название группы объявлений    "ad_name", # название объявления    "spend", # потраченные деньги (валюта задаётся в рекламном кабинете)    "impressions", # просмотры    "clicks", # клики    "reach", # количество уникальных пользователей, смотревших рекламу    "video_views_p25", # количество просмотров 25% видео    "video_views_p50", # количество просмотров 50% видео    "video_views_p75", # количество просмотров 75% видео    "video_views_p100", # количество просмотров 100% видео    "frequency" # среднее количество просмотра рекламы каждым пользователем]

В документации TikTok для каждого метода API описан пример на языках Java, Python, PHP и также curl-запрос. Я использовала пример на Python с небольшими изменениями.

В примерах из документации TikTok используются две дополнительные библиотеки:

pip install requestspip install six

Библиотека requests необходима для удобной отправки get-запросов. Библиотека six используется для генерации url-адреса запроса.

И еще две библиотеки, которые я уже добавила сама для того, чтобы записать данные в базу:

pip install pandaspip install sqlalchemy

В нашей компании для хранения данных используются SQL-подобные хранилища, поэтому я использую pandas для преобразования данных в DataFrame и sqlalchemy для записи DataFrame в базу.

Я использовала функции из примера в документации TikTok для генерации url и отправки запроса.

# генерирует url на основе словаря args с аргументами запросаdef build_url(args: dict) -> str:    query_string = urlencode({k: v if isinstance(v, string_types) else json.dumps(v) for k, v in args.items()})    scheme = "https"    netloc = "ads.tiktok.com"    path = "/open_api/v1.1/reports/integrated/get/"    return urlunparse((scheme, netloc, path, "", query_string, ""))# отправляет запрос к TikTok Marketing API,# возвращает результат в виде преобразованного json в словарьdef get(args: dict, access_token: str) -> dict:    url = build_url(args)    headers = {        "Access-Token": access_token,    }    rsp = requests.get(url, headers=headers)    return rsp.json()

На вход функции get нужно передать список аргументов и access token. Список аргументов под наши цели выглядит следующим образом:

args = {    "metrics": METRICS, # список метрик, описанный выше    "data_level": "AUCTION_AD", # тип рекламы    "start_date": 'YYYY-MM-DD', # начальный день запроса    "end_date": 'YYYY-MM-DD', # конечный день запроса    "page_size": 1000, # размер страницы - количество объектов, которое возвращается за один запрос     "page": 1, # порядковый номер страницы (если данные не поместились в один запрос, аргумент инкрементируется)    "advertiser_id": advertiser_id, # один из ID из advertiser_ids, который мы получили при генерации access token    "report_type": "BASIC", # тип отчета    "dimensions": ["ad_id", "stat_time_day"] # аргументы группировки, вплоть до объявления и за целый день}

Подробнее про page_size: ответ на запрос может содержать большое количество информации и загружать всё это за один раз не эффективно. Поэтому у TikTok есть ограничение на максимальное количество объектов в ответе 1000. Чтобы получить следующую порцию данных, нужно отправить запрос с теми же входными аргументами на следующую страницу. Подробнее о постраничных запросах ниже.

В ответ на запуск функции get получаем словарь подобного вида.

{       # маркер успешности ответа    "message": "OK",    "code": 0,    "data": {        # информация о странице данных        "page_info": {            # общее количество объектов            "total_number": 3000,            # текущая страница            "page": 1,            # количество объектов на одной странице ответа            "page_size": 1000,            # общее количество страниц            "total_page": 3        },        # массив объектов        "list": [            # первый объект            {                # метрики                "metrics": {                    "video_views_p25": "0",                    "video_views_p100": "0",                    "adgroup_name": "adgroup_name",                    "reach": "0",                    "spend": "0.0",                    "frequency": "0.0",                    "video_views_p75": "0",                    "video_views_p50": "0",                    "ad_name": "ad_name",                    "campaign_name": "campaign_name",                    "impressions": "0",                    "clicks": "0"                },                # измерения (по каким параметрам группируем результаты)                "dimensions": {                    "stat_time_day": "YYYY-MM-DD HH: mm: ss",                    "ad_id": 111111111111111                }            },...        ]    },    # id ответа    "request_id": "11111111111111111111111"}

Как я описывала выше, если в ответе получается более 1000 объектов, ответ будет разбит на несколько страниц. В данном случае поле total_page говорит о том, что для получения полного набора данных по указанным параметрам, нужны будут три страницы. Следовательно, запускаем и коллекционируем ответы пока не выгрузим все страницы.

page = 1 # сначала всегда получаем данные по первой страницеresult_dict = {} # словарь, в который будем записывать ответыresult = get(args, access_token) # первый запросresult_dict[advertiser_id] = result['data']['list'] # сохраняем ответ на запрос к первой странице# пока текущая полученная страница page меньше # чем общее количество страниц в последнем ответе resultwhile page < result['data']['page_info']['total_page']:    # увеличиваем значение страницы на 1    page += 1    # обновляем значение текущей страницы в словаре аргументов запроса    args['page'] = page    # запрашиваем ответ по текущей странице page    result = get(args, access_token)    # накапливаем ответ    result_dict[advertiser_id] += result['data']['list']

Такое необходимо повторить для каждого рекламного аккаунта из списка advertiser_ids.

В результате всех вышеописанных манипуляций мы получили для каждого рекламного аккаунта данные по рекламным метрикам. Осталось только преобразовать словарь в pandas.DataFrame и отправить их в базу.

# результирующий DataFrame, который будем записывать в базуdata_df = pd.DataFrame()# для каждого рекламного аккаунта выполнить преобразованиеfor adv_id in advertiser_ids:    # получаем накопленные разультаты для аккаунта из словаря    adv_input_list = result_dict[adv_id]    # временный список    adv_result_list = []    # для каждого объекта    for adv_input_row in adv_input_list:        # берём словарь метрик        metrics = adv_input_row['metrics']        # насыщаем этот словарь словарём измерений        metrics.update(adv_input_row['dimensions'])        # добавляем полученный объект во временный список        adv_result_list.append(metrics)    # преобразуем временный словарь в DataFrame     result_df = pd.DataFrame(adv_result_list)    # добавляем колонку со значением id аккаунта    result_df['account'] = adv_id    # добавляем получившийся DataFrame в результирующий    data_df = data_df.append(        result_df,         ignore_index=True    )## здесь пропущены некоторые манипуляции # по преобразованию строк в числа## запись данных из результирующего DataFrame в базуdata_df.to_sql(    schema=schema,     name=table,     con=connection,    if_exists = 'append',    index = False)

TikTok утверждает, что исторические данные по статистике не меняеются, а если и меняются, то это должна быть экстроординарная ситуации, наподобие аварии в ЦОД. Но на основе опыта получения данных от Facebook, я решила что всё равно буду перезаписывать семь последних дней (цифра семь появилась эмпирически).

В итоге получился вот такой скрипт, который каждый день обновляется данные по TikTok кампаниям за последние семь дней.

Полный текст скрипта.

# импорт библиотекimport jsonfrom datetime import datetimefrom datetime import timedeltaimport requestsfrom six import string_typesfrom six.moves.urllib.parse import urlencodefrom six.moves.urllib.parse import urlunparseimport pandas as pdimport sqlalchemy# генерирует url на основе словаря args с аргументами запросаdef build_url(args: dict) -> str:    query_string = urlencode({k: v if isinstance(v, string_types) else json.dumps(v) for k, v in args.items()})    scheme = "https"    netloc = "ads.tiktok.com"    path = "/open_api/v1.1/reports/integrated/get/"    return urlunparse((scheme, netloc, path, "", query_string, ""))# отправляет запрос к TikTok Marketing API,# возвращает результат в виде преобразованного json в словарьdef get(args: dict, access_token: str) -> dict:    url = build_url(args)    headers = {        "Access-Token": access_token,    }    rsp = requests.get(url, headers=headers)    return rsp.json()# обновляет данные в базе за последние семь дней# (или, если указаны start_date и end_date, для периода [start_date, end_date])def update_tiktik_data(    # словарь с доступами к API TikTok    tiktok_conn: dict,    # словарь с доступами к базе данных    db_conn: dict,    # список id рекламных кабинетов    advertiser_ids: list,    # необязательное поле: начало периода    start_date:datetime=None,    # необязательное поле: окончание периода    end_date:datetime=None):    access_token = tiktok_conn['password']    start_date = datetime.now() - timedelta(7) if start_date is None else start_date    end_date = datetime.now() - timedelta(1) if end_date is None else end_date    START_DATE = datetime.strftime(start_date, '%Y-%m-%d')    END_DATE = datetime.strftime(end_date, '%Y-%m-%d')    SCHEMA = "schema"    TABLE = "table"    PAGE_SIZE = 1000    METRICS = [        "campaign_name", # название кампании        "adgroup_name", # название группы объявлений        "ad_name", # название объявления        "spend", # потраченные деньги (валюта задаётся в рекламном кабинете)        "impressions", # просмотры        "clicks", # клики        "reach", # количество уникальных пользователей, смотревших рекламу        "video_views_p25", # количество просмотров 25% видео        "video_views_p50", # количество просмотров 50% видео        "video_views_p75", # количество просмотров 75% видео        "video_views_p100", # количество просмотров 100% видео        "frequency" # среднее количество просмотра рекламы каждым пользователем    ]    result_dict = {} # словарь, в который будем записывать ответы    for advertiser_id in advertiser_ids:        page = 1 # сначала всегда получаем данные по первой странице        args = {            "metrics": METRICS, # список метрик, описанный выше            "data_level": "AUCTION_AD", # тип рекламы            "start_date": START_DATE, # начальный день запроса            "end_date": END_DATE, # конечный день запроса            "page_size": PAGE_SIZE, # размер страницы - количество объектов, которое возвращается за один запрос             "page": 1, # порядковый номер страницы (если данные не поместились в один запрос, аргумент инкрементируется)            "advertiser_id": advertiser_id, # один из ID из advertiser_ids, который мы получили при генерации access token            "report_type": "BASIC", # тип отчета            "dimensions": ["ad_id", "stat_time_day"] # аргументы группировки, вплоть до объявления и за целый день        }        result = get(args, access_token) # первый запрос        result_dict[advertiser_id] = result['data']['list'] # сохраняем ответ на запрос к первой странице        # пока текущая полученная страница page меньше,         # чем общее количество страниц в последнем ответе result        while page < result['data']['page_info']['total_page']:            # увеличиваем значение страницы на 1            page += 1            # обновляем значение текущей страницы в словаре аргументов запроса            args['page'] = page            # запрашиваем ответ по текущей странице page            result = get(args, access_token)            # накапливаем ответ            result_dict[advertiser_id] += result['data']['list']    # результирующий DataFrame, который будем записывать в базу    data_df = pd.DataFrame()    # для каждого рекламного аккаунта выполнить преобразование    for adv_id in advertiser_ids:        # получаем накопленные разультаты для аккаунта из словаря        adv_input_list = result_dict[adv_id]        # временный список        adv_result_list = []        # для каждого объекта        for adv_input_row in adv_input_list:            # берем словарь метрик            metrics = adv_input_row['metrics']            # насыщаем этот словарь словарём измерений            metrics.update(adv_input_row['dimensions'])            # добавляем полученный объект во временный список            adv_result_list.append(metrics)        # преобразуем временный словарь в DataFrame         result_df = pd.DataFrame(adv_result_list)        # добавляем колонку со значением id аккаунта        result_df['account'] = adv_id        # добавляем получившийся DataFrame в результирующий        data_df = data_df.append(            result_df,             ignore_index=True        )    #    # здесь пропущены некоторые манипуляции     # по преобразованию строк в числа    #        # создание подключения к базе    connection = sqlalchemy.create_engine(        '{db_type}://{user}:{pswd}@{host}:{port}/{path}'.format(            db_type=db_conn['db_type'],             user=db_conn['user'],             pswd=db_conn['password'],            host=db_conn['host'],            port=db_conn['port'],            path=db_conn['path']         )    )    # удаление последних семи дней из базы    with connection.connect() as conn:        conn.execute(f"""delete from {SCHEMA}.{TABLE}         where date >= '{START_DATE}' and date <= '{END_DATE}'""")    # запись данных из результирующего DataFrame в базу    data_df.to_sql(        schema=SCHEMA,         name=TABLE,         con=connection,        if_exists = 'append',        index = False    )

Миссия выполнена!

Подведем итоги

Итого, на всевышеописанные действия было потрачено менее одного рабочего дня (не считая времени, которое приложение было на проверке). Надеюсь, мне удалось показать, что уровень вхождения в API TikTok достаточно низкий, и для настройки автоматического сбора данных не нужно обязательно привлекать разработчика или блуждать по лабиринтам документации и запутанной логики.

К слову о лабиринтах, в Facebook тот же самый один рабочий день уходит на то, чтобы создать аккаунт разработчика, протыкать все галочки о политике конфидециальности и условий использования, создать приложение, настроить его и т.д. И в итоге к концу дня у тебя не работающий ETL по сбору данных, а очередной Permission Denied и распухшая голова, в которой крутится только одна мысль "что я делаю не так".

Конечно, сравнивать Facebook и TikTok не очень правильно: второй ещё относительно молод и ему еще только предстоит быть обвешанным хитрыми условиями, запретами и всеми возможными сложностями. Но сейчас всего этого пока нет, так что пользоваться TikTok Marketing API крайне удобно. Надеюсь, моя статья вам немного в этом поможет.

Полезные ссылки

TikTok Marketing API: официальная документация;
Пример запроса статистики с официальной документации TikTok;
Библиотека request: официальная документация;
Библиотека six: официальная документация;
Библиотека pandas: официальная документация;
Библиотека sqlalchemy: официальная документация.

Подробнее..

Категории: Социальные сети и сообщества , Маркетинг , Аналитика мобильных приложений , Социальные сети , Веб-аналитика , Медийная реклама , Tiktok , Facebook api , Мобильный маркетинг , Мобильная реклама , Блог компании ozon tech

UX-исследование какие решения помогают зарабатывать миллионы приложениям для стриминга видео в прямом эфире

25.02.2021 16:13:17 |

Автор: admin

Сегодня, я познакомлю вас с несколькими приложениями для стриминга видео в прямом эфире и расскажу, за счет чего им удается удерживать внимание огромной аудитории и успешно монетизировать ее.

Про культурный шок

Привыкший к простым и понятным интерфейсам, я не сразу понял что вообще происходит, стоило только открыть одно из этих приложений. Все свистело, пердело, переливалось цветами радуги, разрывалось салютами, мигало, прыгало, дрожало и что-то от меня хотело. А где-то под всем этим виднелась физиономия славянской девочки, которая несла какой-то бред о личном. Такое впечатление было при первом контакте с Bigo Live самым популярным приложением для онлайн-стримов.

Было ощущение, что я снова оказался в Китае. Но нет, с экрана смотрели тысячи русскоязычных подростков, желая спеть песню в прямом эфире, покрутить бедрами или рассказать о том, как у них прошел день.

Likee, LiveMe, Mico, Hakuna и другие приложения недалеко ушли от Bigo Live, предлагая практически идентичный интерфейс и сценарии взаимодействия, при этом все также, имея огромную аудиторию и внушительные цифры дохода.

Как же так получилось, что эти китайские до мозга костей приложения так привлекательны? И за счет каких решений им удается привлекать, удерживать и, главное, монетизировать огромную аудиторию? Давайте разберемся.

Про аудиторию и контент

Многие из вас помнят популярные телевизионные шоу, где люди с разными талантами (а чаще без) демонстрировали свои способности миру, купаясь в сиюминутных лучах славы.

Так вот, Bigo Live, Likee, LiveMe, Mico, Hakuna и подобные позволяют этим людям не только купаться в лучах славы 24/7, но еще и зарабатывать реальные деньги.

Дополняют эту когорту и те, кто просто хочет потрепаться ни о чем или заявить о себе миру самым простым способом.

Возможность запустить собственную живую трансляцию сразу же после установки приложения и моментально получить сотни, тысячи зрителей привлекает множество новых пользователей.

А зрителей в этих приложениях действительного много: в течение минуты после начала собственной трансляции в Bigo Live, просто транслируя потолок офиса я легко собирал более 100-200 зрителей. И многие из них продолжали смотреть в мой потолок в течение нескольких минут, ожидая что вот-вот что-то произойдет (привет дофамину).

Качество трансляций отличается от приложения к приложению, но в целом сводится к общим принципам: танцующие сотрясая сиськами девицы, школьники со своими переживаниями, мать-домохозяйка, активно продвигающая свое дитя и подменяющая ее в стримах пока дочь в школе, другие поющие, танцующие и просто говорящие персонажи. Но стримят не только подростки и матери-домохозяйки однажды мне попалась трансляция бабульки, которая развлекая детей играми в математику, довольно профессионально зарабатывала цифровые подарки.

Естественно, эти приложения предлагают разные варианты трансляций: с видео или без, одиночные или групповые. Но особенно популярен формат PK (батлов). Это когда в рамках одной трансляции участвуют сразу два стримера, а сам батл сводится к тому, чтобы за ограниченное время получить как можно больше цифровых подарков. Кто получил больше тот и выиграл.

Вы наверняка заметили, что я несколько раз упомянул про подарки. Для зрителей они стоят реальных денег, часть из которых получает стример.

Наиболее старательные стримеры могут получать еще и зарплату при выполнении плана по количеству/длительности трансляций и объему собранных подарков.

И как вы уже догадались, основные зрители всех этих трансляций дети и подростки.

Про монетизацию

Естественно, приложения можно загрузить и использовать бесплатно без ограничений на потребление контента и проведение собственных стримов. Используя ряд интерфейсных и сценарных решений, приложения стараются сперва создать привычку регулярного потребления контента, а затем, с помощью целого арсенала мотивационных платежных триггеров, создают и привычку дарения подарков.

Вот основные из них:

бесплатные подарки приложения позволяют дарить некоторые подарки бесплатно. Обычно, такая возможность появляется сразу после регистрации и, как вознаграждение, за регулярное взаимодействие с приложением. Возможность дарения бесплатных подарков в свою очередь формирует привычку их дарить и увеличивает касание с платными подарками.
интерфейсная мотивация приглашение отправить подарок после определенного времени просмотра трансляции.
социальная мотивация все пользователи трансляции видят, когда кто-то дарит подарок. Обычно, подарок отображается в виде крупной анимации прямо поверх трансляции так, чтобы быть замеченным всеми зрителями. В этой анимации указывается и логин дарителя. Обычно, стримеры активно и очень эмоционально реагируют на подарки, благодарят дарителя и оказывают ему всяческие знаки внимания, что также может мотивировать других зрителей, кто нуждается во внешнем поощрении. Постоянное наблюдение за тем, как кто-то дарит подарки формирует картину мира, в которой дарить подарки нормально.
мотивация от ведущего трансляции часто, сами стримеры активно просят отправлять им подарки, чтобы увеличить рейтинг трансляции, либо достичь какой-то цели и др.
батлы трансляции, в которых участвуют два стримера, а сам батл сводится к тому, чтобы за ограниченное время получить как можно больше цифровых подарков. Кто получил больше тот и выиграл. Соотвественно, каждый из стримеров активно мотивирует свою аудиторию отправлять ему больше и более дорогих подарков.
рейтинги и розыгрыши призов приложения активно продвигают и рекламируют турнирные таблицы самых активных дарителей подарков. Пользователи, которые дарят подарки, получают дополнительные улучшения для своего аккаунта: короны, эффекты входа и прочие временные улучшения профиля, повышающие социальный статус. Некоторые приложения разыгрывают реальные деньги или физические подарки среди самых активных дарителей.
социальный статус активное дарение подарков растит социальный статус пользователя внутри приложения. Такие пользователи особенно выделяются на фоне обычных.
семьи и кланы пользователи могут присоединяться к семьям и кланам. Это премиальные группы, которые дают дополнительный социальный статус среди других пользователей. Для вступления в семью/клан нужно соответствовать ряду требований, которые определяют управляющие семьей/кланов. Обычно, это социальный статус внутри приложения.

Цифровые подарки основной, но не единственный способ монетизации. Многие приложения также предлагают покупку цифровых товаров (украшения профиля, эффекты входа) и особые VIP-статусы.

Все это можно купить за виртуальную валюту, которая в свою очередь покупается уже за реальные деньги внутри приложений.

Про вовлечение

Мотивационные платежные триггеры не имели бы ни какого смысла, если бы пользователи подолгу не залипали в приложении. Чтобы удерживать пользователей в режиме потребления контента как можно дольше, в приложениях используется ряд соответствующих решений.

Автоматический запуск трансляций

Автоматически запускают случайные (из популярных) трансляции в первых нескольких сессиях пользователей, чтобы приучить взаимодействовать с ними и убрать любые возможные фрустрации выбора (это кстати одна из значительных проблем современного Youtube).

Барьеры при выходе из трансляции

При первых попытках выйти из трансляции не делают этого. Вместо закрытия трансляции, либо объясняют, что для перехода к другой трансляции достаточно свайпнуть вверх/вниз, либо предлагают сперва подписаться на ведущего или просто продолжить просмотр.

Легкий переход к следующей трансляции

Позволяют пользователям переходить между трансляциями с помощью свайпа вверх-вниз. Это поведение очень похоже на привычный способ взаимодействия с телевизором и позволяет дольше удерживать пользователей в состоянии потребления контента.

Покупки без разрыва контекста

Возможность совершения покупок внутри приложения без необходимости прерывать текущее взаимодействие и переходить в раздел пополнения счета. Интерфейс пополнения счета отображается прямо поверх трансляции в ответ на попытку подарить подарок при недостаточном балансе:

Про удержание и возврат пользователей

Но как бы долго пользователи не удерживались в рамках одной сессии, рано или поздно они все же выходят из зомби-режима. И тут появляется задача вернуть, а затем и сформировать привычку регулярного возвращения. Естественно, возможность отхватить быстрой славы, заработать денег, залипающий контент и развитое социальное коммьюнити играют в этих вопросах большую роль. Но кроме них, есть кое-что еще.

Чекины

Для создания привычки ежедневного взаимодействия используются чекины. Последовательные чекины каждый день позволяют получить больше подарков с каждым следующим днем.

Ежедневные задания

Разработчики некоторых приложений пошли чуть дальше чекинов и предлагают также выполнение ежедневных заданий в обмен на виртуальную валюту и другие подарки.

Игры

В самых топовых приложениях также предлагаются встроенные игры, где необходимо периодически возвращаться, чтобы выполнять какие-то действия/задания.

Уровень профиля

По мере взаимодействия растет уровень профиля пользователя. Чем выше уровень тем больше возможностей и выше социальный статус внутри приложения. Соотвественно, многие пользователи стремятся прокачать свой профиль, улучшить его с помощью цифровых товаров и высокой активности. А далее, прокаченный профиль становится одним из значимых факторов привязанности к приложению.

Push-уведомления

Но один из самых главных инструментов возврата пуши. Их, совершенно не стесняясь, отправляют сотнями в день по любому поводу и без. Пуши буквально летят каждую минуту.

Пуши играют важную роль в процессе формирования привычки потребления, поэтому стоит только запретить получение уведомлений, приложения сразу же усердно пытаются вернуть разрешение в том числе и с помощью вознаграждений.

Про деньги

Если вы все еще думаете, что это какая-то дичь, то я с вами соглашусь. Однако это не просто дичь, это золотая дичь. iOS и Android версии Bigo Live, самого главного игрока на этом рынке, только за январь принесли суммарно 27 млн долларов по данным Sensortower. Это на 12 млн долларов больше чем у Tik-Tok, аудитория которого значительно превосходит Bigo Live.

Остальные игроки только набирают обороты, но уже делают по 1-3 млн долларов ежемесячно.

И наблюдая общую тенденцию можно предположить, что эти цифры, как и количество игроков, будут только расти.

Постскриптум

Эта статья очень сжатая выжимка из большого юзабилити исследования 13 популярных iOS-приложений, которое я провел несколькими месяцами ранее для одной продуктовой компании. Знакомство с этими приложениями было интересным открытием, которое безусловно расшило мою картину мира. Теперь, возможно, и вашу тоже.

Уже более 10 лет я помогаю разным бизнесам достигать большего за счет удобных пользовательских интерфейсов для любых цифровых продуктов. Если у вас есть какие-либо вопросы по UX напишите мне в ЛС. С удовольствием помогу советом.

Подробнее..

Категории: Интерфейсы , Маркетинг , Usability , Дизайн мобильных приложений , Юзабилити , Ux , Социальные сети , Монетизация мобильных приложений , Интернет-маркетинг , Монетизация приложений

Анализируем причинно-следственные связи метрик ВКонтакте

11.09.2020 14:12:59 |

Автор: admin

Всем привет, меня зовут Анвер, я работаю в команде Core ML ВКонтакте. Одна из наших задач создавать и улучшать алгоритмы ранжирования для ленты новостей. В этой статье расскажу о том, как можно применять для этого причинно-следственный анализ чтобы в результате сделать сервис интереснее для пользователей. Поговорим про преимущества такого подхода по сравнению с корреляционным анализом, и я предложу модификации существующих алгоритмов.

Что такое короткие и долгие метрики?

Модели ранжирования пытаются оценить вероятность того, что пользователь повзаимодействует с новостью (постом): задержит на ней внимание, поставит отметку Нравится, напишет комментарий. Затем модель распределяет записи по убыванию этой вероятности. Поэтому, улучшая ранжирование, мы можем получить рост CTR (click-through rate) пользовательских действий: лайков, комментов и других. Эти метрики очень чувствительны к изменениям модели ранжирования. Я буду называть их короткими.

Но есть и другой тип метрик. Считается, например, что время, проведённое в приложении, или количество сессий пользователя намного лучше отражают его отношение к сервису. Будем называть такие метрики долгими.

Оптимизировать долгие метрики непосредственно через алгоритмы ранжирования нетривиальная задача. С короткими метриками это делать намного проще: CTR лайков, например, напрямую связан с тем, насколько хорошо мы оцениваем их вероятность. Но если мы знаем причинно-следственные (или каузальные) связи между короткими и долгими метриками, то можем сфокусироваться на оптимизации лишь тех коротких метрик, которые должны предсказуемо влиять на долгие. Я попытался извлечь такие каузальные связи и написал об этом в своей работе, которую выполнил в качестве диплома на бакалавриате ИТМО (КТ). Исследование мы проводили в лаборатории Машинное обучение ИТМО совместно с ВКонтакте.

Ссылки на код, датасет и песочницу

Весь код вы можете найти здесь: AnverK.

Чтобы проанализировать связи между метриками, мы использовали датасет, включающий результаты более чем 6000 реальных A/B-тестов, которые в разное время проводила команда ВКонтакте. Датасет тоже доступен в репозитории.

В песочнице можно посмотреть, как пользоваться предложенной обёрткой: на синтетических данных.
А здесь как применять алгоритмы к датасету: на предложенном датасете.

Боремся с ложными корреляциями

Может показаться, что для решения нашей задачи достаточно посчитать корреляции между метриками. Но это не совсем так: корреляция это не всегда причинно-следственная связь. Допустим, мы измеряем всего четыре метрики и их причинно-следственные связи выглядят так:

Не умаляя общности, предположим, что в направлении стрелки идёт положительное влияние: чем больше лайков, тем больше SPU. В таком случае можно будет установить, что комментарии к фото положительно влияют на SPU. И решить, что если наращивать эту метрику, увеличится SPU. Такое явление называют ложной корреляцией: коэффициент корреляции достаточно высокий, но причинно-следственной связи нет. Ложная корреляция проявляется не только у двух следствий одной причины. Из этого же графа можно было бы сделать неверный вывод и о том, что лайки положительно влияют на количество открытий фото.

Даже на таком простом примере становится очевидно, что простой анализ корреляций приведёт к множеству неверных выводов. Восстановить причинно-следственные связи из данных позволяет causal inference (методы вывода связей). Чтобы применить их в задаче, мы выбрали наиболее подходящие алгоритмы causal inference, реализовали для них python-интерфейсы, а также добавили модификации известных алгоритмов, которые лучше работают в наших условиях.

Классические алгоритмы вывода связей

Мы рассматривали несколько методов вывода связей (causal inference): PC (Peter and Clark), FCI (Fast Causal Inference) и FCI+ (похож на FCI с теоретической точки зрения, но намного быстрее). Почитать о них подробно можно в этих источниках:

Causality (J. Pearl, 2009),
Causation, Prediction and Search (P. Spirtes et al., 2000),
Learning Sparse Causal Models is not NP-hard (T. Claassen et al., 2013).

Но важно понимать: первый метод (PC) предполагает, что мы наблюдаем все величины, влияющие на две метрики или более, такая гипотеза называется Causal Sufficiency. Другие два алгоритма учитывают, что могут существовать ненаблюдаемые факторы, которые влияют на отслеживаемые метрики. То есть во втором случае каузальное представление считается более естественным и допускает наличие ненаблюдаемых факторов $U_1, \dots U_k$ :

Все реализации этих алгоритмов представлены в библиотеке pcalg. Она прекрасная и гибкая, но с одним недостатком написана на R (при разработке самых вычислительно тяжёлых функций используется пакет RCPP). Поэтому для перечисленных выше методов я написал обёртки в классе CausalGraphBuilder, добавив примеры его использования.

Опишу контракты функции вывода связей, то есть интерфейс и результат, который можно получить на выходе. Можно передать функцию тестирования на условную независимость. Это такой тест, который возвращает $p_{value}$ при нулевой гипотезе, что величины $inline$ и $inline$ условно независимы при известном множестве величин $inline$ . По умолчанию используется тест, основанный на частной корреляции. Я выбрал функцию с этим тестом, потому что она используется по умолчанию в pcalg и реализована на RCPP это делает её быстрой на практике. Также можно передать $p_{value}$ , начиная с которого вершины будут считаться зависимыми. Для алгоритмов PC и FCI также можно задать количество CPU-ядер, если не нужно писать лог работы библиотеки. Для FCI+ такой опции нет, но я рекомендую использовать именно этот алгоритм он выигрывает по скорости. Ещё нюанс: FCI+ на данный момент не поддерживает предложенный алгоритм ориентации рёбер дело в ограничениях библиотеки pcalg.

По итогам работы всех алгоритмов строится PAG (partial ancestral graph) в виде списка рёбер. При алгоритме PC его стоит интерпретировать как каузальный граф в классическом понимании (или байесовскую сеть): ребро, ориентированное из $inline$ в $inline$ , означает влияние $inline$ на $inline$ . Если ребро ненаправленное или двунаправленное, то мы не можем однозначно его ориентировать, а значит:

или имеющихся данных недостаточно, чтобы установить направление,
или это невозможно, потому что истинный каузальный граф, используя только наблюдаемые данные, можно установить лишь с точностью до класса эквивалентности.

Результатом работы FCI-алгоритмов будет тоже PAG, но в нём появится новый тип рёбер с о на конце. Это означает, что стрелка там может как быть, так и отсутствовать. При этом важнейшее отличие FCI-алгоритмов от PC в том, что двунаправленное (с двумя стрелками) ребро даёт понять, что связываемые им вершины следствия некой ненаблюдаемой вершины. Соответственно, двойное ребро в PC-алгоритме теперь выглядит как ребро с двумя о на концах. Иллюстрация для такого случая есть в песочнице с синтетическими примерами.

Модифицируем алгоритм ориентации рёбер

У классических методов есть один существенный недостаток. Они допускают, что могут быть неизвестные факторы, но при этом опираются на ещё одно слишком серьёзное предположение. Его суть в том, что функция тестирования на условную независимость должна быть идеальной. Иначе алгоритм за себя не отвечает и не гарантирует ни корректность, ни полноту графа (то, что больше рёбер сориентировать нельзя, не нарушая корректность). Много ли вы знаете идеальных тестов на условную независимость при конечной выборке? Я нет.

Несмотря на этот недостаток, скелеты графов строятся довольно убедительно, но ориентируются слишком агрессивно. Поэтому я предложил модификацию к алгоритму ориентации рёбер. Бонус: она позволяет неявным образом регулировать количество ориентированных рёбер. Чтобы понятно объяснить её суть, пришлось бы подробно говорить здесь о самих алгоритмах вывода каузальных связей. Поэтому теорию по этому алгоритму и предложенной модификации я приложу отдельно ссылка на материал будет в конце поста.

Сравниваем модели 1: оценка правдоподобия графа

Одну из серьёзных трудностей при выводе каузальных связей представляет, как ни странно, сравнение и оценка моделей. Как так вышло? Дело в том, что обычно истинное каузальное представление реальных данных неизвестно. И тем более мы не можем знать его с точки зрения распределения настолько точно, чтобы генерировать из него реальные данные. То есть неизвестен ground truth для большинства наборов данных. Поэтому возникает дилемма: использовать (полу-) синтетические данные с известным ground truth или пытаться обходиться без ground truth, но тестировать на реальных данных. В своей работе я попробовал реализовать два подхода к тестированию.

Первый из них оценка правдоподобия графа:

Здесь $inline$ множество родителей вершины $inline$ , $inline$ совместная информация величин $inline$ и $inline$ , а $inline$ энтропия величины $inline$ . На самом деле второе слагаемое не зависит от структуры графа, поэтому считают, как правило, только первое. Но можно заметить, что правдоподобие не убывает от добавления новых рёбер это необходимо учитывать при сравнении.

Важно понимать, что такая оценка работает только для сравнения байесовских сетей (выхода алгоритма PC), потому что в настоящих PAG (выход алгоритмов FCI, FCI+) у двойных рёбер совсем иная семантика.

Поэтому я сравнил ориентацию рёбер моим алгоритмом и классическим PC:

Модифицированная ориентация рёбер позволила значительно увеличить правдоподобие по сравнению с классическим алгоритмом. Но теперь важно сравнить количество рёбер:

Их стало даже меньше это ожидаемо. Так что даже с меньшим числом рёбер удаётся восстанавливать более правдоподобную структуру графа! Здесь вы можете возразить, что правдоподобие не убывает с увеличением количества рёбер. Дело в том, что полученный граф в общем случае это не подграф графа, полученного классическим PC-алгоритмом. Двойные рёбра могут появиться вместо одиночных, а одиночные изменить направление. Так что никакого рукомашества!

Сравниваем модели 2: используем подход из классификации

Перейдём ко второму способу сравнения. Будем строить PC-алгоритмом каузальный граф и выбирать из него случайный ациклический граф. После этого сгенерируем данные в каждой вершине как линейную комбинацию значений в родительских вершинах с коэффициентами $\pm[0,2, 0,8]$ с добавлением гауссова шума. Идею для такой генерации я взял из статьи Towards Robust and Versatile Causal Discovery for Business Applications (Borboudakis et al., 2016). Вершины, которые не имеют родителей, генерировались из нормального распределения с параметрами, как в наборе данных для соответствующей вершины.

Когда данные получены, применяем к ним алгоритмы, которые хотим оценить. При этом у нас уже есть истинный каузальный граф. Осталось только понять, как сравнивать полученные графы с истинным. В Robust reconstruction of causal graphical models based on conditional 2-point and 3-point information (Affeldt et al., 2015) предложили использовать терминологию классификации. Будем считать, что проведённое ребро это Positive-класс, а непроведённое Negative. Тогда True Positive ( $inline$ ) это когда мы провели то же ребро, что и в истинном каузальном графе, а False Positive ( $inline$ ) если провели ребро, которого в истинном каузальном графе нет. Оценивать эти величины будем с точки зрения скелета.

Чтобы учитывать направления, введём $TP_{misorient}$ для рёбер, которые выведены верно, но с неправильно выбранным направлением. После этого будем считать так:

$TP' = TP - TP_{misorient}$
$FP' = FP + TP_{misorient}$

Затем можно считать $inline$ -меру как для скелета, так и с учётом ориентации (очевидно, в этом случае она будет не выше такой меры для скелета). Однако в случае PC-алгоритма двойное ребро добавляет к $TP_{misorient}$ только $inline$ , а не $inline$ , потому что одно из реальных рёбер всё-таки выведено (без Causal Sufficiency это было бы неверно).

Наконец, сравним алгоритмы:

Первые два графика это сравнение скелетов PC-алгоритма: классического и с новой ориентацией рёбер. Они нужны, чтобы показывать верхнюю границу $inline$ -меры. Вторые два сравнение этих алгоритмов с учётом ориентации. Как видим, выигрыша нет.

Сравниваем модели 3: выключаем Causal Sufficiency

Теперь закроем некоторые переменные в истинном графе и в синтетических данных после генерации. Так мы выключим Causal Sufficiency. Но сравнивать результаты надо будет уже не с истинным графом, а с полученным следующим образом:

рёбра от родителей скрытой вершины будем проводить к её детям,
всех детей скрытой вершины соединим двойным ребром.

Сравнивать уже будем алгоритмы FCI+ (с модифицированной ориентацией рёбер и с классической):

И теперь, когда Causal Sufficiency не выполняется, результат новой ориентации становится значительно лучше.

Появилось ещё одно важное наблюдение алгоритмы PC и FCI строят на практике почти одинаковые скелеты. Поэтому я сравнил их выход с той ориентацией рёбер, которую предложил в своей работе.

Получилось, что алгоритмы практически не отличаются по качеству. При этом PC шаг алгоритма построения скелета внутри FCI. Таким образом, использование алгоритма PC с ориентацией, как в FCI-алгоритме, хорошее решение, чтобы увеличить скорость вывода связей.

Вывод

Сформулирую кратко, о чём мы поговорили в этой статье:

Как задача вывода каузальных связей может возникнуть в крупной IT-компании.
Что такое ложные корреляции и как они могут мешать Feature Selection.
Какие алгоритмы вывода связей существуют и используются наиболее часто.
Какие трудности могут возникать при выводе каузальных графов.
Что такое сравнение каузальных графов и как с этим бороться.

Если вас заинтересовала тема вывода каузальных связей, загляните и в другую мою статью в ней больше теории. Там я подробно пишу о базовых терминах, которые используются в выводе связей, а также о том, как работают классические алгоритмы и предложенная мной ориентация рёбер.

Подробнее..

Категории: Python , Машинное обучение , Big data , Data mining , Социальные сети , Блог компании вконтакте , Причинно-следственные связи , A/b тестирование

Из песочницы Правовая защита бренда в цифровой среде. Новые тенденции и возможности

07.11.2020 14:06:38 |

Автор: admin

Тренды E-commerce

В последнее время бизнес активно переходит в онлайн-режим.

С одной стороны, это обусловлено пандемией коронавируса, которая потребовала от предпринимателей структурных изменений в организации их коммерческой деятельности.

С другой стороны, использование цифровых платформ и социальных сетей выгодно с маркетинговой точки зрения. Такие сервисы позволяют привлечь аудиторию и создать базу потенциальных клиентов, которые будут интересоваться компанией и приобретать ее товары и услуги.

Другой тренд, на который стоит обратить внимание, распространение социальной торговли. Лидеры мнений: блогеры, инфлюенсеры создают собственные бренды и распространяют товары и услуги через социальные сети, маркетплейсы.

Они успешно конкурируют с традиционными торговыми сетями. Исследования показывают, что некоторая часть потребителей, в основном это молодые люди, представители поколения Z предпочитают покупать товары любимых блогеров, а не известных брендов. Таково положение дел в Китае, но эксперты уверены, что это будущее электронной коммерции.

В любом случае стоит признать, что социальные сети сейчас гораздо больше, чем платформа для онлайн-общения. Это настоящий инструмент ведения бизнеса, а лояльная аудитория, подписчики важнейший актив, благодаря которому компания может развиваться и увеличивать обороты.

Правовые аспекты

С юридической точки зрения активное использование социальных сетей для электронной коммерции и маркетинга привело к появлению различных нетрадиционных средств индивидуализации бренда в цифровой среде. К таким элементам можно отнести:

имя пользователя (например, имя пользователя в Инстаграме)
профиль (например, youtube-канал, сообщество в Вконтакте)
корпоративный адрес электронной почты
доменное имя

Законодательство не относит данные объекты к средствам индивидуализации. При этом технически и экономически они индивидуализируют бренд, повышают его узнаваемость на рынке. Особенно это актуально для компаний, которые предоставляют услуги исключительно при помощи онлайн-платформ.

Гражданский кодекс Российской Федерации не квалифицирует перечисленные объекты и как результаты интеллектуальной деятельности. Доменное имя, адрес электронной почты и имя профиля относятся к способам адресации в Интернете. Правовая природа самого профиля в социальной сети пока что не определена и является предметом дискуссий.

Это обуславливает достаточно сложную защиту интересов обладателей указанных активов.

Что делать, если кто-то создал ненастоящий (фейковый) профиль в Инстаграме и ведет конкурирующую деятельность, предоставляя аналогичные услуги под Вашим брендом?
Как защищать права, если третье лицо в творческом псевдониме (имени пользователя) использует словесный элемент Вашего товарного знака? Как минимизировать правовые риски и какую стратегию защиты выбрать в этих и подобных случаях?

Стратегии защиты

Полагаю, не существует единого механизма, алгоритма или стратегии для защиты бренда в цифровой среде. В каждом отдельном случае нужно учитывать обстоятельства дела и его специфику. Однако избежать неблагоприятных последствий можно, если заранее предпринять некоторые меры.

Во-первых, сократить риски, связанные с интеллектуальной собственностью в контексте социальных сетей, поможет внедрение режима служебных произведений.

Если в компании отдельные сотрудники (копирайтеры, дизайнеры и т.д.) ведут профиль бренда в социальной сети и создают для него контент, с такими лицами следует правильно оформить отношения по поводу результатов интеллектуальной деятельности.

Чтобы права на контент принадлежали работодателю, нужно внедрить режим служебных произведений оформить пакет документов: в том числе, трудовой договор, с отдельным разделом про интеллектуальную собственность, должностную инструкцию, соглашение о выплате авторского вознаграждения, регламент.

Если функция по ведению профиля передана на аутсорс по договору гражданско-правового характера, в договоре также необходимо предусмотреть положение о том, что исключительные права на результаты интеллектуальной деятельности, создаваемые исполнителем в рамках договора, принадлежат заказчику.

В Российской Федерации присутствует достаточно обширная судебная практика, когда работодатель терял исключительные права на результаты интеллектуальной деятельности, созданные сотрудниками. Это происходило, потому что он не оформил необходимые документы для внедрения режима служебных произведений .

Во-вторых, помимо исключительных прав на контент, важное значение имеют данные для входа в профиль: пароль и логин. Утеря или разглашение указанных сведений может привести к необратимым последствиям вплоть до блокировки аккаунта.

Для минимизации рисков необходимо распространить на пароль и логин режим коммерческой тайны и заключить с лицом, ответственным за ведение профиля в социальной сети, соглашение о конфиденциальности. Более того, при установлении режима коммерческой тайны необходимо предусмотреть процедуру по смене пароля, назначив ответственное лицо. Такая процедура должна выполняться всякий раз при смене сотрудника, который вел корпоративный профиль в социальной сети.

Показательным является дело из зарубежной судебной практики PhoneDog v Kravitz. В этом кейсе работник вел аккаунт в Твиттере. Название профиля содержало фирменное наименование компании-истца и имя самого сотрудника. После увольнения ответчик не удалил аккаунт и не изменил имя профиля. Он продолжил вести его и от имени бывшего работодателя периодически делал публикации. Дело закончилось заключением мирового соглашения, но суд признал пароль от твиттер-аккаунта коммерческой тайной.

В Российской Федерации для правовой защиты такой информации, необходимо распространить на нее режим коммерческой тайны. Принять внутренний регламент и осуществить обязательные меры, предусмотренные Федеральным законом О коммерческой тайне, в том числе ознакомить под роспись работника с перечнем информации, в отношении которой введен режим конфиденциальности.

С точки зрения активной защиты прав можно выделить несколько различных способов:

обращение в суд
обращение в иные органы власти (ФАС, Роскомнадзор)
обращение в администрацию онлайн-платформы
обращение к информационным посредникам (провайдерам хостинга)

Если компания не регистрировала товарный знак и ведет бизнес исключительно через социальные сети и иные цифровые платформы, защитить интересы возможно через обращение в антимонопольные органы.

Это будет актуально в случае, если третье лицо зарегистрирует аккаунт со схожим до степени смешения названием профиля и начнет вести конкурирующую деятельность, пользуясь популярностью оригинального бренда и вводя в заблуждение пользователей.

Например, ООО ЛДЦ Мечников, оказывающий медицинские услуги и использующий доменное имя METCHNIKOFF.RU и адрес электронной почты metchnikof@yandex.ru обратился в Управление Федеральной антимонопольной службы по Приморскому краю с жалобой на действия ООО Мечников+, которое также оказывало медицинские услуги и использовало доменное имя MECHNIKOFF.RU и адрес электронной почты metchnikoff@yandex.ru.
Антимонопольный орган пришел к выводу о наличии в действиях ООО Мечников+ нарушений в соответствии с п. 1 ст. 14.6 Федерального Закона О защите конкуренции. Впоследствии арбитражные суды поддержали решение ФАС .

Хотя в этом деле речь шла о смешении фирменных наименований, доменных имен и электронных адресов, позицию ФАС вполне можно применить и к ситуации, когда недобросовестный конкурент будет использовать схожее до степени смешения название и оформление профиля социальных сетях.

Более того, обращение в ФАС приведет к успеху, если кто-то скопирует не только наименование профиля, но и фирменные элементы бренда, как в ситуации с Оксаной Самойловой.
Не так давно ее раскритиковали за то, что она скопировала дизайн косметического бренда Кайли Дженнер, использовав одинаковые цвета, упаковки и даже похожий стиль оформления сайта. В таких и подобных ситуациях следует использовать п. 2 ст. 14.6 Федерального Закона О защите конкуренции.

Другой способ защиты обращение в суд с заявлением о нарушении исключительных прав на товарный знак. Эту стратегию можно использовать, например, когда третье лицо ведет деятельность, в том числе через социальные сети, используя в названии профиля словесный элемент Вашего товарного знака. Но в этом случае необходимо учитывать определенные обстоятельства.

Например, в деле по иску правообладателя товарного знака Guf, ООО Айконмедиа, к рэп-исполнителю, Алексею Сергеевичу Долматову, выступающему под псевдонимом Guf, суд отказал в удовлетворении исковых требований на том основании, что музыкант начал использовать свой псевдоним в творческой деятельности гораздо раньше, чем была подана заявка на регистрацию товарного знака.

С другой стороны, в зарубежной судебной практике есть случай, когда суд встал на сторону правообладателя товарного знака. Так произошло в деле по иску компании Nintendo, являющейся правообладателем товарного знака Pokemon, к девушке-блогеру под псевдонимом Pokeprincxss, которая ведет youtube-канал и профиль в Тик-токе.

В творческом псевдониме и названии профиля присутствует словесный элемент товарного знака Pokemon. Девушка имеет тату с изображением персонажей мультфильма, снимает эротические видео и некоторое время назад продавала от своего имени одежду с изображением покемонов. Суд обязал ее изменить название профиля и вернуть истцу выручку, полученную от реализации контрафактной одежды.

Подведем итоги

Можно дать несколько советов тем, кто ведет бизнес через социальные сети.

Во-первых, не стоит копировать и использовать без разрешения правообладателя элементы чужого бренда, поскольку это несет риски нарушения антимонопольного законодательства и нарушения интеллектуальных прав третьих лиц.

Во-вторых, при возможности необходимо зарегистрировать собственный товарный знак. Это особенно актуально, учитывая, что действующее законодательство позволяет зарегистрировать творческий псевдоним в качестве товарного знака. Если у Вашего бизнеса есть профиль в социальных сетях, например, страница в Инстаграме, через которую Вы продаете товары и услуги, зарегистрируйте название профиля в качестве товарного знака. Это расширит стратегические возможности для защиты прав.

В конечном итоге, для минимизации рисков необходимо использовать комплекс мер внутренний комплаенс (например, внедрение режима служебных произведений) и различные способы защиты прав (обращение в ФАС, суд, иные органы, обращение в администрацию онлайн-платформы).

Дать 100% гарантии, что все это сработает, нельзя. Но если возникнет какая-то спорная ситуация, то лучше быть заранее застрахованным и иметь необходимые документы, которые позволят доказать вашу правоту.

Подробнее..

Категории: Instagram , Социальные сети , Брендинг , Юристы для it , Электронная коммерция , Интеллектуальная собственность , Брендинг в интернете , Судебная практика

Разбор Как работает реклама в чатах Telegram

21.12.2020 10:07:55 |

Автор: admin

Мессенджеры стали важным инструментом коммуникации бизнеса и клиентов. При этом, компании используют как приватные чаты, где общение идет один на один, так и публичные об этом явлении я подробно писала в одной из прошлых статей.

С маркетингом понятно собственный публичный чат помогает решать ряд задач от создания сообщества вокруг продуктов компании, до поддержки клиентов и формирования имиджа лидера отрасли. Но можно ли чаты использовать еще как-то и именно для рекламы? Сегодня разберем именно этот кейс.

Реклама в Telegram-чатах: при чем тут боты

Публичные чаты могут быть очень эффективны, но проблема с ними в том, что сама площадка Telegram практически не дает администраторам чата никаких инструментов по аналитике и контролю качества общения. Поэтому компании просто вынуждены использовать сторонние инструменты ботов для решения конкретных задач вроде модерации или аналитики пользователей.

В итоге получается так, что один бот например, для модерации сообщений в чате может быть установлен в тысяч чатов с десятками тысяч пользователей. И раз бот может писать в эти чаты сообщения, то если включить в них релевантный теме чата рекламный месседж это может быть вполне эффективно.

Поговорим о том, как это работает на практике.

Как все устроено: реклама в чатах через ботов

Наиболее эффективными для рекламы в чатах считаются боты, специфика которых подразумевает большой охват. К примеру, бот-модератор ChatKeeperBot устанавливают тогда, когда ручная модерация чата становится трудной и затратной то есть при активном развитии сообщества. В итоге бот находится в тысячах крупных чатов и позволяет получать существенный охват объявлений. В тех чатах, владельцы которых используют бесплатную версию бота, в его сообщения включается реклама.

Объявления показываются в приветственном сообщении оно появляется при вступлении в группу нового пользователя.

В случае таких объявлений видит их не только пользователь, вступивший в чат, но и все его участники. Главный плюс этого подхода в том, что реклама это не спам, а релевантное сообщение в том чате, где оно соответствует интересам аудитории, и появляется оно в ответ на активность в группе.

Существует и другой подход, когда реклама еще более нативно показывается в сообщениях бота, связанных с основной тематикой чата.

Тематика чата поиск работы, реклама предлагает связанную с темой сообщества услугу

По формату объявления могут отличаться некоторые боты предлагают размещения групповых промо, где упоминаются сразу несколько рекламодателей, где-то можно заказать индивидуальное размещение.

Какого охвата можно добиться, и какой бюджет нужен

Бот из примера выше установлен более чем в 17 тысячах чатов, общая аудитория которых превышает 3,5 млн пользователей. Важный момент рекламу важно заказывать именно в активных чатах, то есть там, где бот действительно обрабатывает сообщения живых людей. Если в течение суток в чате ничего не происходит, то запускать в нем рекламу точно не стоит.

В итоге для крупных ботов, которые установлены в популярных чатах 1500-5000 новых пользователей в день, статистика показов объявлений в активных сообществах колеблется в районе 150-180 тысяч показов в сутки. Итоговая цена зависит от планируемого охвата и формата объявления единственный сервис/продукт будет рекламироваться или нет.

Что может пойти не так

В описанном способе рекламы на данный момент есть два главных недостатка:

Пока нет ботов, которые позволяли бы выбирать конкретные тематики групп для размещения объявлений. То есть рекламная кампания будет широковещательной с не самым точным таргетингом.

Не существует открытых сервисов по сбору статистики бота, то есть вам придется верить разработчикам на слово. Минимизировать риски можно, заказывая рекламу у крупных продуктов, про которые есть информация в сети.

Заключение

Реклама в групповых чатах Telegram относительно новый канал, который только развивается. Несмотря на некоторые ограничения, с его помощью уже сейчас можно получать масштабный охват аудитории с бюджетами, которые ощутимо меньше тех, что нужны в контекстной рекламе или при промо в соцсетях. При развитии рекламной функциональности ботов и добавлении функций аналитики и точного таргетинга стоит ожидать и роста стоимости размещений.

Подробнее..

Категории: Маркетинг , Управление сообществом , Социальные сети , Интернет-маркетинг , Чат-боты , Продвижение

Из песочницы Информационная среда на принципах Open Data

12.09.2020 18:14:51 |

Автор: admin

Предлагаемая информационная среда является своего рода децентрализованной социальной сетью. Но в отличии от многих существующих решений данная среда имеет ряд полезных свойств помимо децентрализации и создана на базе достаточно простых и стандартных технических решений (email, json, текстовые файлы и немного блокчейна). Что позволяет любому желающему с базовыми знаниями программирования создавать свои сервисы для данной среды.

Универсальный идентификатор

В любой онлайн среде идентификаторы пользователей и объектов являются одной из ключевых элементов системы.

В данном случает в качестве идентификатора пользователя выступает email, который уже фактически стал общепринятым идентификатором для авторизации на сайтах и других сервисах (jaber, openId).

Фактически идентификатор пользователя в данной онлайн среде это пара login+domain, которая для удобства записывается в привычном для большинства виде. При этом для большей децентрализации каждому пользователю желательно иметь свой домен. Что близко принципам индивеба, где в качестве пользовательского идентификатора используется домен. В нашем случае к своему домену пользователь добавляет никнейм что позволяет создавать несколько аккаунтов на одном домене (для друзей, например) и делает систему адресации более гибкой.

Такой формат идентификатора пользователя не привязан к какой-либо сети. Если пользователь размещает свои данные в TOR сети то можно использовать домены в зоне .onion, если это сеть с DNS системой на блокчейне то домены в зоне типа .bit. В итоге, формат адресации пользователей и их данных не зависит от сети, через которую они передаются (везде используется связка login+domain). Для желающих использовать в качестве идентификатора bitcoin/ethereum адрес можно доработать систему под использование псевдо email адресов вида xaca1b7c8126806f672f9dbee4951527bb0f2c4e4@ethereum.blockchain

Адресация объектов

Данная онлайн среда фактически является набором объектов, которые описаны в структурированном машиночитаемом виде, ссылаются на другие объекты и привязаны к определённому пользователю (emailу) или проекту/организации (домену).

В качестве идентификаторов объектов используются urn в пространстве имён urn:opendata. Например, профайл пользователя имеет адрес вида:

urn:opendata:profile:user@domain.com

Комментарий пользователя имеет адрес вида:

urn:opendata:comment:user@domain.com:08adbed93413782682fd25da77bd93c99dfd0548

где 08adbed93413782682fd25da77bd93c99dfd0548 случайный sha-1 хэш, выступающий в роли id объекта, а user@domain.com владелец данного объекта.

Принцип публикации пользовательских данных

Имея под управлением свой домен пользователь может достаточно просто публиковать свои данные и контент. И в отличии от индибеба, для этого не требуется создавать сайт с html страницами, в которых встроены семантические данные.

Например, базовая информация о пользователе размещается в файле datarobots.txt, который находится по адресу вида

http://55334.ru/konstantin@55334.ru/datarobots.txt

И имеет содержание такого формата:

Object: userServices-Enabled: 55334.ru,newethnos.ruEthnos: newethnosDelegate-Tokens: http://55334.ru/konstantin@55334.ru/delegete.txt

То есть фактически это набор строк с данными вида ключ->значение, спарсить которые простая задача для любого человека с базовыми знаниями программирования. А редактировать данные при желании можно через обычный блокнот.

Более сложные данные (профайл, комментарий, пост и т. д.), имеющие свой urn отдаются в виде JSON объекта по стандартному API (http://personeltest.ru/away/opendatahub.org/api_1.0?lang=ru), которое может находиться как на домене пользователя, так и на стороннем сайте, которому пользователь делегировал хранение, публикацию и редактирование своих данных (в строке Services-Enabled файла datarobots.txt). О подобных сторонних сервиса написано ниже.

Простая онтология и JSON

Онтология коммуникационной среды является относительно простой, по сравнению с онтологиями отраслевых баз знаний. Так как в коммуникационной среде существует относительно небольшой набор стандартных объектов (пост, комментарий, лайк, профайл, отзыв) с относительно небольшим набором свойств.

Поэтому для описания объектов в такой среде достаточно использовать JSON вместо более сложного по структуре и парсингу XML (важно не забывать про необходимость низкого порога входа и масштабируемость).

Для получения объекта с известным нам urn необходимо обратиться к домену пользователя, либо сторонним сервисам, которым пользователь делегировал управление его данными.

В данной онлайн среде каждый домен, на котором существует онлайн-сервис, также имеет свой datarobots.txt размещённый по адресу вида example.com/datarobots.txt с подобным содержанием:

Object: serviceApi: http://newethnos.ru/apiApi-Version: http://opendatahub.org/api_1.0

Из которого мы может узнать, что получить данные об объекте можно по адресу вида:

http://newethnos.ru/api?urn=urn:opendata:profile:konstantin@55334.ru

JSON объект имеет такую структуру:

{    "urn": "urn:opendata:profile:expample@55334.ru",    "status": 1,    "message": "Ok",    "timestamp": 1596429631,    "service": "example.com",    "data": {        "name": "John",        "surname": "Gald",        "gender": "male",        "city": "Moscow",        "img": "http://domain.com/image.jpg",        "birthtime": 332467200,        "community_friends": {            "example1@domain.com": "1",            "example2@domain.com": "0.5",            "example3@domain.com": "0.7"        },        "interests_tags": "cars,cats,cinema",        "mental_cards": {            "no_alcohol@main": 8,            "data_accumulation@main": 8,            "open_data@main": 8        }    }}

Сервисная архитектура

Сторонние сервисы необходимы для упрощения процесса публикации и поиска данных конечными пользователями.

Выше был упомянут один из видов сервисов, которые помогают пользователю публиковать его данные в сети. Возможно существование множества подобных сервисов, каждый из которых предоставляет пользователю удобный интерфейс для редактирования одного из видов данных (форум, блог, вопрос-ответ и т. д.). Если же пользователь не доверяет сторонним сервисам, то он может установить на свой домен скрипт сервиса по работе с данными или разработать его самостоятельно.

Помимо сервисов, позволяющих пользователям публиковать/редактировать данные в онлайн среде предусмотрен ряд других сервисов, выполняющих относительно сложные задачи, которые достаточно проблематично реализовать на узлах конечных пользователей.

Одним из видов таких сервисов являются хабы данных ( opendatahub.org/ru пример ), выполняющие роль своего рода веб архива, который собирает все публичные машиночитаемые данные пользователей и предоставляет к ним доступ по API.

Наличие сервисов в такой открытой децентрализованной онлайн среде существенно снижает порог входа для пользователей, так как отсутствует необходимость в установке и настройке собственного узла. В тоже время у пользователя остаётся контроль над своими данными (в любой момент можно сменить сервис которому делегирована публикация данных или создать свой узел).

Если же пользователю вообще не интересно владение своими данными и он не имеет своего домена или знакомого с доменом то по умолчанию его данными управляет opendatahub.org.

За чей счёт всё это?

Пожалуй главная проблема практически всех подобных децентрализованных проектов это невозможность их монетизации на уровне, достаточном для стабильного развития и поддержки.

Для покрытия расходов на разработку и маркетинг в данной онлайн среде используются donate + tokens.

Все пожертвования, которые пользователи вносят внутренним проектам/сервисам являются общедоступными, машиночитаемыми и привязаны к email. Что позволяет учитывать их, например, при вычислении внутрисетевого социального рейтинга и публиковать на страницах пользователей. Когда пожертвования перестают быть анонимными, то фактически пользователи не жертвуют, а скидываются на поддержку общей информационной среды. Также как люди скидываются на ремонт мест общего пользования с соответствующим отношением к тем людям, которые отказались скинуться.

Помимо пожертвований, для привлечения средств используются токены эмитированные в ограниченном количестве (400.000), которые начисляются всем кто вносит пожертвования в основной фонд (ethnogenesis).

Дополнительные функции токенов

Каждый токен является ключом для доступа в данную онлайн среду. То есть пользоваться сервисами и быть частью онлайн среды можно только при наличии хотя бы 1 токена, который привязывается к email.

Токены являются хорошим спам-фильтром из-за своей ограниченности. Чем больше в системе пользователей тем сложнее получить токен и тем более затратно создавать ботов.

Люди, их данные и социальные связи важнее технологий

Описанная онлайн среда технически является относительно примитивным решением. Но более важным в ней являются не столько технологии, сколько люди и создаваемые внутри среды социальные связи и данные (контент).

Создаваемая социальная общность, участники которой имеют свои универсальные идентификаторы (email и свой домен) и структурированные данные (с URN адресами, онтологией и JSON объектами) при появлении лучшего технического решения может перенести все эти данные в другую онлайн среду, сохранив при этом сформированные связи (рейтинги, оценки) и контент.

В данном посте описан один из элементов сетевой самоорганизованной общности, которая помимо децентрализованной онлайн среды включает в себя ряд оффлайн направлений, которые увеличивают пользу от онлайн среды и являются заказчиками, во многом определяющими её функционал. Но это уже темы для других статей, не имеющих прямого отношения к IT и технологиям.

Подробнее..

Категории: Децентрализация , Социальные сети , Децентрализованные сети , Open data

BitClout. Котики осваивают новую криптовалюту и соцсеть

28.03.2021 18:07:46 |

Автор: admin

Добрый день, дорогие друзья.

Первое европейское котокафе и приют нового типа Республика Кошек, благодарит нашего друга писателя Алекса Кимена, за предоставленную возможность рассказать в его блоге на Хабре о нашем скромном опыте по освоению новой социальной сети и криптовалюты BitClout.

На днях в сети появился новая соцсеть на базе блокчейна с возможностью монетизации и инвестирования. Мы вчера потратили весь день, пытаясь понять, что это такое и какую пользу из этого может извлечь социальный проект, подобный нашему.

Так же мы подскажем, как можно зарегистрироваться в этой социальной сети и немного поэкспериментировать.

И так, что же такое BitClout?

Это соцсеть, более всего похожая на Твиттер. Но с некоторыми важными особенностями: каждый пользователь этой сети одновременно является держателем ее криптовалюты, инвестором в блогеров, на которых он подписан и создателем своей собственной монеты.

Вот ссылка на whitepaper BitCloud на английском языке: https://drive.google.com/file/d/1nUA7ysEKhZntwpTPHR4JXTOo8P1hlex4/view?usp=sharing

Для работы в этой сети вам необходимо владеть минимальным объемом монет самого BitClout. Рыночная цена монеты на данный момент около $148. Для базовых действий с аккаунтом переименование, постинг и т.п. вам нужно владеть некоторой минимальной суммой. Обычно достаточно иметь эквивалент в $0.01.

Изначально, вы имеете в своем распоряжении именно BitClout (так же для понимания пишется цена в $).

Эти деньги вы можете:

1) Дарить

2) Покупать на них монеты других пользователей

Помимо этого, вы можете создать свою монету и начать ее продавать. Цена на вашу монету определяется по некоторой математической модели и зависит от вашей популярности в BitClout (алгоритм не понятен. Скорее всего на него влияет число подписчиков, лайков, покупателей и т.п. активностей)

Таким образом, у пользователей появляется гипотетическая возможность привлечь средства для своих проектов. Способы получения средств:

1) Продажа своей монеты. Чем больше у вас подписчиков, покупателей и т.п. тем выше стоимость вашей монеты. Таким образом имеет смысл развивать свой блог. Напомним, что BitClout соцсеть и там можно постить фотографии, ссылки и сообщения. Чем больше у вас подписчиков, тем выше цена вашей монеты и общая ваша капитализация. В перспективе это можно монетизировать через рекламные записи в вашем блоге.

2) Комиссия за продажу монету (чуть дальше расскажем подробнее)

3) Спекуляции и инвестиции в свою монету. Вы можете покупать и вашу монету, увеличивая таким образом вашу капитализацию. Рост цены вашей монеты может сделать ее привлекательной, для других пользователей.

4) Инвестирование или спекулятивная покупка монет тех пользователей, популярность (и цена монет) которых, как вы полагаете, будет расти.

Но, довольно слов. Попробуем показать, как это выглядит по шагам.

1) Следует учесть, что на данный момент пользователям из некоторых регионов (США, Англия и каких-то других - точного списка нет, но наверняка это развитые страны) при регистрации дается бонусная сумма BitClout около $7.4. Если у вас есть такая возможность, регистрируйтесь через VPN от этих стран и укажите телефонный номер этих стран, для получения бонуса. Важно одновременно использовать ВПН и телефонный номер целевой страны. По отдельности бонус не начисляется. Телефон можно использовать только один раз. Если вы укажите американский телефон, но войдете с российского IP (или наоборот) - вы не получите бонус.

2) Регистрация возможна только по специальной ссылке: https://bitclout.com/?password=e6c71ab9a53127276d522e66f7856ffb50a1e6a9e9332fe42d5ace6745a3eddc

3) ОЧЕНЬ ВАЖНО: ЗАПИСАТЬ 12 КЛЮЧЕВХ СЛОВ (СИД-ФРАЗУ) ПРИ РЕГИСТРАЦИИ. БЕЗ ЭТОЙ ФРАЗ В ПОТЕРЯЕТЕ ДОСТУП К АККАУНТУ!!!

4) При регистрации можно пропустить ввод телефона и электронной почты. Это можно сделать позднее.

5) Когда вы пройдете 4 шага регистрации, система скажет, что без некоторой суммы, вы не сможете создать профиль и предложит вам купить BitClout.

На данный момент это можно сделать лишь отправив ваши биткойны на указанный кошелек.

ВАЖНО: сейчас отсутствует системы вывода денег обратно с BitClout!!! Отправив туда ваши деньги, вы не сможете сейчас их получить назад! Эту функцию обещают добавить, но сейчас вывода денег нет!

Альтернативный вариант получить стартовый бонус, привязав телефон. Но только для некоторых стран: США, Англия + возможно другие. На номера РФ бонусы не дают.

6) Что делать, если у вас нет телефона в США, и вы не готовы отправлять в систему ваши биткойны?

Ради этого и написана эта статья. Уже на этом этапе вы получаете публичный ключ. Он доступен при нажатии кнопки Wallet. Если вам интересно поиграть с этой соцсетью, но у вас нет возможности отправить туда деньги, вы можете в комментариях к этому сообщению опубликовать публичный ключ, полученный вами на этом этапе.

Мы постараемся отправить туда $0.01. Этого будет достаточно, для активации аккаунта. Так же мы призываем всех читателей, у кого есть возможность получить бонус поддержать тех пользователей, кому нужна минимальная сумма для активации аккаунта.

7) После получения денег у вас появится возможность заполнить ваш профиль. При этом важно обратить внимание на такой параметр, как Founder Reward Percentage процент вознаграждения пользователя. Это сумма (в BitClout) которую вы будете получать, каждый раз, когда кто-то покупает вашу монету. Она будет аккумулироваться на вашем счете BitClout см. верхний правый угол. Если вы укажете 0 то вы не получите ничего. Если вы укажете 100 то вы получите все, а покупатель ничего. По умолчанию стоит 10%. Тут важно соблюсти баланс. Но окончательный механизм работы и стратегия использования этого показателя пока окончательно неясна.

Ну, а далее вы получаете возможность публиковать ваши посты, подписываться на других пользователей. Ставить лайки. Покупать монеты. Огромное поле для экспериментов и творчества.

Мы будем очень благодарны вам, если вы подпишетесь на наш блог в BitClout. И поддержите нас.

О нас:

"Республика кошек" в Санкт-Петербурге первое в России котокафе и центр Котокультурной столицы страны с 2011 года.

Место для творческих персон Петербурга, любителей кошек, туристов;

Рупор и витрина для бездомных кошек, своеобразная альтернатива привычным формам приютов;

Ежегодно более 700 животных находят здесь новый дом, заведение посещает порядка 100 тысяч петербуржцев и гостей города;

Площадка для привлечения внимания общественности к проблемам бездомных животных и гуманного к ним отношения;

BK: https://vk.com/cats_republic

FB: https://www.facebook.com/CatsRepublicRus

Наш публичный ключ в BitClout:

BC1YLiGvMGoARwCaXgtxCTB48mSpeCZnboQS34UgoMsr73Dv1m5koe2

Наш юзернейм в BitClout: CatsRepublic

Большое спасибо за вашу поддержку!

Подробнее..

Категории: Социальные сети , Я пиарюсь , Криптовалюта , Социальные проекты

	Русский
	English