Clubhouse

На прошлой неделе в аудиочате Clubhouse прошли активные дебаты на мандаринском языке среди пользователей IOS с материкового Китая. Это случилось прежде, чем приложение резко заблокировала онлайн-цензура страны (08 февраля 2021 года).

Помимо непринужденных разговоров о путешествиях и здоровье, пользователи откровенно обсуждали концентрационные лагеря уйгуров в Синьцзяне, протесты на площади Тяньаньмэнь в 1989 году и личный опыт допросов полицией. Китайское правительство ограничивает обсуждение этих тем, поддерживая Великий Брандмауэр, чтобы блокировать доступ внутренней аудитории ко многим иностранным приложениям и веб-сайтам. Хотя ещё в начале февраля Clubhouse не был заблокирован фаерволом, некоторые пользователи с материка беспокоились, что правительство может прослушать разговор, что приведёт к репрессиям.

В последние годы китайское правительство во главе с председателем Си Цзиньпином проявляет всё большую готовность преследовать своих граждан за критические высказывания в адрес режима, даже когда эти выступления блокируются в Китае. Аудиосообщения приложения Clubhouse, в отличие от записей в Twitter, не оставляют никаких публичных записей после того, как происходит диалог, что в теории усложняет усилия китайского правительства по мониторингу.

SIO подтвердила, что Agora, Шанхайский поставщик ПО для взаимодействия пользователей в реальном времени, поставляет серверную инфраструктуру для платформы Clubhouse. Эта связь и ранее широко подозревалась, но публично не подтверждалась. Кроме того, SIO определила, что уникальный идентификационный клубный номер пользователя и идентификатор чата передаются в виде открытого текста, и Agora, скорее всего, будет иметь доступ к необработанному аудио пользователей, потенциально обеспечивая тем самым доступ китайскому правительству. По крайней мере в одном из случаев SIO наблюдал, как метаданные комнаты ретранслируются на серверы, которые, вероятно, размещены в КНР. Также в теории можно связать идентификаторы Clubhouse с профилями пользователей.

SIO решила раскрыть эти проблемы безопасности потому, что они относительно легко раскрываются. Но главное они представляют непосредственную угрозу безопасности для миллионов пользователей Clubhouse, особенно в Китае. В процессе проверки обнаружились и другие недостатки безопасности, которые были конфиденциально переданы разработчикам платформы. Их публично раскроют, когда они будут исправлены или после истечения установленного нами крайнего срока.

Что такое Agora?

Agora это Шанхайский стартап со штаб-квартирой в США в Кремниевой долине, который продаёт платформу голосового и видео взаимодействия в реальном времени для других компаний-разработчиков ПО. Другими словами, он предоставляет готовую структуру, чтобы другие приложения, такие как Clubhouse, могли сосредоточится на дизайне интерфейса, конкретных функциях и общем пользовательском опыте. Если приложение работает на инфраструктуре Agora, конечный пользователь может об этом и не догадываться.

Откуда мы знаем, что он обеспечивает поддержку Clubhouse?

Аналитики SIO наблюдали за веб-трафиком Clubhouse с помощью общедоступных инструментов сетевого анализа, таких как Wireshark. Наш анализ показал, что исходящий веб-трафик направляется на серверы, управляемые компанией Agora, в том числе qos-america.agoralab.co. Присоединение к каналу, например, генерирует пакет, направленный на внутреннюю инфраструктуру Agora. Этот пакет содержит метаданные о каждом пользователе, включая их уникальный идентификационный номер клуба и идентификатор комнаты, в которую они вступают.

Эти метаданные передаются через интернет в виде открытого текста (не зашифрованного), что означает, что любая третья сторона, имеющая доступ к сетевому трафику пользователя, может получить к ним доступ. Таким образом, подслушивающий может узнать, разговаривают ли 2 пользователя друг с другом, обнаружив, что эти пользователи подключаются к одному и тому же каналу.

Анализ документации платформы Agora также показывает, что компания, скорее всего, будет иметь доступ к необработанному аудиотрафику Clubhouse. Если Clubhouse не использует технологию сквозного шифрования (Е2ЕЕ), передаваемый звук может быть перехвачен, расшифрован и иным образом сохранен Agora.

Почему это играет важную роль?

Поскольку Agora базируется совместно в США и Китае, она попадает под действие закона КНР о кибербезопасности. В заявлении, поданном в комиссию по ценным бумагам и биржам США, компания признала, что она будет обязана оказывать помощь и поддержку в соответствии с законодательством КНР, включая защиту национальной безопасности и уголовные расследования. Поэтому если китайское правительство определит, что аудиосообщение угрожает национальной безопасности, платформа будет юридически обязана помочь правительству в его обнаружении и хранении.

Разговоры о протестах на площади Тяньаньмэнь, лагерях Синьцзяна или протестах в Гонконге могут квалифицироваться как преступная деятельность. Как это было раньше.

Но Agora утверждает, что не занимается хранением пользовательских аудио или метаданных. В их задачу входит мониторинг качества сети и выставление счетов своим клиентам. Если это правда, то китайское правительство не сможет легально запрашивать данные пользователей ибо их у платформы просто нет. Или КНР теоретически могло прослушивать и записывать данные самостоятельно, если Agora искажает свои методы хранения данных. (Huawei, крупная китайская софтверная компания, имеющая тесные связи с военными силами страны, также заявляет, что не передает данные правительству. В чем многие эксперты сомневаются.)

Кроме того, любые незашифрованные данные. которые передаются через сервера КНР, скорее всего и так будут доступны китайскому правительству. Поэтому доступ к сетям Agora может быть вовсе необязателен.

Отсюда следует, что материковые китайские пользователи Clubhouse потенциально могут оказаться в опасности. Но важно иметь в виду, что теоретический доступ к пользовательским данным не равно фактическому доступу к ним. Китайское правительство это большая и иногда громоздкая бюрократия, как и правительство США.

Можно ли получить доступ к аудио, хранящемуся в Clubhouse?

Кратко: вероятно, нет, пока аудио хранится в США.

Политика конфиденциальности Clubhouse гласит, что пользовательское аудио будет временно записано с целью расследования доверия и безопасности (например, террористической угрозы, вымогательство личной информации у несовершеннолетних и т.д.). После проверки платформа обещает удалить сохранённое аудио. Но в политике не указывается срок временного хранения. Временное может означать и несколько минут, и несколько лет. Также политика конфиденциальности не включает Agora или любые другие китайские организации в качестве третьих лиц для хранения данных.

Если Clubhouse хранит эту запись в США, китайское правительство может попросить правительство США заставить Clubhouse передать данные в соответствии с соглашением о взаимной правовой помощи между США и Китаем. Но этот запрос, скорее всего, не будет удовлетворен из-за положений данного соглашения, позволяющих Соединённым Штатам отклонять запросы, которые нарушают свободу слова пользователей или права человека.

Есть ли вероятность, что материковые пользователи столкнуться с репрессиями за общение в Clubhouse?

Для того, чтобы китайское правительство наказало пользователей платформы, которые посещали или говорили в конфиденциальных чатах, нужно по крайней мере 2 условия:

1. Узнать какие пользователи присутствуют в каких чатах. Это, как уже говорилось, можно сделать через Agora или вручную. Для ручного сбора данных кто-то в комнате должен был записывать профили всех, кто там находится.

2. Нужно реальное желание наказать пользователей. А есть ли это желание пока что неясно. Китайское правительство иногда может быть терпимо к публичной критике, когда она не получает широкого распространения и не способствует коллективным действиям. Поскольку приложение доступно только для приглашённых и для владельцев сравнительно дорогих iPhone (менее 10% всех китайских пользователей), оно, вероятно, не было широко использовано за пределами городской элиты Китая.

Почему Clubhouse запретили в Китае именно сейчас?

Большинство материковых пользователей платформы наряду с иностранными журналистами и аналитиками ожидали, что приложение в конечном итоге будет запрещено. Самым насущным был вопрос - когда? Три фактора поспособствовали срокам запрета:

1. Правительственных цензоров не было в офисе когда Clubhouse стал вирусным. Исследования показывают, что цензура падает по выходным и китайским праздникам, а всплеск активности пришелся как раз на это время.

2. Правительство хотело собрать информацию о своих гражданах. Поскольку граждане боятся репрессий, они лгут о своих истинных политических взглядах.

3. Запрет приложения требует времени. Решение о запрете возможно было задержано из-за простой бюрократической волокиты.

Но всё это лишь предположения. Ответ может оказаться ни одним из пунктов вышеперечисленного.

Технический анализ приложения

Согласно документации Agora, аудио ретранслируется через платформу с использованием их стандартного набора разработки real time communication (RTC), standard development kit (SDK). Подумайте об этом как о старом сетевом операторе: чтобы связаться с другим человеком, оператор должен соединить двух пользователей. В этом случае Clubhouse это телефон двух пользователей, а Agora оператор.

Когда пользователь присоединяется или создаёт чат в Clubhouse, приложение делает запрос через безопасный HTTP (HTTPS) к инфраструктуре Angora. Чтобы сделать запрос, телефон связывается с интерфейсом прикладного программирования Clubhouse, или API. Телефон отправляет запрос [ POST / api / create_channel ] API Clubhouse. API возвращает токен полей и rtm_token , где токен это токен Agora RTC, а rtm_token - токен RTM (обмен сообщениями в реальном времени). Эти токены затем используются для установления пути связи для последующего обмена аудио трафиком между пользователями.

Затем SIO наблюдала, как телефон пользователя отправляет пакеты данных через UDP (более легкий механизм передачи) на сервер под названием qos-america.agoralab.co. Пакеты пользователя содержат в незашифрованном виде метаданные о канале, например, запросил ли пользователь присоединение к чату, идентификационный номер клуба пользователя и отключил ли он себя.

После того, как пользователь получил токен RTC от Clubhouse, его телефон использует токен для аутентификации в Agora, так что зашифрованный звук чата может быть передан непосредственно в Agora через взаимно подтвержденный канал. Согласно документации, Agora будет иметь доступ к ключам шифрования. Хотя в документации не указано, какой вид шифрования используется, скорее всего, это симметричное шифрование по UDP.

Единственный способ, при котором у Agora не будет доступа к необработанному аудио пользователя это если Clubhouse использует сквозное шифрование (E2EE) с использованием индивидуального метода шифрования. Хотя это теоретически возможно, для этого потребуется, чтобы Clubhouse раздал открытые ключи всем пользователям. Этого ещё не существует. Таким образом, E2EE крайне маловероятен.

Кажется, мы рассказали о Clubhouse за пару недель до того, как он успел надоесть большей части русскоязычного веба. Дело в том, что недавнее появление Илона Маска в голосовых комнатах нового аудиопроекта вызвало невиданную волну интереса: в Facebook и других соцсетях все начали делиться друг с другом инвайтами и приглашать друзей немедленно присоединиться к обсуждениям в Clubhouse. Дошло до того, что в эфир стали выходить топ-менеджеры ведущих российских компаний, а в мире к трансляциям подключились сотни знаменитостей вроде Канье Уэста и других звезд музыкальной индустрии и мира кино. Несмотря на то что хайп затронул исключительно iOS-аудиторию, этого хватило, чтобы привлечь внимание команды Facebook, которая по даннымThe New York Times начала разработку аналогичного функционала.

Копируй как Марк

Clubhouse девять месяцев, и он уже переживает кризис. Локальный харассментгейт поставил на повестку дня вопрос о необходимости модерации аудиоконтента теперь команда всерьез задумывается о хранении записей разговоров на случай разбирательств и жалоб пользователей. Еще один казус заключается в том, что несмотря на постоянное обсуждение проекта в медиа и соцсетях, аудитория большей части его голосовых комнат не может и близко приблизиться к YouTube-стримам или показателям популярных подкастов. Получается, что обыватель еле-еле привлекает пару десятков подписчиков и фактически оказывается в ситуации очередного скайп-колла или зум-конференции, но только c достаточно низким качеством звука, а в эфирах с тысячами участников он выступает по большей части в роли простого статиста.

Даже те, кто две недели назад пытался попасть в ряды Clubhouse-спикеров, сейчас задаются закономерными вопросами о том, как найти время на прослушивание такого количества прямых трансляций, стоит ли это делать и инвестировать силы в то, чтобы сделать свой контент действительно полезным для слушателей. Пока маркетологи и пиарщики размышляют над ответами, готовят руководства и гайды, соцсеть постепенно движется к новому кризису.

Но даже он не помешает Facebook клонировать проект или его определенные части по версии NYTimes, компания Марка Цукерберга заинтересовалась Clubhouse и готовится представить ряд похожих возможностей для собственной социальной платформы. Эти планы изданию подтвердили два источника, сообщив о соответствующих распоряжениях руководства.

Как заметили журналисты, такой подход нельзя назвать новым. В 2016-м аналогичным образом в Facebook и Instagram появились истории и селфи-маски, ставшие трендом благодаря усилиям Snapchat, а в конце прошлого года так называемые Reels короткие видео, которые многим напоминают ролики из TikTokа. Пока представители Clubhouse не комментируют слухи, но все идет к тому, что их опыт популяризации аудиоконтента используют в сторонних продуктах.

Конкурируй как Тим

Достаточно агрессивный подход к развитию крупнейших платформ сегодня привлекает не только внимание регуляторов, которые все чаще говорят о разделении крупнейших медиаплатформ на более компактные и управляемые проекты, но и потенциальных конкурентов из мира ИТ. Так по случайному совпадению две недели назад на одной из профильных конференций Тим Кук раскритиковал бизнес-модели, базирующиеся на эксплуатации пользовательских данных. Он не не упоминал Facebook, однако многие предположили, что речь шла именно об этой соцсети.

В этом свете Clubhouse и его монофункциональные аналоги действительно выглядят перспективно. Другое дело, что им еще предстоит разобраться в задачах пользователей и адаптировать интерфейсы, исходя из той динамики, которую команда наблюдает в настоящий момент. Есть ли конкуренты и жизнеспособные альтернативы у Clubhouse разберемся в одном из следующих материалов, где мы поговорим о социальной сети Audlist, проекте High Fidelity от фаудераSecond Life и парочке других разработок, которые могут заинтересовать аудиторию.

Что еще у нас есть для дополнительного чтения:

• Блеск и нищета: еще немного о том, как зарабатывают на жизнь музыканты

• Борьба за права или атмосфера паранойи:в мире музыки еще выбирают

• Плейлистификация захватила умы паблишеров музыки и подкастов

• От критиков к алгоритмам: затухающий голос элит в мире музыки

• Пиратство или монополия: чего музыканты боятся больше

Обсуждаем, как развивается ситуация вокруг Clubhouse и его ближайшего конкурента, который не теряет надежд стать еще более заметным игроком в нише социальных сетей с аудио.

Что случилось

Сотрудники Internet Observatory Стэнфордского университета, специализирующиеся на вопросах информационной безопасности, указали на потенциальные слабые места новой социальной сети Clubhouse. В первую очередь они обратили внимание на одного из поставщиков облачной ИТ-инфраструктуры проекта компанию Agora Inc. со штаб-квартирой в Шанхае. Один факт того, что данные американских пользователей могут храниться не только на территории США, уже вызвал дискуссии в силу радикального закручивания гаек и подозрительного отношения к китайским технологическим вендорам. Эксперты дополнили свои доводы тем, что по их наблюдениям обмен идентификаторами пользователей и комнат с голосовыми чатами происходит в plaintext-формате без какого-либо шифрования, что в ряде ситуацией позволяет компании-хостеру сопоставлять обезличенные аудиозаписи разговоров с именами их участников. Как пишут в The Verge, эта уязвимость может ставит под угрозу не только конфиденциальные данные американцев, но и безопасность китайских пользователей, не желающих раскрывать суть своих переговоров третьей стороне госструктурам КНР, которые могут потребовать от китайского поставщика ИТ-инфраструктуры раскрыть такие данные.

Представители Agora опровергли все обвинения в свой адрес, а в Clubhouse подчеркнули, что и не собирались открывать доступ к соцсети в Китае. Однако представители проекта рассказали о том, что в какой-то момент аналитики компании действительно сообщили о росте трафика из Поднебесной и руководство Clubhouse решило заблокировать доступа к приложению, чтобы исключить какие-либо соприкосновения с китайской ИТ-инфраструктурой и сервисами, плюс потребовало от разработчиков обратить дополнительное внимание на шифрование данных.

Стоит заметить, что за несколько дней до публикации исследования специалистов Стэнфордского университета соцсеть заблокировали уже на территории самого Китая по решению местных ведомств, отвечающих за контент в сетевом пространстве.

Почему сейчас

Аналитики связывают рост популярности аудиосоцсетей не только с запросом на новые решения со стороны лейблов и музыкальных сервисов, но и с широким распространением удобных беспроводных наушников вроде AirPods [только за 2019-й было продано более 60 млн пар] и их многочисленных аналогов. Последние позволяют аудитории соцсетей и видеохостингов проводить перед экранами меньше времени, но и не упускать возможность послушать что-то интересное вроде подкастов, новостей и записей других пользователей в качестве фона.

Количество стартапов, предлагающих подобные аудиосервисы, увеличивается с каждым днем. Одним из ключевых драйверов рынка выступает Clubhouse кто-то приписывает этому проекту абсолютный успех, другие считают его раздражителем, третьи просто-напросто блокируют [опыт Китая мы обсудили выше]. Так или иначе, он делает свое дело последние пару лет аудиосоцсети притягивают существенные объемы средств венчурных инвесторов, стремящихся поддержать как молодые команды, так и коллективы с многолетним опытом работы со звуком.

В качестве примера последнего можно привести южнокорейский Spoon, который только за 2018 и 2019 год привлек более 57 млн долларов инвестиций, хотя работает уже более пяти лет. Первыми существенными доходами соцсеть могла похвастаться три года назад, когда стала наиболее популярным сервисом для голосовых эфиров в Южной Корее спрос доходил до 2,5 млн скачиваний приложения в сутки, а за год компания-разработчик заработала 20 млн долларов. С тех пор она вышла на рынки Японии, Индонезии, Вьетнама и США, плюс увеличила выручку сперва до 41 млн в 2019-м, а в 2020-м приблизилась к отметке в 100 млн долларов.

На этом руководство компании не планирует останавливаться Spoon готовят к выходу на рынки ряда стран Юго-Восточная Азии, нельзя исключать и возможную экспансию в Китай. Сможет ли этот проект составить конкуренцию Clubhouse на европейском рынке, покажет будущее, однако стоит заметить, что Spoon выглядит как вполне устоявшийся бизнес на фоне других аудиостартапов, которые пока расходуют привлеченные средства инвесторов, хотя и уступает Clubhouse с точки зрения удобства и простоты пользовательского интерфейса.

Что еще у нас есть для дополнительного чтения:

• Блеск и нищета: еще немного о том, как зарабатывают на жизнь музыканты

• Борьба за права или атмосфера паранойи:в мире музыки еще выбирают

• Плейлистификация захватила умы паблишеров музыки и подкастов

• От критиков к алгоритмам: затухающий голос элит в мире музыки

• Пиратство или монополия: чего музыканты боятся больше

Дисклеймер

В этой статье я расскажу, как запустить Clubhouse без iphone с помощью консольного python приложения, которое позволит пользоваться большинством функций социальной сети. Clubhouse оказался прикольной теплой ламповой площадкой, но для владельцев андройдов вроде меня эта соцсеть недоступна, а версия для андройда, по слухам, выйдет не ранее мая.
Автор статьи отказывается от любой ответственности за неправомерное использование полученных знаний и напоминает что статья сделана с обучающей и справочной целью. Создание ботов, кибербуллинг и прочие плохие вещи делать крайне не рекомендуется.

Шаг 1. Виртуальный iPhone

Для того, чтобы зарегистрироваться в приложении вам понадобится сервис, предлагающий автоматизированное тестирование мобильных телефонов. В целом можно обойти это требование и зарегистрироваться с использованием реверснутой библиотеки, но вероятно вас смогут вычислить и забанить. К тому же в виртуальной лабе вы сможете потыкать приложение до выхода андройд версии и зафолловить понравившихся людей, чтобы у вас был список комнат с вашими интересами. На рынке есть несколько таких сервисов. Я остановился на browserstack.com там есть возможность получить доступ к реальному iphone, который лежит где-то в серверной и его экран расшаривается на веб-приложение. Нам понадобится функционал App Live он доступен только по подписке. Я честно отдал порядка 40 долларов за один месяц тестирования. Кроме этого, нам понадобится любое .ipa приложение, чтобы сервис позволил вам запустить выбранную модель iPhone'а:

Никаких дополнительных настроек не надо - заходим в App Store под своим Apple ID и устанавливаем Clubhouse:

Приложение попросит ваш телефонный номер, пришлет код на ваш реальный телефон, и тут вам понадобится приглашение в Clubhouse, заранее позаботьтесь, чтобы кто-то из друзей в приложении вам его отправил на ваш номер телефона. После получения приглашения заполните информации о себе в био это единственное место в приложении, где можно рассказать о себе текстом. Интерфейс простой, главное подписаться на интересных вам людей, чтобы дальше можно было легко находить комнаты для прослушивания в консоли:

У всех онлайн-сервисов по тестированию мобильных телефонов есть недостаток: они не умеют перенаправлять звук и микрофон на ваш браузер. То есть с этого эмулятора вы не сможете послушать в Clubhouse ни одной беседы и сами сказать ничего не сможете. Чтобы общаться в комнатах и слушать, что говорят другие, вам придется запустить python приложение на своем компьютере.

Шаг 2. Сlubhouse-py

Для прослушивания комнат и для диалогов будем использовать консольное pyhton приложение. Брать отсюда: https://github.com/stypr/clubhouse-py

Оно основано на реверснутом протоколе clubhouse'а и автор обещает удалить приложение после выхода нормальной версии для андройда. Для работы приложения требуется Python версии 3.7 и выше. Приложение работает под Windows и macos.
Установка простая:

git clone https://github.com/stypr/clubhouse-pycd ./clubhouse-pypip3 install -r requirements.txtpip3 install agora-python-sdk

Для запуска выполните:

python3 cli.py

Если у вас все заработало с первого раза поздравляю!

Но скорей всего будут проблемы.
Во-первых, на 19 февраля 2021 сборка библиотеки agora-python-sdk под Windows сломана, поэтому вместо установки через pip лучше собрать проект руками. Инструкция здесь: https://github.com/AgoraIO-Community/Agora-Python-SDK#installation

Во-вторых, для macos надо дать разрешения на доступ к Микрофону ( Microphone ) и Универсальный Доступ ( Accessability ) для терминала и python'а. А также, вероятно, потребуется изменить комбинацию клавиш для "поднятия руки", так как в двуязычном маке нормально не работает модуль для биндинга горячих клавиш. Для этого откройте в любом редакторе cli.py и измените :

if not channel_speaker_permission:      print("[*] Press [Ctrl+Shift+H] to raise your hands for the speaker permission.")      keyboard.add_hotkey(            "ctrl+shift+h",            _request_speaker_permission,            args=(client, channel_name, user_id)      )

на что-то подобное:

if not channel_speaker_permission:      print("[*] Press [3] to raise your hands for the speaker permission.")      keyboard.add_hotkey(            "3",            _request_speaker_permission,            args=(client, channel_name, user_id)      )

В-третьих, в macos из-за биндинга клавиш приложение надо запускать под рутом:

sudo python3 cli.py

После запуска приложение попросит указать номер телефона и ввести код для аутентификации, после чего сохранит полученный токен в settings.ini
Вот так выглядит запущенное клиентское приложение:

Еще важный момент: консольное приложение по-умолчанию отображает 20 записей в списке каналов и 20 пользователей в каналах. Чтобы увеличить лимиты можно изменить значение переменной max_limit в файле cli.py:

max_limit = 30

Вывод

Я смог протестировать Clubhouse и полноценно зарегистрировать себя и еще нескольких друзей таким способом. И уже несколько дней слушаю беседы и периодически общаюсь в них.
У приложения на python'е есть недостатки: самый главный - это консольный интерфейс. Вы не увидите обновления списка спикеров и не сможете включать/выключать ваш микрофон из приложения. Как workaround включайте/выключайте микрофон другими способами. Кроме того, список доступных бесед ограничен количество строк и возможна ситуация, когда вы не увидите нужную вам беседу. Немного поэкспериментировав, я не нашел способа выводить больше 30 записей в списке бесед, но думаю что такой способ точно есть. Иногда помогает сохранить channel_name отдельно и подключаться напрямую по адресу. Адрес беседы можно взять из ссылки на событие, например: https://www.joinclubhouse.com/event/M1e7eO3N. Приложение не создает подписку на события ( это не реализовано в протоколе clubhouse-py ), поэтому вы не сможете получать приглашения на приватные беседы и прочие оповещения. Но часть проблем можно решить, используя виртуальные лабы с iPhone'ами. Например, это удобно для того, чтобы посмотреть список предстоящих мероприятий, подписаться на каких-то известных людей и просто поискать своих друзей.

В общем, если нет айфона, но есть мозги, то решить проблему с популярным приложением можно. Обратное не работает.
Спасибо за внимание!

Вступление

Первые дни Клабхауса в России были чудесными - люди, с которыми большинство из нас вряд ли когда-то сможет побеседовать вживую, рассказывают дико интересные вещи, бесплатно и без СМС. Я написал бота, который, по субъективным оценкам, в пике записывал топ250 всех мировых стримов и использовался пятизначным количеством пользователей. Я расскажу, как сделать аналогичное для собственных нужд.

Дисклеймер
Возможно, что все описанное ниже нарушает ToS Клабхауса. Используйте на свой страх и риск и только в образовательных целях.

Все началось с Тинькова и Яндексовых комнат. Атмосфера пятничных Хуралов, интересные истории, и всего несколько проблем:
во-первых, я уже давно привык слушать подкасты (а Клабхаус я воспринимал исключительно как read-only) на х2, чего нельзя сделать по определению в лайве.
во-вторых, все как будто сговаривались на начинали вещать примерно в одно и то же время
в-третьих, иногда чаще всего они делали это в совершенно непотребное время, вроде разгара рабочего дня или утра в воскресенье.

Я отправился гуглить, свято веря, что эта проблема уже давно решено, но оказалось, что интернет знает только про вопрос, без ответа. Отдельно, конечно, стоит упомянуть, что эта задача решалась исключительно в образовательных целях и не преследовала корыстных умыслов.

Глава 1. Рассвет

Итак, у нас есть задача, которую нужно решить. Выбор сразу пал на телеграм - боты дают широчайший простор для творчества, позволяют сэкономить кучу времени за счет отсутствия необходимости пилить какую-нибудь вебморду и так далее. Задача усугублялась тем, что вообще-то я не умею программировать :) Еще сильнее она усугублялась тем, что я, в силу некоторой стрёмности задачи, хотел явным образом отделить себя-исследователя от себя-наемного_работника, поэтому решал задачу в максимально нерабочее время, без использования корпоративного оборудования, вычислительных ресурсов и чего-то еще подобного.

Началось все с поиска хотя бы APIшечки. Ныне широко известный в узких кругах репозиторий имел весьма базовый вид, поэтому принципы работы нужных ручек приходилось периодически угадывать. Далее пришлось разобраться с Agora, которая, как известно, собственно и обеспечивает всю голосовую часть Клабхауса. Я всерьёз опасался, что мне придется реализовывать какой-нибудь сверхупрощенный клиент, но оказалось, что у них есть чудесный SDK, с примерами кода. Это не сказать чтобы прям решило мою задачу (я все еще менеджер и не умею программировать), но значительно продвинуло меня в понимании сути происходящего. Примерно с 2 до 4 ночи я занимался исключительно познавательной задачей по допиливанию существующего в примерах плюсового кода для решения моей конкретной задачи. Когда свежескомпилированный бинарник успешно заработал, генеря аудиофайлик с нужными метаданными, я удивился и обрадовался одновременно.

За окном зарождался новый день, а я начал набрасывать клиентскую часть. Быстро вырисовалась базовая схема. Получаем от пользователя ссылку на активную комнату или на событие в будущем. Если это активная комната, то дергаем ручку /join_channel, получаем оттуда токен и название комнаты. Сразу же выходим из комнаты, и передаем полученные данные специальному демону, который делает простейшую вещь: если это новая комната, то он стартует отдельный бинарник, который, собственно, делает непосредственно всю работу по записи аудиопотока и записывает chat_id телеграммной беседы, чтобы обрадовать счастливого слушателя, когда всё будет готово. Если же это уже известная комната, которая уже записывается, то, разумеется, новый поток не запускается, но слушатель дописывается в список тех, кто решил записать эту беседу раньше.

Если же это событие в будущем (event в терминах Clubhouse), то начинается веселье. С некоторой периодичностью, которая увеличивается со временем, мы начинаем дергать ручку /get_event. Мы извлекаем оттуда ориентировочное время старта беседы (потому что оно может меняться со временем) и, если беседа уже началась, идентификатор комнаты. Как только это происходит, бот информирует всех заинтересованных о том, что беседа началась и далее автоматически происходит процедура из предыдущего абзаца. Бывают случаи, когда событие так и не начинается. В этом случае бот убивает событие в очереди демона и отправляет грустное сообщение интересантам.

Параллельно, в фоне, работает отдельный процесс, смысл которого сводится буквально к следующему. Как только в папках с записями появляется файлик-флажок, свидетельствующий о том, что беседа закончена, запускается ffmpeg, который разбивает запись на часовые кусочки. Далее все они по очереди отправляются каждому из заинтересованных слушателей. После происходит удаление всей накопленной информации - самих записей, данных из БД, логов и так далее.

Глава 2. Расцвет.

Бот задорно начал работать. После коротенького анонса на VC и реддите, дешевенькая впска перешла в режим утюга и произошел переезд на более мощную железяку. В процессе это выглядело примерно так.

Глава 3. Закат.

Первый бан - RPS ручек
В какой-то момент я заметил, что график ошибок стал расти как-то совершенно неприлично. Оказалось, что Clubhouse ввел ограничения по частоте дергания каждой ручки. Пришлось быстро переписать логику. Теперь все задания не отправлялись в немедленное исполнение, а складывались в отдельную очередь, куда периодически ходила отдельная функция и пыталась сгенерировать токены. Веселье продолжилось, количество потоков записи стало уверенно трехзначным.

Второй бан - Agora
WARN (10:24:22:783 | 0) 34352; [ch0] receive notification 14 from server
INFO (10:24:22:783 | 0) 34352; [ch0] connection rejected due to client is banned, code=14
INFO (10:24:22:784 | 1) 34352; [vos] [rejected] client is banned by vos 104.166.161.21:4016

Ребята, очевидно, подзадобались платить за чужих людей и начали банить на уровне агоры. Насколько я могу судить, это бан именно на уровне учетки, не IP. Борьба может быть продолжена путем генерации новых учеток, но это уже не так интересно.

Глава 4. Новый ренессанс или Запись Clubhouse - сделай сам

1) Заведи себе линуксовый сервер. Если речь идет про личное использование, то подойдет вообще любой, даже самый дешевый. Установи туда ffmpeg.

2) Скачай SDK и распакуй полученный архив.

3) Скомпилируй рекордер. Если совсем лень заморачиваться, сделай все буквально, как написано здесь.

4) Получи авторизационный токен и личный идентификатор пользователя. Если лень разбираться - скачай питоновую либу, запусти скрипт cli.py и авторизуйся. Интересующие тебя данные будут находиться в settings.ini. Если же ты не ищешь простых путей, то тебя интересует последовательное выполнение client.start_phone_number_auth('+7123467890') и далее, после получение смски, client.complete_phone_number_auth('+7123467890', '1234'). В результате выполнения этой функции вернется словарь, авторизационный токен находится в result['auth_token'], а личный идентификатор - в result['user_profile']['user_id']. В возвращаемом заголовке CH-DeviceId находится идентификатор устройства. Запиши их куда-нибудь, они константны. При вызове всех методов ты будешь передавать их примерно вот так:

client = Clubhouse(        user_id='личный идентификатор пользователя',        user_token='авторизационный токен',    user_device='идентификатор устройства')

5) Получи токен для записи выбранной комнаты. Для этого используй метод client.join_channel(room_id), где room_id это последняя часть ссылки https://joinclubhouse.com/room/ROOMID. Если комната уже активна, в ответе прилетит поле token. Не забудь выйти из канала, client.leave_channel(room_id)

После этого запускаем рекордер, примерно так:

./recorder_local --channel ROOMID --appId 938de3e8055e42b281bb8c6f69c21f78 --uid личный_идентификатор_пользователя --channelKey токен_для_канала --appliteDir bin --isMixingEnabled 1 --isAudioOnly 1 --idle 60 --recordFileRootDir records --logLevel 2

Запись будет окончена, когда в свежесозданной папке появится файлик recording2-done.txt.

6) Запись запланированных мероприятий чуточку сложнее. Сначала нужно подергать метод client.get_event(event_hashid=event_id), где event_id это последняя часть ссылки https://www.joinclubhouse.com/event/EVENTID. Если событие уже началось, то этот метод вернет непустое поле result['event']['channel']. В нем содержится идентификатор комнаты, с которым далее следует сделать все, описанное в предыдущем пункте. Если же это поле пустое, то мероприятие еще не началось.

Думаете, что Clubhouse это сплошное обсуждение стартапов, способов повышения личной эффективности, криптовалют и IT? Вовсе нет.

Редакция Click.ru не смогла удержаться и сделала подборку самых оригинальных комнат. Ниже расскажем, чем в них занимаются пользователи социальной сети, когда хочется отдохнуть от серьезных тем и просто подурачиться.

Два чая этому господину!

Если есть желание устроить вечер пятницы в понедельник, добро пожаловать в комнату Пятый стакан виски. Комната с провокационным названием создана для тех, кому порядком поднадоели вдумчивые беседы и серьезные спикеры. Настоящий бар в онлайн-формате: случайные истории, случайные знакомства, случайные темы. В комнате не очень много людей, поэтому обстановка достаточно ламповая. Некоторые участники, среди которых много бизнесменов, на самом деле выпивают не меньше пяти стаканов виски впрямом эфире. Но мы советуем ограничиться чаем.

Как звучит космос

Clubhouse это не только про разговоры, пусть и душевные. В декабре в закрытой соцсети состоялось живое выступление Lion King: The Musical Live. Около 5000 человек слушали выступление 40 актеров, музыкантов и артистов хора. Когда начиналась следующая сценка или композиция, участники меняли аватарки на изображения персонажей мультфильма, чтобы слушатели понимали происходящее.

Это далеко не единственный концерт в прямом эфире, есть и менее профессиональные. Американская сценаристка и актриса Жюстин Бейтман создала комнату Audio Performance Art. Примерно час спикеры задавали тему, например Леса Амазонки, Детская невинность, Марс и т. д., а каждый участник издавал звук, воспроизводил мелодию на подручных инструментах, произносил обрывки фраз или слова, которые ассоциировались с заданной темой. Эмбиент в режиме онлайн. В перфомансе приняли участие около 15 человек.

Говорят, царь ненастоящий!

Жюстин не смогла проигнорировать и хайп вокруг выступления Илона Маска. Вместе со своими товарищами она создала комнату Elon Musk and Kanye CH talk. Увы, лично Маск и Канье ее не посетили, зато с ролями известных личностей прекрасно справились друзья актрисы. Они сделали себе аватарки Илона и Уэста и глубокомысленно отвечали на абсолютно серьезные вопросы пользователей об окружающей среде, технологиях, будущем, пародируя голоса своих героев и цитируя их философские твиты. Жюстин выступала в качестве модератора и около часа комментировала каждый ответ знаменитостей словами потрясающая мысль, гениально.

Возможность пообщаться со звездой одна из фишек социальной сети. Но аккаунты не проходят модерацию, поэтому Чарльзом, принцем Уэльским, может назвать себя любой Иван Петров. Так, в комнату Разговариваем только о модераторах внезапно зашлаАлла Пугачева. Примерно полтора часа она активно отвечала на вопросы слушателей, исполнила Позови меня с собой и даже не обошла стороной контент Филиппа Киркорова в TikTok. Позже выяснилось, что Алла была ненастоящей, но лжепримадонне поверили почти 5000 человек, в том числе рэпер Федук который, впрочем, тоже мог быть подставным.

Помолчим по душам

Если вы боитесь стать жертвой обмана или просто не хотите разговаривать, вам сюда. Молчаливые знакомства для людей синтересным био самая популярная комната, где ничего не происходит. Конечно, можно поднять руку и стать спикером, но все равно ничего не изменится. Смысл в том, чтобы читать описания профилей и молчать при любых обстоятельствах. Идеальный вариант для интровертов. Некоторые участники признавались, что когда молчание слышат несколько сотен человек, сильно повышается продуктивность. Есть и еще один плюс. В комнате любой желающий может стать спикером, поэтому поднакопить инвайты для друзей намного проще (новые приглашения даются активным пользователям).

В социальной сети ежеминутно создаются тысячи комнат, серьезных и не очень. А о каких странных комнатах Clubhouse слышали вы? Или же принимали участие?

Анализируем релизы Reddit, Discord и Telegram их команды буквально на днях предложили свой взгляд на интерфейсы для голосового общения. Главный фактор, подстегнувший соцсети к вводу такого функционала, это фантастическая концентрация внимания аудитории и инвесторов на проекте Clubhouse. Как вы уже знаете, он выстрелил в прошлом году, а в апреле 2021-го его капитализацию оценили в четыре миллиарда долларов. Разбираемся, за тем ли зайцем погнались крупнейшие социальные платформы, и как идет этот процесс.

Дом для Reddit

В России интерес к Clubhouse, кажется, падает. Однако в мире о проекте продолжают говорить. Массовый хайп вокруг него мотивирует руководство крупнейших соцсетей к экстренному запуску похожего функционала. Так, команда Reddit пару недель назад анонсировала сервис для общения в прямом эфире Talk. Он предназначен для тематических сообществ, чьи участники с помощью Reddit Talk смогут проводить сессии вопросов и ответов, организовывать лекции и в любое удобное время общаться в голосовых чатах. Пока их не открыли для всех пользователей платформы и ожидают тех, кто будет готов попробовать сервис в деле в числе первых.

Как пишут в релизе, права на запуск аудиокомнат будут исключительно у модераторов сообществ. Еще они получат возможность приглашать спикеров и управлять их микрофонами во время беседы, плюс удалять пользователей из аудиочата и ограничивать для них вход. Последние смогут подключаться к прослушиванию и сигнализировать о готовности высказаться по тому или иному вопросу с помощью поднятых рук. Словом, все как в Clubhouse.

Новость о готовящемся запуске сообщество площадки встретило без энтузиазма. Первым под огонь критики попал интерфейс многим он показался перегруженным аватарами спикеров и слушателей. Еще больший гнев вызвала необходимость модерации происходящего в голосовых чатах менеджеры сообществ пожаловались, что им не хватает времени на анализ контента в текстовом виде, а тут появляется новый инструмент, требующий дополнительных трудозатрат. Третий момент, на который обратили внимание резиденты площадки, это вопросы относительно того, как Reddit собирается хранить и обрабатывать аудиоконтент: будут ли записи оставаться в облаке, планируется ли возможность бэкапа бесед по запросу организаторов и с разрешения участников. Все это еще предстоит выяснить.

Обработка аудиозаписей пользователей соцсетей значимая тема, и обсуждать ее начали задолго до появления клубного дома. Однако пристальное внимание к этому проекту и скандалы, связанные с утечками данных из Clubhouse, вместе с общими сложностями с модерацией потокового аудио подогрели обстановку вокруг платформ, разрабатывающих подобный функционал. Reddit не исключение, и у его аудитории возникло множество сомнений на этот счет, учитывая тот факт, что пресс-релиз вышел без каких-либо пояснений.

Перестройка в Discord и Telegram

Даже сервисы, казалось бы, не требовавшие доработки, решили подвергнуть локальному переформатированию в свете хайпа вокруг Clubhouse. Чуть более месяца назад Discord представили так называемые Stage Channels каналы, доступные для тематических серверов [отличаются от обычных Discord-комнат по типу и задуманы для сообществ]. Они очень похожи на аудиочаты в Reddit и комнаты в Clubhouse: здесь у модераторов есть возможность назначить спикеров, управлять их микрофонами, а у аудитории присоединяться к прослушиванию бесед и поднимать руку в надежде, что вопрос или реплику дадут произнести в эфире.

В Telegram голосовые чаты появились раньше, в конце прошлого года. В середине марта их обновили. Реализованы здесь аудиокомнаты на свой лад с учетом зарекомендовавшего себя функционала мессенджера. Хотя и все основные Clubhouse-возможности тут тоже есть. Как и одно заметное отличие простой и понятный подход к записи бесед в аудиочатах.

Что интересно, ни одна из компаний не стала раскрывать пользователям свои планы относительно длительности хранения записей и перспектив их использования. Например, для обучения нейросетей или формирования сводов метаданных для профилирования пользователей, разработки алгоритмов модерации аудиоконтента и рекламных движков.

Глухая стена

Очевиден кризис отрасли. Его явный признак массовое копирование фичей выстрелившего проекта с непонятными перспективами. Такими темпами крупнейшие медиаплатформы рискуют перегрузить свои интерфейсы избыточным функционалом, который не ожидала увидеть и не просила разрабатывать их аудитория. Однако этот подход может оказаться губительным лишь для монополистов рынка, чье место в скором времени способны занять новые соцсети.

О том, как будут развиваться события, и о других проектах, внедряющих похожие возможности в свои продукты, мы поговорим в нашем следующем материале.

Что еще у нас есть в нашем Мире Hi-Fi:

• Многие недовольны крупнейшим видеохостингом, но продолжают им пользоваться

• Что слушать фоном, чтобы не отвлекаться от дел избранные источники

• Лоу-фай музыкантам не нужны ни деньги, ни карьера в индустрии

• Кино и сериалы все чаще смотрят не на умных ТВ

• YAMAHA: устройства флагманской 5000 серии

У нас на Хабре: парочка доступных бандлов с устройствами для аудиозаписи.

Clubhouse успел не только поучаствовать в харассмент-гейте и скандале, связанном с информационной безопасностью пользователей, но и стал причиной для нового витка споров вокруг модерации аудиоконтента. Так или иначе, в России соцсетью интересовались не более месяца потом тяга к ней практически полностью угасла. Однако в мире ситуация иная хайп вокруг проекта набирает обороты, а инвесторы уже оценивают его стоимость в четыре миллиарда долларов. Разбираемся, действительно ли Clubhouse стоит этих денег.

Громкие разговоры

Как замечают журналисты BBC, за год с небольшим соцсеть привлекла внимание огромного количества знаменитостей и известных деятелей из мира ИТ. В пользовательских эфирах поучаствовали Канье Уэст, Илон Маск, Марк Цукерберг и другие выдающиеся персоны. Да и спектр обсуждаемых тем стал шире. Если на старте проекта это были аудиочаты западных инвесторов и представителей стартап-тусовки, то сейчас в Clubhouse можно поговорить о чем угодно. Но стоит ли продукт с такими возможностями четыре миллиарда долларов?

Инвесторы, продолжающие вкладывать средства в его развитие, полностью убеждены в этом, хотя всего три месяца назад капитализация аудиосоцсети только-только подбиралась к миллиарду. Пробить этот барьер помогли инвестиции от фонда Марка Андрессена и Бена Хоровица сумма составила сто миллионов долларов за долю в проекте. А в следующем раунде к числу инвесторов присоединился венчурный фонд Юрия Мильнера DST Global.

Так капитализация соцсети быстро достигла оценки Instagram, которую в 2012 году приобрел Facebook как раз за миллиард долларов. В этом контексте слухи о продаже проекта одному из крупных игроков на рынке соцсетей мало кого удивляли, однако подобная сделка так и не состоялась. При этом потенциальная стоимость Clubhouse выросла в четыре раза.

Трезвая оценка

Феноменальные темпы роста капитализации сервиса не могут не вызывать вопросы. Тринадцать-четырнадцать миллионов пользователей определенно не та аудитория, за которую имеет смысл говорить о таких суммах. В Discord чуть ли не в двадцать раз больше зарегистрированных пользователей. Вместе с этим остается загадкой и потенциальная бизнес-модель Clubhouse зарабатывать на аудиорекламе сложнее, чем кажется на первый взгляд: системе нужно понимать контекст, проводить модерацию аудиозаписей и договариваться с ведущими авторами платформы напимер, чтобы добавлять рекламные вставки к их трансляциям.

Помимо финансовой составляющей команде проекта предстоит укрепить рубежи с точки зрения информационной безопасности. Стоит признать, что пока Clubhouse латает дыры весьма оперативно, но проблем от этого меньше не становится. Буквально пару недель назад на одном из хакерских форумов появилась база с профилями 1,3 млн пользователей соцсети. Обошлось без слива платежных данных, но от этого разработчикам не легче даже такие утечки бьют по репутации и негативным образом отражаются на планах по привлечению инвестиций.

Да и как справедливо заметил один из резидентов сообщества Hacker News, серьезно относиться к сумме в четыре млрд стоит только тогда, когда кто-либо из потенциальных покупателей выложит эти деньги на стол и будет готов закрыть такую сделку. До этого момента можно лишь оценивать уровень публичной игры инвесторов, желающих перепродать доли в проекте по более высокой стоимости, в том числе и гораздо более низкой по сравнению с заявленной.

Что дальше

Нельзя исключать, что хайп вокруг Clubhouse вызван искусственными усилиями пиарщиков. Да и динамика роста капитализации соцсети со столь низким числом пользователей, похоже, выдает желание ряда инвесторов избавиться от этого актива, пока его основной функционал не скопировали конкурирующие платформы. Последние, к слову, заняты именно этим, и в следующих материалах мы расскажем, какие аудиофичи они предлагают аудитории.

Разбираем тему аудиосоцсетей в нашем Мире Hi-Fi:

• Стриминговые сервисы хотели бы найти новые решения, но пока все сложно

• От экрана к звуку: аудиосоцсети рвутся к глобальной аудитории

• Аудиосоцсети только вошли в тренды, но уже успели всем надоесть

P.S. Что почитать и послушать на длинных выходных избранные материалы и видео.