Компания Cellebrite производит программное обеспечение для автоматизации извлечения и индексирования данных с мобильных устройств. Они работают в "серой" зоне, где корпоративный брендинг идёт бок о бок с "цифровой разведкой", если конечно можно так называть воровство.

В список их клиентов входят авторитарные режимы в Беларуси, России, Венесуэле и Китае; отряды смерти в Бангладаше; военные хунты в Мьянме; а также те, кто жаждет насилия и гнёта в Турции, ОАЭ и других странах.

Несколько месяцев назад они объявили, что добавили в своё программное обеспечение поддержку Signal.

Их продукты часто связывали с преследованиями журналистов и активистов по всему миру, но о том, как их программы работают и что они делают в действительности было написано гораздо меньше. Поскольку программы Cellebrite ассоциируются с обходом систем защиты, давайте уделим некоторое время изучению безопасности их собственных программ.

Предыстория

Во-первых, всё, что касается Cellebrite, начинается с того, что кто-то другой уже держит ваше устройство в руках. Cellebrite не осуществляет перехвата данных или удалённого наблюдения. Их основных программных продукта два (и оба для Windows): UFED и Physical Analyzer (физический анализатор).

UFED создаёт резервную копию вашего устройства на машине под управлением Windows (по сути, это фронтенд для adb backup на Android и резервной копией от iTunes на iPhone, с извлечением некоторых дополнительных данных). После создания резервной копии, Physical Analyzer затем разбирает файлы из резервной копии, чтобы отобразить данные в обозримом виде.

Когда компания Сellebrite объявила, что они добавили поддержку мессенджера Signal, это на самом деле означало то, что в Physical Analyzer они добавили поддержку для форматов файлов, используемых Signal. Это позволяет Physical Analyzer отображать данные мессенджера, которые были извлечены из разблокированного устройства, находящегося в физическом владении пользователя Cellebrite.

Если кто-то держит ваше разблокированное устройство в руках, то он может открыть любое приложение и делать скриншоты всего, что в нём есть, чтобы сохранить их и повторно посмотреть их позже. По сути, Cellebrite автоматизирует этот процесс для того, кто физически владеет вашим устройством.

В нужное время, в нужном месте...

По поистине невероятному стечению обстоятельств, недавно я выходил на прогулку и увидел, как маленький кейс упал с грузовика впереди меня. По мере моего приближения, скучный корпоративный шрифт на кейсе постепенно становился всё более чётким. Подойдя вплотную, я увидел: "Cellebrite".

Внутри него мы нашли последние версии программного обеспечения Cellebrite, железный замочек, предназначенный для предотвращения пиратства (это кое-что говорит о их клиентах, наверное), и необычайно большое количество переходников и адаптеров для кабелей.

Программное обеспечение

Любой, кто знаком с программной безопасностью, сразу поймёт, что основно задачей программного обеспечения Cellebrite является анализ "ненадёжных" ("untrusted") данных из самых разных форматов, используемых различными приложениями. То есть, данные, которые программное обеспечение Cellebrite должно извлекать и отображать, в конечном счёте, генерируются и контролируются приложениями на устройстве, а не "доверенным" источником, поэтому Cellebrite не может делать никаких предположений о "правильности" упорядоченных данных, которые он получает. Вот в этом месте возникают практически все уязвимости в безопасности.

Поскольку почти весь код Сellebrite существует для разбора недоверенных входных данных, которые могут быть отформатированы неожиданным образом для эксплуатации повреждения памяти или других уязвимостей в обрабатываемых программах, можно ожидать, что Cellebrite действуют крайне осторожно.

Однако, глядя на UFED и Physical Analyzer, мы были удивлены, обнаружив, что, кажется, очень мало заботы было уделено безопасности собственного программного обеспечения Сellebrite. Отраслевые стандарты защиты от эксплойтов отсутствуют, и есть много разных возможностей для эксплуатации.

В качестве лишь одного примера (не связанного с тем, что следует далее), их программное обеспечение укомплектовано с библиотеками FFmpeg, которые были скомпилированы ещё в 2012 году, и в дальнейшем не менялись. За это время было выпущено более ста обновлений безопасности для FFmpeg, ни одно из которых не было применено в Сellebrite.

Уязвимости

Учитывая количество имеющихся возможностей, мы обнаружили, что можно выполнить произвольный код на машине с Cellebrite, просто добавив специально отформатированный, но в остальном безобидный файл в любое приложение на устройстве, которое впоследствии подключается к Cellebrite и сканируется. Ограничений на код, который может быть выполнен, практически нет.

Например, таким образом можно выполнить код, который модифицирует не только созданный в этом сканировании отчёт Сellebrite, но и все предыдущие и будущие отчёты Cellebrite со всех ранее отсканированных устройств, а также со всех будущих устройств любым произвольным способом (вставляя или удаляя текст, электронную почту, фотографии, контакты, файлы или любые другие данные), без каких-либо обнаруживаемых изменений временных меток или сбоях в проверках контрольных сумм. Это даже может быть сделано случайным образом, что серьёзно подставит под сомнение целостность данных в отчётах Cellebrite.

Любое приложение может содержать такой файл, и до тех пор, пока Cellebrite не сможет точечно устранить все уязвимости в своём программном обеспечении, с чрезвычайно высокой степенью уверенности можно сказать, что единственное средство, которое есть у пользователя Cellebrite - это не сканировать устройства. Cellebrite может снизить риск для своих пользователей, обновив их программное обеспечение, чтобы прекратить сканирование приложений, которые Сellebrite посчитает очень рискованными для такого типа проблем целостности данных, но даже это не является гарантией.

Мы же, конечно, готовы ответственно сообщать Cellebrite о конкретных уязвимостях, известных нам, если они сделают тоже самое для всех уязвимостей, которые они используют в физическом извлечении данных с устройств, а также в других сервисах их соответствующим поставщикам, сейчас и в будущем.

Ниже приведён пример видео эксплойта для UFED (аналогичные эксплойты существуют и для Physical Analyzer). В видео, UFED достигает файла, который выполняет произвольный код на машине Cellebrite. Этот эксплойт использует MessageBox в Windows API, чтобы отобразить диалоговое окно с сообщением. Это делается в демонстрационных целях; можно выполнить любой код, и реальный эксплойт, скорее всего, попытается скрытным образом изменить предыдущие отчёты, подорвать целостность будущих отчётов (возможно, случайным образом!) или извлечь данные с машины Cellebrite.

Авторское право

Ещё, из интересного, установщик для Physical Analyzer содержит два пакета установщиков MSI под названием AppleApplicationsSupport64.msi и AppleMobileDeviceSupport6464.msi. Эти два пакета MSI имеют цифровую подпись Apple и, кажется, были извлечены из установщика для Windows программы iTunes версии 12.9.0.167.

Программа установки Physical Analyzer устанавливает эти MSI-пакеты на C:\Program Files\Common Files\Apple. Они содержат библиотеки (DLL), реализующие тот функционал, который iTunes использует для взаимодействия с iOS устройствами.

Cellebrite iOS Advanced Logical Tool загружает эти библиотеки Apple и использует их функциональность для извлечения данных с мобильных устройств на базе iOS. На скриншоте ниже показано, что библиотеки от Apple загружаются в процесс UFED iPhone Logical.exe, который является именем для процесса iOS Advanced Logical Tool.

Нам кажется маловероятным, что Apple предоставила Сellebrite лицензию на повторное распространение и включение собственных библиотек в продукты Cellebrite, так что этот факт может понести за собой определённые юридические риски для Сellebrite и их пользователей.

Совершенно не связанное

По странному совпадению, будущие версии мессенджера Signal будут периодически загружать файлы для размещения в хранилище приложения (App Storage). Эти файлы никогда не используются ни для чего внутри Signal и никогда не взаимодействуют с самим мессенджером или данными, но они просто выглядят эстетично, а эстетика в программном обеспечении важна.

Такие файлы будут создаваться только для постоянных пользователей приложения в течении некоторого времени, и только в низком процентном соотношении, основанном на шардинге телефонных номеров.

У нас есть несколько различных версий файлов, которые мы считаем эстетически привлекательными, и с течением времени мы будем их медленно перебирать. Иного предназначения у этих файлов нет.

В течение нескольких часов после публикации статьи о запуске Телегрегатора (http://personeltest.ru/aways/habr.com/ru/post/544414/) приходили сообщения с благодарностями и вопросами по нюансам работы.

Но недолго я радовался: потом пошел поток сообщений о том, что бот перестал добавлять в поток новые каналы либо вообще не работал.

Я это списывал на не слишком подробную инструкцию по запуску, сбои в работе самого бота (о множестве существующих лимитов я узнал из недавней статьи http://personeltest.ru/aways/habr.com/ru/post/543676/), возможные ошибки пользователей.

Путем общения с пользователями, чтением логов и раздумий пришел к выводу, что юзербот (а именно так, в соответствие со статьей выше, принято называть аккаунт телеграма, работающий в режиме бота) упёрся в лимит каналов (500 на аккаунт, спасибо @Slavenin999 за наводку). Я не уточнял, приватных или публичных, да это и не важно. Юзер бот упёрся в них за день.

У меня было в планах выложить код Телегрегатора в открытый доступ, но, перед этим, я хотел его хоть немного привести в подобающий вид. Однако, учитывая события с лимитом, решил не откладывать в долгий ящик, и публикую его на гитхабе (https://github.com/parotikov/telegregator), чтобы каждый желающий смог развернуть его для себя и не ждать решения с обходом лимитов, т.к. это может затянуться..

Сами подробности по установке будут в репе с ботом. В общем-то, на этом всё, ниже приведены несколько ключевых моментов из кода, который местами даже прокомментирован.

inb4: пинать за код не надо, питон только осваиваю. это прототип, который не взлетел.

Инициализация всего

from telethon import TelegramClient, events, sync, functions, types, utilsfrom telethon.tl.custom import Buttonimport asyncioimport osimport loggingfrom TelegramCommand import *from database import *import importlibfrom dotenv import load_dotenvload_dotenv()logger = logging.getLogger("tggt")logger.setLevel(logging.DEBUG)fh = logging.FileHandler("app.log")formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')fh.setFormatter(formatter)logger.addHandler(fh)api_id = os.getenv("API_ID")api_hash = os.getenv("API_HASH")master_account = os.getenv("MASTER_ACCOUNT")bot_token = os.getenv("BOT_TOKEN")client = TelegramClient('telegregator_session', api_id, api_hash)

В начале подключаем все необходимые библиотеки, настраиваю логгер, подключение самого telethon'а. Дальнейшее общение с телегой будет происходить через client и его декораторы.

Все действия Телегрегатора разделены на три группы: реакция на команды пользователя, реакция на новые сообщения в добавленных каналах и реакция на служебные события (бот добавлен в чат, написал новый пользователь и т.д.).

Команды

На все входящие сообщения от пользователя бот реагирует через декоратор @client.on(events.NewMessage):

@client.on(events.NewMessage)    async def my_event_handler(event):        logger.info("\r\n\r\n\r\n-------------Новое сообщение----------------")        ## Определяем кто к нам постучался        if event.message.from_id:            contact = await add_contact(event.message.from_id)        # личка бота        management = 0        handled = 0        if hasattr(event.message.to_id, 'channel_id'):            handled = 1            # logger.info('сообщение пришло в канал (тип channel_id), нужно обрабатывать для пересылки')            try:                chat = await client.get_input_entity(event.message.to_id)            except Exception as e:                logger.error(e)        if hasattr(event.message.to_id, 'user_id'):            if event.message.to_id.user_id == 887053090 or event.message.to_id.user_id == None:                logger.info("сообщение в личку телегрегатора, обрабатывать как управляющую команду")                management = 1                try:                    chat = await client.get_input_entity(event.message.from_id)                    await client.send_read_acknowledge(chat, event.message)                except Exception as e:                    logger.error(e)            else:                try:                    chat = await client.get_input_entity(event.message.to_id)                except Exception as e:                    logger.error(e)        if hasattr(event.message.to_id, 'chat_id'):            logger.info('сообщение в группу (chat_id) %s, нужно обрабатывать как команду' % event.message.to_id.chat_id)            try:                chat = await client.get_input_entity(event.message.to_id)            except Exception as e:                logger.error(e)        if hasattr(event.message.to_id, 'channel_id'):            logger.info('сообщение в канал (channel_id) %s, нужно обрабатывать как команду' % event.message.to_id.channel_id)            try:                chat = await client.get_input_entity(event.message.to_id)            except Exception as e:                logger.error(e)            # для отладки, пересылаем сообщение админу            await event.message.forward_to(master_account)        # mark message as read        await client.send_read_acknowledge(chat, event.message)        #Парсим команду.         command_handler = TelegramCommand()        command, command_arg = command_handler.parseMessage(event.message.message)        # если распознана команда        if command:            # помечаем сообщение прочитанным            await send_read(event.message.from_id, event.message)            chat_command = command            logger.info('Команда: {}, аргумент: {}'.format(chat_command, command_arg))            # на присоединение к каналу            if chat_command == 'help':                await call_command(module='helpmessage', answer_to=chat)            if chat_command == 'new':                await call_command(module='new', answer_to=chat, contact=contact, group_name = command_arg)            if chat_command == 'test':                await call_command(module='test')            if chat_command in ['join', 'add']:                channels_list = command_arg.split(' ')                for channel in channels_list:                    await call_command(module='join', answer_to=chat, channel_name=channel)            # на отписку от канала            if chat_command in ['leave', 'remove', 'delete']:                channels_list = command_arg.split(' ')                for channel in channels_list:                    await call_command(module='leave', answer_to=chat, channel_name=channel)            # на список подписанных каналов            if chat_command == 'list':                await call_command(module='listchannels', answer_to=chat, feed_id=event.message.to_id.chat_id)            ## Вкл/выкл поток            if chat_command in ['stop', 'pause']:                await call_command(module='stop', answer_to=chat)            if chat_command in ['start', 'resume']:                await call_command(module='start', answer_to=chat)            if chat_command in ['deleteall', 'exit']:                await call_command(module='deleteall', answer_to=chat)            ## Фильтры и стоп слова            if chat_command == 'filter':                await call_command(module='filter', answer_to=chat, word = command_arg, contact_id = contact.contact_id)            if chat_command == 'filterremove' or chat_command == 'removefilter' or chat_command == 'unfilter':                await call_command(module='unfilter', answer_to=chat, word = command_arg, contact_id = contact.contact_id)            if chat_command == 'filterlist':                await call_command(module='filterlist', answer_to=chat, contact_id = contact.contact_id)            if chat_command == 'filterclear' or chat_command == 'clearfilter':                await call_command(module='filterclear', answer_to=chat, contact_id = contact.contact_id)            if chat_command == 'filterstop' or chat_command == 'stopfilter':                await call_command(module='filterstop', answer_to=chat)            if chat_command == 'filterstart' or chat_command == 'sartfilter':                await call_command(module='filterstart', answer_to=chat)            if chat_command == 'message':                await call_command(module='message', message=command_arg)

Тут проверяются наличие необходимых полей во входящем сообщении event.message. Определяем, в личку, в канал или в чат написали., И, через кучу ifов, выбирается модуль с соответствующей командой. Они лежат в отдельных файлах, которые импортируются динамически. Это первый кандидат на рефакторинг, надо обертки написать, чтобы поменьше кода дублировалось.

Все команды /join, /filter и прочие обрабатываются здесь.

Как поток подписывается на новые каналы

Тот же самый декоратор @client.on(events.NewMessage)обрабатывает сообщения в группах и каналах (PeerChat и PeerChannel), если переслать в него сообщение из канала для подписки:

if event.message.fwd_from and event.message.fwd_from.channel_id and event.message.to_id.__class__.__name__ == 'PeerChat':            logger.info("Вижу репост канала в группу")            try:                channelInfo = await client.get_entity(event.message.fwd_from.channel_id)            except Exception as e:                logger.error(e)                logger.error("не можем получить channelInfo для канала %s" % event.message.fwd_from.channel_id)                channelInfo = None                await event.reply('не могу подписаться. Если канал закрытый, попробуйте по инвайту')            else:                channelEntity = await client.get_input_entity(event.message.fwd_from.channel_id)                logger.info("Репост канала {} (@{}), id {}".format(channelInfo.title, channelInfo.username, channelInfo.id))                await call_command(module='join', answer_to=chat, channel_name=channelInfo.username)

Пересылка постов из каналов в ленту

Ну и главный функционал, это пересылка всех постов из подписанных каналов в одну ленту (поток):

async def handle_message(event):    try:        logger.info('ищем в БД поток, где channel_id = %s' % event.message.to_id.channel_id)        forwards = Forward.select().where(Forward.channel_id == event.message.to_id.channel_id)    except Forward.DoesNotExist:        logger.info('Канала нет среди пересылаемых')        forwards = None        return    if not len(forwards):        logger.info('нет подписок на этот канал')        return    logger.info("Нашли следующие потоки, подписанные на канал channel_id %s" % event.message.to_id.channel_id)    logger.info(forwards)    chat = await client.get_input_entity(event.message.to_id)    await client.send_read_acknowledge(chat, event.message)    for forward in forwards:        # определяем надо ли пересылать        try:            feed = Feed.get(Feed.feed_id == forward.feed_id)        except Feed.DoesNotExist:            logger.info('Поток не найден')            feed = None            return        if not feed.is_enable:            logger.info("Поток был отключен, не пересылаем")            return        # logger.info('Определяем создателя потока, куда должен транслироваться канал, откуда пришло сообщение')        log_message = 'Сообщение пришло в канал {}'.format(event.message.to_id)        if hasattr(event.message.to_id, 'channel_id'):            feed_id = forward.feed_id            try:                owner = Contact.select().join(Feed, on=(Contact.contact_id == Feed.contact_id)).where(Feed.feed_id == feed_id).get()            except Contact.DoesNotExist:                log_message = log_message + ', владелец канала не определен'                owner = None            else:                log_message = log_message + ', id владельца канала: {}'.format(owner.contact_id)            logger.info(log_message)        else:            logger.error('нет параметра event.message.to_id.chat_id')        log_message = 'пробуем фильтровать.'        filterlist = []        # TODO получать для конкретного юзера. нужно будет поменять логику и порядок, перенести на 438 строку        try:            filters = Filter.select().where(Filter.contact_id == owner.contact_id)        except filterlist.DoesNotExist:            log_message = log_message + ' нет фильтров'            filters = []        else:            log_message = log_message + ' найдены фильтры для юзера'            filterlist = [filter.word.lower() for filter in filters]        blacklistword = filterlist + ['запрещенный', 'выиграй', 'удалю', 'читать продолжение', 'joinchat', 'подписаться', 'подписывайся', 'подпишитесь', 'переходи', 'перейти в канал', 'подписываемся', 'дамы и господа', 'автор канала']        message = event.message        message_text = message.message        if message.entities:            for entity in message.entities:                if entity.__class__.__name__ == 'MessageEntityTextUrl':                    message_text = message_text + entity.url        if message.reply_markup:            for row in message.reply_markup.rows:                for button in row.buttons:                    if hasattr(button, 'url'):                        message_text = message_text + button.url                    if hasattr(button, 'text'):                        message_text = message_text + button.text        if any([word in message_text.lower() for word in blacklistword]): # ищем стоп слова во всех текстах и ссылках            log_message = log_message + "Найдены стоп-слова, не пересылаем"            logger.info(log_message)            return        logger.info(log_message)        logger.info("Фильтры прошли, пересылаем из канала %s в поток %s" % (forward.channel_id, forward.feed_id))        await event.message.forward_to(forward.feed_id)

Здесь по id канала (event.message.to_id.channel_id), куда пришло сообщение определяется, в какие потоки его следует переслать, путем выборки из БД через пивотную таблицу Forward. Forward это many-to-many связь между Feed и Channel (структура будет ниже). Проверяется, активен ли поток (я иногда отключаю потоки, чтобы не флудили, когда нет желания ничего читать).

Сообщения фильтруются по стоп-словам во второй части приведенного кода.

Надо будет вытащить список стоп-слов из кода куда-нибудь в конфиг. Как это лучше сделать?

Ну и вообще, много текстовых переменных в коде, нужно прикрутить какой-нибудь i18n со словарями. Что обычно для такого юзают?

Структура БД для хранения подписок

from peewee import *db = SqliteDatabase('telegregator.db')class BaseModel(Model):    class Meta:        database = dbclass Contact(BaseModel):    contact_id = IntegerField(unique=True)    added_at = DateTimeField(default=datetime.datetime.now)class Channel(BaseModel):    channel_id = IntegerField(unique=True)    channel_name = CharField(default='')    channel_title = CharField(default='')class Feed(BaseModel):    feed_id = IntegerField(unique=True)    contact = ForeignKeyField(Contact, backref='contacts')    is_filter = BooleanField(default=True)    is_enable = BooleanField(default=True)    feed_title = CharField(default='')class Forward(BaseModel):    feed = ForeignKeyField(Feed, backref='feeds')    channel = ForeignKeyField(Channel, backref='channels')class Filter(BaseModel):    word = CharField(unique=True)    contact = ForeignKeyField(Contact, backref='contacts')

На этом, пожалуй, всё. Надеюсь, кому-то будет полезно. Хотелось бы обсудить, как вы решали схожие задачи (призываю @aav в комменты)

Я старался везде оставить отладочные сообщения логгера с комментариями, так что код не должен оказаться слишком запутанным. Еще раз ссылка на репу: https://github.com/parotikov/telegregator

Если будут какие-то вопросы, то можно писать в телегу @parotikov. Ну, и, перед работой с внешними сервисами и API, проверяйте их возможности и лимиты, чтобы не быть как я :)

Всем привет! Хочу поделиться одной моей поделкой, возможно она будет полезна кому-то еще. Решил переписать свою статью под хабр, добавив примеры кода, из которых себе можно собрать такого робота. Кому интересно, добро пожаловать под кат.

Предыстория

Примерно полгода назад я начал разбираться в теме инвестиций, потому что ставки по депозитам пробили очередное дно, на этот раз опустившись уже ниже уровня инфляции, что конечно очень печально. Тем не менее благодаря этому событию я погрузился в тему инвестиций и узнал много нового и интересного. Теперь я могу отличить акции от облигаций.

Знакомство мое с этой темой происходило в нескольких направлениях.

Во-первых, я купил каких-то акций и начал смотреть на то, как их котировки реагируют на те или иные новости. Внезапно оказалось, что после отличного отчета цена может упасть (потому что на хороших новостях крупные игроки часто пытаются зафиксировать прибыль, чем обваливают котировки).

Во-вторых, ежедневно начал разбирать биржевые термины, явления и взаимосвязи, и писать для себя заметки в телеге. Таких постов за полгода набралось 500.

В-третьих, я начал читать новости на РБК, Финаме и просто в каналах в телеге. При этом, как я заметил по себе, внимание мое постепенно полностью перешло в телеграм, потому что когда хочется видеть взаимосвязи между движением котировок и событиями становится важен фактор времени.

Сначала я читал все подряд и просто было интересно, потом начал замечать несоответствия между разными каналами в оценке тех или иных событий, понял, что смотреть на информацию нужно критически, так как люди (и в том числе эксперты) постоянно ошибаются в своих прогнозах. Уж на бирже это просто в порядке вещей. Тем не менее, постоянный анализ в таком формате дает хорошее погружение в тему и формирует уже свое мнение на тот или иной вопрос.

Проблема бесконечного потока информации

Проблема, с которой я столкнулся, поток информации становился все больше и больше, особенно когда я нашел несколько каналов, в которых были "сырые" данные, что-то типа твитов, из которых ты узнаешь, что у одной компании появился концепт нового продукта, а у другой, например, завершились испытания нового лекарства. И тут ты уже сам делаешь вывод, что ожидать дальше, либо наоборот когда акции "просели", читаешь и понимаешь, с чем это связано, и успокаиваешься, так как "катастрофы" не произошло, банкроство компанию не ждет.

Так вот такие каналы, в которых в день по 150 сообщений читать практически невозможно, если ты не профессиональный трейдер, а инвестор который просто следит за своим портфелем, делая время от времени сделки, когда, например, акции просели, а компания сама по себе очень привлекательная.

Что я тогда сделал

Так как я хорошо владею программированием и инструментами анализа данных, я решил сделать себе пару программ-помощников, чтобы не нужно было продираться через этот массив, а они бы мне фильтровали посты по каждой компании, которая меня интересует. Для этого в ручном режиме я заходил в десяток каналов и поиском находил интересующие меня новости.

Но таким образом невозможно было, во-первых, вовремя получить сигнал, когда событие произошло, во-вторых, вариантов написания названий компаний слишком много для акций Яндекса, например, это и Yandex, и Яндекс, и YNDX. Поэтому я написал программу, которая учитывает все варианты написания, ловит сигналы и присылает мне их обратно в телеграм с указанием источника информации. Потом я подумал, а почему бы не сделать такие тематические каналы и не поделиться ими со всеми желающими? Ну и сделал это.

Теперь про код

Из библиотек нам понадобится по большому счету только telethon

from telethon import TelegramClient, events, syncfrom telethon.tl.functions.channels import JoinChannelRequestimport re

Чтобы сделать робота, который будет подключаться к телеграму по API нам понадобится зарегистрировать свое приложение на странице https://my.telegram.org/, войти в аккаунт, нажать на "API development tools", заполнить первые 2 поля, в Platform выбрать Desktop.

Скопировать App api_id, App api_hash в соответствующие переменные ниже. А в переменную PHONE_NUMBER ввести номер телефона, который привязан к аккаунту телеграмм.

API_ID = 1234567 # вставье свой api_idAPI_HASH = 'your_hash'PHONE_NUMBER = '+7xxxxxxxxxx'  

Далее нужно прописать имена каналов, которые будут на входе алгоритма

 CHANNELS = (             'channel1_name',  # здесь вводятся имена каналов              'channel2_name',  # без https://t.me, @ или ссылок - просто имя    'channel3_name                 )  

Теперь указываем, какие шаблоны регулярных выражений будут являться маркерами того, что сообщение нужно репостнуть в тот или иной свой канал. Я это делаю не совсем очевидным способом, мне было это удобнее, но это не принципиально.

# мэппингnames = {    'channel1_to_post': ['interesting_text1',                          'interesting_text2'],    'channel2_to_post': ['other_channel_interesting_text1',                          'other_channel_interesting_text2',                          'other_channel_interesting_text3'],}# "разворачивание" под другой формат хранения + приведение к низкому региструd = {}for name in names.keys():    for t in names[name]:        d[t.lower()] = name.lower()print(d)

Старт сессии - первые пару раз может спросить подтвердить через СМС аутентификацию, потом сохраняет кэш в файлик рядом и этого делать больше не нужно:

client = TelegramClient('session', API_ID, API_HASH)client.start()for channel in CHANNELS:    client(JoinChannelRequest(channel))

Далее собственно ожидание нового сообщения, проверка по шаблон и принятие решения, куда делать репост

# Ожидание новых постов и пересылка@client.on(events.NewMessage(CHANNELS))async def handler(event):    print(f'received text: {event.message.message}')        for tmp in d.keys():      await client.forward_messages(d[tmp], event.message)client.run_until_disconnected()

В итоге получилась целая сетка телеграм каналов (в каждом из которых выходит по паре твитов в день, в отличие от 150 в исходных каналах)

t.me/tesla_twits- Tesla
t.me/apple_twits- Apple
t.me/amazon_twits- Amazon
t.me/moderna_twits- Moderna
t.me/pfizer_twits- Pfizer
t.me/google_twits- Google
t.me/facebook_twits- Facebook
t.me/microsoft_twits- Microsoft
t.me/yandex_twits- Яндекс
t.me/mailru_twits- Mail.ru
t.me/mts_twits- МТС
t.me/aeroflot_twits- Аэрофлот
t.me/rosneft_twits- Роснефть
t.me/sber_twits- Сбер
t.me/gazprom_twits- Газпром
t.me/afk_twits- АФК Система
t.me/nornickel_twits- Норникель
t.me/vtb_twits- ВТБ
t.me/rusal_twits- Русал
t.me/lukoil_twits- Лукойл

Буду рад, если кому-то еще кроме меня это будет ценно. Поэтому если владеете акциями этих компаний и периодически не понимаете, почему они проседают, или просто хотите "подобрать" их вовремя и по низкой цене - подписывайтесь. К сожалению, телеграм разрешает делать ограниченное количество открытых каналов, поэтому те каналы, в которых будет меньше всего подписчиков я буду удалять.

Всем добра!

Хочу поделиться одной моей поделкой, возможно, кому-то она тоже будет полезна. В этой статье я поделюсь тем, что я сделал, чтобы читать Twitter-аккаунт Маска в удобном мне месте и имея под рукой перевод англоязычных твитов на русский.

Проблема

Последние несколько лет замечаю за собой, что хочу начать регулярно почитывать тот или иной блог, но если он не находится в зоне удобного или привычного доступа (к сожалению весь твиттер для меня таков, ничего не могу с собой поделать, не читатель я твиттера), то я довольно быстро забиваю на это. Еще хуже, если блог на другом языке, тут появляется дополнительная проблема, когда из-за технических терминов или разговорного жаргона сложно понять смысл. Собственно такие "преграды" обычно и приводят к тому, что вроде бы и хочется, но как-то не делается.

Идея

Сейчас я делаю на заказ программных роботов, которые в онлайне обрабатывают новостные потоки в соцсетях, фильтруют, выбирают наиболее интересные и цитируемые, и передают заказчику. Я подумал, почему бы мне не использовать свои навыки и не облегчить себе жизнь в описанной выше проблеме. Для этого нужно только каждые сколько-то минут заходить в твиттер, забирать новые сообщения, прогонять их через переводчик и отправлять в канал в телеграме. Кажется, ничего сложного.

Подводные камни

Первая проблема, с которой я столкнулся, это фрилансеры, у которых я пытался заказать кусок кода, который непосредственно выгружает новые посты из твиттера, все подряд отказывались от выполнения заказа. Прямо брали, а потом у одного компьютер сломался, у другого появились другие дела, третий в последний момент передумал.

Вторая проблема, отказ твиттера в выдаче доступа к API в описанных мной кейсах. То есть остается единственный вариант заниматься веб-скраппингом. Ну что ж.

Третья проблема, оказалось, что требуется довольно много ручной работы, чтобы преобразовать пост из твиттера в формат телеграма, и чтобы он прилично выглядел. В частности, картинки, предпросмотры ссылок, упоминания и тд.

Технологии

Я решил попробовать самостоятельно и начал гуглить что-то вроде "parsing twitter without API". Нашлось достаточно много решений, сразу скажу, что решениеtwint библиотека с открытым исходным кодом, которая вполне работоспособна и подошла под мою задачу.

Для того, чтобы перевести текст с английского на русский, я сначала было собирался использовать google translate, но понимал, что в нем ограниченное количество бесплатных переводов, решил что попробую использовать единственную известную мне нейросеть для перевода с английского на русскийfairseqот Facebook AI Research. Качество перевода показалось мне вполне приемлемым с точки зрения того, чтобы понять в чем суть твита, хотя оно и не было идеальным.

Все это я обернул в скрипт на языке программирования python и запустил на постоянную работу на своем сервере.

Примеры кода

Чтобы собрать данные из твиттера без использования выделенных девелоперских доступов, логинов, паролей и API, нужно сделать следующее:

Установить библиотеку twint

pip3 install twint

Запустить код формата

twint -u <name_of_twitter_user> -o output.csv --csv --since 2020-01-01 --retweets

Здесь есть важный момент, что запускается это все из-под bash, при том что у библиотеки есть python API (да и написана она на питоне), но при этом я потратил довольно много времени и оно ни в какую не заводилось. При этом если запускать из командной строки - все кроме автоматического перевода постов у меня работало.

Из функционала, который есть у библиотеки еще отмечу:

• Возможность искать твиты пользователя по ключевому слову

twint -u username -s pineapple

• Возможность находить твиты пользователя с указанием номеров телефонов и почт

twint -u username --email --phone

• Поиск твитов вокруг определенной локации

twint -g="48.880048,2.385939,1km" -o file.csv --csv

• Сохранение в Elasticsearch или SQLite

twint -u username -es localhost:9200twint -u username --database tweets.db

• Сохранение фоловеров, подписок и избранных для пользователя

twint -u username --followerstwint -u username --followingtwint -u username --favorites

Данные сохраняются в csv файл, в котором присутствуют такие поля как (перечислю те, которые использовал сам, так как их много и большинство несут мало информации):

id - идентификатор сообщения

conversation_id - идентификатор беседы

created_at - дата создания сообщения

tweet - текст сообщения

mentions - упоминания пользователей твиттера ( список словарей)

urls - вставленные по правилам твиттера ссылки (например на youtube)

photos - ссылки на картинки

link - ссылка на твит

reply_to - список словарей с пользователямя, ответом на твиты которых является твит

У библиотеки есть также возможность перевода на другой язык, но она у меня совсем не заработала. Собственно по этой причине я искал другую возможность. Нашел я, как упоминал выше, открытую разработку Facebook AI Research - библиотеку fairseq, в которой можно скачать веса нейронки для перевода в частности из английского в русский и наоборот.

pip install hydra-core

Итого необходимо было установить:

pip install torch pip install hydra-core==1.0.0 omegaconf==2.0.1pip install fastBPE regex requests sacremoses subword_nmt 

Вообще мануал по установке и пример использование есть на сайте pytorch, но как видите у меня он немного отличается. Для того, чтобы сделать перевод можно пользоваться следующим куском из примера - он вполне рабочий:

import torch# Compare the results with English-Russian round-trip translation:en2ru = torch.hub.load('pytorch/fairseq', 'transformer.wmt19.en-ru.single_model',                        tokenizer='moses', bpe='fastbpe')ru2en = torch.hub.load('pytorch/fairseq', 'transformer.wmt19.ru-en.single_model',                        tokenizer='moses', bpe='fastbpe')paraphrase = ru2en.translate(  en2ru.translate('PyTorch Hub is an awesome interface!'))assert paraphrase == 'PyTorch is a great interface!'

В нем два раза производится перевод и проверяется соотвествие результата исходному варианту. При первом запуске с серверов torch хаба выкачивается большая нейронка, которая довольно шустро работает и на процессоре.

В целом, если не считать способов использования библиотек, у меня набралось еще довольно много кода, чтобы делать полученные сообщения достаточно читабельными, но это уже детали моего применения.

Как пользоваться

Выглядит сейчас это следующим образом. Каждый твит и ретвит на главной странице твиттера Илона Маска пропускается через переводчик, подбираются ссылки и картинки из поста, дальше все это сохраняется в пост в телеграм-канале. Выглядит это так

Итого у меня получилсятелеграм-каналпод названием "Твиттер Илона Маска" (подписывайтесь, мне будет приятно, что это нужно кому-то еще , будет дополнительный стимул поддерживать в будущем), в котором можно

1) читать новые и старые посты Илона Маска

2) видеть перевод текста на русский язык

3) перейти по ссылке на исходный пост в твиттере

И все это без регистрации и смс:)

Если эта статья показалась вам интересной, поставьте, пожалуйста апвоут (так ее увидит больше людей) и подписывайтесь на мой блог втелеграме, там я ежедневно рассказываю о всех своих экспериментах. Если хотите решить похожую проблему для своего бизнеса пишите вличку.

На рынке мессенджеров сейчас есть примерно всё, как на Привозе. Есть решения на открытом коде, есть мессенджеры с миллиардом пользователей (или даже двумя). Но четкого понимания, что же взять с прилавка, чтоб все сотрудники огромного банка (и его 300+ дочек) с улыбкой открывали какой-то один и это всё проходило бы под требования по безопасности, у меня не сложилось.

Но жаловаться на несовершенство этого мира, недостижимость идеалов и тщетность бытия бесполезно. Поэтому перейдём к требованиям. Что хочет очень большая организация?

Чтоб было безопасно. Т.е. чтоб не просто data scientist модный в шортиках из одной американской/китайской/российской компании не мог в рамках своих задач узнать что-то полезное, а даже рядовой админ банка не смог увидеть или унести переписку одного уважаемого человека с другим. Даже в качестве картинки. Даже на свой админский супер-защищённый комп. Следовательно, оно должно быть self-hosted разворачиваемо отдельно и полностью контролируется исключительно теми, кому положено следить и зарплату за это платят. Ещё нужно подключиться к системам, отвечающим за безопасность передаваемого контента. Ещё нужно иметь в руках команды сопровождения все возможные рычаги, чтобы нерадивого пользователя можно было ограничить в желании другому пользователю передавать то, что не положено.

Чтобы было удобно. Сейчас на дворе 2021 год. Но даже закачать справочник пользователей или синтегрить с корпоративной телефонией банка что-то это уже подвиг на грани фантастики. И удивлению моему не было предела тот же slack обладает пользовательским интерфейсом, который физически невозможно объяснить курьеру из доставки подавай ему пользовательский интерфейс ala telegram. И желательно с видео конференциями встроенными. И прям очень нужен голосовой виртуальный ассистент, голосом удобнее. Ещё невозможно объяснить человеку, у которого есть одновременно два телефона, планшет и два компьютера почему ему нужно выбрать, где же можно работать с этим мессенджером, а где остаться без мессенджера. Ну и зачем каждый раз свой номер телефона светить не ясно.

Чтобы было удобно для внутренних коммуникаций. Тут приходят умные люди из разных отделов, департаментов и цельных предприятий и говорят нам возможность узконаправленных рассылок нужна. Таргетированных, как это модно называть. По полу, по городу, по региону, по подразделению, по должности и т.д. И в этот момент все open-source решения для чатов (а их только на github больше 2100 штук) куда-то деваются. Остаются те, кто реально зарабатывает. Но первый пункт не выполняется.

Чтобы развитие продукта помогало бизнесу, а не мешало всем подряд. Удивительно, но с этой точки зрения почти никто не смотрит. Сколько времени сотрудник тратит на поиск телефона в адресной книге где-то там, потом нужно найти телефон, чтобы позвонить и на этом телефоне набрать 11 заветных цифр. И выяснить, например, что номер с ошибкой. Гораздо удобнее нашёл ФИО, посмотрел фото и сразу набрал. Нужно ещё двоих подключить аналогично набрал и добавил. И никакой музыки от абонента, которому кто-то в это время позвонил, портящей всем 114 остальным участникам совещания не только настроение. 2021 на дворе. И чтоб если нужно любой модуль за месяц прикрутить можно было. Ну хорошо, иногда за два

Отсутствие зависимости от вендора и его капризов. Если ты маленькая организация из 50 человек (а по статистике таких ох как много), тебе нужно решение готовое. Даже когда 3000 человек нужно обслужить вопрос даже не стоит идёшь и выбираешь решение. Можно даже покапризничать и тендер объявить. А если у тебя 400 000 сотрудников? А если миллион планируется? Тут и вендоров вечных с хорошим SLA мало, и возможности их контролировать тоже не велики. Или вендор маленький и может случайно помереть при очередном кризисе или принятии закона/уехать ему понадобится всей командой, или вендор большой, но его мало интересуют проблемы конкретного клиента у него самого может быть 40 000 сотрудников и 1000 таких же клиентов по миру.

Казалось бы каждое из этих пяти требований по отдельности легко покрывается тысячами продуктов. Если взять и выкинуть одно тоже есть десятки. А вот всё вместе и сразу можно только самим мучительно делать. Чем и занимаемся. И вас зовём.

Ну и на всякий случай сошлюсь на бородатые требования одного habrовода (http://personeltest.ru/aways/habr.com/ru/post/405887/ - их мы тоже учли и удовлетворили): кроссплатформенность. Чтоб я наконец-то мог сидя на обеде, или в транспорте, или в отпуске кому-то что-то написать с телефона, да и узнать, что мне кто-то написал. И чтоб мой коллега, у которого Линукс, не делал каждый раз печальное лицо при слове чат. заточенный под общение в компаниях. Чтоб у меня был чат, где есть все мои коллеги и только мои коллеги живой активный проект. Чтобы баги, как застывшие в янтаре насекомые, не висели в продукте до конца времён передача файлов. Ну зачем мне заливать эту картинку в общую папку, если я просто могу кинуть её через чат! нормальная синхронизация уведомлений / непрочитанного. Чтобы не как в Скайпе словил сообщение, и потом в течение 24 часов находишь уведомление о нём на каждом своём девайсе.

Продолжение следует.

Бывало ли такое, что вы вас ограничивали за ваши мысли, так, что вы больше не могли высказаться в ответ? Весьма досадное чувство, не так ли? Как выстрел завершает жизнь человека, так и набор минусов способен лишить вас права существования на площадке.
Что будет если попытаться устроить общение по новым принципам, без администраторов, модераторов, без системы кармы, и даже без владельцев хоста? Сохранить свободу высказываний и при этом оградиться от хаоса? Я убежден что благодаря техническому прогрессу это стало возможно уже сегодня, и предлагаю на деле убедиться в этом, поучаствовав в эксперименте!

В чем суть?

Высшее дао рождает тьму вещей, но ею не владеет; творит многообразные изменения, но над ними не господствует. Те, что бегают и дышат, летают и пресмыкаются, наступает время и рождаются, но не из-за его благоволения; наступает время и умирают, но не из-за его вражды. Приобретая с пользой, оно не может быть восхваляемо; тратя и терпя убыток, оно не может быть порицаемо. Делает раздачи и одаряет, а не скудеет

(Лао-цзы)

Представьте себе затерянный телеграм чат, где нет владельца, и никто не был назначен модератором. У всех участников чата в фоновом режиме майнится некая валюта, просто по факту присутствия в чате, без регистрации. Благодаря встроеному в чат UX, валютой можно обмениваться и передавать друг другу, быстрее чем перевод в банке.
Ее также можно потратить чтобы закрепить свое сообщение на определенное время... или чтобы заблокировать спамера. Блокировка не удаляет человека, а лишь убирает ему поле ввода на время, в зависимости от затраченной на блокировку валюты. Система была бы несовершена без возможности отменить блокировку пользователю, точно также потратив на это часть своей накопленной валюты.

Звучит интересно, в чем отличие от кармы?

1. Каждый может делать это! Нет инвайтов и все только в ваших и ваших друзей руках, нет централизованной точки отката, нет модератора который может затереть ваш пост или ограничить. Когда нет владельца, то нет и возможности для злоупотреблений "по праву владельца".

2. Валюта майнится в фоновом режиме безусловно от мнения о вас других пользователей. Это можно сравнить с безусловным базовым доходом. Сверх этого, ее можно увеличивать добровольными переводами, никак привязанными к содержанию и рейтингу ваших высказываний.

3. Каждый "из коробки" обладает банхаммером, но его мощность ограничивается накопленной (и полученной от других пользователей) валютой. Поэтому систему не получится использовать для злоумышленного канселинга.

4. Каждый может разбанить любого другого если у него достаточно валюты. Нет тотальной отмены с глубоким минусом, нет минуса которого нельзя отменить (как -100 на Хабре), нет лимитов прощения, было бы только желание подождать немного или попросить любого пользователя помочь вернуться сразу!

В чем цели эксперимента?

Проверить возможны ли новые, горизонтальные подходы во взаимодействии пользователей? Возможен ли отказ от иерархии? Можно ли общаться в интернете без концепции владения хостом? Можно ли автоматизировать модерацию? Успех эксперимента может стать толчком к расцвету таких систем. Эксперимент абсолютно некоммерческий, нет никакой рекламы, нет механизма извлечения выгоды. Я делаю это ради интереса посмотреть что получиться (и удовольствия пронаблюдать вышеописанную механику в действии).

Как поучаствовать?

Зайти в чат где все это реализовано: t.me/habr_experimental
В чате нет владельцев и админов, а вместо них подлючена и ждет наплыва пользователей вышеописанная система. Полагаю что тематика обсуждений может быть любая, на интересные целевой аудитории Хабра темы, и помните что никто ни в чем не может ограничить вас, кроме вас самих и таких же как вы людей.

Исходный код чата

Эта статья о социальном эксперименте, однако она была бы не для Хабра без технических деталей. Поэтому для тех кому это интересно, подробные принципы работы валюты и UX описаны в этой статье: habr.com/ru/post/556292/
Исходный код системы доступен на GitHub: github.com/demidko/timecobot
Для бекенда использован один из лучших виданных мною языков - Kotlin, за что хочу сказать здесь спасибо его разработчикам.

Возможно эта статья обрушит мою карму здесь, а возможно мы увидим как появится новый мир свободных интернет-систем. Напоследок хочу пожелать всем читавшим, эксперементируйте чаще и делайте это ради интереса!

При разработке ботов для Telegram и других месенджеров, периодически возникает задача распознавания и выполнения запросов, высказанных человеческим языком. Именно эта "фишка", по некоторому мнению, и является главным отличием ботов от приложений командной строки. Под катом описан собственный фреймворк для исполнения произвольных речевых команд. Описания ключевых концепций сопровождены примерами на языке Kotlin.

За основу для распознания речи возьмем нормализованные семантические представления. Их выбор обусловлен прежде всего простотой и легкостью реализации. Начнем с базиса, пример из исходников фреймворка:

/** Правило проверяет лексему на соответствие */typealias Rule = (String) -> Boolean/** Нормализованное семантическое представление */open class Semnorm(vararg val rules: Rule)/** Правило задает стемы для семантических представлений */fun stem(vararg stems: String): Rule = { stems.any(it::startsWith) }/** Правило задает точные соответствия для семантических представлений */fun word(vararg words: String): Rule = { words.any(it::equals) }/** Проверяем слово на соответствие семантике */fun String.matches(norm: Semnorm) = norm.rules.any { it(this) }

Теперь у нас появилась возможность задавать предопределенные нормализованные семантические представления в виде объектов:

object Day : Semnorm(stem("day", "суток", "сутк", "дня", "ден", "дне"))

Фреймворк ставит их в соответствие лексемам входящих фраз, и предложение начинает выглядеть, например так:

assertThat(  "забань васю на 5 минут".tokenize(),   equalTo(   listOf(     Token("забань", Ban),      Token("васю", null),     Token("на", null),      Token("5", Number),     Token("минут", Minute)   )  ))

С распознаванием речи мы разобрались. Код токенизатора приложен в репозитории, доступном в конце статьи. Перейдем к исполнению команд из речи. А вот здесь и начинается самое интересное: фреймворк позволяет для каждого семантического представления навесить заданное поведение. Снова простейший пример, как распознать запрос справки на двух языках:

object Help : ExecutableSemnorm(stem(  "помощ", "справк", "правил", "help",   "rule", "faq", "start", "старт",)) {  override fun execute(bot: Botm: Message) {    val faq = message.from.relatedFaq()    bot.sendMessage(m.chat.id, faq)  }}

Что насчет более сложного поведения, зависящего от различных слов в предложении? Оно тоже поддерживается, вот как, например, исполняется, уже известное из тестов предложение забанить Васю:

object Ban : DurableSemonrm(stem(  "ban", "block", "mute", "бан", "блок",  "забан", "завали", "замьют",)) {  override fun execute(    bot: Bot, attackerMessage: Message, duration: Duration) {    val victimMessage = attackerMessage.replyToMessage    val victimId = victimMessage.from.id    val untilSecond = now().epochSecond + duration.inWholeSeconds    bot.restrictChatMember(      attackerMessage.chat.id, victimId, untilSecond)  }}

Откуда это семантическое представление знает о своей продолжительности? Дело в том, что ему вовсе не обязательно парсить всю цепочку токенов целиком. Достаточно задать только минимально необходимое поведение для каждого представления, например для времени:

object Week : Semnorm(stem("week", "недел")) {  override fun toDuration(number: Long) =     days(number) * 7}

Или для любых команд, зависящих от времени:

class DurableSemnorm(vararg rules: Rule) : ExecutableSemnorm(*rules) {  final override fun execute(    token: Iterator<Token>, bot: Bot, m: Message) =       execute(bot, message, token.parseDuration())  abstract fun execute(bot: Bot, m: Message, duration: Duration)}

Благодаря такой архитектуре, нам больше не приходится думать о запутанной логике работы интерпретатора. Достаточно просто определить желаемые атрибуты для семантических представлений и наслаждаться результатом. Пример бота, использующего эту концепцию, можно посмотреть на Github: https://github.com/demidko/timecobot

В MS Outlook есть прекрасный раздел задач. Это удобно и быстро. Можно с утра (или с вечера) накидать себе задачек на день и постепенно расщёлкивать их. Вторым уровнем группируем задачи по матрице Эйзенхауера или используем любой другой удобный вам инструмент тайм-менеджмента. Одна проблема с этими задачами: для их создания надо заходить в Outlook, щёлкать, писать, нажимать Enter, двигать в нужную группу. Это всё долго и не всегда удобно. Но есть в Outlook также правила, позволяющие письма содержащие определённые слова в теме автоматически делать задачами. Ещё быстрее и проще получится, если такие письма отправляются прямо из Telegram. О простейших ботах помогающих создавать задачи в MS Outlook и заметки в Evernote без необходимости сложных интеграций.

Бот: Telegram + Python + Docker

Строго говоря ботов два. Пока не получилось совместить весь функционал в одном боте так, чтобы это было удобно как переслать/накидать сообщение и нажать на кнопку "Send". Немного о стеке. Python был выбран за простоту кода и доступность для менеджеров проектов без глубоких познаний в программировании. Docker удобно упаковать бота в контейнер и запускать в нём, без необходимости думать о версиях Linux на хостинге, настройках сервисов и так далее. В качестве хостера использовался DigitalOcean, в котором Docker-контейнеры разворачиваются легко и просто.

Конечно же использовался не чистый Telegram API, а удобный telebot. Для отправки писем вполне подошла стандартная библиотека smtplib. Для сокращения текста используется textwrap. А формированием сущности сообщения занимается тоже стандартная email.mime:

import osimport telebotimport smtplibimport textwrapfrom email.mime.text import MIMEText

Пароли в контейнер кладём аккуратно. Чтобы не хранить их открытым текстом в исходнике, используем переменные окружения:

#ConfigurationCFG_TOKEN = os.environ.get('CFG_TOKEN') #TELEGRAM_BOT_TOKENCFG_SMTP_LOGIN = os.environ.get('CFG_SMTP_LOGIN') #'%YOUR_SMTP_LOGIN_ON_YANDEX%'CFG_SMTP_PASS = os.environ.get('CFG_SMTP_PASS') #'%YOUR_SMTP_PASS_ON_YANDEX%'CFG_SMTP_FROM = os.environ.get('CFG_SMTP_FROM') #'%FROM_EMAIL_ADDRESS%'CFG_SMTP_TO = os.environ.get('CFG_SMTP_TO') #'%TO_EMAIL_ADDRESS%'

При запуске Docker-контейнера берём переменные откуда нам удобно, например из файла .env или переменной окружения на хостовой машине.

Бот частный. Он не предназначен для раздачи доступов всем подряд. Поэтому в самом начале проводим проверку отправителя. Мне было лень писать обработчик значений с разными типами, поэтому я написал обработчик исключения:

try:    CFG_OWNER_ID = int(os.environ.get('CFG_OWNER_ID')) #YOUR_USER_ID_IN_TELEGRAMexcept:    CFG_OWNER_ID = os.environ.get('CFG_OWNER_ID')

Собственно письмо формируем по следующему алгоритму. Если текста сообщения менее или равна 40 символам, то помещаем его целиком в тему письма, а в теле пишем стандартный текст. Если более - помещаем первые 40 символов, а остаток кладём в тело письма. Это точно позволяет обойти какие-то правила антиспам-фильтра Яндекса, который использовался для рассылки сообщений.

msg = MIMEText('')if len(txt) > 40:txt = textwrap.shorten(txt, width=40, placeholder="...") #Лишнее обрезаем тремя точками  msg = MIMEText(message.text)else:msg = MIMEText("Задача из Telegram")

Если пересылаем сообщение другого пользователя (например, начальника) и делаем его сообщение задачей, то подсвечиваем в теме письма имя нашего контакта:

if "forward_sender_name" in message.json:txt = f'[{message.json["forward_sender_name"]}] {txt}'elif "forward_from" in message.json:  txt = f'[{message.json["forward_from"]["first_name"]}] {txt}'

Метим наше сообщение в теме как "[TASK]", чтобы MS Outlook мог его отличить от обычных писем и обработать правилами:

msg['Subject'] = f'[TASK] {txt}'

Далее стандартно отправляем наше письмо, не забывая вернуть сообщение с успехом или ошибкой при отправке:

try:server = smtplib.SMTP_SSL('smtp.yandex.ru:465')  server.login(CFG_SMTP_LOGIN, CFG_SMTP_PASS)  server.sendmail(CFG_SMTP_FROM, CFG_SMTP_TO, msg.as_string())   bot.send_message(message.from_user.id, "Задача отправлена в Outlook")  server.quit()except Exception as err:  bot.send_message(message.from_user.id, f"При отправке сообщения произошла ошибка: {str(err)}")

Полный код бота доступен здесь: https://github.com/nsuvorov83/sendtask-bot

Настройка MS Outlook

Правила MS Outlook настраиваются просто:

А как отправлять заметки в Evernote?

Для того, чтобы была возможность отправить сообщение в бота, которое автоматом станет заметкой в Evernote нужно написать код чуть по сложнее. Принцип тот же: отправляем сообщение, которое потом превращается в e-mail отправляемый на специальный адрес. Все письма поступающие по этому адресу становятся заметками.

Ключевой момент здесь - обработка типов сообщений и вложений. Определяем функции-обработчики для различных типов сообщений Telegram:

def _is_photo(message):        return message.photodef _is_document(message):        return message.documentdef _is_text(message):    return message.textdef _is_caption(message):    return message.caption  #А вот как определяется сам тип сообщения. Если тип некорректный, то вернётся Falseif _is_photo(message):#Photo handler  cached_files = getPhotoCached(message)  #Insert into e-mail  for f in cached_files:  with open(f, 'rb') as file:    msg.attach(MIMEImage(file.read()))

Пересылаемые фотографии и документы обязательно надо закешировать прежде чем их можно будет вложить в E-mail. Суть функции одна, поэтому привожу её только для фото:

def cachFile(file_info):    dt = datetime.datetime.now()    timestamp = dt.timestamp()    downloaded_file = bot.download_file(file_info.file_path)    ext = os.path.split(file_info.file_path)[1].split('.')[1]    cached_file_name = str(timestamp) + '.' + ext    src = tempfile.gettempdir() + os.path.sep + cached_file_name    with open(src, 'wb') as new_file:        new_file.write(downloaded_file)    return src  def getPhotoCached(message):    cached_files = []    ff = message.photo[-1]    file_info = bot.get_file(ff.file_id)    asrc = cachFile(file_info)    cached_files.append(asrc)    return cached_files  if _is_photo(message):        #Photo handler        cached_files = getPhotoCached(message)        #Attach into e-mail        for f in cached_files:            with open(f, 'rb') as file:                msg.attach(MIMEImage(file.read()))

Тему сообщения формируем аналогично, как для отправки задач, но можем добавить к ней стандартные теги. Мне удобно метить все сообщения из Telegram а также добавлять тег текущего года. Можно также предусмотреть ситуацию, когда текста сообщения нет и сформировать стандартный заголовок для таких заметок:

if len(txt) > 30:txt_subject = textwrap.shorten(txt, width=30, placeholder="...")elif len(txt) == 0:  #Стандартный заголовой для заметок без текста включает "Из Telegram", текущую дату и время  now = datetime.datetime.now()txt_subject = 'Из Telegram ' + str(now)else:txt_subject = txtmsg['Subject'] = f'{txt_subject} #{d.year} #из_telegram'

Процесс отправки e-mail стандартный и описан выше.

Полный код бота найдёте здесь: https://github.com/nsuvorov83/sendevn-bot

В данной пошаговой инструкции мы подробно опишем весь процесс получения доступа к WhatsApp Business API через официального партнера Facebookсервис Gupshup и подключения WhatsApp к Открытым линиям Битрикс24 CRM. Данный сервис мы нашли для себя, для своих бизнес задач и хотим этим поделиться с вами.

Отличительные особенности сервисаGupshup

1. Можно подключать любые свои существующие номера телефонов (мобильные, стационарные, виртуальные). Количество подключаемых телефонных номеров не ограничено и не влияет на стоимость. То есть, можно организовать неограниченное количество каналов.

2. Нет ежемесячной абонентской платы и платы за подключение. В рамках 24 часового сессионного окна оплачиваются только сессионные входящие и исходящие сообщения по цене $0.001 (~78 коп.) за одно сообщение. Пополнение баланса сервиса от $10 любой банковской картой. Время использования средств на балансе не ограничено. Нет ограничений по количеству диалогов и клиентов.

3. Для возможности написать пользователю по истечению 24 часов с момента последнего сообщения от него, можно подготовить специальные шаблоны и получить их одобрение со стороны WhatsApp. Общая стоимость отправки шаблонного сообщения составит $0.001 (~78 коп.) + стоимость сообщения по тарифам WhatsApp (для России $0.0477 (~34 руб.)).

4. При регистрации в сервисе, на баланс бесплатно зачисляется $1. Эти деньги можно расходовать на полноценное использование сервиса в начале работы. Если к примеру отправлять и получать только сессионные сообщения, то хватит на 1000 сообщений. Время использования пробного баланса не ограничено.

Основным условием Facebook для подключения к WhatsApp Business API является наличие зарегистрированного юридического лица, например ООО или ИП, на физическое лицо доступ получить не получится.

Итак, начнем двигаться по шагам.

1. Создание аккаунта в Facebook BusinessManager

Если у Вас уже есть аккаунт в Facebook Business Manager, то пропустите этот пункт и переходите к следующему.

Войдем в свой личный аккаунт в Facebook и создадим аккаунт Business Manager, для чего перейдем по ссылке https://business.facebook.com/overview и нажмем кнопку СОЗДАТЬ АККАУНТ, откроется окно для ввода данных компании.

Согласно подсказкам над полями, вводим название компании, имя и фамилию, e-mail и нажимаем кнопку Отправить.

В следующем окне введем информацию о компании и нажмем кнопку Отправить.

После отправки появится сообщение, что аккаунт создан и необходимо подтвердить адрес электронной почты.

Зайдем в почту и нажмем на кнопку Подтвердить из письма.

2. Активация кнопки Начать подтверждение в Facebook BusinessManager

Если у Вас эта кнопка уже активна или ваша компания уже подтверждена в Facebook Business Manager, то пропустите этот пункт и переходите к следующему.

По умолчанию, кнопка для начала подтверждения компании в Facebook Business Manager не активна. Для того, чтобы её сделать активной, нужно произвести описанные ниже действия.

Залогиньтесь в https://developers.facebook.com. Для этого нажмите в верхнем меню на пункт Начало работы.

В следующем окне нажмите кнопку Продолжить.

В следующем окне поставьте галочку и нажмите кнопку Подтвердить электронный адрес.

В следующем окне выберите Разработчик и нажмите кнопку Завершить регистрацию.

В следующем окне нажмите кнопку Создать приложение.

В следующем окне выберите Управление бизнес-интеграциями и нажмите кнопку Продолжить.

В следующем окне введите любое Отображаемое название приложения, выберите Назначение приложенияВы или принадлежащая вам компания, выберите ваш Аккаунт Business Manager и нажмите кнопку Создание приложения.

3. Подтверждение компании в Facebook BusinessManager

Если ваша компания уже подтверждена в Facebook Business Manager, то пропустите этот пункт и переходите к следующему.

Перейдите в раздел Центр безопасности по ссылке https://business.facebook.com/settings/security. Кнопка Начать подтверждение стала активной. Нажмите ее для начала подтверждения.

С официальной информацией от Facebook о подтверждении компании можно ознакомиться по ссылке: https://www.facebook.com/business/help/2058515294227817?id=180505742745347.

На первом шаге подтверждения введем данные нашей компании:

Юридическое название компанииназвание компании, как в указано в документах на регистрацию компании.

Странастрана регистрации компании.

Адрес (улица, дома)улица и номер дома юридического адреса компании, как в указано в документах на регистрацию компании.

Адрес 2/Населенный пунктвводим, если имеется.

Городгород юридического адреса компании, как в указано в документах на регистрацию компании.

Штат/провинция/регионрегион юридического адреса компании, как в указано в документах на регистрацию компании.

Почтовый индекспочтовый индекс юридического адреса компании, как в указано в документах на регистрацию компании.

Номер телефона компанииномер телефона, который принадлежит данному юридическому лицу (должны быть подтверждающие документы: договор, счета на оплату за телефон и т.п.).

Сайтадрес веб-сайта компании (домен сайта должен совпадать с доменом электронного адреса компании).

На втором шаге подтверждения компании необходимо подтвердить юридическое название компании.

Для этого нужно загрузить документы из списка:

• Лицензия на ведение коммерческой деятельности (если имеется);

• Свидетельства о регистрации или учредительные договоры (ОГРН или учредительный договор);

• Свидетельство о регистрации налогоплательщика (ИНН).

Мы, когда это делали для себя, загружали сканы ОГРН и ИНН компании.

На третьем шаге подтверждения компании необходимо подтвердить юридический адрес и номер телефона компании.

Для этого нужно загрузить документы из списка:

• Счет за коммунальные услуги, например электроэнергию или телефон;

• Справка из банка, на которой указан адрес;

• Лицензия на ведение коммерческой деятельности с адресом или телефоном компании (если имеется).

Мы загрузили сканы: договора на аренду офисного помещения по юридическому адресу, информационного письма об учете в Статрегистре Росстата, счета на оплату за телефонный номер от оператора связи.

На четвертом шаге необходимо получить и ввести код подтверждения.

Для этого нужно в разделе Выберите, как с вами связаться выбрать телефон и нажать кнопку Позвоните мне. Поле Мой рабочий электронный адрес оставляем пустым.

Позвонит робот и продиктует цифры, которые нужно ввести в поле ввода кода подтверждения.

Вводим цифры кода подтверждения и нажимаем кнопку Отправить.

Ждем подтверждения от Facebook, это может занять 27 рабочих дней.

Мы получили подтверждение компании от Facebook в течении 1-го рабочего дня.

4. Создание аккаунта в Gupshup и подключение своего телефонного номера к WhatsApp BusinessAPI

Чтобы создать аккаунт в Gupshup, достаточно просто войти в этот сервис через любой из ваших существующих аккаунтов в Google, Facebook или GitHub на странице https://www.gupshup.io/developer/whatsapp-api.

Сразу после входа, откроется Дашборд WhatsApp. Нажимаем там на кнопку Создайте ваше первое приложение.

Далее нажимаем на кнопку API доступа.

Вводим любое свободное имя приложения, например TestApp555 и нажимаем кнопку Отправить.

Откроется длинная страница, прокручиваем ее мышкой вниз и нажимаем внизу кнопку Следующее.

Далее ниже появится кнопка Перейти в дашборд нажимаем ее для перехода туда.

В дашборде https://www.gupshup.io/whatsapp/dashboard нажимаем на кнопку Стать онлайн в созданном приложении.

На следующем экране нажимаем на кнопку Я готов(а).

На следующем экране выбираем свою страну из списка.

Затем прокручиваем фрейм вниз и нажимаем на кнопку Следующее.

На следующем экране заполняем форму данными о вашей компании согласно информации о вашей компании из Facebook Business Manager https://business.facebook.com/settings/info и нажимаем на кнопку Следующее.

На введеный в форму электронный адрес придет письмо от Gupshup с кнопкой для его подтверждения. Подтвердим этот email нажав кнопку Verify Now в тексте письма.

После успешного подтверждения откроется окно Email Verification Complete

и придет письмо, что email успешно верифицирован.

Возвращаемся к окну с формой в Gupshup. Проверяем всю введенную информацию и нажимаем кнопку Подтвердить.

На следующем экране вводим ID вашей верифицированной компании в Facebook Business Manager, который скопируем на странице https://business.facebook.com/settings/info, и нажимаем кнопку Сохранить.

Если ваша компания еще не верифицирована, то появится ошибка: The Facebook Business Manager ID does not seem to be verified. Please try again with a verified ID.

Если это так, то нужно будет сначала пройти верификацию вашей компании в Facebook Business Manager, и потом вернуться к данному шагу. Этот процесс подробно описан в 13 пунктах данной инструкции.

Если все в порядке и ваша компания подтверждена, то откроется следующий экран, где мы вводим свой номер телефона, который хотим использовать для WhatsApp Business API. Обязательно перед этим изучаем правила Facebook по выбору такого телефонного номера по ссылке http://developers.facebook.com/docs/whatsapp/guides/phone-number.

Выбираем код страны и вводим номер телефона, нажимаем кнопку Сохранить.

Далее вводим отображаемое имя вашей компании в WhatsApp. Обязательно перед этим изучаем правила Facebook по выбору отображаемого имени по ссылке https://developers.facebook.com/docs/whatsapp/guides/display-name.

Вводим отображаемое имя и нажимаем кнопку Сохранить.

Далее, нужно будет подтвердить на вашей странице в Facebook Business Manager привязку к Gupshup, для этого в новой вкладке браузера переходим по ссылке https://business.facebook.com/settings/requests или в Facebook Business Manager в меню слева выбираем пункт Запросы. Во вкладке Полученные будет полученный от Gupshup запрос, нажимаем на кнопку Одобрить.

Возвращаемся к окну Gupshup и нажимаем кнопку Одобрил.

Откроется окно с информацией о том, что Ваш запрос отправлен и ожидается его одобрение со стороны WhatsApp. Сообщается, что это займет от 2 до 7 рабочих дней. Часто все происходит быстрее, и возможно Вы получите ответ на ваш email уже в течении суток. Нажимаем на кнопку Перейти в Дашборд.

Откроется основная страница Дашборда и в списке приложений в синей кнопке мы увидим текущий статус Ожидание подтверждения.

После подтверждения, получим на email соответствующее письмо от Gupshup и статус в синей кнопке изменится на Завершить верификацию.

Далее нужно будет подтвердить ваш номер телефона с помощью SMS или голосового вызова. Для этого нажимаем на кнопку Завершить верификацию.

В открывшемся окне нажимаем на кнопку Запросить код по СМС, если номер телефона мобильный, или Запросить код через голосовой вызов, если номер телефона не мобильный.

Ждем автоматического обновления экрана и отправки кода подтверждения на ваш номер.

После отправки кода на ваш номер, автоматически откроется следующий экран, где мы вводим полученный код и нажимаем кнопку Отправить.

После успешной отправки откроется следующее окно с сообщением, что данные вашей учетной записи одобрены и верификация пройдена успешно. Нажимаем на кнопку Перейти в Дашборд.

Откроется основная страница Дашборда и в списке приложений мы увидим текущий зеленый статус LIVE. Теперь можно использовать ваш номер телефона в WhatsApp Business API.

Также можем настроить профиль вашей компании в WhatsApp, например загрузить изображение профиля и внести другую информацию о вашей компании. Для этого переходим по ссылке Настройки профиля в списке приложений для редактирования профиля.

Откроется окно для редактирования профиля, вводим там всю нужную информацию.

После ввода данных профиля, нажимаем на кнопку Сохранить изменения.

5. Подключение WhatsApp Business API Gupshup к Битрикс24

Для того, чтобы начать получать и отправлять сообщения через ваш подключенный номер телефона к WhatsApp Business API Gupshup, подключим ваш аккаунт Gupshup к вашему порталу Битрикс24.

В Битрикс24 устанавливаем приложение WhatsApp Business API Gupshup из маркетплейса, для этого переходим по ссылке https://www.bitrix24.ru/apps/?app=aiappspro.whatsapp_business_api_gupshup_subscription и нажимаем на зеленую кнопку УСТАНОВИТЬ.

Если Вы еще не залогинились в маркетплейсе Битрикс24, то откроется всплывающее окно с кнопкой ВХОД. Нажмите ее для входа под вашей учетной записью Битрикс24.

Если у Вас еще нет Битрикс24, то перейдите по ссылке СОЗДАЙТЕ ПРЯМО СЕЙЧАС в этом же всплывающем окне и зарегистрируйте себе Битрикс24 на свой адрес электронной почты или используя один из своих аккаунтов предложенных социальных сетей.

После успешного входа в маркетплейс Битрикс24, в том же самом всплывающем окне, которое появилось после нажатия зеленой кнопки УСТАНОВИТЬ, выбираем из списка ваш портал Битрикс24.

В новой вкладке вашего браузера откроется ваш Битрикс24 с предложением установить приложение WhatsApp Business API Gupshup. Нажимаем синюю кнопку УСТАНОВИТЬ.

Ознакамливаемся с лицензионным соглашением и политикой конфиденциальности по ссылкам и ставим галочки в случае согласия с условиями. Нажимаем зеленую кнопку УСТАНОВИТЬ.

После успешной установки, в вашем Битрикс24 автоматически будет создан чат поддержки 24/7 приложения, в который Вы сможете писать в любое время, если будут возникать любые вопросы по работе с приложением.

Итак приложение установлено, переходим к активации коннектора для WhatsApp Business API в Контакт-центре Битрикс24.

Закрываем слайд установки приложение, переходим в Контакт-центр Битрикс24 и там кликаем по установленному коннектору WhatsApp Business API Gupshup.

В открывшемся слайдере настроек коннектора, кликните по кнопке ПОДКЛЮЧИТЬ.

Если в вашем Битрикс24 создано несколько Открытых линий, то ниже необходимо будет выбрать нужную Открытую линию, к которой Вы хотите подключить WhatsApp, и уже после выбора нажать кнопку ПОДКЛЮЧИТЬ.

В этом же самом слайдере откроется интерфейс настроек коннектора.

В новой вкладке браузера перейдите в ваш Дашборд Gupshup по ссылке https://www.gupshup.io/whatsapp/dashboard, кликните по иконке вашего профиля и во всплывающем окне скопируйте API Key.

Возвращаемся к окну настроек коннектора в Битрикс24 и в поле Gupshup API key вводим API Key, скопированный в вашем аккаунте Gupshup.

В новой вкладке браузера возвращаемся в ваш Дашборд Gupshup по ссылке https://www.gupshup.io/whatsapp/dashboard и копируем номер телефона для поля Gupshup sender, для чего переходим по ссылке Настройки в списке приложений в вашем аккаунте Gupshup.

Откроется интерфейс настроек приложения в Gupshup, прокручиваем страницу вниз до раздела Проверить API доступа и установить URL обратного вызова и копируем телефонный номер из поля Отправитель. Если ваш собственный номер телефона еще ожидает подтверждения, то в этом поле будет указан тестовый телефонный номер от Gupshup, который пока можно использовать для тестирования приложения.

Не закрываем пока это окно настроек приложения в Gupshup, оно нам еще пригодится ниже. Возвращаемся к окну настроек коннектора в Битрикс24 и в поле Gupshup sender вводим скопированный номер телефона отправителя.

Нажимаем кнопку Подключить. После успешного подключения появятся сообщения Коннектор успешно подключен и Скопируйте callback URL и введите его в настройках Gupshup. Копируем Gupshup callback URL нажатием кнопки Копировать.

Возвращаемся в наше открытое окно настроек приложения в Gupshup, кликаем по вкладке URL обратного вызова / Свяжите со своим ботом, переключаем ползунок в положение ON.

Устанавливаем ниже все галочки в разделе Выберите, какие события состояния сообщений вы хотите получать по URL-адресу обратного вызова. ведите для применения настроек.

Коннектор WhatsApp Business API Gupshup готов к работе!

Если Вы еще ожидаете подтверждения вашего телефонного номера и хотите пока протестировать коннектор через тестовый телефонный номер от Gupshup, то прокрутите вверх страницу настроек приложения в Gupshup до раздела Смарт-механизмы для регистрации и вовлечения пользователей и кликните по иконке Нажать на ссылку. В новой вкладке откроется кнопка для подтверждения согласия на прием тестовых сообщений. Установите галочку I agree и нажмите кнопку Send Message. Откроется приложение WhatsApp для отправки предустановленного сообщения PROXY с вашего личного номера WhatsApp. Отправьте данное сообщение без изменения на тестовый номер Gupshup. Поступит ответ Welcome! Youre now chatting with. Теперь Вы можете отправлять тестовые сообщения, которые будут поступать в Открытую линию Битрикс24.

Далее приведем примеры отправки и приема сообщений через рабочий номер телефона.

Отправьте сообщение, например с Вашего личного номера WhatsApp на ваш номер телефона WhatsApp Business API, одобренный через сервис Gupshup.

Примите сообщение в Открытой линии вашего Битрикс24 и напишите ответ.

Поддерживаются любые типы сообщений: текстовые сообщения, изображения, видео, голосовые сообщения, файлы, координаты местоположения. Обработка сообщений производится в соответствии с настройками открытой линии.

6. Создание шаблонов исходящих сообщений

Для возможности написать пользователю по истечению 24 часов с момента последнего сообщения от него, необходимо подготовить специальные шаблоны и получить их одобрение со стороны WhatsApp. Сообщение не должно нести рекламный характер - WhatsApp одобряет только сервисные и транзакционные шаблоны. Шаблоны должны соответствовать правилам:Политика WhatsApp Business,Торговая политика WhatsApp.

Шаблоны нужно создавать в вашем аккаунте Gupshup. Для этого перейдите в Дашборд Gupshup по ссылке https://www.gupshup.io/whatsapp/dashboard, перейдите по ссылке Настройки в списке приложений Gupshup.

Прокрутите открывшуюся страницу настроек вниз до раздела Проверить API доступа и установить URL обратного вызова и там перейдите по ссылке Посмотреть шаблоны.

В новой вкладке браузера откроется страница Список шаблонов. В открывшемся списке будут только шаблоны для отправки через тестовый номер Gupshup с пометкой Разрешено к использованию на тестовом сервере. Для вашего номера их не получится использовать, нужно будет создать свои шаблоны.

Для добавления своего шаблона нажмите на кнопку Добавить еще.

В открывшемся интерфейсе заполните все необходимые поля и нажмите кнопку Предварительный просмотр и отправка. Ниже приводим пример заполнения полей для нашего одобренного шаблона.

Проверьте все данные и нажмите кнопку Отправить.

После отправки, ожидаем 12 рабочих дня одобрения шаблона со стороны WhatsApp. Писем при этом никаких не приходит, проверять изменение статусов отправленных шаблонов нужно самим в своем аккаунте Gupshup. В фильтре выберите "Утверждено" и откроется список всех ваших одобренных шаблонов.

Ниже на скриншоте приводим пример отправки шаблонного сообщения из Битрикс24.

7. Отправка автоматических сообщений в WhatsApp из Битрикс24

Во время установки в Битрикс24, приложение WhatsApp Business API Gupshup автоматически создает нового SMS-провайдера [WhatsApp Business API Gupshup], только при этом отправляются не SMS, а сообщения в WhatsApp.

Отправка осуществляется как вручную, так и автоматически из любого места CRM: из роботов, бизнес-процессов, SMS и Мессенджер рассылок из раздела CRM-маркетинг, таймлайна Лидов, Сделок, Контактов и Компаний.

Приводим примеры отправки таких сообщений ниже на скриншотах.

Итог

Мы с нуля, полностью настроили популярный и востребованный для бизнеса канал WhatsApp через официальный WhatsApp Business API.

По сравнению с неофициальными (серыми) API, основными преимуществами официального подключения являются:

• высокая стабильность и безопасность;

• независимость от физического оборудования (нет необходимости держать постоянно включенным мобильный телефон с подключением к интернету);

• независимость от веб-интерфейса сообщений (не нужно сканировать QR-код и передавать его сторонним приложениям);

• широкие возможности по интеграции с внешними системами для автоматизации обработки сообщений.

Также, подключение WhatsApp Business API через официального партнера Facebookсервис Gupshup позволяет в несколько раз снизить затраты на данный канал по сравнению с другими поставщиками официального WhatsApp Business API. И даже часто получается выгоднее по сравнению с затратами на серые схемы подключения. К примеру многие подобные сервисы предлагают только пакеты сообщений или диалогов с ежемесячной оплатой. И еще огромный плюс, подключать через Gupshup можно неограниченное количество своих телефонных номеров для WhatsApp Business API, и это не влияет на стоимость.

Для примера рассчитаем расходы на подобный сервис с оплатой 1000 руб. в месяц в которые входят до 100 диалогов в месяц. Предположим, в среднем диалоги состоят из 10 сообщений (на практике бывает даже меньше, так как переписка с клиентом это чаще всего сжатый диалог из нескольких сообщений, а не переписка с другом). Получается в этом случае мы заплатим по факту 1000 руб. за 1000 сессионных сообщений (в рамках 24-часового окна), то есть в итоге 1 руб. за одно сообщение.

Теперь посчитаем сколько мы заплатим за 1000 сообщений в Gupshup. Одно сессионное сообщение стоит $0.001, это примерно 78 копеек. И нет никакой обязательной ежемесячной оплаты, и нет никаких ограничений по времени, по количеству диалогов и клиентов, по количеству каналов. Получается мы заплатим всего $1, то есть всего 7080 руб. И при этом нас никто не ограничивает по времени, в этом месяце возможно 1000 сообщений, в другом меньше, в третьем больше. За год вырисовывается просто невероятная экономия затрат для бизнеса. За те же 1000 руб. мы сможем принять и отправить через Gupshup более 12000 сессионных сообщений без каких-либо ограничений по времени, по количеству диалогов и клиентов и без ограничения по количеству каналов. Многие бизнесы и не генерируют столько за месяц.

Чтобы иметь возможность написать по истечению 24 часов с момента последнего сообщения от клиента, необходимы специальные шаблоны, стоимость их отправки во всех сервисах почти одинаковая, так как эту стоимость взимает сам WhatsApp. Для России на текущий момент она составляет $0.0477 (~34 руб.) за одно шаблонное сообщение. При отправке такого шаблонного сообщения через Gupshup его стоимость составит $0.001 + $0.0477 (78 копеек за сессионное сообщение + 34 руб. за шаблонное сообщение). После ответа клиента на шаблонное сообщение, все остальные сообщения в течении 24 часов с момента отправки клиентом последнего сообщения будут тарифицироваться только по $0.001 (78 копеек).

Осенью 2019 года я поспорил со своим другом, что смогу собрать больше подписчиков в Telegram, чем он. Чтобы не отставать, я потратил 322 786 рублей на контент и продвижение моего канала Репродуктор Белоусова, где я пишу о бизнесе и технологиях.

Пари закончилось предсказуемо. Давайте я расскажу, как провел эти пару месяцев и какие выводы сделал для себя. Анализ моих ошибок будет полезен, если вы задумываетесь запустить свой Telegram-канал.

Несколько слов о себе. Меня зовут Николай Белоусов. В 2013 году я основал Madrobots, один из первых магазинов гаджетов в России. В моем портфолио успешно запущенные бренды Биван и Zavtra. Моя команда привела на российский рынок стартапы Picooc и Chipolo, компанию XD Design.

До запуска канала я много писал в Фейсбуке, на Хабре, на vc. Так что у меня не было сомнений, что и Telegram мне покорится. Тем более, что мне понятен текстовый формат контента. В нем я разбираюсь лучше, чем в видео или фото.

With the little help from my friends

• Потрачено: 62 000 рублей на создание контента и оплату работы редактора

• Подписчиков: около 1 тысячи

Одной самоуверенности мало, поэтому я подошел к продвижению методично, как маркетолог. Для начала составил контент-план и подумал, откуда брать стартовую аудиторию. Рассуждал я так: подписчики придут ко мне от друзей и окружения. С этим мне повезло, многие мои знакомые ведут Telegram-каналы:

• Сергей Зорин @На нашей фабричке

• Никита Лихачев @Радиорубка Лихачёва

• Елена Торшина @Торшинский канал

• Дмитрий Кибкало @Киба у аппарата

• Дмитрий Филонов @The Edinorog

• Егор Данилов @Продакты не нужны

• Александр Горный @Стартап дня

Первым делом я и написал всем людям из списка и договорился о том, чтобы они прорекламировали мой канал. Все согласились, за что им спасибо. Александр Горный попросил в обмен на упоминание в Стартапах дня написать статью. Так появился текст, которым я по сей день горжусь: Где брать деньги на бизнес. Недавно я обновил его с учетом реалий 2021 года.

Прирост аудитории, как и ожидалось, был устойчивым, но небольшим. Вот результаты после размещений рекламы в разных каналах по данным сервиса telemetr.me:

Тысяча читателей, собравшаяся послушать меня с нуля, показалась мне многообещающим началом. Взяв хороший старт, я решил не останавливаться и продолжил продвигать канал уже в менее дружелюбных сферах. Это не было правильным решением.

Хождение по ботам

Потрачено: 260 тысяч рублей

Подписчиков: около 4 тысяч

Когда размещения у знакомых исчерпали свой ресурс, я стал присматриваться к нескольким другим источникам аудитории. Для начала я удачно договорился о продвижении в блогах Groks и Мастриды.

Оттуда пришли десятки людей, не больше, чем я набирал органически. Мне хотелось быстрее и больше нарастить аудиторию, потому что время шло, а пари хотелось выиграть. Поэтому я решил покупать подписчиков массово и случайно связался с ботоводами.

От них приходила масса читателей, но всё это были боты, мертвые души. Одного ботовода я вывел на чистую воду довольно быстро, но уже после того, как оплатил его услуги.

Следующим логичным шагом было продвижение через лидеров мнений. Я сразу пошел ва-банк и потратил 100 000 рублей на упоминание в канале Артемия Лебедева, теша себя надеждой, что сейчас придут подписчики. Результаты красноречивы:

Первый блин комом. Неудача с Лебедевым меня не подкосила. Я решил разместиться у Лены Миро, с которой давно и плодотворно сотрудничаю. Обошлось мне это по дружбе в 40 000 рублей.

От Миро пришло почти 400 человек, что было уже достойным результатом на фоне остальных размещений.

Это интернет, детка

Парадоксальным образом больше всего подписчиков принес пост моего друга, со спора с которым и начался мой Telegram-канал.

Этот скриншот я приберег напоследок.

После одного упоминания в канале @Продакты не нужны на меня подписалось почти 700 человек. Но это не спасло меня, в конце декабря 2019 года я понял, что спор проигран и я ничего не могу поделать. Быстро достучаться до массовой аудитории не получается, как бы я не пытался продвигать себя.

Как именно я потратил 322 786 рублей? Львиную долю я потратил именно на продвижение, эффект от которого был гомеопатическим. Прикладываю разбивку расходов:

Разочаровавшись, я почти на год забросил канал. Максимума число подписчиков достигло 06 января 2020 года, а дальше аудитория пошла на спад. Сейчас у меня около пяти тысяч подписчиков и я стал писать снова, пытаясь нарастить аудиторию органически, не пытаясь кого-то обогнать.

Я пишу о профильных темах: гаджетах, новых технологиях, бизнес-трендах, выкладываю конспекты деловых книг и регулярно публикую опросы для читателей. Получается неплохо.

Какие выводы можно сделать из моей истории?

1. Платное продвижение канала в Telegram обходится дорого. Подписчик может стоить сотню рублей.

2. В ТГ много ботоводов, которые под видом живой аудитории подсовывают ботов.

3. Продвижение через лидеров мнений неоправданно дорого по сравнению с аудиторией, которую они приводят.

4. Единственный работающий метод продвижения взаимный пиар дружественных каналов через обмен контентом. Заниматься этим нужно системно, то есть инвестировать много времени в процесс.

Возможно, у вас есть опыт относительно дешевого продвижения канала? Буду признателен за советы и здравую критику.

Если вам понравилась эта колонка, подпишитесь на мой канал @Репродуктор Белоусова.