Atom

Извлечь максимум из новостей в интернете

Навеяно статьей Почему я по-прежнему пользуюсь RSS

Я сам очень активно использую формат новостей, чем и хотел бы поделиться с сообществом.

Будут скриншоты и, возможно, немного избыточных пояснений.

Будут следующие части:

1. Часть 1:

• Какую информацию я вообще потребляю через новости;

• Чтение программами (rss-агрегаторами) - что использую лично я;

• Форматы RSS и Atom, как их можно обрабатывать программами на локальном компьютере;

2. Часть 2:

• Автоматизаторы (zapier, ifttt);

3. Часть 3:

• Как я автоматизировал доставку аудио-подкастов на свой плеер.

Часть 1

Какую информацию я вообще потребляю с помощью новостей

Раньше, когда я много времени проводил в метро по пути на работу и обратно, то загружал новости в свой планшет и потом, уже без интернета спокойно читал то, что было интересно (не все помнят, но интернет в метро был не всегда!). Например, баш и ЖЖ поставляют контент в формате RSS. Новости со всего мира от лента.ру есть в формате RSS. Поговаривают, что в древние времена и твиттер можно было читать через ленту новостей в формате RSS! Но потом пришли жадные менеджеры и сказали, что так они не получат много денег, поэтому RSS исчез из твиттера.

Потом я стал подходить к новостям с точки зрения работы. Например, мне надо отслеживать когда вышли новые версии конфигураций 1С.

Потом обнаружил, что многие другие, интересные мне темы (например, аудиоподкасты) тоже можно отслеживать через ленту новостей. Вот, например, Радио Маяк.

Чтение программами (rss-агрегаторами)

Чтобы читать новости на планшете, можно использовать любую подходящую программу. Благо, их очень много - для Андроида, для Apple и для десктопов.

В какой-то момент пришлось удалить читалку новостей с планшета, т.к. это сильно мешало сну - в постели чтение новостей перед сном могло занимать до часа. Но это уже другая история.

Для десктопа я раньше использовал RSS Owl:

А потом с удивлением открыл для себя продукт от JetBrains: OMEA Reader:

Функционал у продукта JetBrains просто космический, поэтому как только я на него перешёл, то уже и не уходил:

• можно ставить комментарии к новостям

• можно фильтровать новости и по отборам назначать тэги, выделять цветом или выдавать оповещения на экране

• иерархическая группировка лент новостей

• и многое-многое другое.

Форматы RSS и Atom, как их можно обрабатывать программами на локальном компьютере

Новости, по сути - это простой xml-файл. Есть формат RSS (очень старый формат, непонятно кто его поддерживает и будет ли он развиваться). Мне он не очень нравится:

• из-за формата дат - <pubDate>Sun, 28 May 2017 09:00:00 GMT</pubDate>, что затрудняло для меня автоматическую обработку

• из-за того, что непонятна спецификация RSS, (во всяком случае я нашёл несколько разных вариантов). Расскажу про особенности его обработки дальше. Тем не менее, это самый узнаваемый и устоявшийся формат, известный всем.

На замену RSS фирма Google придумала свой формат - Atom, и вроде бы даже поддерживает его.

Файлы из интернета, в том числе и новости, можно читать с помощью curl, wget и (почему-бы и нет?) с помощью Power-shell.

Пока писал статью, с удивлением узнал, что в Windows 10 curl уже есть из коробки и не надо ничего скачивать и настраивать. Приятно.

Curl:

chcp 65001    curl ^    --header "user-agent: cURL automated task" ^    --output "%TEMP%\updates.xml" ^    "https://news.webits.1c.ru/news/Updates/atom"

Если на компьютере включен Антивирус Касперского, то можно получить ошибку curl: (35) schannel: next InitializeSecurityContext failed: Unknown error (0x80092012) - Функция отзыва не смогла произвести проверку отзыва для сертификата. Я просто отключил антивирус на 5 минут.

Файл записывается без BOM, что может вызвать проблемы с дальнейшей обработкой. Наверное это как-то настроено на сервере.

Power-shell:

# file: Get-News-001.ps1  Clear-Host    $webClient = New-Object Net.WebClient  $webClient.UseDefaultCredentials = $true  $webClient.Proxy.Credentials = $webClient.Credentials  $webClient.Headers.Add("user-agent", "PowerShell automated task")    # Подозреваю, что из-за того, что данные передаются без BOM, то получение данных  # через DownloadString с последующим выводом выдаст на экран кракозябры.  # Поэтому в явном виде преобразуем в UTF8  $newsData = $webClient.DownloadData("https://news.webits.1c.ru/news/Updates/atom")    Write-Host ([System.Text.Encoding]::UTF8).GetString($newsData)

Не забываем, что в power-shell надо включить возможность запуска неподписанных макросов. Это делается или в настройках вашей IDE, или прямо в командной строке, параметром -ExecutionPolicy=RemoteSigned

powershell -file "Get-News-001.ps1" -ExecutionPolicy=RemoteSigned

Что нам это даст? Пока ничего интересного. Но так как новости - это структурированный текст в формате xml, почему-бы не обработать его? Например, найти новость по значению какой-нибудь категории?

Найдём в новостях от 1С новости со значениями категорий Вид новости обновления=Публикация новой версии и Продукт=Комплексная автоматизация

Пример кода:

# file: Get-News-002.ps1Clear-Host# Настройки отбора, в виде массива$CategoryProducts = @(    # "Продукт=1С:Библиотека стандартных подсистем", # Заполнить!    "Продукт=Комплексная автоматизация" # Заполнить!)$CategoryNewsTypes = @(    "Вид новости обновлений=Публикация новой версии")$webClient = New-Object Net.WebClient$webClient.UseDefaultCredentials = $true$webClient.Proxy.Credentials = $webClient.Credentials$webClient.Headers.Add("user-agent", "PowerShell automated task")# Т.к. данные без BOM, то лучше явно преобразовать.$newsData = $webClient.DownloadData("https://news.webits.1c.ru/news/Updates/atom")[xml]$news = ([System.Text.Encoding]::UTF8).GetString($newsData)#[xml]$news = Get-Content -Encoding UTF8 -LiteralPath "$($env:TEMP)\updates.xml"for($c1=0;$c1 -lt $news.feed.entry.Count;$c1++){    # Получим новость    $entry = $news.feed.entry[$c1]    $ProductName    = ""    $bFoundProduct  = $false    $bFoundNewsType = $false    for($c2=0;$c2 -lt $entry.category.Count;$c2++){        # Получим и проверим категории новости        $CategoryProducts | ForEach-Object {            if($entry.category[$c2].term -eq $_){                $ProductName = $entry.category[$c2].term                $bFoundProduct = $true            }        }        $CategoryNewsTypes | ForEach-Object {            if($entry.category[$c2].term -eq $_){                $bFoundNewsType = $true            }        }    }    if ($bFoundProduct -and $bFoundNewsType) {        Write-Host ("Найдена подходящая новость. УИН: {0}, Заголовок: {1}" -f ($entry.id, $entry.title))    }}

Уже интереснее. А что мы можем сделать, если нашли нужную категорию? Например, можно самому себе отправить письмо.

Напишем код сразу так, чтобы письмо о выходе новости не отправлялось несколько раз - в отдельном файлике будем хранить entry.id - уникальный идентификатор новости и дату отправки.

# file: Get-News-003.ps1Clear-Host# Файл с информацией об отправленных email.$sendedEmailsPath = "$($env:TEMP)\sended.csv" # Заполнить!if(Test-Path $sendedEmailsPath){    # Файл существует} else {    # Файла не существует - создать пустой файл    Add-Content -LiteralPath $sendedEmailsPath -Encoding UTF8 -Force -Value ""}$sendedEmails = Get-Content -LiteralPath $sendedEmailsPath -Encoding UTF8 -Force# Настройки почты$CurrentDate        = Get-Date $CurrentDate_String = Get-Date -Format "yyyy-MM-dd HH:mm:ss"$From               = "news_center_tester@mail.ru" # Заполнить!$To                 = "old-coder-75@mail.ru" # Заполнить!$EncodingUTF8       = [System.Text.Encoding]::UTF8$UserName           = "news_center_tester" # Заполнить!$Password           = "*****" # Заполнить!$Credential         = New-Object -TypeName System.Management.Automation.PSCredential($UserName, (ConvertTo-SecureString $Password -AsPlainText -Force))$SMTPServer         = "smtp.mail.ru" # Заполнить!$SMTPPort           = 587 # Заполнить!# Настройки отбора, в виде массива$CategoryProducts = @(    # "Продукт=1С:Библиотека стандартных подсистем", # Заполнить!    "Продукт=Комплексная автоматизация" # Заполнить!)$CategoryNewsTypes = @(    "Вид новости обновлений=Публикация новой версии")$webClient = New-Object Net.WebClient$webClient.UseDefaultCredentials = $true$webClient.Proxy.Credentials = $webClient.Credentials$webClient.Headers.Add("user-agent", "PowerShell automated task")$newsData = $webClient.DownloadData("https://news.webits.1c.ru/news/Updates/atom")[xml]$news = ([System.Text.Encoding]::UTF8).GetString($newsData)#[xml]$news = Get-Content -Encoding UTF8 -LiteralPath "$($env:TEMP)\updates.xml"for($c1=0;$c1 -lt $news.feed.entry.Count;$c1++){    # Получим новость    $entry = $news.feed.entry[$c1]    $ProductName    = ""    $bFoundProduct  = $false    $bFoundNewsType = $false    for($c2=0;$c2 -lt $entry.category.Count;$c2++){        # Получим и проверим категории новости        $CategoryProducts | ForEach-Object {            if($entry.category[$c2].term -eq $_){                $ProductName = $entry.category[$c2].term                $bFoundProduct = $true            }        }        $CategoryNewsTypes | ForEach-Object {            if($entry.category[$c2].term -eq $_){                $bFoundNewsType = $true            }        }    }    if ($bFoundProduct -and $bFoundNewsType) {           Write-Host ("Найдена подходящая новость. УИН: {0}, Заголовок: {1}" -f ($entry.id, $entry.title))        # Проверим, была ли информация уже отправлена по email?        # Информация об отправке email хранится по каждому id новости в лог-файле $sendedEmailsPath.        $bEmailWasSent = $false        foreach ($sendedEmail in $sendedEmails) {            if ( $sendedEmail.StartsWith($entry.id) ) {                $bEmailWasSent = $true                break            }        }        # По этой новости ещё не создавался email.        if ($bEmailWasSent -eq $false){            Write-Host "По подходящей новости отправляем емейл..."            # Отправить почту            $Subject = $entry.title            $Body = "<h1>Выход новой версии</h1>" + `                "<p>" + `                $entry.summary."#cdata-section" + `                "</p>"            Send-MailMessage `                -From $From `                -To $To `                -Body $Body `                -BodyAsHtml `                -Credential $Credential `                -Encoding $EncodingUTF8 `                -SmtpServer $SMTPServer `                -Subject $Subject `                -Priority High `                -UseSsl `                -Port $SMTPPort `                -Verbose                            # Записать в лог, чтобы повторно не отправлять почту по этой новости            $LogString = $entry.id + ";" + $CurrentDate_String + ";"            Add-Content -LiteralPath $sendedEmailsPath -Encoding UTF8 -Force -Value $LogString        } else {               Write-Host "По подходящей новости уже был отправлен емейл."        }    }}

Хм. Не хочется вызывать скрипт ручками. Было бы неплохо это вызывать регулярно, например каждые 2 часа. Настроим "Планировщик заданий". В окне запуска (Win+R) вызовем "taskschd.msc".

Добавим новое расписание:

Настроим частоту запуска каждые 4 часа (триггер):

Добавим запуск скрипта (Действие):

Путь к программе powershell.exe надо указывать полный. И в аргументах - или полный путь к скрипту в параметре -file, или заполнить Рабочая папка.

Немного тюнинга - не люблю всплывающие окна. А при выполнении задания по расписанию, каждые 4 часа вылезает на весь экран окно выполнения скрипта. Можно запускать код power-shell через SilentCMD или CreateProcessHidden. Правда, на последнюю ругается антивирус, но не сильно.

У этого способа проверки новостей есть такой минус - требуется, чтобы этот компьютер был постоянно включен. Поэтому в следующих частях расскажу, как автоматизировать чтение новостей с помощью сервисов автоматизации и как я себе скачиваю подкасты.

Что ж, надеюсь, что информация оказалась полезной.
С интересом почитаю комментарии.

Остальные главы постараюсь в ближайшее время выложить.

Выезжая вечером из дома, на этот раз, я точно знал куда и зачем я еду. А вот чего я не знал, так это масштаба разочарования, которое меня будет плавно одолевать последующие пару недель. В прошлой статье я описал ощущения отSonyVaioC, и было бы странно не попробовать его прямого наследника SonyVaioP.

Лёгкий мониторингплощадок-продаж-непонятных-вещей дал свои скоропостижные плоды, и вот, ко мне из Санкт-Петербурга прибывает американская Пшка в подкрокодиловом плаще (vpcp11skx). Состояние вполне удовлетворительное- на клавиатуре следы клея от наклеек русификации, крокодил не поцарапан, стоит вин8.1, пароль забыт владельцем. Не беда тут уже есть загрузка сusb, и можно спокойненько поставить штатную вин7.32, или винвисту32, которая стояла на первом поколении Пшек. А остатки клея спокойно смоются спиртом. На том и порешил я сам с собой, и хлопнув рублями по рукам, отправился прикасаться к очередной ультрапортативной роскоши от Сони на постоянной основе.

Начнём с технических характеристик IntelAtomz540 является серединой в первом поколении атомов на ядре Боннелл, имея 1.8ггц частоты. Архитектура обычная для машин х86-CISC.По средним по больнице воспоминаниям современников, это был невероятно неторопливый камень, а по результатам в попугаях, он в 2 раза проигрывалPentiumMс Дотановским ядром схожей частоты (sic!). Дотановские камни начали выпускать за 5 лет до выхода Атомов.

Ну что ж, на камень надеяться бессмысленно, придется уповать на распаянную оперативную память. Её тут аж 2 гигабайта ддр2 533. Правда, в одноканальном режиме.

Последняя надежда штатный ссд на 128гб подключенный черезZIF. Тут будет уместно напомнить, что в Цшке стоял неторопливый 4200 иде винт, и очень хорошо, что в её последователе Сони решила убрать такое бутылочное горлышко.

Интегрированное в чипсет видео отIntelговорит нам, что про игры современники можно не просто забыть, но трижды подумать о играх 5 летней давности. Впрочем, учитывая 21:9 соотношение сторон с разрешением 1600:768 не очень то и хотелось. Прошлый опыт показал, что примерно одна игра из десяти умеет в такие разрешения, и примерно одна из двадцати нормально отображает на них интерфейс.

В Цшке стоялаYamahaXG, и звук, который выдавала её аудио подсистема меня очень впечатлил. Но, к сожалению, в новой инкарнации этой модели мы уже не увидим таких решений. Да здравствует Реалтек в чипсете. Спасибо, Сони. Субъективно, звук в наушниках форм-фактора таблеток стандартный. Колонки опять пытаются делать пользователю стерио, но сравнения даже с Цшкой не выдерживают. Совсем ужасно.

Что ж, с технической стороной вопроса разобрались. Пришло время субъективизма. Перенесёмся в 2011 год: последние полёты выполняют Спэйс Шаттлы, мировое сообщество следит за последствиями Фукусимы, и постепенно переходит с рэпа на техно. Мобильники ещё не превратились в лопаты, китайские производители ещё не составляют конкуренцию огрызку и гнусмасу, нетбуки ещё не вымерли. Сони выпускает рестайлинг ультрапортативнойPсерии со средним ценником в 1700$ с начинкой не на много отличающейся от нетбуков за 300$. Нетбука у меня не было ни в 2011, ни после, так что, пришло время навёрстывать.

Первые впечатления от него, конечно, восхитительные. Отлично собранная железка, с отличным дизайном, из качественного пластика, всё с идеальными зазорами. После включения не обращаешь внимания на скорость загрузки, потому что рассматриваешь мини тачпад с правой стороны от экрана, потом замечаешь кнопки с левой стороны от него, рассматриваешь клавиатуру, всё прям такое классное, дух захватывает! Но после пары таких загрузок ощущение новизны, технологичности и инженерного гения начинает постепенно спадать.

В первую очередь, в глаза бросается крайняя неторопливость операционной системы. Как я уже написал выше штатной Оси тут след простыл, равно как и рекавери раздела. Придется выкручиваться, но это даёт определенный простор для манипуляций. Я поставил не штатно идущую с рестайлинговыми Пшками вин7.32, а систему на одну старше Висту. Она была штатной для дорестайлинговой модельной линейки, в которых стояли Атомы с меньшей тактовой частотой, и чаще встречались модели с 1.8 жестким диском. Виста отлично подтянула почти все устройства, а на 3 или 4 недостающих я поставил драйверы от 7ки, после чего накатил софт управляющий питанием, тачпадом и хоткеями. Получившуюся ось можно смело назвать очень близкой, к штатной.

От Си серии не ждёшь чудес, но она со своей штатной системой работает отзывчиво и бодро (на штатном винте 4200), и не кажется тормозом. Ну т.е. конечно у неё есть особенности, вроде долгой загрузки превью картинок, или неспешного подсчёта объёма папки, но это не вызывает горения в р-не седалища. Работу со своей осью она выполняет исправно и соответственно ожиданиям, выставленным средней по эпохе скоростью отклика на действия пользователя.

А вот с Пи серией ситуация в корне иная - она тормозит. Тормозит безбожно, и практически при любых действиях. Рваные анимации, долгое срабатывание, общее ощущение недостатка ресурсов. И я искренне не понимаю как так? Система на штатном ссд, система на одну старее, чем на ней стоит с завода.

И на Цшке и на Пшке выставлены все красивости ОС, так как задача обоих этих субноутов работать ТОЛЬКО со своими ОСями. Не запускать ресурсоёмкие приложения, не отрисовывать графику - просто работать со своими операционками. И Пшка не тянет. Не тянет даже с выключенным аэро. Не тянет не лагая переместить открытое окно по рабочему столу, не тянет отрисовать список установленных программ в меню пуск, не тянет быстро открыть панель управления.

Это прискорбно. Очень и очень прискорбно, когда девайс не тянет даже того, что у него идёт в комплекте. Да, можно уменьшить эти тормоза отрезая куски функцианала ОС, можно вырубить вообще все украшательства, можно включить Классическую тему, можно убрать из трея вообще всё. Можно даже поставить винХП, так полюбившуюся многим. Можно. Но зачем? На лицо (пользователю) явный провал, вызванный скорейшим желанием Майкрософт вывести и продавать пользователям свою новую ось без оглядки на технический прогресс. И по итогу, пользователь ощущает себя как владелец условной Теслы где-то в глубинке очень крутая тачка, но заряжать её негде. Равно как и ездить на ней.

Моей любимой ОС из линейки окон является Виста. Просто, потому что она красивая. Мне очень нравится сайдбар с часами, всякие бесполезные виджеты, мне очень нравится прозрачность рамок окон, это классно. И вот, у меня появился её современник, на котором она должна работать как минимум сносно, ведь она шла в комплекте. Но нет, это слишком ущербный современник. И что самое страшное, так можно было сказать о практически всех ноутбуках того времени.

Виста вышла слишком рано. Слишком рано, что бы от неё можно было кайфануть массовому пользователю. Слишком рано, что бы железо, пускай и очень дорогое (1799 баксов за эту Пшку), могло её потянуть. Это очень прискорбно, потому что Виста, как не крути, заложила основы современныхNTобразных. Именно там появилось строгое разграничение того, что может работать само по себе, а что будет требовать юзера осознанно разрешить исполнение. Там появились первые потуги Микрософта в обеспечение безопасности среды, там появился структурный дизигн, на котором потом жила и 7ка и 10ка. Виста была невероятно красивой системой. опередившей своё время. Системой, переживший производственный ад и 2 ребилда. системой, которой современный ui обязан очень многим. И мне очень жаль, что идеальный субноут-современник из моих ожиданий совершенно не похож на его современника в металле.

Что же с ним теперь делать? Использовать как неторопливую печатную машинку? Не удобно, так как нет подсветки клавиш. Интернет-сёрфинг? Одна вкладка с ютубом грузится полторы минуты, после чего любые действия вызывают фризы звука. Использовать как почтовый клиент? Пожалуй, это вариант. И это вариант, который даёт этой машинке билет в вечность. За 10 лет её юзкейс не поменялся это 2-3 вкладки с новостями, работа по лёгкой редактуре документа в ворде на ходу, и использование почтового клиента. Что 10 лет назад, что сейчас.

Девайс отправляется на полку, стоять рядом с его прародителем Си-серией, но с одним отличием Цшку я иногда включаю.

На правах пользователя Сони, старенькое видео.