Русский
Русский
English
Статистика
Реклама

Исследования и прогнозы в it

Kremlin RATs история одной мистификации

15.02.2021 12:06:03 | Автор: admin

Этим постом мы начинаем двухсерийный технодетектив, в котором встретились "священная триада" доменов: putin, kremlin, crimea и "крысы" программы удаленного доступа (RAT), а также шпион AgentTesla. Началась история с того, что в конце мая 2020 года сетевой граф Group-IB, наша автоматизированная система анализа инфраструктуры, начал детектировать домены с интересным паттерном *kremlin*.duckdns.org, к которым подключались различные вредоносные файлы. Аналитики Group-IB Threat Intelligence & Attribution исследовали эти домены и установили три кампании по распространению различных RAT. Они шли с 2019 года и были нацелены на пользователей из Польши, Турции, Италии, Украины, России, Казахстана, Болгарии, Беларуси, Греции и Чехии. В ходе расследования была установлена связь между обнаруженными доменами и остальной используемой инфраструктурой, а заодно и с конкретным человеком, который стоит за распространением AgentTesla и других вредоносных программ. Итак, обо всем по-порядку.

Кампания лета 2020 года

В начале список доменов, который привлёк наше внимание, выглядел так:

  • crimea-kremlin.duckdns.org

  • kremlin-afghan.duckdns.org

  • kremlin-crimea.duckdns.org

  • kremlin-turbo.duckdns.org

Данные домены были зарегистрированы на один IP-адрес 79.134.225.43 15 июня 2020 года. По данным сетевого графа Group-IB, только с этими четырьмя доменами связанно порядка 30 различных вредоносных файлов. Судя по документам-приманкам, данная кампания была нацелена на пользователей из Польши, Турции, Италии, Германии и Болгарии.

Связанная инфраструктураСвязанная инфраструктура

Дальнейший анализ показал, что в основном файлы были залиты в публичные источники, начиная с 25 июня 2020 года. Самые распространенные имена Potwierdzenie transakcji.xls, lem makbuzu, WACKER - 000160847.xls, Potwierdzenie operacji.xls. Один из таких файлов, SHA1: 95A6A416F682A9D254E76EC38ADE01CE241B3366, является документом-приманкой на польском языке и якобы отправлен от Bank Polski.

Изображения документа-приманки SHA1: 95A6A416F682A9D254E76EC38ADE01CE241B3366Изображения документа-приманки SHA1: 95A6A416F682A9D254E76EC38ADE01CE241B3366

Заражение

После активации макросов в этом документе выполняется PS-скрипт для извлечения команды второго этапа из файла lab.jpg, размещенном на удаленном сервере:

Исполняемый PS-скрипт из макросаИсполняемый PS-скрипт из макроса

В файле lab.jpg содержится обфусцированная в BASE64 команда, которая после декодирования выглядит следующим образом:

Деобфусцированное содержимое lab.jpgДеобфусцированное содержимое lab.jpg

Данный код считывает содержимое файла http://officeservicecorp[.]biz/rnp.txt, в котором и находится полезная нагрузка.

В результате выполнения данной последовательности PS-скриптов загружается и выполняется популярный NetWire RAT, который и производит подключение к своему C&C-серверу kremlin-crimea[.]duckdns.org на порт 3396.

Конфигурация NetWire RATКонфигурация NetWire RAT

Действительно, если мы вставим изначальные домены в граф с шагом 2, то увидим не только эти домены, но и остальную связанную инфраструктуру, которая участвовала во всех стадиях заражения.

Граф с шагом 2. Связанная инфраструктураГраф с шагом 2. Связанная инфраструктура

Интересно, что те файлы, которые подключались к office-service-tech[.]info, также производили сетевое подключение к ahjuric[.]si. Пример таких файлов SHA1 a3816c37d0fbe26a87d1cc7beff91ce5816039e7. Это документ-приманка на турецком языке с логотипом государственного банка Турции.

Документ-приманка на пользователей Турции. SHA1: a3816c37d0fbe26a87d1cc7beff91ce5816039e7Документ-приманка на пользователей Турции. SHA1: a3816c37d0fbe26a87d1cc7beff91ce5816039e7

Данный документ также содержит вредоносный макрос, исполняющий PS-скрипт, который считывает Code.txt с удаленного сервера и запускает цепочку обфусцированных PS-скриптов.

Исполняемый PS-скрипт из макросаИсполняемый PS-скрипт из макросаСодержимое ahjuric[.]si/code.txtСодержимое ahjuric[.]si/code.txt

Результатом выполнения обфусцированного PS-скрипта будет выполнение еще одного обфусцированного в Base64 скрипта, который в конечном счете и выполнит полезную нагрузку в виде Netwire Rat из office-service-tech[.]info/pld.txt.

Содержимое office-service-tech[.]info/pld.txtСодержимое office-service-tech[.]info/pld.txt

C&C-сервером данного образца является crimea-kremlin.duckdns[.]org.

Также мы обнаружили файлы, которые производят сетевое подключение одновременно к kremlin-turbo.duckdns[.]org и wshsoft[.]company. Название домена относит нас к WSH RAT, который основан на коде Houdini. Один из таких файлов SHA1: b42a3b8c6d53a28a2dc84042d95ce9ca6e09cbcf. Данный образец RAT отправляет на C&C-сервер kremlin-turbo.duckdns[.]org:3397 запросы вида /is-ready, а в качестве UA у него указан WSHRAT.

Сетевые запросы файла SHA1: b42a3b8c6d53a28a2dc84042d95ce9ca6e09cbcfСетевые запросы файла SHA1: b42a3b8c6d53a28a2dc84042d95ce9ca6e09cbcf

На этом этапе важно отметить, что часть используемых доменов в этой кампании была зарегистрирована на почту tetragulf@yahoo.com.

Кампания весны 2020 года

Изучая всю остальную связанную инфраструктуру, мы обратили внимание на домены, зарегистрированные на asetonly@yahoo.com. С начала 2020 года на эту почту были зарегистрированы следующие домены:

  1. nitro-malwrhunterteams.com

  2. office-data-labs.com

  3. putin-malwrhunterteams.com

  4. kremlin-malwrhunterteam.info

  5. skidware-malwrhunterteams.com

  6. screw-malwrhunterteams.com

  7. screw-malwrhunterteam.com

  8. office-services-labs.com

  9. office-cloud-reserve.com

  10. office-clean-index.com

  11. office-cleaner-indexes.com

Мы собрали более 130 различных образцов вредоносных программ из различных источников, связанных только с этими доменами. Судя по названиям и содержимому данных образцов, кампания весны 2020 года была нацелена на пользователей из Европы и стран СНГ мы обнаружили документы-приманки на украинском, белорусском, казахском, русском и греческом языках.

Первые файлы данной кампании были загружены на публичные песочницы 23 марта 2020 года. Один из таких файлов Аналз проекту.docx SHA1-d8826efc7c0865c873330a25d805c95c9e64ad05 распространялся в качестве вложения к письму Електронна розсилка_ Змнене замовлення.eml SHA1-7f1fdf605e00323c055341919173a7448e3641fb, которое было загружено на VirusTotal через веб-интерфейс из Украины.

Содержимое письма Електронна розсилка_ Змнене замовлення.emlСодержимое письма Електронна розсилка_ Змнене замовлення.eml

Заражение

Содержимое самого документа не вызывает интереса и выглядит как отсканированный лист со счетом. Однако сам документ во время запуска эксплуатирует уязвимость CVE-2017-0199. В результате выполняется команда, которая загружает полезную нагрузку в виде http://office-cloud-reserve[.]com/hydro.exe.

Исполняемый PS-скриптИсполняемый PS-скрипт

Загружаемой полезной нагрузкой является программа-шпион AgentTesla (почитать о ней вы можете тут, тут и тут). В качестве сервера для эксфильтрации данных используется ftp.centredebeautenellycettier[.]fr легитимный домен, который, по всей видимости, был скомпрометирован.

Установка FTP-соединения.Установка FTP-соединения.

Другой исследуемый файл SHA1- 19324fc16f99a92e737660c4737a41df044ecc54, который называется Байланыс орталытары.img, распространялся в качестве вложения через электронное письмо SHA1- 403c0f9a210f917e88d20d97392d9b1b14cbe310 на казахском языке c темой, относящейся к COVID-19.

Содержимое письма 403c0f9a210f917e88d20d97392d9b1b14cbe310Содержимое письма 403c0f9a210f917e88d20d97392d9b1b14cbe310

Данное вложение является .iso-образом и в некоторых случаях называется Байланыс орталытары.img. Файл монтируется в систему как образ, в котором находится лишь один обфусцированный VBS-файл SHA1: fd274f57e59c8ae3e69e0a4eb59a06ee8fd74f91 под названием Денсаулы сатау бойынша анытамалы жне деректер базасы.vbs. Данный файл по сути является загрузчиком, который выполняет обфусцированный PS-код. При его открытии происходит считывание файла http://office-cleaner-indexes[.]com/loud.jpg.

Содержимое сбрасываемого файла SHA1:fd274f57e59c8ae3e69e0a4eb59a06ee8fd74f91Содержимое сбрасываемого файла SHA1:fd274f57e59c8ae3e69e0a4eb59a06ee8fd74f91

В результате происходит загрузка и выполнение AgentTesla, который также производит эксфильтрацию данных через ftp.centredebeautenellycettier[.]fr.

Другой документ SHA1: c992e0a46185bf0b089b3c4261e4faff15a5bc15 под названием 060520.xls распространялся через письмо на греческом языке, а его содержимое выглядит так же, как и все другие в этой кампании, только на греческом языке. Его полезная нагрузка в виде NanoCore Rat подключается к screw-malwrhunterteams[.]com.

Содержимое документа-приманки 060520.xlsСодержимое документа-приманки 060520.xls

Кампания 2019 года

Продолжая исследовать инфраструктуру, связанную с tetragulf@yahoo.com, мы обнаружили, что в 2019 году на эту почту было зарегистрировано всего четыре домена, два из которых были зарегистрированы в конце февраля и участвовали в одной кампании по распространению вредоносных документов.

Список зарегистрированных доменов (подчеркнутые точно вредоносные):

  • east-ge.com

  • mariotkitchens.com

  • sommernph.com

  • kingtexs-tvv.com

Первые файлы, связанные с этими доменами, начали загружаться в публичные песочницы 18 июня 2019 года.

Список вредоносных файлов, связанных с кампанией 2019 годаСписок вредоносных файлов, связанных с кампанией 2019 года

Основная часть из этих файлов представляет собой RTF-документы, эксплуатирующие уязвимость CVE-2017-11882, а другие исполняемую полезную нагрузку. В ходе исследования этой кампании мы обнаружили письма и документы-приманки на украинском, русском, греческом, испанском и чешском языках.

Заражение

Один из первых документов этой кампании распространялся через электронную почту под разными названиями: CNC 0247.doc, ЧПУ 0247.doc SHA1:443c079b24d65d7fd74392b90c0eac4aab67060c.

Содержимое письма SHA1: b6ff3e87ab7d6bd8c7abd3ee30af24b4e3709601Содержимое письма SHA1: b6ff3e87ab7d6bd8c7abd3ee30af24b4e3709601

Согласно данным из нашего графа, этот документ устанавливает подключение к http://68.235.38[.]157/ava.hta и kingtexs-tvv[.]com.

Сетевое взаимодействие файла SHA1: 443c079b24d65d7fd74392b90c0eac4aab67060cСетевое взаимодействие файла SHA1: 443c079b24d65d7fd74392b90c0eac4aab67060c

Мы заинтересовались этим хостом и обнаружили дополнительные файлы, которые устанавливали сетевое подключение к http://68.235.38[.]157. Одни из таких файлов, Estos son los documentos adjuntos de junio.doc SHA1: 02799b41c97b6205f1999a72cef8b8991d4b8092 и New Order.doc SHA1: 25abf0f75c56516134436c1f836d9db1e770ff30, эксплуатируют уязвимость CVE-2017-11882. Во время запуска они устанавливают подключение к http://68.235.38[.]157/oyii.hta.

Содержимое http://68.235.38[.]157/oyii.htaСодержимое http://68.235.38[.]157/oyii.hta

Этот файл содержит код на Visual Basic, который выполняет обфусцированную в Base64 PS-команду на загрузку полезной нагрузки из общедоступного файлового хранилища https://m.put[.]re/Qm8He5E4.exe - SHA1: 523c5e0a1c9bc6d28f08500e96319571b57e4ba7 и сохраняет в директорию temp под именем avantfirewall.exe.

Исполняемый PS-скриптИсполняемый PS-скрипт

Загружаемая полезная нагрузка считывает содержимое из https://paste[.]ee/r/rSrae, вследствие чего выполняется Async RAT, который устанавливает подключение к своему C&C-серверу kizzoyi.duckdns[.]org на порт 8808.

Другой документ из данной кампании SHA1-1230acfd1f6f5b13a218ff8658a835997d1f0774 под названием таблиц.doc распространялся через письмо на украинском языке.

Из-за критически опасной уязвимости CVE-2017-11882, позволяющей выполнить вредоносный код без взаимодействия с пользователем, во время запуска этого документа происходит выполнение кода, содержащегося в OLE-объекте wd32PrvSE.wmf.

Ole объекты содержащиеся в SHA1:1230acfd1f6f5b13a218ff8658a835997d1f0774Ole объекты содержащиеся в SHA1:1230acfd1f6f5b13a218ff8658a835997d1f0774

В результате выполнения кода из OLE-объектов загружается и выполняется Async RAT.

Заключение

На этой ноте мы заканчиваем первую часть исследования. Мы понимаем, что этот детектив должен закончиться чем-то логичным, и в следующей части вы с новыми силами окунетесь в развязку данной истории. Пока же можете изучить наше ежегодное исследование Hi-Tech Crime Trends или взглянуть на наши вакансии.

Рекомендации

Ниже техники атакующего и защитные техники в соответствии с MITRE ATT&CK и MITRE Shield, которые мы рекомендуем использовать для защиты и предотвращения инцидентов.

Все защитные техники реализованы в продуктах Group-IB для защиты на разных этапах атаки. Если у вас будут вопросы или подозрения на инцидент обращайтесь на response@cert-gib.com.

Tactics

Techniques of adversaries

Mitigations & Active Defense Techniques

Group-IB mitigation & protection products

Resource Development

T1583. Acquire Infrastructure

ID: T1588.005. Obtain Capabilities: Exploits

ID: T1588.001. Obtain Capabilities: Malware

M1056. Pre-compromise

M1016. Vulnerability Scanning

Security Assessment

Threat Intelligence & Attribution

Initial Access

ID: T1566.001. Phishing: Spearphishing Attachment

M1049. Antivirus/Antimalware

M1031. Network Intrusion Prevention

M1017. User Training

M1050. Exploit Protection

M1051. Update Software

DTE0035. User Training

DTE0019. Email Manipulation

DTE0027. Network Monitoring

Threat Hunting Framework

Threat Intelligence & Attribution

Cyber Education

Red Teaming

Execution

T1059. Command and Scripting Interpreter

T1204. User Execution

T1203. Exploitation for Client Execution

M1049. Antivirus/Antimalware

M1038. Execution Prevention

M1021. Restrict Web-Based Content

M1026. Privileged Account Management

DTE0035. User Training

DTE0021. Hunting

DTE0018. Detonate Malware

DTE0007. Behavioral Analytics

DTE0003. API Monitoring

DTE0034. System Activity Monitoring

Threat Hunting Framework

Red Teaming

Incident Response

Fraud Hunting Platform

Persistence

T1053. Scheduled Task/Job

Defense Evasion

T1036. Masquerading

T1027. Obfuscated Files or Information

Credential Access

T1555. Credentials from Password Stores

T1552. Unsecured Credentials


M1049. Antivirus/Antimalware

DTE0007. Behavioral Analytics

DTE0003. API Monitoring

DTE0034. System Activity Monitoring

Threat Hunting Framework

Collection

T1005. Data from Local System

Command and Control

T1071. Application Layer Protocol

T1573. Encrypted Channel

M1038. Execution Prevention

M1031. Network Intrusion Prevention

DTE0021. Hunting

DTE0022. Isolation

DTE0027. Network Monitoring

DTE0003. API Monitoring

DTE0034. System Activity Monitoring

DTE0031. Protocol Decoder

Threat Hunting Framework

Подробнее..

Злоумышленники начали активно разрабатывать нативные зловреды под Apple M1. Первый пошел

18.02.2021 20:14:00 | Автор: admin

Один из доводов маководов в пользу своей системы то, что под нее крайне мало зловредного ПО. А то, что есть, нужно запускать едва ли не вручную, с обходом всех систем защиты, поэтому опасности большинство зловредов под Mac не представляют. Но MacOS становится все популярнее, а значит, и злоумышленники активизируются. Тем более, что большинство пользователей MacOS имеют банковские счета и деньги на них. Так что с них есть что взять.

Так, если раньше доля MacOS составляла 6,5% (примерно 10 лет назад), то сейчас это уже пятая часть рынка, 20%. Соответственно, уже есть смысл создавать зловредное ПО, поскольку пользователей у MacOS миллионы. Этим киберпреступники сейчас и занялись.

Более того, Apple выпустила несколько систем на основе нового чипа M1, так что злоумышленники активно принялись изучать этот чип и его возможности. Первые результаты уже появились. Специалист по информационной безопасности Патрик Уордл на днях опубликовал результаты изучения зловредного расширения для Safari, заточенного исключительно под M1. Это расширение входит в семейство Adware под Mac, которое называется Pirrit Mac.

Apple M1, malware и пользователи


Как известно, ISA у процессоров ARM очень сильно отличается от того, что есть у традиционных x86 процессоров. Прежде всего, это означает необходимость использования эмулятора для запуска x86-софта на системах с ARM-процессором. Разработчики Apple, прекрасно понимая невозможность массовой миграции всего ПО с x86 на M1, создали эмулятор Rosetta 2.

Многие нативные программы работают под M1 чуть быстрее, чем обычный софт на эмуляторе, но разница не настолько чувствительна, чтобы смутить пользователя.

Но злоумышленники, которые разрабатывают зловреды под M1, решили, что нативные приложения тоже нужны, ведь в этом случае пользователь не заметит даже задержки во времени. Все работает быстро, система не подтормаживает, а значит, заподозрить выполнение сторонних операций собственным компьютером сложно.

Что это за ПО и как его обнаружили?


Специалист по информационной безопасности Патрик Уордл использовал учетную запись исследователя на VirusTotal для поиска экземпляров нативного для M1 вредоносного ПО. Он выполнил вот такой запрос:

type: macho tag: arm tag: 64bits tag: multi-arch tag: signed positives: 2 +

Это означает нечто вроде подписанные мультиархитектурные исполняемые файлы Apple, которые включают 64-битный код ARM и были замечены как минимум двумя антивирусными системами.

Уордл провел достаточно масштабную работу по поиску зловредов под М1. В конце концов он нашел расширение Safari под названием GoSearch22. Файл Info.plist пакета приложений показал, что это действительно приложение для MacOS (а не для iOS).

Зловред был подписан сертификатом разработчика ID hongsheng_yan в ноябре 2020 года. Серфикат уже отозван, но точно неизвестно, почему Apple это сделала возможно, компания обнаружила неправомерные действия разработчика или использование его сертификата в интересах злоумышленников.

Можно предположить, что ID отозвали потому, что расширение все же помогло киберпреступникам инфицировать системы жертв. Кто-то заметил проблему, и представители компании приняли меры.

Так а что делает GoSearch22?


Как и говорилось выше, этот зловред член семейства Pirrit Mac. Это очень древнее семейство, если можно так выразиться. Изначально его представители работали под Windows, но потом были портированы под Mac впервые это случилось в 2017 году.

Обнаруженное зловредное расширение устанавливало троян, которое отображает рекламу от злоумышленников. Рекламой забивается буквально вся страница. Плюс заменяется поисковая страница, может устанавливаться пара каких-нибудь бонусов.

Pirrit оснащается системой обхода антивирусных приложений, и это помогает зловреду скрытно продолжать свое темное дело. А еще Pirrit ищет и удаляет приложения и расширения браузера, которые могут ему мешать. Более того, он добивается получения root-доступа. Код вируса обфусцирован, чтобы еще больше усложнить жизнь пользователю и специалистам по ИБ.

Без сомнения, в ближайшем будущем мы увидим новые экземпляры подобного ПО, нативного для М1. GoSearch22 это только начало.

Подробнее..

Persuasive Technology как соцсети и мобильные приложения управляют нашими желаниями

19.02.2021 18:05:42 | Автор: admin

Сегодня почти каждая технологическая компания, занимающаяся разработкой пользовательских приложений или игр, использует persuasive technology (технологии убеждения). Именно благодаря этим технологиям вы находитесь в сети больше времени, чем следовало, и передаете больше личной информации, чем хотели бы.

Дискуссии об этичности использования этих технологий стали массовыми после выхода фильма Социальная дилемма (The Social Dilemma) на Netflix,поэтому мы решили с помощью нашей платформы для выявления перспективных рынков и технологий TeqViserразобраться, что же такое технологии убеждения, каковы их возможности, как они используются в ИТ-сфере и какие опасности таят. Кстати, именно результаты мониторинга трендов TeqViser мы использовали при разработке стратегии развития Ростелекома

Что такое технологии убеждения?

Технологии убеждения (Persuasive technology) это технологии, которые предназначены для изменения отношения или поведения пользователей посредством убеждения и социального влияния, но не посредством принуждения.

Дисциплина, изучающая технологии убеждения, называется Каптология (Captology, от аббревиатуры CAPT: Computers As Persuasive Technologies) новое направление науки, находящиеся на стыке информационных технологий и психологии.

Оба термина ввел Би Джей Фогг социолог, философ, специалист по поведению из Стэнфордского университета. Он является основателем и директором Stanford Persuasive Technology Lab, позже переименованной в Behavior Design Lab.

Б.Дж. Фогг первым публично озвучил идею о возможности применения принципов психологии при разработке компьютерных программ, чтобы заставлять людей делать то, чего они, в обратном случае, не сделали бы.

Изучать технологии убеждения Б.Дж. Фогг начал еще в 90-е годы прошлого века, а массовое применение они получили благодаря социальным сетям и мобильным приложениям, вернее сказать, социальные сети обязаны своей популярностью технологиям убеждения. Кстати, один из сооснователей Instagram, Майк Кригер, был студентом Фогга.

Почему это важно сейчас?

Формируя ежегодный рейтинг глобальных трендов цифровизации , мы обратили внимание на стремительный рост тренда Persuasive Technology по всем источникам. Особенно это заметно в инвестициях, что означает, что совсем скоро технология станет по-настоящему массовой.

Вот немного статистики из TeqViser:

Всего, начиная с 2014 года, опубликовано более 25 тыс. научных статей и получено около 500 патентов, связанных с технологиями убеждения.

Резкий рост инвестиций, начавшийся в 2019 году, связан с ростом числа приверженцев здорового и активного образа жизни, а также с повышенным вниманием общества к здоровью (физическому и психическому), т.к. основной сферой применения технологий убеждения на сегодняшний день является здравоохранение. Крупнейшей сделкой по этому направлению являются инвестиции венчурного фонда SoftBank в бразильское фитнес-приложение Gympass ($300 млн в 2019 году).

Кроме инвестиций растёт спрос на квалифицированных специалистов. Как правило, наибольший кадровый дефицит наблюдается на прорывных рынках в период зарождения технологий. По количеству вакансий тренд Persuasive Technology сопоставим с трендом Biometric, однако разница между спросом и предложением на рынке труда для технологий убеждений составляет 2270%, а для биометрии 112%. В очередной раз подтверждается востребованность специалистов, обладающих знаниями сразу в нескольких областях и осуществляющих свою деятельность на стыке дисциплин, в данном случае психологии и ИТ.

Как это работает?

Согласно модели поведения, которую Б.Дж. Фогг сформулировал в 2007 году, в основе любого действия лежит три элемента, которые должны совпасть во времени:
- мотивация человек должен хотеть совершить действие;
- способность у него должна быть возможность совершить это действие;
- триггер (подсказка) его нужно к этому подтолкнуть.

По мнению автора, это универсальная модель, которая применима ко всем типам поведения, во всех культурах, для людей любого возраста. Вот как это работает на примере вашего любимого сериала: вы досматриваете серию (в этот момент мотивация посмотреть продолжение достаточно велика), видеосервис сразу предлагает следующую (вот и триггер, подсказка смотри дальше), модель подписки и автоматическая загрузка следующей серии повышают ваши способности к просмотру, ну и, если у вас есть хоть немного времени, вы начнете просмотр следующей серии. Кажется, теперь понятно, почему с каждым годом фильмов в прокат выходит все меньше, а сериалов все больше, правда?

Кроме понимания модели человеческого поведения в технологиях убеждения используется еще одна психологическая хитрость выбор правильной стратегии убеждения или комплекса таких стратегий. Это то, что может повысить мотивацию человека.

Вот основные стратегии убеждения:

Стратегия

Описание

Формулировка проблемы и постановка цели

Описывая проблемы и ставя цели, которые покажут человеку, что настоящее нежелательно, а желаемое будущее достижимо, можно добиться от него желаемого поведения

Самоконтроль и обратная связь

Возможность отслеживать собственную производительность усиливает мотивацию

Персонализация

Любая информация будет более убедительной, если она адаптирована к индивидуальным потребностям и интересам, к контексту использования или другим факторам, относящимся к человеку

Социальное сравнение

Возможность сравнить свою производительность с производительностью других добавляет людям мотивации

Вознаграждение

Небольшое, или даже виртуальное, вознаграждение за целевое поведение побуждает совершать действия чаще и эффективнее

Приведенные стратегии работают и без использования информационных технологий и применялись во все времена в политике, бизнесе, даже при личном общении. Кто-то владел ими в совершенстве, кто-то ничего не знал про них и регулярно убеждался против своей воли. Но посмотрите, какие безграничные возможности этим знаниям добавляют современные технологии.

Вернемся к модели поведения Б.Дж. Фогга и сопоставим её с возможностями цифровых технологий:

  1. Мотивация: геймификация может превратить любой процесс в занимательный квест, суля различные вознаграждения и повышая мотивацию.

  2. Способность: технологии постоянно упрощают нам задачу, повышая наши способности купить в один клик.

  3. Триггер: с помощью алгоритмов по анализу пользовательского поведения можно определить лучшее время для триггера (направления уведомления) и сделать его персонализированным.

Развиваясь, технологии сокращают расстояние между продавцом и покупателем: переход от использования компьютеров к мобильным, а затем и нательным устройствам, сделал так, что постепенно, все пользователи стали доступны для взаимодействия 24/7. Очевидно, что следующим шагом станет масштабное внедрение инвазивных устройств и нейрокомпьютерных интерфейсов.

Получается, что чем больше технологии проникают в человека, тем больше появляется возможностей по применению различных стратегий убеждения.

Сферы применения и кейсы

PreventScripts платформа для дистанционного мониторинга здоровья, использующая технологии убеждения при составлении и контроле исполнения индивидуальных планов профилактики диабета и сердечно-сосудистых заболеваний.


Проект Perflectie (Нидерланды) это онлайн-платформа для корпоративного обучения, основанная на принципах изменения поведения и стратегиях убеждения.


Nike использует технологии убеждения в своих приложениях Nike Run Club и Nike Training Club, поддерживающих пользователей в занятиях спортом (функционал приложений включает в себя возможность ставить цели, отслеживать свой результат и делиться им, а также различные рекомендации)


MoneyVerbs (США) это платформа для изменения поведения, которая помогает пользователям сформировать правильные денежные привычки и улучшить свое финансовое благополучие.


Van5Naar4 (Нидерланды) мобильная игра, с помощью которой работодатель может стимулировать своих сотрудников отказаться от использования личного автомобиля в пользу более экологичных видов транспорта. В рамках игры пользователи могут объединяться в команды, соревноваться и видеть, сколько энергии они сэкономили, сколько калорий сожгли и т.д.

Получается, что технологии убеждений востребованы во всех, без исключения, сферах, где пользователем является человек, а любое успешное пользовательское приложение, осознанно или нет, использует эти технологии.

Сегодня мобильные приложения ежедневно направляют наши мысли, наши действия и нашу жизнь в целом. Как отметил Джеймс Уильямс, бывший сотрудник Google, а ныне специалист по технологической этике в Оксфордском университете, разработчики технологий убеждения теперь, по сути, имеют возможность не просто влиять на пользователей, но и создавать пользователей и общество в целом.

Какие есть риски?

Очевидно, что во избежание злоупотреблений технологии убеждения должны применяться этично и ответственно. Самым ярким, из известных примеров неэтичного использования технологий убеждения является кейс Cambridge Analytica . Компания использовала данные, полученные от Facebook, чтобы создавать профили пользователей и перенаправлять как можно более широкую аудиторию на платформу с рекламой, убеждающую посетителей голосовать определенным образом.

Специалисты по технологической этике еще в 1999 году предложили одно правило: создатели технологий убеждения никогда не должны пытаться убедить кого-либо в том, в чём они сами не хотели бы, чтобы их убеждали. Похоже на золотое правило нравственности: относись к другим так, как хочешь, чтобы относились к тебе, но как проверить его соблюдение? Очевидно, что правительства должны уделять этому вопросу гораздо больше внимания, в том числе в части необходимости регулирования использования таких технологий.

Повсеместное применение технологий убеждения доказывает эффективность междисциплинарных исследований в ИТ и психологии. С развитием цифровой составляющей технологий убеждения и их приближением к пользователям (носимые и инвазивные устройства) степень их влияния будет усиливаться. Уверены, что нас ждет прорыв и новые открытия в психологии, т.к. проводить психологические эксперименты в цифровой среде намного проще и эффективнее. Так что, если вы работаете в сегменте B2C, но до сих пор ничего не слышали про технологии убеждения очень рекомендуем погрузиться в тему.

Подробнее..

Перевод Clubhouse в Китае безопасны ли данные? Исследование SIO

24.02.2021 14:21:40 | Автор: admin

На прошлой неделе в аудиочате Clubhouse прошли активные дебаты на мандаринском языке среди пользователей IOS с материкового Китая. Это случилось прежде, чем приложение резко заблокировала онлайн-цензура страны (08 февраля 2021 года).

Помимо непринужденных разговоров о путешествиях и здоровье, пользователи откровенно обсуждали концентрационные лагеря уйгуров в Синьцзяне, протесты на площади Тяньаньмэнь в 1989 году и личный опыт допросов полицией. Китайское правительство ограничивает обсуждение этих тем, поддерживая Великий Брандмауэр, чтобы блокировать доступ внутренней аудитории ко многим иностранным приложениям и веб-сайтам. Хотя ещё в начале февраля Clubhouse не был заблокирован фаерволом, некоторые пользователи с материка беспокоились, что правительство может прослушать разговор, что приведёт к репрессиям.

В последние годы китайское правительство во главе с председателем Си Цзиньпином проявляет всё большую готовность преследовать своих граждан за критические высказывания в адрес режима, даже когда эти выступления блокируются в Китае. Аудиосообщения приложения Clubhouse, в отличие от записей в Twitter, не оставляют никаких публичных записей после того, как происходит диалог, что в теории усложняет усилия китайского правительства по мониторингу.

SIO подтвердила, что Agora, Шанхайский поставщик ПО для взаимодействия пользователей в реальном времени, поставляет серверную инфраструктуру для платформы Clubhouse. Эта связь и ранее широко подозревалась, но публично не подтверждалась. Кроме того, SIO определила, что уникальный идентификационный клубный номер пользователя и идентификатор чата передаются в виде открытого текста, и Agora, скорее всего, будет иметь доступ к необработанному аудио пользователей, потенциально обеспечивая тем самым доступ китайскому правительству. По крайней мере в одном из случаев SIO наблюдал, как метаданные комнаты ретранслируются на серверы, которые, вероятно, размещены в КНР. Также в теории можно связать идентификаторы Clubhouse с профилями пользователей.

SIO решила раскрыть эти проблемы безопасности потому, что они относительно легко раскрываются. Но главное они представляют непосредственную угрозу безопасности для миллионов пользователей Clubhouse, особенно в Китае. В процессе проверки обнаружились и другие недостатки безопасности, которые были конфиденциально переданы разработчикам платформы. Их публично раскроют, когда они будут исправлены или после истечения установленного нами крайнего срока.

Что такое Agora?

Agora это Шанхайский стартап со штаб-квартирой в США в Кремниевой долине, который продаёт платформу голосового и видео взаимодействия в реальном времени для других компаний-разработчиков ПО. Другими словами, он предоставляет готовую структуру, чтобы другие приложения, такие как Clubhouse, могли сосредоточится на дизайне интерфейса, конкретных функциях и общем пользовательском опыте. Если приложение работает на инфраструктуре Agora, конечный пользователь может об этом и не догадываться.

Откуда мы знаем, что он обеспечивает поддержку Clubhouse?

Аналитики SIO наблюдали за веб-трафиком Clubhouse с помощью общедоступных инструментов сетевого анализа, таких как Wireshark. Наш анализ показал, что исходящий веб-трафик направляется на серверы, управляемые компанией Agora, в том числе qos-america.agoralab.co. Присоединение к каналу, например, генерирует пакет, направленный на внутреннюю инфраструктуру Agora. Этот пакет содержит метаданные о каждом пользователе, включая их уникальный идентификационный номер клуба и идентификатор комнаты, в которую они вступают.

Эти метаданные передаются через интернет в виде открытого текста (не зашифрованного), что означает, что любая третья сторона, имеющая доступ к сетевому трафику пользователя, может получить к ним доступ. Таким образом, подслушивающий может узнать, разговаривают ли 2 пользователя друг с другом, обнаружив, что эти пользователи подключаются к одному и тому же каналу.

Анализ документации платформы Agora также показывает, что компания, скорее всего, будет иметь доступ к необработанному аудиотрафику Clubhouse. Если Clubhouse не использует технологию сквозного шифрования (Е2ЕЕ), передаваемый звук может быть перехвачен, расшифрован и иным образом сохранен Agora.

Почему это играет важную роль?

Поскольку Agora базируется совместно в США и Китае, она попадает под действие закона КНР о кибербезопасности. В заявлении, поданном в комиссию по ценным бумагам и биржам США, компания признала, что она будет обязана оказывать помощь и поддержку в соответствии с законодательством КНР, включая защиту национальной безопасности и уголовные расследования. Поэтому если китайское правительство определит, что аудиосообщение угрожает национальной безопасности, платформа будет юридически обязана помочь правительству в его обнаружении и хранении.

Разговоры о протестах на площади Тяньаньмэнь, лагерях Синьцзяна или протестах в Гонконге могут квалифицироваться как преступная деятельность. Как это было раньше.

Ильхам Тохти, ученый и защитник осажденных уйгуров Китая, арестованный в 2014 году.Ильхам Тохти, ученый и защитник осажденных уйгуров Китая, арестованный в 2014 году.

Но Agora утверждает, что не занимается хранением пользовательских аудио или метаданных. В их задачу входит мониторинг качества сети и выставление счетов своим клиентам. Если это правда, то китайское правительство не сможет легально запрашивать данные пользователей ибо их у платформы просто нет. Или КНР теоретически могло прослушивать и записывать данные самостоятельно, если Agora искажает свои методы хранения данных. (Huawei, крупная китайская софтверная компания, имеющая тесные связи с военными силами страны, также заявляет, что не передает данные правительству. В чем многие эксперты сомневаются.)

Кроме того, любые незашифрованные данные. которые передаются через сервера КНР, скорее всего и так будут доступны китайскому правительству. Поэтому доступ к сетям Agora может быть вовсе необязателен.

Отсюда следует, что материковые китайские пользователи Clubhouse потенциально могут оказаться в опасности. Но важно иметь в виду, что теоретический доступ к пользовательским данным не равно фактическому доступу к ним. Китайское правительство это большая и иногда громоздкая бюрократия, как и правительство США.

Можно ли получить доступ к аудио, хранящемуся в Clubhouse?

Кратко: вероятно, нет, пока аудио хранится в США.

Политика конфиденциальности Clubhouse гласит, что пользовательское аудио будет временно записано с целью расследования доверия и безопасности (например, террористической угрозы, вымогательство личной информации у несовершеннолетних и т.д.). После проверки платформа обещает удалить сохранённое аудио. Но в политике не указывается срок временного хранения. Временное может означать и несколько минут, и несколько лет. Также политика конфиденциальности не включает Agora или любые другие китайские организации в качестве третьих лиц для хранения данных.

Если Clubhouse хранит эту запись в США, китайское правительство может попросить правительство США заставить Clubhouse передать данные в соответствии с соглашением о взаимной правовой помощи между США и Китаем. Но этот запрос, скорее всего, не будет удовлетворен из-за положений данного соглашения, позволяющих Соединённым Штатам отклонять запросы, которые нарушают свободу слова пользователей или права человека.

Есть ли вероятность, что материковые пользователи столкнуться с репрессиями за общение в Clubhouse?

Для того, чтобы китайское правительство наказало пользователей платформы, которые посещали или говорили в конфиденциальных чатах, нужно по крайней мере 2 условия:

  1. Узнать какие пользователи присутствуют в каких чатах. Это, как уже говорилось, можно сделать через Agora или вручную. Для ручного сбора данных кто-то в комнате должен был записывать профили всех, кто там находится.

  2. Нужно реальное желание наказать пользователей. А есть ли это желание пока что неясно. Китайское правительство иногда может быть терпимо к публичной критике, когда она не получает широкого распространения и не способствует коллективным действиям. Поскольку приложение доступно только для приглашённых и для владельцев сравнительно дорогих iPhone (менее 10% всех китайских пользователей), оно, вероятно, не было широко использовано за пределами городской элиты Китая.

Почему Clubhouse запретили в Китае именно сейчас?

Большинство материковых пользователей платформы наряду с иностранными журналистами и аналитиками ожидали, что приложение в конечном итоге будет запрещено. Самым насущным был вопрос - когда? Три фактора поспособствовали срокам запрета:

  1. Правительственных цензоров не было в офисе когда Clubhouse стал вирусным. Исследования показывают, что цензура падает по выходным и китайским праздникам, а всплеск активности пришелся как раз на это время.

  2. Правительство хотело собрать информацию о своих гражданах. Поскольку граждане боятся репрессий, они лгут о своих истинных политических взглядах.

  3. Запрет приложения требует времени. Решение о запрете возможно было задержано из-за простой бюрократической волокиты.

Но всё это лишь предположения. Ответ может оказаться ни одним из пунктов вышеперечисленного.

Технический анализ приложения

Согласно документации Agora, аудио ретранслируется через платформу с использованием их стандартного набора разработки real time communication (RTC), standard development kit (SDK). Подумайте об этом как о старом сетевом операторе: чтобы связаться с другим человеком, оператор должен соединить двух пользователей. В этом случае Clubhouse это телефон двух пользователей, а Agora оператор.

Файл списка свойств приложения Clubhouse (.plist) содержит идентификатор AgoraФайл списка свойств приложения Clubhouse (.plist) содержит идентификатор Agora

Когда пользователь присоединяется или создаёт чат в Clubhouse, приложение делает запрос через безопасный HTTP (HTTPS) к инфраструктуре Angora. Чтобы сделать запрос, телефон связывается с интерфейсом прикладного программирования Clubhouse, или API. Телефон отправляет запрос [ POST / api / create_channel ] API Clubhouse. API возвращает токен полей и rtm_token , где токен это токен Agora RTC, а rtm_token - токен RTM (обмен сообщениями в реальном времени). Эти токены затем используются для установления пути связи для последующего обмена аудио трафиком между пользователями.

Запрос на создание канала в API Clubhouse возвращает токены Agora.Запрос на создание канала в API Clubhouse возвращает токены Agora.

Затем SIO наблюдала, как телефон пользователя отправляет пакеты данных через UDP (более легкий механизм передачи) на сервер под названием qos-america.agoralab.co. Пакеты пользователя содержат в незашифрованном виде метаданные о канале, например, запросил ли пользователь присоединение к чату, идентификационный номер клуба пользователя и отключил ли он себя.

Пакет, отправленный в Agora, содержит в открытом виде идентификатор канала и идентификатор пользователя.Пакет, отправленный в Agora, содержит в открытом виде идентификатор канала и идентификатор пользователя.

После того, как пользователь получил токен RTC от Clubhouse, его телефон использует токен для аутентификации в Agora, так что зашифрованный звук чата может быть передан непосредственно в Agora через взаимно подтвержденный канал. Согласно документации, Agora будет иметь доступ к ключам шифрования. Хотя в документации не указано, какой вид шифрования используется, скорее всего, это симметричное шифрование по UDP.

Последовательность и содержание UDP-трафика от устройства, присоединяющегося к клубной комнате.Диаграмма SIO.Последовательность и содержание UDP-трафика от устройства, присоединяющегося к клубной комнате.Диаграмма SIO.

Единственный способ, при котором у Agora не будет доступа к необработанному аудио пользователя это если Clubhouse использует сквозное шифрование (E2EE) с использованием индивидуального метода шифрования. Хотя это теоретически возможно, для этого потребуется, чтобы Clubhouse раздал открытые ключи всем пользователям. Этого ещё не существует. Таким образом, E2EE крайне маловероятен.

Подробнее..

Уязвимости неуязвимого Linux

03.03.2021 18:08:18 | Автор: admin

Cреди обычных пользователей и даже ИТ-сотрудников распространено убеждение в повышенной безопасности ОС семейства Linux по сравнению с дырявой виндой и попсовой макосью. Однако, как показало наше исследование, открытость исходников не избавляет Linux от ошибок и уязвимостей, которые несут риски, связанные с безопасностью. В этом посте мы рассмотрим, почему Linux стал привлекательной мишенью для злоумышленников, а также обсудим основные угрозы и риски, связанные с этой операционной системой.

Фото: Trend MicroФото: Trend Micro

По данным Linux Foundation, ещё в 2017 году под управлением Linux работали 90% клиентских ресурсов у всех облачных провайдеров, причём в девяти из десяти случаев и сам облачный провайдер использовал в качестве основной ОС именно Linux. Но облаками дело не ограничивается: 82% всех выпущенных в мире смартфонов также используют Linux, а среди суперкомпьютеров доля Linux составляет 99%.

По мере того, как предприятия и организации переносят данные в облака, где царит Linux, вектор интереса злоумышленников смещается на слабые места этого семейства операционных систем: уязвимости, неправильные настройки и пробелы в безопасности, а также вредоносное ПО.

Уязвимости

Одним из самых распространённых методов проникновения в систему использование уязвимостей. Отсутствие процедур управления и отслеживания уязвимостей, не говоря уже об отсутствии выстроенных процессов установки исправлений, может привести к тому, что системы окажутся беззащитными после обнаружения очередной уязвимости и публикации эксплойта для неё. Часто эксплойт публикуют уже через несколько часов после её обнаружения. Для Linux эта проблема более критична, поскольку открытый исходный код позволяет быстро найти проблемную функцию и написать код для эксплуатации ошибки.

Количество критических уязвимостей в различных дистрибутивах за 2015-2020 год. Источник: Trend MicroКоличество критических уязвимостей в различных дистрибутивах за 2015-2020 год. Источник: Trend Micro

Важно отметить, что значительное количество уязвимостей в сервисе или платформе не обязательно означает, что эти уязвимости обязательно несут существенный риск.


Каждый производитель дистрибутива Linux выполняет свою процедуру обработки уязвимостей. В то время как исправления от вендоров приходят в разное время, заплатки upstream, будь то оригинальный пакет или исходный код утилиты, появляются первыми. Вендоры Linux отвечают за исправление уязвимостей в таких компонентах, как ядро, утилиты и пакеты. В 2019 году Red Hat исправил более 1000 CVE в своём дистрибутиве Red Hat Enterprise Linux (RHEL), согласно их отчёту Product Security Risk Report. Это более 70% от общего числа уязвимостей, исправленных во всех продуктах.

Количество важных и критических рекомендаций по безопасности для различных дистрибутивов Linux за 2015-2020 годы. Источник: Trend MicroКоличество важных и критических рекомендаций по безопасности для различных дистрибутивов Linux за 2015-2020 годы. Источник: Trend Micro

Уязвимости приложений, работающих под управлением Linux, были причиной нескольких серьёзных инцидентов. Например, нашумевшая утечка данных в Equifax произошла в результате эксплуатации уязвимости CVE-2017-5638 в Apache Struts. Тогда хакеры проникли в корпоративную сеть бюро кредитных историй Equifax 13мая 2017года, но подозрительную активность служба безопасности заметила только в конце июля. Киберпреступники провели внутри сети 76дней, успев за это время скачать из 51базы данных личную информацию 148млн американцев это 56% взрослого населения США. Помимо американских граждан в утечку попали сведения 15млн клиентов Equifax в Великобритании и около 20тыс. граждан Канады. Общие расходы Equifax в результате этого инцидента за два следующих года составили более 1,35млрд долларов США и включают расходы на укрепление систем безопасности, поддержку клиентов, оплату юридических услуг, а также выплаты по судебным искам.

Уязвимости публичных приложений входят в состав фреймворка MITRE ATT&CK (IDT1190), а также перечислены в топ-10 уязвимостей OWASP и являются наиболее популярными векторами проникновения в Linux-системы.

Ошибки конфигурации

Небезопасные настройки довольно распространены и всегда были критическим вопросом в области безопасности. Первая версия OWASP Top 10 Web Risks от 2004года, включала в себя Небезопасное управление конфигурацией (Insecure Configuration Management); в версии списка 2017года название изменилось на Ошибочные настройки безопасности (Security Misconfiguration).

Когда предприятия стали массово переходить на облачные технологии для обеспечения операционной и экономической устойчивости во время пандемии COVID-19, неправильная конфигурация стала ещё более серьёзной проблемой: по мере переезда предприятий и организаций в новые экосистемы они непреднамеренно вносили ошибки в конфигурации облачной инфраструктуры, контейнеров и бессерверных сред.

Ниже перечислены наиболее распространённые проблемы безопасности в конфигурации Linux.

Слабые пароли в Linux как массовое явление

Использование паролей по умолчанию или слабых паролей до сих пор удивительно распространено, причём даже самые популярные дистрибутивы не отличаются в лучшую сторону.

Например, в дистрибутивах Debian/Ubuntu время жизни пароля по умолчанию составляет 99999дней, а если требуется принудительно задать сложность пароля, придётся устанавливать пакет libpam-pwquality или его аналог.

Настройки времени жизни пароля по умолчанию в Ubuntu (файл /etc/login.defs). Источник: linuxtechiНастройки времени жизни пароля по умолчанию в Ubuntu (файл /etc/login.defs). Источник: linuxtechi

Известный пример злоупотребления из-за отсутствия аутентификации произошёл в Tesla, когда злоумышленники получили доступ панели управления административной консоли, смогли взломать работающую подсистему Kubernetes и получить AWS-удостоверения Tesla для запуска майнера криптовалюты.

В ноябре 2020 года ФБР выпустило предупреждение о том, что злоумышленники злоупотребляют неправильно настроенными экземплярами SonarQube, который обнаруживает ошибки и уязвимости в безопасности исходного кода. Из-за того, что некоторые организации не поменяли настройки систем по умолчанию, они были доступны через порт 9000 с использованием учётных данных admin/admin.

Такая же проблема массово присутствует среди работающих под управлением Linux IoT-устройств, производители которых часто не утруждают себя безопасными настройками паролей. Многие IP-камеры и роутеры также поставляются без паролей или с паролями по умолчанию, которые можно легко найти в общедоступной базе паролей по умолчанию (Default Passwords Database). Причём в некоторых случаях пароли жёстко прошиты и не могут быть изменены.

Уязвимые службы в интернете

Развитие специализированных поисковых систем привело к тому, что уязвимый открытый порт в интернете можно расценивать как приглашение к атаке. Например, используя специализированную поисковую систему Shodan, мы обнаружили более 8тыс. уязвимых экземпляров Redis, размещённых в публичном облаке без TLS-шифрования и даже без пароля. Позже оказалось, что все они уже использовались кем-то для майнинга криптовалюты.

Открытые файловые ресурсы на Linux-серверах

Публично доступные FTP-, SMB- и NFS-ресурсы, разрешённый листинг каталогов на веб-серверах под управлением Linux, открытые облачные службы хранения данных Amazon S3 и Azure Blobсоздают потенциальный риск несанкционированного доступа. С помощью Shodan мы обнаружили более 3млн уязвимых публичных FTP-серверов.

Общее количество уязвимых публичных FTP-серверов по состоянию на 5 января 2021 года. Источник: Trend MicroОбщее количество уязвимых публичных FTP-серверов по состоянию на 5 января 2021 года. Источник: Trend Micro

Вредоносное ПО

Под Linux существуют многие разновидности вредоносных программ: вымогатели, криптомайнеры, руткиты, черви, бэкдоры и трояны удалённого доступа (RAT). Преступники успешно используют их для получения финансовой выгоды, шпионажа, саботажа, хактивизма или просто из желания доказать, что системы могут быть скомпрометированы.

Ниже перечислены наиболее распространённые типы вредоносных программ в экосистеме Linux.

Вымогатели

Это, безусловно, самая финансово успешная категория вредоносных программ за последнее время. Учитывая растущую популярность Linux, злоумышленники, управляющие вымогателями, считают эту операционную систему очень перспективной мишенью.

В качестве примера Linux-вымогателей можно привести RansomEXX/Defray7777, относительно недавно портированный под эту операционную систему. Его применяла кибергруппировка Gold Dupont, атакующая организации из сфер здравоохранения и образование и технологические отрасли.

Другой вымогатель Erebus, впервые замеченный в сентябре 2016 года, в июне 2017года Erebus заразил 153Linux-сервера южнокорейской хостинговой компании NAYANA и вывел из строя 3400 клиентских сайтов.

Криптомайнеры

Относительно новым мотивом для злоумышленников является проникновение и злоупотребление вычислительными ресурсами для добычи криптовалюты.

Многие вредоносные криптомайнеры не просто заражают Linux-системы, но и очищают их от присутствия майнеров-конкурентов, а также стремятся захватить как можно более мощные системы с практически неограниченными вычислительными возможностями, такие как контейнеры Docker или Redis.

Для проникновения в систему майнеры используют распространённые уязвимости. Например, программа coinminer, детектируемая компанией Trend Micro под названием Coinminer.Linux.MALXMR.SMDSL64, использует уязвимости обхода авторизации SaltStack (CVE-2020-11651) и обхода каталога SaltStack (CVE-2020-11652).

Вредоносные скрипты

Командные интерпретаторы присутствуют на всех UNIX-машинах, поэтому злоумышленники активно используют его, тем более что это значительно проще, чем использовать скомпилированные вредоносные программы.

Причин популярности вредоносных скриптов для атак на Linux:

  • они легко загружаются в виде текстовых файлов;

  • они имеют небольшой размер;

  • меньше вероятность того, что они будут легко обнаружены;

  • они могут быть созданы на лету.

Веб-шеллы и бэкдоры

Веб-шелл установленный на веб-сервере скрипт, который выполняет команды преступника и обеспечивает ему прямой доступ к взломанной системе. Например, в августе 2020 года мы столкнулись с Ensiko, веб-оболочкой PHP, нацеленной на Linux, Windows, macOS или любую другую платформу, на которой установлен PHP. Помимо удалённого выполнения кода с помощью Ensiko злоумышленники могут выполнять команды оболочки и повреждать веб-сайты.

Руткиты

Руткит набор вредоносных программ, которые внедряются в Linux-систему, частично или полностью подменяя стандартные системные утилиты, драйверы и библиотеки. Основная цель руткита скрывать своё присутствие от администраторов и пользователей скомпрометированной системы, обеспечивая злоумышленнику полный или частичный контроль.

В ходе наших исследований мы сталкивались с несколькими семействами руткитов. Чаще всего это были Umbreon, Drovorub или Diamorphine.

Рекомендации

Предприятия продолжают внедрять Linux, причём использование этой ОС не ограничивается серверными задачами. Крупные предприятия активно устанавливают свободную ОС на десктопы пользователей. Очевидно, что когда киберпреступники заметят эту тенденцию, они будут всё чаще нацеливаться на среду Linux с целью получения финансовой выгоды.

Вот несколько рекомендаций по обеспечению безопасности систем Linux:

  • внедрите в качестве обязательного принцип Инфраструктура как код (Infrastructure as Code, IaC), который гарантирует что системы создаются должным образом, а их конфигурации соответствуют решаемым задачам;

  • используйте принцип наименьших привилегий и модель совместной ответственности;

  • контролируйте целостность операционной системы, чтобы подозрительные изменения не могли произойти незаметно;

  • отслеживайте сетевой периметр, проводите мониторинг всех устройств, систем и сетей;

  • замените пароли по умолчанию на сильные и безопасные, по возможности всегда включайте многофакторную аутентификацию;

  • регулярно устанавливайте обновления и исправления ошибок.

Подробнее..

Кому давно пора обучиться IT пять сфер, где не хватает специалистов

25.02.2021 10:21:06 | Автор: admin

Казалось бы, в 2020 году каждая индустрия должна быть тесно связана с технологиями. Но пока остается много сфер, в которых не хватает и IT-стартапов, и взгляда IT-специалистов. Этим отраслям, может быть, и не страшна технологическая революция они просто никуда не денутся. Но им и тем, кто в них работает, давно пора меняться.

1. Образование

В российских школах, особенно в общеобразовательных, пока нет системного подхода к IT. Это стало еще более заметно сейчас, когда школьники то уходят на дистанционное обучение, то возвращаются с него, а учителям приходится с трудом разбираться в нехитрых технологиях видеосвязи.

В школах и сисадминством, и ведением отчетов, и психологическими тестированиями занимаются преподаватели информатики. Нам не хватает специалистов, которые будут заниматься только этим, и ставок на них нет, - говорит Сергей Адамский, учитель информатики в пензенской школе. - Если бы таких специалистов было достаточно, то у нас было бы больше времени, чтобы готовить более красочные уроки с более актуальным контентом. Сейчас это невозможно.

Но эта проблема касается не только преподавателей информатики, она затрагивает все аспекты работы школ: их сайты, безопасность Wi-Fi сетей, планы перехода на дистанционку и обратно и так далее. А надеяться на массовое внедрение совсем интересных вещей вроде AR и VR-технологий пока стоит скорее в сферах обучения специалистов и в платном образовании, чем в школах. Школа, с которой я сотрудничаю, получила грант в рамках нацпроекта Цифровая экономика, и теперь они сами создают контент для школьников, например, экскурсии и 3D-модели комплектующих компьютера. Но в целом пока в русском сегменте мало образовательного контента под AR и VR, - говорит Сергей.

Если бы такой комплексный и инновационный подход к обучению стал как можно более массовым, это не только сделало бы школьные будни интереснее, но, может быть, еще и дало бы учителям и школьникам больше шансов наконец-то найти общий язык.

2. Сельское хозяйство и пищевая промышленность

В России в сельском хозяйстве и производстве продуктов сейчас не хватает не только IT-специалистов, но и квалифицированных специалистов вообще. Сложность с нехваткой кадров связана с тем, что экспертиза в этом направлении пока только наращивается, а инициатива по внедрению инноваций и разработке IT-решений исходит извне - обычно от IT-интеграторов, крупных производителей семян и средств защиты растений, крупных агрохолдингов.

Средний и малый бизнес не может позволить себе такие дорогостоящие технологии. К тому же сама отрасль достаточно консервативна: не все аграрии в курсе, как IT-решения могут помочь им увеличить производительность. Они пока не видят в этом большого смысла и не очень хотят вкладываться в рискованные, с них точки зрения, инновации, - говорит Юлия Фурсова, старший консультант направления Chemicals в Hays.

Это особенно неприятно, учитывая, как много интересных стартапов в последнее время появляется именно в этих отраслях за рубежом: от автономных роботов, собирающих урожай, до сенсоров, которые могут передавать информацию о состоянии почвы, и систем, которые позволяют делать точные климатические прогнозы.

Тем не менее, сейчас, в условиях пандемии, российские аграрии все же начали плавно переходить к внедрению инноваций: например, к продажам через электронные площадки, что было непросто представить еще в 2019 году. Поэтому в обозримом будущем специалисты, чьи навыки необходимы для цифровой трансформации, будут в большей степени востребованы и в сельскохозяйственных компаниях.

3. Медицина

О цифровизации в медицине говорят очень много и очень давно. Понятно, что в сфере, которая целиком построена на науке, нельзя не поспевать за развитием технологий. Это касается и фармацевтики, и усовершенствования медицинского ПО, и разработки совершенно новых видов оборудования. Для всего этого нужно огромное количество специалистов, которые могли бы работать на стыке IT и медицины.

Конечно, прорывные технологии это очень важно. Но даже в более простых и привычных с технологической точки зрения вещах будь то обеспечение безопасности данных пациентов или разработка сервисов телемедицины можно было бы продвигаться гораздо быстрее. Здесь тоже не помешало бы не просто больше специалистов с технологическими знаниями, а еще и хорошее понимание (со стороны медиков-руководителей), насколько они действительно важны.

Недостаток понимания работает в обе стороны: yедостаток понимания работает вобе стороны: например, втех телемедицинских проектах, которые сейчас активно развивают IT-сервисы (отСбербанка доЯндекса), совсем непомешалобы уделять больше внимания реалиям работы врачей ипсихологическим тонкости работы спациентами наприемах, считает хирург и сооснователь сервиса ПроДокторов Сергей Федосов. Это бы позволило сделать такие сервисы гораздо более полезными и удобными для врачей и пациентов.

4. Журналистика

Иногда найти нужную информацию среди десятков перепечаток одной и той же новости оказывается так трудно, что чувствуешь себя детективом. Многим СМИ приходится пересказывать своими словами тексты на горячие темы, чтобы привлекать внимание пользователя и не терять свои показатели читаемости. Увеличивать же посещаемость за счет ценных и по-настоящему интересных материалов, в которых было бы много новой информации, для некоторых СМИ оказывается слишком трудоемко.

Компетенции в сфере IT могут серьезно изменить эту ситуацию. Умение и рассказывать истории, и использовать IT-инструменты позволяет журналистам делать свою работу гораздо точнее и эффективнее. В XXI веке умение писать код для журналиста не менее важно, чем умение писать текст, - рассказывает Роман Анин из Важных историй. Раньше я часто старался проверять крупнейшие госконтракты и их получателей, чтобы выявить из них фирмы-однодневки и фирмы, связанные с чиновниками. На это тратилась куча времени и это не получалось сделать систематически, а значит, я постоянно что-то упускал. Но после того, как я написал код, который делает анализ за меня, я не упускаю ничего и трачу на это в тысячу раз меньше времени.

Навыки программирования и другие понятия об IT-инструментарии чтобы уметь хотя бы поставить задание IT профессионалу позволяют журналистам не только быть точнее, не упускать важную информацию и экономить время, но и создавать интерактивные истории, данные в которых будут обновляться в режиме реального времени (например, с результатами выборов). А это гораздо интереснее и полезнее для читателя, чем статьи, которые стремительно устаревают.

5. Ритейл

2020 год показал, что электронная торговля не просто удобна для покупателей - иногда она бывает буквально жизненно важна. В первом полугодии доля интернет-торговли на российском рынке впервые составила почти 11%, приблизившись к показателям, например, США (где она составила около 14%). Ритейл-сети, интернет-магазины и сервисы доставки столкнулись с необходимостью обрабатывать гораздо большие объемы заказов, чем раньше, и не все оказались к этому готовы. У крупных компаний возрос спрос на специалистов практически всех специальностей, связанных с IT.

Если в крупных городах магазинам и службам доставки удалось предоставить покупателям практически все современные технические возможности интернет-торговли - выбрать оптимальный способ оплаты, получить товар без контакта с курьером и так далее - то в городах поменьше таких удобных сервисов пока что недостает, особенно если речь идет не о крупнейших сетях и сервисах, а о местном бизнесе.

Причем это касается не только российских регионов, но и заграницы: тот уровень удобства сервиса, к которому привыкли москвичи, например, совсем не характерен для Германии или для многих других стран, где, казалось бы, атмосфера для стартапов гораздо более дружелюбная, а потребитель более требовательный.

Поэтому ритейл это одна из тех перспективных сфер, где у стартаперов и больших компаний, которые готовы нанимать хороших разработчиков, есть еще много регионов и рынков, где они могли бы развернуться в своих экспериментах.

А как вы считаете, в каких сферах серьезно не хватает руководителей и сотрудников, которые разбирались бы в IT?

Подробнее..

Перевод Тренды 2021 в индустрии беспилотного транспорта

11.02.2021 10:09:47 | Автор: admin
image

Обзор основных трендов в индустрии беспилотного транспорта на 2021 год и некоторые параллели с 2020 годом.

Пришло время поговорить о перспективах беспилотного транспорта в 2021 году. В прошлом году в индустрии было небольшое затишье, пандемия сильно повлияла на стратегию многих компаний и заставила пересмотреть многие сценарии использования. Важность беспилотных грузовиков и автомобилей для перевозки товаров выросла в ущерб роботакси. Исключением стал Китай там масштабы тестирования роботакси резко возросли.

Регуляции NHTSA в отношении беспилотного транспорта


Работа NHTSA (Национальное управление безопасностью движения на трассах) по разработке регуляций для беспилотного транспорта станет важным событием 2021 года. Я написал две статьи по этой теме: NHTSA разрабатывает стандарты безопасности беспилотных автомобилей и у него есть вопросы и Определение безопасности беспилотных автомобилей от NHTSA. Надеюсь, работа над этим проектом будет завершена в 2021 (хотя вероятнее в 2022).

SPAC и IPO


Компании по приобретению специального назначения (SPAC) оказывают большое влияние на публичное размещение компаний в области беспилотного транспорта как альтернатива традиционному IPO. В 2020 году ряд компаний, занимающихся лидарами и датчиками, стали публичными через SPAC включая Velodyne, Luminar, Innoviz и Aeva. Вполне вероятно, что IPO через SPAC будут пользоваться стартапы, занимающиеся лидарами, и в 2021 этот тренд дойдет и до других сегментов рынка беспилотного транспорта программных платформ, беспилотных грузоперевозок и компаний, занимающихся разработкой процессоров.

Консолидация рынка беспилотного транспорта


Как показали две крупные сделки 2020 года, индустрия беспилотного транспорта созрела для консолидации. В июне 2020 года Amazon приобрела Zoox, а в декабре 2020 Aurora купила подразделение Uber, занимающееся беспилотными автомобилями. Также в декабре состоялась и другая небольшая сделка Nuro купила Ike Robotics.

В 2021 году ожидаются и другие слияния на рынке беспилотного транспорта с покупками компаний, занимающихся лидарами это произойдет наверняка, поскольку Tier-1 поставщики и автопроизводители будут искать возможности. Некоторые лидарные стартапы могут не получить дополнительного венчурного финансирования, из-за чего они будут представлены на рынке по бросовым ценам. Лидарные компании, работающие с частотно-модулированными непрерывными волнами (FMCW) станут более востребованными и могут стать привлекательными кандидатами на приобретение.

Беспилотные грузовики


Беспилотные грузовики привлекли к себе внимание в 2020 году. Вероятно, в этом году в эту отрасль будут дальше инвестировать и она будет развиваться. В юго-западных штатах США будут быстро расти объемы тестирования. Ожидается, что компания Plus.ai начнет тестирование в Европе и запустит производство своих беспилотных грузовиков в 2021 году.

Две ведущие компании-разработчика программных платформ для беспилотного транспорта, Waymo и Aurora вошли в сегмент беспилотных грузовиков и, как ожидается, станут мощными конкурентами. Aurora недавно объявила о сотрудничестве с Paccar, а Waymo работает с грузовыми брендами концерна Daimler. Все это говорит о том, что в 2021 году Aurora и Waymo будут играть важную роль в беспилотных грузоперевозках.

Когда-нибудь в 2021 году мы, вероятно, увидим испытания беспилотных водителей без водителей безопасности. TuSimple уже объявила, что будет тестировать беспилотные грузовики в 2021 году, и другие компании тоже могут это сделать.

В 2021 году ожидается резкий рост объемов производства беспилотных грузовиков с 150 единиц в 2020 году до более чем 2000 в глобальном масштабе к концу 2021 года. Обратите внимание, что беспилотные грузовики ездят от хаба до хаба, в то время как большая часть беспилотных автомобилей ездят по шоссе. Если ведущие логистические компании (такие как FedEx, UPS, Amazon и Walmart) увеличат количество испытаний автономных грузовиков, этих объемов поставок может не хватить.

Беспилотные автомобили для перевозки товаров


13 января 2021 года NHTSA выпустило регламент, который будет полезен беспилотным автомобилям для перевозки товаров. Документ называется Защита пассажиров в автомобилях с системами автоматизации езды. Публикация этого законопроекта значит, что коммерческие беспилотные автомобили для перевозки товаров не нуждаются в устройствах защиты пассажиров и человеческом управлении. В целом, этот документ соответствует льготам, которые получила компания Nuro в 2020 году.

У рынка беспилотных автомобилей для перевозки товаров есть два основных сегмента: дорожные и тротуарные транспортные средства. Дорожные имеют разные размеры и форм-фактор от фургонов и небольших грузовиков до специализированных грузовых автомобилей, таких как Nuro R2. Думаю, в 2021 году объемы производства коммерческих беспилотных автомобилей для перевозки товаров будет расти, причем Nuro будет лидером в США, а Neolix в Китае. Беспилотный автомобиль для перевозки отваров, разработанный компанией Neolix, был представлен в рамках презентации компании Valeo на выставке CES 2020. Valeo также может стать новым игроком на этом рынке.

Некоторые эксперты ожидают, что в 2021 году дорожные беспилотные автомобили для перевозки товаров сделают шаг вперед. В 2020 году было выпущено порядка 100 транспортных средств, а к концу 2021 может быть выпущено несколько тысяч. Если в 2021 году Waymo, Cruise и Ford будут агрессивно использовать свои беспилотные автомобили для доставки товаров по дорогам, то цифры могут быть еще больше.

У тротуарных беспилотников потенциал роста в 2021 году еще больше. Из-за своей низкой скорости они будут получать меньше урона при столкновениях. Компания Starship является лидером по тестированию таких устройств в разных городах. Starship и ее конкуренты уже удалось успешно поставлять фаст-фуд в университетские кампусы. Развитие этого сегмента рынка замедлилось во время пандемии, но в 2021 году оно должно возрасти.

Потенциальные решения для доставки товаров, продаваемых на электронных площадках, от Amazon и FedEx (у этих компаний есть свои устройства для перевозки товаров по тротуарам) могут получить развитие в 2021 году, а значит количество тротуарных беспилотников может вырасти с 400 в 2020 году до 4000 в 2021 с потенциалом на еще большее развитие. В какой-то момент количество тротуарных беспилотников может вырасти до десятков тысяч, но до этого нужно подождать до 2022 или 2023 года.

Роботакси


Во множестве городов США и Китая будет проведено обширное тестирование роботакси с участием водителей-испытателей. Также мы увидим как тесты роботакси будут проводиться в Европе и других странах Азии. Платные поездки на роботакси с участием водителей безопасности будут осуществляться в ряде городов США и Китая, а также в некоторых других странах.

Тесты роботакси без водителей будут массово проводиться в США, Китае, Европе и Израиле и, возможно, еще в нескольких странах. В некоторых из этих стран также будет начато развертывание платных сервисов.

В Китае в конце 2020 года для испытаний использовались порядка 500 роботакси, причем большая часть автомобилей принадлежит Waymo. Ожидается, что к концу 2021 года это число вырастет вероятно до более чем 10 000 единиц. Во многом объемы расширения будут зависеть от планов Waymo на работу в Калифорнии и/или других городах. Вторым ключевым фактором будет развитие отрасли в Китае, а третьим планы Waymo по расширению.

Беспилотные автомобили с фиксированными маршрутами


Пандемия сильно повлияла на беспилотные автомобили с фиксированными маршрутами, поскольку они предлагали услуги совместных перевозок. По мере того, как к середине 2021 года (и позднее) воздействие пандемии будет снижаться, возможности таких беспилотных автомобилей будут расти. Многие транспортные службы уже проявили интерес к этой области и сейчас у них есть время на оценки перспектив тестирования и развертывания думаю, оно начнется в конце 2021 года. Наверняка 2022 год будет еще лучше.

Личные беспилотные автомобили


Мы не увидим личных беспилотных автомобилей в 2021 году, равно как и в последующие годы. Основное внимание сейчас уделяется расширению функциональности ADAS-решений 1 и 2 уровня, причем некоторые модели 2 уровня выходят за рамки базового функционала, но не дотягивают до третьего. Также могут появиться решения 3 уровня. Впрочем, я за то, чтобы пропустить 3 уровень, поскольку многие водители не смогут взять на себя управление к экстренных ситуациях. Когда/если что-то такое произойдет, вся индустрия ощутит негативные последствия.

Сроки выпуска систем беспилотной езды 4 уровня для личных автомобилей были объявлены во время презентации Mobileye на выставке CES 2021. Mobileye считает, что стратегия компании с использованием двух независимых систем восприятия (камера+лидар и радар), система RSS (безопасность с учетом ответственности) и REM (система управлением пассажирского опыта) будет достаточно зрелой для использования в персональных беспилотных автомобилях 4 уровня в 2025 году. Думаю, что эти оценки спешат на год или два, хотя компания уже снизила оценки ожидания до выступления Mobileye все говорили о 2030 году.

2021 год станет хорошим для всех сценариев использования беспилотного транспорта с заметным продвижением в областях датчиков, процессоров, ПО и систем безопасности. Значительное расширение рынка произойдет за счет десятикратного роста популярности различных сценариев использования, опорой которого станут скромные показатели 2020 года.




image

Вакансии
НПП ИТЭЛМА всегда рада молодым специалистам, выпускникам автомобильных, технических вузов, а также физико-математических факультетов любых других высших учебных заведений.

У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.

В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.

Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.



О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Подробнее..

Перевод Didi Chuxing вытеснили Uber с китайского рынка

04.03.2021 20:15:20 | Автор: admin
image

Сервис пассажирских перевозок Didi Chuxing, вытеснивший Uber с китайского рынка (вложившись в конкурентов и выкупив китайское подразделение Uber) заработал на поездках за 2020 год порядка 1 миллиарда долларов. Это примечательная новость, поскольку пандемия потрепала большинство компаний на этом рынке, причем Uber продолжает терять деньги. Отчет за четвертый квартал у компании выйдет только 10 февраля, а отчет за третий квартал показал убыток в 1,1 миллиарда долларов.

Можно провести много параллелей между Uber и Didi, их стилями ведения бизнеса и работы с рынком. Новости про прибыль Didi интересны с той точки зрения, как компании, занимающейся пассажирскими поездками удается зарабатывать даже в трудные времена (Didi удалось расширить свой бизнес в области пассажирских в 2020 году, в то время как Uber и Lyft выжили только за счет сервисов доставки еды). Это, в свою очередь, говорит о перспективах прибыльности бизнеса роботакси, на который многие игроки поставили много миллиардов.

Неспособность Uber зарабатывать деньги заставила некоторых предположить, что компания плохо ведет свой бизнес. Uber утверждает, что теряет деньги только потому, что много тратит на рост. В частности, компания много тратит на субсидии водителям, чтобы нанимать и поддерживать их по мере своего развития.

Средняя поездка у Uber стоит 2 доллара за милю, хотя расчетная формула более сложная. Uber забирает себе 50 центов и отдает водителю 1,5 доллара. У водителя уходит 30-50 центов за милю на расходы, остальное он кладет себе в карман. Uber не очень много делает за эти 50 центов страхует поездку и гоняет биты на своих серверах. Несмотря на то, что у компании много единовременных затрат, валовая прибыль от этих 50 центов должна быть довольно высокой и все равно сейчас с прибылью большие проблемы.

Вождение собственного автомобиля также стоит около 50 центов за милю с учетом амортизации и прочих затрат. Это куда дешевле 2 долларов за милю у Uber. Многие аналитики считают, что дополнительные затраты на управление роботакси будут близки к этим 50 центам, а по факту могут быть и меньше как из за прибыли, так и возможности производить дешевые одноместные роботакси, которые будут обслуживать 80% всех поездок.

Но если Uber не удается зарабатывать деньги, взимая с вас 50 центов за милю с минимальной себестоимостью, то как же роботакси будет зарабатывать, если за него приходится платить 20-40 центов расходов на поездку? Роботакси хотят, чтобы их считали альтернативой владению автомобилем, и поэтому они не хотят стоить вдвое дороже. Они могут стоить немного дороже, так как вам не нужно водить, парковать или обслуживать их, но есть предел.

Didi работает в Китае, и ее тарифы ниже, чем у Uber. В Шанхае вы заплатите порядка 2,3 доллара за посадку и 84 цента за милю. Цены у Uber варьируются в разных регионах, но в Кремниевой Долине вы заплатите 2,2 доллара за посадку и 1,6 доллара за милю плюс поминутная оплата и плата за поездку. В Китае цены ниже, но Didi и на них хорошо зарабатывает.

image

Один из множества прототипов китайских роботакси

Как и UberX, Didi использует автомобили, принадлежащие водителям. Разумеется, эти автомобили дешевле в Китае, наряду с прочими факторами. Одно из существенных преимуществ заключается в том, что водители часто не смотрят на общую стоимость использования собственного автомобиля, а только на дополнительные затраты. В основном водители учитывают затраты на топливо и считают, что за машину они уже заплатили. Отчасти это правда некоторые автомобили стареют с годами, но большинство стареют с пробегом. Это помогает агрегаторам такси убеждать водителей, что они зарабатывают больше, чем они зарабатывают на самом деле. Коммерческие автопарки, находящиеся в собственности (как и автопарки роботакси) себе такой роскоши позволить не могут они должны покрывать все расходы.

Средняя комиссия у Didi составляет 19% у Uber 25%, но водители, пришедшие раньше, могут платить меньше. Это значит, что Didi платит порядка 68 центов на милю за машину и водителя. Это говорит о том, что предполагать прибыльность роботакси разумно, хотя у нас все еще нет доказательств, что им удастся конкурировать по цене с владением личным автомобилем.

Хорошая новость заключается в том, что вполне возможно, что роботакси будет стоить дешевле, чем обычная машина. Несмотря на то, что на датчики и компьютеры уйдет несколько тысяч долларов, можно сэкономить на множестве водительских элементов педалях, регулируемых сиденьях, зеркалах и многом другом, а все это стоит дороже целевых затрат на датчики. Поначалу самым большим препятствием будут миллиарды инвестиций, необходимых для вывода этих транспортных средствах на рынок, но похоже, что инвесторы готовы их предоставить.




image

Вакансии
НПП ИТЭЛМА всегда рада молодым специалистам, выпускникам автомобильных, технических вузов, а также физико-математических факультетов любых других высших учебных заведений.

У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.

В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.

Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.



О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Подробнее..

80 докладов и статей, которые запомнились PHP-сообществу в 2020 году

27.02.2021 12:14:40 | Автор: admin

Недавно мы решили узнать, чем помимо пандемии 2020-й запомнится пхп-разработчикам кто что читал, смотрел, над чем работал. Получив свыше 1500 ответов, мы сели их разбирать. Вот что получилось.

Этот материал часть презентации итогов 2020-го в русскоговорящем сообществе. Больше данных рейтинги компаний, популярность фреймворков в рабочих проектах и не только, вы можете найти в видеоверсии и на этом сайте.

Как мы получили данные и кто давал ответы

В конце декабря 2020 мы сверстали форму из 14 вопросов: часть подразумевала свободный ответ, часть выбор из вариантов (подробнее тут). Ссылку на форму мы раскидали по чатам и каналам для PHP-разработчиков в телеграме, а также сделали анонсы в твиттере, на Хабре и запустили небольшую таргетированную компанию в ВК. До конца января 2021 мы принимали анонимные ответы.

1506 респондентов заполнили опросник целиком или частично.

44% определили себя как мидлы

24% как сеньоры

13% как тимлиды

Структура поста

1.1. Популярные стримы

1.2 Записи докладов разных лет, которые запомнились

1.3. Доклады на английском, которые запомнились

2.1. Самые упоминаемые статьи и книги

2.2. Часто упоминаемые статьи

2.3. Переводы статей, которые запомнились

2.4. Статьи на английском

1. Что смотрели

Мы получили свыше 240 релевантных свободных ответов, по которым можно было восстановить ссылки на материалы, а затем отобрали самые упоминаемые.

1.1. Стримы

Назад к оглавлению

Встречаем PHP 8: советы по обновлению, мнения и интервью с разработчиком языка

Небольшой холивар про тем ли путем идет язык, доклад о юзерленде и народное интервью с Никитой Поповым и Дмитрием Стоговым. Трансляцию на 3 каналах смотрело свыше 1100 человек в прямом эфире. Всего записи с ноябрьского митапа набрали более 40к просмотров за все время.

Трейты в PHP зло? Валентин Удальцов против всех

Холивар на холиварную тему пожалуй, один из самых удачных онлайн-форматов. Дискуссия состояла из 4 раундов в каждом разбирали новый кейс. После каждого раунда зрители голосовали за и против трейтов.

Выбрать между PHP и Go просто, достаточно

Cтрим, в котором те, кто писал на PHP, но перешел на Go, и те, кто пишет в основном на PHP, не холиварили а написали два сервиса и разбирали их код, параллельно рассказывая про слабые места и границы применимости своего любимого языка.

Рефакторим c Александром Макаровым, Валентином Удальцовым, Валентином Назаровым, Леонидом Корсаковым

Один репозиторий на гитхабе, два диаметрально противоположных подхода к рефакторингу. И кот.

Митап Фреймворки и инструменты PHP

В период пандемии на карте PHP-сообщество появился новый город ребята из Томска громко заявили о себе, начав собирать смешанные онлайн-офлайн митапы с крутым спикерским составом.

Выше мы представили самые популярные свободные ответы. А вот как распределились голоса по предзаданым позициямВыше мы представили самые популярные свободные ответы. А вот как распределились голоса по предзаданым позициям

Найти все эти и другие записи можно в архиве стримов и митапов или в списке ютуб-каналов для PHP-разработчика.

1.2. Записи докладов

Назад к оглавлению

Cycle ORM и графы доклад Антона Титова с онлайн-конференции PHP fwdays'20. Отличия подходов ActiveRecord и DataMapper. Решение проблемы топологической сортировки зависимостей ORM, используя итеративную сортировку в глубину.

Самое интересное в PHP 8 JIT, Preloading и FFI и не только в докладе Дмитрий Стогова с PHP Russia 2019.

Поговорим про код доклад Александра Макарова с онлайн-конференции PHP fwdays'20. Разбор принципов, которые позволяют писать код, который ломается меньше.

Поиск и устранение утечек памяти в PHP Валентин Удальцов показывает, как искать проблему и как фиксить на примере утечки, обнаруженной в Symfonyкомпоненте.

PHP: Неправильный путь Кирилл Несмеянов о том, с чего начать изучение PHP, как качать свой скилл и что будет с языком дальше. Запись с митапа в Иваново в конце 2019-го.

30+ примеров угроз: формы, файлы, заголовки, браузер, консоль, БД Александр Макаров про безопасность в веб-разработке: от базовых вещей до особенностей PHP. Запись с казанского PHP-митапа в конце 2019-го.

Разработка гибридных PHP/Go-приложений с использованием RoadRunner доклад Антона Титова с конференции PHP Russia. Как демонизировать PHP-приложение для повышения производительности.

MySQL, который мы не знаем доклад Виктор Зинченко с онлайн-конференции PHP fwdays'20. Как организовать мониторинг MySQL с помощью Prometheus, Grafana и что делать с медленными запросами.

Рефакторинг PHP-кода с применением DDD Виталий Чирков на примерах показывает, какие приёмы сработали в его случае. Запись с митапа в офисе Badoo в феврале 2020-го.

Грамотное ООП: организация надёжной бизнес-логики доклад Дмитрия Елисеева с конференции PHP Russia 2019. Тренируемся в объектно-ориентированной декомпозиции для грамотного проектирования сущностей по обязанностям и учимся сочинять ко этому быстрые, удобные и надёжные юнит-тесты.

Быстрый способ разобраться с легаси и начать жить Сергей Жук про то, как превратить работу с легаси в увлекательное приключение. Или все переписать? Или и так сойдет? Запись с краснодарского PHP-митапа в ноябре 2020-го.

Спасибо этим и другим каналам, что делилсь видеоСпасибо этим и другим каналам, что делилсь видео

Зачем и как писать качественные Unit-тесты Алексей Солодкий рассказывает об основных концепциях unit-тестирования и том, как поддерживать качество тестов на проекте. Запись с митапа в офисе Badoo в марте 2019-го.

Как контрибьютить в Symfony и зачем это делать запись с митапа в рамках PHP Russia 2019.

От Doctrine ORM к CQRS за 20 минут Дмитрий Симушев о том, что делать, когда хаки с оптимизацией доктрины больше не работают. Запись с митапа в офисе Skyeng летом 2019-го.

Очень странные дела на PHP Кирилл Несмеянов о применении PHP за гранью веб-разработки. Запись с онлайн-митапа весной 2020-го.

Перенос проекта на PHP 7: от сбора фактов до результата Максим Шамаев о том, что делать, когда к вам придут и предложат разобраться с очень старым кодом. Запись с онлайн-митапа весной 2020-го.

Различные эволюции от старта до релиза в PHP продукте видео с онлайн-конференции PHP fwdays'20. Александр Савченко про None-Breaking change development , cross-stack контракты, Trunk Based development и много чего еще.

Строим Highload на PHP и Redis Михаил Мазеин про то, что делать с очередями из миллиона сообщений. Запись с нижегородского PHP-митапа в конце 2019-го.

Big Ball of Mud и другие проблемы монолита, с которыми мы справились Юлия Николаева о модульном монолите как альтернативе микросервисам. Запись с онлайн-митапа весной 2020-го.

1.3. Записи докладов на английском

Назад к оглавлению

Effortless Software Development

Package Design Principles in Practice

Queues, busses and the messenger component

Getting the most out of the PHP 7 engine the example of Symfony

More Than a Query Language: SQL in the 21st Century

2. О чем читали

Мы получили 360 уникальных релевантных ответов, по которым можно было восстановить ссылки на материалы, а затем отобрали из них самые упоминаемые.

А вот на закрытые вопросы люди отвечали охотнее)А вот на закрытые вопросы люди отвечали охотнее)

2.1. Самые упоминаемые материалы

Назад к оглавлению

Мне не нравится то, во что превращается PHP мощное заявление от @AlexLeonov, которое получило развитие на стриме к выходу PHP 8.

PHP 8 что нового? обзор нововведений от @rela589n, вышедший за день до релиза 8-ки.

Регулярные PHP-дайджесты от @pronskiy упоминались разные выпуски. Кстати, с этого года они доступны в виде стримов на ютубе.

Архитектура сложных веб-приложений. С примерами на Laravel перевод книги @Adelf перевел он сам и выложил для скачивания на GitHub.

Собеседование php-developer: вопросы и ответы подборка, которую составил @Nidhognit чтобы подготовиться к собеседованиям. Спасибо, что поделился с сообществом!

Что не так с трейтами? превью к стриму, где в итоге победили трейты и @SerafimArts :)

Сейчас я буду убеждать вас использовать статический анализ в PHP расшифровка подкаста Между скобок, в котором @seregazhuk и @vudaltsov обсуждают Psalm и не только.

Зачем ограничивать наследование с помощью final? материал из конца 2019 от @parshikov_pavel который нашел благодарного читателя в 2020-м.

Куда катится PHP, а также про Yii и другие фреймворки презентация от @SamDark, которую удобно читать.

2.2. Также часто упоминали

Назад к оглавлению

Aсинхронный PHP расшифровка доклада Антона Шабовты с PHP Russia 2019.

Как переиспользовать код с бандлами Symfony 5? цикл статей от Романа Науменко.

Как я пытался улучшить Laravel, а сделал только хуже не метод, а монстр или история одного коммита.

Ловушки для современного PHP еще одно размышление о судьбах PHP, если понравились материалы Альберта Степанцева и Саши Макарова, точно зайдет.

Занятное мини-интервью с основными контрибьюторами PHP 8 частичная расшифровка стрима с Никитой Поповым и Дмитрием Стоговым. Продолжение недавно вышло тут.

В карантин нагрузка выросла в 5 раз, но мы были готовы та самая история от Lingualeo. 685 комментариев под постом!

Теперь я не могу сделать даже маленький сайт мини-обзор того, что (не) должен знать современный веб-разработчик.

Среда разработки PHP на базе Docker как быстро создать на локальной машине универсальную среду разработки.

Мёртвый код: найти и обезвредить чтобы что-то добавить, нужно что-то удалить.

У Вас проблемы с legacy значит, Вам повезло! Распил монолита на PHP - название говорит само за себя

Spiral: высокопроизводительный PHP/Go фреймворк - обзор от автора инструмента

Почему стоит попробовать Drupal 9 - если вы ищете CMS.

Отпусти меня, PHP - ведущий телеграм-канала PHP Today делится болью.

НЕкостыль: gRPC-клиент на PHP в продакшене боевое решение, которое, к тому же, легко пишется.

Уязвимости PHP-фреймворков сколько из них знаешь ты?

FFI: пишем на Rust в PHP-программе материал из осени 2019-го, который вспоминают до сих пор.

DDD на практике туториал из 2018-го, который был актуален и в 2020.

2.3. Переводы

Назад к оглавлению

Улучшения покрытия PHP кода в 2020 году почему метрики покрытия кода врут (и что с этим делать).

Модернизация старого PHP-приложения какие антипаттерны ловить в вашем легаси. Больше такого из опыта российских компаний на PHP Russia этим летом.

Современный PHP без фреймворков статья о возможности стать лучше как разработчик.

Понимаем JIT в PHP 8 как это работает и почему прирост производительности (кажется) не будет колоссальным.

Эволюция PHP от 5.6 до 8.0 небольшая шпаргалка с продолжением.

2.4. На английском

Назад к оглавлению

Its not legacy code its PHP

Object Oriented Done Right

Laravel beyond CRUD: the next chapter

My journey into event sourcing

PHP 8: before and after

Commits are snapshots, not diffs

Modular Monolith: A Primer

p.s. Спасибо всем, кто поделился тем, что читал и смотрел в 2020-м!

p.p.s. Отдельное и огромное спасибо @jm_sub и @alyssashch за помощь в обработке данных.

Подробнее..

Вычислительная система пятого поколения

12.02.2021 14:21:36 | Автор: admin

В 80 годы прошлого века правительство Японии совершило попытку создать распределенную вычислительную систему следующего поколения с элементами ИИ. Проект закончился достаточно закономерным провалом. Причина провала достаточно проста, почему то посчитали, что простого наличия технологии производства больших интегральных схем хватит для качественного "скачка" в вычислительных технологиях (своеобразный переход количества в качество). Да, история повторилась, после изобретения компьютера, тоже присутствовала необоснованная уверенность в скором появлении ИИ и тоже провалилась.

Сейчас ИИ в основном рассматривается как совокупность нейронов, объединенных в сеть. В свою очередь я попытался посмотреть на человеческий мозг, как на вычислительную систему. При этом не акцентируя внимание на элементах какого типа он базируется.

<meta http-equiv="CONTENT-TYPE" content="text/html; charset=utf-8"><title></title><meta name="GENERATOR" content="OpenOffice 4.1.6  (Win32)"><style type="text/css"><!--    @page { size: 21cm 29.7cm; margin: 2cm }    P { margin-bottom: 0.21cm }--></style>

Современное состояние вычислительной техники

Современное состояние вычислительной техники можно охарактеризовать как стагнацию, основные идеи были сформулированы в 1940-1970 годы прошлого века и до настоящего времени не претерпели значимых изменений. Основной прогресс получался за счет совершенствования микроэлектронной технологии, до тех пор пока в начале двухтысячных весь процессор не был окончательно реализован в пределах одного кремниевого кристалла. С этого момента рост производительности резко замедлился и начали проявляться проблемы заложенные в вычислительную парадигму фон-неймана, как в части аппаратуры, так и в части создания программного обеспечения. Основными проблемами парадигмы фон-неймана является принципиальная последовательность исполнения команд и отсутствие (в пределах вычислительной парадигмы) второй и более вычислительной машины, а так же средств взаимодействия с ней. Еще можно отметить несоответствие современных задач, задачам под которые создавалась вычислительная машина фон-неймана. Современный компьютер создавался как средство для автоматизации расчетных работ, в настоящее время в основном используется как средство оживления различных моделей, физически существующих или полностью виртуальных (непосредственно расчетное использование минимально). Создание программного обеспечения базируется на математических принципах, что чрезвычайно неэффективно за пределами чисто математических задач.

В целом можно сказать, что для достижения значимого прогресса необходим революционный слом существующей парадигмы и всех навязанных искусственных ограничений (адресное пространство, последовательность исполнения команд, разрядность данных и многое другое).


Внимание:

Все идеи и алгоритмы, описываемые в данной статье, являются результатом моей независимой и полностью самостоятельной интеллектуальной деятельности. Как автор, разрешаю свободно использовать, изменять, дополнять все идеи и алгоритмы любому человеку или организации в любых типах проектов при обязательном указании моего авторства (Балыбердин Андрей Леонидович Rutel@Mail.ru).


В самом начале необходимо определить основной тип задач, на решение которых будет нацелена новая вычислительная парадигма. Архитектура фон-неймана решает задачи вычисления математических выражений, а все остальное идет бесплатным дополнением. В настоящее время акцент сместился в сторону моделирования поведения различных объектов или их сообществ, именно эту задачу необходимо рассматривать как основную. Еще учитываю своекорыстный интерес, использование будущей вычислительной системы для моделирования человеческого мозга и как инструмент для моделирования (проектирования) биологических структур (нейро-интерфейс) внедряемых в мозг человека (проект переноса личности человека в вычислительную систему).

Примерное описание идеи в статье : Цифровое бессмертие Инженерный подход.


Определим основные термины


Объект

Определение понятия объекта (правильнее сказать виртуальный объект), поведение которого и будет моделировать новая вычислительная система.

Виртуальный объект это отражение свойств и законов, которым подчиняется некоторый внешний по отношению к вычислительной системе объект, в данные хранимые и обрабатываемые вычислительной системой. Иными словами виртуальный объект это связанный набор данных (можно даже применить термин запутанность из квантовой физики), который изменяет свое состояние при взаимодействии с другими виртуальными объектами сообразно с законами функционирования и не может принимать значения противоречащие данным законам даже на короткий промежуток времени. Из это следует, что все данные характеризующие текущее состояние объекта, при взаимодействии с другими объектами изменяют свое состояние за бесконечно малый промежуток времени (мгновенно). Законы функционирования определяют набор действий, которые должна выполнить вычислительная система для вычисления нового состояния (аналог программы из парадигмы фон-неймана). Программирование в новой парадигме сводится к постулированию законов поведения объекта, базовых констант, и границ их применения (создание иерархического описания свойств объекта), на основании которых компилятор создает все остальные компоненты необходимые в конкретной вычислительной системе для моделирования. Профессия программист в данной парадигме отсутствует по причине практической невозможности в ручного переписывания исполняемой последовательности команд после каждого изменения законов поведения объекта (описание свойств должно производиться практически на естественном языке). Для формулирования свойств объекта необходимы знания специалиста, в интересах которого создается ПО (технология создания ПО будет рассматриваться в следующей статье).


Данные

Данные это иерархическая информационная конструкция, состоящая из совокупности символов. Данная структура, описывает физические параметры объекта в настоящем времени и изменяется согласно законам функционирования при взаимодействии с другими объектами.


Символ

Символ представляет собой неделимую информационную конструкцию обладающую свойствами тип и значение, информационная емкость (разрядность, да и вообще дискретность) не оговаривается. Именно через тип символа и происходит связывание виртуального объекта с физическим миром (отражением в физическом мире). В физике есть Международная система единиц измерения, в том числе и через ее отображение в пространство символов происходит отображение физической реальности в виртуальную. Можно сказать, что каждый тип символа это отдельное измерение и каждый виртуальный объект может быть описан через координаты в пространстве измерений.


Взаимодействие объектов

Взаимодействие объектов происходит через перенос части состояния одного объекта (части данных), в состояние взаимодействующего с ним другого объекта. Перенос данных взаимодействия происходит не мгновенно (дань конечности времени взаимодействия), время взаимодействия неизвестно и не постоянно во времени. Гарантируется только то, что порядок переноса данных взаимодействия будет совпадать с порядком их появления. Данные взаимодействия переносятся во взаимодействующий объект целиком и без искажений.


Время

Моделируемые объекты изменяют свое состояние во времени. Время в физическом мире не имеет носителя и является просто отношением скорости течения различных процессов. Единственно, что можно сказать о времени определенно, оно направлено из прошлого, через настоящее, в будущее и нереверсивно. Текущее состояние данных объекта это и есть его настоящее. Время, для вычислительной системы, логичнее определить через количество взаимодействий между объектами. Нет взаимодействий, нет времени. Если произошло взаимодействие (приняты данные взаимодействия), то оно мгновенно изменяет объект (его состояние). Если требуется привязать объект к реальному (модельному или физическому времени), то достаточно путем взаимодействия с объектом таймер добавить в его данные (состояние) значение времени.


Вычисление

Новая вычислительная парадигма в значительной степени (с вычислительной точки зрения) базируется на идеях DataFlow (вычисления возможны только после готовности всех исходных данных). В момент когда происходит взаимодействие (получены данные взаимодействия от другого объекта), выполняются все возможные преобразования для данного объекта, для которых присутствуют необходимые данные. В отличии от канонического DataFlow, где проверяется только готовность исходных данных, необходимо проверить еще наличие возможности записать результат преобразования. Такие проверки позволяют осуществлять координацию работы нескольких объектов, притормаживая объекты имеющие возможность создать много данных сразу (не считаясь с возможностью другого объекта их обработать). В результате получается сбалансированная система, где невозможно начать вычисления раньше готовности данных и производить вычисление слишком быстро по причине отсутствия места для сохранения данных. Можно добавить, что существенным отличием от вычислительной парадигмы фон-неймана, является возможность получить больше одного легитимного результата. Поскольку исходными данными для создания ПО являются законы, а не отдельные команды (фон-нейман). Применение законов отделяет множество легитимных решений из множества возможных, их может быть больше одного, а может и не быть вообще. В парадигме фон-неймана происходит простое вычисление математического выражения, с одним результатом в итоге.

Физическая реализация вычислителя может любой (программа для обычного фон-неймановского процессора, FPGA, обычная логика, нейронные технологии и тд). Каналы переноса данных взаимодействия, по своим свойствам являются обычными каналами связи (точка-точка) с произвольно распределенным по их протяженности FIFO (канал имеет некую информационную емкость). Регулируя скорость передачи символов в отдельных каналах, можно регулировать скорость работы различного ПО, иначе говоря это более эффективный аналог системы приоритетов из парадигмы фон-неймана.


Итог

Отдельные объекты могут располагаться (исполняться) на различных кристаллах, которые соединяются каналами связи (для переноса данных взаимодействия). Нет границ между различными компонентами суммарной вычислительной системы. Состояние объекта в будущем зависит только от данных взаимодействия, плюс данные текущего состояния объекта, значит может быть вычислено полностью параллельно. Кроме того можно представить вычисление виде направленного ациклического графа, что позволит организовать вычислительный процесс по готовности данных с одновременным использованием большого числа вычислительных ядер. Такой подход дополнительно распараллеливает вычислительный процесс. Получается максимально параллельная и распределенная вычислительная система.

Программирование в новой парадигме превращается из составления списка исполняемых команд (фон-нейман) в описании иерархии законов (свойств), которым должен подчиняться виртуальный объект (или их совокупность). Такой подход открывает очень большие перспективы, например избавляет от неэффективного посредника (программиста) при взаимодействии с вычислительной системой. Разрушает барьер максимальной сложности создаваемой программы. Человек может одновременно оперировать не более чем 5-7 информационными сущностями, что приводит к ошибкам логической связности больших объектов. Программирование в новой парадигме становится инкрементальным, можно постепенно добавлять (редактировать) законы (свойства), до тех пор пока весь объект не станет соответствовать потребностям пользователя. В парадигме фон-неймана такой подход невозможен из-за того что программирование представляет собой создание (редактирование) последовательности действий, которая может полностью измениться при внесении даже небольших изменений в законы функционирования математической модели объекта. Замечу, что нигде не говорится о необходимости изначально понимать устройство создаваемого объекта, можно просто формировать список требований (законов). Произойдет постепенное формирование множества объектов подходящих для решения поставленной задачи. Объекты будут немного отличаться друг от друга, но только в части не значимой для решаемой задачи. Если замкнуть обратную связь с объектом существующим в физической реальности, то можно создать автоматическую исследовательскую систему, которая будет без участия оператора строить виртуальные модели физических объектов. Самое главное, такой подход позволит решить проблему написания адаптивно изменяющегося ПО, предназначенного для работы в не контролируемой среде (в изменяющемся реальном мире).

Можно будет строить отображение реального мира в виртуальный, как это делает мозг человека и на его основе предсказывать результат тех или иных действий (такое предсказание и является интеллектом). Для парадигмы фон-неймана написание корректно работающего ПО возможно только при полном знании среды в которой будет работать ПО и любое непредвиденное обстоятельство может нарушить логику работы.

Создание программы по заданным законам функционирования, можно делать многими способами. Самый простой пример : Использовать технологию обучения нейронных сетей, заменив библиотеку примеров на проверку соответствия получаемого объекта заданным законам (свойствам). Более полно технология программирования будет рассматриваться в следующей статье.


Физическая реализация вычислительной системы


Повторюсь, до начала 2000х наблюдался экспоненциальный рост производительности процессоров (закон Мура) и определялся он в основном успехами микроэлектронного производства. В момент когда удалось полностью разместить на одном кристалле процессор и все необходимое для его работы (кэш память и другое), наступил перелом. Рост производительности прекратился и повлияли на это множество факторов, частично из-за электрических ограничений, таких как невозможность рассеивать все потребляемую мощность (появилось понятие темный кремний), ограничение по частоте (размер кристалла, частотные свойства транзистора и суммарное потребление). Но самый главный тормоз в повышении производительности это невозможность эффективного распараллеливания, заложенный в самой вычислительной парадигме. Невозможно получить рост производительности путем простого увеличения числа ядер на одном кристалле.

Сетевая парадигма

Следующим сдерживающим фактором является отсутствие эффективной сетевой парадигмы, что не позволяет распределить вычислительный процесс в пространстве (объеме) и заставляет стягивать все компоненты вычислительной системы в пределы одного кристалла.

<meta http-equiv="CONTENT-TYPE" content="text/html; charset=utf-8"><title></title><meta name="GENERATOR" content="OpenOffice 4.1.6  (Win32)"><style type="text/css"><!--    @page { size: 21cm 29.7cm; margin: 2cm }    P { margin-bottom: 0.21cm }--></style>

В новой вычислительной системе за счет революционного увеличения эффективности сетевой подсистемы данная проблема должна быть решена. Необходимо получить скорости до 10Е14 бит в секунду для каждого отдельного кристалла, при стабильных задержках задержках передачи, на 90% определяемых скоростью распространения электромагнитной волны в среде передачи. (Подробное описание устройства коммуникационной парадигмы в статье: Синхронный интернет: Синхронная символьная иерархия). Получить такую производительность при использовании медных линий связи практически невозможно, соответственно необходимо полностью изменить подход к проектированию меж-соединений. В настоящее время все компоненты устанавливаются на печатную плату и соединяются медными проводниками. В качестве альтернативы такому подходу, предлагаю в текстолите прокладывать оптические волокна и выводить их с торцов ПП или вырезов в ней для устанавливаемых микросхем. Если сейчас микросхемы распаиваются, то в новом подходе кристаллы могут устанавливаться в прорези в печатной плате. Оптические интерфейсы микросхем должны располагаться с торцов и сопрягаться с оптическими интерфейсами ПП, различные ПП соединять разъемами устанавливаемыми на внешние края плат. Такой подход позволит максимально плотно (значит с минимальными задержками) и надежно строить систему оптических соединений.

Теплоотвод

Следующим ограничивающим фактором является энергопотребление и эффективность отвода тепла. Повышение энерго-эффективности будет рассмотрено в главе посвященной проектированию процессорного ядра. Сейчас можно отметить удвоение эффективности теплоотвода за счет возможности установить радиатор с двух сторон кристалла, в настоящее время только одна сторона микросхемы используется для отвода тепла, а вторая предназначена для размещения электрического интерфейса. Если линии связи выводятся с торцов микросхемы, то можно превратить поверхности микросхемы в единые контакты для подвода питания (одна сторона плюс питания, другая минус) и к каждой из них присоединить радиатор для отвода тепла. Радиатор может быть единым для всех микросхем установленных на ПП (подобные сборки использовались на мейнфреймах) и использовать жидкостное охлаждение, что для больших систем оно гораздо проще и эффективнее чем воздушное.

Структура вычислительной системы

В парадигме фон-неймана все ориентировано на понятие адрес, как для доступа к памяти, доступа различным устройствам, так и для взаимодействия с другими вычислительными системами, хотя такое взаимодействие и не предусмотрено в базовой парадигме (думаю поэтому оно такое кривое).

В новой парадигме базового понятия адреса нет, коммуникационной основой вычислительной парадигмы является возможность создания одно-направленного последовательного канала (точка-точка) между любыми двумя объектами. На следующих уровнях иерархии работа такого канала может быть заблокирована, примерно как блокируется доступ к определенным частям адресного пространства в парадигме фон-неймана.

Структурно, новая вычислительная парадигма представляет собой большое число физически реализованных объектов (память, различные аппаратные ускорители, процессорные ядра и др), соединяемых между собой большим числом каналов передачи данных. Физически реализованные объекты в той или иной степени могут быть запрограммированы, те могут сохранять конфигурационные данные, которые изменяют их поведение. С точки зрения программирования, каждый физический объект это реализованные в кремнии (не изменяемые) законы функционирования. При программировании вычислительной системы, есть возможность добавлять к этим законам свои локальные законы, по существу делать из более универсального объекта специализированный (решающие локальную задачу). Никаких ограничений по числу каналов и топологии системы связи нет, да и номера канала тоже нет. В обеих парадигмах нет указаний на наличие еще одной вычислительной системы, но в отличии от фон-неймана, новая парадигма допускает, что часть системы еще не создана или с ней нет соединения (которое может появиться или исчезнуть в любой момент).

При описании коммуникационной парадигмы, использован относительный способ адресации, на входе коммутатора для продолжения построения маршрута от адресных данных забирается некоторое число бит (сколько забрать и как интерпретировать, личное дело коммутатора). Получается что физический объект состоит из двух частей: коммутатора и вычислителя. Все что является адресом будет воспринято коммутатором, а то что является данными взаимодействия будет обработано вычислителем. Принципиальной разницы в парадигме функционирования между Вычислителем и Коммутатором нет, это просто различно специализированные объекты (формально одинаково обрабатывают данные взаимодействия).

<meta http-equiv="CONTENT-TYPE" content="text/html; charset=utf-8"><title></title><meta name="GENERATOR" content="OpenOffice 4.1.6  (Win32)"><style type="text/css"><!--    @page { size: 21cm 29.7cm; margin: 2cm }    P { margin-bottom: 0.21cm }--></style>

Вопросы безопасности

Считаю, что любой код (пароль, шифр) рано или поздно может быть взломан и единственный способ помешать этому не дать возможности создать канал доступа, через который это получится сделать. Способом полностью взломать новую систему должно быть, только физическое проникновение в место расположения вычислительной системы и применение методов крипто-анализа к администратору. Если такой администратор параноик и перед физическим проникновением уничтожил ключ, то сохранность данных будет определяться, только параметрами защиты отдельных компонентов, составляющей вычислительную систему.

В новой парадигме любой объект может получить непосредственный доступ (связаться), только с соседним объектом (соседним физической сети связи). Дальнейший путь проходит через коммутаторы встроенные в транзитные объекты, которые тоже являются управляемыми (программируемыми) объектами, со своими проверками и ограничениями доступа (задаваемыми администратором). Изменить программу управляющую коммутатором можно только получив доступ к системе программирования, понятно что доступ к ней с внешних портов будет невозможен. Коммутатор может применять правила доступа, не позволяющие строить прямые соединения к объектам находящимся внутри защищаемых зон. Пример - для определенных каналов можно создать соединения только с определенными объектами (присутствующими в списке) или запрет создания прямых соединений между определенными физическими портами.


Возникает вопрос: а если злоумышленник маскируется под легитимного абонента из внешней среды? Канал в новой коммуникационной парадигме является однонаправленным и для обеспечения обратной связи должен содержать маршрут по которому ответ будет доставлен назад злоумышленнику. Обратный маршрут должен быть действующим, иначе данные не будут доставлены. Анализируя этот адрес, коммутатор (или непосредственно объект) может идентифицировать вызывающего абонента, проверить маршрут по которому будут переданы данные ответа и выяснить не выходит ли этот маршрут за пределы доверенной зоны. Соответственно, подменить адрес или прослушать содержимое трафика можно только путем физического присоединения к коммуникационной аппаратуре, находящейся в доверенной зоне и уровень доверия к такому сеансу связи будет равен минимальному уровню доверия к промежуточному участку маршрута (про шифрование трафика пока не говорю). Присоединение к вычислителю на территории пользователя вызовет изменение топологии сетевых соединений, что сразу будет зафиксировано составляющими ее коммутаторами и присоединяемое устройство будет изолировано. Применение объекта с закладками, потребует создание соединения с объектом за пределами зоны в которой находится закладка, максимум что может случиться это хищение данных полученных этим объектом в процессе работы вычислительной системы с дальнейшей передачей собственным каналом связи (внешним по отношению к системе). Для хищения данных, потребуется внедрить закладки или выявить уязвимости, в целой цепочке объектов (от источника данных, до завершения доверенной зоны) Для особо важных частей вычислительной системы, может быть определена полная невозможность соединений не входящих в заранее указанный список и многократное дублирование. Кроме того можно в момент компиляции ПО можно добавить законы маркирующие данные индикатором степени секретности и тогда в коммутаторе можно проверять весь трафик на соответствие степени доверия конкретного канала, степени секретности передаваемой информации (это уже для совсем параноиков).

Границы вычислительной системы

Следующий вопрос: Если вычислительная система распределенная и в ней нет явных границ, то где конкретный пользователь имеет право монопольно распоряжаться аппаратурой(где граница частных владений)? Наиболее оптимальным будет создание физически существующего объекта ключ, который подключается к специальным административным каналам, только с использованием этих каналов, можно инициализировать управляющее ПО коммутаторов. Все что удастся инициализировать с использованием такого ключа и есть границы личного пространства (собственная вычислительная система), все остальное это пространство с делегированными полномочиями (разрешением ограниченного использования, выданного владельцем другой вычислительной системы). Такая инициализация может быть коллективной, различные пользователи получают различные типы (правила) доступа. Различать пользователя опять же по ключу, при этом если вынуть ключ, то настройки сохраняются и запущенное ПО продолжает работать.

Ограничивать доступ можно не только по пользователю, но и по степени доверенности исполняемого ПО.


Энерго-эффективность

Тут все просто, если нет взаимодействий, то нет передаваемых данных, нет работы вычислительных блоков, нет изменения потенциалов на транзисторах и нет потребления энергии (ну почти нет). Кроме того легко определить простаивающие блоки и мгновенно отключить их от электропитания (верно и обратное).

Вычислитель

Все объекты (как физические так и виртуальные) в вычислительной системы контактируют друг с другом посредством каналов связи. Поскольку время вычисления нового состояния объекта равно нулю (при ненулевом времени передачи данных взаимодействия), то можно считать что все взаимодействия происходят последовательно. Запуск вычисления происходит в момент прихода данных взаимодействия. Данные взаимодействия являются копией частей данных состояния взаимодействующих объектов и не могут быть разделены или доставлены частично (иначе нарушится запутанность состояния объекта). Гарантированной доставкой данных занимается коммуникационная часть вычислительной системы. Если время доставки данных взаимодействия устанавливается равным нулю, то это означает превращение двух взаимодействующих объектов в один.


Далее будет описываться построение вычислителя, с принципами функционирования родственными DataFlow системам, но вычисления объекта возможны и другими вариантами (процессор на принципах фон-неймана, ПЛИС, нейронные сети и др.).

Программа для такого вычислителя представляет собой ациклический направленный граф. Ребра графа, это каналы передачи данных Узлами (вершинами) графа являются операции, которые могут выполнить АЛУ вычислительного ядра.

Данные в новой вычислительной парадигме представлены в виде символов, неделимой конструкции: тип-значение. Для конкретных аппаратных блоков, будет излишним полное понимание всей системы типов и правил построения символьных конструкций. Например, для коммуникационной системы все что нужно знать это три группы символов (пользовательские символы, служебные символы коммутатора и символ отсутствия данных). Для каждой конкретной системы можно использовать только специфические ей типы символов (пока данные обрабатываются данной системой), а все остальные инкапсулировать в пределах поля значение. После обработки (в момент пересечения границы системы) произвести обратную операцию извлечения (и сразу преобразования в другой тип символов используемых другой системой). Поскольку в пределах конкретной системы используется только определенный тип символа (ну или несколько), то можно не хранить тип символа (экономия ресурсов). Аналогом такого преобразования в коммуникационной парадигме служит преобразование размера символа (кванта) передаваемых данных для различных физических каналов передачи данных. В современных процессорах в памяти хранятся байты, но при загрузке в математических сопроцессор могут преобразовываться в неделимую конструкцию число с плавающей запятой.


Вычислитель оперирует (обрабатывает) символы типа данные процессора ХХХ, как их интерпретировать личное дело этого вычислителя (никак не влияет на результат).


Пример структуры данных :

[EXE][READY][KEY][DATA]

EXE данные принадлежат к активному (вычисляемому) пути графа

READY данные вычислены и готовы к дальнейшему использованию (0 нет данных)

KEY уникальный ключ для поиска данных в ассоциативном ЗУ

DATA данные для обработки


Вершина графа вычисляется, только если все входящие ребра имеют значение отличное от нет данных.Если вершины такого графа рассортировать по слоям, таким образом что бы все входящие ребра принадлежали вершинам предыдущих слоев (были вычислены) или были данными состояния объекта. Результатом будет некоторое число групп вершин (слоев), вычислять значения вершин внутри такой группы можно в любом порядке. Но и тут можно немного оптимизировать вычислительный процесс, большинство преобразований (так эффективней для реального АЛУ) имеет один либо два операнда и выдает один результат, все остальные приводят нескольким таким преобразованиям. Максимальная эффективность вычислительного процесса получается когда результат предыдущего преобразования используется как один из операндов в следующем, приходится читать только один операнд и результат не всегда сохранять (он расходуется в следующем преобразовании). Если сделать вторую, уже вертикальную сортировку по этому критерию, то получим набор коротких последовательностей преобразований (нитей). Такие нити могут начинаться и заканчиваться на любом слое.

<meta http-equiv="CONTENT-TYPE" content="text/html; charset=utf-8"><title></title><meta name="GENERATOR" content="OpenOffice 4.1.6  (Win32)"><style type="text/css"><!--    @page { size: 21cm 29.7cm; margin: 2cm }    P { margin-bottom: 0.21cm }--></style>

Определим механизм чтения второго операнда.

Сохранять операнды в оперативной памяти, как это делается в современных процессорах невыгодно по времени доступа к памяти и затратам энергии. После вычисления взаимодействия эти данные будут полностью израсходованы, но в исходном графе таких ребер, временно хранимых операндов, может быть очень много. При выделении отдельной ячейки памяти для хранения каждого из операндов они все могут не поместиться в быструю память (расширенный аналог регистровой памяти). Если смотреть на результат сортировки узлов, то можно заметить, что данные появляются (и расходуются) не одномоментно. Можно определить сколько данных будет использовано в процессе вычисления каждого слоя (или нескольких слоев) и сколько перейдет следующим. Кроме памяти для второго операнда, требуется еще и память для хранения списка узлов, из которых состоит нить (или несколько нитей).

<meta http-equiv="CONTENT-TYPE" content="text/html; charset=utf-8"><title></title><meta name="GENERATOR" content="OpenOffice 4.1.6  (Win32)"><style type="text/css"><!--    @page { size: 21cm 29.7cm; margin: 2cm }    P { margin-bottom: 0.21cm }--></style>

Появляется задача распределения отсортированного графа по отдельным вычислительным ядрам, имеющим некоторый объем памяти, интерфейс связи с соседними ячейками и возможность доступа к каналам связи. Назначим каждому ребру графа уникальный идентификатор, возможно уникальный даже в пределах нескольких объектов. С большой вероятностью число уникальных идентификаторов будет много больше суммарной памяти всех вычислительных ячеек и максимального числа одновременно передаваемых между слоями данных. Поэтому использовать обычную память (данные выбираются по адресу) невыгодно, в новой парадигме в вычислительных ядрах должна использоваться ассоциативная память (замена регистровой и КЭШ памяти в парадигме фон-неймана). АЗУ будет хранить данные до момента их использования и предоставлять их, как своему АЛУ, так некоторому числу соседних, но не всем одинаково быстро (ближайшим соседям быстро за один такт) и это нужно учитывать при размещении нитей по различным ядрам. Получается, что каждое ядро имеет многоканальное АЗУ, число каналов чтения равно числу соседей, которым предоставлен быстрый доступ к данным (остальные медленнее и другим механизмом). Для вычисления объекта необходимо распределить граф по отдельным вычислительным ядрам так, что бы хранимых на каждой ступени (несколько слоев) вычисления данных было не больше числа ячеек АЗУ и список вычисляемых вершин (команд) мог поместиться в память генератора команд (control unit). По вертикали (между слоями) ядра соединяются через основную коммуникационную среду вычислительной системы (обычные каналы передачи данных). Данные из АЗУ, а в ней кроме промежуточных данных хранятся еще и данные состояния объекта, также могут быть коллективно выгружены в оперативную память. Такой механизм можно сравнить с виртуальной памятью в современных процессорах, только здесь это будет механизм виртуального вычислительного пространства. Физически реализованных вычислительных ячеек может быть многократно меньше, чем использовано для исполнения конкретного набора ПО.

<meta http-equiv="CONTENT-TYPE" content="text/html; charset=utf-8"><title></title><meta name="GENERATOR" content="OpenOffice 4.1.6  (Win32)"><style type="text/css"><!--    @page { size: 21cm 29.7cm; margin: 2cm }    P { margin-bottom: 0.21cm }--></style>

Сколько физически существующих ядер необходимо для вычисления конкретного объекта?

Теоретически минимальное время вычисления объекта равно числу горизонтальных слоев (все вершины в слое могут быть вычислены одновременно). Для одновременного вычисления всех вершин в одном слое число вычислительных ядер должно быть всегда равным (или больше), числу вершин вычисляемых в каждом слое. Располагать весь граф в памяти вычислителя особого смысла нет, выгоднее выбрать размер памяти ядер такими, что бы время вычисления части графа было больше времени чтения данных для инициализации следующего ядра из оперативной памяти. Получим конвейер половина ячеек вычисляет, вторая половина загружается из памяти, а может и вообще началось вычисление следующего взаимодействия. Если требуется получить максимальную производительность или реализовать конвейерную обработку большого числа данных, то можно максимально разложить граф по физически существующим ячейкам. При раскладке необходимо учитывать частоту исполнения тех или иных частей дерева, места расположения модулей памяти или математических сопроцессоров. Кроме того необходимо учитывать расположений линий связи и скорости передачи данных в создаваемых виртуальных каналах. Если все это учесть оптимальным образом, то можно получить крайне быструю согласованную работу миллионов составляющих вычислительной системы в рамках решаемой задачи, получить действительно супер-компьютер, а не грид-пародию на него.


Исходный граф имеет множество путей исполнения (аналог условных переходов в парадигме фон-неймана) и если в пределах ячейки нет смысла исключать исполнение не активных путей (все данные не активных веток заменяются на символ не вычислимо), то при загрузке данных следующего ядра, можно заменить универсальный граф вычисления объекта на оптимизированный.

Вычислительный процесс состоит из множества нитей, необходимо синхронизировать (выравнивать) скорость исполнения во всех нитях. В парадигме фон-неймана, без дополнительных и весьма неэффективных ухищрений, это невозможно по причине отсутствия понятия нет данных. В новой парадигме в вычислениях участвуют не просто битовые последовательности, а символы которые кроме непосредственно значения имеют еще и тип. АЗУ при отсутствии требуемого ключа, будет при чтении выдавать символ: нет данных. Вычислительный процесс в каждом ядре идет независимо друг от друга, но в момент когда в ответ на запрос чтения приходит значение нет данных, вычисления останавливается до момента пока не вернется другой тип символа. Таким образом скорость в конкретном ядре притормаживается, относительно всех остальных. Результат вычисления должен быть записан (если это необходимо) в локальное АЗУ, писать можно только в свою локальную часть АЗУ (иначе может случиться клинч). Размер АЗУ конечен и в какой то момент наступит переполнение, после которого необходимо ждать освобождения памяти соседними ядрами (они используют эти данные для вычисления своих вершин). Увеличение размера локального АЗУ позволяет выполнить большее число команд, подготовить больше данных для соседних ядер. Возможность заранее вычислять еще не востребованные данные, является аналогом внеочередного исполнения, в разных ядрах вычислительный процесс может находиться на разных слоях. Если результат вычисления вершины графа используется в нескольких вычислениях, то выгоднее к данным добавить счетчик и уменьшать его при каждом чтении и когда он станет равным нулю освободить ячейку АЗУ, а не занимать отдельные ячейки памяти.


Для сложных команд (различные математические функции, различные виды памяти, различные виды ускорителей) можно связываться с таким вычислителем через коммуникационную сеть, выгоднее использовать коллективный буфер (в один поток суммируются запросы от многих ядер) и выполнять коллективный доступ. При обращении, именно обращении к результату, а не при отправке исходных данных, вычислительный процесс приостановится (в конкретном ядре) до получения результата.


Если Вам кажется, что ациклический ориентированный граф, это какая то редкая конструкция и не для всех задач его можно построить.

Проведите мысленный эксперимент:

  • Возьмем любую функцию (Изначально созданную на языке высокого уровня).

  • Выполним ее и запишем последовательность исполненных ассемблерных команд.

  • Для простоты понимания выделим из этих команд только те, которые производят изменения данных, их будет примерно 20% от общего количества.

  • Построим граф где вершиной будет команда, ребра будут результатами исполнения или данными имеющимися на момент начала вычисления

  • Получаем ориентированный ациклический граф, вычисляющий значение функции для данного конкретного набора данных. Эксперимент показывает, что есть возможность превращать обычную программу в программу (ациклический граф) для новой вычислительной парадигмы.

Да, реальный компилятор будет сложнее, но принципиальная возможность есть.


В новой парадигме нет понятие цикла (есть понятие спираль).

Вопрос: Как примирить сегодняшнее представление о программировании, где практически постоянно встречаются различные циклы?

Необходимо рассматривать цикл не как исполняемую конструкцию, а как способ записать многократно повторяющуюся последовательность команд (особый тип макроса).

Считаем, что цикл имеет бесконечное число повторений. Для того что бы в результате компиляции не получить бесконечного размера граф (программу), необходимо записывать ее в сжатом виде (добавить служебные символы указывающие на бесконечное число повторений) и в момент исполнения распаковывать (control unit) уже в вычислительном ядре. В момент завершения цикла, необходимо отправить сообщение (записать данные в регистр управления) модулю генерирующему последовательность команд сигнал завершающий генерацию повторов тела цикла. В процессе компиляции никто не запрещает выполнить несколько логических итераций цикла за одну физическую, что позволит дополнительно ускорить вычисление. Примерно по той же схеме можно организовывать вызовы функций (процедур), подмену частей графа на оптимизированные варианты (где исключены не использованные пути).


Память в новой парадигме.

Понятие адресного пространства отсутствует и обращение к данным идет по уникальному идентификатору. Никаких ограничений на размер и структуру уникального идентификатора нет, в него можно вложить путь до конкретного запоминающего устройства, тип памяти, параметры доступа и многое другое. Все уникальные идентификаторы могут выглядеть как адрес в сети и при построении маршрута он будет постепенно использоваться промежуточными объектами для маршрутизации, настроек доступа (пароли и др), адреса в физической памяти, размера в битах и многое другое. По существу в процессе доступа к данным уникальный идентификатор является данными взаимодействия. Кроме того большинство обращений к памяти являются коллективными (чтение массивов данных), все отдельные переменные (данные состояния или промежуточные данные) хранятся в АЗУ вычислительного ядра и загружаются (сохраняются) коллективно в момент инициализации вычислительного процесса.


Подробно процесс создания ПО, описание операционной системы и алгоритма решения произвольной задачи, будет описан в следующей статье.

Подробнее..

Что объединяет скалолазание и развитие подводных магистралей потенциальные сложности

14.02.2021 16:19:02 | Автор: admin

Научные специалисты, увлекающиеся альпинизмом, обратили внимание на малоизученную проблему в области строительства подводных кабельных систем. Обсудим, в чем тут дело.

Flickr.com / Ministerio TIC Colombia Flickr.com / Ministerio TIC Colombia

В чем проблема

Страховочное устройство, через конструкцию которого альпинисты пропускают веревку, может быть выполнено в нескольких форм-факторах [раз и два], но суть от этого не меняется его части формируют дополнительное трение, способствующее плавному торможению при спуске. Однако иногда веревка может образовывать так называемые барашки, осложняющие протягивание веревки и использование других механизмов. Такое кручение часто может идти винтом по сердцевине, если уровень сцепления с ней оплетки веревки оказывается слабым.

Оборудование судов, прокладывающих коммуникации под водой, в некоторой степени напоминает спусковые устройства, которыми пользуются альпинисты. А кручение кабеля, как предположили ученые, может вызывать похожий эффект внутреннего трения, что в итоге приводит к ряду крайне нежелательных последствий. Начиная от сложностей на этапе переброски кабеля на борт с места производства, когда его могутизогнуть в различных направлениях, и до локальных повреждений в процессе укладки.

Последняя ситуация может потребовать ремонта или полной замены кабеля, если не получится с достаточно высокой точностью установить проблемное место.


Что почитать у нас в блоге:


На что это влияет

Если смотреть на телекоммуникационные линии, то сейчас в мире их более трех сотен. Обслуживают такие системы подрядчики ведущих корпораций вроде Google, которая буквально на днях запустила еще одну систему кабель Dunant. В этом случае длина линии превысила 6 тыс. километров, а в проекте с Facebook под названием Pacific Light Cable Network [PLCN] она оказалась вдвое больше. Длина еще одной магистрали DARE1 составила 5 тыс. километров.

Потери, вызванные кручением или другими причинами повреждений кабеля вроде якорей рыболовецких судов и тайфунов при таких масштабах могут исчисляться десятками млн долларов, причем подобным проблемам подвержены не только телеком-компании. Аналогичным образом обстоят дела и в других сферах, где задействуют подводные кабели например, в нефтяной отрасли и в ситуациях с ветряками, расположенными на расстоянии от берега.

Что будут делать

Группа ученых вместе с профильными компаниями и ведущими энергетическими корпорациями вроде Hellenic Cables, Equinor, Aker Solutions и Petrobras уже сформировала так называемый Torsion Joint Industry Project. Данная рабочая группа подтянет научную базу, предложит подходы для моделирования соответствующих процессов и займется проектированием стендов для тестирования различных типов кабелей на предмет уязвимости к вредоносному кручению, а потом разработает методологию для его отслеживания в боевых условиях и обучит инженеров и служебный персонал судов, отвечающих за строительство подводных магистралей.

Однако в этой области могут появиться вызовы не только со стороны сил природы и законов физики, но и американских регуляторов. Так, процесс верификации телеком-вендров, запущенный госсекретарем Майклом Помпео, кажется, дойдет и до операторов, обслуживающих крупнейшие подводные магистрали вроде тех, что соединяют США и Китай. Руководство комиссия по связи [Federal Communications Commission, FCC] считает нужным удостовериться в том, что партнеры не вмешиваются в работу подводных линий. В свете этих событий секция кабеля PLCN, идущая в Китай, скорее всего так и останется неактивной, а планы по строительству магистрали между Сан-Франциско и Гонконгом будут отложены в долгий ящик.

Unsplash.com / Simon MigajUnsplash.com / Simon Migaj

На фоне заморозки этих проектов внимание аналитиков привлек Arctic Connect, который должен связать страны Северной Европы, Японию и Китай, плюс решить ряд задач российского рынка телекоммуникаций. Для этого разработчики запустят две самостоятельные линии, а максимальная длина одной из них может составить 18 тыс. километров. Поэтому проектировщикам еще предстоит побороться с проблемой кручения и рядом других сложностей, очевидным образом связанных с расположением и эксплуатацией данных магистралей.


Дополнительное чтение у нас на Хабре:


Подробнее..

Удалёнка vs офис где разработчикам платят больше

18.02.2021 12:05:10 | Автор: admin

В начале февраля мы выпустили увесистый зарплатный отчёт за второе полугодие 2020 года. Он показал, что в целом зарплаты айтишников подросли на 2,7% за счёт Петербурга и регионов и что среди разработчиков больше всего за полгода прибавили в деньгах эмбед-инженеры.

Ну а сегодня мы сравнили зарплаты разработчиков на удалёнке и в офисе, чтобы вам было проще сориентироваться, где и как выгоднее работать. Сравнивали данные по городам и полугодиям 2020 года. Если вкратце в Москве лучше работать в офисе, в Санкт-Петербурге, Нижнем Новгороде, Екатеринбурге и Новосибирске можно выбирать, как вам удобнее, а в остальных городах удалёнка выгоднее. Кстати, по сравнению с прошлым периодом, количество зарплат удалёнщиков в отчёте приросло на 87%! Устраивайтесь поудобнее, дальше обо всём расскажем подробнее.

Проверьте в зарплатном калькуляторе, насколько ваша текущая зарплата в рынке и как она может измениться, если повысить квалификацию или освоить новый навык.


Сравниваем зарплаты разработчиков-земляков

Для начала мы сравнили зарплаты разработчиков, которые живут в одном городе, но работают по-разному в офисе или на удалёнке. Брали данные за вторую половину 2020 года.

Сравниваем зарплаты удалённых и офисных разработчиков во втором полугодии 2020 годаСравниваем зарплаты удалённых и офисных разработчиков во втором полугодии 2020 года

Везде, кроме Москвы, зарплата удалёнщиков выше зарплаты офисных сотрудников. Причём в Красноярске и Краснодаре почти в 2 раза! В Санкт-Петербурге, Новосибирске, Екатеринбурге и Нижнем Новгороде разрыв минимальный, а в Москве разница между зарплатами удалёнщиков и офисных разработчиков продолжает увеличиваться, и не в пользу удалёнки.

Тем не менее, больше всех зарабатывают удалённые разработчики из Москвы, Петербурга и Самары. А самые высокие зарплаты среди офисных разработчиков во втором полугодии 2020 года в Москве, Петербурге и Нижнем Новгороде.

Итак, за второе полугодие 2020 года мы выделили такие тенденции:

  • У удалённых специалистов зарплаты выросли в Москве, Нижнем Новгороде, Санкт-Петербурге, Краснодаре, Самаре, Уфе и Челябинске;

  • В Новосибирске, Екатеринбурге, Казани, Перми, Воронеже, Красноярске, Омске и Ростове-на-Дону зарплаты удалёнщиков снизились;

  • В Волгограде практически ничего не изменилось;

  • Самый заметный рост в Челябинске и Краснодаре: зарплата удалёнщиков здесь выросла на 6% и 7% соответственно;

  • Сильнее всего снизились зарплаты удалённых разработчиков из Красноярска на 32%;

  • У офисных разработчиков зарплаты выросли во всех городах кроме Омска, Краснодара, Ростова-на-Дону, Казани, Красноярска и Воронежа;

  • В Волгограде мы увидели самый сильный рост зарплат офисных разработчиков на 71%;

  • А самое заметное падение выявлено в Воронеже зарплаты там снизились на 30%.

Сравниваем первое и второе полугодия 2020 года

Дальше покажем графики с разницей между удалёнными и офисными зарплатами отдельно по каждому городу. Их много, поэтому мы скрыли их в спойлеры и вынесли краткий вывод по городу в название.

Что мы здесь имеем в виду под словом разница

На графиках вы увидите значение разницы для каждого полугодия это то, насколько зарплата удалёнщиков обогнала зарплату офисных ребят. Иногда это значение отрицательное, и это значит, что удалёнка, наоборот, просела, уступив офису.

А вот основные выводы:

  • Разница между удалёнкой и офисом выросла в пользу удаленки в Казани, Краснодаре и Воронеже.

  • В Москве, Питере, Самаре, Челябинске и Ростове-на-Дону разница изменилась незначительно, в пределах 3%.

  • В Новосибирске, Нижнем Новгороде, Уфе, Перми и Красноярске разница между удалёнкой и офисом уменьшилась из-за падения зарплат удалёнщиков и роста зарплат офисных спецов.

Москва: офис обгоняет удалёнку
Как изменился разрыв между удалёнкой и офисом в МосквеКак изменился разрыв между удалёнкой и офисом в Москве
Санкт-Петербург: зарплаты растут, разрыв сокращается
Как изменился разрыв между удалёнкой и офисом в Санкт-ПетербургеКак изменился разрыв между удалёнкой и офисом в Санкт-Петербурге
Новосибирск: зарплаты на удалёнке снизились, а в офисе подросли
Как изменился разрыв между удалёнкой и офисом в НовосибирскеКак изменился разрыв между удалёнкой и офисом в Новосибирске
Нижний Новгород: зарплаты выросли, разница теперь не так заметна
Как изменился разрыв между удалёнкой и офисом в Нижнем НовгородеКак изменился разрыв между удалёнкой и офисом в Нижнем Новгороде
Екатеринбург: удалёнка немного упала, а офис немного вырос
Как изменился разрыв между удалёнкой и офисом в ЕкатеринбургеКак изменился разрыв между удалёнкой и офисом в Екатеринбурге
Казань: выбор по-прежнему в пользу удалёнки
Как изменился разрыв между удалёнкой и офисом в КазаниКак изменился разрыв между удалёнкой и офисом в Казани
Краснодар: офисные зарплаты снизились, а на удалёнке выросли
Как изменился разрыв между удалёнкой и офисом в КраснодареКак изменился разрыв между удалёнкой и офисом в Краснодаре
Самара: все зарплаты подросли, но удалёнка предпочтительнее
Как изменился разрыв между удалёнкой и офисом в СамареКак изменился разрыв между удалёнкой и офисом в Самаре
Уфа: офис заметно подрос, но удалёнка выгоднее
Как изменился разрыв между удалёнкой и офисом в УфеКак изменился разрыв между удалёнкой и офисом в Уфе
Пермь: разрыв сократился, за счет снижения зарплат удалёнщиков
Как изменился разрыв между удалёнкой и офисом в ПермиКак изменился разрыв между удалёнкой и офисом в Перми
Волгоград: офисные зарплаты растут, но на удалёнке платят больше
Как изменился разрыв между удалёнкой и офисом в ВолгоградеКак изменился разрыв между удалёнкой и офисом в Волгограде
Воронеж: все зарплаты снизились, но разница всё равно в пользу удалёнки
Как изменился разрыв между удалёнкой и офисом в ВоронежеКак изменился разрыв между удалёнкой и офисом в Воронеже
Красноярск: разница незначительно сократилась, а зарплаты значительно снизились
Как изменился разрыв между удалёнкой и офисом в КрасноярскеКак изменился разрыв между удалёнкой и офисом в Красноярске
Челябинск: зарплаты растут, удалёнка выгоднее
Как изменился разрыв между удалёнкой и офисом в ЧелябинскеКак изменился разрыв между удалёнкой и офисом в Челябинске
Омск: разница сократилась за счёт снижения зарплат удалёнщиков
Как изменился разрыв между удалёнкой и офисом в ОмскеКак изменился разрыв между удалёнкой и офисом в Омске
Ростов-на-Дону: зарплаты чуть снизились, но удалёнка выгоднее
Как изменился разрыв между удалёнкой и офисом в Ростове-на-ДонуКак изменился разрыв между удалёнкой и офисом в Ростове-на-Дону

Что в итоге?

За редким исключением (привет, Москва!) везде работать удалённо выгоднее, чем в офисе.

  1. Самая богатая удалёнка в Красноярске зарплаты удалёнщиков там почти в 2 раза выше офисных зарплат. На втором месте Краснодар с разницей в 1,9.

  2. В Москве и Санкт-Петербурге разницы в зарплатах между офисными и удалёнными разработчиками практически нет, но в столице офисные разработчики зарабатывают немного больше 170 000 против 154 500 .

  3. В Волгограде городе с самой высокой разницей в зарплатах разница сократилась со 166% до 57%, а в Перми с 57% до 17%.

  4. В Новосибирске, Екатеринбурге и Нижнем Новгороде зарплаты удалёнщиков и офисных разработчиков почти сравнялись разница между ними около 10% в пользу удалёнки.

  5. В Краснодаре, Казани и Воронеже разрыв между зарплатами, наоборот, вырос в пользу удалёнки, в Ростове-на-Дону почти не изменился, а во всех остальных городах разрыв уменьшился.

  6. Во всех региональных городах-миллионниках разработчикам выгоднее работать удалённо.


Как мы это делаем?

Для всех наших зарплатных исследований мы используем реальные зарплаты, данными о которых с нами делятся пользователи в калькуляторе зарплат Хабр Карьеры. Всё анонимно и обезличенно.

Для этого исследования мы взяли данные 7122 зарплат разработчиков, из которых 33% зарплаты удалёнщиков, а 67% спецов, которые работают в офисе. Все зарплаты медианные.

Что такое медианная зарплата

Медианная зарплата это как средняя, только точнее. Это уровень, выше и ниже которого получают доход одинаковое количество специалистов. Получается, если медианная зарплата в группе из десяти человек равна 100000 , то пятеро из них зарабатывают меньше 100000 , а пятеро больше.

А вот наше предыдущее исследование, где мы так же сравнили зарплаты удалённых и офисных разработчиков, только за первую половину 2020 года.

Хотите проверить, будете ли вы зарабатывать больше, если смените офис на удалёнку в вашем городе? Поделитесь своей текущей зарплатой и узнайте в нашем калькуляторе зарплат.

Подробнее..

Я в прямом эфире, но я не кот 3 самые большие ошибки презентаций в Zoom

19.02.2021 22:06:58 | Автор: admin

Возможно, что мы наконец (наконец!) начинаем видеть крохотный лучик света в конце тёмного тоннеля этой затяжной утомительной пандемии. Но увы, это совсем не говорит о том, что приближается конец эпохи презентаций и переговоров в Zoom.

В 2010 году Билл Гейтс правильно предсказал, что нас всех ждёт пандемия.

А сейчас он предполагает, что мы никогда не вернёмся к тому формату работы, как это было раньше. Меняющиеся ожидания и непрерывное совершенствование программного обеспечения вполне способны сделать так, что многие удалённые встречи и мероприятия останутся с нами навсегда. С этим утверждением согласны и многие другие эксперты.

Поэтому несмотря на то, что вы измотаны постоянными диалогами с экраном компьютера в течение дня, всё равно нужно убедиться, что вы хороши в этом. Умение увлекательно и убедительно презентовать себя и свою идею на видео это важнейший карьерный навык будущего.

Это делает недавний пост Брайары Голдберг коуча по подготовке спикеров, выступающих на конференциях TED бесценным. В нём она описывает наиболее распространённые ошибки, которые она всё ещё наблюдает, когда люди выступают в Zoom, и предлагает простые и полезные советы, чтобы исправить их.

Первая ошибка: вы смотрите на собеседников, а не в камеру

Смотреть на людей, с которыми вы общаетесь, конечно, совершенно естественно. Но одновременно с этим, когда ваша речь должна быть убедительной и вдохновляющей это просто катастрофа. Из-за расположения камеры вы в конечном итоге смотрите на какую-то случайную точку сбоку от вашей аудитории, но никак не на неё.

Единственный способ установить зрительный контакт с вашими виртуальными слушателями это смотреть прямо в объектив вашей камеры. Поверьте мне: поначалу это будет действительно странно. соглашается Голдберг, - но если хотите, чтобы ваша аудитория оставалась внимательной и вовлечённой, вам придётся пожертвовать своим желанием посмотреть на их лица.

Стремитесь смотреть на этот маленький кружок в верхней части вашего ноутбука (или в другое место, смотря, где в вашем устройстве находится объектив) в течение полных 90% времени вашей презентации.

Вторая ошибка: вы либо читаете прямо с экрана, либо импровизируете

Когда дело доходит до презентаций и подготовке к ним, вы стремитесь найти компромисс: вы не хотите записывать всё и читать как робот, но вы также не хотите спотыкаться на каждом слове, сопровождая звуками гм и ах весь свой материал. Уважайте время своей аудитории, практикуясь немного заранее, советует Голдберг.

То, что вы можете превратить свой ноутбук в телесуфлёр, совсем не означает, что вы должны это делать, - подчёркивает она.

Третья ошибка: вы позволяете всем выключать видео

Может ли взгляд на бесконечные отражения бестелесных голов отвлекать и вызывать стресс? Да, конечно может. Но Голдберг указывает, что, если вы позволите всей аудитории выключить свое видео, вы также не будете иметь ни малейшего представления о том, как проходит ваша презентация.

Спикеру, выступающему онлайн, часто невозможно узнать, слушает ли его аудитория, когда он их не видит! Поэтому в Zoom на 100% уместно попросить аудиторию включить свои камеры. А если вы хотите быть очень вежливыми, отправьте уведомление с просьбой о присутствии с включенной камерой заранее. Таким образом, ваша аудитория сможет это спланировать! - советует она.

Не воспринимают вас серьезно? - Обернитесь!

Среди безумных месяцев заточения в онлайне, связанных с коронавирусом, я нашла светлый лучик в Twitter - Room Rater. Если вы еще не знакомы с этим веселым аккаунтом, то поясню: там оценивается обстановка за различными спикерами по шкале от 1 до 10. Естественно, эти оценки сопровождаются едкими замечаниями и советами по улучшению.

Какой в этом всём смысл? Может нужно быть более продуктивным и перестать отвлекаться на бессмысленные (хоть и забавные) твиты?

Нет, посыл в следующем: мы вошли в новую эпоху жизни на удалёнке, где внезапно люди обращают чрезмерное внимание на то, что происходит позади нас в Zoom. И это важно не только для язвительных шутников из социальных сетей, но это также важно и для тех, кто хочет произвести сильное впечатление на аудиторию. В подтверждение данному тезису вышло исследование фирмы Quantified Communications, занимающейся изучением и усовершенствованием коммуникативных навыков.

Эстетика видеозвонка имеет огромное значение

В недавнем обзоре на Harvard Business Review соучредитель фирмы Ноа Зандан и директор по взаимодействию Хэлли Линч объясняют, что ровно как и наш внешний вид, так и фон во время видеоконференций имеют огромное значение. Опрос 500 профессионалов, использующих удаленный формат работы, по поводу эстетики видеозвонков дал неожиданные результаты - респонденты имеют твёрдые убеждения на этот счёт.

Например, мужчины чаще выбирают книжные стеллажи в качестве фона чем женщины. И, похоже, многим нравится стиль бизнес-кэжуал для видеозвонков, касающихся работы. На самом деле, исследование содержит множество забавных мелочей. Но среди интересных деталей наглядно вырисовывалось одно понятное и последовательное предпочтение: вам определенно следует отказаться от забавного или слишком креативного фона в Zoom.

Когда дело дошло до обсуждения фона, самым популярным выбором было показать реальную комнату за спикером, - пишут авторы исследования. Если вы стремитесь к подлинности, надежности или опыту, пустая стена или виртуальный живописный фон не несут в себе ничего серьезного и искреннего. Вместо этого выберите комнату, в которой вы находитесь. Или в идеале замкнутое пространство. И обязательно подумайте, что находится на стене позади вас.

Единственным исключением были только те случаи, где спикеру нужно было передать своё творчество. Здесь можно использовать свой естественный декор комнаты, но даже в этом случае следует избегать виртуального фона.

По всем исследуемым направлениям виртуальные фоны набрали в среднем всего 7,5% голосов, что говорит о том, что их следует сохранить до следующего виртуального свидания, а не для следующей рабочей встречи, - заключает пост.

Мы в ITSOFT были за прямолинейность, открытость и против "официоза" еще до пандемии. На встречах не требовался особый стиль или дресс-код, а сами они могли проходить за пределами переговорок: в парке или кафе. Потому при переходе на удаленку никто не использовал фоны, фильтры или белые стены в Zoom, ведь можно быть собой и никто не осудит.

Заключение

Суть вышеизложенного в том, что если вы хотите, чтобы вас воспринимали всерьёз, именно вы должны быть тем ярким и интересным элементом на картинке в Zoom. Фон - лишь тесное обрамление личности и профессионала своего дела. Он не должен мешать вовлеченности и вниманию аудитории. Равно как и небольшие коммуникативные пробелы виртуального спикера.

Поэтому выбираем помещение, усаживаемся поудобнее, прогоняем презентацию, смотрим в камеру и только потом должна прозвучать фраза: Здравствуйте, сегодня наша тема для обсуждения. Помните, второго дубля уже не будет.

Подробнее..

Научно-исследовательские инициативы JetBrains

03.03.2021 14:04:54 | Автор: admin
Develop with pleasure, The drive to develop об этом вы наверняка от нас слышали. Но наши интересы далеко не ограничиваются разработкой и созданием мощных инструментов для повышения продуктивности. Мы верим, что можем многое изменить и сделать мир лучше. Один из верных способов проведение исследований в области передовых технологий и образования. Совместно с ведущими научными учреждениями мира мы занимается прикладными исследованиями, способными влиять на жизни людей и двигать нас всех вперед.

Наши научные исследования объединены в рамках направления JetBrains Research.

Ниже мы представим исследовательские группы JetBrains Research и расскажем, чем они занимаются.

Наука сегодня для технологий будущего



JetBrains Research объединяет более 150 исследователей, участвующих в проектах более 19 лабораторий и групп. Лаборатории и группы ведут работу в самых разных направлениях от физики элементарных частиц до разработки ПО.


Большая часть результатов публикуется в виде исследовательских статей одной из основных форм обмена результатами в научной среде. Статьи также важны для того, чтобы успешно конкурировать за позиции и гранты. Плюсом работы с JetBrains Research является то, что здесь исследовательские статьи и публикации не являются обязательным требованием ученые могут не беспокоиться о подаче на гранты и вместо этого целиком сосредоточиться на сути своей работы.



Исследовательские группы



BioLabs


Сколько же всего мы по-прежнему не знаем о внутреннем устройстве человека: какие факторы приводят к генным мутациям, по каким индикаторам можно предсказывать будущие проблемы со здоровьем, как решить задачу полного секвенирования генома и многое другое. Биология как наука прошла огромный путь, однако ей предстоит еще немало.


Задача BioLabs раскрыть механизмы эпигенетической регуляции у людей и животных и понять, какое значение эти механизмы играют в процессах дифференцировки и старения клеток. Самым крупным является проект старения, реализуемый BioLabs совместно с Университетом Вашингтона в Сент-Луисе. Другие исследовательские проекты посвящены различным темам, включая новые алгоритмы анализа данных, эффективные инструменты обработки данных для секвенирования нового поколения (Next Generation Sequencing), масштабируемые конвейеры данных, подходы к визуализации и мета-анализу существующих баз данных с информацией о механизмах эпигенетической регуляции. BioLabs также отвечает за PubTrends новый сервис для анализа научных публикаций, позволяющий быстрее анализировать тренды и находить значимые работы. Такой сервис необходим, поскольку число работ, публикуемых каждый год, неуклонно растет, и уследить за всеми публикациями по выбранной теме практически невозможно.


Вернуться к списку исследовательских групп


Группа биоинформатики


Биология практически необъятная наука, многие области которой пока не открыты и не изучены. Мы не знаем, что готовит нам будущее, но чем больше у нас будет знаний о биологии, тем лучше мы сможем подготовиться.

Группа биоинформатики занимается разработкой эффективных вычислительных методов для решения важных проблем в области биологии и медицины. Группа базируется на кафедре компьютерных технологий Университета ИТМО. Группа активно взаимодействует с лабораторией Максима Артемова (Университет Вашингтона в Сент-Луисе). Проекты лаборатории охватывают широкий спектр тем от анализа данных метагеномного секвенирования до анализа экспрессии генов и метаболомики. Фундаментальные знания в области алгоритмов и компьютерных наук позволяют группе заниматься решением задач биологии, сводя их к известным вычислительным задачам и создавая инструменты визуализации и анализа данных для биологов.


Вернуться к списку исследовательских групп


Лаборатория нейробиологии и физиологии развития


Нейробиология и физиология развития прошли долгий путь и накопили фундаментальную базу исследований. И тем не менее многое в этой науке по-прежнему остается неизведанным. А ведь эти науки таят в себе огромный потенциал к пониманию человеческого мозга.
Задача лаборатории нейробиологии и физиологии развития разработать вычислительный фреймворк для создания динамических пространственных моделей структуры нервных тканей и динамики базовых стимулов. Проект Biological Cellular Neural Network Modeling (BCNNM) использует последовательности биохимических реакций для запуска сложных моделей нейронных сетей при формировании исходных стволовых клеток. Фреймворк можно использовать для in silico репликации экспериментов, проведенных in vitro, чтобы получать измерения с ключевых компонентов, а также выполнять предварительную вычислительную проверку новых гипотез.


Вернуться к списку исследовательских групп



Лаборатория прикладного машинного обучения и глубокого обучения
и
Лаборатория агентных систем и обучения с подкреплением


Применение машинного обучения имеет огромный потенциал. Оно позволяет создавать системы, способные прогнозировать и предсказывать события, а также очень точно выявлять закономерности (в этом им нет равных). Эти возможности можно применить к решению огромного числа реальных проблем.


Обе лаборатории занимаются исследованиями в области машинного обучения, анализа данных и обучения с подкреплением, а также применением существующих современных методов машинного обучения к решению реальных задач. В этом году совместно с центром исследований BIOCAD в лаборатории начали работу над применением методов глубокого обучения в области разработки лекарств. Кроме того, совместно с Уппсальским университетом лаборатория приступила к изучению влияния факторов окружающей среды на экспрессию генов. Лаборатории активно работают со студентами ведущих университетов и участвуют в разработке учебных курсов, которые бы помогли развивать знания в области машинного обучения и анализа данных.


Вернуться к списку исследовательских групп


Исследовательская группа Paper-Analyzer


Работая на переднем крае науки, важно следить за открытиями, новейшими научными теориями и гипотезами. Для этого важно заниматься анализом исследовательских работ причем так, чтобы по возможности экономить время и ресурсы.


Задача исследовательской группы Paper-Analyzer упростить извлечение знаний из научных работ, посвященных биомедицине, используя модели глубокого обучения для обработки естественных языков. Основой Paper-Analyzer служит языковая модель на основе архитектуры Transformer, оптимизированная под работу с научными статьями. Задача языковой модели на основе имеющегося контекста предсказывать следующее слово. Используя языковую модель, можно строить другие модели и обучать их решению таких задач, как, например, распознавание именованных сущностей, извлечение отношений, поиск ответов на вопросы. Группа также проводит эксперименты с генеративными моделями для обобщения и перефразирования предложений. Общая цель всех этих разработок возможность автоматического извлечения знаний из научных публикаций.


Вернуться к списку исследовательских групп


Лаборатория криптографии


Вопросы безопасности одна из главных повесток в сегодняшнем мире. С ростом количества цифровой информации необходимость в ее безопасном хранении и поддержке постоянно возрастает.


Лаборатория криптографии занимается исследованиями современных задач в области криптографии и информационной безопасности. Она сотрудничает с COSIC исследовательской группой компьютерной безопасности и промышленной криптографии в Левене (Бельгия), Selmer Center в Университете Бергена (Норвегия) и INRIA (Франция). Исследования ведутся по различным направлениям: криптографические логические функции, симметричные шифры, легковесная криптография, технология блокчейна, квантовая криптография и информационная безопасность. Помимо публикации монографий и статей в ведущих журналах о криптографии, сотрудники лаборатории преподают криптографию в Новосибирском государственном университете и организуют NSUCRYPTO Международную студенческую олимпиаду по криптографии.


Вернуться к списку исследовательских групп


Группа HoTT и зависимых типов


Гомотопическая теория типов довольно новое направление математики, объединяющее несколько областей. Математике требуется прочная доказательная база: как однажды сказал Эйнштейн, никаким количеством экспериментов нельзя доказать теорию; но достаточно одного эксперимента, чтобы ее опровергнуть. Математика сложнейшая наука, поэтому данная инициатива большой и важный шаг.


Исследовательская группа занимается созданием Arend зависимо-типизированного языка и инструмента доказательства теорем, основанного на гомотопической теории типов. HTT является более продвинутым фреймворком, чем те, на которых основаны инструменты вроде Agda и Coq. Конечная цель создать онлайн-помощник для доказательства теорем, основанный на современной теории типов, который бы позволил формализовать определенные разделы математики.


Вернуться к списку исследовательских групп


Лаборатория методов ядерно-физических экспериментов


Сегодня многие задачи из области физики элементарных частиц, включая численное моделирование и анализ экспериментальных данных, полагаются на программное обеспечение, которое позволяет быть уверенными в воспроизводимости экспериментов и надежности результатов.


Лаборатория методов ядерно-физических экспериментов базируется в МФТИ. Основной интерес лаборатории методологии и ПО для решения задач в области физики элементарных частиц. На данный момент команда программистов лаборатории занимается разработкой нового поколения инструментов для получения данных (медленное управление, обработка сигналов) и анализа данных. Исследования лаборатории охватывают три сферы: физика элементарных частиц без ускорителя (эксперименты GERDA, Троицк ню-масс, KATRIN и IAXO), численное моделирование в физике элементарных частиц (эксперименты с ускорителем и без, атмосферное электричество, физика рентгеновского излучения) и разработка программного обеспечения для экспериментальной физики (системы получения и анализа данных, проекты по разработке инфраструктур, научные библиотеки для языка Kotlin). Огромное внимание уделяется и обучению: лаборатория старается дать молодым студентам возможность получить реальный опыт в физике и разработке.


Лаборатория методов ядерно-физических экспериментов


Вернуться к списку исследовательских групп


Лаборатория исследований процессов обучения


Развитие технологий в руках будущего поколения инженеров. В наших общих интересах обеспечить им наилучшее начало карьеры. Мы верим, что мастерство начинается с образования, поэтому, на наш взгляд, очень важно продвигать науку о процессах обучения.


Задача лаборатории исследования процессов обучения разрабатывать мероприятия по продвижению предметов STEM среди старшеклассников и увеличению их шансов на успех при построении профессиональных карьер в областях STEM. Лаборатория занимается долгосрочным исследовательским проектом по выявлению главных индикаторов успеха учащихся в программировании и предметах STEM (наука, технологии, инженерия и математика). Мы ищем сочетание четырех возможных факторов: когнитивные навыки, некогнитивные характеристики (образовательные и профессиональные отношения, социальная среда), гендер и методологии обучения. Необходимо найти ответы на следующие вопросы:


  1. Кто идет в STEM и программирование?
  2. Какие факторы (когнитивные возможности, история семьи и т. д.) приводят человека к лучшим результатам и уменьшают вероятность забросить учебу?
  3. Существуют ли характерные установки (мотивация, вовлеченность и т.д.), способные пересилить первоначальные данные?
  4. Какие методологии обучения приносят успех, а какие повышают вероятность неудачи?

Вернуться к списку исследовательских групп


Лаборатория алгоритмов мобильных роботов


Беспилотные автомобили уже стали реальностью. Прототипы автономных транспортных средств меняют будущее вождения прямо сейчас. Однако технологии автономных систем довольно новые их все еще необходимо улучшать.


Лаборатория алгоритмов мобильных роботов объединяет исследования в области разработки эффективных алгоритмов для мобильных роботов. В лаборатории имеется единственный в России экземпляр Duckietown платформы и среды, позволяющих разрабатывать алгоритмы для мобильных роботов. В центре внимания лаборатории задача одновременной локализации и построения карты (SLAM). SLAM подразумевает составление и последующее поддержание карты неизвестной среды; при этом благодаря анализу данных с различных датчиков можно отслеживать местонахождение агента в среде. Сложность задачи SLAM связана с шумами, свойственными физическим датчикам, а также с необходимостью следить за изменениями в динамической среде. Кроме того, многие алгоритмы SLAM рассчитаны на недорогое оборудование, которое задает строгие требования к производительности. В 2019 году лаборатория роботов участвовала в третьих AI Driving Olympics соревнованиях роботов, управляющих беспилотным транспортом. Эти престижные соревнования считаются местом силы для развития знаний в сфере беспилотных автомобилей. Наша лаборатория заняла первое место во всех трех состязаниях. Примечательно, что это был первый прецедент победы алгоритма глубокого обучения на этих соревнованиях.


Исследователи лаборатории преподают множество курсов по дисциплинам STEM в университетах. Также они предлагают курсы по мобильной разработке для школьников и принимают студентов из MIT, приезжающих по программе MISTI.


Лаборатория алгоритмов мобильных роботов


Вернуться к списку исследовательских групп


Проблемы оптимизации в программной инженерии


Инструменты JetBrains разрабатываются с целью помочь нашим пользователям повысить свою продуктивность и писать код лучше. Чтобы удостовериться, что продукт создан наилучшим образом, мы выполняем много исследований и тестов. И, конечно же, у нас есть лаборатории, занимающиеся исследованиями в области программной инженерии.


Группа проблем оптимизации в программной инженерии занимается исследованием сложных задач оптимизации, возникающих в сфере инженерии надежных систем, грамматического вывода и верификации ПО. Основное внимание уделяется синтезу моделей конечных автоматов из спецификаций, таких как трассировка выполнения и тест-кейсы.
Основные направления исследований включают вывод конечных автоматов при помощи метаэвристических алгоритмов, настройку параметров метаэвристических алгоритмов, программирование в ограничениях для задач с графами и автоматами, а также синтез, тестирование и верификацию программного обеспечения для промышленной автоматизации.


Вернуться к списку исследовательских групп


Группа параметризованных алгоритмов


В компьютерных науках всегда есть чему поучиться. И решение сложных задач современными методами это наше движение вперед.


Группа параметризованных алгоритмов занимается исследованием и решением сложных вычислительных задач с использованием современных техник создания точных алгоритмов. Зачастую это требует установления связей между различными задачами и исследования того, как сложность той или иной проблемы меняется для определенных классов экземпляров задач (например, экземпляров с ограничениями для значений параметров). В лаборатории ведется несколько исследовательских проектов, посвященных, в частности, задачам максимальной выполнимости, раскраски и кластеризации графов. Эти задачи могут в некоторых случаях определяться ограниченными параметрами, однако существуют алгоритмы умеренной сложности, которые делают решение этих задач реальным даже на объемных входных данных.


Вернуться к списку исследовательских групп


Лаборатория параллельных вычислений


Параллельное программирование приобрело большую популярность за последние два десятилетия. Каждый язык и каждая платформа предоставляют соответствующие примитивы. С ростом сложности систем использовать эти примитивы эффективным образом становится все труднее и труднее (например, в случае с несколькими узлами NUMA или с ослаблением моделей памяти).


Это рождает несколько важных практических вопросов. Как нам строить параллельные алгоритмы? Как достичь компромисса между гарантиями прогресса, эффективностью и справедливостью? Как проверить правильность этих алгоритмов? С чем их сравнивать? На некоторые из этих вопросов в академической среде есть частичные ответы, однако многие практические задачи так и остаются нерешенными.


Основная задача лаборатории параллельных вычислений ответить на эти вопросы, предоставив практически разумные и теоретически ценные решения, а также качественные инструменты, которые помогли бы другим исследователям и разработчикам в области параллельных вычислений. Среди интересов лаборатории: параллельные алгоритмы и структуры данных, энергонезависимая память, тестирование и верификация, анализ производительности, отладка, оптимизация, а также языки и модели параллельного программирования и восстановление памяти.


Вернуться к списку исследовательских групп


Лаборатория киберфизических систем


Когда дело касается разработки встроенных и киберфизических систем, возникает немало сложностей, связанных с различиями тех практик проектирования, которые используются в инженерии и разработке ПО. Встроенные системы имеют большое значение в различных отраслях, поэтому исследования в этой области открывают огромные возможности.


Лаборатория киберфизических систем занимается вопросами процессно-ориентированного программирования, психологии программирования, предметно-ориентированных языков для разработки управляющего ПО (киберфизические системы, ПЛК, встроенные системы, интернет вещей, распределенные управляющие системы и т.д.), критичных для безопасности систем, формальной семантики, динамической и статической верификации (проверка моделей, дедуктивная верификация, онтологическое проектирование).


Вернуться к списку исследовательских групп


Методы машинного обучения в области программной инженерии


Машинное обучение уже прошло огромный путь и имеет множество полезных приложений. В частности, его можно использовать для улучшения возможностей инструментов разработки.


Группа методов машинного обучения в области программной инженерии занимается разработкой и тестированием методов улучшения инструментов и процессов разработки путем применения анализа данных (включая машинное обучение) к данным из программных репозиториев. Совместно с командами нескольких продуктов JetBrains группа занимается интеграцией в продукты современных методов на основе данных. В данный момент группа работает над десятком исследовательских проектов на различные темы от поддержки библиотек сбора данных до генерации кода из описаний на естественном языке. Недавние результаты работы группы включают новый подход к рекомендации рефакторингов Move method, исследование нарушений лицензий в заимствованном коде на GitHub, современный подход к присуждению авторства исходного кода и метод построения векторных представлений стиля кода без явных признаков.


Вернуться к списку исследовательских групп


Лаборатория языковых инструментов


Теория языков программирования также представляет большой интерес для JetBrains как с точки зрения производимых инструментов, так и для улучшения нашего собственного языка Kotlin.


Лаборатория языковых инструментов была создана для проведения научных исследований в области теории языков программирования. Это совместная инициатива JetBrains и отделения программной инженерии на математико-механическом факультете Санкт-Петербургского государственного университета. Лаборатория ведет исследования по множеству разных направлений, включая теорию формальных языков и ее приложения в области синтаксического анализа, статический анализ кода, запросы к графовым базам данных, биоинформатику, а также семантику формального языка программирования и, в частности, семантику слабых моделей памяти, формальные методы верификации, основанные на средствах доказательства теорем и SMT-решателях, методы оптимизации программ, основанные на частичной оценке и суперкомпиляции, различные парадигмы программирования, включая функциональное, реляционное и сертифицированное программирование. Помимо исследований лаборатория проводит ежегодные зимние и летние школы, недельные международные семинары, стажировки для аспирантов и многие другие мероприятия.


Вернуться к списку исследовательских групп


Лаборатория верификации и анализа программ (VorPAL)


Одним из главных направлений работы над инструментами JetBrains является повышение продуктивности при их использовании. И тот уровень, которого наши инструменты достигли сегодня, во многом заслуга тех исследований, которыми занимаются наши лаборатории.


В лаборатории верификации и анализа программ студенты, аспиранты и исследователи занимаются разработкой программных технологий, основанных на формальных методах, таких как верификация, статический анализ и методы трансформации программ. Эти методы помогают повысить продуктивность разработчиков при использовании ими автономных инструментов, расширений языков программирования и плагинов для IDE.
Существенная часть исследований посвящена изучению возможностей по расширению Kotlin. Мы верим, что Kotlin можно продолжать улучшать и расширять. Например, это могут быть макросы, liquid-типы, pattern matching, вариативные дженерики. Также в лаборатории занимаются исследованием применения
конколического тестирования в Kotlin, различных техник фаззинга компилятора и других областей.


Лаборатория верификации и анализа программ (VorPAL)


Вернуться к списку исследовательских групп


Лаборатория инструментов совместной работы


Программирование далеко не единственное, чем на сегодняшний день приходится заниматься разработчикам. Они посвящают довольно много времени обмену информацией и командной работе. Разработка во многом опирается на специальные средства для совместной работы команд. Это коммуникационные инструменты, баг-трекеры, платформы для код-ревью и другое.


Задача новой лаборатории инструментов совместной работы в том, чтобы получить более глубокое понимание процессов коллаборации в разработке и других творческих областях, а также придумать новые подходы к поддержке совместной работы инструментами.


Вернуться к списку исследовательских групп



Если вы хотите присоединиться к какой-либо из групп, создать совместный проект или у вас есть общие вопросы, пишите нам по адресу info@research.jetbrains.org.


Благодарим Ольгу Андреевских за помощь в подготовке этой публикации.



Ваша команда JetBrains Research
The Drive to Develop
Подробнее..

Дефицит чипов увеличился уже до 30, индустрии грозит кризис продолжительностью в год

25.02.2021 02:16:19 | Автор: admin

В последнее время все чаще появляются новости вроде видеочипов не хватает, дефицит процессоров, поставки ноутбуков под угрозой. И это не просто новости, а отражение реальной действительности, которая даже хуже, чем может показаться. По словам экспертов, проблемы на рынке полупроводниковых элементов сохранятся до конца этого года.

Основная причина цифровизация всего и вся, переход в онлайн, увеличение объемов трафика и т.п. Промышленность оказалась не готова к пост-ковидной реальности. В итоге мы получили глобальный дефицит на рынке микросхем, который угрожает нормальному ходу работы многих отраслей, от автомобилестроения до производства ноутбуков и промышленных систем.

Насколько все серьезно?


По данным аналитического агентства J.P. Morgan, объемы поставок полупроводников в разных отраслях на 10-30% ниже потребностей этих отраслей. Для того, чтобы промышленность смогла нарастить объемы производства, нужно от 6 месяцев до года. Соответственно, весь этот период мы будем наблюдать проблемы с поставками разных систем и устройств, где используются чипы.

По мнению разных аналитиков, причина дефицита в том, что под влиянием пандемии все и вся цифровизуется, сотрудники компаний работают удаленно, повышается спрос на технику и, соответственно, чипы. Ну а у промышленности при всем желании пока нет возможности нарастить объемы производства.


Ну и все бы ничего, но сейчас активно развивается торговая война между США и Китаем. А это еще один негативный фактор, который провоцирует спад объемов производства.

Плюс ко всему, на Тайване, фабрики которого поставляют огромное количество чипов, постоянно случаются какие-то проблемы природного характера. То были тайфуны, наводнения и землетрясения, теперь нехватка воды. Водохранилища региона заполнены примерно на 20%, что заставляет власти настойчиво рекомендовать промышленным компаниям снижать расход воды на 7-11%. Ну а без воды не удастся и нарастить объемы производства.

В итоге TSMC и VIS, по данным Reuters, начали заключать контракты на поставку воды цистернами, чтобы избежать перебоев с водоснабжением.

У производителей полупроводников все хорошо, это нам плохо


Да, производители чипов чувствуют себя прекрасно от клиентов нет отбоя, цены на чипы постоянно растут. Плюс увеличиваются и акции самих производителей. За последний год биржевой индекс PHLX Semiconductor, который отслеживает десятки акций крупнейших производителей чипов, вырос сразу на 65%. В то же время индустриальный индекс S&P 500 вырос на 17%, высокотехнологичный индекс Nasdaq Composite на 43%.

Представители аналитической компании Lopez Research даже заявили о том, что на рынке полупроводников сейчас идеальный шторм, так что вряд ли стоит ожидать снижения дефицита в ближайшее время. Наоборот, есть угроза того, что индустрия войдет в период неконтролируемого хаоса.

По мнению одного из экспертов, ситуация ухудшается еще и потому, что производители сейчас переходят на новые техпроцессы, процесс производства усложняется. И это одна из причин, по которой поставщики электронных компонентов не могут в кратчайшие сроки увеличить объемы поставок.


Ранее уже сообщалось, что проблемы сейчас у всех, кто использует современные полупроводниковые чипы в производстве. Например, у автомобильной отрасли здесь такие гиганты, как Nissan, Toyota и Volkswagen собираются снижать объемы производства. И не потому, что у них не хватает возможностей для выполнения плана, а потому, что нет чипов, которыми оснащаются современные автомобили. Сейчас машина это уже не только транспортное средство, но и высокотехнологичная электронная система, сервер на колесах.


Из-за дефицита полупроводников снижается прибыльность автомобильных компаний. Например, прибыльность General Motors по итогам 2021 г. может рухнуть до 3,4%, а у Ford Motor до 1,8%. Если говорить о выручке, это означает падение валовой выручки у первой компании до 30%, или $2 млрд. У Ford $2,5 млрд. Для наглядности можно посчитать снижение поставок автомобилей в штуках только американские компании, скорее всего, недопоставят 350 тыс. автомобилей. А потом ситуация станет еще хуже.

Все пропало?


Не совсем, все же производители чипов понимают проблему, а поскольку стоимость их продукции все время растет, то ведь можно получить сверхприбыли, если начать поставлять сверх плана. И так и происходит. В последнем квартале 2020 года поставщики полупроводниковых элементов превзошли все предсказанные объемы поставок. Планы были перевыполнены. В этом году тенденция будет такой же, только объемы производства будут расти еще быстрее. Такой ситуации ожидает AMD, Qualcomm и другие крупные вендоры.


Да, поскольку ситуация остается сложной, а потребности потребителей чипов увеличиваются, то и дефицит какое-то время будет расти, как и говорилось выше. Весной ожидаются задержки поставок на 14 недель и выше. Но потом все выйдет на круги своя.

Кстати, по мнению Кристофера Ролланда (Christopher Rolland), финансового аналитика компании Susquehanna, текущий дефицит является немного искусственным. Нет, речь не о корпоративных сговорах. Просто многие компании много потеряли во время завершения бума чипов 2018 года. Тогда вендоры наращивали и наращивали объемы производства, поскольку покупатели требовали все больше и больше. Но потом спрос внезапно снизился, а вот объемы производства так же быстро уменьшить не удалось.

В итоге на складах оказалась масса никому не нужной продукции, которая хотя и медленно, но устаревала ведь рынок полупроводниковой электроники очень динамичен. После этого начался еще более серьезный спад, в результате которого снизилась стоимость акций большинства компаний, участников рынка чипов. В это число вошли такие гиганты, как Nvidia, Micron Technology, AMD и другие.

Так что без оглядки на будущее производители уже не будут наращивать объемы производства. Они внимательно отслеживают ситуацию и стараются держать баланс между потребностями рынка, собственными возможностями и рисками перепроизводства.

Подробнее..

Дефицит полупроводников усиливается Samsung так и не возобновил работу на фабрике в Техасе

04.03.2021 16:23:55 | Автор: admin

Как гласит народная пословица, беда не приходит с собой одна, она и детей приводит. Часто так получается не только в жизни, но и в бизнесе, производстве: происходит одно плохое событие, за которым следуют другие чаще всего из-за негативных внешних факторов.

Но хватит лирики. Как мы уже писали, в мире постепенно растет нехватка полупроводниковых чипов. Эксперты оценивают объем дефицита в 10-30%. Любой дополнительный негативный фактор может усилить нехватку компонентов, что, конечно же, влияет на все прочие отрасли производство ноутбуков, десктопов, серверов, даже автомобилей. И вот он проявился: корпорация Samsung до сих пор не возобновила производство полупроводников на своей американской фабрике в Техасе.

Проблема тянется с середины февраля этого года тогда в Техасе случились небывалые холода, что во много раз увеличило потребление энергии. Южнокорейскую компанию заставили остановить работу сразу двух заводов в Остине. Решение было беспрецедентным. Кроме Samsung, аналогичные меры заставили принять NXP Semiconductors, Infineon Semiconductors и др.

Восстановить работу фабрик не получается до сих пор. А ведь в 2018 году остановка одного из заводов Samsung всего на полчаса привел к снижению мировых запасов флеш-памяти NAND на 3%. Конечно, компания с тех пор научилась адаптироваться к подобным проблемам, но все равно срок, в течение которого фабрики не работают, слишком велик.

Сейчас у производителя есть необходимые для возобновления операций ресурсы, включая воду, электричество и другие. Но для того, чтобы начать по новой, требуется время. Завод не просто конвейер, который остановится или запустится по нажатию на кнопки. Требуется все проверить, очистить системы, запустить некоторые базовые операции и лишь затем последовательно возобновлять основные производственные процессы. И даже после этого потребуется время для того, чтобы довести производство до прежних показателей.


На фабрике S2, работа которой была приостановлена, производились чипы по 28-нм и 65-нм техпроцессам. Этот объект разрабатывает разные продукты для собственного подразделения компании. Оно, в свою очередь, производит контроллеры для SSD, чипы для Tesla и Renesas, чипы связи для Qualcomm. И это только то, о чем хорошо известно. Наверняка, фабрика производит и поставляет чипы и другим компаниям.

По мнению экспертов, восстановить работу производственного объекта такого размера быстро не получится. Сложность еще и в том, что для производства применяются весьма специфические материалы: жидкости, металлы, газы и прочие химические элементы и соединения. Для их хранения требуются специальные условия, которых сейчас нет. В целом, запасы ресурсов придется создавать едва ли не заново. Соответственно, всем заказчикам компании придется ждать, пока корпорация наладит производство продукции.

Samsung и заказчики компании могут заказать необходимые им компоненты на других предприятиях. Но перенос части производства в другие локации вызывает ряд проблем.

Во-первых, уже работающей на всю силу фабрике сложно выкроить дополнительные мощности для внезапно поступившего заказа. Далеко не все владельцы фабрик, которые могут удовлетворить запрос компаний, заинтересованы в краткосрочных заказа.

Во-вторых, стоимость полупроводников и так высока. При переносе производства она вырастет еще больше.

В-третьих, у компаний, которые расположены на Тайване и в других странах Юго-Восточной Азии, сейчас проблемы с исходными ресурсами, включая ABF. А значит, что увеличить производство у таких компаний не получится, во всяком случае, речь не идет о росте производства на десятки процентов.

Все это с высокой степенью вероятности приведет к тому, что цепочка производства и поставок элементов просто поломается, так что потребителям чипов придется ждать своего заказа намного дольше, чем изначально рассчитывалось.

И это не все


Скорее всего, под угрозой сроки разворачивания корпорацией производства микросхем по 3-нм техпроцессу. Ее планировалось запустить в США в 2023 году, закончив установку основных компонентов в 2022 году. И, к слову, эту фабрику тоже планируется разместить в Остине, Техас.


Новый промышленный объект должен стать козырем Samsung в гонке за текущим лидером отрасли Taiwan Semiconductor Manufacturing Co. (TSMC). Но если погодные условия региона продолжат меняться, а нехватка энергии станет нормой, то неясно, сможет ли Samsung нормально работать.

Сейчас строительство фабрики служит возможностью убить сразу двух зайцев: и конкурента догнать, и получить льготы от американского правительства. Корпорация даже наняла людей в Вашингтоне для того, чтобы лоббировать сделку. Если компании предоставят налоговые льготы или даже субсидии, то ей станет проще развиваться и наращивать мощности.

Как бы там ни было, у самой компании все хорошо. Заказов у нее полным-полно, и их объемы продолжают увеличиваться. Так, например, именно Samsung отвечала за производство GPU для последних видеокарт RTX 3070, RTX 3080 и RTX 3090 по техпроцессу 8-нм. Это был огромный заказ на сумму в сотни миллионов, а может и больше миллиарда долларов.

Проблемы как раз не у отрасли, которая из-за объемов заказов не справляется с их выполнением и не знает, куда потратить сверхприбыли. Проблемы у тех, кто связан с этой отраслью, включая вендоров ноутбуков, серверов, десктопов, автомобилей и т.п., а значит, и у нас с вами.

Подробнее..

842 чипа в секунду в 4 квартале 2020 года было выпущено 6,7 млрд ARM-чипов

15.02.2021 14:04:42 | Автор: admin

Nvidia не просто так заинтересовалась покупкой ARM компания и ее технологии развиваются активнее, чем когда-либо. Сейчас чипов на основе ARM-технологий выпускается больше, чем х86, ARC, Power и MIPS вместе взятых.

Миллиарды устройств работают на основе ARM-чипов. В Tomshardware подсчитали, что только в последнем квартале 2020 года было выпущено около 6,7 млрд систем на базе ARM. Это 842 чипа в секунду.

Что за чипы выпускаются


Речь идет о Cortex-A, Cortex-R, Cortex-M и Mali IP, на основе которых работают сотни миллионов процессоров, контроллеров, микроконтроллеров, графических систем, выпускаемых 1600 со всего мира. При этом потребность в этих чипах постоянно растет, плюс совершенствуются существующие технологии и появляются новые.


Интересный нюанс: несмотря на то, что в СМИ чаще всего говорят о Cortex-A-series чипах (на их основе выпускаются популярные модели смартфонов), наиболее продаваемыми стали продукты линейки Cortex-M. Они, можно сказать, вездесущи и позволяют работать огромному количеству систем от термометров до модулей космический кораблей. Только в последнем квартале 2020 года было выпущено 4,4 млрд микроконтроллеров на основе Cortex-M.

Общий рекорд в 6,7 млрд чипов за квартал удалось поставить благодаря растущему спросу со стороны партнеров ARM, включая как IoT-компании, так и организации, которые выпускают мобильные устройства или разрабатывают суперкомпьютеры. В 2020 году были подписаны договоры с 175 новыми компаниями.

А кто на втором месте?



Это вовсе не x86, как можно было бы подумать. К сожалению, официальной информации от AMD, IBM, Intel, MIPS Technologies, Synopsys и Via Technologies по объемам производства процессоров нет, но, в целом, кое-какие выводы можно сделать на основе продаваемых систем.

Так, по данным Gartner, в 2020 году общемировые поставки ПК составили 275 миллионов единиц. Серверов около 11,75 млн единиц в 2019 году. Большинство десктопных ПК используют один процессор, тогда как серверы два и больше. Получается, что в год рынок потребляет около 300 млн x86 процессоров в год. Если к этому добавить еще игровые консоли, всякие хранилища данных, одноплатники, суперкомпьютеры и т.п., получается 350-360 млн процессоров x86.

Это не второе и не третье место. Вторую позицию после ARM занимают IP-чипы Synopsys ARC, о которых вообще не так часто говорят или пишут. Тем не менее, Synopsys тоже активно расширяется. Например, в прошлом году компания представила новые семейства DesignWare ARC HS5x и HS6x. Они используются в SSD-контроллерах, автомобильных системах, развлекательных устройствах, системах связи и т.п.

Что касается третьего места, то его занимают MIPS-чипы. Только в 2012 году было выпущено около 3,6 млрд чипов на основе MIPS-технологий. Да, эти системы не используются в высокопроизводительных системах вроде игровых консолей. Вместо этого они работают в сотнях миллионов микроконтроллеров, бытовой электронике, устройствах с низким энергопотреблением и т.п.

Подробнее..

Из-за пандемии потребление интернет-трафика превысило ожидаемые значения в 1,5 раза

20.02.2021 20:08:41 | Автор: admin

Компания TeleGeography проанализировала показатели глобального обмена интернет-трафиком. Результаты исследования представлены в виде интерактивной Глобальной карты интернета 2021 (Global Internet Map). По данным исследования, в 2020 году мы стали потреблять больше интернет-трафика. Средний показатель по миру увеличился с примерно 120 до 170 Тбит/с, в пике 300 Тбит/с.

В целом, трафик рос на протяжении последних нескольких лет, причем не на малую цифру 30% ежегодно. Но в 2020 году он побил все рекорды и составил 47%. Рост вполне объясним: из-за глобальной пандемии люди месяцами были заперты дома. В ход пошли стриминговые платформы, платформы для облачного гейминга, сайты доставки и YouTube-каналы с видео котиков. Так что, пожалуй, в этих процентах есть доля каждого из нас.


Выросла и общая емкость глобальной сети в период с 2019 по 2020 гг. с 450 до более 600 Тбит/c (на 35%). Больше всего обменивалась интернет-трафиком Европа. Больше всего нагрузки досталось точкам обмена трафиком (IX) в Германии, Франкфурт, (DE-CIX FRA) и в Нидерландах, Амстердами (AMS-IX). Пиковый трафик у них составил около 7 Тбит/с. Существующим IX было непросто, ведь в 2019 году появилось меньше всего новых точек обмена трафиком.

Как подтвердили аналитики TeleGeography, глобальная пропускная способность и интернет-трафик выросли в 2020 году в основном за счет повсеместного распространения удаленной работы и обучения. Больше людей, чем когда-либо прежде, стало полагаться на интернет, отметили в компании.

TeleGeography также проанализировала деятельность шести мировых провайдеров облачных услуг, включая AWS, Google Cloud Platform, Microsoft Azure и т.д., и составила карту стоимости телекоммуникационных услуг в разных странах. Если верить отчету, в России цены на интернет выше, чем в Европе, но намного ниже, чем в Южной Америке. Цена $0,32 за Мбит/c примерно сравнима с ценами США: $0,35 в Лос-Анджелесе, $0,34 в Нью-Йорке.


К слову, в декабре прошлого года на сетях MKS-IX крупнейшей российской точки обмена интернет-трафиком зафиксирован новый пиковый рекорд в 4,6 Тбит/с. Предыдущее пиковое значение (3,7 Тбит/с) было отмечено 17 марта прошлого года. Впрочем, пока сети справляются с этими нагрузками.

Поводить мышкой по интерактивной карте можно по ссылке. А если вы любитель эффектных постеров (и у вас есть лишние $250), можно еще и заказать печатную версию Global Internet Map.

Подробнее..

Ресурсные войны Китай планирует сократить поставки редкоземельных элементов в США

17.02.2021 18:10:52 | Автор: admin

Сюжет, в котором страны сражаются за различные ресурсы, не редкость для книг и фильмов. Собственно, это реальность сегодняшнего дня, а не просто художественный вымысел. Но если раньше племена и государства сражались за месторождения золота, воду, нефть и т.п., то сейчас предметом конфликта являются новые ресурсы редкоземельные элементы.

И речь уже идет не о полноценной войне (по крайней мере, пока), а об ограничении поставок элементов в рамках санкций. Во всяком случае Министерство промышленности и информатизации КНР уже провело совещание, на котором обсуждался вопрос сокращения поставок редкоземельных элементов в США. Зачем?

Вообще говоря, для снижения опороспособности страны. Не секрет, что оборонка США сильна благодаря технологиям. Важную роль играют сверхсовременные F-35 и другие высокотехнологичные виды вооружения. Изготовить их без редкоземельных элементов нельзя. А поскольку Китай контролирует около 80% общемировых поставок подобных ресурсов, то ему и карты в руки.

На заседании Министерства обсуждалась пока лишь теоретическая возможность сокращения объемов поставок важных для промышленности ресурсов. Китайцы хотят знать, насколько сильно подобные меры могут повлиять на оборонку США и не только на нее. Кроме того, они хотят понять, как сильно ограничения затронут международные компании, включая не только Америку, но и Европу.


Сокращение поставок ресурсов Китаем ответ на санкции США, которые продолжают расширять. Сейчас министерство анализирует ситуацию с поставками, чтобы иметь представление, насколько быстро США сможет найти альтернативных поставщиков дефицитных ресурсов. Собственно, все это применимо не только для военных, но и для любой другой отрасли, включая авиастроение, ракетостроение, тяжелую промышленность, производство полупроводников и т.п.

Показательный пример сверхсовременный самолет F-35. Для его производства используются самые современные материалы. Если ограничить их поставку в США, то, скорее всего, выпускать самолеты не получится ну, или возникнут большие задержки. Производит самолет компания Lockheed Martin, и, по ее данным, для каждого F-35 требуется 417 кг редкоземельных элементов. И не руды, конечно, а именно готовых элементов.


Зачем все это Китаю?


Поскольку Трамп и его администрация решили закрыть Китаю доступ к высоким технологиям США, то Китай, что вполне логично, ищет похожие рычаги влияния. Поднебесной нельзя покупать полупроводниковые чипы, изготовленные с использованием американских технологий. Но проблема в том, что подавляющую часть ресурсов для производства этих чипов поставляет сам Китай.

Это очень странная ситуация, но это реалии сегодняшнего дня. И если Китай пойдет на ответные шаги в плане поставок, то США, вероятно, придется пойти на уступки.

Что касается производства полупроводниковых чипов, то Китай вряд ли будет в ближайшее время устанавливать ограничения. А вот военная промышленность США наиболее вероятный кандидат на санкции со стороны Китая. Если те, конечно, будут наложены. Главные бенефициарии санкций американские компании Lockheed Martin, Boeing и Raytheon.

Кстати, официальная причина, по которой Китай собирается наложить санкции усиление национальной безопасности. Государственный совет КНР и Центральная военная комиссия должны будут одобрить введение санкций. Если это будет сделано, у США могут возникнуть реальные проблемы во многих отраслях, ведь те же Lockheed Martin и Boeing выпускают далеко не только военную продукцию.

Редкоземельные элементы нужны и для производства электрических систем, а также ветрогенераторов для производства электричества.


Санкции будут введены 100%?


Пока что не понятно. По словам некоторых чиновников из Поднебесной (понятно, что они захотели остаться неизвестными), введение санкций ударит по самому Китаю. Это как сейчас с санкциями США в отношении Поднебесной последняя все меньше и меньше зависит от американских технологий. Китайские компании разрабатывают собственные полупроводниковые чипы и ПО и пока что у них все получается.

Если уже китайцы начнут отказывать США в поставке редкоземельных элементов, то Америка, что вполне логично, начнет искать поставщиков в других странах. Не совсем понятно, смогут ли эти страны поставлять ресурсы в тех же объемах, что и Китай, но если да, то последний может утратить статус основного поставщика.

Санкции палка о двух концах, так что использовать их нужно разумно, насколько это вообще применимо в торговых войнах.

А Пентагон уже и сам задумывается о том, что США очень сильно зависит от Китая. Собственно, здесь и раздумывать особо нечего все понятно и так. Не будет поставок редкоземельных элементов не получится производить высокоточные ракеты и военные дроны.

США задумывается над тем, чтобы открыть законсервированные месторождения у себя, начать разведывать новые и создать производство, способное поставлять редкоземельные элементы на отечественный рынок.

Не только санкции



Есть еще один интересный момент Китаю не обязательно даже вводить санкции для того, чтобы сократить производство редкоземельных элементов. Дело в том, что в 2007 году страна приняла закон, устанавливающий лимиты на производство для китайских компаний. Цель сокращение вредных выбросов в окружающую среду. С тех пор много воды утекло, но ограничения остались чистой формальностью их мало кто выполняет, а правительство страны смотрит на все это сквозь пальцы.

Но в случае чего Китай может потребовать строгого соблюдения норм, потому что страдает природа. И тогда поток важнейших для США и других стран ресурсов сильно сократится, так что китайские производители смогут выбирать, кому именно они выделят свою продукцию. И американские компании в этот список могут не попасть.

В общем, сейчас остается только ждать и следить за развитием ситуации. Хотелось бы надеяться на то, что она хотя бы сохранится на текущем уровне.

Подробнее..

Перевод Рейтинг языков программирования 2021 доля Python падает, а TypeScript обошел С, в лидерах JavaScript, Java, C

22.02.2021 08:15:18 | Автор: admin

Украинский профильный ресурс DOU.UA провел очередной ежегодный опрос о языках программирования, в рамках которого было собрано 7211 анкет (92% респондентов находятся в Украине). Из интересного - впервые с 2014 года у Python отрицательная динамика, наблюдается тенденция перехода с JavaScript на TypeScript, наиболее довольны пользователи Elixir, и наконец на графиках появился Rust.

Коммерческое использование

Что изменилось? Прежде всего привлекает внимание рост TypeScipt: похоже, он со временем станет основным языком в экосистеме JavaScript. В этом году он впервые обошел С ++ по популярности.

Еще из интересного: впервые за несколько лет мы увидели снижение доли Python: возможно, использование Data Science дошло до точки насыщения.

Впервые с 2012 года выросла доля C#. Использование Java продолжает уменьшаться, хотя и не так активно, как раньше. В общем видно уменьшение доли JVM: доля Kotlin стабильна (хотя он и уступил место Ruby), использование Scala возобновилось после значительного снижения в 2019-м и сегодня, если сравнивать с 2018-м, даже немного возросло. Еще стоит отметить незначительный рост Dart.

Ниже приведена диаграмма с динамикой по актуальным языкам программирования по годам. Статистически значимыми являются изменения для C ++, TypeScript, Ruby, 1C, Scala, Pascal/Delphi, T-SQL. Напомним, что изменения статистически значимы, если с вероятностью 95% мы не можем получить результаты с изменениями и без, если будем равномерно выбирать две группы респондентов с одной популяции.

Области использования

В этом году мы впервые попросили респондентов указать сферу, в которой они работают. Результаты довольно интересны.

Видим, что примерно половина разработчиков - это бэкенд 52%, далее сегменты фронтенд 19% и мобильной разработки 8%, обработка массивов данных (туда относятся и Big Data и машинное обучение) - 6%. Desktop-программирование еще существует и занимает 4% от объема, системное программирование - 3% (сейчас небольшая доля) и Full-Stack разработка - примерно 1%.

Давайте рассмотрим, какие языки используют в зависимости от области применения

Мы видим, что основные языки бэкенда - это Java, C# и PHP. Доля JavaScript и TypeScript есть, но не такая большая и сравнима с долей Ruby и Go. В десятку главных языков бэкенда также входят Scala и С++.

Фактически весь фронтенд пишут на JavaScript и TypeScript. Использование других языков сугубо маргинальное. Доля TypeScript сравнительно меньше. Интересно будет посмотреть на это соотношение через год.

В мобильной разработке основные языки - Kotlin и Swift. А доля кроссплатформенных фреймворков меньше чем кажется. Кроме того, заметно, что Dart/Flutter сразу заняли большую нишу. А после React Native и Flutter есть еще место для C# Xamarin.

Среди обработки данных безоговорочным лидером является Python, далее - языки манипуляции данными T-SQL и PL-SQL. Особое место занимают Scala (здесь она более распространена, чем Java) и R.

Личные предпочтения

Как мы уже указывали, результаты выбора программистов нельзя использовать для прогнозирования, но здесь интересно, что наконец на графиках появился Rust. Опять видим некоторый спад интереса к Python и тенденцию перехода с JavaScript на TypeScript.

Посмотрим на индекс предпочтения - это относительное количество разработчиков на языке X, которые для следующего проекта в своей сфере тоже выберут язык X.

Интересно, что здесь данные отличаются от опроса в Stack Overflow и нашего предыдущего опроса: Rust расположен заметно ниже. Наиболее довольны пользователи Elixir (возможно, это миграция Erlang-комьюнити), также обращает на себя внимание место Clojure.

Если посчитать отдельно индекс удовлетворения по сферам применения, то результаты почти совпадают.

Изучение новых языков

Фаворитом, как и в предыдущие годы, стал Python. Его собираются изучать почти 18% из тех, кто будет осваивать новый язык. Но все-таки эта доля меньше, чем год назад. Ну а наибольший рост у TypeScript и Rust.

Как и в предыдущие годы, большинство респондентов (83%) хочет изучать новый язык самостоятельно, с помощью книг и документации, 4% будут обращаться к коллегам (впечатляющая интровертность), а 12% будут использовать традиционный подход - с помощью профессиональных преподавателей (курсов или индивидуальных занятий).

Финальная таблица

Дополнительные данные

Несмотря на языки программирования, также имеет смысл рассмотреть структуру распределения опыта в динамике.

Tут можно сделать вывод, что, поскольку доля разработчиков с опытом в 1 год уменьшилась => в IT пришло меньше новичков, чем в прошлом году.

Но все равно в большинстве это специалисты с менее 5 лет опыта работы в ИТ.

Рассмотрим корреляцию между возрастом и языком программирования.

Здесь мы видим, что более молодая аудитория у Kotlin и JavaScript, а более старшая - ожидаемо у языков PL-SQL и Pascal/Delphi. Похожие данные показывает опыт разработчика в зависимости от языка:

Большинство разработчиков начинало программировать на Pascal и С++, но вскоре первыми языками разработчиков станут JavaScript и Python. Интересно, как это повлияет на культуру программирования ...

Данные и скрипты обработки можно найти на GitHub.

Также dou.ua недавно опубликовал опрос о зарплатах в Украине, где оказалось что средняя зарплата составляет $2500, перевод этой статьи вы можете прочитать тут.

Подробнее..

Категории

Последние комментарии

© 2006-2021, personeltest.ru