Русский
Русский
English
Статистика
Реклама

Интернет

Активное внедрение стандарта Интернета RPKI полезно ли?

26.12.2020 10:13:54 | Автор: admin

Сейчас почитал, поразмыслил и начал понимать, что, возможно, я рано сегодня порадовался отличной статистике внедрения RPKI в массы в этом году.

Текущий год, помимо известных всем событий и увеличенной нагрузки на сеть, отметился ещё одним немаловажным движением. В течение этого года происходило ускоренное внедрение названного протокола у большинства крупнейших интернет-провайдеров. Даже хэштег на эту тему запустили в твиттере.

Да, внедрение RPKI безусловно можно назвать достижением, но только для определённого круга заинтересованных организаций. Для российского телекома это может стать началом конца.

Суть здесь вот в чём. Внедряемый стандарт подписей рассылок интернет-адресов основывается на иерархической системе сертификатов. То есть это почти та же система, только с дополнениями в виде номеров сетей и анонсов ip-адресов. Данный стандарт предполагает, что ведущие держатели мировых сетевых мощностей будут доверять только анонсам сетевых маршрутов от их непосредственных исполнителей, т.е. тех, кто эти маршруты будет собственно осуществлять, либо их непосредственных начальников. Неформально если - теперь сложно будет ходить "налево".

Проблема вот в чем. Мы, получается, переходим к иерархической схеме управления, к древовидной. И сам протокол, и принципы, на которых он основан, суть древовидные структуры. А это идёт в разрез с философией Интернета, который создавался и, тьфу-тьфу, функционирует в распределённом режиме. Интернет -это структура произвольного графа (за исключением некоторых сервисов типа DNS, уже названной системы сертификатов PKI и той же раздачи адресов), без ориентированности на строгую иерархию, без единственной головы.

Голов у Интернета в этом смысле много - если считать ими точки концентрации трафика. Теперь давайте разберёмся, что же это за "головы" мирового Интернета. Это в первую очередь телеком операторы т.н. бэкбона интернета - самых скоростных и широкополосных каналов связи. (Их принято называть операторами Tier 1, т.е. первого высшего уровня. Эти операторы никому не платят за интернет, поскольку они и являются его основой. К ним подключаются средние операторы Tier 2 и т.д.).

Связность в европе и окрестностяхСвязность в европе и окрестностях

Также в группу голов можно смело заносить крупных поставщиков контента, типа Netflix, Amazon, Vkontakte и Google. А также их крупнейших посредников - точки обмена трафиком, или пиринг-центры, представляющие из себя ассоциации разных интернет- и контент-провайдеров разного уровня. Именно во многом благодаря их существованию Интернет более-менее распределён, а значит устойчив к сбоям и, что немаловажно, к монополиям.

Во многом за счёт последних скорости интернета выше, а цены ниже. Именно они вносят значительный вклад в представление Сети как графовой распределённой структуры, у которой нет основных 3-4 владельцев, в основном американских (хотя надо отдать должное, скандинавская Telia Sonera на первом месте сейчас). Так вот, внедряемый стандарт основан на иерархии подписей маршрутов, аналогично иерархии подписей сертификатов сайтов.

Основа протоколаОснова протокола

И выдача маршрутов (как мне сейчас представляется) соотносится с современным положением вещей примерно так же как сама нынешняя система сертификатов PKI соотносится с распределёнными системами типа блокчейна. Ну или другая аналогия, политическая - как однополярный мир соотносится с многополярным. Программистская аналогия - как централизованный и распределённый контроли версий ПО. Финансовая: как Бреттон-Вудская, ныне Ямайская, система (золотодолларовый стандарт) соотносится с золотым стандартом начала 20-го века.

Вернёмся к Интернету.

Дерево связей протокола RPKIДерево связей протокола RPKI

По принятому протоколу доверие маршрутам обеспечивается только согласно иерархическим лицензиям, выданным от основных их владельцев - крупнейших телекомов бэкбона Интернета. То бишь из тех "голов", что я перечислял, влияние перетекает только к первой немногочисленной группе "владельцев" интернета. А различные региональные игроки остаются в стороне. Существующие ассоциации (пиринговые центры) наподобие российских MSK-IX или DATAIX, пока что довольно влиятельные, потеряют возможность обмениваться трафиком, так как их участники не смогут обмениваться маршрутами, нарушая границы своих иерархий, то есть обмен налево будет затруднён. А это и был основной смысл существования этих точек обмена. В результате контроль над трафиком уйдёт к крупнейшим телекомам. Российские телекомы не глобальны и впадут в зависимость от западных. Точки обмена трафиком просто распадутся. Установится монополия (или если хотите олигополия) в сфере коммуникаций, маршруты будут прокидываться через головы, они станут длиннее, а значит связь будет во многих случаях медленнее. Ну и конечно вырастут цены. За большую цену вы получите худшую связь.

И ещё один аспект - в целом под предлогом защиты Интернета зарубят связность и распределённость (свойства графа интернета), количество интерконнектов, что не только скажется на качестве и скорости, но и уменьшит надёжность связи.


Я надеюсь, что на Хабре найдутся специалисты, которые могут развеять мои сомнения и опасения. Или объяснят, что, например преимуществ у новой технологии больше чем недостатков (если они есть).

Удачного всем дня!

Подробнее..

Еще немного про использование VPN в Билайн

17.03.2021 16:04:48 | Автор: admin

Привет! В этой статье я расскажу о ещё двух вариантах VPN, используемых нами для включения клиентов с помощью Мультисим Резервирования, это L2TP иL2-VPN. Первый используется для включения сервисов Интернет, второй для включения каналов L2 MPLS.

Самый первый L2TP

Исторически этот вариант был самым первым внедренным вариантом для предоставления сервиса Интернет клиентам, именно на нем мы обкатывали все бизнес-процессы включений, набивали первые шишки со сложностью настройки СРЕ, процессами активации Sim-карт и прописывания их в выделенные APN, выбирали наиболее оптимальные варианты настроек и конфигураций СРЕ и РЕ оборудования, суммарно за первые полгода мы подготовили восемь различных версий конфигураций оборудования. Такой итеративный подход позволил найти баланс между потребностями клиентов и нашими возможностями, мы посмотрели, что и как стоит настраивать, как выстроить процессы, а за что лучше не браться вообще.

Архитектурно схема выглядит так:

Описание:

В роутер устанавливаются две Sim-карты, прописываются APN и настраивается радио-интерфейс, плюс настраивается WAN-интерфейс для входящего проводного канала, если он есть. Sim-карты прописываются в типовые APN, все APN разных операторов связи объединены в один VRF и получают стандартизированные приватные IP-адреса из своих APN.

На нашем RADIUS-сервере при подключении создается сессионный аккаунт для клиента, информация о этом аккаунте будет использована BRAS при построении сессии. Роутер начинает строить L2TP-сессию либо через проводной WAN-интерфейс (интернет-канал), либо через радиоинтерфейс, в зависимости от типа работы (Fix+LTE/3G или "чистый" LTE/3G), сессия терминируется на BRAS с типовыми настройками прописанными на RADIUS сервере.

Также на RADIUS-сервере возможна настройка Framed Route с публичной интернет подсетью, которая настраивается на LAN-интерфейсе роутера и транслируется клиенту. Таким образом, каждый клиент имеет один статический IP-адрес на туннеле с приватной адресацией и NAT на трех LAN-интерфейсах, и дополнительно прописанную публичную подсеть (обычно это /31 или /30 подсеть) на одном LAN-интерфейсе.

Так как туннель может строиться через кабельное подключение (интернет-канал) или Sim-карты, а подсеть маршрутизируется за туннель, клиент получает статичные настройки вне зависимости от используемой транспортной сети.

При пропадании кабельного канала роутер за 10-20 секунд перекидывает трафик на радиоинтерфейс и первую Sim-карту, а в случае проблем и с ней производит смену рабочей Sim-карты на резервную, обычно эта смена занимает 60-90 секунд.

За выбор маршрута трафика между кабелем и радиосетью отвечает встроенный инструмент NQA (Network Quality Analysis) и значения preference route:

#nqa test-instance admin inet test-type icmp destination-address ipv4 4.2.2.2 frequency 20 source-interface GigabitEthernet0/0/4 start now##ip route-static 0.0.0.0 0.0.0.0 Virtual-Template1 preference 40ip route-static 4.2.2.2 255.255.255.255 GigabitEthernet0/0/4 dhcpip route-static 85.21.4.234 255.255.255.255 GigabitEthernet0/0/4 dhcp track nqa admin inetip route-static 85.21.4.235 255.255.255.255 GigabitEthernet0/0/4 dhcp track nqa admin inetip route-static 100.64.0.0 255.255.254.0 Cellular0/0/0 preference 70ip route-static 100.64.0.0 255.255.254.0 NULL0 track nqa admin inet#

А за выбор активных Sim-карт отвечает скрипт автопереключения, написанный на Python.

Схема также имеет свои ограничения: cкорость доступа ограничена 30-50 Мбит/с, а MTU=1450.

Дальнейшее направление развития - это реализация этой же схемы с резервированием проводных каналов, но уже с использованием BGP, для анонса LAN-сети либо через кабель, либо через туннель, это позволит использовать роутер в виде резерва на широкополосных каналах в 100-200 Мбит/с и разделением маршрутов трафика по кабелю и по туннелю. Естественно, это будет работать только на проводных каналах от Билайн, для работы через других провайдеров мы отправляем весь трафик через L2TP-туннель.

Самый трудный L2 MPLS

Этот вариант получился самым последним в наших решениях на сегодняшний день, и был самым тяжелым с точки зрения реализации. Используемый протокол для этого типа подключений на Huawei AR129 SVPN L2TPv2, на ответной части стоит Cisco ASR1001-X, которая является ответной частью туннеля и выводит трафик в MEN сеть.

Архитектурно сеть выглядит так:

Настройка такого режима на роутере Huawei AR129 выглядит так:

#interface Tunnel0/0/0tunnel-protocol svpnencapsulation l2tpv3l2tpv3 local session-id 3l2tpv3 remote session-id 4tunnel-source 100.64.16.63tunnel-destination 100.64.0.43#

Самый трудный для нашей реализации ввиду особенностей работы протокола, сессия для L2 MPLS инициируется с IP-адреса Sim-карты, которая активна в конкретный момент для этого туннеля, и к IP-адресу привязываются значения и на CPE и на ответном узловом PE, а в случае проблем с работающей LTE/3G сетью происходит смена IP на Sim-карте.

У нас были следующие варианты выхода из этой ситуации:

  • Использовать GRE-туннель, и уже через этот туннель пускать туннель с L2 MPLS.

  • Назначать одинаковые IP-адреса на Sim-карты при настройке.

  • Сделать так, чтобы конфигурация туннелей менялась в роутере в зависимости от Sim-карты.

Первые два варианта хоть и выглядели оптимальными с точки зрения архитектуры сети (отдельный туннель отдельная пара портов на MEN-сети), но с точки зрения синхронизации процессов и технической поддержки это гораздо большая проблема.

Соответственно, пришлось реализовывать реконфигурацию роутера "на лету. Если учесть, что используемый нами Python-скрипт для автоматического переключения Sim-карт и так уже выполнял большую часть логики, нам осталось его немного дополнить парой функций:

При смене Sim-карт нужно было вызвать процесс изменения в параметрах настройки туннеля remote session-id и tunnel-source, и при обратной смене Sim-карт вернуть эти значения:

def l2_sim2(o, cli):log_syslog(o, ops.CRITICAL, "New parameters applied: " + l2_lses2 + " " + l2_rses2 + " " + l2_vcid2 + " " + l2_src2 + " " + l2_dst2)output, n1, n2 = o.cli.execute(cli, "system-view")  output, n1, n2 = o.cli.execute(cli, "interface Vlanif1")output, n1, n2 = o.cli.execute(cli, "undo link-bridge Tunnel0/0/0")output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "quit")result = o.timedelay(seconds=60, milliseconds=0)output, n1, n2 = o.cli.execute(cli, "system-view")  output, n1, n2 = o.cli.execute(cli, "interface Tunnel0/0/0")output, n1, n2 = o.cli.execute(cli, "tunnel-protocol svpn")output, n1, n2 = o.cli.execute(cli, "encapsulation l2tpv3")output, n1, n2 = o.cli.execute(cli, "interface Tunnel0/0/0")output, n1, n2 = o.cli.execute(cli, "l2tpv3 local session-id " + str(l2_lses2))output, n1, n2 = o.cli.execute(cli, "l2tpv3 remote session-id " + str(l2_rses2))output, n1, n2 = o.cli.execute(cli, "tunnel-source " + str(l2_src2))output, n1, n2 = o.cli.execute(cli, "tunnel-destination " + str(l2_dst2))output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "system-view")  output, n1, n2 = o.cli.execute(cli, "interface Vlanif1")output, n1, n2 = o.cli.execute(cli, "link-bridge Tunnel0/0/0 vc-id " + str(l2_vcid2) + " tagged")output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "save", {"continue": "Y"})def l2_sim1(o, cli):log_syslog(o, ops.CRITICAL, "New parameters applied: " + l2_lses1 + " " + l2_rses1 + " " + l2_vcid1 + " " + l2_src1 + " " + l2_dst1)  output, n1, n2 = o.cli.execute(cli, "system-view")  output, n1, n2 = o.cli.execute(cli, "interface Vlanif1")  output, n1, n2 = o.cli.execute(cli, "undo link-bridge Tunnel0/0/0")  output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "quit")result = o.timedelay(seconds=60, milliseconds=0)  output, n1, n2 = o.cli.execute(cli, "system-view")output, n1, n2 = o.cli.execute(cli, "interface Tunnel0/0/0")output, n1, n2 = o.cli.execute(cli, "tunnel-protocol svpn")output, n1, n2 = o.cli.execute(cli, "encapsulation l2tpv3")output, n1, n2 = o.cli.execute(cli, "l2tpv3 local session-id " + str(l2_lses1))output, n1, n2 = o.cli.execute(cli, "l2tpv3 remote session-id " + str(l2_rses1))output, n1, n2 = o.cli.execute(cli, "tunnel-source " + str(l2_src1))output, n1, n2 = o.cli.execute(cli, "tunnel-destination " + str(l2_dst1))output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "system-view")  output, n1, n2 = o.cli.execute(cli, "interface Vlanif1")output, n1, n2 = o.cli.execute(cli, "link-bridge Tunnel0/0/0 vc-id " + str(l2_vcid1) + " tagged")output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "quit")output, n1, n2 = o.cli.execute(cli, "save", {"continue": "Y"})

Какие плюсы у этой схемы работы в режиме L2 MPLS:

  • Роутер работает только прозрачным Ethernet до нашего РЕ, схему можно применять еще и как для Интернет, так и для IP VPN-включений.

  • MTU стал побольше, чем у варианта с IPSec.

  • Можно проводить легкую бесшовную подмену кабельных каналов при авариях.

Учитывая все варианты предоставления сервисов из предыдущих статей, мы смогли построить универсальную, надежную и масштабируемую инфраструктуру сети доступа с использованием преимуществ VPN, которую собираемся развивать в дальнейшем.

В следующих статьях расскажем про USB Deployment инструмент по простой настройке роутеров, Python-скрипт, который используем для переключения Sim-карт, и интеграцию нашего Мультисим-решения с Облачной АТС (в роутере есть встроенный SIP-клиент и два FXS порта, мы просто не могли не попробовать их использовать).

В одном из комментариев спрашивали про скорости роутера по IPSec.

По результатам наших тестов скорость составляет больше 50 Мбит/с (IPSec в режиме IKEv2, iperf3 - server), то же самое к режиму работы с L2TP-туннелем. Скорости поднимали и выше, но мы и не планировали предлагать клиентам больше 50Мбит/с по нашему решению, т.к. во-первых упираемся в "гигиенический" предел по LTE, во-вторых роутеры планировали использовать вместе с настройкой доп. сервисов типа SIP PBX (расскажем в следующей статье), и в-третьих, на смену Huawei AR129 у нас приходит Huawei AR617, который более производителен, что нам ещё предстоит испытать.

Подробнее..

Что такое VPN, Proxy, Tor? Разбор

19.04.2021 20:16:49 | Автор: admin
Анонимность и конфиденциальность это прекрасные понятия. Но в последнее время создается ощущение, что в сети оба понятия стили недостижимыми. Поэтому даже я, совсем не параноик периодически задумываюсь об инструментах, таких какVPN, Proxy и Tor. Вы наверняка слышали эти слова, а может быть даже регулярно пользуйтесь пользуетесь этими технологиями для сохранения анонимности, обхода блокировок, просмотра американского Netflix или банально для доступа к корпоративной сети.


Но как именно работают эти технологии и чем они отличаются? И правда ли что бесплатный сыр только в мышеловке?Сегодня поговорим о том как защитить себя и свои данные в глобально сети.

Proxy




Среди троицы VPN, Proxy, Tor самая простая технология это именно Proxy. С неё и начнём.

Proxy переводится с английского, как представитель, уполномоченный, посредник. Иными словами, прокси-сервер это сервер-посредник.

Технология работает также просто как и звучит. Представьте, что ваш трафик в сети это чемодан. Вы хотите доставить этот чемодан по определенному адресу, но не хотели бы делать это сами, раскрывая свое местоположение и имя. Поэтому вы нанимаете посредника, который сам доставит чемодан по нужному адресу не раскрывая вашу личность и настоящий адрес.Просто и удобно. Более того такие посредники достаточно многофункциональны и пригодятся не только для банального обеспечения конфиденциальности в сети:

  • Подменив свое местоположение при помощи Proxy, вы сможете обходить региональные блокировки. Например, именно прокси-серверы позволили Telegram так легко пережить несколько лет официальной блокировки.
  • Или вы сможете получить доступ к контенту, доступному только в определенных странах. Например, к американской библиотеке Netflix, которая существенно более обширная, чем наша отечественная.
  • Или сможете сэкономить на цене авиабилетов, воспользовавшись региональными ценовыми предложениями или скидками.
  • Но может быть и обратная ситуация. Если нужно, при помощи прокси, администраторы сетей могут ограничить доступ к отдельным ресурсам.
  • Есть и менее очевидные сценарии использования. Часто прокси-серверы кэшируют данные с популярных сайтов, поэтому загружая данные через прокси-сервер вы сможете ускорить доступ к этим ресурсам.
  • Или сможете сэкономить трафик. Потому что прокси-серверы могут сжимать весь запрашиваемый контент. Именно так работают различные турбо- и экономные режимы в браузерах.

В общем, вариантов применения прокси-серверов масса. И это позитивная сторона технологии, но есть у прокси-серверов и существенные недостатки.

Типы Proxy




Во-первых, сама по себе технология очень ограниченная.Прокси-серверы узкоспециализированы, поэтому на каждый тип интернет-соединения нужен свой тип прокси-сервера.

Например, для FTP-соединения (File Transfer Protocol) нужен FTP-прокси. Для HTTP и HTTPS также два отдельных HTTP- и HTTPS-прокси сервера.

Это серьёзное ограничение, поэтому еще есть отдельный тип прокси-серверов SOCKS-прокси.

Эта вариация протокола умеет работать с разными типами трафика. Но она работает медленнее, поэтому также подходит не для всех.

Безопасность Proxy


Но это половина беды. Все виды прокси объединяет главная, ключевая проблема проблемы с безопасностью.

Потому как прокси-сервера дополнительно никак не шифруют трафик. То есть HTTP трафик вообще не будет никак шифроваться. А HTTPS будет зашифрован также как и при обычном интернет соединении: при помощи SSL-шифрования.А это огромная проблема. И чтобы представить масштаб трагедии, давайте вспомним аналогию с чемоданом.

Пользоваться прокси-сервером это всё равно что передавать данные посреднику в чемодане без пароля. Делать такое можно только в случае если 100% доверяете посреднику. И конечно же стоит остерегаться бесплатных прокси-серверов с сомнительной репутацией.Ведь воспользоваться непроверенным бесплатным прокси, это все равно, что доверить доставить мешок бесплатному курьеру по объявлению на автобусной остановке.

Как же здорово, что во время блокировки Telegram мы все дружно пользовались проверенными надежными прокси. Так ведь?

VPN




Но есть технология, которая обладает большинством достоинств прокси и лишена большинства недостатков это VPN или Virtual Private Network виртуальная частная сеть.

Изначально эта технология задумывалась не как средство анонимизации трафика. Ее задачей было удаленно объединять компьютеры в единую сеть. Например, для доступа к локальной сети головного офиса из регионального филиала или из дома.

Принцип работы VPN похож на прокси.Трафик точно также, прежде чем попасть в интернет, сначала попадает на промежуточный сервер. Это с одной стороны позволяет вам, например, получить доступ к заблокированным ресурсам. Потому как для интернет провайдера, вы направляете запрос на VPN сервер, а не на запрещенный сайт.

С другой стороны, это позволяет вам сохранить анонимность, так как сайт, на который вы попали думает, что запрос пришел с IP-адреса VPN-сервера, а не вашего.Но прокси-серверы, делают по сути тоже самое, так в чем же тогда разница?

Ключевое отличие VPN от Proxy это сквозное шифрование. Весь трафик проходящий через VPN-сервер защищен на всём пути от точки входа до точки выхода.А всё потому, что при включенном VPN между вашим устройством и VPN-сервером создается зашифрованный канал связи, который защищает все данные от хакерских атак.

Опять же если сравнивать с прокси, в первом случае мы передаем открытый чемодан с информацией посреднику, которого либо могут в любой момент обокрасть, либо он сам украдет данные. В случае VPN мы передаем данные по закрытому туннелю проникнуть в который крайне сложно.Более того VPN работает со всеми типами данных и шифрует вообще весь трафик со всех приложений, а не только трафик вашего браузера.

При этом в отличии от прокси, для работы VPN на вашем устройстве обязательно должен быть установлен VPN-клиент в виде отдельного приложения или расширения браузера.

Впрочем, поставить приложение для рядового пользователя куда проще, чем копаться в настройках прокси где-то в настройках браузера.

Бесплатные VPN-сервисы




Получается, что VPN во всем лучше прокси? Не всегда.

Дело в том, что не все VPN-сервисы одинаково полезны. Как и в случае с прокси, бесплатные VPN-сервисы не раз были пойманы в слежке за пользователями и продаже их данных.

Например, VPN-сервис Betternet, который насчитывал 38 миллионов пользователей использовал целых 14 библиотек для слежки за пользователями.

А сервис Hola продавал IP-адреса бесплатных пользователей злоумышленникам. То есть преступники могли использовать ваш IP-адрес для своих делишек.

SHADOWSOCKS




С другой стороны, не все прокси-сервисы плохие. Например, существует особый тип прокси, который называется Shadowsocks. По сути, это SOCKS-прокси на стероидах.

Тут есть и мощное шифрование, и скрытие трафика, и возможность обходить различные блокировки. Есть клиенты как для компьютера, так и для смартфона, позволяющие оставаться под защитой постоянно.А создана эта штука была нашим дружественным братским китайским народом с целью обхода великого китайского файерволла.

Отсюда и несколько приятных особенностей Shadowsocks. Например, для элегантного обхода блокировок, он умеет выборочно маскировать трафик. Вы сами выбираете что прятать, а что нет.

Например, находитесь вы в Китае и хотите проверь почту на Gmail, или свят-свят посмотреть YouTube. Благодаря Shadowsocks, вы сможете сможете сделать и это, и одновременно посещать сайты, доступные только из Китая.

В свою очередь, VPN-сервисы зашифровывают весь трафик, поэтому открыть сайты, доступные только в Китае, вы уже не сможете.

Но это не значит, что Shadowsocks лучше VPN.В отличие от VPN-сервисов, Shadowsocks не создан для защиты конфиденциальности и анонимности пользователя. При использовании Shadowsocks? пакеты данных остаются без шифрования. Это сделано специально, чтобы ваши данные были больше похожи на обычный HTTPS-трафик и не вызывали подозрений.Поэтому Shadowsocks подходит только для обхода блокировок? но никак не для безопасности или подключения к корпоративной сети.В этом плане VPN вне конкуренции. С поправкой на то, что пользоваться нужно только проверенными сервисами с хорошей репутацией.

Tor




И, наконец, самый хардкорный способ анонимизации в сети Tor. Что это и правда ли, что Tor такой безопасный?

Tor расшифровывается как The Onion Router и он использует так называемую луковую маршрутизацию. Твои данные это сердцевина луковицы, а их защита слои вокруг. Что это значит?

Для анонимизации Tor, также как прокси и VPN, пропускает трафик через промежуточные серверы. Но Только в случае с Tor их не один, а три, и называется они узлами.



А вот теперь смотрите, ваш трафик проходит через три узла:

  1. входной или сторожевой,
  2. промежуточный,
  3. выходной.

Зачем это нужно?

Во-первых, чтобы скрыть ваш IP-адрес. Каждый узел знает IP-адрес только узла, который стоит в цепочке перед. Поэтому пока ваш трафик дойдет до третьего узла, исходный IP потеяется.

Во-вторых, ваш трафик обернут в три слоя защиты. Поэтому первый и второй узел не видят вашего трафика, они только снимают слои защиты как, как кожуру с луковицы, а вот достает сердцевину и отправляет запрос в интернет только третий выходной узел.

Эти узлы разворачивают сами пользователи сети на своих компах. Чем больше пользователей, тем безопасней и тем быстрее работает сеть.

А доступ к сети осуществляется через специальный браузер Tor Browser, основанный на Firefox. Его улучшили дополнениями, запрещающими сайтам следить за тобой. Например браузер умеет отличать все скрипты на сайтах, фактически запрещая собирать любые данные пользователя, или заставляет сайты принудительно использовать шифрование.Звучит очень безопасно, но на практике, это не так.

Во-первых, Tor очень не любят правоохранительные органы, а сам факт использования Tor легко отследить.Поэтому, просто используя Tor Browser, вы уже можете привлечь лишнее внимание. Иными словами лучше использовать Tor в связке с VPN.

Во-вторых, владельцы выходных узлов очень рискуют. Ведь именно они несут ответственность за все действия, которые совершают пользователи сети.

В-третьих, те же владельцы выходных узлов видят весь ваш трафик, а значит они могут отследить вас по косвенным признакам. Именно поэтому выходные узлы больше всего любят создавать сотрудники правоохранительных органов.

Более того, из-за многослойного шифрования сеть Tor работает очень медленно, половина сайтов прост отказывается корректно работать через Tor Browser.

Итоги




Что в сухом остатке? Если вы беспокоитесь за свою безопасность в сети, то самым оптимальным способом защиты будет VPN. Но не забывайте, что использовать надо только надежные VPN-сервисы с хорошей репутацией. Часто информацию о надёжности того или иного сервиса можно найти в интернете, в специальных статьях. Также помните, что хороший VPN может стоить денег, вернее его создатели могут брать за его использования какую-либо сумму. Ведь бесплатный сыр бывает только в мышеловке.
Подробнее..

Recovery mode Nemezida DNT плагин, для защиты от сбора информации

26.04.2021 08:11:20 | Автор: admin

Здравствуй, уважаемый читатель!

Многие из нас слышали о слежке за пользователями в интернете и о сборе персональных данных, некоторые сталкивались с этим не понаслышке.

Неважно, являетесь вы домашним или корпоративным пользователем, все мы посещаем различные сайты, которые в той или иной мере вытягивают с наших устройств информацию о нас. Еще больше данных о себе и своем устройстве вы отдаёте, посещая вредоносные сайты.

Собирая эти данные и обрабатывая их, тот, кто ими завладел, может составить ваш цифровой портрет, состоящий из цифровых отпечатков или следов, оставленных в сети и этим уже занимаются злоумышленники, взломавшие 120 рекламных серверов.

Согласно результатам исследованияEFF (Electronic Frontier Foundation), уникальность отпечатка браузера очень высока, и он содержит в себе нижеописанные данные:

  • user-agent (включая не только браузер, но и версию ОС, тип устройства, языковые настройки, панели инструментов и т.п.);

  • часовой пояс;

  • разрешение экрана и глубину цвета;

  • supercookies;

  • настройки cookie;

  • системные шрифты;

  • плагины к браузеру и их версии;

  • журнал посещений;

  • другие данные.

    Если говорить о статистике, то только раз на 286 777 случаев случается полное совпадение отпечатков браузеров двух разных пользователей.

Согласно ещеодному исследованию, точность идентификации пользователя при помощи отпечатка браузера составляет 99,24%.

Рассмотрим вершину айсберга и приведём простые примеры, что может случиться с собираемыми о вас данными:

сбор данных для ведения статистики;

сбор данных для показа рекламы;

сбор данных для продажи организациям;

сбор данных для осуществления незаконных действий;

сбор данных для проведения целенаправленных атак;

сбор данных для кражи и мошенничества;

многое другое.

А контролируете ли вы передачу этих данных, если да, то как? Какими средствами защиты информации и плагинами вы пользуетесь? На этот вопрос каждый из вас может ответить в комментариях.

Если еще сильнее углубиться в данную проблему, то какие данные могут утекать не только у обычных домашних пользователей, но и у сотрудников компаний? И к чему это может привести? Чтобы ответить на этот вопрос, предлагаю ознакомиться с рисунком 1.

Рисунок 1 Схема формирования цифрового портретаРисунок 1 Схема формирования цифрового портрета

Многие из нас сталкивались с различными проблемами и неприятностями в офисе, и для наилучшего решения этих проблем некоторые прибегают к поиску решения в сети.

Ряд сотрудников IT, юридического, финансового и других отделов уже понимают, о чём речь. И эту информацию мы тоже отдаем неизвестным нам ресурсам, трекерам и маячкам, не говоря уже о злоумышленниках.

А теперь, зная ваш цифровой портрет и владея информацией о проблемах в организации и ее уязвимых точках, что с ней может сделать злоумышленник? Вопрос риторический.

Под прицелом остаются организации, ведущие разработки для оборонно-промышленного комплекса, космонавтики, медицины, научной деятельности и т.д.

Многие компании и их сотрудники становятся уязвимыми для целенаправленных ATP-атак, а это уже влечет за собой более крупные риски и ущерб. Готовы ли мы принимать эти риски?

Согласно проведённому мной опросу, многие руководители, специалисты и рядовые граждане не готовы к этим рискам, так как при их возникновении они сталкиваются или могут столкнуться с рядом проблем:

понижение заработной платы;

лишение премии;

увольнение с работы;

финансовые и репутационные риски организации.

На рисунке ниже вы можете ознакомиться с данными компании PositiveTechnologies за 2019 год и сделать выводы о типах украденных данных. Для статистики были взяты данные за 2019 год, так как отчет за весь 2020 год от PositiveTechnologies еще не сформирован.

Рисунок 2 Типы украденных данных за 2019 годРисунок 2 Типы украденных данных за 2019 год

Этот вопрос мы прояснили, но давайте постараемся ответить на вопрос А как эти данные крадутся ещё?. Для ответа на этот вопрос мы обратимся к статистике от той же организации и рассмотрим ее на рисунке 3.

Рисунок 3 Способы распространения ВПОРисунок 3 Способы распространения ВПО

Помимо сбора информации о нас для формирования цифрового портрета, данные о нас собирают вредоносные сайты, которые не всегда блокируются средствами защиты информации, некоторые даже не оповещают об этом и для закрытия этого вектора угроз нужна эшелонированная защита. На рисунке 3 мы видим, что первые два места по распространению вредоносного ПО занимают веб-сайты и электронная почта.

Для решения этих проблем была начата разработка двух версий продукта Nemezida DNT:

Nemezida DNT Enterprise Edition версия продукта, созданная для более глубокой защиты компаний и корпоративного пользователя.

Nemezida DNT Home Edition бесплатная версия для домашнего пользователя с функцией режима защиты Перископная. Начиная с режима защиты Рабочая, продукт будет монетизироваться.

На рисунке 4 вы можете ознакомиться c функциями продукта, которые планируются к реализации, часть из них уже реализованы.

Рисунок 4 Набор функций в Nemezida DNTРисунок 4 Набор функций в Nemezida DNT

На текущий момент у нас реализован следующий функционал:

подмена Fingerprint;

подмена cookie;

подмена user agent;

VirusTotal;

Cisco Talos.

Последние два модуля будут доработаны, в частности, будет больше информативности о посещенном сайте, также посещение вредоносного сайта будет блокироваться.

Особенность нашей разработки заключается в мультифункциональности, она показана на рисунке 5.

Рисунок 5 Особенности Nemezida DNTРисунок 5 Особенности Nemezida DNTРисунок 6 Список поддерживаемых браузеровРисунок 6 Список поддерживаемых браузеров

Нашими дизайнерами было создано несколько тем для нашего плагина, Home Edition и Enterprise Edition. На рисунке 7 Вы можете ознакомиться с Home Edition темой нашего плагина, она будет доступна по умолчанию для всех режимов защиты, но сменить ее можно будет на другую, только имея лицензию с уровня защиты Рабочая.

Рисунок 7 Дизайн Home EditionРисунок 7 Дизайн Home Edition

Для версии Nemezida DNT Enterprise Edition была разработана тема в трех тонах: Белый, Черный, Синий, с которыми вы можете ознакомиться на рисунках 8, 9 и 10.

Рисунок 8 Белая тема Enterprise EditionРисунок 8 Белая тема Enterprise EditionРисунок 9 Черная тема Enterprise EditionРисунок 9 Черная тема Enterprise EditionРисунок 10 Черная тема Enterprise EditionРисунок 10 Черная тема Enterprise Edition

Перед каждым релизом мы будем тщательно проверять наш продукт на наличие уязвимостей и устранять их в случае, если такие будут найдены. Помимо прочего мы начали писать серверную часть, которая будет заниматься сверкой лицензионных ключей. Важно понимать, что ни наш продукт, ни мы не будем заниматься сбором и накоплением данных, в этом вы и сами сможете убедиться при проверке работы продукта в Wireshark, когда продукт выйдет в релиз.

Многие интересовались, на каком стеке мы ведем разработку нашего продукта, ответ на этот вопрос находится на рисунке 11.

Рисунок 11 Используемый стек технологийРисунок 11 Используемый стек технологий

Ниже вы можете ознакомиться с членами нашей команды, которые участвуют в разработке решения.

Выйти в релиз мы планируем через 3-4 месяца благодаря вашей обратной связи о нашем проекте, прохождению опроса и поддержке разработки на платформе Boomstarter.

В комментариях к этой статье вы можете оставить обратную связь, поделиться информацией, как вы решаете описанную в статье проблему, является ли это для вас реальной проблемой, какие средства защиты используете и какие у них есть плюсы и минусы для вас как для пользователя.

Спасибо за внимание!

Подробнее..

Перевод Как ИТ перестали быть скучными

26.05.2021 14:12:47 | Автор: admin


Невысокого роста, седые волосы, усы, склонность к облысению, клетчатая рубашка с короткими рукавами. В его офисе (без окон) стоит книга OReilly про XSLT с цаплей на обложке. Пусть его зовут Гордон (мужчину в клетчатой рубашке, не цаплю).

Некоторые факты о Гордоне:

  1. Он любит, чтобы в файлах VBScript были комментарии. А если вы не оставляете комментарии в нужном формате, скрипт будет удалён.
  2. Нельзя писать код, пока вы не знаете о принципах работы сетей. И пакетах установщика Microsoft. И Configuration Manager. Он начнёт с обучения вас Windows NT 4.0, несмотря на то, что её выпустили в 1996 году.
  3. Или делай, как он тебе сказал, или убирайся. Сисадмин дал, сисадмин взял. У него есть такой магнитик на холодильнике. Вы можете класть свой обед в холодильник, но после трёх часов дня пятницы его обязательно выкинут. Он обращается с холодильником точно так же, как и с папками temp на своих серверах.
  4. Вам не дадут прав администратора на вашем компьютере.



"Бог Сисадмин дал, сисадмин взял".

Гордон не разработчик, хоть и пишет скрипты, а также код веб-сайтов компании. Он обращается с ним очень строго. Текст обязан быть размером 10pt, Times New Roman, чёрного цвета. Эти веб-сайты не для развлечения, это инструменты бизнеса, и с ними нужно обращаться соответствующим образом.



Я пишу веб-сайты уже больше двадцати лет. Но профессионально я занимаюсь этим только тринадцать лет. Под профессионально я подразумеваю, что прихожу в офис, где работают другие люди (а в наши дни это означает, что я вхожу в систему с компьютера в своей комнате), и занимаюсь чем-то, связанным с разработкой ПО, в обмен на деньги.

Хождение в офис меняет саму природу этой работы. Это означает, что существует масштаб и взаимодействие с другими людьми, в этом-то и проблема. Писать код или заставлять выполнять его свои приказы легко, когда есть только ты и один компьютер. Это честный бой. На работе перевес оказывается не твою сторону. В отделе ИТ ты можешь взаимодействовать с тысячами или десятками тысяч компьютеров. Если ты работаешь с публичным приложением, то оно может быть запущено на миллионах компьютеров. За годы работы сотни людей будут читать или редактировать написанный тобой код. Эти люди будут добавлять или удалять строки и ворчать о том, что ты использовал табуляции или пробелы. Кто-то должен создавать правила, по которым должны играть все.

Когда мне впервые начали платить за работу, связанную с компьютерами, веб-сайты создавались с помощью jQuery (даже если требовалось динамическое поведение). Гордон пренебрежительно относится к jQuery, да и к любым другим попыткам добавления интерактивности в веб-страницы. Он называет это показухой. Он работал здесь, ещё когда в компании впервые появились компьютеры, он прокладывал первые сети и знает все технологии, от кабеля Ethernet до самого верха абстракций. У него не было времени на этих новичков, игравшихся с технологиями на самой верхушке стека. Особенно когда эти игры приводят к повышению нагрузки на канал и передаче по кабелям Ethernet информации, никак не улучшающей страницу. Это неправильные информационные технологии.


Немного best practices jQuery.

ИТ это знания и правила. Обязательно нужны правила, ведь без правил тщательно выстроенная система развалится. Поэтому у Гордона есть список приложений, которым разрешено работать в сети. Если ты хочешь использовать приложение, которого нет в списке Гордона, то нужно будет отправить ему письмо с объяснением, зачем ты хочешь его использовать. Он купит копию приложения, оценит его безопасность, и если проверка будет пройдена, установит его на твою машину. И да, так нужно делать с каждой версией приложения. Нет, неважно, что Photoshop 6 разрешили, нужно отправить отдельный запрос на Photoshop 7. Ну и что, что он был создан огромной компанией? Гордону всё равно нужно выполнить проверку, чтобы убедиться, что из-за Photoshop 7 в сети не появится вирусов. Это его сеть и его правила. Сисадмин дал, сисадмин взял.

Но начинает происходить нечто странное.


Есть некий отдел медиа. Гордон не обращает на него особого внимания, но теперь этот отдел отвечает за веб-сайт компании и хочет, чтобы появилось много серверов и ПО. Эти ребята хотят поставить ПО, которое Гордон не одобрял. Очевидно, что Гордон противится, но у руководства есть своё мнение.

Этот отдел медиа только и занимается созданием показушных веб-сайтов, которые, если честно, грузятся намного медленнее написанных Гордоном и обладают гораздо меньшей плотностью информации. На веб-сайте Гордона со шрифтом Times New Roman и размером 10pt можно уместить без скроллинга четыре-пять сотен слов. Эти новые сайты состоят из одних полей, отступов и пробелов. А уж как работает команда этого отдела! Они развешивают стикеры с заметками, а каждое утро встают в круг и передают друг другу игрушечную мягкую обезьяну. Обезьяну!

Пользователи говорят, что некоторыми из созданных Гордоном инструментов (инструментов, чёрт возьми, не приложений) сложно пользоваться, но ведь это инструменты бизнеса. Пользователи должны учиться пользоваться ими, прочитав руководство или пройдя обучающий курс, если нужно. Это их работа. Если ты считаешь, что самолётом сложно управлять, то тебе не стоит лезть в кабину. Людям платят за то, чтобы они учились этому. Им платят не за то, чтобы они скроллили страницы с красивыми шрифтами и огромными отступами.

Я видел, как эти изменения происходили постепенно, а потом внезапно. Любопытно, насколько сильно всё менялось. Люди уходили, приходили новые, менялось руководство, а бюджеты перераспределялись. Мы живём в гибридном мире. В некоторых его частях есть строгие правила, ограничения и процедуры. Запросы на внесение изменений, ревью и утверждения. И ещё есть мир разработки. Мир scrum, kanban, agile и UX. Нельзя сказать, что у этого нового мира нет процедур они передают друг другу обезьянку не ради веселья но это другой тип процедур. Менее бюрократичный. Больше напоминающий секту.

Даже сегодня эти два мира сосуществуют в вынужденном полуперемирии. Было бы неправдой, если бы я заявил, что мы перешли из мира больших мэйнфреймов и ИТ-систем в новый дружественный к пользователям цифровой мир. Достаточно просто посетить любую крупную компанию и увидеть SAP, Oracle Business Suite и любые другие бизнес-приложения, которыми они до сих пор пользуются.


Говорят, через год-полтора выйдет обновление, меняющее интерфейс.

Раньше ИТ-системам требовались хорошо обученные операторы. Это было дорогое оборудование для специалистов, управлять которым нельзя было поставить любого человека. Чтобы быть оператором ИТ, требовался набор навыков. Это была специальная работа, а не одна из задач, которые ты выполняешь на своей обычной работе.

Сегодня программное обеспечение стало продуктом. Способность пользоваться компьютером больше не является специализированным техническим навыком, как способность управлять самолётом, а является стандартным требованием к любому работнику, как умение читать и писать. Когда-то существовал пул секретарей, которые являлись профессиональными машинистками. С одной стороны, эта профессия вымерла: больше машинисток нет. С другой стороны, мы все теперь машинистки.

Даже если у вас есть правила ИТ, маловероятно, что вы можете принуждать их исполнять. Пользователи устанавливают приложения без прав администратора. Скорее всего, вам не удастся создать списки сайтов, которые безопасны и небезопасны (хотя некоторые компании пытаются). Правила о том, на какие страницы можно заходить с компьютера или смартфона, столь же странны, как и правила, запрещающие писать некоторые слова взятой на работе ручкой. И это ещё не говоря о том, что люди используют для работы свои домашние компьютеры и личные адреса электронной почты. Причём это не только какие-то старики. Известны истории о том, как люди с доступом к самой секретной информации в стране получали доступ к ней через личные серверы электронной почты и Whatsapp.

Именно так теперь всё работает.

Но теперь ransomware-атака ударяет по тысячам компьютеров и стоит миллионы фунтов. Все эти user stories и стикеры больше вас не спасут, каким бы простым в использовании ни был ваш сайт.



Смысл не в том, что Гордон ошибается и он динозавр из давно ушедшей эпохи. И не в том, что он прав, и script kiddies захватили сети. Я хочу сказать, что изменились ИТ. Настолько, что теперь это другой мир со своим набором проблем. Кот выбрался из мешка, и если вас нанимали для того, чтобы держать мешок и не дать выбраться из него коту, то ваши навыки не готовили вас к уходу за котом.


Его больше не запихнёшь в мешок. И теперь он спрашивает: I Can Has Cheezburger?

Дефицит кода превратился в избыток. И это требует других навыков. У меня есть теория, что люди не очень хорошо справляются с избытком. Возможно, это остатки доисторических инстинктов охотников и собирателей, такова моя псевдоантропологичекая гипотеза. В условиях дефицита мы охотимся, чтобы добыть больше, экономим пищу, придумываем инновации и оптимизации. Но когда возникает сверхизбыток, то мы Что? Набрасываемся? Паникуем? Тратим его впустую? Думаю, решение проблемы слишком большого количества чего бы то ни было менее инстинктивно понятно для нас. Не знаю, приведёт ли моя теория к чему-нибудь, но забавно, что она обобщённо объясняет ожирение, проблему изменения климата и модули Node.

Я испытываю симпатию к Гордону. В его подходе есть чистота, пусть сотрудничество с ним иногда чрезвычайно раздражает. Он устарел, как торговец, пытающийся продать требюше солдатам Второй мировой.

Когда он пришёл в отрасль, запреты на всё были логичны и жизненно необходимы. И все остальные в этой отрасли были такими же. Сегодня если веб-сайт вашей компании выглядит так, как будто его создавали в 1998 году, вы не только будете казаться старомодным, вы попросту не сможете вести бизнес. Серые рубашки вышли из моды, им на смену пришли столы для биллиарда и слайды.

Когда эти миры сталкиваются, это становится стрессом для всех, кого это коснулось. Две группы людей говорят на разных языках, и каждая из них может найти оправдание своему подходу к решению проблем. В журналах для CIO (как оказалось, они существуют) эту ситуацию называют двуликим ИТ. Долгое время я считал, что всё постепенно перейдёт к новому, современному блестящему миру ИТ облачных сервисов, но теперь начинаю склоняться к мысли, что этого никогда не произойдёт. Технологии затратны, по-настоящему дороги. Они сложны, рискованны и неэффективны. На каждый успешный продукт приходится десять провалившихся и в какой-то момент финансовый директор перестанет давать вам деньги.

Поэтому сосуществование систем сохранится. Гордон с его страницами, заполненными Times New Roman, 10pt, и аллергией на React-приложения, выживет. И на самом деле, это здорово. Технологии изменились и продолжают меняться. Вероятно, мы обречены всегда существовать в переходном состоянии, некоторые из наших систем останутся в старом мире, другие будут в новом.

Как ни ужасны страницы Гордона, в одном он прав: они по-прежнему работают (более-менее). И очень быстро загружаются по нашему новому быстрому Интернету. Даже если они проектировались для экранов разрешением 640x480, а в безукоризненно отформатированном комментарии к исходнику указано, что в последний раз они обновлялись в 2008 году.



На правах рекламы


Закажи и сразу работай! Создание VDS любой конфигурации и с любой операционной системой в течение минуты. Максимальная конфигурация позволит оторваться на полную 128 ядер CPU, 512 ГБ RAM, 4000 ГБ NVMe. Эпичненько :)

Присоединяйтесь к нашему чату в Telegram.

Подробнее..

Перевод Мы обработали миллион веб-страниц, чтобы выяснить, что замедляет работу Интернета

30.12.2020 18:06:06 | Автор: admin
Мы обработали 1 миллион самых популярных страниц в Интернете, отслеживая все мыслимые показатели производительности, регистрируя каждую ошибку и отмечая каждый запрошенный URL. Насколько нам известно, это дало первый набор данных, который связывает воедино данные производительности, ошибок и использования конкретной библиотеки в сети. В этой статье мы анализируем то, что данные рассказывают о создании высокопроизводительных веб-сайтов.



Можете ли вы сделать анализ лучше нашего? Мы опубликовали набор данных на Kaggle, так что вы можете сами погрызть гранит этих цифр.



Зачем рендерить миллион веб-страниц?


В наши дни распространено мнение, что Интернет работает в какой-то степени медленнее и глючнее, чем 15 лет назад. Постоянно растущее количества кода на JavaScript, фреймворки, веб-шрифты и полифиллы просто съели все преимущества быстрых компьютеров, сети и протоколов. По крайней мере такие приводят аргументы. Мы хотели проверить, правда ли это, и попытаться выяснить, какие общие причины приводят к медленным и неработающим сайтам в 2020 году.

На высоком уровне план был прост: скрипт для веб-браузера, отображение корневой страницы 1 миллиона самых популярных доменов и логирование всех мыслимых показателей: время отрисовки, количество запросов, перерисовка, ошибки JavaScript, используемые библиотеки и т. д. Со всеми этими данными мы можем задавать вопросы о корреляции причин. Какие факторы больше всего способствуют замедлению времени рендеринга? Какие библиотеки соотносятся с большими затратами времени на время до включения интерактивности? Какие ошибки встречаются чаще всего, и что их вызывает?

Сбор данных сводился к написанию небольшого количества кода, использованию Puppeteer для создания сценария Chrome, запуску 200 экземпляров EC2, рендерингу миллиона веб-страниц за выходные и молитвам о том, что вы действительно поняли, как работает ценообразование AWS.

Числа в целом



Протокол используемый для корневого HTML-документа

HTTP 2 сейчас более распространён, чем HTTP 1.1, тогда как HTTP 3 всё ещё редко встречается. Примечание: мы приравниваем QUIC к HTTP 3, даже если Chrome иногда сообщает об HTTP 2 + QUIC. Такой подход используется для корневого документа, для связанных ресурсов версии протоколов немного другие.


Протокол используемый для связанных ресурсов

В смысле связанных ресурсов HTTP 3 примерно в 100 раз более распространён. Как такое возможно? Это возможно потому, что все сайты ссылаются на одно и то же:


Самые популярные связанные URL-адреса

Есть несколько скриптов, на которые ссылается большая часть веб-сайтов. Значит, мы можем ожидать, что эти ресурсы будут в кэше, верно? Уже нет: начиная с Chrome 86 ресурсы, запрашиваемые с разных доменов, не будут использовать общий кэш. Firefox планирует реализовать то же самое. Safari уже много лет разбивает свой кэш таким образом.

Что замедляет работу Интернета: прогнозирование времени до интерактивности


Учитывая этот набор данных веб-страниц и их метрики времени загрузки, было бы неплохо узнать что-нибудь о том, что именно делает веб-страницы медленными. Мы исследуем метрику DOM-интерактивности, то есть время, необходимое для того, чтобы документ стал интерактивным для пользователя. Самое простое, что мы могли бы сделать, посмотреть на корреляцию каждого показателя с DOM-интерактивностью.


Корреляция метрик с DOM-интерактивностью

По сути, положительно коррелирует с DOM-интерактивностью каждый показатель, за исключением переменной 01, указывающей на протокол HTTP 2 или выше. Многие из этих показателей также положительно коррелируют друг с другом. Чтобы учесть отдельные факторы, способствующие быстрому взаимодействию, нам нужен более изощрённый подход.

Некоторые из показателей это время в миллисекундах. Чтобы понять, где браузеры проводят своё время, можно взглянуть на диаграмму ящик с усами.


График временных показателей. Оранжевая линия медиана, границы ящика процентили 25 и 75.

Один из способов получить информацию об отдельных факторах, влияющих на длительное время взаимодействия, это провести линейную регрессию, в которой мы прогнозируем DOM-интерактивность на основе других показателей. Это означает, что мы назначаем вес каждой метрике и моделируем время DOM-интерактивности страницы как взвешенную сумму других метрик плюс некоторая константа. Алгоритм оптимизации устанавливает веса таким образом, чтобы минимизировать ошибку прогноза для всего набора данных. Размер весов, найденных с помощью регрессии, свидетельствует о том, насколько каждый показатель влияет на скорость страницы.

Мы исключим временные метрики из регрессии. Если на установление соединения мы потратим полсекунды, это добавит полсекунды к DOM-интерактивности, но этот факт не особенно интересен. Метрики времени это, по сути, последствия. Мы хотим узнать, что приводит к ним.


Коэффициенты регрессии для показателей, прогнозирование DOM-интерактивности

Числа в скобках это полученные алгоритмом оптимизации коэффициенты регрессии. Вы можете интерпретировать их как миллисекунды. Хотя к точным числам следует относиться скептически (смотрите примечание ниже), интересно увидеть отведённый каждому признаку масштаб. Например, модель прогнозирует замедление на 354 мс для каждого перенаправления, необходимого для доставки основного документа. Всякий раз, когда основной HTML-документ доставляется через HTTP 2 или HTTP более поздней версии, модель прогнозирует сокращение времени до DOM-интерактивности на 477 мс. Для каждого инициированного документом запроса она прогнозирует дополнительные 16 мс.

Интерпретируя коэффициенты регрессии, мы должны помнить, что работаем в упрощённой модели реальности. На самом деле время до интерактивности не определяется взвешенной суммой этих входных показателей. Очевидно, что существуют причины, которые модель не может обнаружить. Очевидно также, что путающие переменные это проблема. Например, если загрузка основного документа с помощью HTTP 2 коррелирует с загрузкой других запросов по HTTP 2, тогда модель включит это преимущество в весовые коэффициенты main_doc_is_http2_or_greater [основной документ загружен по HTTP 2 или выше], даже если ускорение происходит от запросов, отличающихся от основного документа. Мы должны проявлять осторожность при отображении того, что сообщает модель, на выводы о реальной ситуации.

Как на DOM-интерактивность влияет версия HTTP?


Вот забавный график DOM-интерактивности, разделённый по версии протокола HTTP, используемого для доставки корневой страницы.


График DOM-интерактивности, разделённый по версии используемого для доставки корневой HTML-страницы HTTP. Оранжевая линия это медиана, границы прямоугольника процентили 25 и 75. Проценты в скобках это доля запросов, сделанных с помощью протокола.

Небольшое количество сайтов по-прежнему доставляются по HTTP 0.9 и 1.0. И эти сайты бывают быстрыми. Кажется, мы запутались: протоколы стали быстрее, программисты с радостью пользуются этим ускорением, доставляя в браузер больше данных.

Это для версии протокола, используемая для доставки корневой HTML-страницы. Что, если мы посмотрим на влияние протокола на ресурсы, связанные с этим документом? Если мы сделаем регрессию количества запросов по версии протокола, то получим следующее.


Коэффициенты регрессии для количества запросов по версии протокола, прогнозирование DOM-интерактивности

Если бы мы поверили в это, то пришли бы к выводу, что перенос запрошенных ресурсов с HTTP 1.1 на 2 дает ускорение в 1,8 раза, а переход с HTTP 2 на 3 вызывает замедление в 0,6 раза. Действительно ли HTTP 3 медленнее? Нет; более вероятное объяснение: HTTP 3 редко встречается, а несколько ресурсов, которые отправляются через HTTP 3 (например, Google Analytics), имеют более чем среднее влияние на DOM-интерактивность.

Как на DOM-интерактивность влияет тип контента?


Давайте спрогнозируем время до интерактивности по количеству переданных байтов, разделённых по типу этих данных.


Коэффициенты регрессии для килобайтов, переданных инициатором запроса, с прогнозированием DOM-интерактивности

Вот аналогичная регрессия, на этот раз смотрим на количество запросов по типу инициатора запроса.


Коэффициенты регрессии для количества запросов от инициатора запроса, прогнозироваине DOM-интерактивности

Здесь запросы разделяются по тому, что инициировало их. Ясно, что не все запросы одинаковы. Запросы, инициируемые элементом ссылки (например, CSS, иконками) и запросы, инициируемые CSS (например, шрифты или ещё какой-то CSS), а также скрипты и фреймы значительно замедляют работу. Выполнение запросов через XHR и Fetch API предсказывает время DOM-интерактивности быстрее базового (вероятно, потому, что эти запросы почти всегда асинхронны). CSS и скрипты часто загружаются с блокировкой рендеринга, поэтому неудивительно, что они связаны с увеличением времени до DOM-интерактивности. Видео сравнительно дёшево в этом смысле.

Выводы


Мы не обнаружили здесь каких-либо новых приёмов оптимизации, но анализ даёт представление о масштабе воздействия, которое можно ожидать от различных оптимизаций. Следующие утверждения хорошо подкреплены эмпирически:

  • Делайте как можно меньше запросов. Количество запросов имеет большее значение, чем количество переданных килобайт.
  • Делайте необходимые запросы через HTTP 2 или выше, если это возможно.
  • По возможности старайтесь избегать блокирующих рендеринг запросов, а также, где возможно, предпочитайте асинхронную загрузку.

Библиотеки


Чтобы выяснить, какие библиотеки используются на странице, мы применили следующий подход: на каждом сайте мы отмечали глобальные переменные (то есть свойства объекта окна). Впоследствии каждая глобальная переменная с более чем шестью тысячами появлений была связана (где это возможно) с библиотекой JavaScript. Это кропотливая работа, но, поскольку в наборе данных также есть запрошенные URL-адреса для каждой страницы, можно было посмотреть на перекрытие между вхождениями переменных и запросами URL-адресов, чего часто было достаточно, чтобы определить, какая библиотека будет устанавливает каждую глобальную переменную. Глобальные переменные, которые нельзя было уверенно связать с одной библиотекой, игнорировались. Эта методология в некоторой степени приводит к недооценке: библиотеки JS не обязаны оставлять что-либо в глобальном пространстве имен. Метод также не фильтрует шум, когда разные библиотеки устанавливают одно и то же свойство, и этот факт был упущен при маркировке.

Какие библиотеки JavaScript используются сегодня чаще всего? Если судить по темам конференций и постам в блогах, вы можете предложить, что это React, Vue и Angular. В этом рейтинге они далеко не лучшие.

10 лучших библиотек согласно частоте использования



Просмотреть полный список

Да, наверху старый добрый jQuery. JQuery был выпущен в 2006 году, то есть 14 лет назад по человеческим меркам, но намного раньше по меркам JavaScript. Судя по версиям Angular, это, вероятно, сотни версий назад. 2006 год был другим временем. Наиболее часто используемый браузер назывался Internet Explorer 6, крупнейшей социальной сетью была MySpace, а закруглённые углы на веб-страницах стали такой революцией, что люди назвали это веб 2.0. Основным вариантом применения JQuery было применение для кроссбраузерной совместимости, которая в 2020 году стала совсем другой. Тем не менее 14 лет спустя, половина веб-страниц в нашей выборке загружала jQuery.

Как ни странно, 2,2 % веб-сайтов выдают ошибку по той причине, что JQuery не загружен.

Судя по этой десятке, наши браузеры в основном выполняют аналитику, рекламу и код для совместимости со старыми браузерами. Каким-то образом 8 % веб-сайтов определяют полифил setImmediate / clearImmediate для функции, которая пока не реализована ни одним браузером.

Прогнозирование времени до DOM-интерактивности при использовании библиотеки


Мы снова запустим линейную регрессию, прогнозируя DOM-интерактивность на основании наличия библиотек. Входные данными для регрессии это вектор X с X.length == количество библиотек, где X[i] == 1,0, если библиотека i присутствует, X[i] == 0,0, если нет. Конечно, мы знаем, что DOM-интерактивность на самом деле не определяется наличием или отсутствием определённых библиотек. Однако моделирование каждой библиотеки как имеющей дополнительный вклад в медлительность и регрессия по сотням тысяч примеров по-прежнему оставляют интересные результаты.

Лучшие и худшие библиотеки в смысле времени до интерактивности, по коэффициентам регрессии



Просмотреть полный список библиотек по коэффициентам регрессии, прогнозирующим DOM-интерактивность

Отрицательные коэффициенты здесь означают, что модель предсказывает меньшее время до интерактивности при наличии этих библиотек, чем при их отсутствии. Конечно, это не означает, что добавление этих библиотек сделает ваш сайт быстрее; это означает только то, что сайты с этими библиотеками оказываются быстрее установленного моделью базового уровня скорости. Результаты здесь могут быть как социологическими, так и техническими. Например, библиотеки для отложенной загрузки приводят к прогнозу малого времени до интерактивности. Прогноз может быть большим, потому что страницы с этими библиотеками созданы программистами, утратившими время на оптимизацию ради быстрой загрузки страниц, поскольку скорость прямое следствие ленивой загрузки. Мы не можем детально разобраться в причинах с помощью текущей схемы.

Лучшие и худшие библиотеки по времени загрузки, по коэффициентам регрессии


Мы можем повторить описанные выше действия, но на этот раз с прогнозом времени загрузки. Onloadtime это время, необходимое для запуска события загрузки окна, то есть время, необходимое для загрузки всех ресурсов на странице. Линейная регрессия делается так же, как и раньше.


Полный список библиотек по коэффициентам регрессии, прогнозирующим время загрузки

Лучшие и худшие библиотеки в смысле используемого размера кучи JS, по коэффициентам регрессии


Здесь прогноз это размер используемой JavaScript кучи в мегабайтах.


Полный список библиотек по коэффициентам регрессии, прогнозирующим размер кучи JS

В комментах любят писать, что корреляция не равняется причинно-следственной связи, и, действительно, мы не можем напрямую установить причинность с помощью этих моделей. Следует проявлять большую осторожность при интерпретации коэффициентов, особенно потому, что может быть задействовано множество путающих факторов. Тем не менее моделей вполне достаточно, чтобы заставить вас хмыкнуть. Тот факт, что модель связывает загрузку на 982 мс медленнее с наличием jQuery, а также факт, что половина сайтов загружает этот скрипт, должны вызывать некоторую обеспокоенность. Если вы оптимизируете свой собственный сайт, то перекрёстные ссылки на его список зависимостей с рангами и коэффициентами здесь должны дать вам приличный индикатор, удаление зависимостей которого может принести вам наибольшую отдачу за ваш доллар.

image



Подробнее..

Wi-Fi Интернет в соседнюю комнату

14.06.2021 14:06:00 | Автор: admin

Когда мы купили квартиру и делали в ней ремонт, телефоны были еще кнопочными, а Wi-Fi роутеры если и существовали, то в качестве диковинки. Предполагалось, что интернет будет подключен через витую пару к компу, а сам комп будет стоять на балконе, потому что балкон будет теплым и в нем будет кабинет. Квартира была без отделки, и поэтому мы решили сделать умный ход чтобы не тащить провода под плинтусами от коридора до балкона (как обходить двери?) мы заложили гофру в бетонный пол и протащили кабель напрямки. И нет, штробить бетон не пришлось, потому как он и так был снят для монтажа теплого водяного пола. Первые пару лет я даже гордился таким решением. Еще бы! Никаких дыр в стенах, никаких уродских кабель-каналов и интернет где нужно! Но года через 2-3 начали появляться всякие гаджеты, мы купили Wi-Fi роутер и тут появилась проблема.

Схема 1. Часть плана квартирыСхема 1. Часть плана квартиры

На схеме роутер отмечен синим крестиком.

Если в кабинете и в соседней комнате все было шикарно, то на кухне (она же зал, где диван и все часто тусят) сигнала почти не было. Мешала несущая кирпичная стена. Для решения вопроса я рассматривал 3 варианта:

1. Купить новый мощный роутер, который будет пробивать все преграды. За и против:

+ Изящное решение: не надо ничего сверлить и переделывать глобально.

- В 2011 году ВОЗ отнес мобильники к канцерогенным факторам и рекомендовал пользоваться проводной гарнитурой, громкой связью и чатиться для того, чтобы не подносить телефон в режиме связи близко к голове. Тогда я сам это читал на их сайте, однако сейчас, когда я полез за ссылью эта информация оттуда исчезла. Может потому что обнаружилось, что мобильники на 100% безопасны и ежегодное увеличение процента больных раком мозга тут не причем, а может потому что это мешало увеличивать продажи... Несмотря на троеточие я реально не знаю. И, да, я в курсе, что у роутера другая частота, но сидеть жопой на мощном излучателе и проверять на себе все равно не хочется.

- Промышленный роутер будет пробивать стену и отдавать данные от себя, но ведь ему еще и принимать данные нужно с обычного устройства, которое такую преграду может не пробить. Будет ли это вообще работать?

2. Купить повторители.

+ Опять же не надо ничего вскрывать и сверлить и нет минусов предыдущего пункта.

- Учитывая схему нашей квартиры и расположение розеток нужно минимум 2 повторителя, чтобы обойти стену.

- Выглядят повторители опять же по уродски, как огромный зарядник торчащий из стены, только зарядник можно убрать, а эти приблуды будут всегда торчать из стены и занимать розетки.

3. Продырявить стену рядом с роутером и поставить в зале свой роутер.

+ Надежный сигнал

+ Опрятный внешний вид

- Непонятно как это реализовывать и возможно ли это вообще?

Честно сказать, простого решения как соединить 2 бытовых роутера проводом, чтобы они работали, как один я не нашел. Если кто знает, подскажите! Вообще этот третий вариант мне подсказал сам роутер, вернее его внешний вид:

Роутер D-Link DIR-615Роутер D-Link DIR-615

Зачем ему две антенны? Вот бы взять одну и протащить в соседнюю комнату? Я позвонил в магазин, торгующий железом и спросил:

-Подскажите, у роутера такого-то есть 2 антенны, они обе равноценные? Каждая и передает и принимает? Или одна только передает, а другая только принимает сигнал?

-ХЗ, вежливо ответил продавец и порекомендовал звякнуть производителю.

Я так и сделал.

- ХЗ, вежливо ответил производитель.

Оговорюсь, что насчет вежливости это не сарказм. Парень, который меня консультировал, сказал, что у него первый раз такое спрашивают, потом долго выяснял, куда-то ходил и с кем-то созванивался, однако внятно ответить зачем роутеру две антенны так и не смог.

Тогда я решил рискнуть и купил удлинитель. Вот такой:

Удлинитель антенны роутераУдлинитель антенны роутера

Сначала поэкспериментировал так. Выкрутил одну антенну из роутера совсем, а вторую прикрутил через удлинитель и отнес на максимальное расстояние от роутера. Работает! Также проверил другое гнездо роутера работает! После этого пробурил отверстие. Сверлил на уровне около 4 см над полом, предварительно сняв плинтуса.

Схема 2. Синяя полоса рядом с крестиком показывает место прокладки кабеля.Схема 2. Синяя полоса рядом с крестиком показывает место прокладки кабеля.

Самым сложным в этом процессе было найти бур подходящей длинны. Толщина стены оказалась 50 см! Не то, чтобы было легко ее пробить и попасть куда нужно, но найти нужный инструмент (не покупать же из-за одной дырки!) было сложнее.

Решение оказалось идеальным. Обе антенны, как выяснилось опытным путем, равноценны.

В зале антенна просто торчит на проводе (он довольно жесткий) в неприметном месте.

В результате все розетки свободны, сигнал уверенный и при этом не избыточный.

Кстати упомяну еще один лайф-хак запитать роутер через таймер в розетку. Вот такой:

Таймер за 300 р.Таймер за 300 р.

Зачем?

Во-первых, затем, что нет лишнего излучения ночью, когда инетом никто не пользуется.

Во-вторых, такая штука очень помогает соблюдать режим. Как мне самому, так и ребенку. Да, на таймере есть кнопка ручного включения. Но таймер вместе с роутером стоит высоко на шкафу, просто так не дотянешься, а когда он вырубает инет я уже всегда лежу в кровати и прокрастинирую в телефоне вставать и идти лезть на шкаф мне просто лень. И, да, с нашими стенами сотовый интернет у нас почти не ловится. Вобщем схема рабочая.

В третьих, ежедневное отключение роутера на 7 часов продлевает ему жизнь, а перезагрузка только на пользу.

Правда, у такого таймера есть недостаток. Ночью, когда очень тихо, слышно как он тикает. Лично меня это парило, поэтому довольно быстро я заменил его на другой, электронный.

Вся эта история приключилась со мной уже много лет назад и вероятно сейчас есть более изящные решения вопроса, но возможно кому-то подойдет именно такой вариант. От себя могу сказать, что схема отлично обкатана и 100% рабочая. У меня до сих пор все тот же роутер. Также с годами выяснилось (особенно когда ребенок дорос до личного гаджета), что в вопросе таймера п. 2 стал для нас гораздо более актуальным, чем п.1

Подробнее..

Великобритания стала конкурентом Starlink Илона Маска, купив часть активов OneWeb

23.11.2020 00:11:51 | Автор: admin

В начале октября мы писали о том, что оператор спутникового интернета OneWeb ушел из России, объединив усилия с Великобританией и Индией.

Кроме того, компании пришлось подать на банкротство в начале этого года, поскольку основной инвестор, Softbank, не предоставил средства в размере $2 млрд. В марте переговоры о выделении денег провалились за несколько часов до вывода 34 спутников на орбиту. Ну а теперь британское правительство и компания Bharti Global выкупают большую часть активов OneWeb.

Насчет банкротства, кажется, можно не переживать компания продолжит работу. Более того, OneWeb после банкротства подала заявку на запуск 48 тысяч (!) спутников, что даже больше, чем у SpaceX. Похоже на то, что у провайдера спутникового интернета Starlink Илона Маска появился серьезный конкурент в лице британского правительства и миллиардера индийского происхождения, который и является владельцем Bharti Global.

Каждая из сторон заплатила по $500 млрд за 84,% компании. Средства уйдут на погашение долгов перед экс-владельцами, включая компании SoftBank и Airbus.

Сейчас формируется совет компании, в который войдет по три представителя от британского правительства и Bharti Global. Председателем совета директоров станет Нейл Мастерсон, экс-топ-менеджер Thomson Reuters.

Великобритания достаточно давно планировала стать значимым игроком в плане освоения околоземного космического пространства, так что с технологиями OneWeb правительству страны удастся выполнить задуманное. Плюс ко всему, страна станет провайдером спутникового интернета для пользователей со всего мира.

Положительным моментом во всей этой истории является то, что у OneWeb все разработки готовы, спутники запускаются на орбиту и даже ракеты-носители для их вывода зафрахтованы.

Компания собирается не поставлять услуги связи напрямую потребителям, а сотрудничать с крупнейшими телекоммуникационными компаниями мира. По плану, именно партнеры провайдера спутникового интернета должны предоставлять своим клиентам доступ к связи от OneWeb. Спутниковый интернет оказался бы весьма кстати для удаленных и труднодоступных регионов и морских судов. По словам представителей компании, пользователь может находиться в машине, вертолете, на вершине горы, в любой точке мира связь будет доступна всегда.


Британское правительство сформировало Satellite Applications Catapult, организацию, которая работает сейчас с OneWeb, планируя улучшить технологии компании, плюс использовать спутники для повышения надежности существующих навигационных сервисов например, GPS. После Brexit ЕС закрыла доступ Британии к системе геолокации Galileo. Страна планировала развернуть собственную систему навигации, но этот проект оказался настолько дорогим, что от него приняли решение отказаться.

OneWeb не сможет обеспечить точность геолокации на уровне GPS или ГЛОНАСС, но в качестве запасного варианта вполне себе выход. Таким образом, Великобритании не придется разворачивать еще одну сеть спутников.

Но главный фокус проекта предоставление доступа к глобальной сети клиентам из Великобритании и регионов Арктики. Коммерческий запуск сети запланирован на осень следующего года. Обновленная компания планирует основное внимание уделить бизнес-клиентам. Что касается обычных пользователей пока неизвестно, будет ли OneWeb с ними работать, как это делает сейчас Starlink.

Проблема в том, что SpaceX разработала экономичное оборудование и снизила услуги связи для индивидуальных клиентов. Хотя компания по-прежнему не извлекает выгоды из своей сети в ее текущей конфигурации, с течением времени она должна выйти на прибыльность. Стоимость услуг связи для клиентов сотни долларов в месяц. У OneWeb это будут тысячи или даже десятки тысяч.

OneWeb была одной из первых компаний, заявивших о намерении развернуть масштабную сеть спутников связи на орбите, которые обеспечивали бы доступом к сети жителей труднодоступных и удаленных регионов. Сейчас у компании на орбите находится 74 спутника. У Starlink уже 800. 17 декабря Starlink планирует вывести на орбиту еще 36 спутников. К 2020 году она планирует довести их количество до 2022.

Ранее OneWeb получила свыше $3 млрд эти деньги предоставили экс-партнеры, о которых уже говорилось выше. Компании удалось разработать технологию, довести ее до ума и начать запускать спутники. Привлеченные сейчас средства пойдут на расширение сети и на оплату долгов.

Подробнее..

Подводный кабель Google Dunant c пропускной способностью 250 Тбитс готов к работе

05.02.2021 00:16:03 | Автор: admin

В июле 2018 года компания Google анонсировала прокладку подводного кабеля Dunant, который назван в честь Анри Дюнана, инициатора создания международной гуманитарной организации Красный Крест, первого в истории лауреата Нобелевской премии мира.

Кабель должен объединить связать кластер в Северной Виргинии, где корпорация построила два крупных дата-центра, с Европой. По плану, трафик должен был пойти по магистрали уже в прошлом году, но пандемия все испортила. Но сейчас уже все готово кабель, соответствующая инфраструктура готовы к работе.

Кстати, этот кабель стал первой частной магистралью, которая проложена не телекоммуникационной компанией. Dunant станет первым частным трансатлантическим кабелем, проложенным не телекоммуникационной компанией, рассказывала в 2018 году Джейн Стоуэлл (Jayne Stowell), занимающая должность стратегического переговорщика в подразделении Global Infrastructure компании Google. Он увеличивает пропускную способность сети через Атлантический океан, расширяя один из самых загруженных маршрутов в интернете и поддерживая рост Google Cloud.


Проект реализовывался вместе с компанией SubCom она проектировала, изготовила и проложила всю систему почти без проблем (выше уже говорилось, что главный этап проекта совпал с наступлением пандемии). Компания Telxius выполнила свою часть работ на побережье США.

Магистраль примечательна тем, что это первый подводный кабель высокой протяженности с 12-парным оптоволоконным мультиплексированием с пространственным разделением каналов. Повышенная пропускная способность кабеля обеспечивается как раз дополнительными парами волокон, плюс добавление повторителей с оптимизацией мощности.

В настоящее время Google Cloud включает оптоволоконные линии и подводные магистрали, проложенные между сотней точек присутствия. В систему также входят тысячи узлов, более 100 локаций Cloud CDN, 91 точкой интерконнекта и 24 регионами GCP. К общей инфраструктуре компании вскоре добавится и еще один трансатлантический кабель Grace Hopper.


О его прокладке компания объявила в середине прошлого года. Он объединит сразу три страны США, Великобританию и Испанию. Здесь тоже не обходится без помощи SubCom эта американская компания выполнит все необходимые работы на море, включая прокладку между Нью-Йорком, Буде (Великобритания) и Бильбао (Испания). Проект должен быть завершен к 2022 году.

Его цель, как и общая задача расширения инфраструктуры увеличение пропускной способности и скорости работы всех сервисов Google Meet, Gmail и Google Cloud.

Длина магистрали от Google до Великобритании составит 6,25 тыс. км, а до Испании 6,3 тыс. км. Внутри оболочки будет размещаться уже 32 оптических волокна, это 16 оптоволоконных пар.

Корпорация управляет уже тремя подводными магистралями:

  • Кабель Equiano (назван так в честь африканского писателя Олауды Эквиано), который соединяет Португалию (Лиссабон) и ЮАР (Кейптаун) с промежуточным соединением в Нигерии (Лагос).
  • Кабель Curie (здесь и объяснять особо не нужно, кабель назван в честь первого дважды Нобелевского лауреата по физике и химии Марии Кюри), который проложен от США (Лос-Анджелес) до Чили (Вальпараисо).
  • Кабель Dunant, о котором говорится выше.

Подробнее..

Перевод Итак, вы хотите оптимизировать gRPC. Часть 2

11.03.2021 16:14:30 | Автор: admin

Для будущих учащихся на курсе "Java Developer. Basic" подготовили перевод статьи.

Также приглашаем всех желающих на открытый вебинар к данному курсу, где участники вместе с преподавателем разберут, как работает Интернет.


Насколько быстро работает gRPC? Довольно быстро, если вы понимаете, как построены современные клиенты и серверы. В первой части я показал, как легко добиться улучшения на 60%. В этом посте я покажу, как добиться улучшения в 10 000%.

Как и в первой части, мы начнем с готового сервиса "ключ-значение" на Java. Сервис способен обрабатывать запросы на создание, чтение, изменение, удаление ключей и значений одновременно от нескольких клиентов. Весь код можно посмотреть здесь, если вы хотите с ним поэкспериментировать.

Конкурентность сервера

Давайте посмотрим на класс KvService. Этот сервис обрабатывает RPC, отправленные клиентом, контролируя, чтобы ни один из них случайно не испортил состояние хранилища. Для гарантии этого сервис использует ключевое слово synchronized, чтобы быть уверенным, что одновременно будет активен только один RPC:

private final Map<ByteBuffer, ByteBuffer> store = new HashMap<>();@Overridepublic synchronized void create(    CreateRequest request, StreamObserver<CreateResponse> responseObserver) {  ByteBuffer key = request.getKey().asReadOnlyByteBuffer();  ByteBuffer value = request.getValue().asReadOnlyByteBuffer();  simulateWork(WRITE_DELAY_MILLIS);  if (store.putIfAbsent(key, value) == null) {    responseObserver.onNext(CreateResponse.getDefaultInstance());    responseObserver.onCompleted();    return;  }  responseObserver.onError(Status.ALREADY_EXISTS.asRuntimeException());}

Хотя этот код является потокобезопасным, но он очень дорогой: активным может быть только один RPC! Нам нужен способ, позволяющий безопасно выполнять несколько операций одновременно. В противном случае программа не сможет использовать все доступные процессоры.

Убираем блокировки

Чтобы решить эту проблему, нам нужно немного больше знать о семантике наших RPC. Чем больше мы знаем о том, как должны работать RPC, тем больше оптимизаций мы сможем сделать. Для сервиса ключ-значение можно заметить, что операции с разными ключами не мешают друг другу. Когда мы обновляем ключ "foo", это не имеет никакого отношения к ключу "bar". Но наш сервер написан таким образом, что операции с любыми ключами синхронизированы относительно друг друга. Если бы мы могли выполнять операции с разными ключами одновременно, то наш сервер справился бы с гораздо большей нагрузкой.

Давайте подумаем, как реализовать эту идею. Ключевое слово synchronized заставляет Java получить блокировку на объекте, которым в данном случае будет экземпляр KvService. Блокировка устанавливается при входе в метод create и снимается при возврате из метода. Синхронизация нам нужна для защиты Map. Мы используем HashMap и, если она не будет правильно синхронизирована, то внутреннее состояние HashMap может быть повреждено. Поэтому нельзя просто удалить synchronized у метода.

Однако Java предлагает здесь решение: ConcurrentHashMap. Этот класс предлагает возможность безопасного конкурентного доступа к содержимому Map. Например, в нашем случае мы хотим проверить наличие ключа. Если ключа нет, мы его добавляем, иначе возвращаем ошибку. Метод putIfAbsent атомарно проверяет наличие значения, добавляет его, в случае отсутствия, и сообщает нам, удалось ли это сделать.

ConcurrentMap обеспечивает более сильные гарантии безопасности putIfAbsent, поэтому мы можем заменить HashMap на ConcurrentHashMap и убрать synchronized:

private final ConcurrentMap<ByteBuffer, ByteBuffer> store = new ConcurrentHashMap<>();@Overridepublic void create(    CreateRequest request, StreamObserver<CreateResponse> responseObserver) {  ByteBuffer key = request.getKey().asReadOnlyByteBuffer();  ByteBuffer value = request.getValue().asReadOnlyByteBuffer();  simulateWork(WRITE_DELAY_MILLIS);  if (store.putIfAbsent(key, value) == null) {    responseObserver.onNext(CreateResponse.getDefaultInstance());    responseObserver.onCompleted();    return;  }  responseObserver.onError(Status.ALREADY_EXISTS.asRuntimeException());}

Продолжаем оптимизацию

Улучшить create было довольно просто. Сделать то же самое для retrieve и delete также сложностей не представляет. Однако метод update немного сложнее. Давайте посмотрим, что он делает:

@Overridepublic synchronized void update(    UpdateRequest request, StreamObserver<UpdateResponse> responseObserver) {  ByteBuffer key = request.getKey().asReadOnlyByteBuffer();  ByteBuffer newValue = request.getValue().asReadOnlyByteBuffer();  simulateWork(WRITE_DELAY_MILLIS);  ByteBuffer oldValue = store.get(key);  if (oldValue == null) {    responseObserver.onError(Status.NOT_FOUND.asRuntimeException());    return;  }  store.replace(key, oldValue, newValue);  responseObserver.onNext(UpdateResponse.getDefaultInstance());  responseObserver.onCompleted();}

Обновление ключа до нового значения требует двух взаимодействий со store:

  1. Проверить существование ключа.

  2. Изменить предыдущее значение на новое.

К сожалению, у ConcurrentMap нет прямого метода для этого. Поскольку мы можем быть не единственными, кто изменяет Map, нам нужно учитывать это. Мы прочитаем прежнее значение, но к моменту, когда мы его заменим, оно может быть уже удалено.

Чтобы справится с этой ситуацией, давайте попробуем повторить попытку, если replace не удастся выполнить. Метод replace возвращает true, если все прошло успешно. (ConcurrentMap гарантирует, что операции не повредят внутреннюю структуру, но не то, что они будут успешными!) Мы будем использовать цикл do-while:

@Overridepublic void update(    UpdateRequest request, StreamObserver<UpdateResponse> responseObserver) {  // ...  ByteBuffer oldValue;  do {    oldValue = store.get(key);    if (oldValue == null) {      responseObserver.onError(Status.NOT_FOUND.asRuntimeException());      return;    }  } while (!store.replace(key, oldValue, newValue));  responseObserver.onNext(UpdateResponse.getDefaultInstance());  responseObserver.onCompleted();}

Следует отметить, что если другой RPC изменит значение между store.get() и store.replace(), то будет ошибка. Но для нас это некритично, поэтому мы просто пробуем еще раз. После успешного сохранения нового значения сервис отправляет ответ пользователю.

Есть еще одна ситуация, которая может произойти: два RPC могут изменять одно и то же значение и перезаписать работу друг друга. Хотя это может быть приемлемым для некоторых приложений, но это не подходит для API, обеспечивающих транзакционность. Исправление этого выходит за рамки данного поста, но имейте в виду, что такое может произойти.

Измеряем производительность

В прошлом посте мы модифицировали клиент, сделав его асинхронным и использовали ListenableFuture. Чтобы избежать нехватки памяти мы ограничили до 100 количество одновременно активных RPC. Как мы видим, на стороне сервера узкое место это блокировки. И поскольку мы избавились от них, то ожидаем увидеть значительное улучшение производительности. Для обработки одного RPC выполняется все та же работа, но выполняя ее параллельно, можно сделать гораздо больше. Давайте проверим, верна ли наша гипотеза:

До изменения:

$ ./gradlew installDist$ time ./build/install/kvstore/bin/kvstoreApr 16, 2018 10:38:42 AM io.grpc.examples.KvRunner runClientINFO: Did 24.067 RPCs/sreal1m0.886suser0m9.340ssys0m1.660s

После изменения:

Apr 16, 2018 10:36:48 AM io.grpc.examples.KvRunner runClientINFO: Did 2,449.8 RPCs/sreal1m0.968suser0m52.184ssys0m20.692s

Вау! Было 24 RPC в секунду, а стало 2400. И нам не пришлось менять ни API, ни клиента. Вот почему важно понимать ваш код и семантику API. Благодаря использованию особенностей сервиса ключ-значение, а именно независимости операций с различными ключами, код теперь работает намного быстрее.

Одним из примечательных артефактов этого кода является время user в результатах. Первоначальное значение было только 9 секунд, то есть процессор использовался только 9 секунд из 60 секунд. После наших изменений время увеличилось более чем в 5 раз, до 52 секунд. Причина в том, что ядра процессора использовались больше. KvServer эмулирует работу, засыпая на несколько миллисекунд. В реальном приложении он выполнял бы полезную работу, но каких-то кардинальных изменений не было. Вместо масштабирования по количеству RPC, он будет масштабироваться по количеству ядер. Таким образом, если бы у машины было 12 ядер, то можно ожидать 12-кратное улучшение. Весьма неплохо!

Больше ошибок

Если вы запустите этот код, то в логах увидите намного больше подобных сообщений:

Apr 16, 2018 10:38:40 AM io.grpc.examples.KvClient$3 onFailureINFO: Key not foundio.grpc.StatusRuntimeException: NOT_FOUND

Причина в том, что новая версия кода делает состояние гонки более вероятным. Если выполняется в 100 раз больше RPC, то вероятность коллизий обновления и удаления выше. Чтобы решить эту проблему, нам нужно будет изменить API. Следите за постами, и увидите, как это исправить.

Выводы

Есть много способов оптимизировать gRPC-код. Для этого необходимо понимать, что делает ваш код. В этом посте показано, как преобразовать сервис с блокировками в неблокирующий с низким уровнем конкуренции. Всегда измеряйте производительность до и после внесения изменений.


Узнать подробнее о курсе "Java Developer. Basic".

Смотреть открытый вебинар Как работает Интернет.

Подробнее..

Starlink Спутниковый интернет от Илона Маска Разбор

19.11.2020 16:18:00 | Автор: admin
Как думаете, сколько всего спутников человечество вывело на орбиту за всю свою историю?

Со времени запуска Спутника 4 октября 1957 года в космос были выведены более 9000 аппаратов, но только около 2000 из них функционируют в настоящее время. Остальные сгорели в атмосфере или сломались и стали космическим мусором на орбите.


А Илон Маск уже скоро собирается выпустить на орбиту земли 12 000 спутников по 260 кг каждый.И это только начало потом он планирует расширить сеть до 42 000 штук.Вы поняли Суммарно это существенно больше того, что было запущено за всю историю человечества! И главное он уже начал это делать!

Зачем? Как минимум спутниковый интернет это дорого и сложно и к тому же недостаточно быстро!

1 Мб- 5$

Поэтому он решил создать свой собственный интернет с блекджеком ну и как положено, покрывающий связью весь земной шар и доступный каждому и в чем-то он сможет быть лучше той же оптики!Сегодня мы выясним возможно ли такое и расскажем подробно о проекте Starlink. Как это работает при чем тут SpaceX!

История


Илон Маск анонсировал Starlink в январе 2015 года. Но почему мы говорим об этом сейчас, потому что кое-что произошло, но для начала немного о проекте и его истории

Сказать, что проект амбициозный ничего не сказать.Ведь Илон в своем выступлении пообещал, что новая спутниковая сеть будет способна покрыть практически всю территорию нашего голубого шарика и обеспечить до 50% пропускной способности всего мирового интернет-трафика тем самым произведя революцию в отрасли!

Правда с уточнением, что в густонаселенных местах, например в больших городах, до 10% трафика, но все равно это очень впечатляет.



Итак в чем же идея?

Для начала выясним какие сегодня есть проблемы у спутникового интернета!Например, одна из них это задержка. Она огромна и составляет порядка 500 мс.В CS:GO не погоняешь, да и вообще она сильно отстает от сегодняшних требований к интернету.

Чтобы понять, как она возникает, нам надо немного понять орбитальную механику!Вы знаете, что спутники летают на определенных расстояниях от земли, то есть по орбитам. Орбит этих много, они разные и служат для разных целей.Например, орбита Международной Космической Станции это около 400 километров, а орбита спутников GPS около 20 000 километров.

Такая орбита выбрана, чтобы каждый спутник покрывал определенную и большую область на планете ведь чем дальше ты от Земли, тем большую площадь можно увидеть.

С интернет-спутниками, да и с большинством телекоммуникационных спутников, все примерно также, только они летают еще дальше от Землина так называемой Геостационарной орбите на высоте около 35 000 километров от поверхности Земли.

У такой орбиты есть плюсы можно запустить всего несколько мощных спутников и они покроют всю поверхность планеты, но естественно есть и минусы, главные из которых задержка и относительно маленькая скорость передачи данных. Ведь сигналу нужно пройти путь туда-обратно, то есть 70000 километров. Именно это и рождает такую большую задержку.

Скажу по секрету, мы с Борей работали в спутниковом операторе я сам тестировал эту связь и помню это злосчастную задержку. А самый дорогой ресурс был та самая пропускная полоса на спутниках их же мало.

И что же предложили Starlink для решения этой проблемы?Смотрите! Вместо отправки нескольких спутников, на Геостационарную орбиту они решили вывести много маленьких спутников на Низкую Околоземную орбиту, то есть на высоту около 500 километров, которые будут постоянно находиться в связи друг с другом и с Землей. И мало того они не будут висеть в одной точке, а будут постоянно находиться в движении.

Ну и сколько же спутников надо вывести, чтобы создать такую живую паутину вокруг земли?

Мы уже ответили в начале, но это по-прежнему взрывает мозг. Янапомню для начала 12 000 штук, а потом еще 42 000. Число то какое, не иначе пасхалочка от Илона.

И пошло поехало...Первые тестовые спутники SpaceX запустили в 2018 году. В будущей сети они не будут принимать участие, однако они послужили для проверки систем связи.

Дальше уже в мае 2019 года, тоже в тестовом режиме, были запущены уже 60 первых предсерийных спутников версии 0.9, между собой они еще не умели общаться, но вот специальные антенны для связи с Землей уже были.

А вот уже с ноября 2019 года SpaceX уже начала выведение серийных спутников основной группировки версии 1.0. Это уже пригодные для использования спутники и на данный момент на орбите находится уже 844 спутника.

А каждый следующий запуск пополняет группировку примернона 60 спутников за раз.



Но как же это так, спросите вы? Тогда на выведение этих тысяч спутников им потребуются десятки лет, если за полгода запустили только около 500 штук.

Планы по запускам спутников Starlink уSpaceX просто грандиозные.Во-первых, они планируют выйти на запуск каждые 2 недели по 60 спутников к сентябрю. Во-вторых, это число явно не финальное, так как одна из целей SpaceX это возможность запусков одного и того же ракетоносителя с перерывами между запусками менее суток.

Вы ведь помните, что SpaceX научились сажать свои ускорители на Землю и использовать их повторно? Это значит, что запусков будет больше намного больше!



Ну и главное новая сверхтяжелая ракета Starship, разработка которой ведется очень активно, по расчетам она будет способна за раз выводить до 400 спутников Starlink!

Как это будет работать?


Скажем так это уже работает!

Для начала работы системы в полноценном режиме не нужно выводить десятки тысяч спутников. В принципе система уже позволяет себя тестировать и на сайте Starlink недавно можно было оформить заявку на бета-тест.

Сейчас на орбите уже 844 спутника и, по словам Маска, это обеспечивает значительный операционный потенциал. Фактически уже идет закрытое бета-тестирование, а с 27 октября начали рассылать приглашения на открытый бета-тест.

А вот, что произошло почти ровно год назад 22 октября:

Илон Маск отправил первый твит через систему Starlink!



Уже есть множество замеров скорости но о них позже.

Полноценное завершение первой фазы подразумевает выведение около 4 000 спутников, что уже обеспечит покрытие всей планеты.

Концепцию самой сети мы примерно поняли, теперь о поговорим о её устройствах.

О самих спутниках


Но о спутниках подробностей компания не дает, но вот информация из тех данных которые SpaceX подали в Федеральную комиссию по связи США.



Каждый спутник оснащен системой лазеров и 4 фазированными антеннами. Кроме того на спутниках есть ионные двигатели на основе криптона, которые нужны для изменения орбиты спутников, а также для того, чтобы натурально сжигать их в атмосфере Земли, когда их срок службы подходит к концу.

Лазеры нужны для того, чтобы спутники могли обмениваться информацией друг с другом и как бы передавать ее как эстафетную палочку.

Про саму систему лазерной передачи данных вообще ничего неизвестно кроме того, что спутники смогут одновременно общаться спятьюсоседями.

Представьте, что это будет как оптоволокно, только без самого волокна ведь в космосе оно не особо нужно!

Антенны же необходимы для связи со станциями пользователей на Земле. Они должны обеспечивать большую пропускную способность и иметь возможность работать с множеством пользователей одновременно. Известно, что они будут работать в Кей-Альфа и Кей-Ю диапазонах ( K u и K a ).

А что такое станция на земле?


По заявлениям самого Маска это антенна размером не больше коробки от пиццы. И для ее подключения необходимо будет лишь воткнуть ее в розетку и направить в небо!

То есть, чтобы вы понимали, процесс настройки антенны сегодня не такой простой я помню как сам это делал несколько лет назад!





Но давайте вспомним задержку мы помним, что она будет существенно ниже но на сколько? Приготовьтесь!

После реализации первой фазы задержка при связи со спутником составит около трех с половиной миллисекунд.

3 ms по спутнику вы только представьте и из любой точки мира!

Сравните с тем спутниковым интернетом, что есть сейчас. Тут задержка более чем в 100 раз меньше!

Мы поняли это будет существенно лучше текущего спутникого интернета, но мыслите дальше: Starlink будет быстрее оптоволоконного интернета на Земле!

Канал Real Engineering приводит очень классный пример.Для кого важны низкие задержки? Для геймеров? Ничего подобного для брокеров! У одних риски получить хедшот от пятиклассника, у других слить в трубу сделку надесятки миллионов долларов из-за грёбаного пинга!

Представьте, что вы сидите в Лондоне и вам надо срочно продать акции на Нью-Йоркской бирже. Конечно же ситуация абсолютно ежедневная для каждого из нас!

Через Starlink задержка составит 43 мс, а при использовании современного интернета это время составляет около 76 мс. То есть разница в 77%, а это огромное число? хоть мы и говорим о миллисекундах!

Главное, что за такое уменьшение задержки финансовые рынки мира готовы заплатить очень большие деньги. Если в прошлом, ради ускорения всего на 5 мс был проложен новый оптоволоконный кабель из Великобритании в США стоимостью в 300 миллионов долларов. Иэто только из Лондона в Нью-Йорк, а ведь есть ещё Гонконг, Сингапур, Токио. Тут уменьшение задержки будет еще больше!

При этом система надежна: если выходит из строя какой-то один спутник, то информация просто пойдет по другой цепи паутины.

То есть мало того, что система позволит надежнее и быстрее работать, так она еще и будет доступна из любой точки планеты. Неважно где в центре Тихого океана или в центре большого города!

В августе этого года уже появились первые данные пользовательских тестов. Даже обладая только маленькой частью того количества спутников, о которых идет речь, скорости уже отлично позволяют вам загружать видео в Instagram или смотреть видео на YouTube!



Давайте глянем что там предлагают тестировщикам: $499 терминал с антенной и встроенным Wi-Fi роутером, $99 месячная абонентская плата, Скорость: 50-150 Мбит, и задержку до 40 мс с улучшением до 20 мс уже в течении года! Для бета-теста вообще отлично. И понятно, что это еще совсем не финальная цена. Она легко может снизиться, когда проект наберет первичную большую пользовательскую базу! А приложение StarLink уже доступно в Apple Store и Google Play!



Более того нашлось уже первое применение:SpaceX предоставила пожарным из Вашингтона два наземных терминала системы Starlink, пишет The Verge. Он пригодились для тушения пожаров в лесах, где есть явная нехватка интернета

Также в будущем система будет полезна при других стихийных бедствиях, например, землетрясениях, когда наземная связь повреждена.



Но конечно не обходится без критики. Астрономическое сообщество выступило с опасением, что такое количество спутников будут очень сильно влиять на информацию получаемую телескопами на земле.

И действительно в 2019 году, после запуска первой партии спутников 19 из них в течение 5 минут мешали работе телескопа DECam (Dark Energy Survey), который предназначен для поисков следов темной энергии.В результате инженеры компании выкрутились придумали, что надо спутники покрывать специальным темным покрытием, которое сделает их как бы невидимыми для телескопов.

И пока что нет никакой информации о том, например, насколько сильно будет влиять окружение на сигнал, например кроны деревьев, горы, облака. Но по идее, чем больше спутников, тем меньше будут мешать помехи.

Что касается стоимости для абонентов. Есть только приблизительные цифры и звучат они так. Стоимость тарелки от 100 до 300 долларов и абонентская плата в 80 долларов в месяц.

Это уже сильно ближе к реальным ценам за интернет дорого, но явно не 5$ за Мб.

Но понятно, что с ростом числа абонентов и возможной будущей конкуренции с другими компаниями, эта стоимость явно будет снижаться! А другие компании есть например компания OneWeb!

Ну и конечно люди, которые бояться чипирования через 5G вышки, от этого проекта вообще сойдут с ума!

В общем, система будет улучшаться и совершенствоваться постоянно, но пока что вопросов еще много.

Давайте немного помечтаем о том, к чему нас приведет такой проект.Только представьте Интернет везде! В море на кораблях, в небе в самолетах, где угодно! Быстрое, стабильное и качественное соединение. А допустим, если вставлять антенны в крыши автомобилей. Все это делает нас все ближе к полноценной реализации Интернета Вещей!

А если помечтать и например уменьшить тарелку, до размеров антенны в телефоне: это интернет всегда и везде.



И ведь это не пустые примеры например, так случилось с GPS в свое время. Ведь первый GPS-приемник был совсем не маленький! А сейчас он уже есть в наручных часах!

Итого




Не знаю как вам, но мне очень нравится то, как развиваются современные технологии и без сомнений мы вошли в новую космическую эпоху!

Кроме того у Илона Маска есть еще один проект Neurolink, о котором мы тоже собираемся вам рассказать. Это конечно будет про то самое чипирование
Подробнее..

Бесплатный канал 100Mbps для клиентов Cloud4Y

26.04.2021 12:16:37 | Автор: admin

C апреля 2021 Cloud4Y отменил тарификацию интернет-канала пропускной способностью 100Mbps при расчёте стоимости виртуальных мощностей.

Ранее, в качестве бесплатной базовой опции, Cloud4Y предлагал интернет-канал 5Mbps.

Для небольших проектов этого может быть достаточно, но для более амбициозных задач и комфортной работы часто требуется больше. Для повышения возможностей наших клиентов мы подняли планку до 100Mbps с возможностью расширения до 1000 Mbps, но уже на платных условиях.

Почему это важно?

Чтобы веб-сервис работал нормально, необходимо соблюдать минимум два условия: производительный стабильно работающий сервер и надёжный интернет-канал, связывающий клиентов и сервер. И чем выше пропускная способность канала, тем стабильнее работает веб-сервис. Например, это помогает справляться с внезапным ростом трафика, связанным с успешной рекламной кампанией или другой активностью.

Вы можете бесплатно протестировать облачный сервис Cloud4Y, оставив заявку на сайтe.

Подробнее..

Перевод Тоска по былому Интернету

13.06.2021 18:05:09 | Автор: admin
image

Мне одному кажется, что сегодняшний Интернет скучен и чрезмерно коммерциализирован?

Я чувствую, что сегодняшний Интернет похож на современный торговый центр, стерильный и скучный, с магазинами одежды основных брендов, фуд-кортом и ничем другим. В то время как я помню, что былой Интернет был больше похож на захватывающую городскую игровую площадку. Во-первых, да, я знаю, что тот Интернет был коммутируемым, и вас могли отключить, если кто-то поднимет трубку. Я также знаю, что это было намного медленнее. Я был там. Я учился в средней школе, когда мой отец получил доступ в Интернет в 1995-96 годах.

Интернет был болееинтересным, потому что у него было больше индивидуальности. Скажем, вы были нёрдом, и вам нравились Звездные войны, Звездный путь, аниме, видеоигры или ролевые игры, вы набирали все, что вам нравилось, и вы получали индивидуально разработанные сайты на Geocities, некоторые хорошо продуманные, некоторые просто вырвиглазные, но каждый был уникален, каждый со своей индивидуальностью. Каждый сайт признание в любви к конкретному фэндому. Каждый сайт был с любовью снабжен скриншотами, краткими описаниями эпизодов или игр, а также загружен фанфиками и обзорами.

image

Теперь, если вы наберете Nintendo, Super Mario, Star Trek, Star Wars, Hayao Miyazaki и т.д. Вы больше не получите много этих отдельных фанатских святынь. Нет. Вместо этого вас направят в интернет-магазины, чтобы купить их продукцию, а также в компании и корпорации, которые выпускают эти франшизы. Наиболее персонализированное, что вы найдете, это вики, в которых группа людей вносит свой вклад в эту тему. Все эти вики имеют одинаковый шаблон и просто скучны, лишены эмоций. Я скучаю по независимым сайтам Nintendo 64 vs PS1, или сайтам, которые хвалили Диснея или хвалили аниме, а также сайтам, которые ненавидели оба жанра.

Я скучаю не только по нердовским вещам. Старый Интернет также отлично подходил для контркультуры. Например, я натурист, то есть тот, кто любит болтаться голышом на природе и купаться нагишом с другими единомышленниками. Поясню. Нет, я не вуайерист, не извращенец и не эксгибиционист. И я не буду посылать фотки с обнаженкой. Я просто подписываюсь на позитивную для тела философию натуризма для самоуважения, физического и психического здоровья. Но если вы посмотрите натуризм в поисковике в наши дни, то увидите тонны порнографических страниц. Хотите верьте, хотите нет, но в конце 1990-х-начале 2000-х годов было больше легальных натуристских сайтов, чем сейчас. Похоже, что порноиндустрия переняла это слово и исказила его. Кроме того, в сегодняшней сети, если не порнографические страницы, то газетные статьи о пляже с одеждой или что-то из TNS или AANR. Но те персонализированные натуристские сайты, которые втянули меня в этот образ жизни, теперь исчезли. Опять же, старый Интернет отлично подходил для контркультуры, а не только для контркультуры в отношении натуристов. Я нашел независимый веб-сайт, который представлял собой просто коллекцию фотографий со всех фестивалей Woodstock 1990-х годов.

Если отбросить контркультуру, старый Интернет был немного странным. Такие сайты, как Fat Mouse и веб-страница Ultimate Ninja (которую все еще можно найти), были просто созданы для того, чтобы быть просто сумасшедшими. И не забуду упомянуть Zombo, у которого есть успокаивающая музыка и обещания великих вещей, но который больше ничего не делает. Одним из моих любимых был шутливый сайт с просьбой изменить название фильма Возвращение короля на другое пародия на сайт, который хотел, чтобы они изменили название второго фильма Властелин колец Две башни на что-то другое, потому что они боялись, что это заставит людей думать о 9/11. На странице шутки Изменить название сайта Возвращение короля они использовали аргумент, что это заставит людей думать, что Элвис вернулся. Просто пустяки, когда дело доходит до веб-сайтов. Некоторые сайты тоже были такими простыми, с просто танцующими мультяшными персонажами. Другие странные вещи были сайтом, который рекламировал книгу, более злую, чем Некрономикон, утверждая, что эта книга, тем не менее, была реальной и даже напугала нацистов. Фальшивка? Конечно! Но у меня от этого мурашки по коже. Этот последний сайт я больше не могу найти. Или это были странные сайты, имеющие дело с причудливой духовностью, которую также можно считать контркультурой. Самым странным из всех были старые видеосайты, такие как Homestar Runner и Albino Blacksheep. Каждый видеосайт был уникальным, а не конгломератом, как Youtube.

image


И последнее, но не менее важное: что насчет ссылок? На каждом отдельном веб-сайте был список ссылок, которые вели вас все глубже и глубже в Интернет, заставляя вас исследовать его часами напролет.

Я мог бы сказать, что Twitter, Facebook, Youtube и Google помогли разрушить Интернет, но на самом деле все начали им пользоваться. Интернет был убежищем для нёрдов, гиков, художников и богемных неудачников, пока крутые ребята не подмяли его под себя. Сейчас Интернет скучен, устарел и чрезмерно коммерциализирован.

Тем не менее, я понимаю, что я лицемер. У меня есть счет в Patreon, я надеюсь заработать деньги на своих текстах, и я, конечно, хочу заработать деньги на Medium. Тем не менее, я все еще чувствую, что старый Интернет мертв, и это большая потеря. В свое время Интернет казался огромным. Теперь он кажется таким маленьким и таким злым.
Подробнее..

Как ощутить интернет 2000 года

12.03.2021 16:12:58 | Автор: admin

Думаю, на Хабре есть уже много людей, никогда не слышавших звук модемного подключения по телефонной линии. А люди, заставшие те времена, наверняка многое о них успели подзабыть.

Все знают, что раньше интернет был попроще. Но часто ли вы вспоминаете, что во время его использования вся семья оставалась без телефонной связи? Помните ли встроенный в Opera баннер? Программы FlashGet и eMule? Вёрстку сайтов таблицами и фреймами? Штурмовые корабли в огне на подступах к Ориону? (Извините, увлёкся.)

Мне кажется, около 2000-го произошёл прорыв: в 90-х интернет был ещё гиковской историей, а в нулевых стал мейнстримом. Как можно сегодня ощутить времена этого прорыва? Увидеть старые сайты помогает Wayback Machine, но если делаешь это в свежем браузере через современное подключение, то собираешь лишь половину паззла. Поэтому сделал подборку из информации, ссылок и советов, которые дополнят опыт. Те, кто постарше, ощутят ностальгию, а те, кто помладше, узнают что-то новое.


Подключение

Конечно, начать надо с этих звуков:

Запустите ролик, отвлекитесь от текста и прослушайте эти полминуты целиком, прежде чем продолжать читать. Потому что в 2000-м, чтобы выйти в интернет и что-то там читать, большинству людей требовалось сначала послушать это.

Ах да, было же само понятие выйти в интернет! Сейчас так уже не говорят: мы привыкли, что он доступен по умолчанию и лишь временно пропадает, когда едешь в лифте. Но тогда было иначе:

  • Даже когда мобильный WAP-интернет технически уже появился, он был медленным, дорогим и бесполезным. Поэтому интернетом пользовались только дома/в офисе делая шаг на улицу, человек сразу лишался доступа.

  • Основной способ домашнего подключения с помощью телефонной линии. И на время подключения домашний телефон оказывался занят, а мобильные тогда были далеко не у всех. Поэтому была типичная ситуация вылезай из своего интернета, мне бабушке позвонить надо.

  • И главное. Оплаты домашнего интернета чаще всего была почасовая (можно было купить карточку, например, на 10 часов). И это было недешёво, так что время подключения попросту приходилось экономить. Карточки выглядели так:

Фото взято отсюда, там ещё много

Вместе эти факторы приводили к тому, что типичным паттерном использования интернета было вечерком подключиться на полчасика. И если тебе ночью что-то написали в мессенджере (тогда был расцвет ICQ) ты узнаешь это не раньше следующего вечера. Нынешние сценарии, когда в мессенджере на ходу договариваются о встречах, были просто невозможны.

А необходимость экономить приводила к ухищрениям: в онлайне открываешь сразу несколько разных интересных текстов, сохраняешь их на диск, а потом отключаешься и уже в офлайне спокойно читаешь когда удобно. Но тогда, если при офлайн-чтении в тексте обнаруживалась интересная ссылка, то её не откроешь. Конечно, можно снова подключиться, но это же ещё раз слушать модемные скрежетания...

Кстати, а что это вообще были за звуки, которые можно принять за неизданный трек Афекса Твина? Модем пользователя звонил по телефонной линии провайдеру (кстати, не факт, что дозвонишься с первого раза), после чего звуками здоровался с оборудованием провайдера, договариваясь о деталях взаимодействия. На Хабре переводили пост по этому поводу, вот познавательная схема из него:

Штуки вроде люди сохраняли страницы на диск для чтения в офлайне через Wayback Machine не поймёшь. Поэтому, если хотите прочувствовать интернет 2000-го попробуйте убрать подальше смартфон, отключить Wi-Fi на компьютере и включать его на очень ограниченные промежутки времени. И посмотрите, как изменятся ваши паттерны поведения. Как вы начнёте записывать так, вот это надо будет погуглить.


Скорость

Только позавчера все обсуждали замедление Твиттера в России. Сообщается, что замедлили до 128 кбит/сек.

И тут получается наглядное сравнение. Сегодня такая скорость это жёсткое замедление и наказание, ужасно, когда простые картинки грузятся не сразу! А если бы вы в 2000-м году вы сказали о такой скорости, вас назвали бы буржуем. 128 кбит это уже времена ADSL, середина нулевых. У модемов, использовавших телефонные линии, пределом были 56 кбит/сек (а реальные показатели оказывались и того ниже).

Конечно, некорректно в лоб сравнивать скорости подключения в разные годы, потому что сайты страшно разжирели. Если сейчас вам дать скорость как в 2000-м, то страдать вы будете куда сильнее тогдашних пользователей, потому что тогда интернет-ресурсы были рассчитаны на такие скорости. И вас будет ломать без YouTube, а тогда людям не приходило в голову, что такие штуки в принципе возможны.

Но при этой разнице, например, компрессия JPG-файлов принципиально не изменилась. Так что, оставив в стороне современный JS и видеоконтент, можно поговорить о картинках. Важный факт для понимания ситуации: в браузерах была функция их отключения, и куча людей пользовалась этим для ускорения загрузки страниц. Если какая-то конкретная картинка была особенно интересна, можно было ткнуть правой кнопкой мыши и конкретно её догрузить. А вот смотреть на всякое там красиво оформленное меню это лишнее.

Если просто открыть через Wayback Machine старые сайты, этот факт пройдёт мимо. Будешь смотреть на сайты с картинками и думать, что все их тогда так и видели. Нет, далеко не все.

Как ощутить тогдашние скорости, если сегодня даже замедленный твиттер гораздо быстрее? Может помочь инструмент из Chrome DevTools. Откройте там вкладку Network. В ней есть возможность целенаправленно троттлить скорость:

По умолчанию представлены несколько пресетов вроде "Fast 3G", но даже "Slow 3G" слишком быстрый. Поэтому создайте собственный пресет в пределах 56 кбит. И попробуйте с ним открыть, например, новостной сайт (то есть чтобы текст + картинки, без хитрых интерфейсов). Получите интересные впечатления.

Например, можете внезапно обнаружить, что при сёрфинге стали думать на шаг вперёд и заранее открывать в отдельной вкладке то, что вам понадобится следующим. Из соображений чтобы оно в фоне загрузилось, пока я чем-то другим занимаюсь, а то иначе потом придётся сидеть и ждать загрузки, глядя в пустой экран. Это непохоже на сегодняшний сёрфинг.

То есть низкая скорость не просто количественное изменение, а качественное, она меняет паттерны поведения. И для опыта старого интернета её тоже необходимо учесть.


Браузеры

До этого момента нас заботило то, что происходило внутри окна браузера. Но само это окно тоже имеет значение. Мне кажется, мы стали забывать некоторые вещи:

  • Сегодня кажется само собой разумеющимся, что браузер бесплатный софт. Но так было не всегда. Netscape был платным для корпоративного использования, а Opera предлагала пользователям либо заплатить, либо получить встроенный баннер прямо в интерфейсе браузера. И одна из причин победы Internet Explorer на том витке истории его бесплатность. А одна из причин тогдашнего успеха Opera в России тут использовали взломанную Оперу с отключенным баннером.

  • Сегодня кажется само собой разумеющимся, что у браузера есть вкладки. Но так было не всегда. В Internet Explorer они появились только в 2006 году. Если вы сейчас посмотрели на свои сто открытых вкладок и ужаснулись мысли это ж было бы сто отдельных окон, можно отчасти успокоить: во времена интернет медленный, выходят туда ненадолго, оперативки мало никто не держал открытыми сто сайтов. Паттерны поведения и здесь изменились.

  • Сегодня кажется само собой разумеющимся, что браузер сразу открывает страницы в читаемом виде. Но так было не всегда. До повсеместного распространения юникода русскоговорящие пользователи сталкивались с тем, что сайт или письмо отображаются в неправильной кодировке (в народе это называли крякозябры). Поэтому популярной функцией в меню браузеров был выбор кодировки, а на сайте Артемия Лебедева до сих пор доступен Декодер, автоматически исправляющий кодировку произвольного текста.

Хабрахабро-крякозябрыХабрахабро-крякозябры

Как сегодня ощутить старые браузеры без визита в музей ретро-компьютеров? Тут отчасти помогает проект OldWeb.Today, эмулирующий ряд этих браузеров. Окно браузера демонстрируется ещё и в интерфейсе своей ОС, что способствует погружению. Правда, всё глючит и тормозит (не только загрузка страниц, открыть новое окно тоже небыстрый процесс). Но это в целом тоже работает на атмосферу вспомним, что в 2000-м компьютеры были нерасторопными по нынешним меркам.

Большинство современных сайтов там либо разъедется по швам, либо вообще не откроется: веб изменился и использует теперь много вещей, которые старые браузеры просто не поддерживали. Если интересна эволюция веб-стандартов, можно разбираться, где именно всё разваливается.

А если хочется прочувствовать интернет 2000-го, то открывать в этих браузерах надо не современные сайты, а олдскульный контент (о нём ниже).

Кстати, видите справа внизу в статусбаре Internet Explorer синюю полоску загрузки страницы? В те медленные времена люди с придыханием следили за тем, как она ползёт. Правда, она всё равно была малоинформативной: могла долго пробыть в самом начале, а потом резко скакнуть.

А ещё, открыв на современном ретиновом экране одну и ту же страницу в старом браузере и новом, легко заметить разницу типографики. Казалось бы, просто тексты всегда выглядели одинаково но нет, в буквах разница тоже ощутима.


Веб-дизайн

Послушав модемные трели и запустив браузер без вкладок, можно было наконец узреть сайты. Какими они были и где теперь такое увидеть? Главный помощник по вопросу где сокровищница Wayback Machine с архивами громадной части интернета. А по вопросу какими распишу здесь главные тренды:

1. Тексты

Поскольку интернет был медленным и не особо интерактивным (никакого там обновления страницы на лету), в него шли за текстами: новостями, письмами, рефератами.

Если хотите прикоснуться старому текстовому контенту, порекомендую колонку Вечерний Интернет, которую вёл Антон Носик её заботливо сохранили даже вне Wayback Machine. Во-первых, это важный ресурс раннего рунета. Во-вторых, это способ одновременно и полазать по старому вебу, и прочитать там как раз о тогдашнем состоянии веба. Интересный документ эпохи, в которой браузеры называли гляделками.

Текстом тогда решались и задачи, для которых сейчас часто используют другие форматы. Для социализации вместо всяких инстаграмов с клабхаусами можно было использовать форумы и чаты. За юмором вместо Тиктока и мем-пабликов шли на сайт anekdot.ru (кстати, он жив и не сильно изменился). И даже порно многие тогда потребляли в виде рассказов на сайте Стульчик.нет (а то с этими JPG-файлами долго ждать: они же сверху вниз загружаются, а самое интересное внизу).

2. Минимализм

Если всё начиналось с текстов, неудивительно, что дизайн зачастую был предельно аскетичен: чёрные символы с синими ссылками на белом фоне. Сейчас сайты вроде Motherfucking Website делают только как ироничный аргумент в пользу легковесных подходов. В 2000-м такой дизайн хоть уже и не был пределом мечтаний (Артемий Лебедев вовсю демонстрировал, что можно иначе), но никого не смущал.

Главная онлайн-библиотека того времени lib.ru в 2021-м выглядит почти так же, как десятилетия назад так что можете даже без Wayback Machine сделать выводы по ней.

3. Пестрота

Ранний интернет был гиковско-академическим, но постепенно туда попадало всё больше обычных людей. И поскольку до соцсетей было негде вести свою страницу, для этого заводили собственные сайты. А для таких пользователей чёрный текст на белом фоне ощущался унылым, и возник противоположный тренд сделать как можно ярче.

Какие средства для этого были? Гифки: пусть на главной странице куча всего двигается! Бегущая строка: пусть даже текст на месте не стоит! Разные цвета и шрифты: чем больше, тем лучше! Музыка: MP3 были слишком тяжёлыми, а вот писклявый MIDI-формат подходил. То есть можно было, зайдя на чью-то страницу, быть атакованным в глаза и уши одновременно.

В фильме Капитан Марвел (2019) действие происходит в 90-х, и к его выходу сделали сайт, иронично воссоздающий такую эстетику. По-моему, справились прекрасно. Поэтому в качестве примера ссылаюсь не на реальный сайт из 2000-го (уже не вспомню адреса таких), а на эту недавнюю стилизацию, она даёт близкое к реальности впечатление. Счётчик просмотров, гостевая книга, шрифт Comic Sans да-да, это всё было.

4. Золотая середина

Конечно, между крайностями голый текст и адская пестрота возникал и промежуточный подход. Вот, например, выходит фильм Космический джем, и ему делают официальный сайт. Понятно, что развлекательное кино хотят рекламировать не чёрным текстом. Но и от гифок с бегущими строками тоже удерживаются. Как тогда действовали профессионалы?

Поразительно, но спустя 25 лет после выхода фильма его сайт всё ещё доступен, так что увидеть легко. Что мы можем увидеть там показательного для тех лет?

  • Компромисс между текстами и гифками: элементами навигации служат статичные картинки.

  • Вёрстку таблицами и фреймами. Тогда миром ещё не завладели div, и всё возможное обычно делали через table. А ещё порой делили фреймами окно браузера на части и подгружали в них разные HTML-страницы (в одной могло быть меню, в другой основной контент) на этом сайте они тоже присутствуют.

  • Простой HTML-код без всех этих ваших реактов. В те времена, нажив view page source на сайте, даже не слишком опытный человек мог разбираться в происходящем. Можно было учиться делать сайты, ходя по разным и смотря, как всё сделано у них.

  • Во многих разделах сайта для навигации используется картинка, кликая по разным участкам которой, попадаешь на разные страницы. Это модный тогда изыск: интереснее простых текстовых ссылок, напоминает навигацию в adventure-играх. На таком основан например, сайт city.cyberpunk.ru, который тоже жив спустя все эти годы там это очень кстати, киберпанк же про киберпространство, и в каком-то смысле оно и воплощалось, захватывая дух.


Контекст

Ранние сайты не существовали в пустоте что тогда происходило вокруг них? И в смысле сетевых штук (не всё, что требует подключения, происходит в браузере), и в офлайне?

Например, что было со скачиванием контента вне браузера? Конечно, видео для 2000-го ещё было слишком тяжёлый, а вот с музыкой как раз разворачивался экшен. Первый популярный peer-2-peer-сервис Napster набирал обороты, Metallica подала на него в суд, и человечество чесало голову, пытаясь сформулировать позицию по онлайн-пиратству.

Конкретно Napster из-за иска был закрыт, но вслед за ним появился Soulseek, а в 2002-м eMule так что ещё до расцвета торрентов люди активно скачивали файлы друг у друга. Конкуренцию таким сервисам составляли локальные сети и FTP-сервера с загрузкой по прямой ссылке.

Когда по прямой ссылке скачивали в браузере, был нюанс. Модемная связь была не самой надёжной и в любой момент могла прерваться. И при дисконнекте требовалось перекачать файл заново. На медленном интернете это было больно. Этому посвящена популярная серия Масяни. Кстати, Масяня тоже важный феномен ранних нулевых: когда обычное видео ещё было слишком тяжёлым для интернета, на помощь пришла Flash-анимация, где выпуск мультика мог весить около мегабайта.

Но персонажи этого выпуска показывают себя непрошаренными. Потому что для скачивания по прямой ссылке существовали специальные программы вроде FlashGet, умеющие докачивать после разрыва. С их помощью возможно было скачать даже гигантский (по тем временам) файл: например, если на твоём тарифе были бесплатные ночные часы, можно было ставить компьютер каждую ночь качать его, и получить вожделенный файл через неделю-другую.

А что тем временем происходило в офлайне? Поскольку люди всё чаще замечали интернет и осмысляли новое явление, всё чаще возникали и офлайновые штуки, связанные с этим. Кажется, точкой всенародного единства стал суперхит Ленинград WWW (2002), а за годы до него были более локальные штуки например, выходил журнал Мир Интернет. То есть вдумайтесь: бумажное издание, где на печатных страницах рассказывали о том, что происходит в интернете. Сегодня звучит странно если это издание для людей, которым важен интернет, зачем ему физическая форма? Но тогда в этом была логика: например, бумажное издание тогда можно было почитать в метро, не то что сайты.

Статьи выкладывали и на сайт этого журнала iworld.ru, так что с помощью Wayback Machine можно ознакомиться с чаяниями того времени. Например, что с платёжными системами в интернете всё грустно. Мол, какие-то западные уже появились, но они хотят данные кредитной карточки, а откуда ж у обычного россиянина такая карточка?

Очень рекомендую почитать эти архивы, интересные ощущения возникают уже от слога и от того, какие понятия читателям приходилось пояснять: Можно с полной уверенностью сказать, что практически каждый пользователь Интернета, зарегистрировавший собственный e-mail-адрес, уже столкнулся с таким явлением, как спам - несанкционированной рассылкой электронных сообщений.

Или вот заголовки из женского мартовского номера 2000 года, когда в интернете можно найти рецепты ещё было значимым событием:

Конечно, для атмосферы было бы клёво не только почитать тексты, но и увидеть сканы хотя бы одного номера целиком. К сожалению, они вроде бы практически не сохранились. Издательство Питер активно присутствует на Хабре, поэтому обращусь: @piter, может, поделитесь архивами?


Конечно, я тут обозначил только верхний слой в один текст всё не уместишь, пришлось многим пожертвовать. А что-то и вовсе прошло мимо меня. Поэтому дополняйте в комментариях тем, что запомнилось вам! Сохраним это для новых поколений вместе.

А я закончу минуткой рекламы. Во-первых, 27 марта мы проводим бесплатный онлайн-фестиваль TechTrain там будет несколько докладов для самых разных айтишников.

А во-вторых, TechTrain станет разогревом перед нашим новым конференционным сезоном. Если старые сайты интересны вам, потому что вы фронтендер вам будет интересно на HolyJS. А кроме этого, проведём мероприятия по Java, .NET, тестированию, мобильной разработке увидеть все эти пять можно на общем сайте.

Подробнее..

Не нравится свой интернет-провайдер? Стань им сам опыт американца по имени Джаред Мауч

14.01.2021 00:13:39 | Автор: admin

Качество работы некоторых интернет-провайдеров не выдерживает никакой критики. Подобные компании можно найти в любой стране. Чаще всего проблема в том, что организация является монополистом в своем регионе, поэтому делает, что хочет. Есть на эту тему отличная серия из South Park, которая называется Informative Murder Porn. И хотя в ней показан провайдер кабельного ТВ, сюжет актуален и для интернет-отрасли.

Так вот, в пригороде Мичигана один из клиентов провайдера интернет-услуг остался настолько недоволен сервисом, что сам стал интернет компанией. Он пробросил оптоволокно, сделал разводку, зарегистрировал предприятие и получил скоростной интернет не только для себя, но и стал обеспечивать связью соседей. Имя этого человека Джаред Мауч.

Сразу стоит сказать, что эта история не про обычного американца из пригорода, работающего на маленьком ранчо. У Мауча был и опыт и деньги для реализации своего замысла. Он работает старшим сетевым архитектором в Akamai, так что необходимые для создания нормальной интернет-инфраструктуры знания у него были. Но в любом случае история весьма примечательная.

С чего все началось?


Мауч перебрался в новый дом в пригороде Мичигана в 2002 году. На то время он получит от местного провайдера канал T1 со скоростью в 1,5 Мбит/с, чего было вполне достаточно. Но по мере того, как совершенствовались сетевые технологии, Мауч ожидал, что и сеть в регионе будет модернизироваться. Но нет.

В итоге он переключился на провайдера, предоставляющего услуги беспроводной интернет-связи на скорости в 50 Мбит/с. Также он связался с Comcast, крупнейшей ИТ-компанией из США, спросив, во что обойдется продолжить оптоволокно к его дому. Компания сообщила, что в этом случае придется выложить $50 000. Мауч, как человек небедный, был готов потратить $10 000, но не полсотни тысяч долларов. Как он сам говорил позже, суммы в $50 000 не ожидал, и такую кучу денег непонятно за что платить не хотел.


Пять лет назад еще один крупный провайдер, AT&T, предложил DSL-линию. Но в этом случае скорость обещали ту же, что у него уже была раньше 1,5 Мбит/с. Смысла менять шило на мыло просто не было. Ну а потом провайдер и вовсе отказался от DSL, забросив и планы по модернизации своей инфраструктуры в ряде регионов.


Маучу все это надоело, и четыре года назад он решить стать интернет-провайдером сам. Несколько месяцев назад план удалось реализовать сетевой архитектор продолжил около 10 км оптоволокна и выполил все необходимые для проведения ШПД-интернета в своей дом работы. Более того, 70% его соседей стали его же клиентами. Раньше они использовали мобильные гаджеты для подключения к интернету.

Что за компания?


Американец назвал ее Washtenaw Fiber Properties LLC, зарегистрировав в качестве провайдера телефонной связи (в США только так можно предоставлять интернет клиентам). Правда, телефонных услуг он не предоставляет, равно как не проводит и кабельное.

На все про все Мауч потратил $145 000, что, конечно, немало даже для небедного человека. Но эти деньги он может постепенно вернуть, предоставляя услуги связи все большему количеству клиентов в своем регионе.


$95 000 ушло на прокладку двух интернет-каналов. Один из них сейчас используется для проведения оптоволокна, второй свободен, так что Мауч надеется в недалеком будущем сдать в аренду какой-либо IT-компании, которая придет в этот регион. Протяженность линии от точки подключения до дома Мауча 10 км. Обе магистрали находятся на глубине около 2 м, правда, в некоторых случаях углубляются до 5м, чтобы обойти трубопроводы разного назначения.


Оптоволокно Мауч продолжил сам, без наемных рабочих. Оборудование для этого ему пришлось взять в аренду, поскольку в случае покупки потратить пришлось бы еще $26 000. Дом американца теперь является хабом для подключения его собственных клиентов. На случай проблем с основным каналом связи новый интернет-провайдер подключился к еще одному более крупному поставщику интернет-услуг. В общем, здесь все по-взрослому.

В домах клиентов Mauch устанавливает медиаконвертер Mikrotik RBFTC11 с модулем Ubiquiti PON-to-Ethernet. Клиенты могут использовать свои собственные беспроводные маршрутизаторы или покупать их у Mauch по себестоимости. Он решил не сдавать оборудование в аренду, поскольку это не выгодно для клиентов.

Кстати, некоторые из них добровольно потратили по несколько тысяч долларов США, чтобы снизить затраты Мауча. За это они получили скидки и премиум-обслуживание (бесплатное пиво по субботам?). Выше уже говорилось о том, что потратить пришлось много. Но американец планирует выйти в ноль уже через 3,5 года он продумал бизнес-модель, так что особой проблемы с возвратом денег нет.


Что касается тарифов, то за канал с пропускной способность в 50 Мбит/с американец просит $65 (для США это вполне нормально), $75 за канал в 250 Мбит/с и $99 за 500 Мбит/с. Если дом клиента удален от магистрали, то клиенту приходится платить за прокладку оптоволокна.


Не обошлось и без проблем разные согласования, поломки и даже кража важного оборудования, которое полиция потом нашла благодаря объявлению, созданному вором на Facebook, мешали нормальному ходу реализации проекта. Но Мауч справился и теперь провайдер работает, обеспечивая интернетом свыше 30 домов поблизости. Каждый месяц появляются новые клиенты.

А что насчет жалоб клиентов?


Их нет, по крайней мере, пока. Клиенты довольны, никаких обрывов связи или прочих проблем нет. Единственные несколько запросов, которые поступали увеличение беспроводной зоны доступа в ряде домов. Клиенты просили установить им более мощные роутеры, вместо тех, которые были куплены ими самими.

Официально Мауч не предоставляет каналов связи с пропускной способностью выше 500 Мбит/с. Но в реальности, поскольку клиенты не выбирают всю скорость, зачастую показатель достигает 1 Гбит/с.

Кстати, соседям американца повезло. Жителям пригородов и удаленных от городов регионов приходится туго. Около 17,3% населения в таких локациях не имеют возможности подключиться к ШПД. В крайнем случае это дорогая связь по мобильной сети.

Планы на будущее



Клиентов у Мауча становится все больше. Он говорит, что совсем недавно у него появилось еще 150 потенциальных клиентов. Кроме того, он предоставляет услуги связи одной из небольших компаний, предоставляющих беспроводный интернет в регионе.


Запросы поступают не только соседей, но и жителей небольших городков поблизости. Американец планирует расширить свою сеть, восстановив часть затраченных на реализацию проекта денег. Сейчас он уже задумывается над тем, где ему интереснее работать в компании, где он занят сейчас, или в качестве руководителя интернет-компании. Но пока что получается совмещать, поскольку интернет-компания не требует большого количества времени на нее нужно от 8 до 10 часов в месяц.

Подробнее..

Как находить проблемы с интернетом и кто виноват ч.1

28.11.2020 00:23:46 | Автор: admin

Многие могут рассказать такую историю :
- Алло, техподдержка провайдера? У меня плохо открывается сайт aaaaaa.com.
- С нашей стороны пули вылетели, проблема в мишени у сайта - пишите туда.

- Привет. Это сайт aaaaaa.com? У меня плохо открывается ваш сайт.
- У нас всё хорошо, пишите провайдеру.

В этом цикле статей попытаемся разобраться - почему так происходит и собрать алгортим - как найти виновного, и что делать.


Disclaimer : автор знает, что

  1. Traceroute не всегда покажет проблемы, что маршруты больше про BGP и AS-PATH.

  2. Автор в курсе про пиринг, асимметрию, MPLS, BGP Communities и что килобайт это 1024 байта.

  3. Маршрут туда и обратно - два разных маршрута и traceroute разницы не покажет.

  4. Матерые сетевики могут найти очень много неточностей. Эти неточности допущены специально, для облегчения понимания материала не-сетевиками. :D

За чей счет банкет?

Интернет в России гораздо дешевле интернета, например в Америке или в Германии. Дешевле в несколько раз. Vodafone Kabel в Германии стоит 45 евро в месяц за 500 мегабит. Это 4000 рублей на момент написания текста. В России, например, у РосТелеком я плачу 1050 рублей в месяц за оптику, по которой приходит 600 мегабит.

Так как в России не производится коммутационное оборудование, то казалось бы - за чей счет банкет? Ведь железо стоит столько же сколько и в Германии. Попробуем в этом разобраться.

Путь от пользователя до сервера выглядит, обычно, следующим образом:

Городской роутер провайдера.

Я плачу 1050 рублей в месяц за 600 мегабит. На телеком-рынке стоимость 1 мегабита составляет от 6 до 30 рублей в зависимости от города. Это значит, что 600 мегабит интернета стоит от 3600 рублей. Как же мне РосТелеком продает всего за 1050? Этому есть несколько причин. Одна из ключевых он продает не только мне. Пользователь обычно не использует интернет на полную катушку 24х7. Поэтому, в тарифе написано - ДО 600 мегабит. С точки зрения математики это выглядит следующим образом:

В городском роутере есть 10 гигабит интернета. Этот интернет продали 500 пользователям. При этом, каждому продали по 1 гигабиту. И того продали 500 гигабит. А всего 10. Так как не все пользователи и не всегда качают фильмы с торрентов, то и проблем обычно нет.Это называется oversell.

Вечер пятницы.

В пятницу вечером проблемы, впрочем, могут начаться. В 17:00 школьники приходят домой с улицы, родители приходят домой с работы. Все садятся за компьютеры и начинают смотреть YouTube/Тикток и так далее. В этот момент как раз и получается, что 10 гигабит на город перестает хватать.

Для пользователя это выражается в следующем:

  1. Ухудшается пинг (иногда в несколько раз).

  2. Падает скорость.

Но, давайте будем честными при пинге до сайта в 4 мс и 20 мс, а также при скорости загрузки сайта в 50 мегабит и 600 мегабит, мы разницы, обычно, не чувствуем странички грузятся почти так же быстро, видео играется и, в целом, всё хорошо. Сайты нынче стали настолько требовательны к ресурсам компьютера, что важнее стала не скорость интернета, а производительность процессора и память.

Однако, если вы пользуетесь удаленным рабочим столом или ssh - разница ощущается. А в сервисах типа GFN.RU 4мс и 20мс input-лага это не только гораздо хуже картинка, но и разница между жизнью и смертью в Rainbow Six Siege.

Если со скоростью всё понятно, то на пинге стоит остановиться отдельно. Трафик в интернете движется со скоростью света. Независимо от загрузки магистрали, расстояние между пользователем и сайтом не поменялось почему же пинги стали хуже?

На сетевом оборудовании могут использоваться очереди (PBQ/QoS). Если пакет ушел в сеть, а канал загружен, то он может попасть в очередь и будет там болтаться либо пока не устареет, либо пока у него не появится возможность попасть в канал (пока не рассосется более приоритетный трафик).

В терминальных ситуациях, перегрузка канала выражается потерями пакетов при пингах. Это штатное поведение магистральных коммутаторов когда что-то не влазит, то что-то случайно отбрасывается до тех пор, пока не начнет влезать.

Тем не менее, не стоит беспокоиться TCP/IP (который используется при взаимодействии с сайтами) протокол с подтверждением доставки. Если что-то по пути потеряется, то потеря будет отправлена еще раз. Для пользователя это будет выглядеть как снижение скорости, которое он не заметит.

UDP (используется обычно для видео/голоса) более быстрый, но без контроля доставки, данные и правда могут потеряться по пути. Эти потери обслуживаются на более высоком уровне, по сравнению с TCP. В стриминговых сервисах потери UDP-пакетов приводят к снижению битрейта до тех пор, пока потери не прекратятся.

Стоит так же обратить внимание, что:

  1. Скорость у пользователя ДО 600 мегабит.

  2. Пинг в договоре не прописывается.

  3. Сайт может отдавать пользователю 20 мегабит вместо 600 даже при хорошей скорости от пользователя до сайта. Например, с помощью https://www.nginx.com/blog/dynamic-bandwidth-limits-nginx-plus-key-value-store/. И чтоб защититься от DDoS и краулинга.

  4. Для того, чтоб диагностировать скорость между сайтом и пользователем нужны специальные инструменты в том числе у сайта, и они должны быть доступны диагносту.

Вывод в обычной ситуации, доказать провайдеру, что между вами и сайтом проблема где-то у провайдера практически невозможно.

Маршруты в большом интернете.

После того, как трафик прошел городской роутер и дошел до магистрального роутера, он попадает в интернет.

 Топология интернета напоминает Mesh Сеть Топология интернета напоминает Mesh Сеть

Конечно, самым правильным было бы найти кратчайший маршрут между пользователем и сайтом, и отправить трафик по нему. Однако, это практически никогда не происходит, и тому есть несколько причин.

BGP

Для выбора по какому маршруту отправить трафик, используется протокол BGP. С его помощью определяется количество узлов между двумя точками. Трафик может быть направлен по маршруту с меньшим количеством узлов (самый короткий AS-PATH). Однако, данный метод не учитывает такой метрики, как расстояние между узлами. Вполне может произойти, и происходит, что между двумя точками есть, например, два маршрута:

  1. AS123 <--1000km--> AS456 <--50км--> AS888

  2. AS123 <--5000км--> AS888

Как видим, ASPATH у второго маршрута короче (на нем меньше промежуточных точек) и трафик вполне может пойти по нему. Хотя, напомню, скорость света указывает на то, что первый маршрут будет быстрее.

Загрузка канала и экономика.

Обратимся к первой картинке. Видим, что у провайдера есть 3 магистральных канала:

Оранжевый, синий и зеленый.

Синий самый жирный. Например, 8 гигабит. Оранжевый чуть менее жирный. Например, 4 гигабита. И зеленый самый тонкий: 2 гигабита.

При этом, синий самый короткий, оранжевый чуть длиннее и зеленый самый длинный.

Казалось бы - всегда используй жирный и короткий, не ходи тонкими и длинными. Но, в реальности, это происходит не всегда.

Канал между двумя точками всегда стоит денег. С точки зрения экономики это выглядит следующим образом:

  1. Арендуется оптическое волокно. В зависимости от ДЦ и жадности владельца оптики волокно стоит по-разному. Иногда, ОЧЕНЬ по-разному. Если на входе в ДЦ есть оптика только от одного владельца, которому, в том числе принадлежит ДЦ, то цена может быть сильно негуманной. Альтернатив-то нет.

  2. По этому волокну организовывается сетевая связь между двумя точками.

  3. Приобретается предоплаченная полоса трафика. Например, 3 гигабита.

  4. Договариваются о цене на Берсты: когда вместо оплаченных 3 гигабит по каким-то причинам наливается 5 гигабит. Обычно, берсты стоят дороже предоплаченной полосы и их стараются не использовать.

Берст (burst): кратковременное (или не кратковременное) превышение. В данном случае предоплаченной полосы. Провайдер в канале 10 гигабит купил всего 1 гигабит. Он может на самом деле использовать все десять. Всё, что выше купленого - называется берстом или превышением.

95 персентиль (95th percentile, MRTG95). Напоминает медиану (50th percentile). Как считается : берется отрезок времени, например 100 секунд. Разбивается на 100 отрезков по 1 секунде. В каждом отрезке определяется максимальная загрузка канала. Отбрасывается 5 отрезков с самой большой загрузкой. Из оставшихся отрезков находят отрезок с самой высокой загрузкой - это и будет 95 персентиль.

Нюанс с берстами. Загрузка канала считается по 95 персентилям. Это значит, что если в течение месяца канал более чем 32 часа загружен на 10 гигабит, даже если выкуплен 1 гигабит, и средняя загрузка 0.5 гигабит, то арендатору приходит счет за 10 гигабит. Поэтому, арендаторы стараются избегать берстов и загружать все свои каналы равномерно.

Всё вышесказанное напрямую влияет как именно ваш трафик пойдет от вас до сервера:

  1. Во-первых, по самому дешевому каналу.

  2. Во-вторых по тому, где есть неиспользованная предоплаченная полоса.

  3. В-третьих, если какой-то канал мигнул бёрстами, то их потом могут добивать: залил в какой-то резервный канал 10 гигабит в результате аварии на основном канале - значит, до конца месяца можно спокойно в резервный канал лить все 10 гигабит. Счет-то все равно уже придет за 10 гигабит.

  4. И уже на последнем месте будет учитываться скорость и комфорт пользователя.

Так же стоит отметить, что перегрузка магистрального канала на несколько процентов пользователями не чувствуется. Да, при перегрузке будут потери пакетов, но, как написано выше TCP и UDP трафик это спокойно обработает. TCP -на уровне протокола, а UDP на уровне приложения.

В интерактивных стриминг-сервисах, увы, это чувствуется инпут-лаг, рассыпающаяся картинка.

А еще, магистральное оборудование, может и не понимать, что бюджет канала исчерпан. Если маршруты говорят, что эти 12 гигабит стоит заливать в канал, в котором всего 10 гигабит полосы, то туда Nexus и попробует залить.

Всё вышесказанное говорит о том, что: когда вечером все начинают смотреть YouTube, то может как падать скорость, так и появляться потери пакетов. А трафик может ходить очень странными путями.

В последующих статьях пройдем варианты диагностики - внутри квартиры, последнюю милю, магистраль, а так же разберемся куда жаловаться.

Подробнее..

Из-за пандемии потребление интернет-трафика превысило ожидаемые значения в 1,5 раза

20.02.2021 20:08:41 | Автор: admin

Компания TeleGeography проанализировала показатели глобального обмена интернет-трафиком. Результаты исследования представлены в виде интерактивной Глобальной карты интернета 2021 (Global Internet Map). По данным исследования, в 2020 году мы стали потреблять больше интернет-трафика. Средний показатель по миру увеличился с примерно 120 до 170 Тбит/с, в пике 300 Тбит/с.

В целом, трафик рос на протяжении последних нескольких лет, причем не на малую цифру 30% ежегодно. Но в 2020 году он побил все рекорды и составил 47%. Рост вполне объясним: из-за глобальной пандемии люди месяцами были заперты дома. В ход пошли стриминговые платформы, платформы для облачного гейминга, сайты доставки и YouTube-каналы с видео котиков. Так что, пожалуй, в этих процентах есть доля каждого из нас.


Выросла и общая емкость глобальной сети в период с 2019 по 2020 гг. с 450 до более 600 Тбит/c (на 35%). Больше всего обменивалась интернет-трафиком Европа. Больше всего нагрузки досталось точкам обмена трафиком (IX) в Германии, Франкфурт, (DE-CIX FRA) и в Нидерландах, Амстердами (AMS-IX). Пиковый трафик у них составил около 7 Тбит/с. Существующим IX было непросто, ведь в 2019 году появилось меньше всего новых точек обмена трафиком.

Как подтвердили аналитики TeleGeography, глобальная пропускная способность и интернет-трафик выросли в 2020 году в основном за счет повсеместного распространения удаленной работы и обучения. Больше людей, чем когда-либо прежде, стало полагаться на интернет, отметили в компании.

TeleGeography также проанализировала деятельность шести мировых провайдеров облачных услуг, включая AWS, Google Cloud Platform, Microsoft Azure и т.д., и составила карту стоимости телекоммуникационных услуг в разных странах. Если верить отчету, в России цены на интернет выше, чем в Европе, но намного ниже, чем в Южной Америке. Цена $0,32 за Мбит/c примерно сравнима с ценами США: $0,35 в Лос-Анджелесе, $0,34 в Нью-Йорке.


К слову, в декабре прошлого года на сетях MKS-IX крупнейшей российской точки обмена интернет-трафиком зафиксирован новый пиковый рекорд в 4,6 Тбит/с. Предыдущее пиковое значение (3,7 Тбит/с) было отмечено 17 марта прошлого года. Впрочем, пока сети справляются с этими нагрузками.

Поводить мышкой по интерактивной карте можно по ссылке. А если вы любитель эффектных постеров (и у вас есть лишние $250), можно еще и заказать печатную версию Global Internet Map.

Подробнее..

Новый ИИ Яндекс.Маркета портит мнение о товарах, создавая противоречивы отзывы

26.05.2021 12:10:08 | Автор: admin

Хороший товар, не надо брать. Этой фразой, кажется, можно охарактеризовать весь спектр претензий к одном маленькому, но важному нововведению Яндекс.Маркета отзывам, написанным искусственным интеллектом. Хотя лучше будет звучать классическое "хотели как лучше". Мы, конечно, надеемся, что со временем ИИ станет работать лучше и яснее изъясняться. Но это со временем, а пока пользователи и продавцы не в восторге. И вот почему.

Что это за умные отзывы?

Яндекс.Маркет выкатил необычное обновление меньше недели назад и почти без предупреждений. В предыдущий четверг в сети появилась информация о том, что умные отзывы стали доступны части пользователей, а уже в пятницу они были открыты для каждого покупателя маркетплейса. Правда, не для всех товаров.

Замысле был прекрасный. Чтобы покупателям не приходилось рыться среди тысячи отзывов, искусственному интеллекту от Яндекс было поручено вычитывать их и обобщать в одну короткую карточку. Искусственный интеллект, якобы, изучает все мнения о товаре, оставленные реальными покупателям и пишет усредненный обзор пересказывает наиболее частые плюсы и минусы. Фактически, ИИ упрощает для покупателям жизнь они могут не перечитывать сотни комментариев в карточках товаров. Если хотите сами взглянуть на нововведение, то "умные" отзывы доступны сразу под фото товара на Маркете.

По сути, это такой словесный рейтинг как и бальная оценка быстро смотришь и все понимаешь о товаре. В итоге же все звучит как краткий пересказ "Войны и мир" от заядлого двоечника. Возможно, Яндекс и не двоечник, а только начинает учиться. Сегодня на Маркете уже оставлено 14 миллионов отзывов из 500 миллионов слов. При этом "умные" отзывы можно встретить только под 50 тысячами товаров. Но надо ли?

А у тебя не слипнется?

Как только в сети появилась новость о том, что ИИ передали бразды правления отзывами пользователи стали переживать. Первыми напряглись сами покупатели. Они решили, что систему очень быстро упакуют в коммерческую обертку и начнут продавать селлерам, чтобы те могли "улучшать" усредненные отзывы о своих товарах. Но пока такого не произошло, а искусственный интеллект, похоже, работает максимально честно и неуверенно.

Нельзя сказать, что все отзывы ИИ ужасны. Если в них содержатся фразы одной эмоциональной направленности, вроде "хорошо" или "плохо", то читать такие комментарии без боли в глазах можно. Но во многих уже появившихся умных отзывах слипаются совершенно противоречащие друг друг факты и выводы. Возможно, ИИ анализирует количество отрицательных и положительных характеристик и если их оказывается поровну, то он упоминает сразу все. Как бы ни было, звучит и выглядит это странно и не очень понятно. Примеры на скриншотах выше и ниже наглядное тому подтверждение. Порой ИИ настолько утопает в своем творчестве, что начинает ругать даже сам Яндекс.

Понять что-либо внятное о товаре по таким отзывам сложно. Когда покупатели сталкиваются с некими проблемами или находят огрехи в товаре они могут пояснить почему это произошло или аргументировать почему покупка не подошла именно им. В случае с ИИ таких пояснений нет, он просто склеивая самые важные, по своему мнению, фразы. Получается, что использовать такие отзывы для покупки не выйдет нужно все равно рыться в комментариях пользователей.

Самое интересно, что периодически умные отзывы показывают картину совершенно отличную от средней оценки товара. Даже те позиции, на карточках которых давно горит 5 звезд могут получить в усредненном отзыве пару оплеух от искусственного интеллекта. Вряд ли это, как считали ранее покупатели, платят реальные продавцы.

И еще одна печальная картина. Каждый продавец сталкивается с отрицательными отзывами на свои товары, даже если продает отличный продукт. Бывает, что у покупателей просто нет настроения на позитивные выводы или вообще никогда нет настроения. Такие отзывы, особенно редкие, постепенно уходят вниз, зарастают хвалебными одами и становятся незаметными. Но теперь, с помощью ИИ, даже таких грустных покойников, достать из-под земли получится. И тут уже ничего не скроешь.

В целом, сам Яндекс признает, что нововведение еще сыровато. В компании сразу заявили, что пока отзывы нейросети будут проверять и люди вычитывать, править и находить неточности. Но люди, очевидно, не могут работать быстрее, чем ИИ пишет отзывы на Маркете и пока все выглядит именно так, как сам искусственный интеллект и написал:

Подробнее..

Все ли остается в интернете и можно ли это почистить (в контексте права на забвение в российской практике)

27.04.2021 18:13:12 | Автор: admin

Закон о праве на забвение, по которому любой гражданин имеет право требовать скрыть в поисковой выдаче ложную или устаревшую информацию о себе, действует в России с 2016 года. Но действительно ли реально почистить за собой все интернет-следы, и не пора ли поменять практику применения закона?

Каждый из нас, регистрируясь на тех или иных сайтах, социальных сетях или агрегаторах, совершая покупки в интернет-магазинах, ежедневно оставляет во всемирной сети сотни и тысячи байтов своих персональных данных - имя, телефон, фотографии, паспортные данные, номера ИНН, СНИЛС и т.п. И в итоге о человеке можно создать целое досье, причем без его желания. Налицо ситуация, об опасности которой на днях говорил президент РФ Владимир Путин, выступая с онлайн-обращением на форуме Давосская повестка дня 2021: Все более значимую роль в жизни общества стали играть современные технологические и прежде всего цифровые гиганты по отдельным направлениям они де-факто конкурируют с государствами. Их аудитория исчисляется миллиардами пользователей, которые проводят в рамках этих экосистем значительную часть своей жизни у общества возникает вопрос: насколько такой монополизм соответствует именно общественным интересам? Где грань между успешным глобальным бизнесом, востребованными услугами и сервисами, консолидацией больших данных и попытками грубо, по своему усмотрению управлять обществом, подменять легитимные демократические институты, по сути, узурпировать или ограничивать естественное право человека самому решать, как жить, что выбирать, какую позицию свободно высказывать?

Как справедливо отмечает кандидат юридических наук Е.М. Подрабинок в своей статье Особенности осуществления права на забвение в эпоху цифровизации общества, появление и осуществление права на забвение (right to be forgotten) стало возможным только с возникновением и распространением интернета, поскольку получение информации практически любого рода стало простым и легкодоступным. При этом далеко не вся информация о человеке в сети может являться правдивой или актуальной на определенный момент времени, и индивид должен иметь право потребовать ее удаления, если сочтет это необходимым для себя. Для этого он может обратиться к оператору поисковой системы и потребовать ограничения или запрета выдачи подобной информации третьим лицам. Собственно, в этом и состоит юридическая суть права на забвение.

Впервые о нем заговорили в мае 2014 года, когда Европейский суд по правам человека, рассмотрев дело Марио Контеха Гонсалеса против Google, в итоге обязал поисковик редактировать определенные результаты поиска по запросу частных лиц. При принятии решения ЕСПЧ сослался на действовавшую в то время Директиву 95/46/EC о защите персональных данных, расценив сбор и хранение информации поисковыми интернет-системами как ее обработку.

В России институт права на забвение появился пять лет назад 1 января 2016 года, когда вступил в силу Федеральный закон от 13.07.2015 г. 264-ФЗ

О внесении изменений в Федеральный закон Об информации, информационных технологиях и о защите информации и статьи 29 и 402 Гражданского процессуального кодекса Российской Федерации. Согласно п. 1 ст. 10.3 Закона об информации человек может предъявить требования об удалении тех или иных ссылок о себе при наличии следующих оснований: 1) информация распространяется с нарушением законодательства РФ; 2) информация является недостоверной; 3) информация является неактуальной; 4) информация является утратившей значение для заявителя в силу последующих событий или действий заявителя.

К недостаткам принятого закона эксперты, в частности, относят то, что закон 264-ФЗ не вводит четких и понятных критериев актуальности или неактуальности информации, об удалении которой просит заявитель, а также ни слова не говорит о том, является ли или нет такая информация общественно значимой. Например, из апелляционного определения Мосгорсуда от 22 мая 2017 года по делу 33-14853/2017 следует, что поисковая система (в данном конкретном случае Яндекс) не может нести ответственность за распространение информации, если оператор не знал о незаконности такого распространения. Кроме того, отметил суд, оператор поисковика не отвечает за размещение информации третьими лицами, поскольку основная его задача предоставить услуги по поиску информации, а не ее распространению. Наконец, по мнению апелляционной инстанции, что при подаче заявления в адрес ООО Яндекс, истец сам должен был указать, какая информация о нем на обжалуемой в заявлении интернет-странице распространяется с нарушением законодательства (помимо необходимости доказывания недостоверности и неактуальности такой информации).

В целом нужно отметить, что в Европе и России, несмотря на схожесть подходов к праву на забвение, все же существуют достаточно серьезные различия в этом плане. В частности, в Евросоюзе данные о запросах граждан можно раскрывать, если они не содержат их персональных данных скажем, если речь идет о предоставлении статистической информации (преамбула 65 GDPR общеевропейского регламента о защите данных). В России же операторам поисковых систем в принципе запрещено раскрывать информацию о сделанных запросах, кого бы и чего бы они ни касались, если иное прямо не установлено действующим законодательством (п.8 ст. 10.3 Федерального закона Об информации, информационных технологиях и о защите информации от 27.07.2006 N 149-ФЗ).

Кроме того, ЕС устанавливает общее исключение из права на забвение, в первую очередь если дело касается выполнения задачи, осуществляемой в публичном интересе (т.е. когда субъекты персональных данных, которые необходимо удалить, играют заметную роль в жизни общества политики, звезды шоу-бизнеса, олигархи, и т.д.), или ввиду публичного интереса в области здравоохранения, или же в целях архивирования в публичном интересе, в целях научных или исторических исследований или в статистических целях (параграф 3 статьи 17 GDPR), в то время как в РФ это исключение является частным (оператор поисковика, согласно п.1 все той же статьи 10.3 закона 149-ФЗ, не имеет права удалять только лишь ссылки о преступлениях, по которым не истекли сроки давности, или по которым с гражданина не снята или не погашена судимость).

Возникает, как пишет Е.М. Подрабинок, и вопрос о том, как соотносится с правом на забвение информация, которая непосредственно на момент ее размещения в сети была и достоверной, и законной, и не нарушающей чьих-либо прав: Подобные вопросы могут возникнуть в связи со множеством произошедших действий или событий. А аналогичных примеров может быть бесчисленное множество. В связи с этим в юридической литературе поднимается вопрос о том, что право на забвение дает возможность лицам фактически переписывать, искажать историю. К схожим выводам пришел и все тот же Мосгорсуд, но уже в другом своем апелляционном определении по делу 33-10390/2017 от 20 марта 2017 года. В своем решении судьи, в частности, указали, что оператор поисковой системы не вправе безосновательно и бездоказательно по произвольному требованию гражданина, который может преследовать различные цели, в том числе для сокрытия находящейся в свободном доступе в сети Интернет достоверной и объективной информации о себе, прекращать поисковую выдачу ссылок на такую информацию, поскольку в противном случае будут нарушены указанные конституционные принципы, а деятельность оператора поисковой системы потеряет всякий смысл.

И действительно, удаление оператором той или иной поисковой системы таких ссылок на информацию, которые имеют явный общественный интерес и общественную значимость, знаменовало бы собой явное отступление от конституционного принципа гласности и свободы слова. Любой гражданин мог бы затруднить доступ третьих лиц к абсолютно любого рода информации о себе, на недопустимость чего обращает внимание, в том числе, и Конституционный Суд Российской Федерации в своем Постановлении от 09.07.2013 N 18-П.

Так можно ли удалить о себе любую информацию из интернета, ликвидировав, таким образом, свой цифровой след? До недавнего времени, если исходить из непосредственного толкования норм закона 264-ФЗ, можно было сказать, что определенные ограничения в этом отношении все же существовали. Но вот в начале декабря 2020 года, Российская газета сообщила о том, что Госдума приняла в первом чтении законопроект, который позволяет пользователям самостоятельно распоряжаться своими персональными данными. В частности, будет создана специальная система Роскомнадзора, с помощью которой можно будет как отзывать согласие на размещение своих персональных данных в интернете (образно говоря, убирать галочку в соответствующем пользовательском соглашении), так и требовать их удаления и/или опровержения.

Как отмечают в пресс-службе Роскомнадзора, основной смысл законопроекта в том, чтобы человек смог реализовать свое право решать, кому и какие данные он предоставляет, для того чтобы сделать их общедоступными, и чтобы он четко это понимал в момент предоставления согласия. Автор документа, депутат Антон Горелкин, поясняет, что законопроект, в отличие от закона о праве на забвение, вводит обязанность удалять персональные данные у всех операторов сразу, а не только у поисковых систем типа Яндекса или Гугла. Сейчас Роскомнадзор, по словам Горелкина, уже разрабатывает соответствующее техническое задание, и в течение ближайшего полугода должна быть запущена система, позволяющая любому пользователю самому решать, что делать с персональной информацией о себе.

Пока обсуждается, будет ли предлагаемая система каким-то образом охватывать согласия, данные до вступления закона в силу, сообщили в Роскомнадзоре. Возможно, как заявил Антон Горелкин, владельцев интернет-ресурсов, в том числе социальных сетей, попросят пересмотреть и переподписать уже заключенные пользовательские соглашения. Кроме того, известно, что действие законопроекта не будет распространяться на информацию, которая предоставляется государственным и муниципальным органам (включая полицию, суды и прокуратуру), а также банкам и страховым компаниям. Однако уже сейчас представляется, что подобное расширение права на забвение может повлечь за собой не расширение права на защиту частной жизни человека, а угрозу для прозрачности и открытости информационной системы общества.

И тогда перед нами вновь встанет извечный вопрос: должна ли свобода каждого отдельного индивида быть безусловным приматом его юридического статуса? Или ей все-таки долженствует реально заканчиваться там, где начинается свобода другого человека? Ответ, как представляется, уже не за горами.

Подробнее..

Как заказать восстановление данных RAID массива через Интернет

23.03.2021 22:13:14 | Автор: admin
Сломался жесткий диск, случайно удалили отчет или проект, над которым работали целый год, или компьютерный вирус уничтожил все данные? Теперь нужно восстанавливать потерянную информацию, а это потребует много времени и специализированных знаний. Но есть способ ускорить процесс, можно заказать восстановление через интернет.

image



Самостоятельное восстановление данных не легкий процесс. Нужно установить причину, подобрать правильное ПО под вашу конфигурацию и проблему, потом попытаться прочитать удаленные данные и надеяться на хороший результат. Все это занимает уйму драгоценного времени, а также не исключает возможные потери данных в процессе.



Уже сейчас можно заказать удаленное восстановление данных у специалистов через Интернет. Современные технологии и высокоскоростное соединение позволяют выполнить самый сложные процедуры на большом расстоянии. Это гораздо облегчает процесс, вам всего лишь необходимо установить несколько программ на ваш ПК, связаться со специалистом и полностью описать проблему.

Перед заказом услуги, нужно подготовить свой компьютер, чтобы специалист мог получить доступ к вашему ПК. Без предварительной подготовки ничего не получиться.

Как извлечь диски


Первое что нужно сделать это извлечь диски из устройства, далее подключить к ПК с операционной системой Windows и установленной программой Hetman RAID Recovery.

Если это специализированное устройство NAS, просто вытащите лоток с накопителем.

image

Если это ПК или сервер, откройте боковую крышку найдите диски.

image

Отключите их от блока питания и материнской платы, выкрутите несколько болтов которыми он крепится к корпусу и вытащите из посадочного места.

image

Если диски подключены к контроллеру, отсоедините кабель, далее подсоедините к SATA порту материнской платы.

image

image

Для RAID массива, собранного на операционных системах Linux или MacOS можно воспользоваться виртуальной машиной, подробное видео смотрите по ссылке.



Как подключить диски к ПК и что делать если недостаточно питания или SATA портов


Прежде чем доставать диски вы должны подсчитать количество накопителей из которых состоит массив и проверить достаточно ли SATA портов на материнской плате ПК, к которому они будут подключены в дальнейшем и хватит ли мощности и выходов питания.

SATA порт имеет следующий вид.

image

А вот так выглядит разъем питания.

image

Их количество ограничено характеристиками материнской платы, а также блока питания.

Что делать если SATA портов на материнской плате недостаточно


В том случае если носителей больше чем портов, можно временно отключить дисковод или другое устройство, которое не потребуется в процессе восстановления. Если SATA по-прежнему недостаточно можно воспользоваться расширителем.

image

Существует большое количество моделей таких устройств, главное их отличие это количество дополнительных портов. Для подключения расширителя установите его в разъём PCIe материнской платы ПК.

Недостаточно питания


В случае с недостающими разъёмами питания тоже есть различные переходники и разветвители. К примеру, вот такой разветвитель, который позволяет с одного MOLEX разъёма получить 4 или 5 SATA. Один носитель потребляет не большое количество энергии (в режиме полной загрузки не более 20Вт, в зависимости от объёма накопителя) поэтому обычного блока на 400-500 Ватт должно хватить для подпитки около 10 носителей.

image

При наличии еще одного ПК можно запитать часть дисков от него, этот способ подойдет к примеру, если нет в наличии дополнительных разветвителей, или если мощности блока питания одного компьютера недостаточно. Носители подключаются к материнской плате первого ПК, а питание к ним идет со второго.

Для перехода к следующему пункту нужно убедиться, что все правильно подключено. Для этого запустите ПК, проверьте видит ли он все подключенные к нему накопители. Откройте управление дисками (кликните правой кнопкой мыши по меню Пуск Управление дисками). При правильном подключении все устройства должны отображаться в этом окне.

image

Следующий шаг настройка управления компьютером через Интернет.

Как установить и настроить TeamViewer


Для организации подключения удаленного восстановления утерянных данных с RAID нужно установить программу TeamViewer. Данная утилита позволят удаленно на расстоянии управлять другим компьютером через интернет.

image

Откройте официальный сайт, скачайте бесплатную версию программы. Для установки запустите только что скачанный файл. Отметьте пункт Установка по умолчанию, а затем Принять далее.

Откройте официальный сайт, скачайте бесплатную версию программы. Для установки запустите только что скачанный файл. Отметьте пункт Установка по умолчанию, а затем Принять далее.

image

Дождитесь окончания процесса установки, в следующем окне выберите как хотите использовать TeamViewer для личного пользования, кликаем Завершить. На этом процесс установки закончен.

image

Найдите ярлык программы на рабочем столе ПК, запустите ее. Для разрешения управления вашим ПК вы должны сообщить сотруднику ваш ID пароль.

image

После выполнения всех этих шагов ваша система будет готова к процессу удаленного восстановления утерянной информации через интернет. Напишите на этот адрес и свяжитесь с нами по email.
Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru