OSINT. Взгляд на компанию со стороны

OSINT (англ. Open source intelligence) или разведка на основе открытых источников включает в себя поиск, сбор и анализ информации, полученной из общедоступных источников. Ключевой целью является поиск информации, которая представляет ценность для злоумышленника либо конкурента. Сбор информации во многом является ключевым элементом проведения пентеста. От того, насколько качественно он был осуществлён, может зависеть, как эффективность пентеста в целом, так и эффективность отработки отдельных векторов атаки (социальная инженерия, брутфорс, атака на Web-приложения и пр.). В разрезе кибербезопасности/пентеста OSINT чаще всего применяется для сбора публичных данных о компании, и это касается не только информации о email-адресах ее сотрудников. Не менее интересной будет информация о:

• DNS-именах и IP-адресах;

• доменах и субдоменах, зарегистрированных за компанией;

• фактах компрометации почтовых адресов;

• открытых портах и сервисах на них;

• публичных эксплойтах для найденных сервисов;

• конфиденциальных документах;

• имеющихся механизмах безопасности и т.д.

Сегодня посмотрим с помощью каких инструментов и какую информацию можно найти в открытых источниках на примере компании Pentestit.

Статья носит информационный характер. Не нарушайте законодательство.

Консольные инструменты

TheHarvester

TheHarvester - это целый фреймворк для сбора e-mail адресов, имён субдоменов, виртуальных хостов, открытых портов/банеров и имён сотрудников компании из различных открытых источников. Позволяет производить как пассивный поиск по нескольким поисковым системам: google, yahoo, bing, shodan.io, googleplus, linkedin и т.д., так и активный например, перебор имен субдоменов по словарю.

Используя различные поисковые источники можно получить различный результат. Например, при использовании поисковой системы Yahoo:

А при использовании Google:

Dmitry

Dmitry - еще один консольный инструмент для поиска информации об интересующих хостах. Базовый функционал может собирать возможные субдомены, адреса электронной почты, информацию о времени безотказной работы, сканирование TCP-портов, поиск whois и многое другое. Функционал довольно обширный, но по возможностям и скорости обнаружения открытых портов все же уступает предыдущему инструменту, но это не мешает использовать их совместно. Все-таки, подобные вопросы требуют использования информации из разных источников для большей достоверности.

# dmitry -winsepfb pentestit.ru

Чтобы получить максимальное количество информации о домене указываем все ключи. В числе прочего, инструмент будет сканировать порты, но в ограниченном диапазоне, поэтому лучше для этих целей использовать Nmap

Nmap

Nmap (Network Mapper) это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.

# nmap -v pentestit.ru -sV -Pn

Узнав открытые порты запустим тот же Nmap, но уже будем использовать различные группы скриптов, которые помогут обнаружить возможные ошибки конфигурации:

# nmap -sV pentestit.ru --script "version, discovery, vuln, auth" -p22,80,443 -Pn

При выполнении этой команды Nmap выполнит все скрипты, собранные в этих группах для получения информации из каждой группы: получение расширенного вывода версии сервисов, поиск расширенной информации о сервере, поиск публичных уязвимостей и т.д. Эта информация так же поможет определить возможные точки входа в сетевой периметр организации.

WhatWeb

Многие компании имеют свой сайт, который также можно проанализировать. WhatWeb как раз идентифицирует веб-сайты. Главная задача инструмента - ответить на вопрос какие технологии использует веб-приложение. WhatWeb распознает веб-технологии, в том числе систему управления контентом (CMS), пакеты статистики/аналитики, библиотеки JavaScript, и многое другое. Имеет более 1700 плагинов, каждый из которых предназначен для распознавания чего-то одного. Также идентифицирует номера версий, email адреса, ID аккаунтов, модули веб-платформ, SQL ошибки и прочее.

# whatweb -v pentestit.ru

TiDos

TiDos - универсальная платформа, охватывающая всё от сбора начальных данных до анализа на уязвимости. В своем арсенале имеет 5 модулей, которые позволяют выполнять как поиск информации о цели в открытых источниках, так и искать некоторые уязвимости (но все же не является полноценным сканером уязвимостей). Так как нас интересует только сбор информации, то и рассматривать будем только один раздел, содержащий порядка 50 модулей. Этот раздел позволяет проводить как пассивный сбор данных:

• поиск email-адресов и прочую контактную информацию в Интернете;

• информацию о домене (whois-информация);

• информацию о конфигурации DNS;

• список субдоменов;

• список подсетей и т.д.

так и активный:

• сбор баннеров;

• проверка файлов robots.txt и sitemap.xml;

• определение CMS;

• определение альтернативных версий сайта путем обращения с различным параметром User-Agent;

• поиск файлов типа info.php и его возможных вариаций и т.д.

Онлайн сервисы

Использование онлайн-сервисов также один из возможных путей при проведении сбора данных о цели. Обобщенная база таких сервисов - это osintframework. Здесь собраны и отсортированы по разделам различные инструменты. К слову говоря, здесь также предоставлены ссылки на полезные инструменты и фреймворки, относящиеся к конкретному разделу, как например, TheHarvester или Recon-ng.

Поиск email

hunter - на сайте вводим название комании или ее домен, и получаем список адресов, которые удалось найти вместе с ресурсами, где эти данные фигурировали.

Как приятный бонус доступно расширение для браузера, которое при посещении веб-сайта будет автоматически искать связанные с ним email-адреса.
mailshunt - по аналогии с предыдущим сервисом указываем домен компании и получаем список найденных учетных записей.

Найденные email-адреса можно проверить на предмет утечки на известном сервисеhaveibeenpwned.com. Скомпрометированные пароли отображаться не будут, но так хотя бы можно будет разделить список адресов на "чистые" и потенциально скомпрометированные.

Whois

who.is - вводим домен компании и в ответе получаем whois-информацию, DNS-записи и т.д.

2whois помимо получения whois-информации сервис предоставляет онлайн-сервисы nslookup, dig, анализ DNS и многое другое.

crt.sh - еще один полезный и довольно простой в использовании сервис поиска субдоменов.

Также можно воспользоваться сервисом securitytrails.com для все того же поиска субдоменов.

hackertarget - инструмент схож с предыдущими, т.к. использует в своем арсенале инструменты с открытым исходным кодом, но в этом случае набор инструментов значительно расширен, что позволяет дополнительно использовать, например, OpenVas, Nmap, Nikto, WhatWeb и т.д.

dnsdumpster.com умеет рисовать графы взаимосвязей и выгружать результаты в Excel, но имеет ограничение на выдачу только 100 субдоменов.

Google Dorks

Google Dork Queries (GDQ) - это набор запросов для выявления индексируемых поисковой системой страниц. Одним словом - всего, что должным образом не спрятано от поисковых роботов. Вот небольшой список команд, которые чаще всего используются:

• site - искать по конкретному сайту;

• inurl - указать на то, что искомые слова должны быть частью адреса страницы/сайта;

• intitle - оператор поиска в заголовке самой страницы;

• ext или filetype - поиск файлов конкретного типа по расширению.

Комбинируя различным образом команды для поиска можно найти практически все, вплоть до логина/пароля администратора.

Можно ли где-то найти готовые запросы для поиска информации? - Можно. На exploit-db в разделе google hacking database.

pentest-tools - полезный ресурс для сбора инормации, но в бесплатном варианте имеет множество ограничений, например, 2 сканироания в сутки. Но при этом бесплатно доступен Google Hacking, где достаточно указать домен и выбирать из предложенных вариантов поиска. Результаты поиска будут отображаться в отдельном окне

Подведем небольшой итог

В процессе сбора информации мы смогли найти достаточное количество информации, которое может послужить плацдармом выявления уязвимостей организации и возможных точек входа в ее сетевой периметр. Таким образом, периодически производя подобные действия можно объективно понять, что и насколько подробно знает о компании потенциальный злоумышленник, находясь по ту сторону Интернета. Разумеется, инструментов для проведения OSINT еще очень много, но в рамках статьи упомянули самые интересные и популярные.

Но если вы хотите узнать больше не только о сборе информации, но и об информационной безопасности в целом, то Корпоративные Лаборатории позволят углубить свои знания и закрепить навыки на практике в специализированной лаборатории.