Elastic Stack

Внедрение, сопровождение, интеграция
Elastic Stack
Внедрение, сопровождение, интеграция

Приглашаем на семинар-инструктаж по Elastic Stack 8

25-27 марта 2024
Применение Elastic Stack
Зонтичная система мониторинга
Elastic Stack может выступать в роли агрегатора событий с удобным поиском, корреляцией и визуализацией.
SIEM-система
Анализ логов аутентификации, аудит-логов операционных систем или flow-трафика от сетевых устройств — Elastic Stack умеет делать «из коробки».
Аналитическая система
Elastic Stack можно использовать для бизнес аналитики, делать прогнозы по существующим данным. и использовать другие возможности алгоритмов машинного обучения.
Мониторинг сетевой инфраструктуры
Приём, разбор и склейка flow-трафика от сетевых устройств. Гибкая настройка разбора полей позволяет распознавать любой их набор.
APM-мониторинг
Поддерживаются Java, Python, Ruby, Go, Node. js, SPA-приложения (инжекция JS-кода). Удобный поиск внутри собранных данных поможет быстро выявить нештатное поведение кода.
Единое хранилище данных
Подходит для долговременного хранения массивов данных и быстрого доступа к ним. Новые ноды добавляются в несколько кликов мышью.
Применение Elastic Stack
Зонтичная система мониторинга
Elastic Stack может выступать в роли агрегатора событий с удобным поиском, корреляцией и визуализацией.
SIEM-система
Анализ логов аутентификации, аудит-логов операционных систем или flow-трафика от сетевых устройств — Elastic Stack умеет делать «из коробки».
Аналитическая система
Elastic Stack можно использовать для бизнес аналитики, делать прогнозы по существующим данным. и использовать другие возможности алгоритмов машинного обучения.
Мониторинг сетевой инфраструктуры
Приём, разбор и склейка flow-трафика от сетевых устройств. Гибкая настройка разбора полей позволяет распознавать любой их набор.
APM-мониторинг
Поддерживаются Java, Python, Ruby, Go, Node. js, SPA-приложения (инжекция JS-кода). Удобный поиск внутри собранных данных поможет быстро выявить нештатное поведение кода.
Единое хранилище данных
Подходит для долговременного хранения массивов данных и быстрого доступа к ним. Новые ноды добавляются в несколько кликов мышью.
Архитектура Elastic Stack
Архитектура Elastic Stack
Архитектура Elastic Stack
Elasticsearch
Elasticsearch — это ядро Elastic Stack. Поисковая система, которая хранит неструктурированные данные и выдаёт их по запросу. Есть удобный механизм масштабирования и резервирования. Работает на Java и использует в работе библиотеки Lucene.
Logstash
Logstash — это инструмент сбора, анализа логов и других типов данных. Подключается напрямую к Elasticsearch и загружает данные туда. Можно настроить предобработку данных с помощью встроенных фильтров (самый известный —grok, но для разбора данных есть и другие).
Kibana
Kibana — это интерфейс для представления данных из Elasticsearch. В Kibana есть настриваемые представления: линейные графики, секторные диаграммы, географических карты. Здесь же настраиваются функции машинного обучения и многое другое.
Filebeat
Filebeat — это универсальный сборщик логов с удалённых систем и сервисов. Нативно поставляет логи в Logstash или напрямую в Elasticsearch. Имеет готовые обработчики для логов различных форматов: системные, Nginx, Apache, MySQL и других.
Metricbeat
Metricbeat — это универсальный сборщик метрик с систем и сервисов. Нативно поставляет метрики в Logstash или напрямую в Elasticsearch. Имеет готовые обработчики для системных метрик (CPU, Memory и т. д.), Redis, Nginx и других.
Packetbeat
Packetbeatt — это сборщик и анализатор сетевого трафика. Нативно поставляет метрики в Logstash или напрямую в Elasticsearch. Имеет готовые обработчики для следующих видов трафика: HTTP (S), Flow (Netflow, JFlow и других) и MySQL.
Winlogbeat
Winlogbeat — это легковесный сборщик журналов Windows. Нативно поставляет метрики в Logstash или напрямую в Elasticsearch. Настраивается на чтение любых журналов и событий с определёнными кодами (например, код события 4625 — неудачный вход в систему).
Auditbeat
Auditbeat — это сборщик событий с Linux-подобных систем. Работает аналогично утилите auditd и поставляет события в Logstash или напрямую в Elasticsearch. Auditbeat дедуплицирует и группирует связанные события, извлечённые из модуля аудита Linux.
Heartbeat
Heartbeat — это инструмент сбора данных о доступности удалённых сервисов. Работает по протоколам ICMP, TCP и HTTP. Кроме элементарной проверки доступности умеет работать c TLS, аутентификацией, прокси-серверами и разбирать ответ от удалённого сервиса.
Интерфейсы Kibana
Линейные графики, гистограммы, секторные диаграммы, конструктор Vega и другие инструменты визуализируют разнообразные структуры данных.
Гибкая визуализация гео-данных. Представление с картами можно использовать как оперативный дашборд или аналитическое представление.
Данные, меняющиеся во времени можно трансформировать, добавлять аннотации и экспортировать в виде отчётов.
Представление в виде связанного графа показывет взаимосвязи между данными. Например, сетевые подключения между двумя клиентами или банковские транзакции.
Алгоритмы машинного обучения для связанных метрик покажут аномальные отклонения в поведении метрик или прогнозные значения.
На типе представлений Canvas можно формировать собственные автообновляемые дашборды. Сюда же можно вывести события или гео-данные.
Canvas можно формировать при помощи CSS-стилей и накладывать изображения в нескольких слоёв.
Ответственные за онлайн-продажи могут получать оперативную информацию из представлений типа Canvas. В нижней части экрана можно переключать представления.
Авторизация в интерфейсе Kibana —теперь бесплатно!
Начиная с версии 6.8.0 и 7.1.0 в Kibana стал бесплатно доступен функционал аутентификации, ролевого доступа и шифрованного подключения по протоколу TLS.
Особенности Elastic Stack
1
Elastic Stack — не серебряная пуля
Хотя продукт и имеет большой набор функций, но не всегда в одиночку может решить поставленную задачу. В проектах Elastic Stack обычно интегрируется с другими системами, например, Zabbix или Grafana.
2
Elastic Stack не полностью бесплатен и открыт
Основные компоненты продукта бесплатны, но есть Stack Features (бывший X-Pack), которые вендор поставляет на платной основе. Среди них авторизация через LDAP, машинное обучение, система алертинга и другое.
3
Elastic Stack непрерывно развивается
Релизы новых версий компонентов Elastic Stack происходят почти каждый месяц, постоянно добавляются новые функции. Например, в одной из последних версий Kibana появились новые SIEM- представления.
Мы пишем и публикуем статьи
Статья на Хабре
Статья на Хабре
Статья на Хабре
Статья на Хабре

Наши услуги по Elasticsearch

Проектирование
Выполним проектирование кластера Elastic Stack согласно вашим потребностям и в соответствии с рекомендациями вендора, составим необходимую техническую документацию, необходимую для начала работ.
Внедрение
Внедрим решение на базе Elastic Stack согласно технической документации, разработанной на этапе проектирования. Настроим мониторинг приложений модулем APM в Elastic Stack.
Интеграции
Интегрируем Elastic Stack c внешними системами: SIEM, мониторинг приложений, Service Desk, CMDB и другими.
Поддержка
После окончания проекта внедрения возьмём на себя развитие и поддержку Elasticsearch, Logstash, Kibana и остальных компонентов Elastic Stack.
Лицензии
Выполним поставку лицензий на платный функционал Elastic Stack. Стоимость лицензий зависит от количества нод Elasticsearch. Чтобы купить лицензии Elastic, оставьте заявку в форме ниже.
Обучение
Проведём авторский курс обучения Elastic Stack (Elasticsearch) в вашей компании. Научим разворачивать кластер, выполнять тюнинг производительности, оптимизировать политики хранения данных, настраивать приём различных видов данных и многое другое. Подробнее об обучении.