В комментариях к моему туториалу, рассказывающему о парсинге логов с помощью Fluent-bit, было приведено две альтернативы: Filebeat и Vector. Этот туториал рассказывает как организовать сбор и парсинг лог-сообщений при помощи Filebeat.
Цель туториала: Организовать сбор и парсинг лог-сообщений с помощью Filebeat.
Дисклеймер: Туториал не содержит готовых для продакшена решений, он написан с целью помочь тем кто только начинает разбираться с filebeat и для закрепления изученного материала автором. Так же в туториале не проводиться сравнение доставщиков логов. Сравнение можно найти здесь.
Кому данная тема интересна, прошу под кат:)
Тестовое приложение будем запускать с помощью docker-compose.
Общая информация
Filebeat это легковесный доставщик лог-сообщений. Принцип его работы состоит в мониторинге и сборе лог-сообщений из лог-файлов и пересылки их в elasticsearch или logstash для индексирования.
Filebeat состоит из ключевых компонентов:
- сборщики (harvesters) отвечают за чтение лог-файлов и отправку лог-сообщений в заданный выходной интерфейс, на каждый лог-файл задается отдельный сборщик;
- входные интерфейсы (inputs) отвечают за поиск источников лог-сообщений и управление сборщиками.
Подробнее о принципе работы можно почитать в официальном руководстве.
Организация сбора лог-сообщений
Filebeat имеет множество входных интерфейсов для различных источников лог-сообщений. В рамках туториала предлагаю двигаться от настройки сбора вручную до автоматического поиска источников лог-сообщений в контейнерах. По моему мнению данный подход позволит глубже понять filebeat, к тому же я сам двигался тем же путем.
Нам необходим сервис, лог-сообщения которого будем пересылать на
хранение.
В качестве такого сервиса возьмем простое приложение, написанное с
помощью FastAPI, единственной целью
которого является генерация лог-сообщений.
Сбор лог-сообщений с помощью volume
Для начала клонируем репозиторий. В нем находится
тестовое приложение, конфигурационный файл Filebeat и
docker-compose.yml.
Настройка сбора лог-сообщений с помощью volume состоит из следующих
шагов:
- Настройка логгера приложения на запись лог-сообщений в
файл:
app/api/main.py
logger.add( "./logs/file.log", format="app-log - {level} - {message}", rotation="500 MB") -
Создание volume для хранения лог-файлов вне контейнеров:
docker-compose.yml
version: "3.8"services: app: ... volumes: # создаем volume, для хранения лог-файлов вне контейнера - app-logs:/logs log-shipper: ... volumes: # заменяем конфигурационный файл в контейнере - ./filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro # подключаем volume с лог-файлами в контейнер - app-logs:/var/app/logvolumes: app-logs: -
Определение входного и выходного интерфейсов filebeat:
filebeat.docker.yml
filebeat.inputs:- type: log # Определяем путь к лог-файлам paths: - /var/app/log/*.log# Пока будем выводить лог-сообщения в консольoutput.console: pretty: true
Запускаем тестовое приложение, генерируем лог-сообщения и получаем их в следующем формате:
{"@timestamp": "2021-04-01T04:02:28.138Z","@metadata": {"beat": "filebeat","type": "_doc","version": "7.12.0"},"ecs": {"version": "1.8.0"},"host": {"name": "aa9718a27eb9"},"message": "app-log - ERROR - [Item not found] - 1","log": {"offset": 377,"file": { "path": "/var/app/log/file.log"}},"input": {"type": "log"},"agent": {"version": "7.12.0","hostname": "aa9718a27eb9","ephemeral_id": "df245ed5-bd04-4eca-8b89-bd0c61169283","id": "35333344-c3cc-44bf-a4d6-3a7315c328eb","name": "aa9718a27eb9","type": "filebeat"}}
Сбор лог-сообщений с помощью входного интерфейса container
Сontainer позволяет
осуществлять сбор лог-сообщений с лог-файлов контейнеров.
Настройка сбора лог-сообщений с помощью входного интерфейса
container состоит из следующих шагов:
- Удаление настроек входного интерфейса log, добавленного на предыдущем этапе, из конфигурационного файла.
-
Определение входного интерфейса container в конфигурационном файле:
filebeat.docker.yml
filebeat.inputs:- type: container # путь к лог-файлам контейнеров paths: - '/var/lib/docker/containers/*/*.log'# Пока будем выводить лог-сообщения в консольoutput.console: pretty: true - Отключаем volume app-logs из сервисов app и log-shipper и удаляем его, он нам больше не понадобиться.
-
Подключаем к сервису log-shipper лог-файлы контейнеров и сокет докера:
docker-compose.yml
version: "3.8"services: app: ... log-shipper: ... volumes: # заменяем конфигурационный файл в контейнере - ./filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro - /var/lib/docker/containers:/var/lib/docker/containers:ro - /var/run/docker.sock:/var/run/docker.sock:ro - Настройка логгера приложения на запись лог-сообщений в
стандартный вывод:
app/api/main.py
logger.add( sys.stdout, format="app-log - {level} - {message}",)
Входной интерфейс container, настроенный таким образом,
будет собирать лог-сообщения со всех контейнеров, однако может
потребоваться собирать лог-сообщения только с определенных
контейнеров.
Это можно сделать описанным ниже способом.
Сбор лог-сообщений с помощью автообнаружения
При сборе лог-сообщений контейнеров, могут возникнуть трудности, так как контейнеры могут перезапускаться, удаляться и т.д. В связи с этим в filebeat есть автообнаружение контейнеров, с возможностью определения настроек сбора лог-сообщений для каждого обнаруженного контейнера. Механизм автообнаружения состоит из двух частей:
- шаблона поиска контейнера;
- конфигурации сбора лог-сообщений.
Подробнее можно почитать здесь.
Настройка состоит из следующих шагов:
- Удаление настроек входного интерфейса container, добавленного на предыдущем этапе, из конфигурационного файла.
-
Определение настроек автообнаружение в конфигурационном файле:
filebeat.docker.yml
filebeat.autodiscover: providers: # искать docker контейнер - type: docker templates: - condition: contains: # имя которого fastapi_app docker.container.name: fastapi_app # определим конфигурацию сбора для этого контейнера config: - type: container paths: - /var/lib/docker/containers/${data.docker.container.id}/*.log # исключим лог-сообщения asgi-сервера exclude_lines: ["^INFO:"]# Пока будем выводить лог-сообщения в консольoutput.console: pretty: true
Вот и все. Теперь filebeat будет собирать лог-сообщения только с указанного контейнера.
Сбор лог-сообщений с использованием подсказок (hints)
Filebeat поддерживает автообнаружение на основе подсказок.
Он ищет информацию (подсказки) о конфигурации сбора в лейблах
контейнера.
Как только контейнер запустится, Filebeat проверит, содержит ли он
какие-либо подсказки, и запустит для него сбор с правильной
конфигурацией.
Подробнее можно почитать здесь.
Настройка сбора состоит из следующих шагов:
-
Удаляем шаблон обнаружения сервиса app и включаем подсказки:
filebeat.docker.yml
filebeat.autodiscover: providers: - type: docker hints.enabled: true# Пока будем выводить лог-сообщения в консольoutput.console: pretty: true -
Отключаем сбор лог-сообщения для сервиса log-shipper:
docker-compose.yml
version: "3.8"services: app: ... log-shipper: ... labels: co.elastic.logs/enabled: "false"
Парсинг лог-сообщений
Для обработки лог-сообщений в Filebeat есть большое количество
обработчиков (processors).
Их можно подключить с помощью лейблов контейнеров либо определить в
конфигурационном файле.
Воспользуемся вторым способом.
-
Для начала очистим лог-сообщения от метаданных. Для этого в конфигурационный файл добавим обработчик drop_fields:
filebeat.docker.yml
processors: - drop_fields: fields: ["agent", "container", "ecs", "log", "input", "docker", "host"] ignore_missing: true
Теперь лог-сообщение выглядит следующим образом:
{ "@timestamp": "2021-04-01T04:02:28.138Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.12.0" }, "message": "app-log - ERROR - [Item not found] - 1", "stream": ["stdout"]} -
Для отделения лог-сообщений API от лог-сообщений asgi-сервера, добавим к ним тег с помощью обработчика add_tags:
filebeat.docker.yml
processors: - drop_fields: ... - add_tags: when: contains: "message": "app-log" tags: [test-app] target: "environment" -
Структурируем поле message лог-сообщения с помощью обработчика dissect и удалим его с помощью drop_fields:
filebeat.docker.yml
processors: - drop_fields: ... - add_tags: ... - dissect: when: contains: "message": "app-log" tokenizer: 'app-log - %{log-level} - [%{event.name}] - %{event.message}' field: "message" target_prefix: "" - drop_fields: when: contains: "message": "app-log" fields: ["message"] ignore_missing: true
Теперь лог-сообщение выглядит следующим образом:
{ "@timestamp": "2021-04-02T08:29:07.349Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.12.0" }, "log-level": "ERROR", "event": { "name": "Item not found", "message": "Foo" }, "environment": [ "test-app" ], "stream": "stdout"}
Дополнение
Filebeat так же имеет готовые решения сбора и парсинга
лог-сообщений для широко используемых инструментов таких, как
Nginx, Postgres и т.д.
Они называются модулями.
К примеру для сбора лог-сообщений Nginx, достаточно добавить к его
контейнеру лейбл:
co.elastic.logs/module: "nginx"
и включить подсказки в конфигурационном файле. После этого мы получим готовое решение для сбора и парсинга лог-сообщений + удобный dashboard в Kibana.
Всем спасибо за внимание!
