Материалы с тегом «ELK Stack» ⋆ Clip-Clap Практические инструкции по Windows, Linux, 1С, сетям, серверам, смартфонам и технике: диагностика ошибок, настройка и безопасные решения. Thu, 24 Sep 2026 20:46:01 +0000 ru-RU hourly 1 https://wordpress.org/?v=7.1.4 https://clip-clap.ru/wp-content/uploads/2026/10/cropped-clip-clap-mark-512x512-1-32x32.png Материалы с тегом «ELK Stack» ⋆ Clip-Clap 32 32 Мониторинг бэкенда в Elastic APM: установка агента, trace ID и проверка https://clip-clap.ru/it/%d0%b0%d0%b4%d0%bc%d0%b8%d0%bd%d0%b8%d1%81%d1%82%d1%80%d0%b8%d1%80%d0%be%d0%b2%d0%b0%d0%bd%d0%b8%d0%b5/%d0%bc%d0%be%d0%bd%d0%b8%d1%82%d0%be%d1%80%d0%b8%d0%bd%d0%b3-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d0%b1%d1%8d%d0%ba%d0%b5%d0%bd/ https://clip-clap.ru/it/%d0%b0%d0%b4%d0%bc%d0%b8%d0%bd%d0%b8%d1%81%d1%82%d1%80%d0%b8%d1%80%d0%be%d0%b2%d0%b0%d0%bd%d0%b8%d0%b5/%d0%bc%d0%be%d0%bd%d0%b8%d1%82%d0%be%d1%80%d0%b8%d0%bd%d0%b3-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d0%b1%d1%8d%d0%ba%d0%b5%d0%bd/#respond Sun, 06 Sep 2020 18:58:02 +0000 https://clip-clap.ru/?p=1631 Пошаговая настройка Elastic APM для бэкенда: APM endpoint, Python-агент, переменные окружения, тестовые запросы, поиск транзакций и trace ID, диагностика и rollback.

Сообщение Мониторинг бэкенда в Elastic APM: установка агента, trace ID и проверка появились сначала на Clip-Clap.

]]>
Ниже — практический пример подключения Python-бэкенда к Elastic APM. Тот же порядок подходит и для других языков: сначала проверяем APM endpoint, затем подключаем агент, создаём тестовую транзакцию и убеждаемся, что она появилась в Elasticsearch и Kibana.

1. Проверяем APM endpoint

export ELASTIC_APM_SERVER_URL=https://apm.example.com
curl -vk $ELASTIC_APM_SERVER_URL/

Ответ 200, 401 или 403 означает, что endpoint доступен. Timeout и connection refused указывают на DNS, firewall, proxy или неверный адрес.

2. Создаём тестовое Python-приложение

python3 -m venv /opt/apm-demo-venv
/opt/apm-demo-venv/bin/pip install flask elastic-apm
install -d -m 755 /opt/apm-demo

3. Добавляем приложение

cat > /opt/apm-demo/app.py <<'EOF'
from flask import Flask
from elasticapm.contrib.flask import ElasticAPM
import time

app = Flask(__name__)
app.config['ELASTIC_APM'] = {
    'SERVICE_NAME': 'apm-demo',
    'SERVER_URL': 'https://apm.example.com',
    'SECRET_TOKEN': 'CHANGE_ME',
    'ENVIRONMENT': 'test',
}
apm = ElasticAPM(app)

@app.get('/fast')
def fast():
    return {'status': 'ok'}

@app.get('/slow')
def slow():
    time.sleep(2)
    return {'status': 'slow'}

@app.get('/error')
def error():
    raise RuntimeError('APM test error')

app.run(host='127.0.0.1', port=5000)
EOF

4. Запускаем вручную

/opt/apm-demo-venv/bin/python /opt/apm-demo/app.py

В другом терминале отправьте тестовые запросы:

curl -sS http://127.0.0.1:5000/fast
curl -sS http://127.0.0.1:5000/slow
curl -i http://127.0.0.1:5000/error

5. Создаём systemd unit

cat > /etc/systemd/system/apm-demo.service <<'EOF'
[Unit]
Description=Elastic APM demo backend
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
WorkingDirectory=/opt/apm-demo
ExecStart=/opt/apm-demo-venv/bin/python /opt/apm-demo/app.py
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable --now apm-demo
systemctl status apm-demo --no-pager
journalctl -u apm-demo -n 100 --no-pager

6. Проверяем данные через Elasticsearch API

curl -sS -u elastic:CHANGE_ME \
  'https://es.example.com/traces-apm*/_search?size=5&sort=@timestamp:desc' \
  -H 'Content-Type: application/json' \
  -d '{"query":{"term":{"service.name":"apm-demo"}},"_source":["@timestamp","service.name","transaction.name","transaction.duration.us","trace.id","error.exception.message"]}'

В выдаче должны появиться транзакции GET /fast, GET /slow и ошибка из /error.

7. Ищем trace ID в Kibana

service.name : "apm-demo"
trace.id : "TRACE_ID_FROM_EVENT"
transaction.name : "GET /slow"

Проверьте duration медленного запроса, stack trace ошибки и связанный trace ID.

8. Проверяем корреляцию логов и traces

Приложение должно писать trace.id и transaction.id в структурированные логи. После этого в Kibana можно перейти от медленной транзакции к связанным сообщениям приложения.

9. Исторический вариант: анализ времени ответа по Nginx-логам

До полноценного APM ту же практическую задачу часто решали по access log Nginx: добавляли request_time и upstream_response_time, разбирали строки через Logstash/grok и строили визуализации в Kibana. Это не заменяет traces и spans, но остаётся полезным дополнением к APM — особенно для проверки того, что видел reverse proxy.

Разобранные Nginx-логи с request_time и upstream_response_time в старой Kibana

В старом dashboard отдельно группировалось время ответа upstream, URI запросов, общее request_time и типы запросов.

Визуализация upstream_response_time в Kibana
Визуализация URI запросов к backend
Визуализация request_time в Kibana
Визуализация типов запросов в Kibana

Итоговый экран объединял эти графики с сырыми логами. В современной схеме такой dashboard логично использовать рядом с APM: APM показывает trace внутри приложения, а Nginx-лог подтверждает внешнее время запроса на границе веб-стека.

Старый Kibana dashboard анализа времени ответа backend

10. Диагностика

systemctl status apm-demo --no-pager
journalctl -u apm-demo --since '15 min ago' --no-pager
curl -vk https://apm.example.com/
ss -lntp | grep ':5000'
python3 -c 'import elasticapm; print(elasticapm.VERSION)'

Ошибки 401/403 означают неверный secret token или API key. Отсутствие событий при рабочем endpoint чаще связано с неправильным service name, environment, sampling или сертификатом.

11. Rollback

systemctl disable --now apm-demo
rm -f /etc/systemd/system/apm-demo.service
systemctl daemon-reload
rm -rf /opt/apm-demo /opt/apm-demo-venv

Критерий успеха: сервис запускается без ошибок, три тестовых endpoint создают транзакции, медленный запрос имеет ожидаемую duration, ошибка содержит stack trace, а trace ID находится через Elasticsearch и Kibana.

Сообщение Мониторинг бэкенда в Elastic APM: установка агента, trace ID и проверка появились сначала на Clip-Clap.

]]>
https://clip-clap.ru/it/%d0%b0%d0%b4%d0%bc%d0%b8%d0%bd%d0%b8%d1%81%d1%82%d1%80%d0%b8%d1%80%d0%be%d0%b2%d0%b0%d0%bd%d0%b8%d0%b5/%d0%bc%d0%be%d0%bd%d0%b8%d1%82%d0%be%d1%80%d0%b8%d0%bd%d0%b3-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d0%b1%d1%8d%d0%ba%d0%b5%d0%bd/feed/ 0
Логи Windows Server в Elastic: установка Agent и проверка событий https://clip-clap.ru/it/%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d1%81%d0%b1%d0%be%d1%80-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-windows-server-%d0%b2-elk-stack/ https://clip-clap.ru/it/%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d1%81%d0%b1%d0%be%d1%80-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-windows-server-%d0%b2-elk-stack/#respond Sun, 06 Sep 2020 18:47:25 +0000 https://clip-clap.ru/?p=1629 Пошаговая отправка Windows Event Log в Elastic: проверка журналов, установка Elastic Agent, Windows integration, тестовое событие, поиск в Kibana и rollback.

Сообщение Логи Windows Server в Elastic: установка Agent и проверка событий появились сначала на Clip-Clap.

]]>
Ниже — рабочая настройка Elastic Agent на Windows Server для отправки журналов System, Application и Security в Elastic. Все команды PowerShell запускаются от администратора.

1. Проверяем журналы и время

Get-Date
w32tm /query /status
Get-WinEvent -ListLog System,Application,Security | Select LogName,RecordCount,IsEnabled
Get-WinEvent -LogName System -MaxEvents 5 | Format-Table TimeCreated,Id,LevelDisplayName,ProviderName

2. Проверяем доступ к Fleet

Test-NetConnection fleet.example.local -Port 8220
Test-NetConnection elastic.example.local -Port 443

3. Скачиваем и распаковываем Agent

New-Item -ItemType Directory -Force C:\Temp\ElasticAgent | Out-Null
Invoke-WebRequest -Uri "URL_ИЗ_FLEET" -OutFile C:\Temp\ElasticAgent\elastic-agent.zip
Expand-Archive C:\Temp\ElasticAgent\elastic-agent.zip -DestinationPath C:\Temp\ElasticAgent -Force
Get-ChildItem C:\Temp\ElasticAgent

4. Устанавливаем Agent

cd C:\Temp\ElasticAgent\elastic-agent-*
.\elastic-agent.exe install --url=https://fleet.example.local:8220 --enrollment-token=TOKEN_ИЗ_FLEET

5. Проверяем службу

Get-Service Elastic-Agent
& "C:\Program Files\Elastic\Agent\elastic-agent.exe" status
Get-WinEvent -LogName Application -MaxEvents 100 | Where-Object ProviderName -Match "Elastic"

6. Добавляем Windows integration

  1. Fleet → Agent policies → политика сервера.
  2. Add integration → Windows.
  3. Включите System, Application и Security.
  4. Сохраните policy и дождитесь статуса Healthy.

7. Генерируем тестовое событие

eventcreate /T INFORMATION /ID 100 /L APPLICATION /SO CLIP-CLAP-ELASTIC /D "ELASTIC-WINDOWS-TEST"
Get-WinEvent -FilterHashtable @{LogName='Application'; ProviderName='CLIP-CLAP-ELASTIC'} -MaxEvents 5

8. Ищем событие в Kibana

host.name : "SERVER01"
winlog.channel : "Application"
winlog.provider_name : "CLIP-CLAP-ELASTIC"
message : "ELASTIC-WINDOWS-TEST"

9. Визуализации и dashboard

После того как Windows Event Log стабильно поступает в Elastic, данные можно свести в отдельные визуализации. В старой Kibana ниже показан пример разбивки событий по рабочим станциям и общий dashboard Windows Server.

Пример визуализации Windows Server в Kibana
Пример dashboard Windows Server в Kibana

Для файлового сервера имеет смысл отдельно вывести пользователей, типы файловых операций и отфильтрованные события доступа. Старый пример такого dashboard сохранён ниже как ориентир состава данных.

Пример dashboard аудита Windows File Server в Kibana

10. Проверяем Security log

auditpol /get /category:*
Get-WinEvent -LogName Security -MaxEvents 20 | Select TimeCreated,Id,Message

Если Security пуст, проверьте audit policy и права службы. Не включайте все категории аудита без плана по объёму.

11. Диагностика Agent

& "C:\Program Files\Elastic\Agent\elastic-agent.exe" status
Get-Service Elastic-Agent
Get-ChildItem "C:\Program Files\Elastic\Agent\data" -Recurse -Filter *.log | Sort LastWriteTime -Descending | Select -First 10 FullName,LastWriteTime
Test-NetConnection fleet.example.local -Port 8220

12. Rollback

& "C:\Program Files\Elastic\Agent\elastic-agent.exe" uninstall
Get-Service Elastic-Agent -ErrorAction SilentlyContinue

Критерий успеха: Agent имеет статус Healthy, тестовое событие видно локально и в Kibana, timestamp совпадает, а System/Application/Security поступают без постоянных ошибок.

Сообщение Логи Windows Server в Elastic: установка Agent и проверка событий появились сначала на Clip-Clap.

]]>
https://clip-clap.ru/it/%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d0%b5%d0%bc-%d1%81%d0%b1%d0%be%d1%80-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-windows-server-%d0%b2-elk-stack/feed/ 0
Логи MikroTik в Elastic Stack: настройка syslog и проверка доставки https://clip-clap.ru/it/%d0%b0%d0%b4%d0%bc%d0%b8%d0%bd%d0%b8%d1%81%d1%82%d1%80%d0%b8%d1%80%d0%be%d0%b2%d0%b0%d0%bd%d0%b8%d0%b5/%d1%86%d0%b5%d0%bd%d1%82%d1%80%d0%b0%d0%bb%d0%b8%d0%b7%d0%be%d0%b2%d0%b0%d0%bd%d0%bd%d1%8b%d0%b9-%d1%81%d0%b1%d0%be%d1%80-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-mikrotik-%d0%b2-elk-stack/ https://clip-clap.ru/it/%d0%b0%d0%b4%d0%bc%d0%b8%d0%bd%d0%b8%d1%81%d1%82%d1%80%d0%b8%d1%80%d0%be%d0%b2%d0%b0%d0%bd%d0%b8%d0%b5/%d1%86%d0%b5%d0%bd%d1%82%d1%80%d0%b0%d0%bb%d0%b8%d0%b7%d0%be%d0%b2%d0%b0%d0%bd%d0%bd%d1%8b%d0%b9-%d1%81%d0%b1%d0%be%d1%80-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-mikrotik-%d0%b2-elk-stack/#respond Sun, 06 Sep 2020 18:44:16 +0000 https://clip-clap.ru/?p=1627 Пошаговая отправка логов MikroTik RouterOS в Elastic: remote syslog, правила logging, проверка UDP/TCP, Elastic Agent, тестовое событие, поиск в Kibana и rollback.

Сообщение Логи MikroTik в Elastic Stack: настройка syslog и проверка доставки появились сначала на Clip-Clap.

]]>
Ниже — рабочая схема отправки логов MikroTik RouterOS на сервер с Elastic Agent. В примере маршрутизатор отправляет syslog на 10.0.0.20:5514 по UDP.

1. Проверяем RouterOS и текущие правила

/system resource print
/system package print
/system logging action print detail
/system logging print detail

2. Проверяем сервер-приёмник

sudo ss -lunp | grep 5514
sudo tcpdump -ni any udp port 5514

Пока порт не слушается, RouterOS настраивать рано.

3. Создаём remote action

В WinBox эта настройка находится в System → Logging. Старые скриншоты ниже показывают исходное состояние и параметры действия remote; названия полей могут немного отличаться между версиями RouterOS.

Раздел System Logging в MikroTik RouterOS
Настройка remote logging action в MikroTik
/system logging action add name=elastic target=remote remote=10.0.0.20 remote-port=5514 remote-log-format=syslog
/system logging action print detail where name=elastic

4. Добавляем нужные темы

После создания remote action укажите, какие topics нужно отправлять на удалённый сервер. В старом примере стандартные правила дублировались с action remote.

Правила отправки логов MikroTik на удалённый syslog
/system logging add action=elastic topics=system,warning
/system logging add action=elastic topics=system,error
/system logging add action=elastic topics=critical
/system logging add action=elastic topics=account
/system logging print detail where action=elastic

Не включайте постоянный debug без необходимости: он быстро забивает хранилище.

5. Генерируем тестовое событие

/log warning "ELASTIC-TEST-MIKROTIK"
/log print where message~"ELASTIC-TEST-MIKROTIK"

6. Проверяем пакет на сервере

sudo tcpdump -A -ni any udp port 5514 | grep ELASTIC-TEST-MIKROTIK

Если пакет не приходит, проверьте маршрут, firewall и правильность remote address.

7. Настраиваем Elastic Agent

  1. Fleet → Integrations → Custom UDP Logs.
  2. Listen address: 0.0.0.0.
  3. Listen port: 5514.
  4. Dataset: mikrotik.log.
  5. Добавьте integration в policy нужного Agent.
sudo elastic-agent status
sudo journalctl -u elastic-agent -n 100 --no-pager
sudo ss -lunp | grep 5514

8. Проверяем событие в Elasticsearch

curl -s -u elastic:password 'https://elastic.example:9200/logs-mikrotik.log-*/_search?q=message:ELASTIC-TEST-MIKROTIK&pretty' --cacert /etc/ssl/certs/elastic-ca.crt

9. Поиск в Kibana

В старом Elastic Stack для логов MikroTik создавался отдельный index pattern, после чего события проверялись через Discover. В современной схеме с data streams логика та же: сначала убедиться, что dataset виден, затем уже строить поиск и dashboard.

Index pattern для логов MikroTik в старой Kibana
Просмотр логов MikroTik в Kibana Discover
data_stream.dataset : "mikrotik.log"
message : "ELASTIC-TEST-MIKROTIK"
host.ip : "10.0.0.1"

10. Диагностика

/system logging action print detail
/system logging print detail
/ping 10.0.0.20
/tool sniffer quick ip-address=10.0.0.20 port=5514

11. Rollback

/system logging remove [find action=elastic]
/system logging action remove [find name=elastic]

Критерий успеха: RouterOS создаёт тестовое событие, пакет виден через tcpdump, Elastic Agent слушает 5514, а событие находится в Kibana по точной строке.

Сообщение Логи MikroTik в Elastic Stack: настройка syslog и проверка доставки появились сначала на Clip-Clap.

]]>
https://clip-clap.ru/it/%d0%b0%d0%b4%d0%bc%d0%b8%d0%bd%d0%b8%d1%81%d1%82%d1%80%d0%b8%d1%80%d0%be%d0%b2%d0%b0%d0%bd%d0%b8%d0%b5/%d1%86%d0%b5%d0%bd%d1%82%d1%80%d0%b0%d0%bb%d0%b8%d0%b7%d0%be%d0%b2%d0%b0%d0%bd%d0%bd%d1%8b%d0%b9-%d1%81%d0%b1%d0%be%d1%80-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-mikrotik-%d0%b2-elk-stack/feed/ 0
Логи Samba в Elastic Stack: сбор, поля, поиск и диагностика доступа https://clip-clap.ru/it/%d1%81%d0%b1%d0%be%d1%80-%d0%b8-%d0%b0%d0%bd%d0%b0%d0%bb%d0%b8%d0%b7-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-samba-%d0%b2-elk-stack/ https://clip-clap.ru/it/%d1%81%d0%b1%d0%be%d1%80-%d0%b8-%d0%b0%d0%bd%d0%b0%d0%bb%d0%b8%d0%b7-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-samba-%d0%b2-elk-stack/#respond Sun, 06 Sep 2020 18:39:14 +0000 https://clip-clap.ru/?p=1625 Как собирать логи Samba в Elastic без старых хрупких конфигов: какие события нужны, откуда их читать, как нормализовать поля и что искать в Kibana.

Сообщение Логи Samba в Elastic Stack: сбор, поля, поиск и диагностика доступа появились сначала на Clip-Clap.

]]>
Samba часто работает годами без внимания — пока пользователь внезапно не теряет доступ к шару, файл не блокируется неизвестным процессом или в журнале не начинается поток ошибок авторизации. Централизованный сбор логов позволяет искать такие проблемы по времени, пользователю, клиентскому IP и серверу, а не листать локальные файлы вручную.

Сначала определите, что именно хотите видеть

Для обычной эксплуатации полезны события запуска служб, ошибки конфигурации, проблемы открытия файлов, отказы доступа и аутентификация. Подробный audit каждого чтения и записи может быть полезен для расследований, но создаёт значительно больше данных. Не включайте максимальный уровень логирования постоянно без причины.

Откуда брать журналы Samba

Путь зависит от дистрибутива и конфигурации. Часть сообщений может попадать в systemd journal, часть — в отдельные файлы Samba. Перед настройкой Elastic проверьте локально, где появляются нужные события после тестового входа, ошибки пароля или доступа к шару.

journalctl -u smbd --since today
journalctl -u nmbd --since today

На системах и ролях, где используются другие unit names, названия служб будут отличаться. Проверить их можно через systemctl list-units | grep -i samba.

Сбор через Elastic Agent

Если нужные сообщения лежат в текстовых файлах, собирайте их file-based integration или Custom Logs. Для journal можно использовать соответствующий источник событий. Практически важнее не название агента, а стабильные поля: сервер, пользователь, клиентский IP, share, операция, результат и исходное сообщение.

Какие поля стоит нормализовать

  • host.name — Samba-сервер;
  • source.ip — адрес клиента;
  • user.name — пользователь;
  • event.outcome — success/failure;
  • file.path или отдельное поле ресурса — путь или объект;
  • message — исходная строка для случаев, которые ещё не распарсены.

Не парсите всё регулярками в первый день

Хорошая стратегия — сначала стабильно доставлять события, затем разобрать несколько наиболее ценных шаблонов. Огромный grok-фильтр на десятки вариантов Samba легко становится хрупким. Лучше иметь исходное сообщение и постепенно добавлять нормализацию для тех событий, по которым строятся поиск и alert.

Что искать в Kibana

В исходном проекте после нормализации событий был собран отдельный dashboard Samba. Интерфейс старый, но он хорошо показывает целевой результат: в одном месте видны пользователи, операции, клиенты и динамика событий.

Пример dashboard для логов Samba в Elastic Stack
  • серии отказов авторизации от одного клиента;
  • всплески permission denied;
  • ошибки открытия или блокировки файлов;
  • перезапуски служб;
  • необычную активность ночью или от новых адресов;
  • резкий рост объёма логов после изменения конфигурации.

Retention важнее бесконечного хранения

Журналы файлового сервера могут быстро расти, особенно при детальном аудите. Задайте срок хранения через lifecycle-политику или lifecycle data stream. Не удаляйте старые индексы случайным cron-скриптом: политика хранения должна быть понятной и воспроизводимой.

Когда нужен полноценный аудит

Если задача — отвечать на вопрос «кто удалил или изменил файл», обычных служебных логов может быть недостаточно. Тогда отдельно проектируйте audit-конфигурацию Samba, проверяйте объём событий и сохраняйте поля операции, пользователя, клиента и объекта. Перед включением на production протестируйте нагрузку.

Итог: цель не в том, чтобы отправить каждый байт Samba в Elasticsearch, а в том, чтобы получить пригодную для поиска историю проблем доступа и безопасности. Начните с небольшого набора полезных событий и расширяйте его только там, где это даёт реальную диагностическую ценность.

Сообщение Логи Samba в Elastic Stack: сбор, поля, поиск и диагностика доступа появились сначала на Clip-Clap.

]]>
https://clip-clap.ru/it/%d1%81%d0%b1%d0%be%d1%80-%d0%b8-%d0%b0%d0%bd%d0%b0%d0%bb%d0%b8%d0%b7-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-samba-%d0%b2-elk-stack/feed/ 0
Очистка Elasticsearch: настройка ILM и retention для data streams https://clip-clap.ru/it/%d1%81%d0%be%d1%84%d1%82-%d0%b8-%d0%be%d1%81/linux/%d0%be%d1%87%d0%b8%d1%81%d1%82%d0%ba%d0%b0-elasticsearch-%d1%81-%d0%bf%d0%be%d0%bc%d0%be%d1%89%d1%8c%d1%8e-curator/ https://clip-clap.ru/it/%d1%81%d0%be%d1%84%d1%82-%d0%b8-%d0%be%d1%81/linux/%d0%be%d1%87%d0%b8%d1%81%d1%82%d0%ba%d0%b0-elasticsearch-%d1%81-%d0%bf%d0%be%d0%bc%d0%be%d1%89%d1%8c%d1%8e-curator/#respond Sun, 06 Sep 2020 18:28:11 +0000 https://clip-clap.ru/?p=1619 Пошаговая настройка очистки Elasticsearch: проверка data streams, ILM policy, index template, rollover, Data Stream Lifecycle, explain API и безопасный rollback.

Сообщение Очистка Elasticsearch: настройка ILM и retention для data streams появились сначала на Clip-Clap.

]]>
Ниже — рабочая настройка автоматического удаления старых логов в Elasticsearch. Сначала определяем, используются ли обычные индексы или data streams, затем выбираем один lifecycle-механизм и проверяем его на тестовом потоке.

1. Проверяем состояние кластера

export ES='https://es.example.com:9200'
export API_KEY='CHANGE_ME'
curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/_cluster/health?pretty"
curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/_cat/indices?v&s=store.size:desc"
curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/_data_stream?pretty"

2. Проверяем текущий lifecycle

curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/_ilm/status?pretty"
curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/_ilm/policy?pretty"
curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/logs-*/_ilm/explain?pretty"

3. Создаём ILM policy

curl -sS -X PUT -H "Authorization: ApiKey $API_KEY" -H 'Content-Type: application/json' \
  "$ES/_ilm/policy/logs-30d" -d '{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {"max_primary_shard_size": "30gb", "max_age": "1d"}
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {"delete": {}}
      }
    }
  }
}'

4. Создаём index template для data stream

curl -sS -X PUT -H "Authorization: ApiKey $API_KEY" -H 'Content-Type: application/json' \
  "$ES/_index_template/logs-app-template" -d '{
  "index_patterns": ["logs-app-*"],
  "data_stream": {},
  "template": {
    "settings": {"index.lifecycle.name": "logs-30d"}
  },
  "priority": 500
}'

5. Создаём тестовый data stream и документ

curl -sS -X POST -H "Authorization: ApiKey $API_KEY" -H 'Content-Type: application/json' \
  "$ES/logs-app-default/_doc" -d '{"@timestamp":"2026-08-02T06:00:00Z","message":"ILM test"}'

curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/_data_stream/logs-app-default?pretty"

6. Проверяем привязку ILM

curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/logs-app-default/_ilm/explain?pretty"
curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/_cat/indices/.ds-logs-app-default-*?v"

7. Проверяем rollover вручную

curl -sS -X POST -H "Authorization: ApiKey $API_KEY" \
  "$ES/logs-app-default/_rollover?dry_run=true&pretty"

curl -sS -X POST -H "Authorization: ApiKey $API_KEY" \
  "$ES/logs-app-default/_rollover?pretty"

8. Вариант Data Stream Lifecycle

Для потока, которым не управляет ILM, можно задать простой retention:

curl -sS -X PUT -H "Authorization: ApiKey $API_KEY" -H 'Content-Type: application/json' \
  "$ES/_data_stream/logs-app-default/_lifecycle" -d '{"data_retention":"30d"}'

curl -sS -H "Authorization: ApiKey $API_KEY" \
  "$ES/_data_stream/logs-app-default/_lifecycle?pretty"

Не назначайте ILM и Data Stream Lifecycle одному потоку одновременно без понимания приоритета и версии Elasticsearch.

9. Проверяем snapshots перед удалением старых данных

curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/_snapshot/_all?pretty"
curl -sS -H "Authorization: ApiKey $API_KEY" "$ES/_cat/snapshots/backup-repo?v"

10. Rollback тестовой настройки

curl -sS -X DELETE -H "Authorization: ApiKey $API_KEY" "$ES/_data_stream/logs-app-default"
curl -sS -X DELETE -H "Authorization: ApiKey $API_KEY" "$ES/_index_template/logs-app-template"
curl -sS -X DELETE -H "Authorization: ApiKey $API_KEY" "$ES/_ilm/policy/logs-30d"

Критерий успеха: data stream создан, backing index связан с нужной policy, explain API показывает управляемую фазу, dry-run rollover возвращает ожидаемые условия, а retention виден через lifecycle API.

Сообщение Очистка Elasticsearch: настройка ILM и retention для data streams появились сначала на Clip-Clap.

]]>
https://clip-clap.ru/it/%d1%81%d0%be%d1%84%d1%82-%d0%b8-%d0%be%d1%81/linux/%d0%be%d1%87%d0%b8%d1%81%d1%82%d0%ba%d0%b0-elasticsearch-%d1%81-%d0%bf%d0%be%d0%bc%d0%be%d1%89%d1%8c%d1%8e-curator/feed/ 0