Автоматизация анализа логов на базе elasticsearch
TRANSCRIPT
Автоматизация анализа логов на базе Elasticsearch
Схема реализации
Elasticsearch
Elasticsearch is a highly scalable open-source full-text search and analytics engine. It allows you to store, search, and analyze big volumes of data quickly and in near real time. It is generally used as the underlying engine/technology that powers applications that have complex search features and requirements.
Преимущества Elasticsearch● Лёгкая масштабируемость на больших объёмах
данных● Репликация данных● Высокая скорость работы● Удобный поисковый движок● Наличие API (Java API, JavaScript API, Groovy API, .
NET API, PHP API, Perl API, Python API, Ruby API)● Open source
Типовая структура данных в ELKIndex_0 Index_1 Index_n
node_0
node_1
node_n
0 1
2 3
nn-1
0 1
2
n-1
3
n
0
2
n-1
3
n
1
Logstash & Kibana?Logstash
Преимущества:● Высокая производительность● Кроссплатформенность (Win &
Linux)
Недостатки:● Java на всех источниках
событий● Высокое потребление памяти
KibanaПреимущества:● Визуализация данных● Удобный поиск
Недостатки:● Отсутствие автоматического
анализа событий● Нет возможности настроить
оповещения
Обработчик данных. Logparser.● Кроссплатформенность (Win & Linux) ● Фильтрация данных● Нормализация выходных данных● Приемлемая скорость работы● Поиск файлов по маске● Потребление небольшого количества
ресурсов памяти● Логирование ошибок
Back-end
● Обработка событий в режиме реального времени
● Оповещение по почте● Дублирование инцидентов в отдельный
индекс
IOA/IOC и RULES
IOA/IOC – простые списки с признаками различных атак ( доменные имена, IP адреса, hash-суммы и т.д.)Rules – комплексные правила описывающие атаки.
Web-интерфейс
● Статистика● Отображение обнаруженных событий● IOC и Rules менеджер
Статистика
Обнаруженные события
IOC менеджер
IOC менеджер
IOA/IOC, Rules
Анализ публичной информации
Схема работы
Анализ образцов вредоносного ПО
Ручной анализ журналов ИС
Расследование инцидентов ИБ
Логи почтыApr 25 03:21:50 10.10.10.10 exim[28149]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix LMS check accept: 250 OKApr 25 03:21:50 10.10.10.10 exim[28149]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix <= [email protected] H=f419.i.mail.ru P=esmtp S=87714Apr 25 03:21:50 10.10.10.10 exim[28237]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix => [email protected] <[email protected]> R=smarthost1 T=remote_smtpApr 25 03:21:50 10.10.10.10 exim[28237]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix => [email protected] <[email protected]> R=smarthost2 T=remote_smtpApr 25 03:21:50 10.10.10.10 exim[28237]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix Completed
Логи прокси-сервера10.10.10.10 TCP_MISS/200 6102886 GET http://c2cweroguxu0s53.prettyload.ru/get_file/? user_1 HIER_DIRECT/5.149.255.179 application/octet-stream10.10.10.10 TCP_MISS_ABORTED/200 2048107 GET http://gtiab0przigane6.battlequest.ru/get_file/? user_2 HIER_DIRECT/5.149.255.179 application/octet-stream10.10.10.10 TCP_MISS/200 6006762 GET http://gtiab0przigane6.battlequest.ru/get_file/? user_2 HIER_DIRECT/5.149.255.179 application/octet-stream
Логи доступа к флешкам2015-04-14T12:23:27 WRITE-GRANTED E:\ShowFiles.exe 45056 user_1 some_pc_name Removable exe Дисковый накопитель, Дисковый накопитель, (Стандартные дисковые накопители) 57cec3d9c29184ec90bb60868a78467a1bf42fd7 CN=first_name last_name,OU=REGION 3979481d6bbae1dd28f46b9530cd4897a77c542e 2015-04-14T12:20:45 WRITE-GRANTED E:\ShowFiles.exe 45056 user_1 some_pc_name Removable exe Дисковый накопитель, Дисковый накопитель, (Стандартные дисковые накопители) 57cec3d9c29184ec90bb60868a78467a1bf42fd7 CN=first_name last_name,OU=REGION 3979481d6bbae1dd28f46b9530cd4897a77c542e
Пример IOA/IOC
Пример срабатывания системы
Полезные ссылки1. https://www.elastic.co/ (Elastic)2. https://pyes.readthedocs.org/en/latest/index.html (PyES
- Python Elastic Search)3. https://github.com/aparo/pyes (PyES source)4. https://discuss.elastic.co/c/meta (Elastic Community)5. http://www.amcharts.com/ (AMCharts)
Вопросы?
gmail.com @knsemyonovgmail.com @vschetvertakov