logstash: windows und linux logmanagement (webinar vom 07. november 2014)
DESCRIPTION
Logstash ist eine schlanke Open Source Lösung welche es erlaubt bei entsprechender Hardware Millionen von Logdaten zu verarbeiten und genau so schnell wieder in einem Frontend - Kibana - darzustellen. Neben der Funktionsweise, der Architektur und den Möglichkeiten von Logstash, wollen wir in diesem Webinar zeigen, wie Windows und Linux Logmeldungen sauber integriert werden können. YouTube: https://www.youtube.com/watch?v=F-S7UpwBRQI Webinar: http://www.netways.de/de/webinare/archiv/logstash/#logstash_windows_linux_logmanagementTRANSCRIPT
![Page 1: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/1.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR | 07.11.2014
LOGSTASH: WINDOWS UND LINUX
LOGMANAGEMENT
THOMAS WIDHALM, CHRISTIAN STEIN | NETWAYS
GMBH
![Page 2: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/2.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG MITARBEITER
■ Christian Stein Account Manager Bei NETWAYS seit 2012
■ Thomas Widhalm Senior Consultant Bei NETWAYS seit 2013
![Page 3: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/3.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
AGENDA
■ Vorstellung NETWAYS
■ Was ist Logstash
■ Logstash Architektur
■ Live Demo
■ Fragen und Antworten
![Page 4: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/4.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
![Page 5: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/5.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
■ Firmengründung 1995
■ Open Source seit 1997
■ Aktuell 40 Mitarbeiter
■ Spezialisierung in den Bereichen
Open Source Systems Management
und Open Source Datacenter
![Page 6: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/6.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KOMPETENZEN
■ Monitoring
■ Graphing
■ Logmanagement
■ Konfigurationsmanagement
■ Reporting
■ Private Cloud
■ Backup
■ Projektmanagement
■ Consulting
■ Hosting
■ Managed Services
■ Development
■ Support
■ Betrieb
■ Schulungen
■ Konferenzen
■ Monitoring Hardware
![Page 7: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/7.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS PRODUKTE
GRAPHITE
![Page 8: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/8.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
■ Open Source Monitoring
Conference
• 18. – 20. November 2014 (Nürnberg)
• 250 Teilnehmer (2013)
• Monitoring Best Practices
■ OpenNebula Conference
• 02. – 04. Dezember 2014 (Berlin)
• 100 Teilnehmer (2013)
• Cloud Virtualisierung
NETWAYS KONFERENZEN
![Page 9: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/9.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – MONITORING UND REPORTING
![Page 10: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/10.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – PUPPET KONFIGURATIONSMANAGEMENT
![Page 11: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/11.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS COMMUNITY
www.netways.org
■ NETWAYS Addons
■ NETWAYS Plugins
www.icinga.org
■ Development
■ Hosting
exchange.icinga.org
■ Icinga / Nagios Addons und
Plugins
■ > 2000 Projekte
![Page 12: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/12.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – CONSULTING (AUSZUG)
![Page 13: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/13.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – HOSTING (AUSZUG)
![Page 14: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/14.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
UNSERE LEISTUNGEN IM ÜBERBLICK
■ Konzeptionierung und Planung
■ Workshops & Consulting zur Implementierung vor Ort
■ Betrieb Komplette Logmanagementsysteme Teilweise Betriebsunterstützung
■ Entwicklungsleistungen Plugins und Filter Systemintegration
■ Schulungen Standardisierte Schulungsmodule Individuell vor Ort
■ Support Standardverträge Individuelle Supportkonzepte
■ Konferenzen
![Page 15: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/15.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
OPEN SOURCE LOGMANAGEMENT
WAS IST LOGSTASH
![Page 16: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/16.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH
■ Ziele
Logdateien in großen Mengen behandeln
Analyse der Daten
Anbindung an Monitoringsysteme
Dashboards für Visualisierung und Analyse
Weiterleitung der Daten an Drittsyteme
![Page 17: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/17.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
PROBLEMSTELLUNG
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
![Page 18: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/18.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORGEHEN OHNE LOGMANGEMENT
■ Regex Magic
^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\
d{4})\\] \"(.+?)\" (\\d{3}) (\\d+) \"([^\"]
+)\" \"([^\"]+)\"
■ Pro Logformat eine eigene Regex
■ Aufwendig und zeitintensiv
■ Nur für technisch Versierte
■ Schlecht für die Teamarbeit
![Page 19: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/19.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH
![Page 20: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/20.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
■ Zentrales Speichern von Logs und Events
■ Sammeln von verschiedenen Quellen
■ Logs verändern / strukturieren
■ Transportieren der Logs
■ Einfache Installation
■ Integration in bestehende Infrastruktur
■ Lightweight
■ Open Source
![Page 21: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/21.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
![Page 22: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/22.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Logstash:Pipe on Steroids
Input
Filter
Output
![Page 23: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/23.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG DER DATEN
■ Vorher 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json
HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0"
■ Nachher "http_clientip": "192.168.1.10", "http_ident": "-", "http_auth": "guest", "timestamp": "04/Dec/2013:08:54:23 +0100", "http_verb": "POST", "http_request": "/icinga-web/web/api/json", "http_httpversion": "1.1", "http_response": "200", "http_bytes": "788", "http_referrer":
"https://icinga-private.demo.netways.de/icinga-web/modules/web/portal", "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101
Firefox/22.0"
■ Pattern "%{COMBINEDAPACHELOG}"
![Page 24: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/24.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Server
SwitchWebapplikatio
n
• Input• Output
• Key-Value Store
• Puffer
• Input• Filter• Output
• Index• Queries
![Page 25: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/25.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
REDIS
■ Key-Value Store
■ Einfache Installation
■ Eingebaute Replikation
■ Sehr schnell
■ Einträge werden nach Abholung gelöscht
![Page 26: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/26.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
ELASTICSEARCH
■ Effizientes Speichern von Daten
■ Automatische Indexes
■ RESTful API
■ Hochverfügbar
■ Clusterfähig (Nodes, Shards, Replika)
■ Realtime Analyse der Daten
■ Basiert auf Apache Lucene
■ Empfohlener Output
![Page 27: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/27.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
INTEGRATION IN DIE IT-LANDSCHAFT
![Page 28: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/28.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH PLUGINS UND FILTER
■ drupal_dblog■ elasticsearch■ eventlog■ exec■ file■ ganglia■ gelf■ gemfire■ generator■ graphite■ heroku■ imap■ irc■ log4j■ lumberjack■ pipe■ rabbitmq
■ redis■ relp■ s3■ snmptrap■ sqlite■ sqs■ stdin■ stomp■ syslog■ tcp■ twitter■ udp■ unix■ varnishlog■ websocket■ wmi■ xmpp■ zenoss■ zeromq
■ advisor■ alter■ anonymize■ checksum■ cidr■ cipher■ clone■ collate■ csv■ date■ dns■ drop■ environment■ extractnumbers■ gelfify■ geoip■ grep■ grok■ grokdiscovery■ json■ json_encode■ kv
■ metaevent■ metrics■ multiline■ mutate■ noop■ prune■ railsparallel-
request■ range■ ruby■ sleep■ split■ syslog_pri■ translate■ urldecode■ useragent■ uuid■ xml■ zeromq
■ boundary■ circonus■ cloudwatch■ datadog■ datadog_metrics■ elasticsearch■ elasticsearch_htt
p■ elasticsearch_riv
er■ email■ exec■ file■ ganglia■ gelf■ gemfire■ google_cloud_st
orage■ graphite■ graphtastic■ hipchat■ http■ irc■ jira■ juggernaut■ librato■ loggly
■ lumberjack■ metriccatcher■ mongodb■ nagios■ nagios_nsca■ null■ opentsdb■ pagerduty■ pipe■ rabbitmq■ redis■ riak■ riemann■ s3■ sns■ sqs■ statsd■ stdout■ stomp■ syslog■ tcp■ udp■ websocket■ xmpp■ zabbix■ zeromq
Input (36) Filter (40) Output (50)
![Page 29: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/29.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
■ Integration in nahezu jede Umgebungen Syslog TCP / UDP Lumberjack fertige Pattern Elasticsearch
■ Skalierbarkeit Auslagerung auf dedizierte Server Multiple Redis-Server Mehrere Logstash-Indexer möglich Elasticsearch ist clusterfähig (Nodes, Shards, Replika)
![Page 30: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/30.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
ANWENDUNGSMÖGLICHKEITEN
■ Systemlogs (Problemanalyse)
■ Webserver Access- und Errorlogs
■ Logs der eigenen Applikation (Profiling)
■ Alerts via Icinga, E-Mail, XMPP, …
■ Statistiken (Graphite)
■ uvm.
![Page 31: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/31.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LIVE DEMO
![Page 32: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/32.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
FRAGEN UND ANTWORTEN
![Page 33: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/33.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR KALENDER
■ Icinga Web 2: Modernes Web-Framework der nächsten
Generation 25. November 2014 - 10:30 Uhr
■ Puppet: Windows Configuration Management 12. Dezember 2014 – 10:30 Uhr
■ NETWAYS: Jahresrückblick 2014 18. Dezember 2014 – 10:30 Uhr
![Page 34: Logstash: Windows und Linux Logmanagement (Webinar vom 07. November 2014)](https://reader035.vdocument.in/reader035/viewer/2022062707/5584c61ad8b42aeb138b4868/html5/thumbnails/34.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
KONTAKTDATEN
Vielen Dank für Ihre
Aufmerksamkeit!
NETWAYS GmbH
Deutschherrnstrasse 15-19
90429 Nürnberg
Tel: +49 911 92885-0
Fax: +49 911 92885-77
E-Mail: [email protected]
Website: www.netways.de
Twitter: twitter.com/netways
Facebook:
facebook.com/netways
Blog: blog.netways.de