Ziel:

Einführen eines zentralen Logging möglichst Kostengünstig.

Da wir damit gerechnet haben, dass wir die 500MB/Tag welche Splunk mit der kostenlosen Version bietet, überschreiten werden und uns die Lizenzierung von Splunk nicht so ganz gepasst haben, haben wir uns auf die Suche gemacht, nach alternativen Logging Tools. Ziel war es, ein zentrales Log Management mit OpenSource  Komponenten ähnlich wie Splunk zu erstellen.

Vorgehen:

Wir haben verschiedene OpenSource Logging Tools angeschaut. Schnell sind wir dann aber auf die Kombination  KELLOGS (Kibana, Elasticsearch, Logstash und Redis) aufmerksam geworden. Mit einfachen Mitteln können hier verschiedene Komponenten miteinander verbunden und einfach skaliert werden. Auch Hürden wie Zonenkonzept  (unterschiedliche Firewall Zonen innerhalb der Internen ZONE) spielen keine Rolle.

Umsetzung:

Als Logger dient das Logstash, welche mit einem Footprint von unter 100MB auf allen Servern installiert werden  muss. Mittels Shipper werden alle verfügbar Log-Informationen an einen zentralen Server geschickt und dort in einer Key-Value Datenbank abgelegt. Die performante OpenSource DB Redis erfüllt diesen Zweck hervorragend. Beim Transfer der Log-Daten können hier schon Indexierungen und Tagging vergenommen werden. Von der Datenbank wird wiederum das Logstash verwendet, um die Key-Value Daten in eine Such-Datenbank zu senden. Dafür haben wir das Elasticsearch verwendet, welches auf Apache Lucene basiert. Mit der grafischen Oberfläche Kibana können die Informationen konsolidiert und hübsch angezeigt werden.