In modernen IT-Infrastrukturen ist die zentrale Auswertung und Durchsuchbarkeit von Logs essenziell – für Betrieb, Sicherheit und Analyse. Um diese Anforderungen effizient abzudecken, setzen wir bei der otris systems GmbH und unserem Mutterkonzern otris software AG auf OpenSearch – eine leistungsfähige, offene Such- und Analyseplattform auf Basis von Lucene.
Unsere Entscheidung fiel auf OpenSearch aufgrund der offenen Lizenz, der starken API-Integration, der Erweiterbarkeit und der nativen Features wie Dashboards, Alerting und Security.

Ausgangssituation

Ziel war die konsolidierte Erfassung und Analyse von Logs aus internen Plattformen, Hosting-Infrastrukturen und SaaS-Systemen. Anzubinden waren u. a. Systeme wie Proxmox, verschiedene Backup-Lösungen, Mailserver und interne Applikationsserver. Wichtig war zudem ein differenziertes Rechtemanagement für die beiden beteiligten Organisationen – otris systems GmbH und otris software AG.

Warum OpenSearch?

OpenSearch erfüllt unsere technischen und strategischen Anforderungen:

• Open-Source-basiert, ohne kommerzielle Abhängigkeiten
• Skalierbare Architektur mit Clustering und automatisierter Datenverwaltung
• Native Sicherheitsfunktionen, rollenbasiert und mandantenfähig
• Dashboards, Alarmierung, SQL/PPL-Support, Anomaly Detection
• Starke API-Integration für Automatisierung und Anbindung

Durch das offene Lizenzmodell haben wir die volle Kontrolle über Betrieb, Updates und Sicherheit – ohne Vendor Lock-in.

Architektur & Integration

Unsere OpenSearch-Plattform besteht aus einem verteilten Cluster mit dedizierten Cluster-Manager- und Coordinating-Nodes in einer Hot-Warm-Cold-Architektur, vollständig automatisiert mit Puppet.

Die Logdaten werden durch Filebeat auf den Zielsystemen erfasst und über Logstash an das OpenSearch-Cluster weitergeleitet. Die Indexierung erfolgt pro Host und Kalenderwoche, mit automatischer Lebenszyklusverwaltung über Index State Management Policies (Hot → Warm → Cold → Delete). Shard-Replikation sorgt für Ausfallsicherheit.
Die Zugriffskontrolle erfolgt kombiniert über LDAP und interne Benutzer, mit einem feingranularen Rollen- und Rechtemodell, das zentral über Puppet verwaltet und ausgerollt wird. Die Analyse und Visualisierung erfolgt über OpenSearch Dashboards, getrennt in Spaces zur klaren organisatorischen Abgrenzung zwischen den beiden Firmen.
Datensicherungen werden regelmäßig über Bacula durchgeführt. Die Verfügbarkeit und Funktionsfähigkeit der OpenSearch-Plattform wird aktiv über Icinga2 überwacht.

Use Cases in der Praxis

OpenSearch wird von unseren Teams für verschiedenste Anwendungsfälle eingesetzt:
• Zentrale Sammlung und Durchsuchung von Logs
• Dashboards für technische Auswertungen, Trends und Zustandsanalysen
• Alarmierung bei definierten Schwellwerten oder Ereignissen
• Strukturierte und unstrukturierte Abfragen auf große Datenmengen
• Feingranulare Rechtevergabe bis auf Dokumentenebene
• Trennung organisatorischer Kontexte über Spaces
Die Lösung hilft uns, Störungen schneller zu identifizieren, proaktiv zu handeln und Analysen effizient durchzuführen – intern konsolidiert und revisionssicher.

Lessons Learned

• Aufbau eines komplexen Rechtesystems war herausfordernd, ermöglicht heute jedoch exakte Rechtevergabe auf allen Ebenen
• Einführung von ISM-Policies brachte automatisierte Löschung und Ressourcenschonung
• Der Wechsel von Tenants zu Spaces ermöglichte klare Zuständigkeits- und Bereichstrennung ohne Konflikte bei Dashboards und Indizes

Ausblick

Aktuell arbeiten wir an der Integration von Wazuh zur Anreicherung unserer Log-Analyse um sicherheitsrelevante Daten. Zudem bauen wir ein umfassendes Selfmonitoring direkt über OpenSearch Dashboards und Alerts auf.
Wir verfolgen aktiv die Weiterentwicklung von OpenSearch – insbesondere im Bereich Visualisierung, Query-Funktionalität und Machine Learning.

Fazit

Mit OpenSearch haben wir eine skalierbare, sichere und vollständig integrierte Plattform geschaffen, die zentrale Logs effizient verwaltet, auswertbar macht und strukturiert visualisiert. Die Lösung unterstützt den stabilen Betrieb unserer Systeme und ermöglicht flexible, datengestützte Entscheidungen – intern, kontrolliert und unabhängig.

Autor: Jan Elias