Business Case: Big Data-Management für Vergleichsportal Billiger.de

Die Internetseite „billiger.de“, eine Marke der solute GmbH, ist eines der größten und meistgeklickten Online-Preisvergleichsportale Deutschlands. Diese Plattform hilft Konsumenten, preisgünstige Angebote bei Onlineshops zu finden. Detaillierte Produktinformationen erleichtern die Entscheidung zwischen Millionen Angeboten aus tausenden Shops. Diese Angebote werden täglich mehrfach aktualisiert, so dass für Händler und Konsumenten Transparenz und Übersicht im Online-Markt gewährleistet sind. Entsprechend hoch ist die dafür zu verarbeitende Datenmenge.

Hadoop ist ein freies Framework, dass durch seine Schnittstellen und seine Skalierbarkeit flexibel, kostengünstig, effizient und zukunftssicher insbesondere bei polystrukturierten Massendaten eingesetzt werden kann. Internetgiganten wie Google, Yahoo und Facebook zeigen bereits seit Längerem, dass sich die Hadoop-Technologie derzeit am besten zur Bewältigung solcher Datenvolumina eignet.  

Auf der „grünen Wiese“ erstellte solute ein entsprechendes System und erkannte schnell, dass aufgrund der Komplexität und des Umfangs des Vorhabens externe Beratung benötigt wird.

Hadoop-Spezialist KYBEIDOS begann nach einer kurzen Anforderungsanalyse und Architekturberatung mit der Integration des Hadoop-Systems in die vorhandene IT-Architektur von „billiger.de“ – und das im laufenden Betrieb. Dank des Systemkonfigurationswerkzeugs „Puppet“ konnten sämtliche Installationen und Konfigurationen vollautomatisch durchgeführt werden. Entscheidend war die Statusüberwachung, das Erkennen von Ausfällen sowie die Analyse und Behebung von Fehlern. Darüber hinaus wurde die Konfiguration an spezifische Anwendungsfälle angepasst. Für die Datenanreicherung und -verarbeitung wurde Penthao DI genutzt. Hinzu kamen Kafka, Flume und HBase, eine skalierbare, einfache Datenbank zur Verwaltung sehr großer Datenmengen innerhalb eines Hadoop-Clusters.

Anschließend erhielt das Hadoop-System ein Upgrade auf die aktuelle Version sowie eine Anbindung an die Microsoft Windows Benutzerverwaltung. Vier Monate nach Projektbeginn hatte KYBEIDOS alle Anforderungen erfolgreich erfüllt und parallel flexible Unterstützung für die BI-Abteilung geleistet.