Business Case: Data Lake für einen Chemiekonzern
Unternehmensweite Daten an einem Ort
Liegen unzählige Daten an unterschiedlichen Stellen, ist der Überblick schnell verloren. Und ihre Verwertbarkeit. Ein Chemiekonzern hat das geändert und uns mit der Architektur eines Data Lake beauftragt. Entstanden ist ein zentraler Speicherorte Datenspeicherstelle für die optimale interne Zusammenarbeit, Auswertung und Datenanalyse.
© Marco Verch, Drohnenfoto: Marina und Northerly Island, Lizenz CC BY 2.0
Aus ganz unterschiedlichen Quellen fließen Informationen dem Data Lake zu, wo sie sinnvoll gebündelt und geordnet strukturiert abrufbar sind.
Projektanforderungen und Aufgaben
Unser Kunde ist ein großer Konzern in der Chemiebranche. Hier fallen gewaltige Datenmengen verschiedenster Art an – von Verkaufszahlen und Produktionskosten bis zu Stammdaten oder Wetterstatistiken aus dem Landwirtschaftsbereich. Diese und viele weitere Daten aus zahllosen Quellen in einem vereinheitlichten Speichersystem zu lagernzentralisieren, erleichtert es enorm, innerbetrieblich zusammenzuarbeiten und systemübergreifend Daten auszuwerten. Ein zentraler Data Lake ist die Lösung, aus dem sich jeder Fachbereich mit entsprechenden Reporting-Tools bedienen kann. Dabei stehen Datensicherheit und Data Governance selbstverständlich an erster Stelle. Die Planung und der Betrieb einer solchen Datenarchitektur sind selbst für einen Großkonzern eine Herausforderung. Wir helfen mit unserer Expertise in den Bereichen Architektur und Big Data und mit unserer Hands-On-Mentalität.
Das ist unser Beitrag
In einer breit angelegten Kooperation haben wir den Data Lake für unseren Kunden konzeptioniert, geplant und bereitgestellt. Dabei haben wir nicht nur den Data Lake nach den Anforderungen des Kunden konstruiert, sondern auch im Rahmen von PoCs, Hackathons und Workshops die bedarfsgerechte Nutzung erprobt und rollenbezogene Schulungskonzepte entwickelt. Bei diesem Projekt zahlte sich erneut unsere Vielseitigkeit aus: Die technische Umsetzung erforderte den Einsatz unterschiedlicher Technologien wie Microsoft Azure, Amazon AWS, Cloudera oder Snowflake – für unsere Architekten und Data Engineers kein Problem. So ist der von uns entworfene Data Lake bspw. auch mit SAP HANA kompatibel.
Das Projekt auf einen Blick
Projekttitel:
-
Enterprise Data Lake
Branche:
-
Chemie
Projektpartner:
-
Microsoft
-
Hortonworks
-
Consulting-Firmen
Laufzeit:
-
20 Monate
Unser Beitrag:
- Beratung
- Analyse, Konzeption und Implementierung einer Data-Lake-Architektur in der Cloud
- PoCs, Hackathons, Schulungskonzepte
- Testing, Optimierung und Übergabe an den Kunden
Technologien:
- Microsoft Azure
- Amazon AWS
- SAP HANA
- Hadoop
- Cloudera
- Snowflake
- Microsoft SQL-Server
- Microsoft SQL-Data-Warehouse