Data Warehouse

Was sind die wichtigsten Komponenten eines Data Warehouse? 

Ein Data Warehouse besteht in der Regel aus folgenden vier Komponenten: 

Datenbank: Für die Speicherung der aggregierten Daten kommt meist eine relationale Datenbank zum Einsatz, die auf SQL (Structured Query Language) basiert. Zunehmend werden aber auch nicht-relationale NoSQL-Datenbanken (Not only SQL) verwendet, die kein festes Tabellenschema benötigen und daher vor allem bei einem hohen Aufkommen an Schreib- und Lesevorgängen Performance-Vorteile bieten. Die Datenbank kann on-prem in einem lokalen Rechenzentrum betrieben, als gehostete Instanz bei einem Rechenzentrumsanbieter oder als Service aus der Cloud bezogen werden. 

ETL-Tools: Um die Informationen nutzbar zu machen, müssen sie aus den Quellsystemen extrahiert, in eine standardisierte Form gebracht und in das Data Warehouse geladen werden. Diese Aufgaben übernehmen ETL-Tools (Extract, Transform, Load). 

Metadaten: Zusatzinformationen über die Daten werden in der Regel in einer separaten Metadaten-Datenbank abgelegt. Zu den gespeicherten Merkmalen gehören zum Beispiel Ort und Zeit der Erhebung sowie Quelle und Format der Originaldaten.  

Analyse-Tools: Mit diesen Lösungen können Data Scientists und andere Fachkräfte Abfragen erstellen, Berichte erzeugen, Data Mining betreiben und eigene Anwendungen für Business Analytics entwickeln. 

Data Warehousing: Best Practices und Tipps 

Für den Aufbau oder Ausbau eines Data Warehouse sollten Geschäftsverantwortliche und IT-Entscheidende folgende Best Practices und Tipps beherzigen: 

1. Definieren Sie Ihre Anforderungen: Ein Data Warehouse ist ein komplexes System und die Integration zahlreicher heterogener Datenquellen stellt eine nicht zu unterschätzende Herausforderung dar. Damit Zeit- und Budgetplanung nicht aus dem Ruder laufen, sollten Sie deshalb von Anfang an klar definieren, welche Ziele sie mit dem Data Warehouse-Projekt verfolgen. Welche Fragen sollen damit geklärt, welche Probleme gelöst werden? Welche Daten benötigen Sie dafür in welcher Detailtiefe und Qualität? Wie schnell benötigen Sie diese Daten und wie oft müssen die Informationen aktualisiert werden?
2. Dokumentieren Sie Ihre Datenquellen: Die beste Strategie nützt nichts, wenn die erforderlichen Daten nicht oder nicht in ausreichender Qualität und Detailtiefe vorhanden sind. Verschaffen Sie sich deshalb einen Überblick darüber, wo und welche Informationen erhoben werden, in welchem Format sie vorliegen und wie sie in das Data Warehouse übermittelt werden sollen. Falls die vorhandenen Datenquellen nicht ausreichen, um die in Punkt 1 definierten Ziele zu erfüllen, sollten Sie zunächst Ihre Datenerfassung-Infrastruktur ausbauen, bevor Sie das DWH implementieren. 
3. Wählen Sie die richtige Plattform: Wo und mit welcher Technologie Sie das Data Warehouse gestalten, hängt sehr stark von der Art, dem Entstehungsort und der Menge der Daten ab, die im DWH analysiert werden sollen. Befinden sich die Quellsysteme beispielsweise bereits überwiegend bei einem Cloud-Provider, ist es naheliegend, auch eine Cloud Data Warehouse-Lösung zu nutzen. Auch in Bereichen, in denen Informationen zum größten Teil online anfallen, etwa im E-Commerce, ist ein Cloud Data Warehouse die beste Option. Wollen Sie dagegen großen Datenmengen aus lokalen Produktionssystemen analysieren, hat ein DWH aus dem eigenen Rechenzentrum Vorteile.
4. Stellen Sie ein Data Warehouse-Team zusammen: Der Aufbau und der Betrieb eines Data Warehouse erfordert viel Know-how und kann nicht so einfach nebenher erledigt werden. Stellen deshalb ein dediziertes Team aus Fachkräften zusammen, die sich mit dem Management von Datenbanken und deren Nutzung auskennen. Neben IT-Expert*innen sollten auch Datenanalyse-Spezialkräfte wie Data Scientists und Data Engineers zu diesem Team gehören.
5. Holen Sie sich Unterstützung: In vielen Unternehmen ist die Personaldecke im IT-Bereich äußerst dünn. Es empfiehlt sich daher, für ein so großes Projekt wie die Einführung eines Data Warehouse, externe Unterstützung zu suchen. Es kann auch sinnvoll sein, den Betrieb des Data Warehouse an einen Managed Service Provider auszulagern, um die eigene IT-Abteilung von Routineaufgaben zu entlasten und Ressourcen für Aufgaben der digitalen Transformation frei zu machen.