Daten bestimmen das Geschäft. Verteilt auf zahlreiche Systeme entstehen täglich Unmengen an Datensätzen, deren Informationen für jedes Unternehmen potenziell geschäftskritisch sind. Die Beschreibung und Zusammenführung der Daten sind die am meisten herausfordernden Aufgaben für analytische Anwendungen. Beschrieb der Begriff „ETL“ (Extract - Transform - Load / bzw. ELT) meist den klassischen Batch-getrieben Vorgang, erweitert heute der Begriff „Data Integration“ alle Methoden der Integration: ob Batch, in Echtzeit, innerhalb oder außerhalb einer Datenbank oder zwischen beliebigen Systemen.
Neben der physikalisches Datenintegration findet immer mehr auch die rein logische Integration „Data Virtualization“ aufgrund der höheren Flexibilität und Agilität insbesondere in modernen „Data Factory“ Architekturen Anwendung.
Was ist Data Integration?
Data Integration beschreibt alle Maßnahmen, Tools oder Prozesse, die notwendig sind, um Daten aus Quellsystemen in ein Zielsystem (oft Data Warehouse oder Data Lake) zu überführen. Darin enthalten sind üblicherweise die Optionen zur Anbindung an das Vorsystem („Connectivity“), unterschiedliche Geschwindigkeiten (Batch vs. Echtzeit) und Logik zur Transformation der Daten bzw. Vereinheitlichung in ein einheitliches Schema.
Bei der klassischen Data Integration werden Daten physikalisch von der Quelle in das Ziel überführt, was den Vorteil eines gemeinsamen Zugriffs mit gesicherter Performance bietet, aber mit Speicher- und Entwicklungskosten und geringerer Agilität einher geht. Für Data Virtualization bleiben die Daten an ihrer ursprünglichen Stelle, ein logisches Datenmodell ersetzt das physikalische. Die gewonnene Agilität wird durch Herausforderungen an Performance und begrenzter Transformationslogik erkauft.
5 Schritte zur Integration Ihrer Daten:
Der Erfolg eines analytischen Projekts liegt in der passenden Architektur. Nach dem Design eines Datenmodells ist Data Integration der aufwendigste Baustein in der Realisierung. Alle Analytik fußt darauf, Untersuchungen zeigen, dass 70-80% des Aufwandes in das Design und die Umsetzung der Datenintegration fließen.
Auswahl der passenden Datenintegrationstechnologie
Je nach Anforderung kommen für die Umsetzung verschiedene Technologien und Hersteller infrage. Datentypen, Geschwindigkeit, Menge, Quell- und Zielsysteme spielen eine wichtige Rolle bei der Auswahl.
Anbindung der Datenquellen
CSV war gestern. Die native „Connectivity“ zur Datenquelle macht einen großen Anteil an der Komplexität des Projektes aus. Dabei stellt nicht nur die Technologie eine Herausforderung dar, sondern auch die fachliche Interpretation der Daten.
Fachliche und technische Entwicklung der Integrationsprozesse
Datenintegration ist immer eine Frage von Technik und fachlichem Verständnis. Wie werden unterschiedliche Datenquellen verbunden, wo sinnvolle Berechnungen oder Aggregationen eingefügt? Wie wird Datenqualität sichergestellt?
Einbettung in den unternehmensweiten Kontext
Kein analytisches Projekt steht für sich allein, Data Integration macht hier keine Ausnahme. Für die Entwicklung der Prozesse ist die Kenntnis der unternehmensweiten Anforderungen und Zielsetzung eminent wichtig, um die richtigen Entscheidungen während der Entwicklung treffen zu können.
Sicherstellung von Daten- und Prozessqualität
Durch die Datenintegration erfolgt eine Entkopplung der Daten des ursprünglichen Quellsystems und damit vom Kontext desselben. Es muss zu jedem Zeitpunkt sichergestellt sein, dass die Daten nutzbar im Zielsystem sind: vollständig, umfassend, korrekt.
Unsere Services zu Data Integration
Selbstverständlich unterstützen wir jeden Kunden individuell in seinen Anforderungen: ganzheitlich im Rahmen eines Data Warehouse / Data Lake Projektes, beim Aufbau einer analytischen Infrastruktur inklusive Toolauswahl oder konkrete Umsetzung von Datenintegrationsprozessen. Gerade im Zusammenhang eines größeren Projektes hat es sich bewährt, in Workshops die genauen Anforderungen zu verstehen, um unsere Erfahrungen zielgerichtet in eine Lösung einzubringen, eine Architektur vorzuschlagen, umzusetzen und gemeinsam mit unseren Kunden weiterzuentwickeln.
Für jedes Projekt den richtigen Hersteller:
Sie suchen technische Unterstützung zu Data Integration, ETL und Data Virtualization? Wir arbeiten mit Technologien und kommerziellen Lösungen folgender Hersteller:
IBM
IBM „Information Server“, InfoSphere“ und „DataStage“ sind Technologien, mit denen seit Jahrzehnten Datenintegrationsprojekte durchgeführt werden. Die Lösungen sind umfassend, ausgereift und stark miteinander integriert. Funktionen zu Datenintegration, Data Governance, Datenqualität und auch ein Datenkatalog runden das Angebot ab, dabei beschränken sie sich nicht ausschließlich auf Data Warehouses, die ebenfalls in IBM Technologie (Db2, NPS und weitere) umgesetzt wurden. In der kürzeren Vergangenheit hat sich IBM vor allem auf die Integration der Werkzeuge in der AI Plattform „Cloud Pak for Data“ konzentriert, d.h. alle Technologie modernisiert, containerisiert und noch enger integriert. Die Funktionen wurden insbesondere durch moderne Ansätze, z.B. AI zur Erkennung von Qualität oder Datenvirtualisierung erweitert.
Mehr erfahrenMicrosoft
Die Funktionen zur Datenintegration teilt Microsoft deutlich in „on-premise“ oder als Cloud Service innerhalb Azure. Innerhalb des MS SQL Server kommen schon seit vielen Jahren die „Integration Services (SSIS)“ zum Einsatz, die sich komplett in den SQL Server und die bekannte Entwicklungsoberfläche von Microsoft integrieren. Mit der Schaffung zahlreicher Funktionen zur Datenintegration in Azure hat Microsoft den Anspruch nach einer kompletten Lösung in der Cloud weitgehend erfüllt: die „Azure Data Factory“ verfügt über umfassende Möglichkeiten zur Datenintegration, sinnvollerweise in einer Azure-zentrierten Architektur und eingebettet in der integrierten Analytics Workbench „Azure Synapse Analytics“.
Mehr erfahrenTalend
Talend hat sich in den letzten Jahren zu einem umfassenden Anbieter einer Datenintegrationsplattform für Big Data entwickelt. War Talend noch vor einigen Jahren den meisten Kunden als OpenSource Variante für einfache bis mittelkomplexe Datenintegrationsaufgaben bekannt, so werden heute alle Aspekte der modernen Datenintegration durch Talend bedient. Insbesondere ist Talend für seine umfangreiche Konnektivität zu Datenquellen und -zielen bekannt, und nicht zuletzt dadurch als Plattform für Enterprise Application Integration (EAI) hervorragend geeignet. Die enge Integration in eigene Data Governance Werkzeuge, z.B. den Data Catalog ergänzt die Plattform.
Mehr erfahrenSprechen Sie uns gerne an!
Martin Clement