Verteilt auf zahlreiche Systeme, entstehen täglich Unmengen an Datensätzen, mit potenziell geschäftskritischen Informationen. Die Herausforderung dabei: Daten zu beschreiben und zusammenzuführen. Je fragmentierter die Daten in einem Unternehmen, desto wichtiger wird die technische und fachliche Datenintegration. Dabei ist ein einheitliches und einfach abfragbares Schema notwendig. Konsultieren Sie daher unsere Data Engineers – denn richtiges Data Engineering sowie Data Analytics bringen Sie auf die Spitze Ihrer Geschäftsbranche.
Data Integration Service und Consulting: Ihre Daten in zukunftssicheren Systemen
Jetzt Data Integration Consulting und Service beauftragen!Was ist Data Integration?
Data Integration beschreibt alle Maßnahmen, Tools und Prozesse, die notwendig sind, um Daten aus Quellsystemen in ein Zielsystem wie ein Data Warehouse oder ein Data Lake zu überführen. Darin enthalten sind:
- Optionen zur Anbindung an das Vorsystem („Connectivity“)
- unterschiedliche Geschwindigkeiten (Batch versus Echtzeit)
- und Logik zur Transformation der Daten beziehungsweise Vereinheitlichung in ein einheitliches Schema.
Was bedeuten die Abkürzungen ETL und ELT?
Die Abkürzung „ETL“ steht für „Extract, Transform, Load“: Bei dem Integrationsansatz werden Daten aus verschiedenen Quellen extrahiert, in eine Middleware hinein und wieder heraus transportiert und in dem Zuge in das gewünschte Format überführt. Anschließend erfolgt die Integration der Daten in eine Datenbank oder ein Data Warehouse. Bei „ELT“ („Extract, Load, Transform“) spielt die Middleware eine andere Rolle: Sie generiert den Code optimiert für die genutzte Datenbanktechnologie, welche die Transformation direkt durchführt. Die Daten verbleiben in der Datenbank, aber die Middleware behält die Kontrolle über den Prozess.
Heute wird statt ETL oder ELT oft der Begriff „Data Integration“ genutzt, um alle Methoden der Datenintegration in einem Ausdruck zu benennen:
- ob Batch,
- in Echtzeit,
- innerhalb oder außerhalb einer Datenbank
- oder zwischen beliebigen Systemen.
Was versteht man unter Data Management?
Unter Data Management versteht man das sichere Erfassen und Speichern von Daten. Zum Data Management gehören Maßnahmen zur Sicherstellung von Datenqualität und dem Data Lifecycle Management.
Standardisiertes Datenmanagement schafft Basis für Reporting
Referenz lesen
Data Virtualization – modernes und flexibles Datenmanagement
Neben der physikalischen Integration von Daten findet man aufgrund der höheren Flexibilität und Agilität insbesondere in modernen „Data Factory“-Architekturen ebenfalls die rein logische Integration „Data Virtualization“.
Data Virtualization integriert Ihre Daten aus verteilten Quellen sowie Orten. Auch wenn unterschiedliche Formate vorhanden sind. Ihre Daten müssen dann nicht repliziert werden. Mit Data Virtualization ist eine flexible, übergreifende Datenaufbereitung und -analyse von historischen Daten eines Data Warehouse bis hin zu operativen Daten möglich.
Data Integration versus Data Virtualization
Bei der klassischen Data Integration werden Daten physikalisch von der Quelle in das Ziel überführt. Der Vorteil dadurch ist, dass es einen gemeinsamen Zugriff mit gesicherter Performance bietet.
Für Data Virtualization bleiben die Daten an ihrer ursprünglichen Stelle. Ein logisches Datenmodell ersetzt somit das physikalische. Die gewonnene Agilität wird durch Herausforderungen an Performance und begrenzter Transformationslogik erkauft.
Fünf Schritte zur Integration Ihrer Daten mit unserem Consulting:
Der Erfolg eines analytischen Projekts liegt in der passenden Architektur. Nach dem Design eines Datenmodells ist Data Integration der aufwendigste Baustein in der Realisierung.
Unsere Services zu Data Integration
Wir unterstützen Sie individuell und ganzheitlich im Rahmen eines Data Warehouse oder Data Lake-Projektes. Dazu zählt:
- Aufbau einer analytischen Infrastruktur inklusive Toolauswahl
- konkrete Umsetzung von Datenintegrationsprozessen
In gemeinsamen Workshops gehen wir auf Ihre genauen Anforderungen ein. So erarbeiten wir eine zielgerichtete Lösung und Architektur für die Integration Ihrer Daten.
Für jedes Data Integration Projekt den richtigen Hersteller:
Sie suchen technische Unterstützung zu Data Integration, ETL und Data Virtualization? Wir arbeiten mit Technologien und kommerziellen Lösungen folgender Hersteller:
IBM
IBM „Information Server“, InfoSphere“ und „DataStage“ sind Technologien, mit denen seit Jahrzehnten Datenintegrationsprojekte durchgeführt werden. Die Lösungen sind umfassend, ausgereift und stark miteinander integriert. Funktionen zu Datenintegration, Data Governance, Datenqualität und auch ein Datenkatalog runden das Angebot ab, dabei beschränken sie sich nicht ausschließlich auf Data Warehouses, die ebenfalls in IBM Technologie (Db2, NPS und weitere) umgesetzt wurden. In der kürzeren Vergangenheit hat sich IBM vor allem auf die Integration der Werkzeuge in der AI Plattform „Cloud Pak for Data“ konzentriert, d.h. alle Technologie modernisiert, containerisiert und noch enger integriert. Die Funktionen wurden insbesondere durch moderne Ansätze, z.B. AI zur Erkennung von Qualität oder Datenvirtualisierung erweitert.
Mehr erfahrenMicrosoft
Die Funktionen zur Datenintegration teilt Microsoft deutlich in „on-premise“ oder als Cloud Service innerhalb Azure. Innerhalb des MS SQL Server kommen schon seit vielen Jahren die „Integration Services (SSIS)“ zum Einsatz, die sich komplett in den SQL Server und die bekannte Entwicklungsoberfläche von Microsoft integrieren. Mit der Schaffung zahlreicher Funktionen zur Datenintegration in Azure hat Microsoft den Anspruch nach einer kompletten Lösung in der Cloud weitgehend erfüllt: die „Azure Data Factory“ verfügt über umfassende Möglichkeiten zur Datenintegration, sinnvollerweise in einer Azure-zentrierten Architektur und eingebettet in der integrierten Analytics Workbench „Azure Synapse Analytics“.
Mehr erfahrenTalend
Talend hat sich in den letzten Jahren zu einem umfassenden Anbieter einer Datenintegrationsplattform für Big Data entwickelt. War Talend noch vor einigen Jahren den meisten Kunden als OpenSource Variante für einfache bis mittelkomplexe Datenintegrationsaufgaben bekannt, so werden heute alle Aspekte der modernen Datenintegration durch Talend bedient. Insbesondere ist Talend für seine umfangreiche Konnektivität zu Datenquellen und -zielen bekannt, und nicht zuletzt dadurch als Plattform für Enterprise Application Integration (EAI) hervorragend geeignet. Die enge Integration in eigene Data Governance Werkzeuge, z.B. den Data Catalog ergänzt die Plattform.
Mehr erfahrenSprechen Sie uns gerne an!
Martin Clement