Erweiterter Funktionsumfang des Plug-ins „GeoSpatial Integration für Talend“ / Integration von WKB in ETL-Prozesse / Lesen und Schreiben des Datentyps SDE.ST_GEOMETRY
Karlsruhe, 25. Oktober 2018
Die Disy Informationssysteme GmbH hat das Geo-Plug-in „GeoSpatial Integration für Talend“ funktionell erweitert und jetzt in neuer Version vorgestellt. Mit Hilfe dieser Geo-Erweiterungssoftware für die Talend-Plattform ist es nun möglich, in einem Datenintegrations- und Verarbeitungsprozess auch Geodaten vom Typ SDE.ST_GEOMETRY, wie sie in einer ArcGIS-Umgebung häufig verwendet werden, einzubinden.
Die neue Version 1.0.6 des Plug-ins „GeoSpatial Integration für Talend“ unterstützt nun auch den räumlichen Datentyp Well-Known-Binary (WKB) und damit das Lesen und Schreiben von Daten des Typs SDE.ST_GEOMETRY. Daten aus ArcGIS-Datenquellen, die diesen Datentyp nutzen, können erstmals in einen Geo-ETL-Prozess mit Talend lesend oder schreibend eingebunden werden. Damit wird der Weg zu einer einheitlichen Verarbeitung von Geodaten und Daten in alphanumerischer Form innerhalb der Talend-Umgebung für neue Anwendungsszenarien geebnet.
Wachsende Bedeutung von Geodaten in Entscheidungsprozessen von Unternehmen
Das Plug-in trägt der steigenden Relevanz von Geodaten in Entscheidungsprozessen von Unternehmen Rechnung. Das Sammeln und Veröffentlichen von digitalen Daten zu Personen, Orten und allgemeinen Trends hat in den vergangenen Jahren erheblich zugenommen. Unternehmen nutzen diese Informationen und beziehen Geoinformationen in ihre Entscheidungsprozesse mit ein, beispielsweise bei der Planung neuer Filialen, zur Identifizierung neuer Käufergruppen nach Geogesichtspunkten und zu Auswertungen nach regionalen Faktoren.
Umfangreicher Funktionsumfang für Geo-ETL
Das von Disy entwickelte Plug-in integriert sich nahtlos in die Talend-Werkzeugpalette und erweitert diese um Geo-Funktionalitäten. Hierfür stellt es sowohl eigene Komponenten, die per Drag-and-Drop in den ETL-Jobs genutzt werden können, als auch spezielle Geo-Routinen bereit, die die Funktionalität einiger der über 900 Talend-Komponenten erweitern. So können im Integrations- und Transformationsprozess Flächen oder Längen berechnet, Geometrien verschnitten sowie Puffer, konvexe Hüllen oder Bounding-Boxen gebildet werden.
Weitere Routinen unterstützen den Nutzer bei der Prüfung nach der Validität von Geometrien, dem direkten Vergleich mehrerer Geometrien nach Überlappung, Berührung oder Enthaltensein, sowie die bei der Distanzmessung zwischen Geometrien. Natürlich können auch Koordinaten in Punkte umgewandelt werden oder Punkte in Linien. Und die Geometrien können direkt im Prozess zwischen unterschiedlichen Koordinatensystemen umgerechnet werden. Unterstützt werden die Datenquellen PostGIS, Shapefile, Oracle Locator und Spatial sowie SpatiaLite – und jetzt über die neue Formatauslesung von WKB auch Daten, die von ArcGIS als SDE.ST_GEOMETRY in PostgreSQL oder Oracle gespeichert werden.
Qualitätsgesicherte Daten, umfangreiches Monitoring mit Talend
Im Bereich der Datenintegration ist Talend laut Gartner und Forrester Research als einziges Open-Source-Werkzeug eine der weltweit führenden Plattformen – nicht nur für ETL-Prozesse zum Aufbau von Data-Warehouse-Lösungen, sondern auch für die Integration von Streaming-Big-Data oder die Datenverarbeitung in der Cloud. Talend hält zahlreiche Funktionalitäten bereit, die die Qualität der Daten sichern und effizientes Arbeiten ermöglichen. Neben der grafischen Oberfläche stehen Funktionen zur Teamarbeit, wie ein gemeinsames Repository, dem Audit und Jobvergleich, der Wirkungsanalyse, des Debuggings, des Tunings der Prozesse bis hin zur Versionierung und der automatischen Erstellung der Dokumentation zur Verfügung.
Für den Betrieb bietet die Plattform Funktionen zur Verwaltung und zum Monitoring, wie Hochverfügbarkeit und Lastverteilung, einen Deployment-Manager, Benutzerverwaltung, Ausführungsplanung, Einführung von Prüfpunkten und Fehlerbehebung, Monitoring der Aktivitäten bis hin zum Log-Server mit eigenem Dashboard. So behalten Entwickler und Administratoren stets den Überblick über die aktuellen Prozesse und den Stand der Datenverarbeitung. Diese Vorteile der Talend-Software können mit dem Plug-in von Disy auch für die Verarbeitung von Geodaten genutzt werden.
Kostenfreier Download des Plug-ins „GeoSpatial Integration für Talend“
Das Plug-in „GeoSpatial Integration für Talend“ kann für Talend Open Studio kostenfrei von der Disy-Webseite unter www.disy.net/geospatial heruntergeladen werden. Für Talend-Kunden, die Support benötigen oder das Plug-in für Talend Studio oder eine der Talend-Plattformen nutzen, steht eine kommerzielle Version als Abonnement (Subscription) zur Verfügung.
Weitere Informationen
Abb. 1: Durch das Geo-Plug-in „GeoSpatial Integration für Talend“ von Disy wird die Talend-Plattform zum Geo-ETL-Werkzeug erweitert.
Abb. 2: Das Geo-Plug-in fügt sich nahtlos in die Talend-Werkzeugpalette ein. Die Komponenten und Routinen zur Geoverarbeitung können einfach per Drag-and-Drop in die Arbeitsfläche und damit in den ETL-Prozess gezogen werden.
Abb. 3: Nutzung der neuen Funktionalität, um in der Abbildungskomponente tMap eine Geometrie auf den neuen Typ WKB abzubilden
