header_home_wuerfel_1920px.jpg

Navigieren im Datenmeer – Nachgefragt bei Michael Rys, Principal Program Manager für Azure Data Lake bei Microsoft

Ein intelligenter Umgang mit Daten ist für Unternehmen heute der Schlüssel zum Erfolg. Es gilt, aus der immensen Menge an täglich generierten Daten verschiedenster Art den grösstmöglichen Nutzen zu ziehen. Hierzu bieten sich so genannte Data Lakes an. Das sind Repositories, in denen auch unstrukturierte Daten, wie Bilder, Texte oder Sensordaten, in ihrer Ursprungsform abgespeichert und für Analysen zugänglich gemacht werden können. Zu den bekanntesten Data-Lake-Diensten gehört Azure Data Lake von Microsoft. Wir haben nachgefragt bei Michael Rys, Principal Program Manager für diesen Dienstund über Möglichkeiten und Chancen der Plattform und seine Zukunftsvisionen gesprochen.

monitor-1307227_1920-1.jpgPhoto by geralt on Pixaby

Welche Möglichkeiten bietet Azure Data Lake von Microsoft?

michael_rys.jpgMichael RysAzure Data Lake umfasst alle erforderlichen Funktionen, die Entwickler, Data Scientists und Analysten benötigen, um Daten problemlos speichern zu können – und zwar unabhängig von der Grösse, vom Format und von der Geschwindigkeit der Daten. Darüber hinaus können die Daten mit Data Lake auf verschiedene Art, auf verschiedenen Plattformen und unter Verwendung verschiedener Sprachen verarbeitet und analysiert werden. Wir bieten dazu Integrationen sowohl mit Hadoop-Systemen, wie HDInsight, Spark via HDInsight und Azure Databricks, als auch mit dem serverlosen PaaS Azure Data Lake Analytics an.

Bild: Michael Rys (@MikeDoesBigData)

Warum hat sich Microsoft entschlossen, eine eigene Auswertungssprache für Big Data zu entwickeln, und greift nicht auf das vielfältige Angebot aus der Open-Source-Welt zurück?

Michael RysBekannte Big Data Frameworks, wie Apache Hadoop, sind stärker auf Java- und weniger auf SQL-Kenntnisse angewiesen. So bleiben SQL- und .Net-Profis häufig aussen vor – das betrifft auch unsere Entwickler, die mit T-SQL, einer Microsoft-Variante von SQL, arbeiten. Ihnen möchten wir aber auch Zutritt zur Big-Data-Welt verschaffen. Deshalb haben wir die Sprache U-SQL ins Leben gerufen, die eine Kombination von T-SQL und .Net/C# ist.

Was leistet die neuen Abfragesprache U-SQL schon heute?

Michael RysU-SQL ist eine Sprache, die bestimmte Abfragen für alle Arten von Daten unterstützt nicht nur für relationale Daten. Die Sprache konzentriert sich auf Erweiterungen des SQL-SELECT-Statements und ermöglicht skalierbare verteilte Abfragefunktionen mit dem Hauptfokus auf Datenvorbereitung (Data Preparation). U-SQL ist einfach erweiterbar mit kundenspezifischen Algorithmen, die in verschiedenen Programmiersprachen wie F#, Python oder R verfasst werden können. U-SQL skaliert diese Algorithmen dann über die Daten aus.

Wie wird sich das Ökosystem Azure Data Lake Analytics weiterentwickeln?

Michael RysIn der Zukunft werden wir weitere Funktionen im Bereich Machine Learning einbauen, weitere Datenformate und Programmiersprachen direkt unterstützten, ohne dass der Benutzer seine eigenen Erweiterungen benutzen muss. Ausserdem arbeiten wir an besseren Integrationen, einerseits mit der SQL-Data-Warehouse-Umgebung, die es den Daten-Analysten einfacher machen werden, interaktive Berichte zu erstellen, andererseits mit den Spark- und Azure-ML-Umgebungen, um Data Scientists dabei zu unterstützen, ihre Modelle zu entwickeln.

Auf dem Trivadis Azure Data Lake Event in Regensdorf am 2. März wird Michael Rys mehr über die aktuellen Funktionalitäten von Azure Data Lake erzählen und einen exklusiven Ausblick auf die nähere Zukunft der Absprachefrage U-SQL präsentieren. 

Jetzt für Azure Data Lake Event anmelden!

Weiterführende Informationen

Topics: Data Lake Microsoft Nachgefragt Events