Eine besondere Herausforderung vieler Unternehmen besteht darin, dass Daten oft noch Jahre sp\u00e4ter f\u00fcr neue Anwendungsf\u00e4lle von Interesse sein k\u00f6nnen, jedoch zu diesem Zeitpunkt bereits l\u00e4ngst entsorgt wurden oder sich deren Schemata in der Zwischenzeit mehrfach ge\u00e4ndert haben. Auch kommt es oft vor, dass Daten bereits vor dem ersten Speichern selektiert, aggregiert oder transformiert wurden und somit f\u00fcr die sp\u00e4tere Verwendung nicht mehr komplett vorliegen.<\/p>\n\n\n\n
Gerade f\u00fcr datenintensive Vorhaben im Bereich von Data Science oder KI m\u00fcssten passende Daten daher erst neu gesammelt werden, was eine starke Verz\u00f6gerung in den geplanten Vorhaben verursacht.<\/p>\n\n\n\n
Data Lakes sind ein Architekturpattern, welches darauf abzielt, Daten aus verschiedenen Applikationen in einem zentralen \u00d6kosystem langfristig verf\u00fcgbar zu machen. Daten m\u00f6glichst aller Bereiche und Abteilungen eines Unternehmens werden an einer zentralen Stelle vorgehalten. Im Gegensatz zu klassischen Data Warehouses werden dabei jedoch immer auch die Rohdaten gespeichert, oft in Objektspeichern wie S3.<\/p>\n\n\n\n
Der Vorteil dabei ist, dass die Informationen in vollem Umfang zur Verf\u00fcgung stehen und nicht wie in klassischen Data Warehouses bei der ersten Speicherung bereits reduziert oder transformiert werden. Dadurch gibt es in dem zentralen Datenpool kein an spezielle Nutzerbed\u00fcrfnisse angepasstes Schema, sodass sich die Konsumenten die Bedeutung der Daten in diesem Fall selbst herleiten m\u00fcssen.<\/p>\n\n\n\n
Um den Vorteil von Data Lakes effizient nutzen zu k\u00f6nnen, sollten diese bereichs\u00fcbergreifend zur Verf\u00fcgung gestellt werden. Dadurch k\u00f6nnen die Daten an allen Stellen abgerufen werden, an denen sie ben\u00f6tigt werden.<\/p>\n\n\n\n
Dabei gibt es die M\u00f6glichkeit, die Daten in verschiedenen Zonen abzulegen. Dies erm\u00f6glicht den Zugriff f\u00fcr verschiedene Abstraktionslevel. So dienen bspw. f\u00fcr Data Scientists Low-Level-Tools wie Athena dazu, einen sehr tiefen und detaillierten Einblick in den Datenpool zu bekommen, w\u00e4hrend f\u00fcr Fachabteilungen eher spezialisierte Data Marts bereitgestellt werden sollten.<\/p>\n\n\n\n
Mit Amazon Athena lassen sich SQL-Abfragen direkt auf (semi-) strukturierten Daten in S3-Buckets ausf\u00fchren \u2013 ohne die Notwendigkeit einer Datenbank mit einem festen Schema. Auch vorbereitende ETL-Prozesse (Extract Transform Load), wie aus dem Bereich klassischer Data Warehouses bekannt, sind f\u00fcr die Arbeit mit den Rohdaten nicht notwendig.<\/p>\n\n\n\n
Da Amazon Athena in den Bereich der Serverless-Dienste f\u00e4llt, ist keinerlei Provision von Infrastruktur erforderlich. Dies geschieht automatisiert und f\u00fcr den Nutzer transparent im Hintergrund. Das spart zum einen Aufwand und Spezialwissen, zum anderen fallen bei der Nutzung des Dienstes nur Kosten pro Gigabyte der aus S3 gelesenen Daten an.<\/p>\n\n\n\n