Lakeflow Designer in Databricks: No-Code Data Pipelines im Praxistest

Databricks hat sich fest als eine der führenden Cloud-Datenplattformen etabliert und das Architektur-Paradigma des Data Lakehouse in die Welt getragen. Aus der Data Science und Machine Learning Plattform rund um Apache Spark ist über die Jahre eine echte Allround-Plattform für sämtliche analytischen Prozesse geworden, die in Unternehmen anfallen. Seit 2025 setzt Databricks verstärkt auf neue Features, die dem Vorbehalt entgegenwirken, dass das System nur für Programmierer und eingefleischte IT-Nerds geeignet sei. Databricks AI/BI Dashboards und Genie Spaces bringen so intuitive Datenvisualisierung bzw. natürlichsprachliche Interaktionen und Abfrage von Daten in das Portfolio. Mit “Databricks One” wird eine reduzierte Web-Ansicht ermöglicht, die sämtliche technischen Details zunächst ausblendet und völlig ohne technisches Expertenwissen zugänglich ist.

Der nächste große Schritt soll ein grafischer Editor für Data Pipelines werden: Zusammenstellung von Lade- und Transformationsprozessen alleine über eine grafische Benutzeroberfläche, durch Ziehen, Ablegen und Verbinden von Knotenpunkten auf einer interaktiven Leinwand. Dazu noch angereichert mit KI-gestützten Assistenzfunktionen zur Erstellung und Bearbeitung, die den gesamten Kontext der verfügbaren Daten aus dem Lakehouse kennen. Dieser neue Editor heißt “Lakeflow Designer” und ist derzeit noch in einem nicht-öffentlichen Vorschaustadium (“private preview”).

Für einen unserer Kunden hatten wir kürzlich Gelegenheit, Databricks Lakeflow Designer im aktuellen Entwicklungsstadium zu erproben und einen ersten Eindruck zu gewinnen. In vielen Unternehmen sind grafische Datenintegrationstools ein fester Bestandteil ihrer Dateninfrastruktur und häufig Altlasten einer früheren Generation von Technologien. Diese Legacy-Systeme mit einer Migration auf Databricks abzulösen und Datenintegration mit Data Warehousing und Data Science auf einer technischen Plattform zu vereinheitlichen, wäre ein großer und wichtiger Schritt für Unternehmen, ihre Dateninfrastruktur zukunftssicher zu modernisieren.

Was kann der Lakeflow Designer heute schon und welche Features fehlen noch für eine vollständige Ablösung etablierter Legacy-Systeme? Wir haben uns das neue Werkzeug angeschaut und teilen unsere Eindrücke mit Ihnen.

Databricks Lakeflow Designer: der neue grafische No-Code Pipeline Editor

Feature-Scope und Abgrenzung im Databricks-Ökosystem

Der Lakeflow Designer als grafischer Editor für Data Pipelines ergänzt bereits existierende low-code Funktionsbausteine im Databricks Portfolio: über “Lakeflow Connect” können diverse Datenquellen direkt an den Unity Catalog im Zentrum der Plattform angebunden werden. Föderierter Zugriff auf klassische relationale Datenbanksysteme wird auf diese Weise ebenso möglich, wie Abfragen von REST-Interfaces bekannter Cloud-Dienstleister. Mit Spark Structured Streaming und dem ebenfalls brandneuen Zerobus-Ingest als integriertes Eventqueue-System können zudem Streaming-Daten geladen werden.

Das Low-Code-Framework “Lakeflow Connect” für Ladevorgängen von Drittsystemen in das Databricks Lakehouse ist bereits fester Bestandteil der Plattform. Der Lakeflow Designer ergänzt anschließende Transformations-Prozesse auf Daten, die bereits im Unity Catalog verfügbar sind. Neben den abgebildeten, können über Python-Frameworks wie z.B. dlthub Daten aus beliebigen weiteren Quellen geladen werden.

Die Benutzerinteraktion mit fertig modellierten Daten erfolgt mittels Dashboarding-Tools oder LLM-gestützten Chat-Interfaces. Lakeflow Designer füllt also genau die Lücke zwischen Low-Code-Ladevorgängen und Low-Code Business Intelligence und Analyse aus.

Kernfunktion des Designer-Editors ist somit die Transformation bereits im Databricks Unity Catalog bekannter Datensätze, z.B. als Vorbereitung für die Visualisierung in einem Dashboard oder für eine Verwertung in Machine Learning Applikationen oder agentischen KI-Systemen. “Agent Bricks”, das No-Code-Interface für die Entwicklung von agentenbasierten Workflows auf Databricks steht bekanntlich ebenfalls kurz vor einem vollwertigen Release in Europa.

Sehen Sie sich die Aufzeichnung unseres Webinars an: "Bridging Business and Analytics: The Plug-and-Play Future of Data Platforms"

Aktuell in Lakeflow Designer vorhandene Features sind:

• Intuitive Benutzeroberfläche: Der Designer bietet einen grafischen Editor, den wir als sehr intuitiv und einfach zu bedienen empfunden haben. Nutzer können zwischen einer SQL-Code-Ansicht („Query“) und der neuen visuellen Ansicht („Visual“) wechseln.

• Drag-and-Drop: Pipelines werden durch das Ziehen und Ablegen von Knoten erstellt. Es stehen verschiedene Operatoren zur Verfügung, darunter Quellen (Source), Ausgaben (Output), Databricks SQL-KI-Funktionen und klassische SQL-Transformationen wie Aggregate, Filter, Join, etc.. Auch eigene SQL-Codeblöcke für komplexere Statements können eingebaut werden.

• Live-Datenvorschau: Ein zentrales Merkmal ist die interaktive Vorschau, die es ermöglicht, die Datenänderungen während des Designprozesses direkt zu sehen. An jedem Knotenpunkt werden Input- und Output-Zustand anhand einer kleinen Teilmenge der geladenen Daten als Vorschau angeboten.

• Annotation: Neben Standard-Transformationen können auch Notizen auf der Leinwand hinzugefügt werden, Knoten gruppiert und automatisch angeordnet werden.

• Orchestrierung: Wenn die Pipeline im Editor den gewünschten Zustand erreicht hat, kann die Ausführung direkt per Databricks Job als zeitgesteuerte Routine eingerichtet werden.

Per Drag-and-Drop oder durch Auswahl direkt auf der Leinwand können Operator-Knoten zur Pipeline hinzugefügt werden. Neben Datenquellen und -senken stehen typische SQL-Operationen und die Databricks SQL-KI-Funktionen zur Auswahl.

Lakeflow Designer im Einsatz: Benutzererfahrung mit dem grafischen Editor

Die große Einstiegshürde ist, den neuen Lakeflow Designer zu finden - der neue Editor ist eine Erweiterung des “SQL-Editor” Interface in Databricks, wo nun für neue Queries der Wechsel zwischen der normalen Code-Ansicht und dem visuellen Editor über einen eher unscheinbaren Wechselschalter möglich ist.

An jedem Knoten einer Pipeline kann eine Live-Datenvorschau eingesehen werden, die das Eingangs- und Ausgangsformat darstellt.

Die Erstellung von Pipelines erfolgt im visuellen Editor intuitiv per Drag-and-Drop, wobei verschiedene Operatoren für Datenquellen, Ausgaben, KI-Funktionen sowie klassische SQL-Transformationen wie das Filtern, Zusammenführen oder Sortieren von Daten zur Verfügung stehen. Aus dem Unity Catalog Seitenmenü können sämtliche Tabellen per Mausklick als zusätzliche Datenquellen direkt auf die Leinwand gezogen werden. Ein besonderer Vorteil für die effiziente Gestaltung von Integrationsflüssen ist die interaktive Live-Datenvorschau, durch die Änderungen an den Daten direkt während des Designprozesses sichtbar werden. Für Anforderungen, die über die Standard-Operatoren hinausgehen, lassen sich zudem benutzerdefinierte SQL-Knoten in den Datenfluss integrieren.

Auf technischer Ebene generiert jeder im Designer definierte Ausgabe-Knoten automatisch eine Spark Declarative Pipeline (früher “Delta Live Table” genannt), die eine entsprechende Materialized View erzeugt. Pipelines können aus dem Editor heraus direkt ad-hoc ausgeführt werden und als zeitgesteuerte Routine konfiguriert werden. Im Hintergrund werden SDL-Pipelines für sämtliche Output-Knoten angelegt und Ausführungsroutinen als Databricks Jobs erzeugt, die einen Refresh-Query-Task enthalten.

Professionelle Entwicklungsprozesse werden ansatzweise unterstützt insofern die mit dem Editor erstellen Queries in Git-Repositories abgelegt und versioniert gespeichert werden können. Designer-Pipelines werden dabei als spezielle Notebook-Dateitypen gespeichert (*.dbquery.ipynb).

Lücken und Potenziale

Trotz der intuitiven Bedienung weist der Databricks Lakeflow Designer derzeit noch einige funktionale Schwachstellen auf. Insbesondere komplexe Transformationen, wie beispielsweise PIVOT-Operationen, werden noch nicht rein grafisch unterstützt und müssten stattdessen durch die manuelle Einbindung von SQL-Code-Knoten umgesetzt werden. Genau solche Custom-Code Bausteine in grafischen Pipeline-Editoren erweisen sich dabei für einen langfristigen, nachhaltigen Betrieb als Stolpersteine und altern erfahrungsgemäß in Teams mit einer gewissen Fluktuation ausgesprochen schlecht.

Ein wesentliches Defizit besteht zudem in der mangelnden Navigation und Verknüpfung innerhalb der Databricks-Benutzeroberfläche, da keine direkten Rücksprung-Links zwischen der Katalogansicht, den Spark Declarative Pipelines und der eigentlichen Designer-Abfrage existieren. Auch die Visualisierung der Lineage ist momentan auf die einzelne Pipeline beschränkt, die eine Materialized View erstellt, und bietet keine darüber hinausgehende Übersicht der verwandten Tabellen oder sonstigen Materialized Views.

Alle “Output”-Knoten in Designer-Pipelines erzeugen Materialized Views, die über automatisch generierte Spark Declarative Pipelines erzeugt werden.

Für den Einsatz in professionellen Enterprise-Umgebungen fehlen, soweit wir das in unserem Probelauf sehen konnten, klare Best Practices und eine einfache Integration in etablierte DevOps-Workflows oder automatisierte Deployment-Zyklen mittels Asset Bundles. Eine Pipeline, die mit dem Lakeflow Designer im Databricks Webinterface erstellt wird, kann sehr einfach ausgeführt und auch als Routine orchestriert werden, aber automatisierte Transporte in separate Test- oder Produktivumgebungen über CI/CD-Frameworks scheint noch nicht möglich. Auch Query-Rohdaten, die mit dem Designer erstellt werden, können nicht einfach als reguläre Pipelines eingerichtet werden, wie z.B. Python-Notebooks oder einfache SQL-Dateien, um vollständige Lineage und Transparenz zu erzielen.

Ein prominent beworbenes Feature sind die natürlichsprachlichen Eingaben direkt in den Editor, die zur Erstellung und Konfiguration der Pipeline-Knotenpunkte genutzt werden können. Dieses Feature konnten wir in unserem Probelauf nicht nutzen.

Databricks Lakeflow Designer: Unser Fazit

Basierend auf unserem ersten Testlauf mit dem neuen Editor stellt der Databricks Lakeflow Designer einen vielversprechenden und äußerst intuitiven Einstiegspunkt für Self-Service-Data-Modeling dar. Besonders hervorzuheben ist die interaktive Live-Datenvorschau im Editor, die den Designprozess von Integrationsflüssen erheblich erleichtert und beschleunigt. Dass hinter jeder im Designer entworfenen Pipeline eine saubere SQL-Query entsteht, die im Zweifelsfalle auch an anderer Stelle in stärker Code-zentrische Entwicklungsprozesse übernommen werden kann, ist für uns eine wichtige Voraussetzung für die nachhaltige Verwendung und Qualität der entstehenden Datenmodelle.

Gleichzeitig ist festzuhalten, dass sich das Tool noch in einem frühen Entwicklungsstadium befindet, in dem noch mit einigen Verbesserungen gerechnet werden kann. Komplexe Transformationsmuster erfordern weiterhin den Rückgriff auf manuellen SQL-Code, und wesentliche Enterprise-Funktionen - wie eine durchgängige Lineage-Visualisierung, eine nahtlose Navigation zwischen den Komponenten sowie die Integration in professionelle CI/CD-Zyklen - sind aktuell noch nicht ausgereift oder dokumentiert. Somit ist der Designer ein exzellentes Werkzeug für schnelle, visuelle Ergebnisse, muss aber in puncto Orchestrierung und DevOps-Reife noch deutlich nachlegen, um vollumfänglich in komplexen Unternehmensarchitekturen bestehen zu können.

Szenarien, in denen der reine Self-Service im Mittelpunkt steht, sehen wir auch den aktuellen Entwicklungsstand des Lakeflow Designer bereits als überaus wertvoll an: wo z.B. eine Fachabteilung in einem separaten Databricks Workspace für eigene Zwecke Datenmodelle und Analysen in reiner No-Code-/Low-Code-Arbeitweise selbst verantwortet.

Databricks entwickelt sich als Allround-Plattform ständig weiter und ist für uns schon heute längst für Fachabteilungen und weniger code-affine Benutzergruppen sehr gut geeignet.

Sie möchten evaluieren, ob der Lakeflow Designer in Ihre Datenarchitektur passt oder planen eine Migration von Legacy-Datenintegrationslösungen auf Databricks? Sprechen Sie uns gerne für eine individuelle Beratung an - wir unterstützen Sie von der Strategie bis zur Umsetzung.