Apache Airflow 3.0: Alles, was Sie zum neuen Release wissen müssen

Seit dem 22. April 2025 ist Apache Airflow 3.0 öffentlich verfügbar. Es ist der erste Major Release des beliebten Open Source Orchestrierungsdienstes seit fünf Jahren und bringt eine Vielzahl von Änderungen mit sich. Welche neuen Features gibt es? Was ändert sich? Sollte ich mein bestehendes System aktualisieren? Was muss ich beim Update beachten? Der Release wirft viele Fragen auf, die wir für Sie beantworten wollen.

Kennen Sie Airflow?

Moderne agentenbasierte KI-Modelle, Machine Learning Workflows, Reporting und Business Intelligence haben gemeinsam, dass sie regelmäßig und zuverlässig mit aktuellen Daten versorgt werden müssen. Diese sichtbaren oder unsichtbaren Prozesse auf allen Ebenen abzustimmen und im Takt zu halten, erfordert Prozessorchestrierung: zeitgesteuert Routinen, ereignisbasierte oder abhängige Aufgaben müssen definiert, verlässlich und nachvollziehbar ausgeführt und überwacht werden. Für all dies liefert das weit verbreitete Open Source Projekt Apache Airflow die führende Code-zentrische Entwicklungs- und Betriebsplattform. Airflow ist skalierbar, erweiterbar, vollständig offen und dank des Pro-Code Fokus unbegrenzt einsetzbar. Die Anwendungsbereiche sind vielfältig, um nur einige wenige zu nennen:

• Ersatz für Cronjobs
• Datenpipelines nach Extract-Load-Transform Paradigma (ELT)
• Integration von lokalen Systemen mit Cloudplattformen wie Databricks
• Skalierbarer Rechencluster
• MLOps

Apache Airflow ist dabei eines der wenigen großen Open Source Projekte in der Daten- und BI-Welt, das in der freien Version keine Features zurückhält. Es gibt vielfältige Integrationsmöglichkeiten und Erweiterungsmodule und dank aktiver Community und der professionellen Unterstützung aus der Apache Foundation auch langfristige Planungssicherheit.

Neue Features: Airflow im Darkmode

Der neue Release bringt eine ganze Reihe von Neuerungen mit sich. Wenige fallen so direkt ins Auge wie der neue Darkmode der Benutzeroberfläche. Doch das neue UI ist nicht nur (optional) dunkel, sondern insgesamt komplett überarbeitet: Ein neues Frontend mit React Framework und ein neuer Webserver auf Basis der FastAPI Python-Bibliothek geben Apache Airflow 3.0 einen frischen Anstrich. Untermenüs wurden in grafische Elemente an sinnvollen Stellen integriert. Auf den ersten Blick wirkt es, als fehlten plötzlich viele Optionen, doch sind diese nun geschickter in ein schlankes Gesamtbild eingebettet. Gewöhnungsbedürftig bleibt das Airflow UI auch mit dem neuen Release, verkürzt aber Ladezeiten und erfordert weniger Klicks für die gleichen Informationen als vorher.

Airflow 3.0 bringt neben vielen architektonischen Verbesserungen auch eine
komplett neue Benutzeroberfläche samt Darkmode-Ansicht.

Entkopplung von Hauptsystem und Task-Executor

Langfristig werden weniger die sichtbaren Änderungen von Bedeutung sein als die unsichtbaren Änderungen in der Systemarchitektur: mit dem neuen Release wird eine neue API für die Kommunikation mit verteilten Worker-Nodes eingeführt. Bisher mussten Airflow Worker Nodes direkten Zugriff auf eine gemeinsame Backend-Datenbank haben, um mit dem Airflow-Kernsystem zu kommunizieren. Insbesondere ein verteilter Betrieb von Aufgaben über unterschiedliche Netzwerkzonen oder sogar Cloud-Anbieter hinweg hat sich schwierig gestaltet. Mit der neuen Task Execution API wird dies möglich und erlaubt die Kommunikation von zu erledigenden Aufgaben, Konfigurationsparametern, Credentials, Logs und Ergebnissen über verschlüsselte HTTPS Nachrichten. Dies ist gleichzeitig die Voraussetzung dafür, dass zukünftig Worker Nodes in anderen Programmiersprachen als Python entwickelt werden. Die Vision der Airflow-Entwickler ist, dass letztlich Aufgaben in beliebigen Programmiersprachen codiert werden und per zentralem Airflow gesteuert werden können.

Optimieren Sie Ihr Workflowmanagement
mit Apache Airflow!

DAG Versionierung

In Airflow werden Aufgaben mittels sogenannter DAGs definiert, directed acyclic graphs. Die DAG Definition erfolgt in der Programmiersprache Python und ermöglicht damit eine strikte code-basierte Versionskontrolle von Änderungen, z.B. mittels Git und CI/CD Pipelines. Mit Airflow 3.0 ist es nun erstmals möglich, diese Änderungen auch in der Benutzerschnittstelle zu sehen und nachzuvollziehen. Wenn sich die Komposition von Aufgaben innerhalb eines DAG ändert und z.B. neue Tasks hinzukommen oder alte deaktiviert werden, lassen sich die verschiedenen Zustände des Workflows anzeigen. Für langlebige Systeme besonders wichtig: die Zustandsinformationen und Logs bleiben auch bei geänderten Workflow erhalten, bisher ein blinder Fleck der Plattform.

Signifikante Änderungen an DAGs sind mit Airflow 3.0 endlich auch im
Web-UI sichtbar und nachvollziehbar.

Verbessertes Event-Scheduling

Mit dem neuen Major Release werden die bereits bekannten Datasets zu Assets umgetauft und in der Code-Basis breiter angelegt. Datasets bzw. Assets erlauben die Verknüpfung von Tasks und DAGs über ihren eigenen Kontext hinaus und so z.B. sofortige Verkettung von DAGs, wann immer ein verbindendes Assets aktualisiert wird. Neue Watcher-Tasks können jetzt auf Ereignisse in Drittsystemen reagieren und die Ausführung von Airflow DAGs anstoßen. Auch bekommen die Assets eine vollwertige REST API, die aktive Trigger durch Nachrichten aus Drittsystemen erlauben und eine weitergehende Integration in vernetzte Systemlandschaften ermöglicht.

Neue Schnittstellen im Backend stärken Event-basierte Workflows und
im neuen UI werden solche Zusammenhänge gut nachvollziehbar visualisiert.

Neben diesen Features, die wir für Sie hervorheben, bringt Apache Airflow 3.0 unzählige kleinere Verbesserungen, die auf den ersten Blick unscheinbar wirken mögen, aber spezielle Probleme lösen oder neue Arbeitsweisen mit Airflow möglich machen. 

Voraussetzungen für ein Upgrade

Ein neues Major Release bedeutet natürlich auch, dass der Versionswechsel in bestehenden Systemen bestimmte Anpassungen notwendig macht. Die gute Nachricht ist dabei, dass viele der neuen Features bereits mit den vorherigen Minor Releases der Airflow 2.x Codebasis vorbereitet worden sind. Systeme auf einem Versionsstand von 2.7 oder höher sollten mit wenigen Einschränkungen kompatibel sein. Wenn Sie Airflow 2.x beispielsweise bereits mit einem Standalone DAG-Processor betreiben, müssen lediglich die Dienste für das neue Frontend angepasst werden und ein Upgrade sollte gelingen. Dennoch empfehlen sich vorab eine Reihe von Prüfungen auf Kompatibilität, für die das Airflow Projektteam sogar eigene Werkzeuge zur Verfügung stellt. Fangen Sie mit einer lokalen Instanz an und arbeiten Sie sich entlang Ihrer Entwicklungsprozesse durch die verschiedenen Systemumgebungen vor.

Wer Airflow 3 ohne großen Aufwand einmal anschauen möchte, kann mittels des neuen Docker Image mit nur einer Zeile Code eine lokale Umgebung starten:

docker run -it --rm -p 8080:8080 apache/airflow:3.0.1 airflow standalone

Dieser Befehl lädt eine Container-Version von Airflow 3.0.1 herunter und startet sie im Testbetrieb. Im Log wird eine zufallsgeneriertes Passwort für den Admin-Benutzer angezeigt, dass Sie kopieren und beim Login in die Weboberfläche eingeben müssen:

• URL: http://localhost:8080
• Benutzername: admin
• Passwort entnehmen Sie dem Container-Log
  
  

Wann sollten Sie das Upgrade durchführen?

Die Liste der Neuerungen und Verbesserungen in Apache Airflow 3.0 ist lang und sogar für uns in Teilen sehr spezifisch. Ob und wann Sie das Upgrade von 2.x auf die neue Hauptversion angehen, hängt stark davon ab, ob Sie mit Ihrer bestehenden Systemumgebung bereits an Grenzen gestoßen sind. Fehlt Ihnen die Konnektivität zwischen Cloud und On-Premise Umgebungen? Haben Sie komplizierte und fehleranfällige Workarounds für Event-basiertes Scheduling implementiert? Dann haben Sie vermutlich schon auf Airflow 3.0 gewartet und können mit den Vorbereitungen starten. Wenn Airflow 2.x all Ihre Anforderungen erfüllt, gehen Sie den Prozess langsamer an. Üblicherweise finden sich trotz hoher Entwicklungsqualität in neuen Releases noch über mehrere Monate Bugs und Ineffizienzen, insbesondere bei solchen mit tiefgreifenden Änderungen. Anfang Mai 2025 ist bereits der erste Patch mit Versionsnummer 3.0.1 veröffentlicht worden - die nächsten Patches dürften in kurzen Abständen folgen.

Apache Airflow hat sich mit der Version 3 nach langer Entwicklungszeit für die Zukunft gut aufgestellt. Nicht nur für Nachtschwärmer dürfte der Release spannende Änderungen enthalten, denn unsere Übersicht kratzt nur leicht an der Oberfläche und kann gar nicht auf alle Neuerungen im Detail eingehen. Welche Features sind für Ihre Arbeit mit Airflow besonders wichtig? Wollen Sie schnellstmöglich auf Airflow 3 umsteigen oder noch abwarten? 

Vielleicht ist mit dem Upgrade ja auch ein Umstieg auf Airflow als Managed Service für Sie interessant? Wenn Sie unsicher sind und gerne Ihre konkreten Herausforderungen einmal unverbindlich mit langjährigen Airflow Experten diskutieren möchten, sprechen Sie uns gerne an. Apache Airflow wird als herausragendes Open Source Projekt mit unzähligen Anwendungsmöglichkeiten noch lange eine wichtige Rolle im Maschinenraum von Daten-Teams auf der ganzen Welt spielen. Ein gutes Netzwerk ist dabei mindestens so wichtig wie der Code selbst: Wir freuen uns, von Ihnen zu hören!