Apache Airflow 2025: Neue Features und Weiterentwicklungen nach 3.0

Das Jahr 2025 ist vorbei und daher ist es an der Zeit, die Entwicklungen des Jahres zu betrachten und zu bewerten, die in der sich ständig weiterentwickelnden Landschaft der Open-Source-Datentools stattgefunden haben. Apache Airflow hat sich in den letzten zehn Jahren als unverzichtbarer Baustein der Dateninfrastruktur vieler Unternehmen etabliert und wurde durch die unermüdliche Arbeit zahlreicher Mitwirkender aus der aktiven Community kontinuierlich weiterentwickelt und verbessert.

Zuletzt haben wir über den Funktionsumfang von Airflow bei der Veröffentlichung der Major-Release-Version 3.0 gesprochen, aber obwohl es seitdem kein umfangreiches Versionsupdate mehr gab, hat Airflow zwischen den Versionen 3.0 und der aktuellen Version 3.15 dennoch neue und verbesserte Features veröffentlicht, die es wert sind, näher betrachtet zu werden.

Ein kurzer Blick zurück auf Airflow

Apache Airflow ist eine moderne Open-Source-Plattform zur Orchestrierung und Überwachung komplexer Geschäfts- und Daten-Workflows. In der heutigen Geschäftswelt, in der Analytik, KI, Reporting und Betriebssysteme miteinander verflochten sind und alle auf aktuelle und zuverlässige Daten angewiesen sind, fungiert Airflow als Steuerungsebene, die sicherstellt, dass alle Workflows zum richtigen Zeitpunkt, in der richtigen Reihenfolge und mit vollständiger Transparenz ablaufen. Es ermöglicht Teams, Abhängigkeiten zu definieren, wiederkehrende Aufgaben zu automatisieren und auf alle Ereignisse zu reagieren, die während der Ausführung dieser Datenpipelines auftreten können.

Aus strategischer Sicht bietet Airflow eine skalierbare und zukunftssichere Grundlage für die Automatisierung. Es ist codezentriert, hochgradig erweiterbar und mit seinem vollständigen Funktionsumfang völlig kostenlos nutzbar, sodass Teams Orchestrierungs-Tasks team- und technologieübergreifend standardisieren können, ohne an einen bestimmten Anbieter gebunden zu sein.
Unterstützt durch eine große und aktive Open-Source-Community sowie das Wissen und die Ressourcen der Apache Foundation hat Airflow bewiesen, dass es unternehmensgerechte Zuverlässigkeit bietet und sich daher für den langfristigen Einsatz in einer Vielzahl von Anwendungsfällen eignet, darunter:

• Ersetzen fragmentierter Cron-Jobs oder Windows-Tasks durch geregelte Workflows in einer zentralisierten Plattform
• Unterstützung von MLOps- und KI-Produktions-Workflows
  
  
• Verbindung von lokalen Systemen mit Cloud-Plattformen wie Databricks
  
  
• Entwerfen, Entwickeln, Bereitstellen und Überwachen von Datenpipelines gemäß dem Extract-Load-Transform-Paradigma (ELT)
  
  

Lesen Sie unser Whitepapre: Effektives Workflowmanagement
mit Apache Airflow!

Neuerungen seit Version 3.0

Der Großteil der Updates, die Airflow seit der Veröffentlichung bis heute erhalten hat, waren Bugfixes und Stabilitätsverbesserungen, aber es gab auch einige bemerkenswerte neue Funktionen, die wir Ihnen gerne vorstellen möchten.

Human in the Loop (HITL)

Die in Version 3.1 hinzugefügte Human-in-the-Loop-Funktionalität ermöglicht es Benutzern, Workflows so zu gestalten, dass sie unter bestimmten Bedingungen pausieren und auf menschliche Entscheidungen warten. Die Funktion eignet sich besonders für Anwendungsfälle wie Genehmigungsprozesse, manuelle Qualitätsprüfungen oder andere Szenarien, in denen menschliches Urteilsvermögen erforderlich ist. Sie wird über den neuen HITLOperator implementiert und bietet eine Vielzahl von Interaktionen für die Beurteilung und die Workflow-Abwicklung nach der Eingabe durch den benachrichtigten Menschen.

Einige Anwendungsbeispiele wären:

- Manuelle Validierung von Datenqualitätsanomalien während der Datenqualitätsprüfungen, indem ein Data Steward benachrichtigt und um eine Entscheidung gebeten wird, ob fortgefahren, vorgelagerte Tasks erneut ausgeführt oder der Workflow vollständig gestoppt werden soll.

- Möglichkeit der manuellen Überprüfung von KI/LLM-generierten Inhalten, wobei die Ausgabe einer Task, die über ein LLM Text generiert, auf ihre Richtigkeit überprüft werden kann, bevor die Ausgabe an nachfolgende Tasks weitergeleitet wird.

- Einholung der Genehmigung durch die Geschäftsleitung vor der Veröffentlichung von Berichten oder Datensätzen, indem vor dem Fortfahren die ausdrückliche Zustimmung bestimmter autorisierter Benutzer eingeholt wird.

- Durch die Modellierung von Geschäftsschritten, die eine Rechenschaftspflicht erfordern, und die Modellierung dieser Entscheidungen als HITL-Aufgaben werden getroffene Entscheidungen direkt im Ausführungsverlauf des Workflows aufgezeichnet.

Beispiel-DAG, der zeigt, wie die Human-in-the-Loop-Funktion verwendet werden kann, um den nächsten Task aus einer vordefinierten Auswahl auszuwählen.

Dies sind nur einige Beispiele für die Möglichkeiten, die dieser Operator bietet. Diese Funktion wird höchstwahrscheinlich die Möglichkeiten zur Integration von Airflow in wichtige Geschäftsprozesse erweitern.

Deadline-Warnungen

Mit diesen Deadline-Warnungen können Benutzer zeitliche Grenzwerte für DAG-Läufe konfigurieren und automatisch Benachrichtigungen auslösen, wenn diese Grenzwerte überschritten werden. Um diese Funktion zu nutzen, müssen Sie die folgende Konfiguration einrichten:

- Referenzpunkt: Ab wann soll die Zeit gemessen werden? Dies kann ein fester Zeitpunkt, die Queuing-Zeit oder das logische Datum eines DAG sein.

- Intervall: Wie weit vor oder nach dem Referenzpunkt soll die Benachrichtigung ausgelöst werden?

- Callback: Antwortaktion unter Verwendung von Airflow Notifiers oder benutzerdefinierten Funktionen.

Diese Funktion kann zur proaktiven Überwachung zeitkritischer Tasks verwendet werden, beispielsweise durch automatisches Senden einer Slack-Nachricht, wenn ein kritischer Task länger als 30 Minuten im Status „in der Warteschlange“ ist oder wenn tägliche ELT-Prozesse nicht innerhalb eines erwarteten Zeitfensters nach ihrer geplanten Zeit abgeschlossen wurden.

Diese Warnmeldungen sorgen für noch mehr Transparenz in der Plattform, sodass Datenteams Leistungsengpässe leichter erkennen und Ausfallzeiten in Ihren Prozessketten vermeiden können.

Deadline-Warnungen sind eine experimentelle Funktion, die in Airflow 3.1 eingeführt wurde. Das bedeutet, dass diese Funktion in ihrer aktuellen Implementierung in zukünftigen Versionen ohne weitere Vorwarnung geändert werden kann.

Internationalisierung und Verbesserungen der Benutzeroberfläche

Mit Airflow 3.1 wurde die Unterstützung für Internationalisierung (i18n) hinzugefügt. In der Praxis bedeutet dies, dass die Web-Benutzeroberfläche nun in 17 Sprachen verfügbar ist und über eine robuste Übersetzungsinfrastruktur für zukünftige Ergänzungen und benutzerdefinierte Komponenten verfügt.

Dialogfeld für die Sprachauswahl in der Airflow-Benutzeroberfläche.

Es ist nun auch möglich, DAGs anzuheften und als Favoriten zu speichern, um die Organisation des Dashboards zu verbessern.
Darüber hinaus wurden die Kalender- und Gantt-Ansichten überarbeitet und bieten nun ein neues visuelles Design sowie Filterfunktionen.

Übersetzte neue Kalenderkomponente aus der DAG-Detailansicht.

Überarbeitete Version des Gantt-Diagramms, das die Task-Laufzeiten innerhalb eines DAG anzeigt.

Neue Triggerregel

Die neue Task-Triggerregel ALL_DONE_MIN_ONE_SUCCESS ermöglicht Ihnen zusätzliche Kontrolle bei der Orchestrierung von Workflows, indem sie die Ausführung eines nachgelagerten Tasks erst dann zulässt, wenn alle vorgelagerten Tasks abgeschlossen sind und mindestens einer davon erfolgreich war. Dies deckt reale Anwendungsfälle ab, in denen eine teilweise Fertigstellung ausreichend ist, beispielsweise wenn Sie dieselben Daten parallel aus mehreren Quellen wie einem Primärsystem und einer Fallback-Quelle aus einem Archiv abrufen möchten.

React-Plugins-Architektur

Airflow unterstützt seit langem die erweiterbare Architektur durch seine Plugin-Systeme, mit denen Benutzer benutzerdefinierte Funktionen hinzufügen können, indem sie Python-Module, APIs und UI-Elemente direkt in die Plattform integrieren. Dadurch wurde es möglich, Airflow für bestimmte Unternehmensumgebungen anzupassen, indem benutzerdefinierte Logik und domänenspezifische Integrationen auf einer gemeinsamen Orchestrierungsgrundlage hinzugefügt wurden.
Mit Airflow 3.1 wird dieses Framework durch die Einführung von React-basierten UI-Komponenten erweitert.

Während frühere Plugins bereits servergerenderte Views und APIs hinzufügen konnten, ermöglicht die neue React-App-Funktion Teams nun, moderne, clientseitige Anwendungen direkt in die Airflow-Benutzeroberfläche einzubetten. Diese Apps können als eigenständige Seiten, eingebettete Dashboards oder kontextbezogene Views neben DAGs, Läufen und Aufgaben angezeigt werden.
Dies könnte beispielsweise die Einbettung eines Dashboards für den Pipeline-Zustand und aus Geschäftsdaten abgeleitete KPIs direkt in Airflow ermöglichen, wodurch Stakeholder sofortige Transparenz über wichtige Kennzahlen direkt innerhalb der Plattform erhalten.

Apache Airflow 2025 im Überblick: Unser Fazit und Ausblick für die Zukunft

Apache Airflow hat seine Ursprünge als einfacher Scheduler längst hinter sich gelassen. Mit jeder neuen Version entwickelt es sich weiter zu einer flexiblen, produktionsreifen Orchestrierungsplattform, die sich an die Herausforderungen der realen Datenwelt anpasst, ohne dabei den Pragmatismus aufzugeben, der es überhaupt erst erfolgreich gemacht hat. Auch wenn eine größere Version wie Airflow 4.0 wahrscheinlich noch eine Weile auf sich warten lassen wird, entwickelt sich die Plattform stetig weiter. Die kontinuierlichen Beiträge einer großen und aktiven Open-Source-Community sorgen dafür, dass neue Funktionen, Verbesserungen und Verfeinerungen konsistent über alle Releases hinweg bereitgestellt werden.

Die neuen Airflow-bezogenen Funktionen, die wir hervorgehoben haben, sind ein klares Signal dafür, in welche Richtung sich die Plattform entwickelt: mehr Flexibilität, klarere Abstraktionen und weniger Kompromisse bei der Integration moderner Datenarchitekturen.

Sind Sie neugierig, wie sich diese Entwicklungen in konkrete Vorteile für Ihren eigenen Anwendungsfall umsetzen lassen? Ganz gleich, ob Sie den nächsten Architektur-Schritt planen oder einfach nur Ihre aktuelle Konfiguration überprüfen möchten, wir teilen gerne unsere Erfahrungen mit Ihnen.

Kontaktieren Sie uns, um zu besprechen, wie sich Ihre Airflow-Pipelines mit diesen neuen Funktionen weiterentwickeln könnten.