Machine Learning Workflows
mit Apache Airflow

Digitales Workflowmanagement gewinnt an Bedeutung

Der heutige Geschäftsalltag ist voll und ganz mit digitalen Prozessen durchzogen. Nicht zuletzt wegen der steigenden Bedeutung an Machine Learning Anwendungen nimmt die Anzahl an digitalen Prozessen und deren Umsetzung als Workflow stark zu. Analysen und Prognosen werden heutzutage nur als Prototyp manuell gestartet, ein produktives System setzt auf Automatisierung. Hier ist die Wahl der Workflowmanagement-Plattform ein wesentlicher Faktor für den langfristigen Erfolg.

Dabei entsteht die Herausforderung, dass diese digitalen Prozesse zentral verwaltet und organisiert werden müssen. Besonders bei geschäftskritischen Prozessen ist die zuverlässige Ausführung und die Flexibilität in der Gestaltung essenziell. Neben der reinen Ausführung kommt auch der Optimierung und dem Fehlermanagement eine hohe Bedeutung zu. Idealerweise sind die Prozesse zudem so gestaltet, dass sie einfach hochskaliert werden können. 

Nur wenn sowohl die technische als auch fachliche Seite der Anwender eingebunden wird, entsteht eine Akzeptanz und eine nachhaltige Integration der digitalen Prozesse in den Arbeitsalltag. Die Ausführung als Workflows sollte demnach so einfach und nachvollziehbar wie möglich sein.

GenderBox
Aufgrund der besseren Lesbarkeit wird im Text das generische Maskulinum verwendet. Gemeint sind jedoch immer alle Menschen.
Whitepaper  Workflow management mit Apache Airflow  Wie funktioniert Workflowmanagement  mit Apache Airflow? Welche Anwendungsszenarien sind möglich? Mit welchen  Neuerungen reagiert das neue Major-Release auf die aktuelle Herausforderungen  des Workflowmanagement?   Jetzt exklusives Whitepaper herunterladen  

Digitale Workflows mit der Open-Source Plattform Apache Airflow

Airflow-Workflow

Erstellen von komplexen Workflows in Python

In Apache Airflow werden die Workflows mit der Programmiersprache Python angelegt. Die Einstiegshürde ist dabei gering. In wenigen Minuten definieren Sie selbst komplexe Workflows mit externen Abhängigkeiten zu Drittsystemen und bedingten Verzweigungen.

Airflow-Workflow

Planen, Ausführen und Monitoren von Workflows

Die programmgesteuerte Planung, Ausführung und Überwachung der Workflows klappt dank dem Zusammenspiel der Komponenten reibungslos. Die Performance und Verfügbarkeit lässt sich auch an Ihre strengsten Anforderungen anpassen.

Airflow-Datenbank

Perfekt für Machine Learning

Hier werden Ihre Anforderungen des Machine Learnings bestens erfüllt. Auch deren komplexe Workflows lassen sich ideal über Apache Airflow orchestrieren und managen. Die unterschiedlichen Forderungen bezüglich Soft- und Hardware sind leicht umsetzbar.

Sicherheit

Robuste Orchestrierung von Drittsystemen

Bereits im Standard von Apache Airflow sind zahlreiche Integrationen zu gängigen Drittsystemen enthalten. Hiermit realisieren Sie im Handumdrehen eine robuste Anbindung. Ohne Risiko: Die Verbindungsdaten werden verschlüsselt im Backend gespeichert.

Skalierung

Ideal für den Enterprise Context

Die Anforderungen von Start-ups und Großkonzernen werden gleichermaßen durch die hervorragende Skalierbarkeit erfüllt. Als Top Level Projekt der Apache Software Foundation und mit den Ursprüngen bei Airbnb war der wirtschaftliche Einsatz im großen Maßstab von Beginn an vorgesehen.

Ein Blick in die umfangreiche intuitive Weboberfläche

Ein wesentlicher Vorteil von Apache Airflow ist das moderne, umfangreiche Webinterface. Mit rollenbasierter Authentifizierung liefert die Oberfläche Ihnen einen schnellen Überblick oder dient als einfacher Zugriffspunkt für die Verwaltung und das Monitoring der Workflows.

Die Orchestrierung von Drittsystemen wird durch zahlreiche vorhandene Integrationen realisiert.

  • Apache Hive
  • Kubernetes Engine
  • Amazon DynamoDB
  • Amazon S3
  • Amazon SageMaker
  • Databricks
  • Hadoop Distributed File System (HDFS)
  • Bigtable
  • Google Cloud Storage (GCS)
  • Google BigQuery
  • Google Cloud ML Engine
  • Azure Blob Storage
  • Azure Data Lake
  • ...
Orchestrierung

Die Workflowmanagement-Plattform für Ihre Bedürfnisse

20_HG_R_Zahnrad

Flexibilität durch benutzerdefinierte Anpassungen 

Die Anpassbarkeit ist durch zahlreiche Plugins, Makros und individuelle Klassen gegeben. Da Airflow komplett auf Python basiert, ist die Plattform theoretisch bis in die Grundzüge veränderbar. Passen Sie Apache Airflow jederzeit an Ihre aktuellen Bedürfnisse an.

Einfach skalierbar

Die Skalierung mit verbreiteten Systemen wie Celery, Kubernetes und Mesos ist jederzeit möglich. Im Zuge dessen kann eine leichtgewichtige Containerisierung eingebaut werden.

HG_L_Skalierung_1
20_HG_R_Kosten

Kostenlos nutzbar

Ohne Lizenzgebühren und mit geringem Installationsaufwand steht Ihnen die Workflowmanagement-Plattform schnell zur Verfügung. Nutzen Sie stets die aktuellste Version im vollem Umfang.

Profitieren von einer ganzen Community

Als de-facto Standard des Workflowmanagements sind in der Airflow Community nicht nur Anwender involviert, sondern die Plattform profitiert auch von engagierten Entwicklern aus der ganzen Welt. Aktuelle Ideen und die Umsetzung im Code finden Sie online.

HG_L_Community
HG_R_Userfriendly_1

Agilität durch Einfachheit

Die Workflowdefinition wird durch die Umsetzung in Python stark beschleunigt und die Workflows profitieren von der gebotenen Flexibilität. In der Weboberfläche mit hervorragender Bedienbarkeit sind die Fehlerbehebung und Änderungen an den Workflows schnell umsetzbar.

State-of-the-art Workflowmanagement mit Apache Airflow 2.0

Das neue Major Release von Apache Airflow bringt neben einem modernen User-Interface neue Funktionen mit:

  • Vollfunktionale REST API mit zahlreichen Endpunkten für die beidseitige Integration von Airflow in verschiedene Systeme wie das SAP BW
  • Funktionale Definition von Workflows zur Realisierung von Datenpipelines für einen verbesserten Datenaustausch zwischen den Aufgaben im Workflow mit der TaskFlow API
  • Intervallbasiertes Überprüfen einer Ausgangslage mit Smart Sensors, welche die Auslastung des Workflowmanagement-Systems so gering wie möglich halten
  • Erhöhte Benutzerfreundlichkeit an vielen Stellen (vereinfachter KubernetesOperator, wiederverwendbare Task-Groups, automatisch Aktualisierung der Weboberfläche)
Pipeline
Haben Sie noch Fragen oder benötigen Unterstützung bei Ihrem nächsten  KI-Projekt?   Wir stehen Ihnen bei der Implementierung oder Optimierung Ihrer  KI-basierten Anwendung mit unserem Know-how gerne zur Verfügung und zeigen  Ihnen, wie Machine Learning einen Mehrwert für Sie und Ihr Unternehmen  generieren kann.   Unverbindlich beraten lassen   
Möchten Sie mehr über Machine Learning erfahren? 
In unserem Blog finden Sie weitere interessante Artikel zu diesem Thema
Data Mesh Architektur_Fenster_Blog

Ziehen Sie mehr Gewinn aus Ihren Daten mit einer Data Mesh Architektur

Erfahren Sie hier, wie Sie mit Hilfe der Data Mesh Architektur wichtige Daten für möglichst viele Personen in einem Unternehmen zugänglich machen können.

Green AI_Weltkugel_Machine Learning Algorithmen

Vergleichen Sie die Nachhaltigkeit von Machine Learning Algorithmen

Wir zeigen Ihnen, wie Sie einen Benchmark ausführen und helfen Ihnen, den Energieverbrauch Ihrer Machine Learning Algorithmen besser einzuschätzen.

Green AI - Carbon Accounting grüner Fußabdruck

Green AI - Carbon Accounting für Ihre Machine Learning Anwendungen

In unserem Blogbeitrag erläutern wir, wie Sie Carbon Accounting in Ihrem Unternehmen einführen können und stellen Ihnen Maßzahlen hierfür vor.

grüne_Hand_Nachhaltigkeit im Unternehmen

Green AI - Nachhaltigkeit im Unternehmen

Die durch Künstliche Intelligenz verursachten Emissionen wachsen konstant. Wir haben Empfehlungen für mehr Nachhaltigkeit im Unternehmen gesammelt.

Reagenzgläser_Airflow CI/CD

Praxistipps Apache Airflow: CI/CD Pipelines für automatisiertes Testen

Wir haben Praxistipps gesammelt, die beim Einstieg oder Ausbau automatisierter Softwaretests in Apache Airflow CI/CD Entwicklungsprozessen hilfreich sind.

Daten_Kreis_Data Literacy

Data Literacy für Business User

Erfahren Sie mehr zu Data Literacy in unserem Blogbeitrag und wie es Unternehmen hilft, die soziale Komponente ihrer Datenstrategie zu gestalten.

Airflow_Summit_Büro

Apache Airflow Summit 2022 - Trends und Themen

Lesen Sie in unserem Blogbeitrag eine Zusammenfassung zum Apache Airflow Summit 2022 und erfahren Sie alles zu den neuesten Entwicklungen und Trendthemen.

Rohre_Machine_Learning_Airflow_gitlabCICD

Apache Airflow in der Praxis: Produktivbetrieb mit GitLab CI/CD

Wir zeigen Ihnen einen möglichen Ansatz mit GitLab CI/CD als Framework, um einen anwendungsspezifischen Betriebsrahmen für Apache Airflow zu schaffen.

Hand_Leuchtstäbe_Self-Service Analytics

Self-Service Analytics: Externe Daten in Ihre Business-KI integrieren

In unseren Blogbeitrag stellen wir die Ansätze vor, die externe Daten für die Self-Service Analytics von Business Anwender*innen bereitstellen.

Fragezeichen_Blogbeitrag_Machine Learning Framework

Welcher Feature Store passt zu Ihrem Machine Learning Framework?

Erfahren Sie in unserem Blogbeitrag welcher Feature Store zu Ihrem Machine Learning Framework passt und welche Implementierungsmöglichkeiten es gibt.