Nextlevel-Icon

Helfen Sie uns ein Level weiter. Nehmen Sie an unserer Umfrage teil.

Machine Learning Workflows
mit Apache Airflow

Digitales Workflowmanagement gewinnt an Bedeutung

Der heutige Geschäftsalltag ist voll und ganz mit digitalen Prozessen durchzogen. Nicht zuletzt wegen der steigenden Bedeutung an Machine Learning Anwendungen nimmt die Anzahl an digitalen Prozessen und deren Umsetzung als Workflow stark zu. Analysen und Prognosen werden heutzutage nur als Prototyp manuell gestartet, ein produktives System setzt auf Automatisierung. Hier ist die Wahl der Workflowmanagement-Plattform ein wesentlicher Faktor für den langfristigen Erfolg.

Dabei entsteht die Herausforderung, dass diese digitalen Prozesse zentral verwaltet und organisiert werden müssen. Besonders bei geschäftskritischen Prozessen ist die zuverlässige Ausführung und die Flexibilität in der Gestaltung essenziell. Neben der reinen Ausführung kommt auch der Optimierung und dem Fehlermanagement eine hohe Bedeutung zu. Idealerweise sind die Prozesse zudem so gestaltet, dass sie einfach hochskaliert werden können. 

Nur wenn sowohl die technische als auch fachliche Seite der Anwender eingebunden wird, entsteht eine Akzeptanz und eine nachhaltige Integration der digitalen Prozesse in den Arbeitsalltag. Die Ausführung als Workflows sollte demnach so einfach und nachvollziehbar wie möglich sein.

Digitale Workflows mit der Open-Source Plattform Apache Airflow

Airflow-Workflow

Erstellen von komplexen Workflows in Python

In Apache Airflow werden die Workflows mit der Programmiersprache Python angelegt. Die Einstiegshürde ist dabei gering. In wenigen Minuten definieren Sie selbst komplexe Workflows mit externen Abhängigkeiten zu Drittsystemen und bedingten Verzweigungen.

Airflow-Workflow

Planen, Ausführen und Monitoren von Workflows

Die programmgesteuerte Planung, Ausführung und Überwachung der Workflows klappt dank dem Zusammenspiel der Komponenten reibungslos. Die Performance und Verfügbarkeit lässt sich auch an Ihre strengsten Anforderungen anpassen.

Airflow-Datenbank

Perfekt für Machine Learning

Hier werden Ihre Anforderungen des Machine Learnings bestens erfüllt. Auch deren komplexe Workflows lassen sich ideal über Apache Airflow orchestrieren und managen. Die unterschiedlichen Forderungen bezüglich Soft- und Hardware sind leicht umsetzbar.

Sicherheit

Robuste Orchestrierung von Drittsystemen

Bereits im Standard von Apache Airflow sind zahlreiche Integrationen zu gängigen Drittsystemen enthalten. Hiermit realisieren Sie im Handumdrehen eine robuste Anbindung. Ohne Risiko: Die Verbindungsdaten werden verschlüsselt im Backend gespeichert.

Skalierung

Ideal für den Enterprise Context

Die Anforderungen von Start-ups und Großkonzernen werden gleichermaßen durch die hervorragende Skalierbarkeit erfüllt. Als Top Level Projekt der Apache Software Foundation und mit den Ursprüngen bei Airbnb war der wirtschaftliche Einsatz im großen Maßstab von Beginn an vorgesehen.

Ein Blick in die umfangreiche intuitive Weboberfläche

Ein wesentlicher Vorteil von Apache Airflow ist das moderne, umfangreiche Webinterface. Mit rollenbasierter Authentifizierung liefert die Oberfläche Ihnen einen schnellen Überblick oder dient als einfacher Zugriffspunkt für die Verwaltung und das Monitoring der Workflows.

Die Orchestrierung von Drittsystemen wird durch zahlreiche vorhandene Integrationen realisiert.

  • Apache Hive
  • Kubernetes Engine
  • Amazon DynamoDB
  • Amazon S3
  • Amazon SageMaker
  • Databricks
  • Hadoop Distributed File System (HDFS)
  • Bigtable
  • Google Cloud Storage (GCS)
  • Google BigQuery
  • Google Cloud ML Engine
  • Azure Blob Storage
  • Azure Data Lake
  • ...
Orchestrierung

Die Workflowmanagement-Plattform für Ihre Bedürfnisse

20_HG_R_Zahnrad

Flexibilität durch benutzerdefinierte Anpassungen 

Die Anpassbarkeit ist durch zahlreiche Plugins, Makros und individuelle Klassen gegeben. Da Airflow komplett auf Python basiert, ist die Plattform theoretisch bis in die Grundzüge veränderbar. Passen Sie Apache Airflow jederzeit an Ihre aktuellen Bedürfnisse an.

Einfach skalierbar

Die Skalierung mit verbreiteten Systemen wie Celery, Kubernetes und Mesos ist jederzeit möglich. Im Zuge dessen kann eine leichtgewichtige Containerisierung eingebaut werden.

HG_L_Skalierung_1
20_HG_R_Kosten

Kostenlos nutzbar

Ohne Lizenzgebühren und mit geringem Installationsaufwand steht Ihnen die Workflowmanagement-Plattform schnell zur Verfügung. Nutzen Sie stets die aktuellste Version im vollem Umfang.

Profitieren von einer ganzen Community

Als de-facto Standard des Workflowmanagements sind in der Airflow Community nicht nur Anwender involviert, sondern die Plattform profitiert auch von engagierten Entwicklern aus der ganzen Welt. Aktuelle Ideen und die Umsetzung im Code finden Sie online.

HG_L_Community
HG_R_Userfriendly_1

Agilität durch Einfachheit

Die Workflowdefinition wird durch die Umsetzung in Python stark beschleunigt und die Workflows profitieren von der gebotenen Flexibilität. In der Weboberfläche mit hervorragender Bedienbarkeit sind die Fehlerbehebung und Änderungen an den Workflows schnell umsetzbar.

Optimales Workflowmanagement mit Apache Airflow Wie funktioniert ein  Workflowmanagement mit Apache Airflow? Welche Anwendungsszenarien sind  prinzipiell möglich? Mit welchen Neuerungen reagiert das neue Major-Release auf  die aktuelle Herausforderungen des Workflowmanagement?   Zum Whitepaper  

State-of-the-art Workflowmanagement mit Apache Airflow 2.0

Das neue Major Release von Apache Airflow bringt neben einem modernen User-Interface neue Funktionen mit:

  • Vollfunktionale REST API mit zahlreichen Endpunkten für die beidseitige Integration von Airflow in verschiedene Systeme wie das SAP BW
  • Funktionale Definition von Workflows zur Realisierung von Datenpipelines für einen verbesserten Datenaustausch zwischen den Aufgaben im Workflow mit der TaskFlow API
  • Intervallbasiertes Überprüfen einer Ausgangslage mit Smart Sensors, welche die Auslastung des Workflowmanagement-Systems so gering wie möglich halten
  • Erhöhte Benutzerfreundlichkeit an vielen Stellen (vereinfachter KubernetesOperator, wiederverwendbare Task-Groups, automatisch Aktualisierung der Weboberfläche)
Pipeline
Möchten Sie mehr über Machine Learning erfahren? 
In unserem Blog finden Sie weitere interessante Artikel zu diesem Thema
Blog_Airflow

Apache Airflow 2.1 - Darum lohnt sich das Airflow Upgrade

Apache Airflow 2.1 wird bald ein Jahr alt. Falls Sie ein Airflow Upgrade bisher nicht in Betracht gezogen haben, ist jetzt ein guter Zeitpunkt dafür.

_Bild_Brille

Konzepte im Machine Learning - So verstehen Sie Ihren Data Scientist

In diesem Artikel erläutern wir die wichtigsten Konzepte im Machine Learning, damit Sie Ihren Data Scientist endlich in Gänze verstehen.

Kuenstliche Intelligenz in Sales und Marketing_Finger Netzwerk

Umsatzboost mit Künstlicher Intelligenz in Sales & Marketing

Das Ziel des Einsatzes von Künstlicher Intelligenz in Sales und Marketing ist von Fachseite aus schnell ersichtlich: Umsatz steigern.

buecher_natural language processing

Entdecken Sie das Potential von Natural Language Processing

Natural Language Processing und Text Mining bieten großes Potential im Kontext von Künstlicher Intelligenz und Maschinellem Lernen

Machine Learning Team

Wie Sie ein erfolgreiches Machine Learning Team zusammenstellen

In diesem Blogbeitrag zeigen wir Ihnen, was Sie beim Aufbau eines erfolgreichen Machine Learning Teams beachten müssen.

Vorteile Machine Learning

Was sind die Vorteile, Machine Learning in Unternehmen zu nutzen?

Wir zeigen die Vorteile, Machine Learning Projekte in Unternehmen einzuführen auf und wie Sie den größten Nutzen daraus für Ihr Unternehmen ziehen können.

Light bulps_Machine Learning Workflow

Der Machine Learning Workflow - Ein Konzept und seine Anwendung

Erfahren Sie, wie Sie den Machine Learning Workflow nutzen können, um Ihre Vertriebs- und Marketingprozesse zu verbessern!

Text Mining_NLP_Lupe Blog

Wie Sie Text Mining und NLP zur Steigerung Ihres Blogerfolgs einsetzen

Mit Text Mining & Natural Language Processing gewinnen Sie zahlreiche Erkenntnisse aus Textdaten. Wir stellen Methoden & Frameworks anhand eines Marketingbeispiels vor.

Apache Airflow ETL_Figur Treppen

Apache Airflow ETL - Lassen Sie sich von den Möglichkeiten inspirieren

Wir zeigen Ihnen das vielfältige Anwendungsspektrum von Apache Airflow ETL und schenken Inspirationen für Ihre Datenpipelines mit State-of-The-Art-Features

Apache Airflow Best Practices - Unsere Tipps für Anwender

Mit den Apache Airflow Best Practices zeigen wir auf, dass der Einstieg in dieses Workflowmanagement-Tool nicht so kompliziert ist, wie man befürchten mag

Haben Sie noch Fragen oder benötigen Unterstützung bei Ihrem nächsten  KI-Projekt?   Wir stehen Ihnen bei der Implementierung oder Optimierung Ihrer  KI-basierten Anwendung mit unserem Know-how gerne zur Verfügung und zeigen  Ihnen, wie Machine Learning einen Mehrwert für Sie und Ihr Unternehmen  generieren kann.   Sprechen Sie uns an!