Agent Bricks in Databricks: Mit Daten chatten und Mehrwert schaffen

Die Landschaft der Unternehmens-KI verändert sich rasant von einfachen „generativen KI”-Chatbots, die passiv Fragen beantworten, hin zu agentenbasierter KI: intelligente Systeme, die in der Lage sind, zu denken, zu planen und aktiv Tools zur Lösung komplexer Probleme einzusetzen. Auf der Databricks Data Intelligence Platform wird diese Entwicklung durch das Mosaic AI Agent Framework vorangetrieben.

Im Gegensatz zu einer Standard-RAG-Anwendung, die lediglich Text abruft und zusammenfasst, fungiert ein KI-Agent als Denkmaschine. Er kann ein übergeordnetes Ziel aufschlüsseln, seine eigenen Suchergebnisse kritisieren, Python- oder SQL-Funktionen als Werkzeuge aufrufen und so lange iterieren, bis er eine verifizierte Antwort findet. Um diesen Weg noch weiter zu beschleunigen, führt Databricks Agent Bricks ein: eine Abstraktion auf höherer Ebene, die den Aufbau, die Bewertung und den Einsatz von Agentensystemen vereinfacht. Statt Prompts, Tools und Bewertungslogik manuell zu kombinieren, stellt AgentBricks einen strukturierten Ansatz zur Erstellung von Agenten bereit. Diese Agenten können eigenständig denken, Tools aufrufen und sich weiterentwickeln. Gleichzeitig bleiben sie vollständig in die Governance-, Sicherheits- und MLOps-Funktionen von Databricks integriert.

In dieser praktischen Anleitung gehen wir über die grundlegende Textgenerierung hinaus und erstellen einen Consultant Matchmaker Agent. Wir nutzen das einheitliche Ökosystem von Databricks – mit Unity Catalog für die Governance, bewährten grundlegenden LLMs und Model Serving für die Bereitstellung –, um einen Agenten zu erstellen, der Lebensläufe von Beratern (PDFs) erfasst und sie intelligent mit komplexen Projektanforderungen abgleicht. Am Ende dieses Leitfadens verfügen Sie über einen bereitgestellten Agenten, der nicht nur Daten liest, sondern auch die Nuancen von Fähigkeiten und Erfahrungen versteht, um datengestützte Einstellungsempfehlungen zu geben.

Hinweis: Die in diesem Blog verwendeten Beraterprofile sind fiktiv.

Datenaufnahme und -aufbereitung von Beraterprofilen für agentenbasierte KI in Databricks

Wir beginnen mit der Erfassung der Beraterprofile in einem Databricks-Volume. Volumes eignen sich ideal für die Objektspeicherung, wobei Unity Catalog die gleichen Governance-Funktionen wie bei tabellarischen Daten bietet. Wir können unsere Dokumente einfach direkt über die Benutzeroberfläche in das Volume hochladen oder eine Erfassungspipeline erstellen, die die Profile regelmäßig aktualisiert. Als Nächstes müssen die Dokumente geparst werden, um Textinformationen wie biografische Fakten, Erfahrungen, Projekte und Fähigkeiten zu extrahieren. AgentBricks bietet einen No-Code-Mechanismus zur Textextraktion, bei dem wir lediglich das Volume mit den Dokumenten, eine Zieltabelle in UC und eine SQL-Warehouse-Berechnung definieren. 

AgentBricks generiert und führt einen Job basierend auf einem SQL-Skript aus, das bestimmte Parameter akzeptiert. Das SQL-Skript ist im SQL-Editor verfügbar.

Nachdem der Extraktionsjob erfolgreich ausgeführt wurde, weist die resultierende Tabelle das folgende Schema auf:

Wir interessieren uns vor allem für das Feld „text“, das den Rohtext jeder PDF-Datei enthält. Diese Informationen werden mit der Projektbeschreibung verglichen. Bevor wir mit der Erstellung des KI-Agenten beginnen, müssen wir eine SQL-Funktion definieren, die den Ähnlichkeitswert für eine Projektbeschreibung auf der Grundlage der Beraterprofile berechnet.

Die Magie geschieht mit dem Dienstprogramm „AI_SIMILARITY()”, das ein hochmodernes generatives KI-Modell aus den Databricks Foundation Model APIs aufruft, um zwei Zeichenfolgen zu vergleichen und den semantischen Ähnlichkeitswert zu berechnen. Testen wir diese Funktion mit einer einfachen Projektbeschreibung. 

Die Berater werden anhand der Ähnlichkeit ihrer Profile mit den Projektanforderungen bewertet und die fünf am besten geeigneten werden zurückgegeben.

Sehen Sie sich die Aufzeichnung unseres Webinars an: "Bridging Business and Analytics: The Plug-and-Play Future of Data Platforms"

Erstellung eines agentenbasierten KI-Consultant-Matching-Agenten mit Agent Bricks

Der Aufbau des Agenten ist eine relativ einfache Aufgabe – Agent Bricks kümmert sich um den Boilerplate-Code, indem es ein Notebook generiert, das das Grundgerüst des Agenten definiert, die Verfolgung der Experimente über MLflow ermöglicht und über einen Endpunkt bereitgestellt wird. Damit ein KI-Agent Aufgaben erfolgreich ausführen kann, sind zwei Dinge erforderlich: eine detaillierte Systemaufforderung, die als Einstiegspunkt für das zugrunde liegende LLM dient, und eine Reihe von Tools, die mit externen Quellen und Systemen interagieren können. Erstellen wir ein Prompt:

SYSTEM_PROMPT = """
Sie sind Beraterempfehlungsassistent für die NextLytics AG. Ihre Aufgabe ist es, Projektanforderungen mit den am besten geeigneten Beratern aus unserem Team abzugleichen.
Wenn ein Benutzer ein Projekt beschreibt oder um Beraterempfehlungen bittet:
1. Verwenden Sie das Tool „find_matching_consultants“, um anhand der Projektbeschreibung nach Beratern zu suchen.
2. Analysieren Sie die Ergebnisse und präsentieren Sie die besten Empfehlungen.
3. Heben Sie hervor, warum jeder Berater aufgrund seiner Fähigkeiten, Erfahrungen und Technologien gut geeignet ist.
4. Wenn der Nutzer weitere Details benötigt, können Sie auch Python-Code ausführen, um die Ergebnisse weiter zu analysieren.
Seien Sie professionell, prägnant und konzentrieren Sie sich darauf, die richtigen Fachkenntnisse für die Projektanforderungen zu finden.
"""

Der Agent wird diese Richtlinien berücksichtigen, wenn er gebeten wird, passende Berater für ein bestimmtes Projekt zu finden. Ein Agent ohne eine Reihe nützlicher Tools ist nur ein weiterer Chatbot, der nicht in der Lage ist, proaktiv zu handeln und eigenständig Initiativen zur Problemlösung zu ergreifen. Die Tools reichen von benutzerdefinierten Funktionen (UDFs), die mit UC-Assets interagieren, über benutzerdefinierte Python-Funktionen bis hin zu MCP-Servern, die für bestimmte Anwendungsfälle entwickelt wurden.

In unserem Beispiel benötigen wir nur zwei Tools: die zuvor erwähnte Ähnlichkeits-UDF und das integrierte Python-Ausführungstool für den Fall, dass der Agent einen beliebigen Code ausführen muss. Ein Large Language Model (LLM) dient als „Gehirn“ hinter einem Agenten und analysiert und übersetzt unsere Eingaben in detaillierte Schritte. Databricks bietet eine Vielzahl beliebter Basismodelle an, von Claude- und GPT-Varianten bis hin zu exotischeren und innovativeren Alternativen.

databricks-claude-sonnet-4-5 ist ein idealer Kandidat für unseren Anwendungsfall, da es hervorragende Ergebnisse bei Denk- und Planungsaufgaben mit einem angemessenen Token-Verbrauch liefert.

Nachdem wir die Tools und das Basis-LLM definiert haben, können wir den Agenten trainieren und seine Leistung mit MLflow testen. 

Der nächste Schritt besteht darin, den Agenten einzusetzen und mit ihm zu interagieren. Der Einsatzprozess ähnelt stark dem Einsatz benutzerdefinierter Machine-Learning-Modelle: Ein Modellobjekt wird im Unity Catalog erstellt und über einen Endpunkt bereitgestellt.

Im Abschnitt „Playground“ finden wir alle verfügbaren Modelle und Agenten, können unseren Agenten auswählen und mit dem Chatten beginnen! 

Bitten wir den Agenten, einige Berater für ein Projekt im Zusammenhang mit SAP Datasphere vorzuschlagen. Hier ist die Eingabeaufforderung:

„Wir benötigen drei Berater für ein Projekt mit SAP Datasphere und SAP BW/4HANA. Der Schwerpunkt des Projekts liegt auf der Migration ausgewählter BW-Datenmodelle zu Datasphere mithilfe von BW Bridge, der Neugestaltung von CompositeProviders und der Sicherstellung der Berichtskontinuität in SAP Analytics Cloud. Erfahrung mit Delta-Handling, Autorisierungen und hybriden Landschaften ist erforderlich.“

Der Agent lieferte eine sehr detaillierte und zielgerichtete Antwort und schlug die drei Berater vor, die am besten zur Projektbeschreibung passten. Er hob die Stärken jedes einzelnen hervor, stellte ein ausgewogenes Team zusammen und erklärte die Gründe für jede Auswahl. 

Erstellen wir nun eine Anfrage für ein Projekt mit einem Schwerpunkt auf Data Engineering.

„Wir benötigen drei Berater für ein Projekt mit Databricks, einem Cloud-Data-Lake und modernen ELT-Pipelines. Das Team wird skalierbare Datenpipelines mit Spark und Delta Lake entwerfen und implementieren und Daten aus mehreren operativen Quellen in eine zentralisierte Analyseplattform einspeisen. Zu den Aufgaben gehören Datenmodellierung, Leistungsoptimierung und die Durchsetzung von Datenqualitätsstandards.“

In ähnlicher Weise schlägt der Agent die drei besten Berater für ein Databricks-Data-Lake-Projekt vor, gibt eine strukturierte Empfehlung ab und begründet seine Antwort. 
Dieses einfache Beispiel beweist, dass agentenbasierte KI in realen Anwendungen eingesetzt werden kann und wertvolle Einblicke in die Daten liefert, die im Unity Catalog gespeichert sind. Natürlich kann ein KI-Agent weit mehr als nur menschenähnliche Empfehlungen auf der Grundlage einer Reihe von Dokumenten geben. Er kann so fein abgestimmt werden, dass er eine Antwort mit einem bestimmten Schema (wie JSON oder YAML) für die Verwendung durch externe Tools, die mit ihm interagieren, erzeugt. Die Funktionalität und die Fähigkeiten können auch erweitert werden. Ein „intelligenterer” KI-Agent kann mit der Suche nach neuen Lebensläufen beauftragt werden, wenn die aktuellen veraltet sind, diese erfassen, analysieren und die Textinformationen speichern.

Unser Fazit: Agentenbasierte KI mit Databricks produktiv einsetzen

Agentische KI entwickelt sich schnell zur „nächsten Ebene“ auf der modernen Datenplattform - sie generiert nicht nur Text, sondern denkt zielorientiert, wählt die richtigen Tools aus und verwandelt Ihre verwalteten Daten in Entscheidungen, die Sie tatsächlich umsetzen können. Bei Databricks ist das der interessante Twist: Agenten leben nicht in einem Vakuum, sondern in demselben Ökosystem, in dem Ihre Daten bereits über Herkunft, Berechtigungen und operative Leitplanken verfügen, sodass der Sprung vom Prototyp zur Produktion viel kleiner ist als früher.

In unserem praktischen Beispiel haben wir dies konkretisiert, indem wir einen Consultant Matchmaker Agent entwickelt haben: Wir haben PDF-Dateien von Beratern in ein verwaltetes Volume importiert, Text in eine UC-Tabelle extrahiert, eine AI_SIMILARITY()-gestützte SQL-Funktion verwendet, um Profile anhand einer Projektbeschreibung zu bewerten, und alles in ein von AgentBricks generiertes Agent-Gerüst mit einer klaren Systemaufforderung, einigen fokussierten Tools, MLflow-Tracking und Endpunktbereitstellung verpackt – so können Sie buchstäblich mit dem Wissen Ihres Teams „chatten” und erhalten erklärbare Empfehlungen zurück.

In Zukunft wird sich der eigentliche Nutzen zeigen, wenn Agenten autonomer und besser kombinierbar werden: Sie produzieren strukturierte Ausgaben (JSON/YAML) für nachgelagerte Systeme, verknüpfen umfangreichere Tools (SQL, Python, APIs, MCP-Server) und halten sich sogar selbst auf dem neuesten Stand, indem sie neue Daten entdecken, einlesen und neu indizieren, wenn sich das zugrunde liegende Wissen ändert.

Möchten Sie erfahren, wie agentenbasierte KI auf Databricks konkret für Ihre eigenen Anwendungsfälle eingesetzt werden kann? Sprechen Sie mit unseren Experten über Architektur, Implementierung und den produktiven Einsatz von KI-Agenten auf Ihrer Datenplattform.