Machine Learning Engineering
Klassisches ML, Demand Forecasting, Churn Prediction, Fraud Detection, Predictive Maintenance; lebt von sauberen Features, reproduzierbaren Experimenten und einem belastbaren Weg vom Training ins Serving. Die Herausforderung ist nicht das Modell, sondern der Lifecycle drumherum.
Auf Databricks setzen wir dafür auf MLflow als Rückgrat des gesamten ML-Lifecycle: Experiment-Tracking, Model Registry, Deployment-Pipelines und A/B-Testing. Feature Engineering läuft über Feature Store in Unity Catalog, damit Features versioniert, discoverable und zwischen Teams wiederverwendbar sind. Models in Unity Catalog bringt Modelle unter dieselbe Governance wie Tabellen und Views; mit Ownership, Access Controls und Lineage. Model Serving übernimmt das Deployment für Real-Time- und Batch-Inference, inklusive Auto-Scaling und Kosten pro Endpoint.
Generative AI
RAG-Pipelines, Summarization, Document Intelligence, Enterprise Search: GenAI-Use-Cases haben andere Anforderungen als klassisches ML - größere Modelle, höhere Inference-Kosten, unvorhersagbarere Outputs und neue Governance-Fragen rund um Halluzinationen, Bias und Compliance.
Databricks bündelt das unter Mosaic AI: Vector Search für Retrieval, AI Gateway für Multi-Provider-Routing mit Rate Limiting und Content Filtering, Foundation Model APIs für den Zugriff auf Open-Source- und kommerzielle Modelle, und Guardrails für Safety und Compliance. MLflow übernimmt auch hier das Lifecycle-Management; von der Evaluation über das Deployment bis zum Monitoring der Output-Qualität.
Agentic AI
Agentic AI geht einen Schritt weiter: Statt einzelne Prompts zu beantworten, führen Agenten mehrstufige Workflows autonom aus; sie planen, rufen Tools auf, interagieren mit APIs und treffen Zwischenentscheidungen. Das erfordert eine andere Architektur als klassische GenAI: Tool-Integration, Zustandsmanagement, Fehlerbehandlung und vor allem klare Guardrails, damit ein Agent nicht unkontrolliert agiert.
Databricks bietet dafür Agent Bricks als Framework für Tool-Calling, Orchestrierung und Evaluation. In Kombination mit AI Gateway für Provider-Routing und Guardrails, Model Serving für die Inference-Infrastruktur und Unity Catalog für Governance über alle Tools und Datenquellen, die ein Agent nutzt.
Gerade bei Agentic AI wird Software Engineering zur Pflicht, nicht zur Kür. Ein Agent, der autonom handelt, braucht dieselbe Disziplin wie produktiver Code: versionierte Konfigurationen, automatisierte Tests für Tool-Chains und Entscheidungspfade, definierte Rollback-Szenarien und Observability über jeden Schritt, den der Agent ausführt. Ohne diese Engineering-Prinzipien entsteht ein System, das im Demo beeindruckt, aber in der Produktion unvorhersagbar wird; und das ist bei einem autonomen Agenten ein anderes Risiko als bei einer statischen Pipeline.
