Wichtige Herausforderungen beim Erstellen von KI-Apps

Trotz der Leistungsfähigkeit moderner KI-Modelle sind KI-Anwendungen auf Produktionsniveau oft schwierig zu erstellen. Drei wichtige Herausforderungen können zusammengefasst werden:

  • Governance: Viele Plattformen kämpfen um einheitliche Governance, Datenschutz und Sicherheit für Daten und KI-Ressourcen.
  • Qualität: Das flexible und unvorhersehbare Verhalten von KI-Modellen erhöht die Komplexität bei der Auswertung.
  • Steuerung: Plattformen müssen Flexibilität, Modellauswahl und Anpassung bieten.

Governance für Daten und KI

KI-Anwendungen erfordern vielfältige Daten und KI-Ressourcen: Tabellen, Vektorindizes, KI-Modelle, Tools und vieles mehr. Eine KI-Plattform muss entwicklern einen differenzierten Zugriff auf diese Ressourcen bieten und gleichzeitig eine gemeinsame Governance für Administratoren bereitstellen. Ohne vollständige Governance sind Organisationen Risiken wie ausgesetzt:

  • Datenlecks: Vertrauliche Kunden- oder Unternehmensdaten können ohne ordnungsgemäße Datenherkunftsverfolgung und Zugriffssteuerung missbräuchlich verwendet werden, und Daten können versehentlich durch Modellausgaben öffentlich werden, wenn keine geeigneten Sicherheitsmaßnahmen durchgesetzt werden.
  • Complianceeinschränkungen: Viele Organisationen verfügen über Complianceanforderungen wie SOC2 oder HIPAA, und die Integration von KI-Modellen in kompatible Legacyplattformen kann komplex sein, was zu Verzögerungen oder Einschränkungen bei der Verwendung der besten Modelle führt.
  • Nicht autorisierte Nutzungskosten oder unerwartete Kosten: Ohne Zugriffskontrollen und Einsatzschutzschienen können KI-Modelle von nicht autorisierten Teams verwendet werden oder hohe Nutzungskosten verursachen.

Azure Databricks vereinfacht einheitliche Governance für Daten und KI durch:

  • Unity-Katalog, der Dateien, Tabellen, Vektorindizes, Featurespeicher, Modelle und Tools unter einem einheitlichen Governancemodell verwaltet
  • AI-Gateway, das einheitliche Governance und Überwachung für KI-Modellendpunkte bereitstellt, einschließlich Sicherheitsschutzschienen und Nutzungsgrenzwerten
  • Databricks AI Security Framework, das einen umfassenden Leitfaden für das KI-Risikomanagement bietet
  • Databricks AI Governance Framework, das das Sicherheitsframework ergänzt, indem es eine Ansicht der Governance bietet, die sowohl die Sicherheits- als auch die Betriebsintegrität umfasst

Qualität von Modellen, Agents und Apps

KI-Modelle erzeugen offene, stochastische Ergebnisse und werden häufig bei offen formulierten Problemen mit vielen „guten“ Antworten eingesetzt. Selbst das Definieren von "hoher Qualität" kann schwierig sein und erfordert häufig iteratives Feedback von Domänenexperten oder Benutzern. Ohne robuste Auswertungsprozesse sind Organisationen Risiken wie... ausgesetzt.

  • Schlechte Benutzererfahrungen: Wenn KI-Apps nicht basierend auf Metriken ausgewertet werden, die den Anforderungen der Benutzer entsprechen, können Benutzer Antworten nicht hilfreich, ungenau oder sogar schädlich oder anstößig finden. Markenreputation kann in extremen Fällen leiden.
  • Entwicklungs-Limbo: Wenn Qualität nicht definiert oder gemessen werden kann, um die Abmeldung von Stakeholdern zu ermöglichen, können KI-Projekte verzögert oder abgebrochen werden, weil keine "Nachweise" der Qualität vorhanden sind.

Azure Databricks vereinfacht das Messen und Optimieren der KI-Qualität durch:

  • MLflow Evaluation and Monitoring, mit integrierten Richtern und benutzerdefinierten Scorern zur Messung der Qualität, die sowohl in der Entwicklungs- als auch in der Produktionsüberwachung verwendet werden kann
  • MLflow-Ablaufverfolgung mit automatischer und manueller Ablaufverfolgung, um sowohl für die Entwicklung als auch die Produktion eine Observability bereitzustellen.
  • Sammlung von Menschlichem Feedback mit einer integrierten App für Expertenfeedback während der Entwicklung und APIs für Benutzerfeedback von Produktions-Apps

Kontrolle von Daten und Modellen

Modernste KI-Modelle werden von vielen Modellanbietern sowie selbst gehosteten Open-Source-Optionen bereitgestellt. Aufgrund von Datenschutz- und Lizenzierungskomplikationen kämpfen viele Plattformen darum, dieses vielfältige Ökosystem zu unterstützen und schnelle Iterationen und Anpassungen zu ermöglichen. Organisationen müssen die Kontrolle über ihre Daten und Die Wahl über Modelle behalten, um Risiken wie die folgenden zu vermeiden:

  • Datenschutzeinschränkungen: Compliance- oder Integrationsanforderungen können Unternehmen daran hindern, auf die wichtigsten KI-Modelle von mehreren Anbietern zuzugreifen, was auf Flexibilität und Qualitätskosten-Kompromissen verzichtet.
  • Fehlender Wettbewerbsvorteil: Wenn Modelle, Daten, Agenten und Anwendungen nicht basierend auf den proprietären Daten einer Organisation angepasst werden können, ist es schwierig, geistiges Eigentum zu erstellen.

Azure Databricks bietet Kontrolle und Flexibilität für Daten und Modelle durch:

  • Foundation Model-APIs, die Grenzmodelle von Top-Modellanbietern in Ihrer eigenen Azure Databricks-Umgebung bedienen, neben Ihren benutzerdefinierten Modellen und Agents in Model Serve.
  • Angepasste Apps, Agents, Modelle, Tools und Datenquellen, die auf Ihren proprietären Daten basieren. All diese Ebenen der KI unterstützen Data Intelligence, von der Erstellung von Apps und Agents bis hin zur Bereitstellung von Daten über Tools, zur Auswertung und Optimierung von Agents basierend auf Ihren Daten.

Weitere Ressourcen

  • Last updated on