Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Der Fabric Data Engineering Agent (Project Osmos) ist eine autonome Data-Engineering-Funktion für Microsoft Fabric. Es führt persistente Aufgaben aus, die Data-Engineering-Arbeiten planen, ausführen und validieren anhand von Fabric-Ressourcen, auf die Sie Zugriff haben.
Aus einem unterstützten Kommandozeilen-Client geben Sie ein Project-Ergebnis ein (eine Beschreibung der vollständigen End-to-End-Data-Engineering-Aufgabe) ein und wählen das Fabric-Lakehouse aus, das die Aufgabe hostet. Project Osmos kann Daten inspizieren, Spark-Notizbücher erstellen und testen, Daten transformieren, Delta-Tabellen schreiben und Ergebnisse validieren. Die Aufgaben laufen in Fabric weiter, nachdem der lokale Client die Verbindung getrennt hat.
Important
Der Data-Engineering-Agent (Project Osmos) ist als Vorschau verfügbar. Vorschaufunktionen werden mit begrenzten Funktionen veröffentlicht und unterliegen separaten ergänzenden Vorschaubedingungen. Sie sind nicht für den Produktionsgebrauch gedacht, unterliegen keinen Service-Level-Vereinbarungen und sind möglicherweise nur in ausgewählten Regionen verfügbar. Weitere Informationen finden Sie unter Microsoft Fabric Preview-Informationen.
Wichtige Funktionen
Der Data-Engineering-Agent (Project Osmos) implementiert und führt Data-Engineering-Aufgaben in einer Managed Fabric-Aufgabe aus. Es verwendet SparkCore, persistente Zustände, Zugriffskontrollen, Fortschrittsverfolgung und Validierung anhand von Zieldaten. Mehrere koordinierte Agenten erstellen und bewerten verschiedene Implementierungsoptionen, um Produktionsqualität zu liefern.
Project Osmos fügt Fabric-spezifische Funktionen hinzu:
- Fabric-gehostete Ausführung: Code- und Datenoperationen laufen mit Fabric Spark und OneLake und nicht nur in einer lokalen Entwicklungsumgebung.
- Persistente Aufgabenzustand: Die Aufgabe läuft weiter, nachdem der lokale Client die Verbindung trennt, und kann ohne Neuanfang wieder aufgenommen werden.
- Lakehouse-Kontext: Project Osmos ermittelt den Fabric-Arbeitsbereich und das Standard-Lakehouse der Spark-Sitzung aus der von Ihnen bereitgestellten Lakehouse-URL.
- Betriebliche Leitplanken: Vor der Ausführung prüfen Sie die Einstellungen für Berechtigungen, Sicherheit bei Schreibvorgängen, Verhalten bei erneuter Ausführung, Schemaentwicklung, Artefakte und Denkaufwand.
- Integrierte Validierung: Die Aufgabe kann generierten Code ausführen und Zeilenanzahl, Nullen, Schemata und andere Erfolgskriterien in der Zielumgebung überprüfen.
- Geteilte Sichtbarkeit: Jeder, der Zugang zum Seehaus hat, in dem Sie die Aufgabe gestartet haben, können den Fortschritt verfolgen und bei Bedarf Input geben.
Diese Fähigkeiten verwandeln ein Project-Ergebnis in eine verwaltete Einheit der Data-Engineering-Arbeit statt in eine vorübergehende Chat-Antwort.
Wie Data Engineering Agent (Project Osmos) funktioniert
Project Osmos verwendet für jede Data-Engineering-Aufgabe einen verwalteten Lebenszyklus:
- Definieren: Das Projektergebnis bezeichnet die vollständige End-to-End-Aufgabe der Datentechnik, und die Lakehouse-URL gibt das Lakehouse in Fabric an, das diese beherbergt.
- Plan: Project Osmos analysiert den verfügbaren Kontext und empfiehlt Betriebseinstellungen zur Überprüfung.
- Ausführen: Die Aufgabe läuft in Fabric und kann Data-Engineering-Artefakte erstellen, testen und verfeinern.
- Validieren: Die Aufgabe überprüft ihre Ergebnisse anhand der angegebenen Erfolgskriterien und meldet die Ergebnisse.
- Überwachen: Die Aufgabe bleibt über den Kommandozeilen-Client und die Lakehouse-Task-Erfahrung verfügbar.
Das ausgewählte Seehaus ist das Standard-Seehaus für die Spark-Session. Es ist nicht automatisch die einzige Quelle oder das einzige Ziel. Ihr Project-Ergebnis, Fabric-Berechtigungen und überprüfte Betriebsumgebungen bestimmen den Umfang der Aufgabe.
Für Schritte zur Erstellung Ihrer ersten Aufgabe siehe Starten Sie mit Project Osmos.
Wählen Sie einen geeigneten Anwendungsfall
Project Osmos ist für ergebnisorientierte Data-Engineering-Arbeit konzipiert, die von autonomer Planung, Ausführung und Validierung profitiert.
| Anwendungsfall | Beispielergebnis |
|---|---|
| Datenvorbereitung | Verkaufsdateien bereinigen, Typen standardisieren, ungültige Zeilen entfernen und eine validierte Delta-Tabelle schreiben. |
| Tabellenintegration | Verknüpfen Sie Bestellungen, Kunden und Produktdaten und erstellen Sie dann eine kuratierte Tabelle für Downstream-Analysen. |
| Lakehouse-Modernisierung | Konvertiere eine bestehende Transformation in Spark, erstelle ein getestetes Notizbuch und validiere die neue Ausgabe. |
| Medallion-Architektur | Baue Bronze-, Silber- und Gold-Transformationen aus Quelldateien als eine vollständige Aufgabe. |
| Sanierung der Datenqualität | Profilieren Sie eine Tabelle, identifizieren Sie Qualitätsprobleme, wenden Sie genehmigte Korrekturen an und berichten Sie Vorher-Nachher-Kennzahlen. |
| Leistungsverbesserung | Überprüfen Sie Delta-Tabellen, empfehlen Sie Partitionierungs- oder Layoutänderungen, implementieren Sie genehmigte Änderungen und messen Sie Ergebnisse. |
| Unterstützung bei der Migration | Transformiere Legacy-Extrakte in ein Fabric-ready-Modell, während Geschäftsregeln erhalten bleiben und Totalen validiert werden. |
Project Osmos ist darauf ausgelegt, Herausforderungen im Bereich Data Engineering zu lösen. Es ist nicht für eine schnelle Abfrage, eine Änderung eines Power BI-Berichts oder andere Aufgaben außerhalb der Datenentwicklung gedacht.
Arbeiten über CLI und Fabric hinweg
Project Osmos nutzt zwei miteinander verbundene Erfahrungen. Sie erstellen und steuern Aufgaben aus Ihrer Kommandozeile und sehen den Fortschritt der Aufgaben in der Fabric-Anwendung an:
- Kommandozeilen-Erfahrung: Verwenden Sie GitHub Copilot CLI, Codex oder Claude Code, um eine Aufgabe zu erstellen, ein Project-Ergebnis einzugeben, Betriebseinstellungen zu überprüfen und Nachverfolgungshinweise zu senden.
- Fabric Lakehouse-Erlebnis: Durchstöbern Sie die Aufgaben des Lakehouse, überprüfen Sie den Status, öffnen Sie eine Aufgabe, überprüfen Sie Aktivitäten und Fehler und inspizieren Sie die produzierten Ergebnisse.
Beide Erfahrungen beziehen sich auf dieselbe von Fabric gehostete Aufgabe und Aufgaben-ID.