Best Practices für den Fabric Data Engineering Agent (Project Osmos) – Vorschau

Nutzen Sie diese Best Practices, um vollständige Ergebnisse zu definieren, Lakehouse-Daten zu schützen, Wiederholungen vorhersehbar zu machen und messbare Erfolgsnachweise aus den Aufgaben des Fabric Data Engineering Agenten (Project Osmos) zu verlangen.

Definieren Sie ein vollständiges Project-Ergebnis

Die Fähigkeit definiert das Project-Ergebnis wie folgt:

Beschreiben Sie die vollständige End-to-End-Data-Engineering-Aufgabe. Der Data-Engineering-Agent erhält es als ein Projekt.

Definieren Sie das vollständige Ergebnis und nicht nur den ersten Implementierungsschritt. Fügen Sie diese fünf Elemente hinzu:

Verwenden Sie diese Vorlage:

<goal>. Read <sources>. Apply <transformations>.
Create or update <outputs>. Validate <success criteria>. Preserve
<important constraints>.

Setze explizite Grenzen

Gib an, welche Quellen der Data Engineering Agent lesen kann, zu welchen Zielen er schreiben kann und welche bestehenden Artefakte er erhalten muss. Identifizieren Sie alle Schema-, Retention-, Regional-Processing- oder Geschäftsregel-Einschränkungen, die die Aufgabe betreffen.

Fabric- und OneLake-Genehmigungen bleiben weiterhin die Autorisierungsgrenze. Fügen Sie keine Zugangsdaten, Zugriffstoken, Autorisierungsheader oder sensible Daten in ein Project-Ergebnis ein.

Schreibe ein konkretes Project-Ergebnis

Die folgenden Beispiele für Project-Ergebnisse kombinieren ein Ziel, Quellen, Transformationen, Ausgaben, Einschränkungen und Validierungskriterien.

Datenexploration

Profile the customer_events table without modifying it.
Summarize schema, row count, date range, null rates, duplicate event IDs,
category distributions, and outliers. Save the analysis in a notebook.

Dateierfassung

Ingest JSON files from Files/device-events. Flatten the
event payload, standardize timestamps to UTC, quarantine malformed records,
write valid rows to device_events_bronze, and report processed, accepted,
and rejected counts.

Datentransformation

Join Orders, OrderLines, Customers, and Products. Create
a Delta table named sales_order_detail with calculated line revenue and margin.
Validate referential integrity, duplicate order-line keys, and source-to-output
revenue totals.

Sanierung der Datenqualität

Assess customer_master for missing identifiers, invalid
email addresses, duplicate customers, and inconsistent country codes. Propose
a safe remediation plan, apply the approved changes to a staged table, and
produce before-and-after quality metrics.

Schema-Modernisierung

Migrate the legacy_sales table to a documented schema
with typed dates, decimal monetary values, and standardized region codes.
Preserve the source table, create a tested notebook, and reconcile record
counts and revenue totals.

Inkrementelle Last

Build an incremental load from Files/orders-daily into
the Orders Delta table. Deduplicate by order_id and modified_at, update changed
orders, preserve unchanged rows, save the notebook, and validate inserted,
updated, unchanged, and rejected counts.

Medallion-Architektur

Build bronze, silver, and gold layers for product,
inventory, and supplier files. Preserve raw inputs in bronze, standardize and
deduplicate entities in silver, create a gold inventory-risk table, save all
notebooks, and validate each layer.

Wählen Sie ein sicheres Schreibmuster

Wenn Sie eine Aufgabe erstellen, wählen Sie ein Schreibmuster aus, das der Wirkung und Reversibilität der Aufgabe entspricht:

• Klonen und promoten: Testen Sie Änderungen an einer Kopie, bevor Sie die verifizierte Ausgabe an ihren Platz bringen.
• Staging Table: Schreiben Sie die Ergebnisse separat für die Überprüfung oder einen kontrollierten Beförderungsschritt.
• Direkt iterieren: Ändern Sie das Zielobjekt direkt. Verwenden Sie nur, wenn Sie das Risiko und den Wiederherstellungsplan verstehen.
• Deduplizierte Wiederholung: Verwenden Sie einen stabilen Geschäftsschlüssel, um doppelte Datensätze zu verhindern.
• Gesperrtes Schema: Unerwartete Schemaänderungen werden abgelehnt.
• Typverbreiterungsschema: Erlauben Sie kompatible Verbreiterung und verhindern willkürliche Änderungen.

Fabric-Genehmigungen bleiben die harte Autorisierungsgrenze. Verlassen Sie sich nicht nur auf das Project-Ergebnis, um kritische Daten zu schützen.

Mach Wiederholungen vorhersehbar

Erklären Sie dem Data Engineering-Agenten, wie er mit den zuvor verarbeiteten Daten umgehen soll. Verwenden Sie stabile Geschäftsschlüssel und geben Sie an, ob ein erneuter Durchlauf fehlschlagen soll, neue Daten anhängen, Datensätze deduplizieren, Änderungen zusammenführen oder das Ziel ersetzen soll.

Für inkrementelle Aufgaben fordern Sie die Anzahl der eingefügten, aktualisierten, unveränderten und abgelehnten Datensätze an. Quellendaten und verifizierte Ergebnisse beibehalten, es sei denn, ein Ersatz ist ausdrücklich Teil des angeforderten Ergebnisses.

Verwandte Inhalte

• Fabric Data Engineering Agent (Project Osmos) Überblick
• Starten Sie mit Data Engineering Agent (Project Osmos)
• Fabric Data Engineering Agent (Project Osmos) GitHub-Repository
• Was ist ein Seehaus in Microsoft Fabric?