Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Stosuj te najlepsze praktyki, aby określać pełne rezultaty, chronić dane w lakehouse, zapewniać przewidywalność ponownych uruchomień oraz wymagać od zadań agenta inżynierii danych Fabric (Project Osmos) mierzalnych dowodów sukcesu.
Important
Agent do inżynierii danych (Project Osmos) jest dostępny w wersji zapoznawczej. Funkcje podglądowe są udostępniane z ograniczonymi możliwościami i podlegają osobnym, uzupełniającym warunkom zapowiedzi. Nie są przeznaczone do użytku produkcyjnego, nie podlegają umowom SLA i mogą być dostępne tylko w wybranych regionach. Aby uzyskać więcej informacji, zobacz Informacje o wersji zapoznawczej usługi Microsoft Fabric.
Zdefiniuj kompletny rezultat projektu
Umiejętność ta definiuje wynik projektu w następujący sposób:
Opisz kompletne, kompleksowe zadanie inżynierii danych. Agent inżynierii danych otrzymuje to jako jeden projekt.
Zdefiniuj pełny efekt, a nie tylko pierwszy krok wdrożenia. Uwzględnij te pięć elementów:
| Element | Pytanie, na które należy odpowiedzieć | Example |
|---|---|---|
| Goal | Jaki efekt powinien istnieć po zakończeniu zadania? | Stwórz miesięczną tabelę wydatków dostawców. |
| Sources | Jakie dane powinno wykorzystywać zadanie? | Przeczytaj pliki CSV faktur oraz tabelę Delta Suppliers. |
| Transformations | Jakie zasady powinno stosować zadanie? | Standaryzuj identyfikatory dostawców, odrzucaj nieprawidłowe daty, dołączaj do dostawców i agreguj miesięczne wydatki. |
| Outputs | Co powinno tworzyć lub aktualizować zadanie? | Wpisz monthly_supplier_spend i zapisz notatnik transformacji. |
| Validation | Jak agent inżynierii danych powinien udowodnić sukces? | Uzgodnij sumy na fakturach, sprawdź zduplikowane klucze i zgłoś odrzucone wiersze. |
Użyj tego szablonu:
<goal>. Read <sources>. Apply <transformations>.
Create or update <outputs>. Validate <success criteria>. Preserve
<important constraints>.
Ustaw jawne granice
Określ, które źródła agent inżynierii danych może odczytać, do których miejsc może zapisywać oraz które istniejące artefakty musi zachować. Zidentyfikuj wszelkie ograniczenia dotyczące schematu, retencji, regionalnego przetwarzania lub reguł biznesowych, które wpływają na to zadanie.
Uprawnienia Fabric i OneLake pozostają granicą autoryzacji. Nie dołączaj poświadczeń, tokenów dostępu, nagłówków autoryzacji ani danych wrażliwych do wyniku projektu.
Napisz konkretny rezultat projektu
Poniższe przykłady wyników Project łączą cel, źródła, transformacje, wyniki, ograniczenia oraz kryteria walidacji.
Eksploracja danych
Profile the customer_events table without modifying it.
Summarize schema, row count, date range, null rates, duplicate event IDs,
category distributions, and outliers. Save the analysis in a notebook.
Przetwarzanie plików
Ingest JSON files from Files/device-events. Flatten the
event payload, standardize timestamps to UTC, quarantine malformed records,
write valid rows to device_events_bronze, and report processed, accepted,
and rejected counts.
Transformacja danych
Join Orders, OrderLines, Customers, and Products. Create
a Delta table named sales_order_detail with calculated line revenue and margin.
Validate referential integrity, duplicate order-line keys, and source-to-output
revenue totals.
Naprawa jakości danych
Assess customer_master for missing identifiers, invalid
email addresses, duplicate customers, and inconsistent country codes. Propose
a safe remediation plan, apply the approved changes to a staged table, and
produce before-and-after quality metrics.
Modernizacja schematu
Migrate the legacy_sales table to a documented schema
with typed dates, decimal monetary values, and standardized region codes.
Preserve the source table, create a tested notebook, and reconcile record
counts and revenue totals.
Obciążenie przyrostowe
Build an incremental load from Files/orders-daily into
the Orders Delta table. Deduplicate by order_id and modified_at, update changed
orders, preserve unchanged rows, save the notebook, and validate inserted,
updated, unchanged, and rejected counts.
Architektura medalionu
Build bronze, silver, and gold layers for product,
inventory, and supplier files. Preserve raw inputs in bronze, standardize and
deduplicate entities in silver, create a gold inventory-risk table, save all
notebooks, and validate each layer.
Wybierz bezpieczny wzór zapisu
Gdy tworzysz zadanie, wybierz wzorzec zapisu, który odpowiada wpływowi i odwracalności zadania:
- Sklonuj i wdrażaj: Przetestuj zmiany na kopii przed przeniesieniem zweryfikowanych wyników do miejsca docelowego.
- Tabela etapowa : Wyniki należy zapisywać osobno do przeglądu lub kontrolowanego etapu promocji.
- Iteruj w miejscu: Bezpośrednio modyfikuj cel. Stosuj tylko wtedy, gdy rozumiesz ryzyko i plan odbudowy.
- Deduplikacja przy ponownym uruchomieniu: Użyj stabilnego klucza biznesowego, aby zapobiec duplikowaniu rekordów.
- Schemat zablokowany: Odrzucaj nieoczekiwane zmiany schematu.
- Schemat poszerzania typów: Pozwól na kompatybilne poszerzanie, jednocześnie zapobiegając dowolnym zmianom.
Uprawnienia Fabric stanowią ścisłą granicę autoryzacji. Nie polegaj wyłącznie na wyniku projektu, aby chronić kluczowe dane.
Spraw, by powtórki były przewidywalne
Powiedz agentowi inżynierii danych, jak ma obsługiwać dane, które wcześniej przetworzył. Używaj stabilnych kluczy biznesowych i określaj, czy ponowne uruchomienie powinno zakończyć się niepowodzeniem, dołączyć nowe dane, usunąć duplikaty rekordów, scalić zmiany czy zastąpić dane docelowe.
W przypadku zadań przyrostowych poproś o liczbę wstawianych, aktualizowanych, niezmienionych i odrzuconych rekordów. Zachowaj dane źródłowe i zweryfikowane wyniki, chyba że wymiana jest wyraźnie częścią żądanego rezultatu.