Procesy budowy

Twórz potoki Lakeflow, ładując i przekształcając dane, stosując kontrole jakości danych oraz zapisując wyniki do tabel docelowych. W poniższych tematach omówiono zadania związane z tworzeniem i uruchamianiem potoków.

Aby dowiedzieć się więcej o deklaratywnych koncepcjach stojących za potokami (zestawami danych, przepływami i grafem potoku), zobacz Czym są potoki Lakeflow?. Aby zapoznać się z instrukcją krok po kroku, zobacz Samouczek: jak utworzyć potok ETL przy użyciu przechwytywania danych o zmianach.

Topic Description
Tworzenie w edytorze potoków Lakeflow Tworzenie, uruchamianie i debugowanie potoków w edytorze z grafem potoku, podglądami danych i selektywnym wykonywaniem.
Używanie kodu Genie na potrzeby opracowywania potoków Generuj, edytuj i debuguj kod potoku za pomocą jednego polecenia w edytorze, korzystając z trybu agenta Genie Code.
Zarządzanie tożsamościami i uprawnieniami Kontroluj tożsamość, na której działa potok, oraz to, kto może tworzyć, uruchamiać, odświeżać i wyświetlać potoki oraz ich dane wyjściowe.
Ładowanie danych Pozyskuj dane do swojego potoku przetwarzania z chmurowej pamięci obiektowej i strumieniowych magistral komunikatów.
Przekształcenie danych Stosowanie przekształceń, sprzężeń i agregacji w celu utworzenia pochodnych zestawów danych.
Pełne odświeżanie tabel przesyłania strumieniowego Ponownie przetwarza wszystkie dane źródłowe, aby ponownie skompilować tabelę przesyłania strumieniowego.
Jakość danych Weryfikuj rekordy za pomocą reguł i określ, co ma się stać, gdy rekord nie przejdzie weryfikacji.
Pisanie zestawów danych Zapisuj wyniki potoku danych w miejscach docelowych, takich jak Apache Kafka i Azure Event Hubs, oraz używaj przepływów do zapisu w strumieniowych miejscach docelowych.

Dodatkowe zasoby

  • Last updated on