Wybierz podejście ETL na platformie Azure Databricks

Azure Databricks obsługuje kilka sposobów budowania potoków wyodrębniania, przekształcania i ładowania (ETL). Databricks zaleca potoki Lakeflow, zbudowane na Apache Spark™ Declarative Pipelines (SDP), do większości obciążeń ETL. Jeśli już używasz dbt lub Sparka, te podejścia działają też na Azure Databricks.

Dostępne metody

Każde podejście różni się sposobem definiowania transformacji oraz tym, kto zarządza zależnościami, przetwarzaniem przyrostowym i orkiestracją. Aby poznać modele deklaratywne i proceduralne stojące za tymi podejściami, zobacz Proceduralne vs. deklaratywne przetwarzanie danych w Azure Databricks.

Approach Do czego służy Kiedy należy go używać Kluczowe konstrukcje Rozpoczęcie pracy
Lakeflow pipelines (SDP) Deklarujesz tabele i transformacje, a silnik pipeline zarządza zależnościami, przetwarzaniem inkrementalnym i orkiestracją. Nowe obciążenia wsadowe i inkrementalne ETL. tabele strumieniowe, zmaterializowane widoki, przepływy, AUTO CDC, REPLACE WHERE Potoki Lakeflow
dbt on Azure Databricks Uruchamia twoje istniejące modele dbt w środowisku obliczeniowym Azure Databricks. Twój zespół już prowadzi projekt dbt. Modele dbt, zadania dbt w Lakeflow Jobs Samouczek: Twórz, uruchamiaj i testuj modele dbt lokalnie
Notatniki i zadania Spark Uruchamia kod Spark, który piszesz w notatnikach lub skryptach i orkiestrujesz za pomocą Lakeflow Jobs. Złożona logika transformacji, którą chcesz wyrazić bezpośrednio w Sparku. Spark DataFrames, notebooks, Lakeflow Jobs Zadania lakeflow
Procedury przechowywane Enkapsuluje proceduralną logikę SQL działającą w hurtowni SQL. Proceduralne SQL, które chcesz zapakować i ponownie wykorzystać. CREATE PROCEDURE, skryptowanie SQL TWORZENIE PROCEDURY

Dodatkowe zasoby

  • Ostatnia aktualizacja o