Wprowadzenie

Inżynierowie danych stoją przed podstawowym wyzwaniem: wydajne i niezawodne uzyskiwanie danych z różnych źródeł w ujednoliconą platformę analizy. Niezależnie od tego, czy organizacja współpracuje z plikami wsadowymi w magazynie w chmurze, zdarzeniami strumieniowymi z Apache Kafka, czy danymi transakcyjnymi z operacyjnych baz danych, potrzebujesz metod pobierania danych, które obsługują każdy scenariusz przy zachowaniu jakości danych i zarządzania nimi. Unity Catalog w usłudze Azure Databricks stanowi podstawę dla tego ujednoliconego podejścia, oferując scentralizowane zarządzanie wszystkimi pozyskanymi danymi.

Usługa Azure Databricks oferuje wiele technik pozyskiwania, z których każda jest zoptymalizowana pod kątem określonych wzorców danych i wymagań. Program Lakeflow Connect udostępnia łączniki zarządzane dla typowych źródeł przedsiębiorstwa, takich jak SQL Server i Salesforce, eliminując potrzebę niestandardowego kodu wyodrębniania. Notebooki zapewniają pełną kontrolę nad logiką pozyskiwania przy użyciu języków Python, SQL lub Scala. Polecenia SQL , takie jak COPY INTO i CREATE TABLE AS SELECT oferują metody deklaratywne pozyskiwania opartego na plikach. W przypadku obciążeń w czasie rzeczywistym Spark Structured Streaming i Auto Loader przetwarzają dane w sposób ciągły, gdy te napływają, z gwarancją dokładnie jednokrotnego przetwarzania.

Zrozumienie, kiedy należy zastosować każdą technikę, umożliwia tworzenie niezawodnych potoków danych, które skalują się wraz z organizacją. Dowiesz się, jak skonfigurować zarządzane konektory dla źródeł danych przedsiębiorstwa, napisać kod w notesie dla niestandardowych scenariuszy ładowania danych, używać poleceń SQL dla obciążeń wsadowych opartych na plikach, przetwarzać przyrostowo strumienie change data capture (CDC), przesyłać strumieniowo dane z magistral komunikatów, takich jak Kafka i Event Hubs, konfigurować Auto Loader na potrzeby automatycznego wykrywania plików i organizować przepływy pracy ładowania danych za pomocą potoków Lakeflow.

Po ukończeniu tego modułu będziesz mieć możliwość wyboru i zaimplementowania odpowiedniego podejścia do ingestii dla dowolnego źródła danych, zapewniając umieszczenie danych w tabelach Unity Catalog z odpowiednim zarządzaniem i optymalną wydajnością.