Architektury referencyjne usługi Databricks (pobierz)

Architektury referencyjne usługi Databricks zawierają wskazówki dotyczące architektury obejmujące źródła danych, pozyskiwanie, przekształcanie, wykonywanie zapytań i przetwarzanie, obsługa, analiza i magazyn.

Każda architektura referencyjna ma plik PDF do pobrania w formacie 11 x 17 (A3).

Chociaż usługa Databricks to otwarta platforma, która integruje się z dużym ekosystemem narzędzi partnerskich, architektury referencyjne koncentrują się tylko na usługach Azure i platformie Databricks. Wyświetlone usługi dostawcy usług w chmurze są wybierane w celu zilustrowania pojęć i nie są wyczerpujące.

Pobieranie: architektura referencyjna dla platformy Azure Databricks

Architektura referencyjna platformy Azure przedstawia następujące usługi specyficzne dla platformy Azure do przyjmowania, przechowywania, obsługi i analizy:

• Usługi Azure Synapse i SQL Server jako systemy źródłowe dla usługi Lakehouse Federation
• Usługi Azure IoT Hub i Azure Event Hubs do przetwarzania danych strumieniowych
• Usługa Azure Data Factory do celów przetwarzania wsadowego
• Usługa Azure Data Lake Storage Gen 2 (ADLS) jako magazyn obiektów dla danych i zasobów sztucznej inteligencji
• Usługi Azure SQL DB i Azure Cosmos DB jako operacyjne bazy danych
• Azure Purview jako katalog przedsiębiorstwa, do którego UC eksportuje schematy i informacje o pochodzeniu.
• Usługa Power BI jako narzędzie analizy biznesowej
• Usługa Azure OpenAI może być używana przez serwis modelowania jako zewnętrzny model LLM

Organizacja architektur referencyjnych

Architektura referencyjna jest ustrukturyzowana wzdłuż ścieżek Source, Pozyskiwanie, Transformacja, Zapytanie/Przetwarzanie, Serwowanie, Analizai Przechowywanie:

• Source

  Istnieją trzy sposoby integracji zewnętrznych danych z platformą Data + AI:

  • ETL: Platforma umożliwia integrację z systemami, które zapewniają częściowo ustrukturyzowane i nieustrukturyzowane dane (takie jak czujniki, urządzenia IoT, nośniki, pliki i dzienniki), a także dane ustrukturyzowane z relacyjnych baz danych lub aplikacji biznesowych.
  • Lakehouse Federation: źródła danych SQL, takie jak relacyjne bazy danych, można integrować z Databricks i Unity Catalog bez użycia ETL. W takim przypadku dane systemu źródłowego podlegają katalogowi Unity, a zapytania są kierowane do systemu źródłowego.
  • Federacja katalogu: katalogi Hive Metastore można również zintegrować z katalogiem Unity za pośrednictwem federacji katalogu, co umożliwia katalogowi Unity kontrolowanie tabel przechowywanych w Hive Metastore.

• Ingest

  Ładowanie danych do Databricks wsadowo lub strumieniowo:

  • Databricks Lakeflow Connect oferuje wbudowane konektory do pozyskiwania danych z aplikacji i baz danych dla przedsiębiorstw. Ostateczny potok pozyskiwania danych jest zarządzany przez Unity Catalog i jest wspierany przez bezserwerowe zasoby obliczeniowe i Pipelines.
  • Pliki dostarczane do magazynu w chmurze można ładować bezpośrednio przy użyciu modułu automatycznego ładującego usługi Databricks.
  • Do wsadowego ładowania danych z aplikacji korporacyjnych do usługi Delta Lake platforma Databricks opiera się na partnerskich narzędziach do ładowania danych ze specjalnymi adapterami dla tych systemów źródłowych.
  • Zdarzenia przesyłania strumieniowego można pozyskiwać bezpośrednio z systemów przesyłania zdarzeń, takich jak Kafka, przy użyciu Databricks Structured Streaming. Źródła przesyłania strumieniowego mogą być czujnikami, IoT lub procesami przechwytywania zmian danych.

• Storage

  • Dane są zwykle przechowywane w systemie przechowywania w chmurze, w którym potoki ETL używają architektury medalionowej do przechowywania danych w sposób uporządkowany jako pliki/tabele Delta lub tabele Apache Iceberg.

• przekształcanie i wykonywanie zapytań/procesów

  • Platforma Databricks wykorzystuje swoje silniki Apache Spark i Photon do wszystkich przekształceń i zapytań.

  • Potoki to struktura deklaratywna umożliwiająca uproszczenie i optymalizowanie niezawodnych, konserwowalnych i testowalnych potoków przetwarzania danych.

  • Platforma Databricks Data + AI Platform, oparta na Apache Spark i Photon, obsługuje oba typy obciążeń: zapytania SQL za pośrednictwem magazynów SQL oraz obciążenia SQL, Python i Scala za pośrednictwem klastrów obszaru roboczego.

  • Do analizy danych (modelowania ML i AI) platforma Databricks AI i uczenia maszynowego udostępnia wyspecjalizowane środowiska uruchomieniowe ML dla AutoML oraz do programowania zadań ML. Wszystkie przepływy pracy nauki o danych i MLOps są najlepiej obsługiwane przez platformę MLflow.

• Serving

  • W przypadku magazynowania danych (DWH) i przypadków użycia analizy biznesowej platforma Databricks udostępnia usługę Databricks SQL, magazyn danych obsługiwany przez magazyny SQL i bezserwerowe magazyny SQL.

  • W przypadku uczenia maszynowego obsługa modeli to skalowalna, w czasie rzeczywistym funkcja obsługi modeli klasy korporacyjnej hostowana na płaszczyźnie sterowania usługi Databricks. Unity Gateway to rozwiązanie firmy Databricks do zarządzania i monitorowania dostępu do obsługiwanych modeli AI oraz powiązanych z nimi punktów końcowych obsługujących modele.

  • Operacyjne bazy danych:

    • Lakebase to baza danych przetwarzania transakcji online (OLTP) oparta na Postgres, w pełni zintegrowana z platformą Databricks Data + AI. Umożliwia tworzenie baz danych OLTP w usłudze Databricks i integrowanie obciążeń OLTP z usługą Databricks.
    • Systemy zewnętrzne, takie jak operacyjne bazy danych, mogą służyć do przechowywania i dostarczania końcowych produktów danych do aplikacji użytkowników.

• Collaboration:

  • Partnerzy biznesowi uzyskują bezpieczny dostęp do potrzebnych danych za pośrednictwem usługi OpenSharing.

  • W oparciu o usługę OpenSharing witryna Databricks Marketplace to otwarte forum wymiany produktów danych.

  • Czyste pokoje są bezpieczne i chronią prywatność środowisk, w których wielu użytkowników może współpracować ze sobą na poufnych danych przedsiębiorstwa bez bezpośredniego dostępu do danych.

• Analysis

  • Końcowe aplikacje biznesowe znajdują się w tym torze pływania. Przykłady obejmują klientów niestandardowych, takich jak aplikacje sztucznej inteligencji połączone z obsługą modelu na potrzeby wnioskowania w czasie rzeczywistym lub aplikacji, które uzyskują dostęp do danych wypychanych z usługi Databricks do operacyjnej bazy danych.

  • W przypadku przypadków użycia analizy biznesowej analitycy zazwyczaj używają narzędzi analizy biznesowej do uzyskiwania dostępu do magazynu danych. Deweloperzy SQL mogą dodatkowo używać Edytora SQL Databricks (nie pokazany na diagramie) do zapytań i dashboardów.

  • Platforma Data + AI oferuje także pulpity do tworzenia wizualizacji danych i dzielenia się spostrzeżeniami.

• Integrate

  • Platforma Databricks integruje się ze standardowymi dostawcami tożsamości na potrzeby zarządzania użytkownikami i logowania jednokrotnego .

  • Zewnętrzne usługi sztucznej inteligencji, takie jak OpenAI, LangGraph lub HuggingFace , mogą być używane bezpośrednio z poziomu platformy analizy usługi Databricks.

  • Zewnętrzni orkiestratorzy mogą korzystać z kompleksowych interfejsu API REST lub dedykowanych łączników do zewnętrznych narzędzi orkiestracji, takich jak Apache Airflow.

  • Unity Catalog jest używany do zarządzania wszystkimi danymi i zarządzaniem AI w Platformie Inteligencji Databricks i może integrować inne bazy danych ze swoim zarządzaniem za pośrednictwem Lakehouse Federation.

    Ponadto Unity Catalog można zintegrować z innymi katalogami przedsiębiorstwa, np. Purview. Aby uzyskać szczegółowe informacje, skontaktuj się z dostawcą katalogu przedsiębiorstwa.

Typowe możliwości dla wszystkich obciążeń

Ponadto platforma Databricks oferuje funkcje zarządzania, które obsługują wszystkie obciążenia:

• Zarządzanie danymi i sztuczną inteligencją

  Centralnym systemem zarządzania danymi i AI w platformie Databricks Data + AI jest Unity Catalog. Unity Catalog zapewnia jedno miejsce do zarządzania zasadami dostępu do danych, które obowiązują we wszystkich przestrzeniach roboczych, oraz obsługuje wszystkie zasoby tworzone lub używane w usłudze Databricks, takie jak tabele, woluminy, cechy (magazyn cech) i modele (rejestr modeli). Katalog Unity może również służyć do przechwytywania linii pochodzenia danych środowiska uruchomieniowego dla zapytań uruchamianych w usłudze Databricks.

  Monitorowanie jakości danych usługi Databricks umożliwia monitorowanie jakości danych wszystkich tabel na koncie. Wykrywa anomalie we wszystkich tabelach i udostępnia pełny profil danych dla każdej tabeli.

  Aby można było zaobserwować, tabele systemowe to magazyn analityczny hostowany w usłudze Databricks danych operacyjnych twojego konta. Tabele systemowe mogą służyć do obserwacji historycznej na koncie.

• Aparat analizy danych

  Platforma Databricks Data + AI pozwala całej organizacji korzystać z danych i AI, łącząc AI z korzyściami unifikacyjnymi Databricks, aby zrozumieć unikalną semantykę Twoich danych. Zobacz Funkcje pomocnicze sztucznej inteligencji usługi Databricks.

  Kod Genie jest dostępny w notatnikach Databricks, edytorze SQL, edytorze plików i w innych miejscach jako kontekstowo świadomy asystent sztucznej inteligencji dla użytkowników.

• Automatyzacja & Orkiestracja

  Lakeflow Jobs organizuje procesy przetwarzania danych, uczenia maszynowego i analitycznego na platformie Databricks Data + AI. Potoki Lakeflow umożliwiają tworzenie niezawodnych i łatwych w utrzymaniu potoków ETL przy użyciu składni deklaratywnej. Platforma obsługuje również CI/CD oraz MLOps

Zastosowania na wysokim poziomie platformy Data + AI na Azure

Wbudowane pozyskiwanie danych z aplikacji SaaS i baz danych za pomocą Lakeflow Connect.

Pobierz: Architektura referencyjna programu Lakeflow Connect dla usługi Azure Databricks.

Usługa Databricks Lakeflow Connect oferuje wbudowane łączniki umożliwiające pozyskiwanie danych z aplikacji i baz danych dla przedsiębiorstw. Powstały potok ingestii jest zarządzany przez Unity Catalog i wykorzystuje bezserwerowe zasoby obliczeniowe oraz potoki Lakeflow.

Usługa Lakeflow Connect wykorzystuje wydajne operacje odczytu przyrostowego i zapisu w celu szybszego, skalowalnego i bardziej ekonomicznego pozyskiwania danych, podczas gdy dane pozostają świeże do użycia podrzędnego.

Pozyskiwanie wsadowe i ETL

Pobierz: Architektura referencyjna ETL w trybie wsadowym dla platformy Azure Databricks

Narzędzia do pozyskiwania danych używają adapterów specyficznych dla źródła do odczytywania danych ze źródła, a następnie albo zapisują je w magazynie danych w chmurze, skąd Auto Loader może je odczytać, albo bezpośrednio wywołują Databricks (na przykład za pomocą partnerskich narzędzi do pozyskiwania danych zintegrowanych z platformą Databricks). Aby załadować dane, silnik ETL i przetwarzania Databricks uruchamia zapytania za pośrednictwem potoków. Organizowanie pojedynczych lub wielozadajowych zadań przy użyciu Lakeflow Jobs i zarządzanie nimi poprzez Unity Catalog (kontrola dostępu, audyt, śledzenie pochodzenia itp.). Aby zapewnić dostęp do określonych złotych tabel dla systemów operacyjnych o niskich opóźnieniach, wyeksportuj tabele do operacyjnej bazy danych, takiej jak RDBMS lub magazynu typu klucz-wartość na końcu potoku ETL.

Przesyłanie strumieniowe i przechwytywanie zmian danych (CDC)

Pobierz: Architektura strukturalnego przesyłania strumieniowego Spark dla usługi Azure Databricks

Silnik ETL usługi Databricks używa Spark Structured Streaming do odczytywania z kolejek zdarzeń, takich jak Apache Kafka lub Azure Event Hub. Kroki podrzędne są zgodne z podejściem powyższego przypadku użycia usługi Batch.

Przechwytywanie danych zmian w czasie rzeczywistym (CDC) zwykle przechowuje wyodrębnione zdarzenia w kolejce zdarzeń. W tym miejscu przypadek użycia jest zgodny z przypadkiem użycia przesyłania strumieniowego.

Jeśli usługa CDC jest wykonywana wsadowo, z wyodrębnionymi rekordami przechowywanymi w chmurze, usługa Databricks Auto Loader może je odczytać, a przypadek użycia jest zgodny z modelowym ETL typu Batch.

Uczenie maszynowe i sztuczna inteligencja (tradycyjna)

Pobieranie: architektura referencyjna uczenia maszynowego i sztucznej inteligencji dla usługi Azure Databricks

W przypadku uczenia maszynowego platforma Databricks Data + AI oferuje nowoczesne biblioteki maszynowe i deep learning. Zapewnia takie możliwości, jak Feature Store i Model Registry (oba zintegrowane z katalogiem Unity), funkcje niskokodowe za pomocą AutoML oraz integrację MLflow z cyklem życia nauki o danych.

Katalog Unity zarządza wszystkimi elementami zawartości związanymi z nauką o danych (tabelami, funkcjami i modelami), a naukowcy danych mogą używać zadań Lakeflow Jobs do koordynowania swoich zadań.

Aby wdrożyć modele w sposób skalowalny i na poziomie korporacyjnym, użyj możliwości MLOps, aby opublikować modele w usłudze modelu.

Aplikacje agentów

Pobieranie: architektura referencyjna aplikacji sztucznej inteligencji dla Azure Databricks

Aby wdrożyć modele w sposób skalowalny i na poziomie korporacyjnym, wykorzystaj możliwości MLOps do publikacji modeli w ramach serwisu modelowego.

Analiza Business Intelligence i SQL

Pobierz: Architektura referencyjna analityki biznesowej i SQL dla Azure Databricks

W przypadku przypadków użycia analizy biznesowej analitycy biznesowi mogą używać pulpitów nawigacyjnych, edytora SQL usługi Databricks lub narzędzi analizy biznesowej , takich jak Tableau lub Power BI. We wszystkich przypadkach silnik to Databricks SQL (bezserwerowy lub nieserwerowy), a Unity Catalog zapewnia odkrywanie, eksplorację danych i kontrolę dostępu.

Aplikacje biznesowe

Pobierz: Aplikacje biznesowe dla Databricks dla Azure Databricks

Usługa Databricks Apps umożliwia deweloperom tworzenie i wdrażanie bezpiecznych danych i aplikacji sztucznej inteligencji bezpośrednio na platformie Databricks, co eliminuje potrzebę oddzielnej infrastruktury. Aplikacje są hostowane na platformie bezserwerowej usługi Databricks i integrują się z kluczowymi usługami platformy. Użyj usługi Lakebase , jeśli aplikacja potrzebuje danych OLTP synchronizowanych z usługi Databricks.

Federacja Lakehouse

Pobierz: Referencyjna architektura federacyjna dla Azure Databricks Lakehouse

Usługa Lakehouse Federation umożliwia integrację zewnętrznych baz danych SQL (takich jak MySQL, Postgres, SQL Server lub Azure Synapse) z usługą Databricks.

Wszystkie obciążenia (AI, DWH i BI) mogą korzystać z tego bez konieczności przenoszenia danych do magazynu obiektów. Wykaz źródeł zewnętrznych jest mapowany do katalogu Unity, a szczegółową kontrolę dostępu można zastosować w celu kontrolowania dostępu za pośrednictwem platformy Databricks.

Federacja katalogu

Pobierz: referencyjna architektura federacji katalogu dla Azure Databricks

Federacja katalogu umożliwia integrację zewnętrznych magazynów metadanych Hive (takich jak MySQL, Postgres, SQL Server lub Azure Synapse) z usługą Databricks.

Wszystkie obciążenia (AI, DWH i BI) mogą korzystać z tego bez konieczności przenoszenia danych do magazynu obiektów. Wykaz zewnętrznych źródeł jest dodawany do Unity Catalog, w którym jest stosowana szczegółowa kontrola dostępu za pośrednictwem platformy Databricks.

Udostępnianie danych za pomocą narzędzi innych firm

Pobieranie: udostępnianie danych za pomocą architektury referencyjnej narzędzi innych firm dla usługi Azure Databricks

Udostępnianie danych klasy korporacyjnej innym firmom jest udostępniane przez usługę OpenSharing. Umożliwia ona bezpośredni dostęp do danych w magazynie obiektów zabezpieczonym za pomocą Unity Catalog. Ta funkcja jest również używana w witrynie Databricks Marketplace — otwartym forum do wymiany produktów danych.

Korzystanie z udostępnionych danych z usługi Databricks

Pobieranie: korzystanie z udostępnionych danych z architektury referencyjnej usługi Databricks dla usługi Azure Databricks

Protokół OpenSharing Databricks-to-Databricks umożliwia użytkownikom bezpieczne udostępnianie danych dowolnemu użytkownikowi Databricks, niezależnie od konta lub dostawcy chmury, o ile ten użytkownik ma dostęp do obszaru roboczego z włączoną funkcją Unity Catalog.