Introduction
Azure Databricks to oparta na chmurze platforma danych, która łączy inżynierię danych, naukę o danych i uczenie maszynowe w jednym, ujednoliconym obszarze roboczym. Oparta na platformie Apache Spark umożliwia organizacjom przetwarzanie, analizowanie i wizualizowanie dużych ilości danych.
Łącząc się z szeroką gamą źródeł danych — od dostawców usług w chmurze, takich jak Azure SQL Database, Amazon S3 i Google Cloud Storage, po systemy przedsiębiorstwa, takie jak SAP i Oracle — Azure Databricks może integrować i przekształcać dane z wielu lokalizacji.
Po pozyskiwaniu danych zespoły w zakresie sprzedaży, marketingu, operacji, finansów, kadr i zrównoważonego rozwoju mogą używać usługi Databricks do zaawansowanej analizy, uczenia maszynowego, analizy biznesowej i analizy biznesowej opartej na sztucznej inteligencji.
Usługa Azure Databricks ułatwia organizacjom:
- Integrowanie danych z wielu źródeł
- Inżynier przekształca dane pierwotne w formaty do użytku.
- Efektywne przechowywanie i zarządzanie danymi z zapewnieniem ładu korporacyjnego i bezpieczeństwa
- Stosowanie analiz w czasie rzeczywistym, uczenia maszynowego i modeli sztucznej inteligencji
- Tworzenie lepszych decyzji biznesowych i rezultatów
Lakehouse danych
Data Lakehouse to podejście do zarządzania danymi, które łączy mocne strony jezior danych i magazynów danych. Oferuje ona skalowalny magazyn i przetwarzanie, dzięki czemu organizacje mogą obsługiwać różne obciążenia — takie jak uczenie maszynowe i analiza biznesowa — bez polegania na oddzielnych, odłączonych systemach. Dzięki scentralizowaniu danych usługa Lakehouse obsługuje pojedyncze źródło prawdy, zmniejsza zduplikowane koszty i zapewnia aktualność informacji.
Wiele lakehouse'ów stosuje wzorzec projektowania warstwowego, w którym dane są stopniowo ulepszane, wzbogacane i udoskonalane w miarę przetwarzania przez różne etapy. Takie podejście warstwowe — często nazywane architekturą medalionu — organizuje dane na etapach, które są oparte na sobie, co ułatwia efektywne zarządzanie i korzystanie z nich.
Usługa Databricks Lakehouse korzysta z dwóch kluczowych technologii:
- Delta Lake: zoptymalizowana warstwa magazynu, która obsługuje transakcje ACID i wymuszanie schematu.
- Unity Catalog: ujednolicone, szczegółowe rozwiązanie do zarządzania danymi i sztuczną inteligencją.
Note
Zdajemy sobie sprawę, że różni ludzie lubią uczyć się na różne sposoby. Możesz ukończyć ten moduł w formacie wideo lub przeczytać zawartość jako tekst i obrazy. Tekst zawiera więcej szczegółów niż filmy wideo, więc w niektórych przypadkach możesz chcieć odwoływać się do niego jako materiał uzupełniający do prezentacji wideo.