Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Important
Ta funkcja jest dostępna w publicznej wersji testowej.
Zadanie platformy dbt umożliwia orkiestrację i monitorowanie istniejących zadań platformy dbt bezpośrednio za pomocą Azure Databricks. Wybieraj i uruchamiaj zadania dbt, ustawiaj opcje automatycznego ponawiania po niepowodzeniu i monitoruj uruchomienia.
Różnice między platformą dbt a zadaniami dbt
Zadania oferują dwa typy zadań dla projektów dbt. Wybierz właściwy na podstawie miejsca, w którym zarządzany jest projekt dbt:
Zadanie platformy DBT: Użyj tego do orkiestracji istniejących zadań na platformie DBT. Nawiązuje ona połączenie z interfejsem API platformy dbt i uruchamia tam proces. Wybierz tę opcję, jeśli chcesz scentralizować aranżację w usłudze Azure Databricks przy zachowaniu wszystkich korzyści platformy dbt, takich jak monitorowanie i planowanie.
Zadanie dbt: Użyj tego do uruchamiania projektów dbt Core na Azure Databricks compute z kodem z Gita lub folderu workspace. Wybierz tę opcję, jeśli potrzebujesz pełnej kontroli nad środowiskiem wykonywania i chcesz zarządzać zależnościami w całości w usłudze Azure Databricks. Zobacz dbt task for jobs.
Wymagania
Aby użyć zadania platformy dbt, należy spełnić następujące wymagania wstępne:
- Administrator obszaru roboczego musi włączyć podgląd. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.
- Musisz mieć
CREATE CONNECTIONuprawnienia do Unity Catalog w obszarze roboczym. - Dostęp do istniejącego projektu dbt ze zdefiniowanym zadaniem na platformie dbt. Aby dowiedzieć się więcej, zobacz Prace na platformie dbt w dokumentacji dbt.
- Uprawnienia do generowania tokenu usługi na platformie dbt. Aby dowiedzieć się więcej, zobacz Tokeny konta usługi.
Uwaga / Notatka
W celu zapewnienia bezpieczeństwa i stabilności operacyjnej usługa Databricks zaleca wygenerowanie tokenu konta usługi, a nie osobistego tokenu dostępu. Tokeny konta usługi nie są powiązane z poszczególnymi użytkownikami i można je łatwo określić w celu zapewnienia minimalnych niezbędnych uprawnień.
Zbierz szczegóły platformy dbt
Aby zintegrować dbt z usługą Azure Databricks, potrzebne są następujące trzy szczegóły:
- Identyfikator konta platformy dbt.
- Klucz interfejsu API wygenerowany na platformie dbt.
- Adres URL hosta wdrożenia platformy dbt.
W poniższych sekcjach opisano sposób znajdowania tych wymaganych informacji.
Pobierz swój identyfikator konta
Aby pobrać identyfikator konta:
- Zaloguj się do platformy dbt.
- Przejdź do Ustawienia>Ustawienia Konta.
- Pobierz identyfikator konta z sufiksu adresu URL, który ma następujący format:
https://cloud.getdbt.com/settings/accounts/{account_id}.
Pobierz swój klucz API
Aby pobrać klucz interfejsu API:
- Zaloguj się do platformy dbt.
- Przejdź do Ustawienia>Ustawienia Profilu>Twój Profil>Dostęp do API>Klucz API.
Adres URL hosta
Adres URL hosta zależy od twojej lokalizacji i dzierżawy. Aby znaleźć adres URL dla twojego regionu, zobacz Access, Regions, and IP addresses (Dostęp, Regiony i adresy IP) w dokumentacji dbt.
Zidentyfikuj swój region i środowisko (wielodostępne lub oparte na komórkach). Użyj kolumny Access URL (Adres URL dostępu ), aby uzyskać adres URL hosta.
| Typ dzierżawy | Przykład regionu | Przykład adresu URL hosta |
|---|---|---|
| Wielokontenancyjny | Ameryka Północna | https://cloud.getdbt.com |
| Oparte na komórkach | Ameryka Północna (us-east-1) |
https://12345.us1.dbt.com (używając 12345 jako identyfikatora konta) |
Konfiguracja połączenia platformy DBT
Wykonaj poniższe kroki, aby skonfigurować połączenie platformy dbt w usłudze Azure Databricks.
- Kliknij
Wykaz na pasku bocznym.
- Kliknij
w przeglądarce schematu. Następnie kliknij pozycję Utwórz połączenie. Zostanie otwarty formularz Konfigurowanie połączenia .
- Wprowadź następujące informacje, a następnie kliknij przycisk Dalej:
- W polu Nazwa połączenia wprowadź nazwę.
- W Typ połączenia wybierz dbt platformę.
- Wprowadź adres URL hosta platformy dbt w polu tekstowym Host. Nie dołączaj ukośnika końcowego (
/). - Wprowadź swój identyfikator konta platformy dbt oraz klucz API, który zebrałeś w poprzednim kroku.
- Kliknij pozycję Utwórz połączenie , aby potwierdzić szczegóły połączenia.
- (Opcjonalnie) Udziel innym użytkownikom uprawnień do korzystania z połączenia:
- W menu rozwijanym Podmioty wybierz identyfikatory użytkowników i grupy, którym chcesz przyznać uprawnienia.
- Wybierz uprawnienia, które chcesz przyznać.
- Kliknij przycisk Potwierdź.
Aby uzyskać więcej informacji na temat wyświetlania, edytowania lub usuwania połączeń wykazu aparatu Unity, zobacz Połączenia wykazu aparatu Unity.
Utwórz nowe zadanie z zadaniem platformy dbt
- W obszarze roboczym kliknij
Zadania i rury na pasku bocznym.
- Kliknij pozycję Utwórz, a następnie pozycję Zadanie. Nowe zadanie jest automatycznie nazwane ze skojarzonym znacznikiem czasu.
- (Opcjonalnie) Kliknij nazwę zadania i wprowadź nową nazwę, aby ją edytować.
- Kliknij pozycję Dodaj inny typ zadania. Wyszukaj platformę dbt i kliknij kafelek, aby go wybrać.
- Wprowadź nazwę zadania.
- Użyj rozwijanego menu połączeń platformy dbt, aby wybrać utworzone wcześniej połączenie.
- Użyj menu rozwijanego zadania platformy dbt , aby wybrać zadanie platformy dbt, które chcesz zorganizować.
- (Opcjonalnie) Aby skonfigurować ponawianie prób, progi czasu trwania działania, progi zaległości strumieniowania lub powiadomienia, zobacz Zaawansowane ustawienia zadania.
- Kliknij pozycję Zapisz zadanie.
- (Opcjonalnie) Kliknij pozycję Uruchom teraz , aby ręcznie przetestować zadanie.
Aby edytować, sklonować, wyłączyć lub usunąć to zadanie, zobacz Konfigurowanie i edytowanie zadań w Lakeflow Jobs.
Ustaw harmonogram lub wyzwalacz
Zadania można skonfigurować do automatycznego wyzwalania zgodnie z harmonogramem opartym na czasie lub nadejściem nowych danych. Aby dowiedzieć się więcej o dostępnych opcjach, zobacz Automatyzowanie zadań za pomocą harmonogramów i wyzwalaczy.
Uwaga / Notatka
Wyzwalacze ciągłe nie są obsługiwane w przypadku zadań platformy dbt.
Monitorowanie uruchomień
Zadania usługi Lakeflow można monitorować w interfejsie użytkownika usługi Azure Databricks. W przypadku zadań platformy dbt można również otworzyć link wskazujący szczegóły uruchomienia zadania na platformie dbt.
Aby monitorować przebieg:
Kliknij pozycję Zadania i potoki na pasku bocznym obszaru roboczego.
(Opcjonalnie) Wybierz filtry Zadania i Należące do mnie .
Kliknij link Nazwa swojego zadania.
Zostanie wyświetlona karta Runy w widoku macierzy i listy aktywnych i ukończonych runów.
Kliknij link do uruchomienia w kolumnie Godzina rozpoczęcia w widoku listy uruchomień. Stan zadania na platformie dbt zostaje otwarty.
Kliknij pozycję Wyświetl w dbt , aby wyświetlić szczegóły uruchomienia zadania na platformie dbt.