zadanie platformy dbt dla zadań

Important

Ta funkcja jest dostępna w publicznej wersji testowej.

Zadanie platformy dbt umożliwia orkiestrację i monitorowanie istniejących zadań platformy dbt bezpośrednio za pomocą Azure Databricks. Wybieraj i uruchamiaj zadania dbt, ustawiaj opcje automatycznego ponawiania po niepowodzeniu i monitoruj uruchomienia.

Różnice między platformą dbt a zadaniami dbt

Zadania oferują dwa typy zadań dla projektów dbt. Wybierz właściwy na podstawie miejsca, w którym zarządzany jest projekt dbt:

Zadanie platformy DBT: Użyj tego do orkiestracji istniejących zadań na platformie DBT. Nawiązuje ona połączenie z interfejsem API platformy dbt i uruchamia tam proces. Wybierz tę opcję, jeśli chcesz scentralizować aranżację w usłudze Azure Databricks przy zachowaniu wszystkich korzyści platformy dbt, takich jak monitorowanie i planowanie.

Zadanie dbt: Użyj tego do uruchamiania projektów dbt Core na Azure Databricks compute z kodem z Gita lub folderu workspace. Wybierz tę opcję, jeśli potrzebujesz pełnej kontroli nad środowiskiem wykonywania i chcesz zarządzać zależnościami w całości w usłudze Azure Databricks. Zobacz dbt task for jobs.

Wymagania

Aby użyć zadania platformy dbt, należy spełnić następujące wymagania wstępne:

Uwaga / Notatka

W celu zapewnienia bezpieczeństwa i stabilności operacyjnej usługa Databricks zaleca wygenerowanie tokenu konta usługi, a nie osobistego tokenu dostępu. Tokeny konta usługi nie są powiązane z poszczególnymi użytkownikami i można je łatwo określić w celu zapewnienia minimalnych niezbędnych uprawnień.

Zbierz szczegóły platformy dbt

Aby zintegrować dbt z usługą Azure Databricks, potrzebne są następujące trzy szczegóły:

  • Identyfikator konta platformy dbt.
  • Klucz interfejsu API wygenerowany na platformie dbt.
  • Adres URL hosta wdrożenia platformy dbt.

W poniższych sekcjach opisano sposób znajdowania tych wymaganych informacji.

Pobierz swój identyfikator konta

Aby pobrać identyfikator konta:

  1. Zaloguj się do platformy dbt.
  2. Przejdź do Ustawienia>Ustawienia Konta.
  3. Pobierz identyfikator konta z sufiksu adresu URL, który ma następujący format: https://cloud.getdbt.com/settings/accounts/{account_id}.

Pobierz swój klucz API

Aby pobrać klucz interfejsu API:

  1. Zaloguj się do platformy dbt.
  2. Przejdź do Ustawienia>Ustawienia Profilu>Twój Profil>Dostęp do API>Klucz API.

Adres URL hosta

Adres URL hosta zależy od twojej lokalizacji i dzierżawy. Aby znaleźć adres URL dla twojego regionu, zobacz Access, Regions, and IP addresses (Dostęp, Regiony i adresy IP) w dokumentacji dbt.

Zidentyfikuj swój region i środowisko (wielodostępne lub oparte na komórkach). Użyj kolumny Access URL (Adres URL dostępu ), aby uzyskać adres URL hosta.

Typ dzierżawy Przykład regionu Przykład adresu URL hosta
Wielokontenancyjny Ameryka Północna https://cloud.getdbt.com
Oparte na komórkach Ameryka Północna (us-east-1) https://12345.us1.dbt.com (używając 12345 jako identyfikatora konta)

Konfiguracja połączenia platformy DBT

Wykonaj poniższe kroki, aby skonfigurować połączenie platformy dbt w usłudze Azure Databricks.

  1. Kliknij ikonę Dane.Wykaz na pasku bocznym.
  2. Kliknij ikonę plus w przeglądarce schematu. Następnie kliknij pozycję Utwórz połączenie. Zostanie otwarty formularz Konfigurowanie połączenia .
  3. Wprowadź następujące informacje, a następnie kliknij przycisk Dalej:
    • W polu Nazwa połączenia wprowadź nazwę.
    • W Typ połączenia wybierz dbt platformę.
  4. Wprowadź adres URL hosta platformy dbt w polu tekstowym Host. Nie dołączaj ukośnika końcowego (/).
  5. Wprowadź swój identyfikator konta platformy dbt oraz klucz API, który zebrałeś w poprzednim kroku.
  6. Kliknij pozycję Utwórz połączenie , aby potwierdzić szczegóły połączenia.
  7. (Opcjonalnie) Udziel innym użytkownikom uprawnień do korzystania z połączenia:
    • W menu rozwijanym Podmioty wybierz identyfikatory użytkowników i grupy, którym chcesz przyznać uprawnienia.
    • Wybierz uprawnienia, które chcesz przyznać.
    • Kliknij przycisk Potwierdź.

Aby uzyskać więcej informacji na temat wyświetlania, edytowania lub usuwania połączeń wykazu aparatu Unity, zobacz Połączenia wykazu aparatu Unity.

Utwórz nowe zadanie z zadaniem platformy dbt

  1. W obszarze roboczym kliknij ikonę Przepływy pracy.Zadania i rury na pasku bocznym.
  2. Kliknij pozycję Utwórz, a następnie pozycję Zadanie. Nowe zadanie jest automatycznie nazwane ze skojarzonym znacznikiem czasu.
  3. (Opcjonalnie) Kliknij nazwę zadania i wprowadź nową nazwę, aby ją edytować.
  4. Kliknij pozycję Dodaj inny typ zadania. Wyszukaj platformę dbt i kliknij kafelek, aby go wybrać.
  5. Wprowadź nazwę zadania.
  6. Użyj rozwijanego menu połączeń platformy dbt, aby wybrać utworzone wcześniej połączenie.
  7. Użyj menu rozwijanego zadania platformy dbt , aby wybrać zadanie platformy dbt, które chcesz zorganizować.
  8. (Opcjonalnie) Aby skonfigurować ponawianie prób, progi czasu trwania działania, progi zaległości strumieniowania lub powiadomienia, zobacz Zaawansowane ustawienia zadania.
  9. Kliknij pozycję Zapisz zadanie.
  10. (Opcjonalnie) Kliknij pozycję Uruchom teraz , aby ręcznie przetestować zadanie.

Aby edytować, sklonować, wyłączyć lub usunąć to zadanie, zobacz Konfigurowanie i edytowanie zadań w Lakeflow Jobs.

Ustaw harmonogram lub wyzwalacz

Zadania można skonfigurować do automatycznego wyzwalania zgodnie z harmonogramem opartym na czasie lub nadejściem nowych danych. Aby dowiedzieć się więcej o dostępnych opcjach, zobacz Automatyzowanie zadań za pomocą harmonogramów i wyzwalaczy.

Uwaga / Notatka

Wyzwalacze ciągłe nie są obsługiwane w przypadku zadań platformy dbt.

Monitorowanie uruchomień

Zadania usługi Lakeflow można monitorować w interfejsie użytkownika usługi Azure Databricks. W przypadku zadań platformy dbt można również otworzyć link wskazujący szczegóły uruchomienia zadania na platformie dbt.

Aby monitorować przebieg:

  1. Kliknij pozycję Zadania i potoki na pasku bocznym obszaru roboczego.

  2. (Opcjonalnie) Wybierz filtry Zadania i Należące do mnie .

  3. Kliknij link Nazwa swojego zadania.

    Zostanie wyświetlona karta Runy w widoku macierzy i listy aktywnych i ukończonych runów.

  4. Kliknij link do uruchomienia w kolumnie Godzina rozpoczęcia w widoku listy uruchomień. Stan zadania na platformie dbt zostaje otwarty.

  5. Kliknij pozycję Wyświetl w dbt , aby wyświetlić szczegóły uruchomienia zadania na platformie dbt.