Automatyzacja konfiguracji katalogu Unity przy użyciu narzędzia Terraform

Można zautomatyzować konfigurację Unity Catalog przy użyciu dostawcy Terraform dla Databricks. Ten artykuł zawiera linki do przewodnika wdrażania dostawcy Terraform dla Unity Catalog oraz dokumentacji referencyjnej zasobów, wraz z wymaganiami ("Przed rozpoczęciem") oraz poradami dotyczącymi walidacji i wdrażania.

Przed rozpoczęciem

Aby zautomatyzować konfigurację katalogu Unity przy użyciu narzędzia Terraform, musisz mieć następujące elementy:

• Twoje konto Azure Databricks musi znajdować się w planie Premium.
• W dzierżawie Azure musisz mieć uprawnienia do tworzenia:
  • Konto do przechowywania do użycia z Azure Data Lake Storage. Zapoznaj się z Tworzenie konta magazynu do użytku z Azure Data Lake Storage.
  • Nowy zasób do przechowywania tożsamości zarządzanej przypisanej przez system. Wymaga to posiadania roli Contributor lub Owner w grupie zasobów w dowolnej subskrypcji w ramach dzierżawy.

Aby użyć dostawcy Terraform dla Databricks do skonfigurowania metamagazynu dla Unity Catalog, obszarów przechowywania dla tego metamagazynu, dowolnej zewnętrznej pamięci masowej i wszystkich powiązanych poświadczeń dostępu, musisz mieć następujące elementy:

• Konto Azure.
• Administrator na poziomie konta na koncie Azure.
• Na twojej lokalnej maszynie do tworzenia oprogramowania musisz mieć:

  • Interfejs CLI Terraform. Sprawdź Pobierz Terraform na stronie Terraform.

  • Azure CLI, zalogowane za pośrednictwem polecenia az login z użytkownikiem, który ma Contributor lub Owner prawa do subskrypcji. Zobacz Jak zainstalować Azure CLI. Aby zalogować się przy użyciu konta użytkownika lub tożsamości usługi, zobacz Zaloguj się za pomocą Azure CLI.

    Notatka

    Podczas uwierzytelniania za pomocą zautomatyzowanych narzędzi, systemów, skryptów i aplikacji najlepszym rozwiązaniem jest zalogowanie się za pomocą polecenia az login za pomocą jednostki usługi Microsoft Entra ID. Zobacz Zaloguj się przy użyciu zasadniczego użytkownika usługi i Uwierzytelnianie z Azure Service Principal.

Aby użyć provider'a Terraform Databricks do skonfigurowania wszystkich innych składników infrastruktury Unity Catalog, musisz mieć następujące elementy:

• Obszar roboczy Azure Databricks.
• Na twojej lokalnej maszynie do tworzenia oprogramowania musisz mieć:
  • Interfejs CLI Terraform. Sprawdź Pobierz Terraform na stronie Terraform.
  • Jedną z następujących czynności:

    • Interfejs wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej, skonfigurowany z użyciem Twojego osobistego tokena dostępu Azure Databricks, uruchamiając databricks configure --host <workspace-url> --profile <some-unique-profile-name>. Zobacz Instalowanie lub aktualizowanie interfejsu wiersza polecenia usługi Databricks i uwierzytelnianie osobistego tokenu dostępu (starsza wersja).

      Notatka

      Najlepszą praktyką w zakresie zabezpieczeń jest używanie osobistych tokenów dostępu należących do serwisów, a nie użytkowników obszaru roboczego, podczas uwierzytelniania za pomocą zautomatyzowanych narzędzi, systemów, skryptów i aplikacji. Usługa Databricks zaleca ten sposób postępowania. Aby utworzyć tokeny dla jednostek usługi, zobacz Zarządzanie tokenami dla jednostki usługi.

    • Azure CLI, zalogowane za pomocą polecenia az login. Zobacz Jak zainstalować Azure CLI. Aby zalogować się przy użyciu konta użytkownika lub tożsamości usługi, zobacz Zaloguj się za pomocą Azure CLI.

      Notatka

      Podczas uwierzytelniania za pomocą zautomatyzowanych narzędzi, systemów, skryptów i aplikacji najlepszym rozwiązaniem jest zalogowanie się za pomocą polecenia az login za pomocą jednostki usługi Microsoft Entra ID. Zobacz Zaloguj się przy użyciu zasadniczego użytkownika usługi i Uwierzytelnianie z Azure Service Principal.

    • Następujące dwie zmienne środowiskowe Azure Databricks:

      • DATABRICKS_HOST, ustaw na wartość adresu URL wystąpienia obszaru roboczego ; na przykład https://dbc-1234567890123456.cloud.databricks.com
      • DATABRICKS_TOKEN ustaw na wartość swojego osobistego tokenu dostępu lub tokenu Microsoft Entra ID (wcześniej Azure Active Directory). Zobacz też Monitorowanie i odwoływanie osobistych tokenów dostępu.

      Aby ustawić te zmienne środowiskowe, zapoznaj się z dokumentacją systemu operacyjnego.

      Notatka

      Najlepszą praktyką w zakresie zabezpieczeń jest używanie osobistych tokenów dostępu należących do serwisów, a nie użytkowników obszaru roboczego, podczas uwierzytelniania za pomocą zautomatyzowanych narzędzi, systemów, skryptów i aplikacji. Usługa Databricks zaleca ten sposób postępowania. Aby utworzyć tokeny dla jednostek usługi, zobacz Zarządzanie tokenami dla jednostki usługi.

Przewodnik wdrażania dostawcy Terraform dla katalogu Unity i dokumentacja odniesienia zasobów

Aby dowiedzieć się, jak wdrożyć wszystkie wymagania wstępne i włączyć Unity Catalog dla obszaru roboczego, zobacz Wdrażanie zasobów wstępnych i włączanie Unity Catalog w dokumentacji dostawcy narzędzia Terraform usługi Databricks.

Jeśli masz już jakieś składniki infrastruktury Unity Catalog, możesz użyć narzędzia Terraform do wdrożenia dodatkowych składników infrastruktury Unity Catalog w miarę potrzeb. Zapoznaj się z każdą sekcją przewodnika, wspomnianych w poprzednim akapicie oraz z sekcją Katalog Unity w dokumentacji Databricks Terraform provider.

Weryfikowanie, planowanie, wdrażanie lub niszczenie zasobów

• Aby zweryfikować składnię konfiguracji programu Terraform bez ich wdrażania, uruchom polecenie terraform validate.
• Aby wyświetlić akcje wykonywane przez program Terraform w celu wdrożenia konfiguracji, uruchom polecenie terraform plan. To polecenie w rzeczywistości nie wdraża konfiguracji.
• Aby wdrożyć konfiguracje, uruchom polecenie terraform deploy.
• Aby usunąć wdrożone zasoby, uruchom polecenie terraform destroy.