Automatisieren der Einrichtung von Unity Catalog mit Terraform

Sie können die Unity-Katalogeinrichtung mithilfe des Databricks Terraform-Anbieters automatisieren. Dieser Artikel bietet Links zum Bereitstellungsleitfaden des Terraform-Anbieters Unity Catalog sowie zur Ressourcenreferenzdokumentation sowie zu Anforderungen, Validierungs- und Bereitstellungstipps.

Requirements

Um die Einrichtung des Unity-Katalogs mithilfe von Terraform zu automatisieren, müssen Sie folgendes haben:

• Ihr Azure Databricks Konto muss sich im Premium-Plan befinden.
• In Ihrem Azure-Mandanten brauchen Sie dazu die Berechtigung zum Erstellen von:
  • Ein Speicherkonto, das mit Azure Data Lake Storage verwendet werden soll. Siehe Erstellen eines Speicherkontos zur Verwendung mit Azure Data Lake Storage.
  • Eine neue Ressource, die eine vom System zugewiesene verwaltete Identität enthalten soll. Dies erfordert, dass Sie Contributor oder Owner einer Ressourcengruppe in einem beliebigen Abonnement im Mandanten sind.

Um den Databricks Terraform-Anbieter zum Konfigurieren eines Metastores für Unity-Katalog, speicher für den Metastore, jeden externen Speicher und alle zugehörigen Zugriffsanmeldeinformationen zu verwenden, müssen Sie folgendes haben:

• Ein Azure Konto.
• Ein Administratorbenutzer auf Kontoebene in Ihrem Azure Konto.
• Auf Ihrem lokalen Entwicklungscomputer benötigen Sie Folgendes:

  • Die Terraform-Befehlszeilenschnittstelle. Siehe Download Terraform auf der Terraform-Website .

  • Die Azure-Befehlszeilenschnittstelle, angemeldet über den az login-Befehl mit Benutzenden, die über Contributor- oder Owner-Rechte für Ihr Abonnement verfügen. Siehe Wie installieren Sie die Azure CLI. Informationen zum Anmelden mit einem Benutzerkonto oder Dienstprinzipal finden Sie unter Sign in with the Azure CLI.

    Hinweis

    Wenn Sie sich bei automatisierten Tools, Systemen, Skripts und Apps authentifizieren, empfiehlt es sich, sich über den az login-Befehl mit einem Microsoft Entra ID-Dienstprinzipal anzumelden. Siehe Anmelden mit einem Dienstprinzipal und Authentifizierung mit Azure-Serviceprinzipal.

Um den Databricks Terraform-Anbieter zum Konfigurieren aller anderen Unity Catalog-Infrastrukturkomponenten zu verwenden, müssen Sie folgendes haben:

• Ein Azure Databricks Arbeitsbereich.
• Auf Ihrem lokalen Entwicklungscomputer benötigen Sie Folgendes:
  • Die Terraform-Befehlszeilenschnittstelle. Siehe Download Terraform auf der Terraform-Website .
  • Eins der folgenden:

    • Databricks CLI-Versionen 0.205 oder höher, die mit Ihrem persönlichen Azure Databricks-Zugriffstoken konfiguriert sind. Führen Sie dazu databricks configure --host <workspace-url> --profile <some-unique-profile-name> aus. Siehe auch Installieren oder Aktualisieren der Databricks CLI und Authentifizierung mit persönlichem Zugriffstoken (Legacy).

      Hinweis

      Als bewährte Sicherheitsmaßnahme empfiehlt Databricks, dass Sie bei der Authentifizierung mit automatisierten Tools, Systemen, Skripten und Apps persönliche Zugriffstoken von Dienstprinzipalen anstelle von Arbeitsbereichsbenutzern verwenden. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter "Verwalten von Token für einen Dienstprinzipal".

    • Der Azure CLI, der über den Befehl az login angemeldet ist. Siehe Wie installieren Sie die Azure CLI. Informationen zum Anmelden mit einem Benutzerkonto oder Dienstprinzipal finden Sie unter Sign in with the Azure CLI.

      Hinweis

      Wenn Sie sich bei automatisierten Tools, Systemen, Skripts und Apps authentifizieren, empfiehlt es sich, sich über den az login-Befehl mit einem Microsoft Entra ID-Dienstprinzipal anzumelden. Siehe Anmelden mit einem Dienstprinzipal und Authentifizierung mit Azure-Serviceprinzipal.

    • Die folgenden beiden Azure Databricks Umgebungsvariablen:

      • DATABRICKS_HOST, festgelegt uaf den Wert Ihrer Arbeitsbereichsinstanz-URL, z. B. https://dbc-1234567890123456.cloud.databricks.com
      • DATABRICKS_TOKEN, festgelegt auf den Wert Ihres persönlichen Zugriffstokens von Azure Databricks oder des Tokens von Microsoft Entra ID (zuvor Azure Active Directory). Siehe auch Überwachen und Widerrufen von persönlichen Zugriffstoken.

      Informationen zum Festlegen dieser Umgebungsvariablen finden Sie in der Dokumentation Ihres Betriebssystems.

      Hinweis

      Als bewährte Sicherheitsmaßnahme empfiehlt Databricks, dass Sie bei der Authentifizierung mit automatisierten Tools, Systemen, Skripten und Apps persönliche Zugriffstoken von Dienstprinzipalen anstelle von Arbeitsbereichsbenutzern verwenden. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter "Verwalten von Token für einen Dienstprinzipal".

Unity Catalog-Bereitstellungshandbuch für den Terraform-Anbieter und Ressourcenreferenzdokumentation

Informationen zum Bereitstellen aller Voraussetzungen und zum Aktivieren des Unity-Katalogs für einen Arbeitsbereich finden Sie unter Bereitstellen von erforderlichen Ressourcen und Aktivieren des Unity-Katalogs in der Databricks Terraform-Anbieterdokumentation.

Wenn Sie bereits über einige Unity Catalog-Infrastrukturkomponenten verfügen, können Sie Terraform verwenden, um bei Bedarf zusätzliche Unity Catalog-Infrastrukturkomponenten bereitzustellen. Lesen Sie jeden Abschnitt des Leitfadens, auf den im vorherigen Absatz verwiesen wird, und den Unity-Katalogabschnitt der Databricks Terraform-Anbieterdokumentation.

Überprüfen, Planen, Bereitstellen oder Zerstören der Ressourcen

• Führen Sie den terraform validate Befehl aus, um die Syntax der Terraform-Konfigurationen zu überprüfen, ohne sie bereitzustellen.
• Um die Aktionen anzuzeigen, die Terraform ausführen würde, um die Konfigurationen bereitzustellen, führen Sie den terraform plan Befehl aus. Dieser Befehl stellt die Konfigurationen nicht tatsächlich bereit.
• Führen Sie den terraform deploy Befehl aus, um die Konfigurationen bereitzustellen.
• Führen Sie den terraform destroy Befehl aus, um die bereitgestellten Ressourcen zu löschen.