Używanie zarządzanych tożsamości Azure w Unity Catalog do uzyskiwania dostępu do magazynu

Na tej stronie opisano sposób używania tożsamości zarządzanych Azure do nawiązywania połączenia z kontenerami Storage w imieniu użytkowników Unity Catalog.

Co to są tożsamości zarządzane Azure?

Unity Catalog można skonfigurować do używania azure'owej tożsamości zarządzanej w celu uzyskiwania dostępu do kontenerów pamięci w imieniu użytkowników Unity Catalog. Tożsamości zarządzane zapewniają tożsamość aplikacji do użycia podczas nawiązywania połączenia z zasobami obsługującymi uwierzytelnianie Microsoft Entra ID.

Możesz używać tożsamości zarządzanych w Unity Catalog, aby obsługiwać dwa główne przypadki użycia:

  • Jako tożsamość do łączenia się z zarządzanymi kontami magazynu metadanych (gdzie przechowywane są tabele zarządzane).
  • W roli tożsamości do łączenia się z innymi zewnętrznymi kontami magazynu (czy to w przypadku dostępu opartego na plikach, czy uzyskiwania dostępu do istniejących zestawów danych za pośrednictwem tabel zewnętrznych).

Konfigurowanie Unity Catalog przy użyciu tożsamości zarządzanej ma następujące zalety w porównaniu z konfigurowaniem Unity Catalog przy użyciu zasady usługi:

Konfigurowanie tożsamości zarządzanej dla Unity Catalog

Aby skonfigurować tożsamość zarządzaną do użycia z Unity Catalog, należy najpierw utworzyć łącznik dostępu dla Azure Databricks. Domyślnie łącznik dostępu zostanie wdrożony przy użyciu tożsamości zarządzanej przypisanej przez system. Zamiast tego możesz dołączyć tożsamość zarządzaną przypisaną przez użytkownika. Następnie udzielasz tożsamości zarządzanej dostępu do konta Azure Data Lake Storage i używasz łącznika dostępu podczas tworzenia metamagazynu katalogu Unity lub poświadczeń magazynowych.

Wymagania

Użytkownik lub jednostka usługi Azure, który tworzy łącznik dostępu, musi:

  • Bądź Contributor lub Owner grupy zasobów Azure.

Użytkownik Azure lub jednostka usługi, który przyznaje tożsamość zarządzaną kontu magazynu, musi:

  • Być Owner lub użytkownikiem z rolą User Access Administrator Azure RBAC w koncie magazynowym.

Krok 1: Tworzenie łącznika dostępu dla Azure Databricks

Łącznik dostępu dla Azure Databricks to pierwszoosobowy zasób Azure, który umożliwia połączenie zarządzanych tożsamości z kontem Azure Databricks. Każdy łącznik dostępu dla Azure Databricks może zawierać tożsamość zarządzaną przypisaną przez system, co najmniej jedną tożsamość zarządzaną przypisaną przez użytkownika lub obie te tożsamości.

  1. Zaloguj się do Azure Portal jako współautor lub właściciel grupy zasobów.

  2. Kliknij pozycję + Utwórz lub Utwórz nowy zasób.

  3. Wyszukaj Access Connector dla Azure Databricks i wybierz go.

  4. Kliknij pozycję Utwórz.

  5. Na karcie Podstawowe zaakceptuj, wybierz lub wprowadź wartości dla następujących pól:

    • Subscription: jest to subskrypcja Azure, w której zostanie utworzony łącznik dostępu. Wartość domyślna to subskrypcja Azure, której obecnie używasz. Może to być dowolna subskrypcja w dzierżawie.
    • Grupa zasobów: jest to grupa zasobów Azure, w której zostanie utworzony łącznik dostępu.
    • Nazwa: wprowadź nazwę wskazującą przeznaczenie łącznika.
    • Region: powinien to być ten sam region co konto przechowywania.
  6. Kliknij przycisk Dalej, wprowadź tagi, a następnie kliknij przycisk Dalej.

  7. Na karcie Tożsamość Zarządzana utwórz tożsamości zarządzane w następujący sposób:

    • Aby użyć tożsamości zarządzanej przypisanej przez system, ustaw stan na w
    • Aby dodać tożsamości zarządzane przypisane przez użytkownika, kliknij pozycję + Dodaj i wybierz co najmniej jedną tożsamość zarządzaną przypisaną przez użytkownika.

    Konfigurowanie tożsamości zarządzanych dla łącznika dostępu.

  8. Kliknij Przejrzyj i utwórz.

  9. Po wyświetleniu komunikatu Weryfikacja przekazana kliknij przycisk Utwórz.

  10. Po zakończeniu wdrażania kliknij przycisk Przejdź do zasobu.

  11. Zanotuj Identyfikator zasobu.

    Identyfikator zasobu ma format:

    /subscriptions/12f34567-8ace-9c10-111c-aea8eba12345/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
    

Krok 2: Udziel tożsamości zarządzanej dostępu do konta magazynowego

Aby udzielić uprawnień w tym kroku, musisz mieć rolę Owner lub User Access Administrator Azure RBAC na koncie usługi przechowywania.

Podczas udzielania tożsamości zarządzanej dostępu do konta magazynu i kontenera są dostępne następujące opcje:

  • Udziel dostępu do odczytu i zapisu na całym koncie magazynu za pomocą roli Storage Blob Data Contributor.
  • Przyznaj bardziej ograniczoną rolę na koncie przechowywania przy użyciu roli Storage Blob Delegator, oraz przyznaj dostęp do odczytu i zapisu do określonego kontenera przy użyciu roli Storage Blob Data Contributor.

W poniższych instrukcjach zakłada się, że przyznajesz rolę Storage Blob Data Contributor na koncie magazynu, ale w razie potrzeby można zastąpić ją innymi opcjami:

  1. Zaloguj się do konta Azure Data Lake Storage.
  2. Przejdź do Access Control (IAM) kliknij pozycję + Dodaj i wybierz pozycję Dodaj przypisanie roli.
  3. Wybierz rolę Storage Blob Data Contributor i kliknij Dalej.
  4. W sekcji Przypisz dostęp do wybierz Tożsamość zarządzaną.
  5. Kliknij +Wybierz członków i wybierz albo łącznik dostępu do Azure Databricks, albo tożsamość zarządzaną przypisaną przez użytkownika.
  6. Wyszukaj nazwę łącznika lub tożsamość przypisaną przez użytkownika, wybierz ją, a następnie kliknij pozycję Przejrzyj i przypisz.

Krok 3. Udzielanie tożsamości zarządzanej dostępu do zdarzeń dotyczących plików

Uprawnienia do zdarzeń plików umożliwiają usłudze Databricks konfigurowanie infrastruktury powiadomień i zarządzanie nią, która przekazuje metadane o zmianach w plikach z konta magazynu ADLS do usługi Databricks przy użyciu kolejek usługi Azure Storage i usługi Event Grid. Nie udzielają one żadnego nowego dostępu do Twoich danych; zawartość pliku nigdy nie jest przesyłana za pośrednictwem tej infrastruktury.

  • Współautor danych kolejki usługi Storage: umożliwia usłudze Databricks subskrybowanie powiadomień o zdarzeniach zmiany plików z kolejki usługi Azure Storage.
  • Storage Account Contributor: umożliwia usłudze Databricks automatyczne tworzenie kolejki usługi Azure Storage i konfigurowanie routingu zdarzeń. Bez tej roli musisz utworzyć kolejkę magazynu i ręcznie skonfigurować subskrypcję zdarzeń.
  • EventGrid Data Contributor: umożliwia usłudze Databricks automatyczne konfigurowanie subskrypcji usługi Event Grid, które kierują zdarzenia zmian plików do kolejki magazynu. Bez tej roli należy ręcznie skonfigurować subskrypcję zdarzeń.

Aby przypisać te role i włączyć zdarzenia plików dla lokalizacji zewnętrznych, zobacz Konfigurowanie zdarzeń plików dla lokalizacji zewnętrznej.

Użyj tożsamości zarządzanej, aby uzyskać dostęp do głównego konta magazynu katalogu Unity

W tej sekcji opisano sposób udzielenia tożsamości zarządzanej dostępu do konta magazynu głównego podczas tworzenia magazynu metadanych Unity Catalog.

Aby dowiedzieć się, jak uaktualnić istniejące metadane wykazu Unity do korzystania z tożsamości zarządzanej, zobacz Uaktualnij istniejące metadane wykazu Unity, aby użyć tożsamości zarządzanej w celu dostępu do magazynu głównego.

  1. Jako administrator konta Azure Databricks zaloguj się do konsoli konta Azure Databricks.

  2. Kliknij ikonę Dane.Wykaz.

  3. Kliknij Utwórz magazyn metadanych.

  4. Wprowadź wartości w następujących polach:

    • Nazwa magazynu metadanych.

    • Region , w którym zostanie wdrożony magazyn metadanych.

      Aby uzyskać najlepszą wydajność, znajdź łącznik dostępu, obszary robocze, magazyn metadanych i lokalizację magazynu w chmurze w tym samym regionie chmury.

    • Ścieżka usługi ADLS Gen 2: wprowadź ścieżkę do kontenera magazynu, który będzie używany jako główna pamięć masowa dla magazynu metadanych.

      Upewnij się, że ścieżka zaczyna się od abfss://.

    • Access Connector ID: wprowadź identyfikator zasobu łącznika dostępu Azure Databricks w formacie:

      /subscriptions/12f34567-8ace-9c10-111c-aea8eba12345/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
      
    • (Opcjonalnie) Identyfikator tożsamości zarządzanej: jeśli łącznik dostępu został utworzony przy użyciu tożsamości zarządzanej przypisanej przez użytkownika, wprowadź identyfikator zasobu tożsamości zarządzanej.

  5. Kliknij pozycję Utwórz.

  6. Po wyświetleniu monitu wybierz obszary robocze do połączenia z magazynem metadanych.

Użyj zarządzanej tożsamości, aby uzyskać dostęp do zewnętrznego magazynu zarządzanego w Unity Catalog

Unity Catalog umożliwia dostęp do istniejących danych na kontach przechowywania danych przy użyciu poświadczeń przechowywania i lokalizacji zewnętrznych. Poświadczenia magazynowe przechowują tożsamość zarządzaną, a lokalizacje zewnętrzne określają ścieżkę do magazynu oraz zawierają odniesienie do poświadczeń magazynowych. Za pomocą tego podejścia można udzielić i kontrolować dostęp do istniejących danych w przechowywaniu w chmurze oraz rejestrować tabele zewnętrzne w Unity Catalog.

Poświadczenie magazynowe może zawierać tożsamość zarządzaną lub tożsamość usługową. Użycie tożsamości zarządzanej daje możliwość uzyskiwania przez Unity Catalog dostępu do kont magazynu chronionych przez reguły sieci, co nie jest możliwe przy użyciu podmiotów usługi, i eliminuje potrzebę zarządzania tajnymi kluczami i ich rotacji.

Aby utworzyć poświadczenia magazynu przy użyciu tożsamości zarządzanej i przypisać to poświadczenie magazynu do lokalizacji zewnętrznej, zobacz Połączenie z lokalizacją zewnętrzną Azure Data Lake Storage Gen2 (ADLS Gen2), .

Jeśli obszar roboczy Azure Databricks jest wdrożony we własnej sieci wirtualnej Azure, znanej również jako "VNet injection", i używasz zapory ogniowej do ochrony konta Azure Data Lake Storage, musisz:

  1. Włącz obszar roboczy Azure Databricks, aby uzyskać dostęp do Azure Storage.
  2. Włącz tożsamość zarządzaną, aby uzyskać dostęp do Azure Storage.

Krok 1. Włącz obszar roboczy Azure Databricks, aby uzyskać dostęp do Azure Storage.

Należy skonfigurować ustawienia sieciowe, aby umożliwić obszarowi roboczemu Azure Databricks dostęp do Azure Data Lake Storage. Najpierw upewnij się, że obszar roboczy Azure Databricks jest wdrożony we własnej sieci wirtualnej po Deploy Azure Databricks w sieci wirtualnej Azure (iniekcja sieci wirtualnej). Następnie można skonfigurować prywatne punkty końcowe lub dostęp z twojej sieci wirtualnej, aby zezwalać na połączenia z podsieci do konta Azure Data Lake Storage.

Jeśli używasz bezserwerowych zasobów obliczeniowych, takich jak bezserwerowe magazyny SQL, musisz udzielić dostępu z bezserwerowej płaszczyzny obliczeniowej do Azure Data Lake Storage. Zobacz Sieciowanie bezserwerowej warstwy obliczeniowej.

Krok 2. Włączanie tożsamości zarządzanej w celu uzyskania dostępu do Azure Storage

Ten krok jest niezbędny tylko wtedy, gdy opcja "Zezwalaj na usługi Azure na liście zaufanych usług na dostęp do tego konta magazynowego" jest wyłączona dla konta Azure Storage. Jeśli ta konfiguracja jest włączona:

  • Każdy łącznik dostępu dla Azure Databricks w tej samej dzierżawie co konto magazynowe może uzyskać dostęp do tego konta.
  • Każda zaufana przez Azure usługa może uzyskać dostęp do konta magazynowego. Zobacz Udziel dostępu do zaufanych usług Azure.

Poniższe instrukcje zawierają krok, w którym wyłączysz tę konfigurację. Możesz użyć Azure Portal lub Azure CLI.

Korzystanie z Azure Portal

  1. Zaloguj się do Azure Portal, znajdź i wybierz konto Azure Storage, a następnie przejdź do karty Networking.

  2. Ustaw dostęp do sieci publicznej na włączony z wybranych sieci wirtualnych i adresów IP.

    Zamiast tego można ustawić dostęp do sieci publicznej na wartość Disabled. Tożsamość zarządzana może służyć do obejścia kontroli dostępu do sieci publicznej.

  3. W obszarze Resource instances, wybierz typ Resource typeMicrosoft.Databricks/accessConnectors i wybierz łącznik dostępu Azure Databricks.

  4. W obszarze Wyjątki odznacz pole wyboru Zezwól usługom Azure na liście zaufanych usług na dostęp do tego konta magazynowego.

Korzystanie z Azure CLI

  1. Zainstaluj interfejs wiersza poleceń Azure (CLI) i zaloguj się. Aby zalogować się przy użyciu konta użytkownika lub jednostki usługi, zobacz Zaloguj się przy użyciu Azure CLI.

  2. Dodaj regułę sieciową do konta magazynowego.

    az storage account network-rule add \
    -–subscription <subscription id of the resource group> \
    -–resource-id <resource Id of the access connector for Azure Databricks> \
    -–tenant-id <tenant Id> \
    -g <name of the Azure Storage resource group> \
    -–account-name <name of the Azure Storage resource> \
    

    Dodaj identyfikator zasobu w formacie:

    /subscriptions/12f34567-8ace-9c10-111c-aea8eba12345/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
    
  3. Po utworzeniu reguły sieciowej przejdź do konta usługi Azure Storage w Azure Portal i wyświetl zarządzaną tożsamość w karcie Sieci pod sekcją Instancje zasobów, typ zasobu Microsoft.Databricks/accessConnectors.

  4. W obszarze Wyjątki odznacz pole wyboru Zezwól usługom Azure na liście zaufanych usług na dostęp do tego konta magazynowego.

  5. Opcjonalnie, ustaw Dostęp do sieci publicznej na Wyłączone. Tożsamość zarządzana może służyć do obejścia kontroli dostępu do sieci publicznej.

    Standardowe podejście polega na utrzymaniu tego ustawienia jako Włączone dla wybranych sieci wirtualnych i adresów IP.

Serverless SQL warehouses to zasoby obliczeniowe uruchamiane w subskrypcji Azure dla Azure Databricks, a nie w Twojej subskrypcji Azure. Jeśli skonfigurujesz zaporę na Azure Data Lake Storage i planujesz używać bezserwerowych magazynów SQL Warehouse, musisz skonfigurować zaporę tak, aby zezwalała na dostęp z bezserwerowych magazynów SQL.

Aby uzyskać instrukcje, zobacz Jak skonfigurować zaporę dla dostępu do obliczeń bezserwerowych.

Uaktualnij istniejący metastore Unity Catalog, aby użyć zarządzanej tożsamości w celu uzyskania dostępu do pamięci głównej

Jeśli masz metamagazyn Unity Catalog, który został utworzony przy użyciu głównego punktu usługowego i chcesz uaktualnić go, aby korzystał z tożsamości zarządzanej, możesz zaktualizować go za pomocą wywołania API.

  1. Utwórz Connector dostępu dla Azure Databricks i przypisz mu uprawnienia do kontenera magazynu, który jest używany jako główny magazyn metadanych Unity Catalog, korzystając z instrukcji w Konfiguruj tożsamość zarządzaną dla Unity Catalog.

    Łącznik dostępu można utworzyć przy użyciu tożsamości zarządzanej przypisanej przez system lub tożsamości zarządzanej przypisanej przez użytkownika.

    Zanotuj identyfikator zasobu łącznika dostępu. Jeśli używasz tożsamości zarządzanej przypisanej przez użytkownika, zanotuj również jej identyfikator zasobu.

  2. Jako administrator konta zaloguj się do obszaru roboczego Azure Databricks przypisanego do magazynu metadanych.

    Nie musisz być administratorem obszaru roboczego.

  3. Wygeneruj osobisty token dostępu.

  4. Utwórz profil konfiguracji uwierzytelniania Azure Databricks w środowisku lokalnym zawierającym następujące elementy:

    • Nazwa wystąpienia obszaru roboczego i identyfikator obszaru roboczego, w którym wygenerowano osobisty token dostępu.
    • Wartość osobistego tokenu dostępu.

    Zobacz Osobiste uwierzytelnianie tokenu dostępu (starsza wersja).

  5. Użyj Databricks CLI, aby uruchomić następujące polecenie do ponownego utworzenia poświadczeń magazynu.

    Zastąp wartości zastępcze:

    • <credential-name>: nazwa poświadczeń magazynowych.
    • <access-connector-id>: identyfikator zasobu łącznika dostępu Azure Databricks w formacie /subscriptions/12f34567-8ace-9c10-111c-aea8eba12345/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
    • <managed-identity-id>: Jeśli łącznik dostępu został utworzony przy użyciu tożsamości zarządzanej przypisanej przez użytkownika, określ identyfikator zasobu tożsamości zarządzanej.
    • <profile-name>: nazwa profilu konfiguracji uwierzytelniania Azure Databricks.
    databricks storage-credentials create --json '{
      "name\": "<credential-name>",
      "azure_managed_identity": {
        "access_connector_id": "<access-connector-id>",
        "managed_identity_id": "<managed-identity-id>"
      }
    }' --profile <profile-name>
    
  6. Zanotuj identyfikator poświadczenia magazynu podany w odpowiedzi.

  7. Uruchom następujące polecenie CLI Databricks, aby pobrać metastore_id. Zastąp <profile-name> nazwą profilu konfiguracji uwierzytelniania Azure Databricks.

    databricks metastores summary --profile <profile-name>
    
  8. Uruchom następujące polecenie w Databricks CLI, aby zaktualizować metastore, używając nowego poświadczenia magazynu głównego.

    Zastąp wartości zastępcze:

    • <metastore-id>: identyfikator magazynu metadanych pobrany w poprzednim kroku.
    • <storage-credential-id>: identyfikator poświadczeń magazynu.
    • <profile-name>: nazwa profilu konfiguracji uwierzytelniania Azure Databricks.
    databricks metastores update <metastore-id> \
    --storage-root-credential-id <storage-credential-id> \
    --profile <profile-name>