連線並管理 Microsoft Purview 中的 Azure Databricks

重要事項

僅淘汰 Microsoft Purview 資料控管功能

Microsoft Purview 統一目錄和傳統 Microsoft Purview 資料控管功能 (先前的 Azure Purview) 即將淘汰。 整個 Microsoft Purview 並未淘汰。 Microsoft Purview 資料安全性與合規性功能不受此公告影響,且 Microsoft 會繼續投資於此功能。

Microsoft 正在 Microsoft Fabric 中合併 其資料控管 功能。 無法再建立新的 Microsoft Purview 資料控管帳戶,而且現有的資料控管功能將維持在維護模式,直到 2027 年 11 月 12 日為止。

如需淘汰時間表、轉換指引,以及建議的後續步驟,請參閱 Microsoft Purview 資料控管淘汰公告。

本文概述如何註冊 Azure Databricks,以及如何在 Microsoft Purview 中驗證 Azure Databricks 並與之互動。 如需有關 Microsoft Purview 的詳細資訊,請參閱簡介 文章。

支援的功能

掃描功能

中繼資料擷取 完整掃描 累加式掃描 範圍掃描
是 是 否 是

注意事項

此連接器會從 Azure Databricks 工作區範圍的 Hive 中繼存放區提供中繼資料。 若要掃描 Azure Databricks Unity Catalog 中的中繼資料,請參閱 Azure Databricks Unity Catalog 連接器。

掃描 Azure Databricks Hive 中繼存放區時,Microsoft Purview 支援:

  • 擷取技術中繼資料,包括:

    • Azure Databricks 工作區
    • 登錄區伺服器
    • 資料庫
    • 資料表,包括資料行、外部索引鍵、唯一限制式和儲存體描述
    • 檢視包括資料行和儲存空間描述
  • 外部資料表與 Azure Data Lake Storage Gen2/Azure Blob 資產之間的擷取關係 (外部位置) 。

  • 根據檢視定義擷取資料表和檢視之間的靜態沿襲。

設定掃描時,您可以選擇掃描整個 Hive 中繼存放區,或將掃描範圍限定為結構描述的子集。

相較於透過一般 Hive Metastore 連接器 掃描,如果您較早使用它來掃描 Azure Databricks:

  • 您可以直接設定 Azure Databricks 工作區的掃描,而不需要直接的 HMS 存取權。 它使用 Databricks 個人存取權杖進行驗證,並連線到叢集以執行掃描。
  • 將擷取 Databricks 工作區資訊。
  • 將擷取資料表與儲存資產之間的關係。

其他功能

如需 分類、 敏感度標籤、 原則、 資料沿襲和 即時檢視,請參閱 支援的功能清單。

已知限制

當您從資料來源刪除物件時,後續掃描不會自動移除 Purview 中的對應資產。

必要條件

  • 您必須擁有具有有效訂閱的 Azure 帳戶。 免費建立帳戶。

  • 您必須擁有有效的 Microsoft Purview 帳戶。

  • 您需要 Azure 金鑰保存庫,並 授與 Microsoft Purview 存取密碼的權限。

  • 您需要資料來源系統管理員和資料讀取者權限,才能在 Microsoft Purview 管理入口網站註冊來源並加以管理。 如需權限的詳細資訊,請參閱 Microsoft Purview 中的存取控制。

  • 設定最新的 自我裝載整合執行階段。 如需詳細資訊,請參閱 建立及設定自我裝載整合執行階段。 最低支援的自我裝載 Integration Runtime 版本為 5.20.8227.2。

    • 確定已在安裝自我裝載整合執行階段的電腦上安裝 JDK 11 。 在您新安裝 JDK 之後,請重新啟動電腦,使其生效。

    • 請確定執行自我裝載整合執行階段的電腦上已安裝 Visual C++ 可轉散發 (版 Visual Studio 2012 Update 4 或更新版本) 。 如果您尚未安裝此更新, 請立即下載。

  • 在 Azure Databricks 工作區中:

    • 產生個人存取權杖,並將其作為祕密儲存在 Azure Key Vault 中。

    • 建立叢集。 請注意叢集識別碼 - 您可以在 Azure Databricks 工作區 -> 計算 -> 您的叢集 -> 標記 -> 自動新增的標記 ->ClusterId中找到。

    • 請確定使用者具有下列 權限 ,才能連線到 Azure Databricks 叢集:

      • 可以附加至 權限來連線至執行中的叢集。
      • Can Restart 權限可在連線時叢集狀態終止時自動觸發叢集啟動。

登錄

本節說明如何使用 Microsoft Purview 治理入口網站在 Microsoft Purview 中註冊 Azure Databricks 工作區。

  1. 移至您的 Microsoft Purview 帳戶。

  2. 選取左窗格中的 [資料對應 ]。

  3. 選取 [登錄]。

  4. 在 [註冊來源] 中,選取 [Azure Databricks>繼續]。

  5. 在 [ (Azure Databricks 註冊來源) ] 畫面上,完成下列步驟:

    1. 針對 [名稱],輸入 Microsoft Purview 列為資料來源的名稱。

    2. 針對 [Azure 訂閱 和 Databricks 工作區名稱],請從下拉式清單中選取您要掃描的訂用帳戶和工作區。 Databricks 工作區 URL 會自動填入。

    3. 從清單中選取集合。

    註冊 Azure Databricks 來源的螢幕擷取畫面。

  6. 選取 [完成]。

掃描

提示

若要疑難排解掃描的任何問題:

  1. 確認您遵循所有 先決條件。
  2. 檢閱 掃描疑難排解文件。

使用下列步驟掃描 Azure Databricks 以自動識別資產。 如需一般掃描的詳細資訊,請參閱 Microsoft Purview 中的掃描和擷取。

  1. 在 Management Center 中,選取整合執行階段。 確定已設定自我裝載整合執行階段。 如果未設定,請使用 建立和管理自我裝載整合執行階段中的步驟。

  2. 移至「來源」。

  3. 選取已註冊的 Azure Databricks。

  4. 選取 [+ 新增掃描]。

  5. 提供下列詳細資料:

    1. 名稱:輸入掃描的名稱。

    2. 提取方法: 指示從 Hive 中繼存放區或 Unity Catalog 擷取中繼資料。 選取 登錄區中繼存放區。

    3. 透過整合執行階段連線:選取已設定的自我裝載整合執行階段。

    4. 認證:選取認證以連線至您的資料來源。 請務必:

      • 建立認證時選取 [存取權杖驗證 ]。
      • 在適當的方塊中,提供您在 [先決條件] 中建立之個人存取權杖的祕密名稱。

      如需詳細資訊,請參閱 Microsoft Purview 中來源驗證的認證。

    5. 叢集識別碼:指定 Microsoft Purview 連線到並為掃描提供電源的叢集識別碼。 您可以在 Azure Databricks 工作區 -> 計算 -> 您的叢集 -> 標記 -> 自動新增的標記 ->ClusterId中找到它。

      1. 掛接點:當您將外部儲存體手動掛接到 Databricks 時,請提供掛接點和 Azure 儲存體來源位置字串。 請使用格式 /mnt/<path>=abfss://<container>@<adls_gen2_storage_account>.dfs.core.windows.net/;/mnt/<path>=wasbs://<container>@<blob_storage_account>.blob.core.windows.net。 它用於擷取資料表與 Microsoft Purview 中對應儲存體資產之間的關聯。 此為選用設定。 如果未指定,則不會擷取關聯。

      您可以在筆記本中執行以下 Python 命令,以獲取 Databricks 工作區中的掛接點清單:

      dbutils.fs.mounts()
      

      它會列印所有掛接點,如下所示:

      [MountInfo(mountPoint='/databricks-datasets', source='databricks-datasets', encryptionType=''),
      MountInfo(mountPoint='/mnt/ADLS2', source='abfss://samplelocation1@azurestorage1.dfs.core.windows.net/', encryptionType=''),
      MountInfo(mountPoint='/databricks/mlflow-tracking', source='databricks/mlflow-tracking', encryptionType=''), 
      MountInfo(mountPoint='/mnt/Blob', source='wasbs://samplelocation2@azurestorage2.blob.core.windows.net', encryptionType=''),
      MountInfo(mountPoint='/databricks-results', source='databricks-results', encryptionType=''),
      MountInfo(mountPoint='/databricks/mlflow-registry', source='databricks/mlflow-registry', encryptionType=''), MountInfo(mountPoint='/', source='DatabricksRoot', encryptionType='')]  
      

      在此範例中,請指定下列項目做為掛接點:

      /mnt/ADLS2=abfss://samplelocation1@azurestorage1.dfs.core.windows.net/;/mnt/Blob=wasbs://samplelocation2@azurestorage2.blob.core.windows.net

    6. 架構:要匯入的架構子集,以分號分隔的架構清單表示。 例如,schema1;schema2。 如果該清單是空的,則會匯入所有使用者結構描述。 預設會忽略所有系統架構和物件。

      可接受的結構描述名稱模式可以是靜態名稱或包含萬用字元 %。 例如:A%;%B;%C%;D

      • 以 A 或
      • 結尾為 B 或
      • 包含 C 或
      • 等於 D

      不能接受使用 NOT 和特殊字元。

      注意事項

      自託管整合執行階段版本 5.32.8597.1 及更新版本支援此結構描述篩選。

    7. 可用的記憶體上限:客戶電腦上) 可供掃描處理程序使用的記憶體 (上限,以 GB 為單位。 此值取決於要掃描的 Azure Databricks 大小。

      注意事項

      根據經驗法則,請為每 1000 個資料表提供 1GB 記憶體。

    設定 Azure Databricks 掃描的螢幕擷取畫面。

  6. 選取 [繼續]。

  7. 針對 [掃描觸發程序],選擇要設定排程或執行掃描一次。

  8. 檢閱您的掃描,然後選取 [儲存並執行]。

掃描成功完成之後,請參閱如何 瀏覽和搜尋 Azure Databricks 資產。

檢視您的掃描與掃描執行

若要檢視現有掃描:

  1. 移至 Microsoft Purview 入口網站。 在左側窗格中,選取資料 對應。
  2. 選取資料來源。 您可以在 [最近的掃描] 底下檢視該資料來源上的現有掃描清單,也可以在 [ 掃描 ] 索引標籤上檢視所有掃描。
  3. 選取您要檢視結果的掃描。 窗格會顯示所有先前的掃描執行,以及每個掃描執行的狀態和計量。
  4. 選取執行 ID 以檢查 掃描執行詳細資料。

管理您的掃描

若要編輯、取消或刪除掃描:

  1. 移至 Microsoft Purview 入口網站。 在左窗格中,選取 [資料對應]。

  2. 選取資料來源。 您可以在 [最近的掃描] 底下檢視該資料來源上的現有掃描清單,也可以在 [ 掃描 ] 索引標籤上檢視所有掃描。

  3. 選取您要管理的掃描。 然後您可以:

    • 選取 [ 編輯掃描] 來編輯掃描。
    • 選取 [ 取消掃描執行] 以取消進行中的掃描。
    • 選取 [刪除掃描] 以刪除掃描。

注意事項

  • 刪除掃描不會刪除從先前掃描建立的目錄資產。

瀏覽和搜尋資產

掃描 Azure Databricks 之後,您可以 瀏覽整合目錄 或 搜尋整合目錄 ,以檢視資產詳細資料。

從 Databricks 工作區資產,您可以找到相關聯的登錄區中繼存放區和資料表/檢視,反向也適用。

依來源類型瀏覽資產的螢幕擷取畫面。

瀏覽至 Azure Databricks 來源資產詳細資料的螢幕擷取畫面。

尋找與 Azure Databricks 來源相關聯的 Hive 中繼存放區的螢幕擷取畫面。

譜系

請參閱支援的 Azure Databricks 案例上的 支援功能 章節。 如需一般沿襲的詳細資訊,請參閱 資料沿襲 和 沿襲使用者指南。

移至 [登錄區表格/檢視資產 -> 沿襲] 索引標籤,您可以在適用時查看資產關聯。 對於資料表與外部儲存資產之間的關係、您會看到 Hive 資料表資產和儲存資產直接雙向連線、因為它們會相互影響。 如果您在 CREATE TABLE 陳述式中使用掛接點,則需要在 掃描設定 中提供掛接點資訊,以擷取此類關聯。

顯示 Azure Databricks 沿襲範例的螢幕擷取畫面。

後續步驟

現在您已註冊來源,請使用下列指南來深入了解 Microsoft Purview 和您的資料: