重要事項
先前Azure Purview) (Microsoft Purview 整合式目錄 和傳統 Microsoft Purview 資料控管功能即將淘汰。 Microsoft 正在 Microsoft Fabric 中合併其資料控管功能。 您無法再建立新帳戶,現有功能將維持在維護模式,直到 2027 年 11 月 12 日為止。 如需淘汰時間表、轉換指引,以及建議的後續步驟,請參閱 Microsoft Purview 資料控管淘汰公告。
本文說明將 Azure Data Factory 帳戶與 Microsoft Purview 帳戶連線,以追蹤資料沿襲和擷取資料來源所需的步驟。 本文也會說明活動涵蓋範圍和支援的沿襲模式的詳細資料。
當您將 Azure Data Factory 連線至 Microsoft Purview 時,每當支援的 Azure Data Factory 活動執行時,它會自動將活動來源資料、輸出資料和活動的相關中繼資料擷取至 Microsoft Purview 資料對應。
如果資料來源已掃描且存在於資料對應中,擷取程式會將 Azure Data Factory 的沿襲資訊新增至該現有來源。 如果來源或輸出不存在於資料對應中,且受到 Azure Data Factory 沿襲支援,則 Microsoft Purview 會自動將其中繼資料從 Azure Data Factory 新增至根集合下的資料對應。
此連線是監視資料資產的絕佳方式,因為使用者會使用 Azure Data Factory 移動和轉換資訊。
檢視現有的 Data Factory 連線
多個 Azure Data Factory 可以連線到單一 Purview 以推送沿襲資訊。 目前的限制可讓您一次最多從 Microsoft Purview 管理中心連接 10 個 Azure Data Factory 帳戶。 若要顯示連線至您 Microsoft Purview 帳戶的 Azure Data Factory 帳戶清單,請依照下列步驟執行:
選取左側窗格中的 [ 管理 ]。
在 [沿襲連線] 底下,選取 [Data Factory]。
Data Factory 連線清單隨即出現。
請注意連線 狀態的各種值:
- 已連線:Data Factory 已連線至 Microsoft Purview 帳戶。
- 已中斷連線:Data Factory 可以存取目錄,但它已連線至另一個目錄。 因此,資料沿襲不會自動報告至目錄。
- 未知:目前的使用者沒有 Data Factory 的存取權,因此連線狀態未知。
注意事項
若要檢視 Data Factory 連線,您必須獲派以下角色。 不支援從管理群組繼承角色。 根集合上的集合管理員角色。
建立新的 Azure Data Factory 連線
注意事項
若要新增或移除 Azure Data Factory 連線,您必須獲派下列角色。 不支援從管理群組繼承角色。 根集合上的集合管理員角色。
此外,您必須是 Azure Data Factory 的「擁有者」或「參與者」。
您的 Azure Data Factory 必須已啟用系統指派的受控識別。
請遵循下列步驟,將現有的 Azure Data Factory 連線到您的 Microsoft Purview 帳戶。 您也可以 從 ADF 將 Data Factory 連線至 Microsoft Purview 帳戶。
選取左側窗格中的 [ 管理 ]。
在 [沿襲連線] 底下,選取 [Data Factory]。
在 [Data Factory 連線] 頁面上,選取 [新增]。
從清單中選取您的 Azure Data Factory 帳戶,然後選取 [確定]。 您也可以依訂閱名稱進行篩選,以限制您的清單。
如果 Azure Data Factory 已連線到目前的 Purview 帳戶,或 Azure Data Factory 沒有受控識別,則某些 Azure Data Factory 執行個體可能會被停用。 如果任何選取的 Azure Data Factory 已連線至其他 Microsoft Purview 帳戶,則會顯示警告訊息。 當您選取 [確定] 時,會中斷與其他 Microsoft Purview 帳戶的 Azure Data Factory 連線。 不需要其他確認。
注意事項
您一次最多可以新增 10 個 Azure Data Factory 帳戶。 若要新增超過 10 個 Azure Data Factory 帳戶,請分多個批次新增它們。
驗證的運作方式
Azure Data Factory 會使用其受控識別來驗證來自 Microsoft Purview 的沿襲推送作業。 當您在 UI 中將 Azure Data Factory 連線至 Purview 時,它會自動新增角色指派。
授與 Azure Data Factory 的受控識別 Microsoft Purview 根集合上的資料管理者角色。 若要深入了解,請參閱 Microsoft Purview 中的存取控制 和 新增角色及透過集合限制存取權。
移除 Data Factory 連線
重要事項
即使移除 Data Factory 連線,也不會取消任何進行中的擷取。 Azure Data Factory 沿襲擷取是非同步作業。
若要移除 Azure Data Factory 連線,請完成下列步驟:
在 [Data Factory 連線] 頁面上,選取一或多個 Azure Data Factory 連線旁的 [移除] 按鈕。
按一下快顯視窗中的 [確認],以刪除選取的 Azure Data Factory 連線。
監視 Azure Data Factory 連結
在 Microsoft Purview 入口網站中,您可以 監視 Data Factory 連結。
支援的 Azure Data Factory 活動
Microsoft Purview 會從下列 Azure Data Factory 活動擷取執行階段沿襲:
重要事項
如果來源或目的地使用不支援的資料儲存系統,Microsoft Purview 會捨棄沿襲。
Azure Data Factory 與 Microsoft Purview 之間的整合僅支援 Azure Data Factory 支援的資料系統子集。 如需詳細資訊,請參閱下列各節。
複製活動支援
| 資料存放區 | 支援 |
|---|---|
| Azure Blob 儲存體 | 是 |
| Azure 認知搜尋 | 是 |
| 適用於 NoSQL 的 Azure Cosmos DB * | 是 |
| 適用於 MongoDB 的 Azure Cosmos DB * | 是 |
| Azure Data Explorer * | 是 |
| Azure Data Lake Storage Gen1 | 是 |
| Azure Data Lake Storage Gen2 | 是 |
| 適用於 MariaDB 的 Azure 資料庫 * | 是 |
| 適用於 MySQL 的 Azure 資料庫 * | 是 |
| 適用於 PostgreSQL 的 Azure 資料庫 * | 是 |
| Azure 檔案 | 是 |
| Azure SQL Database * | 是 |
| Azure SQL 託管執行個體 * | 是 |
| Azure Synapse Analytics * | 是 |
| Azure 專用 SQL 集區 (先前稱為 SQL DW) * | 是 |
| Azure 資料表儲存體 | 是 |
| Amazon S3 | 是 |
| 登錄區 * | 是 |
| Oracle * | 是 |
| 連線至 SAP ECC 或 SAP S/4HANA) 時出現 SAP 資料表 ( | 是 |
| SQL Server * | 是 |
| Teradata * | 是 |
* Microsoft Purview 目前不支援沿襲或掃描的查詢或預存程序。 沿襲僅限於資料表和檢視來源。
如果您使用自我裝載整合執行階段,請注意具有沿襲支援的最小版本:
- 任何使用案例:版本 5.9.7885.3 或更新版本
- 從 Oracle 複製資料:版本 5.10 或更新版本
- 透過 COPY 命令或 PolyBase 將資料複製到 Azure Synapse Analytics:版本 5.10 或更新版本
複製活動沿襲的限制
目前,如果您使用下列複製活動功能,則尚未支援沿襲:
- 使用二進位格式將資料複製到 Azure Data Lake Storage Gen1。
- 二進位、分隔符號文字、Excel、JSON 和 XML 檔案的壓縮設定。
- Azure SQL 資料庫、Azure SQL 受控執行個體、Azure Synapse Analytics、SQL Server 和 SAP 資料表的來源分割選項。
- 將資料複製到檔案型接收,並設定每個檔案的最大列數。
- 當來源/接收為 資源集時,複製活動目前不支援資料行層級沿襲。
除了沿襲之外,還會報告下列連接器的資產 -> 結構描述索引標籤) 中顯示的資料資產結構描述 (:
- Azure Blob、Azure 檔案、ADLS Gen1、ADLS Gen2 和 Amazon S3 上的 CSV 和 Parquet 檔案
- Azure 資料總管、Azure SQL Database、Azure SQL 受控執行個體、Azure Synapse Analytics、SQL Server、Teradata
資料流程支援
| 資料存放區 | 支援 |
|---|---|
| Azure Blob 儲存體 | 是 |
| 適用於 NoSQL 的 Azure Cosmos DB * | 是 |
| Azure Data Lake Storage Gen1 | 是 |
| Azure Data Lake Storage Gen2 | 是 |
| 適用於 MySQL 的 Azure 資料庫 * | 是 |
| 適用於 PostgreSQL 的 Azure 資料庫 * | 是 |
| Azure SQL Database * | 是 |
| Azure SQL 託管執行個體 * | 是 |
| Azure Synapse Analytics * | 是 |
| Azure 專用 SQL 集區 (先前稱為 SQL DW) * | 是 |
* Microsoft Purview 目前不支援沿襲或掃描的查詢或預存程序。 沿襲僅限於資料表和檢視來源。
資料流程沿襲的限制
- 資料流沿襲可能會產生資料夾層級 的資源集 ,而無法查看相關檔案。
- 當來源/接收有 資源設定時,目前不支援資料行層級沿襲。
- 針對資料流程活動的沿襲,Microsoft Purview 僅支援顯示涉及的來源和接收。 尚不支援資料流程轉換的詳細沿襲。
- 當 小流程 是資料流程的一部分時,不支援沿襲。
- 目前 Purview 不支援 LakeHouse DB/Workspace DB) (Synapse 資料表的沿襲報告
執行 SSIS 套件支援
請參閱 支援的資料存放區。
存取受保護的 Microsoft Purview 帳戶
如果防火牆會保護您的 Microsoft Purview 帳戶,請了解如何讓 Azure Data Factory 透過 Microsoft Purview 私人端點 存取受保護的 Microsoft Purview 帳戶 。
將 Azure Data Factory 沿襲引入 Microsoft Purview
如需端對端逐步解說,請參閱教學 課程:將 Data Factory 沿襲資料推送至 Microsoft Purview。
支援的沿襲模式
Microsoft Purview 支援數種沿襲模式。 產生的沿襲資料取決於 Azure Data Factory 活動中使用的來源和接收類型。 雖然 Azure Data Factory 支援超過 80 個來源和接收,但 Microsoft Purview 只支援一個子集。 有關支援的來源和接收,請參閱 支援的 Azure Data Factory 活動。
若要設定 Azure Data Factory 以傳送沿襲資訊,請參閱 沿襲入門。
您可以使用下列方法在沿襲檢視中尋找資訊:
- 在 [沿襲 ] 索引標籤中,將游標暫留在圖形上,以預覽工具提示中有關資產的其他資訊。
- 選取節點或 Edge 以查看其所屬的資產類型或切換資產。
- 沿 襲 索引標籤會在左側顯示資料集的欄。 如需資料行層級沿襲的詳細資訊,請參閱 資料集資料行沿襲。
1:1 作業的資料沿襲
擷取資料沿襲最常見的模式是將資料從單一輸入資料集移至單一輸出資料集,兩者之間有一個程序。
此模式的範例包含下列元件:
- 1 個來源/輸入: Customer (SQL 資料表)
- 1 個接收/輸出: Customer1.csv (Azure Blob)
- 1 處理序: CopyCustomerInfo1#Customer1.csv (Data Factory 複製活動)
具有 1:1 沿襲和萬用字元支援的資料移動
擷取沿襲的另一個常見案例是使用萬用字元將檔案從單一輸入資料集複製到單一輸出資料集。 萬用字元可讓複製活動使用檔案名稱的共同部分來比對多個檔案以進行複製。 Microsoft Purview 會針對對應的複製活動所複製的每個個別檔案擷取檔案層級沿襲。
此模式的範例包含下列元件:
- 來源/輸入: CustomerCall*.csv (ADLS Gen2 路徑)
- 接收/輸出:CustomerCall*.csv(Azure blob 檔案)
- 1 處理序:CopyGen2ToBlob#CustomerCall.csv (Data Factory 複製活動)
具有 n:1 沿襲的資料移動
您可以使用資料流程活動來執行合併、聯結等資料作業。 您可以使用多個來源資料集來產生目標資料集。 在此範例中,Microsoft Purview 會將個別輸入檔案的檔案層級沿襲擷取至做為資料流程活動一部分之 SQL 資料表。
此模式的範例包含下列元件:
- 2 個來源/輸入: Customer.csv、 Sales.parquet (ADLS Gen2 路徑)
- 1 個接收/輸出:公司資料 (Azure SQL 資料表)
- 1 處理序: DataFlowBlobsToSQL (Data Factory 資料流程活動)
資源集的沿襲
資源集是型錄中的邏輯物件,代表基礎儲存體中的許多分割區檔案。 如需詳細資訊,請參閱 瞭解資源集。 當 Microsoft Purview 從 Azure Data Factory 擷取沿襲時,它會套用規則來正規化個別磁碟分割檔案,並建立單一邏輯物件。
在下列範例中,Azure Data Lake Gen2 資源集是從 Azure Blob 產生的:
- 1 個來源/輸入: Employee_management.csv (Azure Blob)
- 1 個接收/輸出: Employee_management.csv (Azure Data Lake Gen 2)
- 1 處理序:CopyBlobToAdlsGen2_RS (Azure Data Factory 複製活動)