重要事項
僅淘汰 Microsoft Purview 資料控管功能
Microsoft Purview 統一目錄和傳統 Microsoft Purview 資料控管功能 (先前的 Azure Purview) 即將淘汰。 整個 Microsoft Purview 並未淘汰。 Microsoft Purview 資料安全性與合規性功能不受此公告影響,且 Microsoft 會繼續投資於此功能。
Microsoft 正在 Microsoft Fabric 中合併 其資料控管 功能。 無法再建立新的 Microsoft Purview 資料控管帳戶,而且現有的資料控管功能將維持在維護模式,直到 2027 年 11 月 12 日為止。
如需淘汰時間表、轉換指引,以及建議的後續步驟,請參閱 Microsoft Purview 資料控管淘汰公告。
Airflow 是一個開放原始碼的工作流程自動化和排程平台,可用於編寫和管理資料管道。 Microsoft Purview 與 OpenLineage 整合,以支援收集 Airflow 沿襲, OpenLineage 是資料沿襲收集和分析的開放架構。 從 這裡了解 Airflow 如何與 OpenLineage 配合使用。
在 Airflow 中啟用 OpenLineage 會在 DAG 執行時自動追蹤有關作業和資料集的中繼資料和沿襲。 資訊會傳送至您設定的 Azure 事件中樞。 Microsoft Purview 會訂閱事件、進行剖析,然後擷取至資料對應。
重要事項
此功能目前處於預覽。 Microsoft Azure 預覽的補充使用規定包含適用於 beta、預覽或尚未發行為一般可用性的 Azure 功能的其他法律條款。
支援的功能
支援的 Airflow 版本為 1.10+ 和 2.0-2.7。
當在 Airflow 中使用下列類型的資料來源時,Microsoft Purview 支援中繼資料和沿襲收集:
- Amazon RDS for PostgreSQL
- 適用於 PostgreSQL 的 Azure 資料庫
- Google BigQuery
- PostgreSQL
- Snowflake
將與下列 Airflow 中繼資料一起擷取:
- Airflow 工作區
- Airflow DAG
- Airflow 工作
沿襲會在 DAG 成功執行時以事件型方式收集到 Microsoft Purview 中。
已知限制
- 目前不支援資料行層級沿襲。 已擷取資料資產的結構描述。
- 如果在工作中參考資料庫檢視,則它們目前會擷取為資料表資產。
- 所有中繼資料都會擷取至 Microsoft Purview 根集合。 資料對應中已存在的資產會保留在已設定的集合中。
如何將 Airflow 沿襲帶入 Microsoft Purview
作為先決條件,您需要一個正在執行的 Airflow 執行個體。
若要將沿襲從 Airflow 取得至 Microsoft Purview,您必須:
設定 Azure 事件中樞
將 Azure 事件中樞設定為 Airflow 中 OpenLineage 所追蹤的中繼資料和沿襲的接收者。
建立事件中樞。 將事件中樞命名為 “microsoft_internal_openlineage”。
移至您的「microsoft_internal_openlineage」事件中樞 ->存取控制 (IAM) ->新增角色指派,將「Azure 事件中樞資料接收器」角色指派給 Microsoft Purview 帳戶的受控身分識別。 如需詳細步驟,請參閱 使用 Azure 入口網站指派 Azure 角色。
設定事件中樞以發佈訊息至 Microsoft Purview
Microsoft Purview 支援從您自己的事件中樞取用和推送事件。 請遵循此文件來設定 Microsoft Purview 的事件中樞: 使用 Microsoft Purview 設定事件中樞,以傳送和接收 Atlas Kafka 主題訊息。
總結:
移至您的 Microsoft Purview 帳戶 -> 受控資源索引標籤,停用受控事件中樞命名空間。
移至 Kafka 設定索引標籤 ->+ 新增設定 ->Hook 設定,輸入名稱,然後選取您在上一個步驟中建立的事件中樞命名空間和事件中樞。
使用 OpenLineage 設定您的氣流
安裝:
若要下載並安裝最新的 'openlineage-airflow' 程式庫,請使用下列項目更新執行中 Airflow 執行個體的 'requirements.txt' 檔案:
openlineage-airflow
注意事項
Airflow 版本和 openlineage-airflow 版本需要匹配。 例如,當您使用 Airflow 2.7.1 時,您可以使用 openlineage-airflow 版本 1.1.0 或 1.2.0。 您可以在 此網站上查看匹配版本。
設定:
接下來,將 Azure 事件中樞執行個體設定為 OpenLineage 傳送事件的目標。
在 Airflow 根目錄路徑下建立「openlineage.yml」檔案。 檔案內容如下:
transport: type: "kafka" config: bootstrap.servers: "{EVENTHUB_SERVER}:9093" security.protocol: "SASL_SSL" sasl.mechanism: "PLAIN" sasl.username: "$ConnectionString" sasl.password: "{PASSWORD}" client.id: "airflow-client" topic: "microsoft_internal_openlineage" flash: True以值取代這兩個預留位置:
重新啟動 Airflow 伺服器。
執行 Airflow 作業並檢視資產/沿襲
您現在可以執行 Airflow 作業,然後移至 Microsoft Purview 管理入口網站以瀏覽/搜尋/檢視資產。 資產應該會在 DAG 成功執行後不久出現。
瀏覽 Airflow 資產:
檢視具有沿襲的 Airflow 工作資產詳細資料:
疑難排解提示
如果您執行 Airflow 作業,但未在 Microsoft Purview 中看到對應的資產/沿襲:
- Microsoft Purview 是否支援您的 Airflow 使用案例。 請參閱 支援的功能 章節。
- 移至您的事件中樞執行個體,檢查是否有任何傳入的要求和訊息。 若否,請再次檢查 Airflow 中的 OpenLineage 組態。