什麼是 Fabric 資料工程代理(Project Osmos)? (預覽版)

Fabric 資料工程代理程式(Project Osmos)是 Microsoft Fabric 的自主資料工程功能。 它執行持續性任務,規劃、執行並驗證資料工程工作,針對你被授權存取的 Fabric 資源。

從支援的命令列用戶端,輸入 Project 結果(完整端到端資料工程任務的描述),並選擇承載該任務的 Fabric 湖屋。 Project Osmos 可以檢查資料、建立與測試 Spark 筆記本、轉換資料、撰寫 Delta 表格,以及驗證結果。 本地用戶端斷線後,任務仍會在 Fabric 中繼續執行。

Important

資料工程代理程式(Project Osmos)目前處於預覽階段。 預覽功能以有限的功能提供,並受另行的補充預覽條款約束。 它們並非用於生產環境,不受服務等級協議約束,且可能僅在特定地區提供。 如需詳細資訊,請參閱 Microsoft Fabric 預覽資訊。

主要功能

資料工程代理程式(Project Osmos)在受管理的 Fabric 任務中實作並執行資料工程任務。 它使用 SparkCore、持久狀態、存取控制、進度追蹤,以及針對目標資料的驗證。 多個協調的代理人會創造並評估多種實施方案,以提供生產品質的產出。

Project Osmos 新增了 Fabric 專屬的功能:

  • Fabric 託管執行:程式碼與資料操作由 Fabric Spark 與 OneLake 執行,而非僅在本地開發環境中。
  • 持久性任務狀態: 本地用戶端斷線後,該任務仍持續執行,且可無需重頭繼續。
  • Lakehouse 上下文:Project Osmos 會根據你提供的 Lakehouse URL 解析 Fabric 工作區和預設的 Spark-session lakehouse。
  • 操作防護: 執行前,你會檢視權限設定、撰寫安全、重執行行為、結構演化、工件及推理工作。
  • 整合驗證: 任務可執行生成程式碼,並在目標環境中檢查列數、空值、結構及其他成功標準。
  • 共享可見性: 任何能進入你啟動任務的湖屋的人,都可以查看進度並在需要時提供意見。

這些能力將 Project 成果轉化為一個受管理的資料工程單元,而非短暫的聊天回應。

資料工程代理(Project Osmos)的運作方式

Project Osmos 為每個資料工程任務採用受管理的生命週期:

  • 定義:Project 結果標示完整的端到端資料工程任務,湖屋 URL 則標示承載該任務的 Fabric 湖屋。
  • 計畫:Project Osmos 分析可用情境並建議作業設定供檢視。
  • 執行:該任務在 Fabric 中執行,能建立、測試及優化資料工程產物。
  • 驗證: 任務會根據指定的成功標準檢查其輸出並回報結果。
  • 監視: 此任務仍可透過命令列用戶端和 Lakehouse 工作體驗使用。

所選的湖屋是 Spark session 的預設湖屋。 它並非唯一的來源或目的地。 您的 Project 結果、Fabric 權限及檢視過的操作設定決定了任務範圍。

關於建立第一個任務的步驟,請參閱「開始使用 Project Osmos」。

選擇合適的使用情境

Project Osmos 專為成果導向的資料工程設計,受益於自主規劃、執行與驗證。

應用案例 範例結果
資料準備 清理銷售檔案、標準化類型、移除無效列,並撰寫經過驗證的 Delta 表格。
表格整合 將訂單、顧客和產品資料合併,然後建立一個精選的表格供下游分析使用。
湖畔住宅現代化改造 將現有的轉換成 Spark,產生經過測試的筆記本,並驗證新的輸出。
獎牌架構 從原始檔案中建立青銅、銀、金的轉換,作為一個完整的任務。
資料品質修復 分析表格、識別品質問題、套用核准的修正,並報告前後指標。
效能提升 檢視 Delta 表格,建議分割或版面變更,實施核准變更,並衡量結果。
移轉協助 將舊版擷取資料轉換為可供 Fabric 使用的模型,同時保留商業規則並驗證總計。

Project Osmos 旨在解決資料工程挑戰。 它不是用來快速查詢、更改 Power BI 報表或其他非資料工程任務的。

在 CLI 和 Fabric 之間運作

Project Osmos 採用兩種連結體驗。 你可以從命令列建立並引導任務,並在 Fabric 應用程式中查看任務進度:

  • 命令列體驗:使用 GitHub Copilot CLI、Codex 或 Claude Code 建立任務、輸入 Project 結果、檢視操作設定,並發送後續指引。
  • Fabric 湖屋體驗:瀏覽湖屋的任務、檢查狀態、開啟任務、檢視活動與錯誤,並檢查產出的輸出。

這兩種經驗都指向同一個由 Fabric 託管的任務和任務 ID。

下一步