本文說明 Microsoft Fabric 中 Spark 工作定義(SJD)的 Git 整合方式。 瞭解如何設定存放庫連線、透過原始檔控制管理 Spark 作業定義變更,以及跨各種工作區進行部署。
當你在 Azure DevOps 啟用 Spark 工作定義的 Git 整合後,可以透過完整的 Git 歷史紀錄追蹤變更。 如果你選擇 PySpark 或 SparkR,主要的定義檔和參考檔會隨提交而包含。 Git 整合也會追蹤這些檔案中原始碼的變更。
重要
這項功能處於預覽狀態。
設定連線
在工作區設定中,您可以輕鬆設定與您的存放庫的連線,以便提交並同步變更。 若要設定連線,請參閱 開始使用 Git 整合。 連線後,你可以在 Source 控制 面板看到你的項目,例如 Spark 工作定義。
當你將 Spark 工作定義提交到 Git 倉庫後,工作定義資料夾結構會出現在倉庫中。
Git 中的 Spark 工作定義表示
以下圖片展示了每個 Spark 工作定義項目在倉庫中檔案結構的範例:
當你將 Spark 工作定義項目提交到倉庫時,會為每個項目建立一個 Git 資料夾,並依照這個結構 <命名:項目名稱> + “SparkJobDefinition”。 不要重新命名資料夾,因為它是用來追蹤工作區中物品的。 例如,若項目名稱為「sjd1」,Git 資料夾名稱為「sjd1SparkJobDefinition」。
Git 資料夾包含兩個子資料夾: 主 資料夾和 參考資料夾。 主資料夾包含主要定義檔案,參考資料夾則包含參考檔案。
除了主要和參考檔案之外,還有一個 SparkJobDefinitionV1.json 檔案。 它會保存 Spark 作業定義項目的中繼資料,因此請勿修改它。 .platform 檔案包含與 Git 設定相關的平台資訊。 這個檔案也不要修改。
附註
- 如果你選擇 Java 或 Scala 作為語言,上傳成 .jar 檔案時,主檔案和參考檔案不會被提交。
- 附加的環境會在從存放庫同步至 Fabric 工作區之後,保存在 Spark 作業定義中。 目前不支援跨工作區參考環境。 您必須手動附加至新的環境,或使用工作區預設設定來執行作業定義。
- 從存放庫同步到 Fabric 工作區時,Spark 作業定義會保留預設的 Lakehouse 識別碼。 如果你提交的是使用預設 Lakehouse 的筆記本,則需要手動參照新建立的 Lakehouse 項目。 如需詳細資訊,請參閱 Lakehouse Git 整合。