Genie Migrate 將 T-SQL、Snowflake、Redshift、Oracle、BigQuery 和 Teradata 等 SQL 方言轉換為 Databricks SQL 查詢或 Databricks 筆記本。 它也能將 Informatica PowerCenter(Beta 版)中的擷取、轉換與載入(ETL)工作負載轉換成 Databricks 筆記本。 你在遷移專案中轉換檔案,並在建立專案時選擇輸出格式,稱為目標框架。 參見 支援的來源方言與目標框架。
關於需求,請參見 Genie Migrate 的需求。
Genie Migrate 如何轉換程式碼
當你執行轉換時,Genie Code 會部署子代理來同時轉換檔案。 每個子代理會分析原始方言,並產生專案目標框架(Databricks SQL 或 Databricks 筆記本)的對應程式碼。
每個子代理接著檢查轉換後的程式碼:
- 語法:檢查轉換後的程式碼是否能在 Azure Databricks 上無錯誤執行。
-
語意意圖:檢查轉換後的程式碼是否保留原始碼的商業邏輯,例如相同的聯結與
WHERE子句。
當檢查失敗時,子代理會修訂程式碼並再次檢查。 Genie Code 在轉換檔案時也會套用你的自訂技能。 請參考 「用自訂技能提升轉換」。 轉換後的檔案會直接寫入你為專案指定的工作區資料夾。
你也可以在 Genie Code 對話中使用這個 /migrate 指令,在沒有專案的情況下轉換單一檔案或資料夾。
支援的原始方言與目標框架
Genie Migrate 會轉換以下 SQL 方言:
- T-SQL
- Snowflake SQL
- Redshift SQL
- Oracle
- BigQuery
- Teradata
當你建立 SQL 方言的遷移專案時,請選擇以下目標框架之一:
- DBSQL:符合 ANSI 標準的 Databricks SQL 查詢。
-
筆記簿(Beta):使用 DataFrame API 的 Databricks 筆記簿,搭配
spark.sql以處理在 SQL 中更清晰的邏輯。
Genie Migrate 也支援 Informatica PowerCenter 作為 ETL 來源。
Important
這項功能位於 測試版 (Beta) 中。 要使用此功能,工作區管理員必須從預覽頁面開啟遷移專案實驗功能。 請參閱 管理 Azure Databricks 預覽。
Informatica Intelligent 資料管理 Cloud(IDMC)和 Informatica Intelligent Cloud Services(IICS)則不被支援。 Genie Migrate 會將 Informatica 匯出中的物件,例如工作流程和映射,轉換成 Databricks 筆記本,因此 Informatica 專案總是使用 Notebooks 目標框架。
要準備 Informatica 工作流程進行轉換,請從 PowerCenter Repository Manager 將其匯出為 PowerMart XML 格式。 在工作流程層級匯出,並包含相依物件,如映射、會話、對映小程式和工作小流程。 匯出時不要包含憑證。
在遷移專案中轉換檔案
在轉換之前,先建立一個遷移專案並加入你的原始檔案。 請參閱 「建立並分析遷移專案」。
步驟 1:執行轉換
在 Informatica 專案中,你選擇並轉換分析所建立的工作流程、映射及其他物件,而非已上傳的 .xml 匯出檔。
要轉換特定檔案,選取它們並點擊 「轉換已選取項目」。 要轉換專案中的所有檔案,請清除選取範圍並點選 全部轉換。 要一次轉換一個群組,請將滑鼠移到該群組的列上,點擊 「轉換此群組」。 請參見 「以群組規劃遷移」。 Genie Code 會開啟對話,啟動遷移技能,並部署子代理同時轉換檔案。 每個轉換後的檔案在專案中以連結檔案的形式出現。 每個檔案顯示以下其中一種狀態:
- 灰色:檔案尚未轉換(未開始、排隊中或已停止)。 檔案轉換時會顯示旋轉器。
- 空心綠色:檔案轉換無問題(轉換完成)。
- 綠色填入:您已審核並接受已轉換的檔案(已審核)。
- 黃色:檔案已轉換,但有你需要檢視的行動項目。
- 紅色:轉換失敗(錯誤)。
每次運行可轉換多達 500 個檔案。 如果你排隊超過 500 個檔案,當前執行中前 500 個未轉換的檔案會被轉換。 跑完後,重新開始轉換,以轉換接下來的 500 個檔案。
步驟2:檢視轉換結果
對於 Databricks SQL 專案,點擊已轉換的檔案,在 SQL 編輯器中開啟內嵌差異,該版本會顯示每個原始碼區段,位於取代它的 Databricks SQL 之上。 接受所有建議的修改,或審查並接受個別編輯。 對於筆記本專案,點擊已轉換的檔案即可開啟產生的 Databricks 筆記本。 對於無法轉換的腳本,請在編輯器中編輯程式碼,或請 Genie Code 重新驗證或重試特定區段。 當你滿意後,執行已轉換的 SQL 或筆記本,確認它是否能在 Azure Databricks 上運行。 如果同一個錯誤出現在多個檔案中,請用自訂技能擷取修正並重新執行那些檔案。 請參考 「用自訂技能提升轉換」。
對於 Informatica 專案,請將每個產生的筆記本與對應的 PowerCenter 映射進行比較。 檢查來源與目標資料表、聯結、篩選與路由器群組、查找、更新策略邏輯及參數。 在將轉換後的管線用於生產環境之前,先在非生產資料上執行,並將列數和關鍵彙總等結果與 PowerCenter 工作流程的輸出進行比較。
用自訂技能提升轉換
自訂技能可以讓你編碼 Genie Code 在每次轉換時自動套用的商業規則。 用它們來處理專有資料型態、強制執行偏好的目標模式,或捕捉你反覆進行的修正。 遷移技能是精靈代碼技能,所以你可以像其他技能一樣創建和管理它。 請參考 擴展 Genie Code 與代理技能。
你不需要在第一次互動前就定義所有技能。 大多數技能應該捕捉的規則,只有在你檢視最初的結果後才會變得清晰。 典型的工作流程如下:
- 轉換一組具代表性的檔案。
- 檢視有行動項目或錯誤的檔案,並尋找重複出現的錯誤,例如相同的不支援資料型態、函式或命名模式。
- 建立一個技能,能擷取每個重複發生錯誤的修正方式。
- 只選擇受影響的檔案,然後點選 轉換所選項目。 Genie Code 會把新技能套用到那些檔案上。
隨著你轉換更多程式碼,重複這個循環。 Genie Code 會將每個技能套用到工作區中後續的轉換,因此只要修正一次,其他具有相同模式的檔案也會套用此修正。
你可以從精靈密碼設定或精靈密碼對話中創建技能。 對於包含詳細指示、範例或支援檔案的複雜技能,請使用設定路徑。 使用聊天路徑來快速完成單一規則技能。
精靈密碼設定
將技能建立為檔案,方便你撰寫詳細說明並在 Git 資料夾中進行版本化:
在精靈密碼面板中,點擊
設定,然後點擊
打開技能資料夾。
在工作區技能路徑
Workspace/.assistant/skills/下,為你的技能建立一個資料夾。 例如:Workspace/.assistant/skills/sql-migration/。在技能資料夾中,建立一個包含必要前置資料和你的轉換規則的
SKILL.md檔案。 例如:--- name: sql-migration description: Conversion rules to apply when migrating legacy SQL to ANSI SQL. --- Always convert the custom type MYDATE to TIMESTAMP_NTZ.
Genie Code 會在你下次執行轉換時學會這項技能。
精靈代碼聊天室
描述你想編碼的轉換規則,然後請 Genie Code 儲存它:
Tip
Always convert our custom type MYDATE to TIMESTAMP_NTZ. Save this as a custom migration skill.
Genie Code 會建立並註冊該技能,並在未來工作區的轉換中套用。
要查看主動技能:
Tip
Show me my migration skills
若要移除技能:
Tip
Delete the migration skill for [description]
工作區技能會儲存在工作區層級,並共享給所有使用者。
測試並驗證已轉換的程式碼
以下建議幫助你檢視並建立對轉換結果的信心:
- 批次轉換:在一次工作中轉換兩到五個檔案,以驗證多檔案轉換是否端對端有效。
- 語法驗證:轉換後,將輸出輸出放入 Databricks SQL 編輯器或筆記本中,確認其無錯誤。
-
邊緣情況:加入帶有方言專屬結構的腳本,例如 T-SQL 視窗函數、Snowflake
QUALIFY或 RedshiftLISTAGG,以觀察轉換器如何處理非平凡的模式。 - 語意正確性:將原始及轉換後的查詢與等效測試資料進行比較。 確認輸出在語意上正確,而不只是語法正確。