湖流設計器

Lakeflow Designer 是一個視覺化、無程式碼、AI 原生體驗,用於資料準備與分析。 它直接建置於 Azure Databricks 中,讓使用者能透過拖放畫布和自然語言來準備和探索資料。 你所建立的工作流程稱為視覺資料準備,背後有生產準備的程式碼,並完全由 Unity Catalog 管理,因此你的工作能順利從原型過渡到生產,無需逆向工程或重建。

任務 Description
什麼是 Lakeflow Designer? 了解 Lakeflow Designer 的介面與概念。
教學:建立視覺化資料準備 使用樣本資料,從來源到輸出建立你的第一個視覺化資料準備流程。
Lakeflow Designer 介面 瀏覽標題列、左側窗格、畫布、設定窗格和輸出窗格,並新增與連接運算子。
在 Lakeflow Designer 中使用 Genie Code 利用 Genie Code 以自然語言建立並編輯視覺資料準備。
Lakeflow Designer 中的預覽與精煉結果 預覽結果、執行完整的視覺資料準備,並編輯結果表中的資料。
請使用 Lakeflow Designer 中的目錄 尋找、篩選與排序運算子,並檢視產生的程式碼。
將資料匯入 Lakeflow Designer 將資料匯入視覺化資料準備工具。
在 Lakeflow Designer 中使用參數 使用參數讓視覺化資料準備能跨環境重複使用。
Lakeflow Designer 內建運算子 探索視覺化資料準備中內建的運算子。
在 Lakeflow Designer 中管理視覺化資料準備檔案 建立、匯出、匯入、重新命名、刪除,並檢視視覺資料準備檔案的歷史。
將視覺化資料準備檔移至生產環境 使用 Git、作業和宣告式自動化套件,將視覺化資料準備流程部署到正式環境。
Lakeflow Designer 中的設計師應用程式 讓同事自行執行你的視覺資料準備工作。 他們選擇一個地區、一個日期範圍或一個檔案,然後在不寫程式碼或打開畫布的情況下取得結果。

自訂運算子

你可以自行建立自訂運算子,在 Lakeflow Designer 中使用。

任務 Description
Lakeflow Designer 中的自訂運算元 學習自訂操作員的運作方式,並註冊、更新及排除這些操作員的故障。
為 Lakeflow Designer 自訂運算子撰寫邏輯 寫出由自訂運算子執行的 Python 或 Unity Catalog 函式邏輯。
自訂運算元 YAML 參考 自訂運算子的 YAML 結構描述完整參考資料。
教學:複利計算器運算子 在 Unity Catalog 使用者自訂函式(UDF)中,使用 Python 建立一個自訂 operator 來計算複利。
教學:K-means 分群 在 Unity Catalog 使用者定義資料表函式(UDTF)中使用 Python,建立一個使用 K 平均分群的自訂 operator。
教學:發送 Slack 訊息 建立一個自訂運算元,使用 Unity Catalog 用戶定義函數(UDF)中的 SQL,傳送 Slack 訊息。
教學:所有 UI 小工具示範 建立一個自訂運算元件,使用所有可用的 UI 元件,並在 Unity Catalog 使用者定義函式(UDF)中使用 Python。
教學:Gmail 電子郵件寄送運算子 建立一個自訂的運算子,在獨立的 python-run-function 中使用 Python 傳送 Gmail。