用筆記本開發與除錯管線(舊有系統)

這很重要

這項功能目前處於 公開預覽版。

你可以使用 Lakeflow 管線中的舊版筆記本編輯體驗,在已連接至管線的 Azure Databricks 筆記本中開發及除錯 ETL 管線。

這很重要

本頁說明舊版筆記本編輯體驗。 此功能已無法啟用,且僅能在先前退出 Lakeflow 管線編輯器的工作區中使用。 筆記本編輯體驗已被淘汰,將會被移除。

預設體驗是 Lakeflow 管線編輯器。 使用 Lakeflow Pipelines Editor 編輯筆記本,或使用 Python 或 SQL 程式碼檔案來編輯管線。 如需詳細資訊,請參閱 使用 Lakeflow 管線編輯器開發和偵錯 ETL 管線。

管線中的筆記本概觀

當你在 Python 或 SQL 筆記本上工作,且該筆記本被設定為現有管線的原始碼時,你可以直接將筆記本連接到管線。 當筆記本連線到管線時,可以使用下列功能:

  • 從筆記本啟動並驗證管線。
  • 檢視管線的數據流圖表和事件記錄檔,以取得筆記本中的最新更新。
  • 在筆記本編輯器中檢視管線診斷。
  • 在筆記本中檢視管線叢集的狀態。
  • 從筆記本存取管線介面。

先決條件

  • 你必須有一套現有的管線,並設定一個 Python 或 SQL 筆記本作為原始碼。
  • 您必須是管線的擁有者,或具有 CAN_MANAGE 許可權。

局限性

  • 本文涵蓋的功能僅在 Azure Databricks 筆記型電腦中提供。 不支援工作區檔案。
  • 連結至管線時,無法使用 Web 終端機。 因此,它不會顯示為底部面板中的索引標籤。

將筆記本連線至管線

在筆記本內,按一下用於選擇計算資源的下拉功能表。 下拉選單會顯示你所有使用這個筆記本作為原始碼的管線。 若要將筆記本連線到管線,請從清單中選取它。

檢視管線的叢集狀態

若要輕鬆瞭解管線叢集的狀態,其狀態會顯示在計算下拉功能表中,其綠色表示叢集正在執行。

驗證流程程序代碼

您可以 驗證管線 來檢查原始程式碼中的語法錯誤,而不需要處理任何數據。

若要驗證管線,請執行下列其中一項:

  • 在筆記本右上角,按兩下 [ 驗證]。
  • 在任何筆記本儲存格中按下 Shift+Enter 。
  • 在儲存格的下拉選單中,按一下 驗證管線。

備註

如果您嘗試在現有更新正在執行時驗證管線,則會顯示對話框,詢問您是否要終止現有的更新。 如果您按兩下 [ 是],現有的更新就會停止,且 驗證 更新會自動啟動。

啟動管線更新

若要開始更新管線,請按下筆記本右上角的 [ 開始 ] 按鈕。 請參閱 執行管線更新。

檢視更新的狀態

筆記本中的頂端面板會顯示管線更新是否為:

  • 啟動中
  • 驗證中
  • 停止中

檢視錯誤和診斷

當您啟動管線更新或驗證後,任何錯誤將會以紅色底線標示出來。 將滑鼠停留在錯誤上方以查看詳細資訊。

檢視管線事件

連接管線時,筆記本底部有一個管線事件日誌分頁。

事件記錄檔

檢視管線數據流圖形

要查看管線的資料流程圖,請使用筆記本底部的管線圖頁籤。 選取圖形中的節點會在右側面板中顯示其架構。

數據流圖形

如何從筆記本存取管線介面

要輕鬆跳到管線介面,請使用筆記本右上角的選單。

從筆記本開啟管線介面

從筆記本存取驅動程序記錄和 Spark UI

您可以從筆記本的 [ 檢視 ] 功能表輕鬆存取與開發管線相關聯的驅動程序記錄和 Spark UI。

存取驅動程序記錄和Spark UI