Microsoft Fabric 中的自訂直播池

適用於:✅ Fabric 資料工程與資料科學

自訂 Live pool 是預先加熱的 Spark 叢集,能在 Fabric 中為基於筆記本的工作負載提供幾乎即時的啟動工作階段。 自訂的即時池能在設定的排程視窗內保持叢集溫度,讓你的互動式與排程筆記本能在 5 秒內啟動,讓你不必每次執行都等待叢集配置。

為什麼要使用自訂動態資源池

Fabric 中的標準 Spark 會話每次啟動時都需要叢集配置。 對於經常使用筆記本的團隊——無論是互動式、排程式或管線觸發式——這樣的配置時間可能會減緩迭代週期並增加整體工作延遲。

自訂即時池會透過以下方式解決此問題:

  • 根據使用者自訂的排程提前加水化叢集,讓運算在工作負載抵達時就已準備好。
  • 這讓它能精確控制 叢集的保持熱備狀態以及函式庫配置所使用的環境。
  • 在排定的時間範圍內,所有支援的筆記本工作階段類型都能提供一致的啟動效能(~5秒)。

自訂即時資源池補充了 Fabric 中既有的入門資源池和自訂 Spark 資源池選項:

計算選項 啟動時間 以排程為基礎 自訂程式庫 支援的工作負載
初學者集區 5 到 10 秒(不含任何函式庫) No No 筆記型電腦,SJD
自訂 Spark 資源池 ~1分鐘 No 透過環境 筆記型電腦,SJD
自訂即時直播池 ~5秒到10秒(完全補水後) 是的 透過環境 僅限筆記本電腦(互動式操作及排程功能)

關鍵概念

以下概念說明自訂即時池的運作方式,包括叢集如何準備、何時可用,以及容量與函式庫配置的管理。

補水與熱身

當你建立並發佈自訂的活池時,Fabric 會開始在排程視窗前對叢集進行水合。 hydration 意味著叢集會被完全配置、與附加環境一起配置,並在會話請求到來前保持溫暖狀態。

~5秒的啟動時間只有在泳池完全補水後才會開放。 在初始設定或設定變更後立即,工作階段可能會在補充水分完成期間出現較長的啟動時間。 關於故障排除,請參見 「水分攝取比預期更久」。

附表

每個自訂的活池都需要一個定義池何時啟用的排程表。 叢集僅在排程時段內保持溫暖,且帳單僅在叢集分配期間進行。 當排程到期或叢集閒置超過設定門檻時,Fabric 會解除配置,計費停止。

規劃排程以涵蓋預期工作時段,讓團隊需要時能有溫熱的運算資源。 關於設定步驟與最佳實務,請參見 「配置活池」。

環境依附

每個自定義的即時池都會連接到一個 Fabric 環境。 環境會控制哪些函式庫預裝在水合叢集上。 要更新函式庫,您必須修改並重新發布環境。 現有的水合叢集在下一次排定的水合或手動刷新之前,不會更新至新的函式庫。 關於設定步驟,請參見 「配置活池」。

圖書館發佈模式

附加環境中的函式庫發佈模式決定了函式庫如何交付至水合叢集:

  • 完整模式:函式庫在環境發佈時被解析並整合到已注水集群映像中。 當會話開始時,叢集上已經存在完整快照模式,使會話能在大約 5 秒內開始。 當您需要一個穩定且可重現的函式庫組合,並希望以最快速度啟動會話時,請使用「完整模式」。
  • 快速模式:函式庫不會預載在hydrated cluster上。 它們會在筆記本工作階段開始時安裝。 hydrated 叢集仍能提供快速的運算分配,但在會話開始時安裝函式庫會增加時間。 在開發時使用快速模式,當函式庫穩定性不那麼重要時,可以快速迭代。

備註

筆記本資源資料夾與內嵌函式庫的安裝(例如 %pip install 程式碼區塊)是手動且每個工作階段需要手動執行的方式。 它們獨立於環境發佈模式,也不會影響水合叢集預裝哪些函式庫。

叢集容量

每個池子都有設定的最大叢集數量,可以在設定時設定。 Fabric 不會自動將池子放大超過這個數值。 當所有水化叢集都被占用時,額外的工作將轉為按需配置,這取決於函式庫套件的依賴性,所需時間大約為 3 到 5 分鐘或更久。 關於尺寸調整的指引,請參見「叢集尺寸」。

支援的工作負載

自訂的即時池支援以下基於筆記本的 Spark 會話類型:

  • 互動筆記本 可從 Fabric 入口執行
  • 在筆記本排程器中設定的筆記本排程執行
  • 由管線觸發的筆記本執行任務

備註

Spark 工作定義(批次工作)在目前自訂 Live pool 版本中不被支援。

容量與授權

自訂即時集區需要使用付費的 Fabric 容量 SKU。 目前不支援布料試用容量。

有關可用容量 SKU 的資訊,請參閱 Fabric 概念與授權。

存取控制

工作區角色指派控制對自訂活池設定與狀態的存取:

角色 許可
觀眾或貢獻者 對自訂即時集區狀態與設定的唯讀存取權限
會員 為現有的自訂 Spark 集區建立、更新、儲存及發佈自訂即時集區設定,前提是工作區系統管理員已啟用 自訂項目的計算設定
管理員 建立與管理自訂 Spark 池,啟用項目層級的運算自訂,並建立、更新、儲存及發布自訂的 Live pool 配置

自訂即時集區使用現有的 為項目自訂運算組態 工作區設定。 他們沒有獨立的委派設定。 當工作區管理員開啟現有設定時,成員可管理環境層級的運算與自訂活池設定。 這個設定不允許成員建立自訂的 Spark 池或更改工作區層級的 Spark 設定。

關於設定步驟,請參見 「使用現有的運算自訂設定」。

你必須為 B2B 訪客用戶指定明確的工作區角色,讓他們能與自訂的 Live pool 互動。 如果需要建立或更新活池設定,請指定成員或管理員角色。

局限性

以下限制適用於目前版本中的自訂動態資源池:

  • 每次泳池完全補水後,訓練約在5秒內開始。 在初始設定或更改設定後,啟動時間可能會比較長。
  • 函式庫變更需要重新發布附加的環境。 水合的叢集不會自動刷新。
  • 當附加環境對某些函式庫使用快速模式時,這些函式庫並未預載於hydrated 叢集,必須在會話開始時安裝。 為了讓會話能以最快速的方式啟動自訂即時池,請對你的程式庫相依性使用完整模式。
  • 僅支援基於筆記本的 Spark 會話。 Spark 工作定義不被支援。
  • 不支援布料試用容量。
  • 每個泳池都必須有時間表。 沒有排程的池子無法公開。
  • 自訂的即時池無法透過環境公開 API 或 CI/CD 管線來管理。 設定必須透過 Fabric 入口網站進行。