在 Microsoft Fabric 中設定自訂的即時池

適用於:✅ Fabric 資料工程與資料科學

自訂的 Live Pool 是預先水化的 Spark 叢集,能在 Fabric 中為筆記本提供幾乎即時的啟動。 本文將說明如何建立、配置及管理自訂的即時池,以達到最佳效能。

先決條件

在設定自訂直播池前,請確保你具備:

  • 使用付費 Fabric SKU 存取 Fabric 工作區(不支援 Fabric 試用容量)。
  • 工作空間中的管理員或成員角色。
  • 你的工作區會分配一個活躍的 Fabric 容量。
  • 一個已發佈的 Fabric 環境 ,用於函式庫設定。
  • 一個現有的客製化 Spark 泳池。 只有工作區管理員能建立自訂的 Spark 池。

如果你有 成員 角色,工作區管理員必須開啟現有的 「自訂項目計算設定 」工作區設定。

這很重要

自訂即時池不支援起始池。 如果你的工作區使用起始池,必須先建立自訂的 Spark 池,才能設定自訂的 Live 池。

使用現有的運算自訂設定

自訂即時集區使用現有的 為項目自訂運算組態 工作區設定。 他們沒有獨立的委派設定。 在工作區成員建立或更新自訂的活池設定之前,工作區管理員必須先開啟現有設定:

  1. 回到你的 Fabric 工作區。

  2. 從工作區主功能區中選擇工作區設定。

  3. 展開 資料工程/科學 ,選擇 Spark 設定。

  4. 選擇 「泳池 」標籤。

  5. 開啟 「自訂項目的計算設定」。

    截圖顯示切換器以自訂項目的計算設定。

  6. 選取 [儲存]。

當此設定開啟時,成員可使用 Fabric 環境選擇現有的自訂 Spark 池,調整會話層級驅動核心、驅動記憶體、執行核心與執行器記憶體,並建立或更新活池組態。 會員接著可以儲存並發佈環境資料。

這個設定不允許會員在工作區設定中建立或管理自訂的 Spark 池。 工作空間管理員必須建立底層的自訂 Spark 池。

當「 自訂項目的計算設定 」關閉時,環境會使用工作空間的預設池及其計算設定。 成員在工作區管理員啟用設定前,無法建立或更新自訂的活池設定。

欲了解更多關於此工作區控制的資訊,請參閱 資料工程工作區管理設定。

為活池建立自訂池(僅限管理員)

此任務需要 Admin 工作區角色。 如果已有自訂的 Spark 池,工作區成員可以跳過此任務,直接在現有池上設定 live pool 運算。

  1. 切換到你的 Fabric 工作區。
  2. 從工作區主功能區中選擇工作區設定。
  3. 展開 資料工程/科學 ,選擇 Spark 設定。
  4. 選擇 「泳池 」標籤。
  5. 從 「工作區預設池 」下拉選單中,選擇 新池。
  6. 輸入集區的名稱。 此名稱為池的唯一識別碼,例如 dev-team-poolprod-daily-analytics或 。
  7. 選擇節點 家族 和節點 大小 以符合你的工作負載。
  8. 選擇 自動縮放 的勾選框以啟用池的自動縮放。

設定一個活池

Workspace 管理員與成員可透過 環境 設定建立或更新即時池設定。 對於成員,工作區管理員必須先啟用 項目的自訂計算設定。 成員必須選擇由工作區管理員建立的現有自訂 Spark 池。

  1. 在你的 Fabric 工作區中,開啟你想連接到自訂即時群集的環境。

  2. 在左窗格中,選取 [計算]。

  3. 從下拉選單選擇你在前一步建立的池子。

  4. 在 Live pool 中,選擇單選按鈕以啟用此環境的 Live pool 計算。

    截圖顯示在環境運算設定中啟用了 Live pool 單選按鈕。

  5. 在 Live pool schedule 中,選擇單選按鈕以打開。 所有自訂的即時池都必須有排程。 群聚只會在預定時段內保持水分。

  6. 請指定排程設定:

    • 是否排班為重複性
    • 開始與結束日期與時間
    • 時區
    • 何時停用與重新啟動池
    • 其他適用的設定

    這很重要

    Fabric 在非排程時段使用標準 Spark 配置,因為此時啟動時間較慢。 群聚在排定時間外不會保暖。

    有關排程技巧,請參閱「排程最佳實務」。

  7. 儲存運算設定。

  8. 請選擇上方功能區的 發佈 按鈕。

發佈後,池子會啟動,Fabric 會提前為叢集加水,為下一個排程期間做補水。

備註

出版過程可能需要幾分鐘。

任何環境變更都需要重新發布環境並刷新水合叢集。

了解排程視窗

排程定義了 Fabric 何時能保持叢集水分,並能重新為已停用叢集補充水分的時段。 它無法讓活泳池在設定視窗外保持溫暖。

舉例來說,考慮一個每天從早上8點到下午5點的固定節目:

  • 早上8點開始,每日排班時段開始,Fabric 開始或持續補水。
  • 在排程視窗內,閒置叢集可在達到已設定的閒置逾時時間後停用。 Fabric 可以依照設定的重新啟用間隔重新水合替換品。
  • 下午5點,排程時間窗口結束。 Fabric 不會在下午 5:00 到 隔天早上 8:00 之間繼續補水叢集。
  • 在排程時段外提交的筆記本會使用標準 Spark 佈建,因此無法享有即時集區暖啟動的優勢。
  • 每天的行為會重複,直到設定的排程結束日期為止。

排程開始時間並不保證叢集在該確切時間點已可用。 水合需要時間,尤其是在環境更新後或 Fabric 必須配置新叢集時。 如果排定的 Notebook 必須於上午 8:00 啟動,請將即時集區排程提前 60 到 90 分鐘啟動。 在執行筆記本前,使用 監控中樞 確認 可用叢集 是否大於零。 只有當有相容的水合叢集可用時,進來的筆記本才會獲得溫暖會話。

監控池狀態

要檢查自訂直播池的狀態:

  1. 在 Fabric 入口中,開啟 監控中心。

  2. 找到你發佈的環境,選擇省略號(...)即可開啟右鍵選單。

  3. 選取 [ 檢視詳細數據]。

    顯示監控中心 Live pool 狀態的截圖。

  4. 在右側窗格中,展開 「活池狀態 」以查看池目前的狀態。

活池狀態包含以下細節:

  • 池狀狀態:例如,活躍、補水、閒置或停止
  • 可用叢集數:可用於筆記本會話的叢集數量
  • 忙碌叢集:目前執行會話的叢集數量
  • 下一次行程:即將到來的活動時段

最佳做法

為了充分發揮自訂活池的效能,請參考以下設定與管理的最佳實務:

針對成本和效能進行優化

  • 與需求對齊數量:根據預期的並行會話數設定最大叢集數量。 過度配置會增加成本。
  • 監控使用率:定期檢視池內指標,必要時調整叢集數量。
  • 有效率地擴展排程:除非必要,避免在多個資源池中重疊排程。
  • 善用閒置逾時:設定適當的閒置逾時,維持資源可用性與避免頻繁叢集重啟之間的平衡。

叢集大小

在設定池池時,請考慮以下設定與建議:

  • 叢集大小:筆記本會話的執行者實例數量(範圍:1 到 16)。
  • 最大群聚數:需保持水分的最大群聚數。 根據預期的同時進行的會話來設定。
  • 閒置逾時:未使用的叢集在 Fabric 終止前會被分配多久。
工作負載類型 建議尺寸 說明
探索性分析 2-4 核心 工作量輕,快速資料探索
中等運算 8-12 核心 每日報告,中等規模的資料集
重度運算 14-16 核心 龐大的資料集,複雜的轉換

管理函式庫相依關係

  • 使用環境分組:在環境中預先安裝共用函式庫,而非即時安裝。
  • 環境版本管理:更新附加環境需要重新發布並刷新已水合的叢集。
  • 刷新已加水合叢集:環境變更後,重新整理池或等待下一個排程週期來套用變更。

適應工作量模式

  • 監控外部行為:根據實際使用模式調整閒置逾時。
  • 跨會話共享:若工作負載模式一致,考慮在多個池中共享相同環境以提升資源利用率。

排程最佳實務

  • 配合工作量模式:安排團隊使用互動式或排程筆記本的活躍時間。
  • 緩衝時間:在第一次預期筆記本跑動前60-90分鐘開始排程,讓水分補給完成。
  • 確認可用性:在執行延遲敏感的排定作業前,請先確認即時集區在 監控中心中至少有一個可用的叢集。
  • 考慮時區:如果你的團隊跨越多個時區,請延長排程以涵蓋所需的時間範圍。

Troubleshooting

排除自訂活池的故障需要檢查池狀態、環境健康狀況及排程設定,具體情境如下:

游泳池仍未開放

若池未啟用或顯示「不可用」狀態:

  • 檢查 Fabric 容量是否啟用且目前分配到工作區中
  • 確認附加環境是否處於「準備就緒」狀態。
  • 確保附加的環境是公開的,且沒有錯誤。

補水比預期花更久時間

如果水分補給比預期慢:

  • 檢查環境依賴性和建置狀態。
  • 確認環境處於「準備就緒」狀態。
  • 請關注泳池詳情以獲取更多資訊。

會議或筆記本無法開始

如果筆記型電腦會話即使有活動的資源池也無法啟動:

  • 檢查會話是否使用正確的環境。
  • 確認泳池是否處於「可用」狀態且完全水分充足。

現場泳池設定無法提供

如果你無法建立或更新活池設定:

  • 確認你擁有 管理員 或 成員 工作區角色。
  • 如果你具有成員角色,請向工作區管理員要求啟用自訂項目的運算設定。
  • 確認有工作區管理員建立了你可以在環境中選擇的自訂 Spark 池。