適用於:✅ Fabric 資料工程與資料科學
自訂的 Live Pool 是預先水化的 Spark 叢集,能在 Fabric 中為筆記本提供幾乎即時的啟動。 本文將說明如何建立、配置及管理自訂的即時池,以達到最佳效能。
先決條件
在設定自訂直播池前,請確保你具備:
- 使用付費 Fabric SKU 存取 Fabric 工作區(不支援 Fabric 試用容量)。
- 工作空間中的管理員或成員角色。
- 你的工作區會分配一個活躍的 Fabric 容量。
- 一個已發佈的 Fabric 環境 ,用於函式庫設定。
- 一個現有的客製化 Spark 泳池。 只有工作區管理員能建立自訂的 Spark 池。
如果你有 成員 角色,工作區管理員必須開啟現有的 「自訂項目計算設定 」工作區設定。
這很重要
自訂即時池不支援起始池。 如果你的工作區使用起始池,必須先建立自訂的 Spark 池,才能設定自訂的 Live 池。
使用現有的運算自訂設定
自訂即時集區使用現有的 為項目自訂運算組態 工作區設定。 他們沒有獨立的委派設定。 在工作區成員建立或更新自訂的活池設定之前,工作區管理員必須先開啟現有設定:
當此設定開啟時,成員可使用 Fabric 環境選擇現有的自訂 Spark 池,調整會話層級驅動核心、驅動記憶體、執行核心與執行器記憶體,並建立或更新活池組態。 會員接著可以儲存並發佈環境資料。
這個設定不允許會員在工作區設定中建立或管理自訂的 Spark 池。 工作空間管理員必須建立底層的自訂 Spark 池。
當「 自訂項目的計算設定 」關閉時,環境會使用工作空間的預設池及其計算設定。 成員在工作區管理員啟用設定前,無法建立或更新自訂的活池設定。
欲了解更多關於此工作區控制的資訊,請參閱 資料工程工作區管理設定。
為活池建立自訂池(僅限管理員)
此任務需要 Admin 工作區角色。 如果已有自訂的 Spark 池,工作區成員可以跳過此任務,直接在現有池上設定 live pool 運算。
- 切換到你的 Fabric 工作區。
- 從工作區主功能區中選擇工作區設定。
- 展開 資料工程/科學 ,選擇 Spark 設定。
- 選擇 「泳池 」標籤。
- 從 「工作區預設池 」下拉選單中,選擇 新池。
- 輸入集區的名稱。 此名稱為池的唯一識別碼,例如
dev-team-poolprod-daily-analytics或 。 - 選擇節點 家族 和節點 大小 以符合你的工作負載。
- 選擇 自動縮放 的勾選框以啟用池的自動縮放。
設定一個活池
Workspace 管理員與成員可透過 環境 設定建立或更新即時池設定。 對於成員,工作區管理員必須先啟用 項目的自訂計算設定。 成員必須選擇由工作區管理員建立的現有自訂 Spark 池。
在你的 Fabric 工作區中,開啟你想連接到自訂即時群集的環境。
在左窗格中,選取 [計算]。
從下拉選單選擇你在前一步建立的池子。
在 Live pool 中,選擇單選按鈕以啟用此環境的 Live pool 計算。
在 Live pool schedule 中,選擇單選按鈕以打開。 所有自訂的即時池都必須有排程。 群聚只會在預定時段內保持水分。
請指定排程設定:
- 是否排班為重複性
- 開始與結束日期與時間
- 時區
- 何時停用與重新啟動池
- 其他適用的設定
這很重要
Fabric 在非排程時段使用標準 Spark 配置,因為此時啟動時間較慢。 群聚在排定時間外不會保暖。
有關排程技巧,請參閱「排程最佳實務」。
儲存運算設定。
請選擇上方功能區的 發佈 按鈕。
發佈後,池子會啟動,Fabric 會提前為叢集加水,為下一個排程期間做補水。
備註
出版過程可能需要幾分鐘。
任何環境變更都需要重新發布環境並刷新水合叢集。
了解排程視窗
排程定義了 Fabric 何時能保持叢集水分,並能重新為已停用叢集補充水分的時段。 它無法讓活泳池在設定視窗外保持溫暖。
舉例來說,考慮一個每天從早上8點到下午5點的固定節目:
- 早上8點開始,每日排班時段開始,Fabric 開始或持續補水。
- 在排程視窗內,閒置叢集可在達到已設定的閒置逾時時間後停用。 Fabric 可以依照設定的重新啟用間隔重新水合替換品。
- 下午5點,排程時間窗口結束。 Fabric 不會在下午 5:00 到 隔天早上 8:00 之間繼續補水叢集。
- 在排程時段外提交的筆記本會使用標準 Spark 佈建,因此無法享有即時集區暖啟動的優勢。
- 每天的行為會重複,直到設定的排程結束日期為止。
排程開始時間並不保證叢集在該確切時間點已可用。 水合需要時間,尤其是在環境更新後或 Fabric 必須配置新叢集時。 如果排定的 Notebook 必須於上午 8:00 啟動,請將即時集區排程提前 60 到 90 分鐘啟動。 在執行筆記本前,使用 監控中樞 確認 可用叢集 是否大於零。 只有當有相容的水合叢集可用時,進來的筆記本才會獲得溫暖會話。
監控池狀態
要檢查自訂直播池的狀態:
活池狀態包含以下細節:
- 池狀狀態:例如,活躍、補水、閒置或停止
- 可用叢集數:可用於筆記本會話的叢集數量
- 忙碌叢集:目前執行會話的叢集數量
- 下一次行程:即將到來的活動時段
最佳做法
為了充分發揮自訂活池的效能,請參考以下設定與管理的最佳實務:
針對成本和效能進行優化
- 與需求對齊數量:根據預期的並行會話數設定最大叢集數量。 過度配置會增加成本。
- 監控使用率:定期檢視池內指標,必要時調整叢集數量。
- 有效率地擴展排程:除非必要,避免在多個資源池中重疊排程。
- 善用閒置逾時:設定適當的閒置逾時,維持資源可用性與避免頻繁叢集重啟之間的平衡。
叢集大小
在設定池池時,請考慮以下設定與建議:
- 叢集大小:筆記本會話的執行者實例數量(範圍:1 到 16)。
- 最大群聚數:需保持水分的最大群聚數。 根據預期的同時進行的會話來設定。
- 閒置逾時:未使用的叢集在 Fabric 終止前會被分配多久。
| 工作負載類型 | 建議尺寸 | 說明 |
|---|---|---|
| 探索性分析 | 2-4 核心 | 工作量輕,快速資料探索 |
| 中等運算 | 8-12 核心 | 每日報告,中等規模的資料集 |
| 重度運算 | 14-16 核心 | 龐大的資料集,複雜的轉換 |
管理函式庫相依關係
- 使用環境分組:在環境中預先安裝共用函式庫,而非即時安裝。
- 環境版本管理:更新附加環境需要重新發布並刷新已水合的叢集。
- 刷新已加水合叢集:環境變更後,重新整理池或等待下一個排程週期來套用變更。
適應工作量模式
- 監控外部行為:根據實際使用模式調整閒置逾時。
- 跨會話共享:若工作負載模式一致,考慮在多個池中共享相同環境以提升資源利用率。
排程最佳實務
- 配合工作量模式:安排團隊使用互動式或排程筆記本的活躍時間。
- 緩衝時間:在第一次預期筆記本跑動前60-90分鐘開始排程,讓水分補給完成。
- 確認可用性:在執行延遲敏感的排定作業前,請先確認即時集區在 監控中心中至少有一個可用的叢集。
- 考慮時區:如果你的團隊跨越多個時區,請延長排程以涵蓋所需的時間範圍。
Troubleshooting
排除自訂活池的故障需要檢查池狀態、環境健康狀況及排程設定,具體情境如下:
游泳池仍未開放
若池未啟用或顯示「不可用」狀態:
- 檢查 Fabric 容量是否啟用且目前分配到工作區中
- 確認附加環境是否處於「準備就緒」狀態。
- 確保附加的環境是公開的,且沒有錯誤。
補水比預期花更久時間
如果水分補給比預期慢:
- 檢查環境依賴性和建置狀態。
- 確認環境處於「準備就緒」狀態。
- 請關注泳池詳情以獲取更多資訊。
會議或筆記本無法開始
如果筆記型電腦會話即使有活動的資源池也無法啟動:
- 檢查會話是否使用正確的環境。
- 確認泳池是否處於「可用」狀態且完全水分充足。
現場泳池設定無法提供
如果你無法建立或更新活池設定:
- 確認你擁有 管理員 或 成員 工作區角色。
- 如果你具有成員角色,請向工作區管理員要求啟用自訂項目的運算設定。
- 確認有工作區管理員建立了你可以在環境中選擇的自訂 Spark 池。