雖然 Azure Synapse 提供 Spark 集區,但 Fabric 提供 入門集 區和 自定義集區。 如果您的單一集區沒有 Azure Synapse 中的自定義組態或連結庫,且 中型節點大小 符合您的需求,則入門集區是不錯的選擇。 不過,如果您使用Spark集區組態尋求更多彈性,建議您使用 自定義集區。 這有兩個選項:
- 選項一:你可以使用遷移助理,將筆記本從 Azure Synapse 遷移到 Fabric,體驗更為精簡且有引導性。
- 選項二:將你的 Spark 池移到 Workspace 的預設池。
- 選項三:將您的 Spark 池移到 Fabric 的自訂環境。
如果你有多個 Spark 池,且計劃將它們移到同一個 Fabric 工作區,我們建議使用選項 3,建立多個自訂環境和池。
如需了解 Spark 集區的相關考量,請參閱 Azure Synapse Spark 與 Fabric 之間的差異。
必要條件
如果你還沒有,請在租戶中建立一個 Fabric workspace。
選項一:使用遷移助理
你可以使用 migration assistant 來從 Azure Synapse 遷移到 Fabric。 它旨在為筆記本及相關資源的遷移提供有引導且簡化的體驗。
選項二:從 Spark 池到工作區的預設池
您可以從 Fabric 工作區建立自定義 Spark 集區,並將其作為工作區中的預設集區。 同一工作區中的所有筆記本和 Spark 作業定義都會使用預設集區。
若要從現有的 Spark 集區從 Azure Synapse 移至工作區預設集區:
- 存取 Azure Synapse 工作區:登入 Azure。 流覽至您的 Azure Synapse 工作區,移至分析集 區,然後選取Apache Spark 集區。
- 找出 Spark 集區:從 Apache Spark 集區,找出您想要移至 Fabric 的 Spark 集區,並檢查集區屬性。
- 取得屬性:取得 Spark 集區屬性,例如 Apache Spark 版本、節點大小系列、節點大小或自動調整。 請參閱Spark 集區考量事項,了解有哪些差異。
-
在 Fabric 中建立自定義 Spark 集區:
- 移至您的 網狀架構 工作區,然後選取 工作區設定。
- 移至資料工程師/科學,然後選取Spark 設定。
- 從 集區 索引標籤的 工作區的預設集區 區段中,展開下拉式選單,然後選取 [建立 新增集區]。
- 使用對應的目標值建立您的自定義集區。 填入名稱、節點系列、節點大小、自動調整和動態執行程式配置選項。
-
選取執行階段版本:
- 移至 環境 索引標籤,然後選取必要的執行階段版本。 請參閱這裡的可用執行階段。
- 停用 設定預設環境 選項。
注意
在此選項中,不支援集區層級連結庫或組態。 不過,您可以調整個別項目的計算組態,例如筆記本和 Spark 作業定義,以及新增內嵌連結庫。 如果您需要將自定義連結庫和組態新增至環境,請考慮自定義 環境。
選項三:從 Spark 池到自訂環境
透過自定義環境,您可以設定自定義 Spark 屬性和連結庫。 建立自訂環境:
- 存取 Azure Synapse 工作區:登入 Azure。 流覽至您的 Azure Synapse 工作區,移至分析集 區,然後選取Apache Spark 集區。
- 找出 Spark 集區:從 Apache Spark 集區,找出您想要移至 Fabric 的 Spark 集區,並檢查集區屬性。
- 取得屬性:取得 Spark 集區屬性,例如 Apache Spark 版本、節點大小系列、節點大小或自動調整。 請參閱Spark 集區考量事項,了解有哪些差異。
-
建立自訂 Spark 集區:
- 移至您的 網狀架構 工作區,然後選取 工作區設定。
- 移至資料工程師/科學,然後選取Spark 設定。
- 從 集區 索引標籤的 工作區的預設集區 區段中,展開下拉式選單,然後選取 [建立 新增集區]。
- 使用對應的目標值建立您的自定義集區。 填入名稱、節點系列、節點大小、自動調整和動態執行程式配置選項。
- 如果您還沒有,請建立「建立環境」項目。
-
設定 Spark 計算:
- 在環境中,前往Spark Compute>Compute。
- 為新環境選取新建立的集區。
- 您可以設定驅動程式和執行程式核心和儲存體。
- 選取環境的執行階段版本。 請參閱這裡的可用執行階段。
- 點選 儲存 並 發佈 變更。
瞭解有關建立和使用環境的更多資訊。