將 Spark 集區從 Azure Synapse Analytics 遷移至 Fabric

雖然 Azure Synapse 提供 Spark 集區,但 Fabric 提供 入門集 區和 自定義集區。 如果您的單一集區沒有 Azure Synapse 中的自定義組態或連結庫,且 中型節點大小 符合您的需求,則入門集區是不錯的選擇。 不過,如果您使用Spark集區組態尋求更多彈性,建議您使用 自定義集區。 這有兩個選項:

  • 選項一:你可以使用遷移助理,將筆記本從 Azure Synapse 遷移到 Fabric,體驗更為精簡且有引導性。
  • 選項二:將你的 Spark 池移到 Workspace 的預設池。
  • 選項三:將您的 Spark 池移到 Fabric 的自訂環境。

如果你有多個 Spark 池,且計劃將它們移到同一個 Fabric 工作區,我們建議使用選項 3,建立多個自訂環境和池。

如需了解 Spark 集區的相關考量,請參閱 Azure Synapse Spark 與 Fabric 之間的差異。

必要條件

如果你還沒有,請在租戶中建立一個 Fabric workspace。

選項一:使用遷移助理

你可以使用 migration assistant 來從 Azure Synapse 遷移到 Fabric。 它旨在為筆記本及相關資源的遷移提供有引導且簡化的體驗。

選項二:從 Spark 池到工作區的預設池

您可以從 Fabric 工作區建立自定義 Spark 集區,並將其作為工作區中的預設集區。 同一工作區中的所有筆記本和 Spark 作業定義都會使用預設集區。

若要從現有的 Spark 集區從 Azure Synapse 移至工作區預設集區:

  1. 存取 Azure Synapse 工作區:登入 Azure。 流覽至您的 Azure Synapse 工作區,移至分析集 區,然後選取Apache Spark 集區。
  2. 找出 Spark 集區:從 Apache Spark 集區,找出您想要移至 Fabric 的 Spark 集區,並檢查集區屬性。
  3. 取得屬性:取得 Spark 集區屬性,例如 Apache Spark 版本、節點大小系列、節點大小或自動調整。 請參閱Spark 集區考量事項,了解有哪些差異。
  4. 在 Fabric 中建立自定義 Spark 集區:
    • 移至您的 網狀架構 工作區,然後選取 工作區設定。
    • 移至資料工程師/科學,然後選取Spark 設定。
    • 從 集區 索引標籤的 工作區的預設集區 區段中,展開下拉式選單,然後選取 [建立 新增集區]。
    • 使用對應的目標值建立您的自定義集區。 填入名稱、節點系列、節點大小、自動調整和動態執行程式配置選項。
  5. 選取執行階段版本:
    • 移至 環境 索引標籤,然後選取必要的執行階段版本。 請參閱這裡的可用執行階段。
    • 停用 設定預設環境 選項。

顯示預設集區的螢幕擷取畫面。

注意

在此選項中,不支援集區層級連結庫或組態。 不過,您可以調整個別項目的計算組態,例如筆記本和 Spark 作業定義,以及新增內嵌連結庫。 如果您需要將自定義連結庫和組態新增至環境,請考慮自定義 環境。

選項三:從 Spark 池到自訂環境

透過自定義環境,您可以設定自定義 Spark 屬性和連結庫。 建立自訂環境:

  1. 存取 Azure Synapse 工作區:登入 Azure。 流覽至您的 Azure Synapse 工作區,移至分析集 區,然後選取Apache Spark 集區。
  2. 找出 Spark 集區:從 Apache Spark 集區,找出您想要移至 Fabric 的 Spark 集區,並檢查集區屬性。
  3. 取得屬性:取得 Spark 集區屬性,例如 Apache Spark 版本、節點大小系列、節點大小或自動調整。 請參閱Spark 集區考量事項,了解有哪些差異。
  4. 建立自訂 Spark 集區:
    • 移至您的 網狀架構 工作區,然後選取 工作區設定。
    • 移至資料工程師/科學,然後選取Spark 設定。
    • 從 集區 索引標籤的 工作區的預設集區 區段中,展開下拉式選單,然後選取 [建立 新增集區]。
    • 使用對應的目標值建立您的自定義集區。 填入名稱、節點系列、節點大小、自動調整和動態執行程式配置選項。
  5. 如果您還沒有,請建立「建立環境」項目。
  6. 設定 Spark 計算:
    • 在環境中,前往Spark Compute>Compute。
    • 為新環境選取新建立的集區。
    • 您可以設定驅動程式和執行程式核心和儲存體。
  7. 選取環境的執行階段版本。 請參閱這裡的可用執行階段。
  8. 點選 儲存 並 發佈 變更。

瞭解有關建立和使用環境的更多資訊。

顯示自定義環境的屏幕截圖。