Azure Synapse Runtime for Apache Spark 3.4 (deprecated)

注意事項

Azure Synapse Runtime for Apache Spark 3.4 於 2026 年 3 月 31 日結束支援。 雖然現有工作負載可能會在此日期後有限時間繼續運行,但執行時已不再支援,且不再接收錯誤修正、安全更新或漏洞修復。 因此,運行於 Spark 3.4 上的工作負載會隨著時間面臨日益增加的營運與安全風險。

此外,Spark 3.4 工作將分階段停用即將開始,且無法保證 Spark 3.4 工作負載未來仍能持續運行。 為了減少干擾並維持在支援的平台上,請盡快將您的基於 Apache Spark 3.4 的工作負載遷移到 Azure Synapse Runtime for Apache Spark 3.5 或 Fabric Runtime 2.0。

我們強烈建議優先遷移至 Fabric Runtime 2.0,該版本已普遍提供,包含 Apache Spark 4.1 與 Delta Lake 4.2,效能、穩定性與安全性都有重大提升。

Azure Synapse Analytics 支援 Apache Spark 的多個運行時間。 本文件涵蓋適用於 Apache Spark 3.4 的 Azure Synapse Runtime 的運行時間元件和版本。

元件版本

元件 版本
Apache Spark 3.4.1
作業系統 水手 2.0
JAVA 11
程式語言 Scala 2.12.17
三角洲湖 2.4.0
Python 3.10
R 4.2.2

提示

如需最新資訊、變更的詳細清單,以及Spark運行時間的特定版本資訊,請檢查並訂閱 Spark運行時間版本和更新。

程式庫

若要檢查適用於 Java/Scala 的 Azure Synapse Runtime 中所包含的連結庫,Python 和 R 會移至 適用於 Apache Spark 3.4 的 Azure Synapse Runtime 版本資訊。

提示

spark.memoryOverheadFactor.preferred:若設為 true,Spark 會優先將 spark.driver.memoryOverheadFactor 與 spark.executor.memoryOverhead 置於 spark.driver.memoryOverhead 與 spark.executor.memoryOverhead 明確定義的值之上。 啟用後,開銷總是透過因子計算,且會忽略明確的開銷設定。 預設為 false,以支援向下相容。