注意事項
Azure Synapse Runtime for Apache Spark 3.4 於 2026 年 3 月 31 日結束支援。 雖然現有工作負載可能會在此日期後有限時間繼續運行,但執行時已不再支援,且不再接收錯誤修正、安全更新或漏洞修復。 因此,運行於 Spark 3.4 上的工作負載會隨著時間面臨日益增加的營運與安全風險。
此外,Spark 3.4 工作將分階段停用即將開始,且無法保證 Spark 3.4 工作負載未來仍能持續運行。 為了減少干擾並維持在支援的平台上,請盡快將您的基於 Apache Spark 3.4 的工作負載遷移到 Azure Synapse Runtime for Apache Spark 3.5 或 Fabric Runtime 2.0。
我們強烈建議優先遷移至 Fabric Runtime 2.0,該版本已普遍提供,包含 Apache Spark 4.1 與 Delta Lake 4.2,效能、穩定性與安全性都有重大提升。
Azure Synapse Analytics 支援 Apache Spark 的多個運行時間。 本文件涵蓋適用於 Apache Spark 3.4 的 Azure Synapse Runtime 的運行時間元件和版本。
元件版本
| 元件 | 版本 |
|---|---|
| Apache Spark | 3.4.1 |
| 作業系統 | 水手 2.0 |
| JAVA | 11 |
| 程式語言 Scala | 2.12.17 |
| 三角洲湖 | 2.4.0 |
| Python | 3.10 |
| R | 4.2.2 |
提示
如需最新資訊、變更的詳細清單,以及Spark運行時間的特定版本資訊,請檢查並訂閱 Spark運行時間版本和更新。
程式庫
若要檢查適用於 Java/Scala 的 Azure Synapse Runtime 中所包含的連結庫,Python 和 R 會移至 適用於 Apache Spark 3.4 的 Azure Synapse Runtime 版本資訊。
提示
spark.memoryOverheadFactor.preferred:若設為 true,Spark 會優先將 spark.driver.memoryOverheadFactor 與 spark.executor.memoryOverhead 置於 spark.driver.memoryOverhead 與 spark.executor.memoryOverhead 明確定義的值之上。 啟用後,開銷總是透過因子計算,且會忽略明確的開銷設定。 預設為 false,以支援向下相容。