Databricks Runtime 的維護更新

本頁列出支援的 Databricks 執行版本的維護更新。 若要將維護更新新增至現有的叢集,請重新啟動叢集。 如需未支援的 Databricks Runtime 版本的維護更新,請參閱 Databricks Runtime 維護更新。

分階段發行。 您的 Azure Databricks 帳號可能在初始發布日後幾天才會更新。

Note

從 Databricks Runtime 19 開始,維護更新直接發布於每個版本的統一版本說明頁面。 本頁僅適用於 Databricks Runtime 18 和更早版本。 請參閱 Databricks 執行時支援生命週期。

Databricks Runtime 發行版

每一版本的維護更新:

Databricks Runtime 18 LTS

請參閱 Databricks Runtime 18 LTS。

  • 2026 年 11 月 10 日

    • 更新的 Python 函式庫:
      • hf-xet 從 1.2.0 升級至 1.3.2
      • Pytz 2024.1 至 2026.5
      • tzdata 從 2024.1 到 2026.5
    • [SPARK-59242][SQL] 在 SQLExecution 中對 DAGScheduler 清理進行防護,以防 SparkContext 已停止
    • [SPARK-58175] 快取已剖析的 FileDescriptorSet 描述符
    • [SPARK-57988][SQL] 在 V2ExpressionSQLBuilder 中,為 IS [NOT] NULL 的 IN 及其他非比較謂詞運算元加上括號
    • [SPARK-58204][SQL] 向後移植狀態式運算式修正
    • 作業系統安全性更新。
  • 2026年11月3日

    • [SPARK-59580][SQL] 減少 TreeNode 快取分配
    • [SPARK-60228][SQL] 避免在 CacheManager 中以資料表名稱進行平方級快取查找
    • [SPARK-60246][CORE] fetchFile 失敗時關閉下載通道
    • 作業系統安全性更新。
  • 2026年10月23日

    • 更新的 Java 函式庫:
      • org.apache.zookeeper.zookeeper 從 3.9.4 到 3.9.5
      • org.apache.zookeeper.zookeeper-jute 從 3.9.4 到 3.9.5
    • 更新的 Python 函式庫:
      • Certifi 自 2025.4.26 至 2026.10.19
    • [SPARK-57547][SQL] 在初始化競賽條件下修正 PartitionKeyedAccumulator 中的 NPE
    • [SPARK-59998][CORE] 使 LogEntry 串接延後執行
    • 作業系統安全性更新。
  • 2026年10月8日

    • 對於 Unity Catalog 管理的檢視,CREATE OR REPLACE VIEW 現在支援 COPY * 和 NOCOPY * 子句。 這些條款控制替換是否保留現有視圖的中繼資料,如授權權限、註解和標籤。 請參閱 CREATE VIEW。
  • 2026年9月29日

    • [SPARK-57540][SQL] 直接實例化陰影 Woodstox WstxOutputFactoryStaxXmlGenerator
    • 作業系統安全性更新。
  • 2026 年 9 月 15 日

    • 作業系統安全性更新。
  • 2026年9月1日

    • (行為變更)RESTORE 和 CLONE 指令若會變更資料表分割方式,且來源與目標資料表共用同一個檔案,則可能會被封鎖。
    • [SPARK-58751][SPARK-58977] 回埠 Python worker 清理與狀態伺服器關閉
    • [SPARK-58386][SS] 恢復 SupportsRealTimeRead.nextWithTimeout 的向下相容性
    • [SPARK-51268][SQL] 使 TreeNode 成為無鎖
    • [SPARK-58531][SQL][CONNECT] 將 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 設為靜態 conf
    • 作業系統安全性更新。
  • 2026年8月18日

    • [SPARK-58292][CORE] 當工作者事件迴圈執行緒終止時,重新建立 netty worker EventLoopGroup
    • 作業系統安全性更新。
  • 2026年8月4日

    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.13 從 1.4.0 到 1.4.1
    • 還原「[SPARK-57778][僅測試] 為不可選的 Oracle JDBC 物件新增 HiFi 覆蓋」
    • [SPARK-58107] 回埠本地檢查點去重複與封存 + MERGE 具體化來源校驗和驗證
    • [SPARK-57547][SQL] 重新套用 InMemoryRelation 並行實體化修正
    • 作業系統安全性更新。
  • 2026年7月24日

    • (行為變更)在 DStream 閉包內依賴自訂或第三方類型的使用者,現在必須先對這些類型設定 spark.streaming.checkpoint.allowedClasses,然後才能進行檢查點復原。
    • 修正了一個正確性錯誤,當視窗min/max覆蓋BinaryType有滑動框架的欄位(任何RANGE框架,或ROWS大小為 10 或以上的框架)時,會回傳運行中的全域min/max而非每幀值。
    • [SPARK-53454][SQL][backport] 處理 JDBCSQLBuilder 中的 AlwaysTrue/AlwaysFalse 輸入
    • [SPARK-57778][SQL] 處理無法選擇為表格的 Oracle JDBC 物件
    • 作業系統安全性更新。
  • 2026年7月10日

    • [SPARK-57195][SQL] Surface MALFORMED_CSV_RECORD,而非 CSV 架構推論中的 ArrayIndexOutOfBoundsException
    • [SPARK-57593][SQL][PYTHON] 對 pickle Python UDF 輸入批次設定位元組上限並加入監測
    • [SPARK-57243][18.3.2][SQL] 將 IsNull 和 IsNotNull 包圍在括號中,適用於 V2 SQL 建構器
    • 其他錯誤修正。
  • 2026年6月29日
    • (行為變更)量值檢視現在會拒絕參照其他視窗量值的視窗量值。 先前,這種模式在 CREATE 時會成功,但在查詢時會靜默失敗或產生錯誤的結果。 現在,Azure Databricks 會在 CREATE 或 ALTER 時傳回明確的錯誤訊息(METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 要停用此驗證,請設 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled 為 false。
    • [SPARK-57088][SQL] 允許對 EXACT NEAREST BY 使用非確定性排名表達式
    • [SPARK-56652][SQL] 在 DESCRIBE EXTENDED 的 constraint 輸出中,請務必輸出 RELY/NORELY
    • [SPARK-57355][PYTHON] 修正 UDF 分析器中的 module 檢查
    • [SPARK-56720][SS] 在非同步進度追蹤先前發生失敗後,使後續非同步日誌寫入失敗
    • [SPARK-56977][SQL] RewriteNearestByJoin 應尊重合成連接中的 joinType
    • [SPARK-57371][Connect] 修正 Arrow 解序器中的資料競爭
    • 作業系統安全性更新。

Databricks Runtime 17.3 LTS

請參閱 Databricks Runtime 17.3 LTS。

  • 2026 年 11 月 10 日

    • 更新的 Python 函式庫:
      • 從 pytz 2024.1 至 2026.5
      • tzdata 從 2024.1 年到 2026.5 年
    • [SPARK-58204][SQL] 回移植有狀態表達式修正
    • [SPARK-55062] 將 proto2 擴充功能回移植到 protobuf 函式
    • [SPARK-58175] 快取已剖析的 FileDescriptorSet 描述符
    • 作業系統安全性更新。
  • 2026年11月3日

    • 更新的 Java 函式庫:
      • com.microsoft.sqlserver.mssql-jdbc from 11.2.3.jre8, 11.2.3.jre8 to 11.2.4.jre8, 11.2.4.jre8
    • [SPARK-55133][CONNECT] 修正 IsolatedSessionState 生命週期管理中的競態條件
    • [SPARK-60246][CORE] 當 fetchFile 失敗時關閉下載通道
    • 作業系統安全性更新。
  • 2026年10月23日

    • 更新的 Java 函式庫:
      • com.microsoft.sqlserver.mssql-jdbc 從 11.2.2.jre8, 11.2.3.jre8 到 11.2.3.jre8, 11.2.3.jre8
      • org.apache.zookeeper.zookeeper 從 3.9.3 到 3.9.5
      • org.apache.zookeeper.zookeeper-jute 從 3.9.3 到 3.9.5
    • 更新的 Python 函式庫:
      • Certifi 自 2025.4.26 至 2026.10.19
    • [SPARK-57547][SQL] 修正 PartitionKeyedAccumulator 在初始化期間的競爭條件下發生的 NPE
    • 作業系統安全性更新。
  • 2026年9月29日

    • 作業系統安全性更新。
  • 2026 年 9 月 15 日

    • 作業系統安全性更新。
  • 2026年9月1日

    • (行為變更)RESTORE 和 CLONE 指令若會變更資料表分割方式,且來源與目標資料表共用同一個檔案,則可能會被封鎖。
    • 更新的 Java 函式庫:
      • io.netty.netty-all 從 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-buffer 從 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-codec 由 4.1.118.Final 升級至 4.1.137.Final
      • io.netty.netty-codec-http 從 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-codec-http2 由 4.1.118.Final 升級至 4.1.137.Final
      • io.netty.netty-codec-socks 從 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-common 從 4.1.118.Final 升級至 4.1.137.Final
      • io.netty.netty-handler,從 4.1.118.Final 升級到 4.1.137.Final
      • io.netty.netty-handler-proxy 從 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-resolver 從 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-transport 從 4.1.118.Final 升級至 4.1.137.Final
      • io.netty.netty-transport-classes-epoll 從 4.1.118.Final 升級到 4.1.137.Final
      • io.netty.netty-transport-classes-kqueue 從 4.1.118.Final 升級至 4.1.137.Final
      • io.netty.netty-transport-native-epoll 從 4.1.118.Final、4.1.118.Final、4.1.118.Final、4.1.118.Final 到 4.1.137.Final、4.1.137.Final、4.1.137.Final、4.1.137.Final
      • io.netty.netty-transport-native-kqueue 從 4.1.118.Final、4.1.118.Final 到 4.1.137.Final、4.1.137.Final
      • io.netty.netty-transport-native-unix-common 從 4.1.118.Final 到 4.1.137.Final
      • org.eclipse.jetty.jetty-client 從 9.4.53.v20231009 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延續,從9.4.53.v20231009到9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 從 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 從 9.4.53.v20231009 版本升級到 9.4.57.v20241219 版本
      • org.eclipse.jetty.jetty-jndi 從 9.4.53.v20231009 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 從 9.4.53.v20231009 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 從 9.4.53.v20231009 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 由 9.4.53.v20231009 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 從 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 從 9.4.53.v20231009 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 從 9.4.53.v20231009 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 從 9.4.53.v20231009 版升級至 9.4.57.v20241219 版
      • org.eclipse.jetty.jetty-util-ajax 從 9.4.53.v20231009 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 從 9.4.53.v20231009 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 從 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api 從 9.4.53.v20231009 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 從 9.4.53.v20231009 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 從 9.4.53.v20231009 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 從 9.4.53.v20231009 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 從 9.4.53.v20231009 升級至 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] 將 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 設為靜態 conf
    • [SPARK-58751][SPARK-58977] 回埠 Python 工作者清理與狀態伺服器關閉
    • [SPARK-58292][CORE] 當工作者事件迴圈執行緒終止時,重新建立 netty worker EventLoopGroup
    • 作業系統安全性更新。
  • 2026年8月18日

    • 作業系統安全性更新。
  • 2026年8月4日

    • [SPARK-57778][僅測試] 修正不穩定的 Oracle 不可 SELECT 的 HiFi 測試(專用結構描述)
    • [SPARK-58107] 回移植 local-checkpoint 去重並封存 + MERGE 物化來源校驗和驗證
    • 作業系統安全性更新。
  • 2026年7月24日

    • 修正了一個正確性錯誤,當視窗min/max覆蓋BinaryType有滑動框架的欄位(任何RANGE框架,或ROWS大小為 10 或以上的框架)時,會回傳運行中的全域min/max而非每幀值。
    • [SPARK-57778][SQL] 處理無法作為資料表選取的 Oracle JDBC 物件
    • [SPARK-57371][Connect] 修正 ArrowDeserializers 中的資料競爭
    • 作業系統安全性更新。
  • 2026年7月10日

    • [SPARK-57547][SQL] 回移植 InMemoryRelation 並行物質化修正至 17.3(具備停用開關)
    • 其他錯誤修正。
  • 2026年6月29日
    • (行為變更)量值檢視現在會拒絕參照其他視窗量值的視窗量值。 先前,這種模式在 CREATE 時會成功,但在查詢時會靜默失敗或產生錯誤的結果。 現在,Azure Databricks 會在 CREATE 或 ALTER 時傳回明確的錯誤訊息(METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 要停用此驗證,請設 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled 為 false。
    • 作業系統安全性更新。
  • 2026年6月9日
    • (行為改變) SET TAG 現在具有冪等性。 對已帶有標籤的資源重複 SET TAG 操作不再會產生錯誤。
    • 作業系統安全性更新。
  • 2026年5月26日
    • [SPARK-34591][ML] 新增決策樹修剪作為參數
    • 作業系統安全性更新。
  • 2026年5月13日
    • (行為變更)以結構描述模式列出資料表時,不再重新整理 Unity Catalog 中外部資料表的中繼資料(例如 SQL Server、PostgreSQL 或 AWS Glue)。 此變更會影響 JDBC 驅動程式中在傳入結構描述模式時的 SHOW TABLES IN SCHEMA LIKE ...、getMetaData.getTables 呼叫,以及 Thrift SparkGetTablesOperation API。 如果你的工作負載依賴於結構模式的元資料刷新,請聯絡 Databricks 支援。
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.13 從 1.3.10 升級至 1.3.11
    • [SPARK-56361][SS] 在串流對串流連接中發生 NPE 時,提供包含記錄資訊的更佳錯誤訊息
    • 其他錯誤修正。
  • 2026年4月20日

    • 修正了GEOMETRY(102100)類型的CRS權限。 權威現在被報告為 ESRI:102100 ,而非 EPSG:102100。
    • 修正了 MERGE、UPDATE 中的資料正確性問題,以及在串流寫入查詢中,來源中的 NULL 結構被擴展為目標中包含 NULL 欄位的非 NULL 結構。 原始碼中的 NULL 結構體現在會以 NULL 形式保留在目標端。 此修正適用於以下操作:
      • 具有 UPDATE SET t.structCol = s.structCol 的 MERGE 動作會使用 struct 類型轉型。
      • MERGE 搭配 UPDATE SET *,當 schema 演化啟用且目標結構體沒有額外欄位或原本是 NULL 時。
      • 當結構體在 EXCEPT 清單中沒有欄位時,MERGE 搭配 UPDATE SET * EXCEPT。
      • MERGE 搭配 INSERT (structCol) VALUES (s.structCol) 動作使用結構體類型轉型。
      • MERGE 動作 INSERT * [EXCEPT] 會使用 struct 類型轉換。
      • UPDATE 具有結構型別轉換的查詢。
      • 串流寫入時會用結構型投射。
  • 2026年4月2日

    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.13 從 1.3.9 到 1.3.10
    • [SPARK-55811] [SQL] 呼叫 nodeWithOutputColumnsString 時,請 Catch NonFatal 而非 UnresolvedException
    • [SPARK-55892][SS] 修復因維護刪除重複使用的 SST 檔案而無法載入狀態存放區
    • [回移][OSS Cherrypick] [SPARK-55945][SDP] 支援SDP及時分析原型中流程的結構化識別碼
    • 作業系統安全性更新。
  • 2026年3月10日

    • [SPARK-55493] [SS] 不要在 StateDataSource 的串流檢查點狀態目錄中 mkdirs
    • [SPARK-55111][SS] 在查詢重新啟動時重新檢查未完成的重新分割偵測
    • [SPARK-55701]ES-1694761[SS] 修正 CompactibleFileStreamLog.allFiles 中的競態條件
    • 作業系統安全性更新。
  • 2026年2月26日

    • 更新的 Java 函式庫:
      • org.mlflow.mlflow-spark_2.13 從 2.9.1 改為 2.20.4
    • 作業系統安全性更新。
  • 2026年2月19日

    • 在推斷Excel檔案的結構時,字串儲存格現在被推斷為 Spark StringType。 這會尊重 Excel 中設定的儲存格類型。 過去,數值字串會自動鑄造成較窄的類型,如 Long 或 Decimal。
    • [SPARK-54887][CONNECT] 在 Spark Connect 用戶端中一律設定 SQL state
    • [SPARK-54887][CONNECT] 在 sparkthrowables 中新增可選的 sqlstate
    • [SPARK-55097][SQL] 修正重新加入快取工件時靜默掉落區塊的問題
    • [SPARK-55282][PYTHON][CONNECT] 避免在 Driver 端使用 worker_util
    • [SPARK-49110][SQL] 簡化 SubqueryAlias.metadataOutput 以永遠傳播元資料欄位
    • [SPARK-55243][CONNECT] 允許透過 Scala Connect 用戶端的 -bin 後綴設定二進位標頭
    • 作業系統安全性更新。
  • 2026年1月27日

    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.13 從 1.3.8 到 1.3.9
    • 詳見上文
    • [SPARK-54768][SS]Python Stream Data Source 應該會分類錯誤,如果回傳的資料與已設定的結構不符
    • [SPARK-54803] 支援 BY NAME 搭配 INSERT ... REPLACE WHERE
    • [SPARK-53564][CORE] 避免因 DAGSchedulerEventProcessLoop 中 BLOCKManager RPC 逾時而導致 DAGScheduler 退出
    • [SPARK-55015][SS][SQL] 修正 PrefixKeyScanStateEncoder 中 decodeRemainingKey 的 numFields 計算
    • 作業系統安全性更新。
  • 2026年1月9日
    • 更新的 Python 函式庫:
      • PMDARIMA 從 2.0.4 到 2.1.1
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.13 從 1.3.6 到 1.3.8
    • 你現在可以將 SQL 視窗函數 作為純量函數,使用在度量視圖的維度和度量表達式中。
    • [SPARK-54562][SDP][17.3 回移植] 從伺服器端阻止在 flow function 內進行 eager analysis/執行
    • [SPARK-54679][SQL] 重新命名 spark.sql。(xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] 為 daemon 建立的工作者連線新增逾時設定
    • [SPARK-53127][SQL] 修正 CTE 正規化下無限制遞迴的 LIMIT ALL 問題
    • [SPARK-54708] 透過延後建立目錄來最佳化機器學習快取清理
    • [SPARK-54581][SQL] 讓 Postgres 連接器的 fetchsize 選項不區分大小寫
    • [SPARK-41916] [ML] Torch distributor:若 task.gpu.amount > 1,則支援每個 task 使用多個 torchrun 程序
    • [SPARK-54564] [SQL] 將 QueryPlanningTracker 設為 HybridAnalyzer 的欄位
    • [SPARK-54620][SQL] 在 ObservationManager 中新增安全檢查以避免 Observation 阻塞
    • 作業系統安全性更新。
  • 2025年12月9日
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.13 從 1.3.5 到 1.3.6
    • [SPARK-50906][SQL] 修正 Avro 重新排序的結構欄位空值性檢查
    • [SPARK-54180][SQL] 覆寫 BinaryFileFormat 的 toString
    • [SPARK-54427][SQL] 允許 ColumnarRow 以變體類型呼叫 copy
    • 作業系統安全性更新。
  • 2025年11月18日
    • [SPARK-54047][PYTHON] 在閒置逾時時終止時使用差異錯誤
    • [SPARK-52762][SDP] 新增 PipelineAnalysisContext 訊息以支援 Spark Connect 查詢執行時的管線分析
    • [SPARK-54156][PROTOBUF] 將 ProtobufOptions 轉型失敗錯誤分類
    • [SPARK-54078][SS] 新測試 StateStoreSuite SPARK-40492: maintenance before unload 並移除舊測試的基礎設施
    • [SPARK-54015][PYTHON] 放寬 Py4J 的要求為 py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] XML 變體解析器在十進位解析錯誤時應回退為字串
    • [SPARK-54191][17.3 回溯埠][SDP] 新增一次到 Defineflow Proto
    • 作業系統安全性更新。
  • 2025 年 11 月 4 日
    • [SPARK-53729][PYTHON][CONNECT] 修正 pyspark.sql.connect.window.WindowSpec 的序列化
    • [SPARK-46679][SQL] 修正使用 Parameterized 類別時出現 SparkUnsupportedOperationException:未找到型別 T 的編碼器問題
    • [SPARK-53973][Avro] 分類 AvroOptions 布林鑄造失敗錯誤
    • [SPARK-53794][SS] 新增限制每次維護操作刪除數量的選項,與 rocksdb 狀態提供者相關
    • [SPARK-53908][CONNECT] 修正在使用計畫快取時 Spark Connect 上的觀察功能
    • [SPARK-53972][SS] 修正經典 pyspark 中串流查詢 recentProgress 的回歸
    • 作業系統安全性更新。

Databricks Runtime 16.4 LTS

請參閱 Databricks Runtime 16.4 LTS。

  • 2026 年 11 月 10 日

    • 更新的 Python 函式庫:
      • pytz 從 2024.1 更新至 2026.5
      • 新增 tzdata 2026.5
    • 作業系統安全性更新。
  • 2026年11月3日

    • 作業系統安全性更新。
  • 2026年10月23日

    • 更新的 Java 函式庫:
      • com.microsoft.sqlserver.mssql-jdbc 從 11.2.2.jre8, 11.2.3.jre8 到 11.2.3.jre8, 11.2.3.jre8
    • 更新的 Python 函式庫:
      • Certifi 自 2025.4.26 至 2026.10.19
    • [SPARK-57547][SQL] 修正 PartitionKeyedAccumulator 在初始化競態條件期間的 NPE
    • 作業系統安全性更新。
  • 2026年9月29日

    • [SPARK-53069][SS] 修正虛擬欄位族群錯誤的狀態儲存指標
    • 作業系統安全性更新。
  • 2026 年 9 月 15 日

    • 更新的 Java 函式庫:
      • org.apache.zookeeper.zookeeper 從 3.9.2 到 3.9.5
      • org.apache.zookeeper.zookeeper-jute 從 3.9.2 改為 3.9.5
    • 作業系統安全性更新。
  • 2026年9月1日

    • (行為變更)RESTORE 和 CLONE 指令若會變更資料表分割方式,且來源與目標資料表共用同一個檔案,則可能會被封鎖。
    • 更新的 Java 函式庫:
      • org.eclipse.jetty.jetty-client 從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延續,從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 由 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 從 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 從 9.4.52.v20230823 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 版本從 9.4.52.v20230823 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 由 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API 從 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 從 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 由 9.4.52.v20230823 升級至 9.4.57.v20241219
    • [SPARK-58292][CORE] 當工作者事件迴圈執行緒終止時,重新建立 netty worker EventLoopGroup
    • [SPARK-58531][SQL][CONNECT] 將 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 設為靜態 conf
    • 作業系統安全性更新。
  • 2026年8月18日

    • 作業系統安全性更新。
  • 2026年8月4日

    • [SPARK-57547][SQL] 回埠 InMemoryRelation 並行物質化修正至 16.4(含殺死開關)
    • [SPARK-58107] 回埠本地檢查點去重複並封存 + MERGE 物化來源校驗和驗證
    • 作業系統安全性更新。
  • 2026年7月24日

    • 修正了一個正確性錯誤,當視窗min/max覆蓋BinaryType有滑動框架的欄位(任何RANGE框架,或ROWS大小為 10 或以上的框架)時,會回傳運行中的全域min/max而非每幀值。
    • 作業系統安全性更新。
  • 2026年7月10日

    • 其他錯誤修正。
  • 2026年6月29日

    • (行為變更)量值檢視現在會拒絕參照其他視窗量值的視窗量值。 先前,這種模式在 CREATE 時會成功,但在查詢時會靜默失敗或產生錯誤的結果。 現在,Azure Databricks 會在 CREATE 或 ALTER 時傳回明確的錯誤訊息(METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 要停用此驗證,請設 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled 為 false。

    • 修正了資料正確性問題:在 MERGE、UPDATE 及串流寫入查詢中,來源中的 NULL struct 值會在目標中被錯誤地展開為非 NULL 的 struct,且其欄位為 NULL。 變更後,來源中的 NULL 結構體在目標中會正確保留為 NULL。

      受影響的行動:

      • MERGE 具有 UPDATE SET t.structCol = s.structCol 動作且包含結構型別轉型的查詢
      • MERGE 當結構演化啟用時,查詢 UPDATE SET * (當原始結構體為 NULL 時,當目標結構體沒有額外欄位或原本是 NULL 時,則用 NULL 覆蓋目標)
      • MERGE 查詢 ( UPDATE SET * EXCEPT 當原始結構體為 NULL 時,當 EXCEPT 清單中沒有欄位時,則以 NULL 覆蓋目標)
      • MERGE 帶有 INSERT (structCol) VALUES (s.structCol) 結構型投射的動作查詢
      • MERGE 帶有 INSERT * [EXCEPT] 動作及結構型別轉換的查詢
      • UPDATE 帶有結構型別cast的查詢
      • 串流寫入中的結構類型轉換
    • 作業系統安全性更新。

  • 2026年6月9日

    • (行為改變) SET TAG 現在具有冪等性。 對已帶有標籤的資源重複 SET TAG 操作不再會產生錯誤。
    • 作業系統安全性更新。
  • 2026年5月26日
    • [SPARK-34591][ML] 新增決策樹修剪作為參數
    • 作業系統安全性更新。
  • 2026年5月13日
    • (行為變更)以結構描述模式列出資料表時,不再重新整理 Unity Catalog 中外部資料表的中繼資料(例如 SQL Server、PostgreSQL 或 AWS Glue)。 此變更會影響 JDBC 驅動程式中在傳入結構描述模式時的 SHOW TABLES IN SCHEMA LIKE ...、getMetaData.getTables 呼叫,以及 Thrift SparkGetTablesOperation API。 如果你的工作負載依賴於結構模式的元資料刷新,請聯絡 Databricks 支援。
    • 更新的 Java 函式庫:
      • (僅限 Scala 2.12)io.delta.delta-sharing-client_2.12 從 1.2.11 升級至 1.2.12
      • (僅限 Scala 2.13)io.delta.delta-sharing-client_2.13 從 1.2.11 升級至 1.2.12
    • [SPARK-56361][SS] 在串流對串流聯結中發生 NPE 時,提供包含記錄資訊的更佳錯誤訊息
    • 其他錯誤修正。
  • 2026年4月29日
    • 其他錯誤修正。
  • 2026年4月20日
    • 其他錯誤修正。
  • 2026年4月2日

    • 更新的 Java 函式庫:
      • (僅限 Scala 2.12)io.delta.delta-sharing-client_2.12,從 1.2.10 到 1.2.11
      • (僅 Scala 2.13)io.delta.delta-sharing-client_2.13,從 1.2.10 到 1.2.11
    • [SPARK-55701]ES-1694761[SS] 修正 CompactibleFileStreamLog.allFiles 中的競賽狀態
    • [回移][OSS Cherrypick] [SPARK-55945][SDP] 支援SDP及時分析原型中流程的結構化識別碼
    • 作業系統安全性更新。
  • 2026年3月10日

    • [SPARK-55111][SS] 在查詢重新啟動時重新檢查未完成的重新分割偵測
    • [SPARK-55493] [SS] 不要在 StateDataSource 的串流檢查點狀態目錄中 mkdirs
    • 作業系統安全性更新。
  • 2026年2月26日

    • 作業系統安全性更新。
  • 2026年2月19日

    • [SPARK-55282][PYTHON][CONNECT] 避免在 Driver 端使用 worker_util
    • [SPARK-55243][CONNECT] 允許透過 Scala Connect 用戶端的 -bin 後綴設定二進位標頭
    • 作業系統安全性更新。
  • 2026年1月27日
    • 更新的 Java 函式庫:
      • (僅 Scala 2.12)io.delta.delta-sharing-client_2.12,從 1.2.9 到 1.2.10
      • (僅限 Scala 2.12)org.mlflow.mlflow-spark_2.12 從 2.9.1 到 2.19.0
      • (僅適用於 Scala 2.13)io.delta.delta-sharing-client_2.13 從版本 1.2.9 升級到 1.2.10
      • (僅限 Scala 2.13)org.mlflow.mlflow-spark_2.13 從 2.9.1 到 2.19.0
    • [SPARK-55015][SS][SQL] 修正 PrefixKeyScanStateEncoder 中 decodeRemainingKey numFields 的計算
    • 作業系統安全性更新。
  • 2026年1月9日
    • 更新的 Java 函式庫:
      • (僅 Scala 2.12)io.delta.delta-sharing-client_2.12,版本從 1.2.8 更新為 1.2.9
      • (僅 Scala 2.13) io.delta.delta-sharing-client_2.13 從 1.2.8 到 1.2.9
    • [SPARK-54620][SQL] 在 ObservationManager 中新增安全檢查以避免 Observation 阻擋
    • [SPARK-54711][PYTHON] 為背景程序建立的工作者連線加入逾時設定
    • [SPARK-41916] [ML] Torch distributor:若任務.gpu.amount > 1,則支援每個任務有多個 torchrun 程序
    • 作業系統安全性更新。
  • 2025年12月9日
    • 分區式 Delta 表格未來將以資料 parquet 檔案形式實現分割欄。 這使得 Iceberg 和 UniForm 資料表的處理方式更具協同效應,並提高了與外部非 Delta 相容讀取器的相容性。
    • 對於 Snowflake 連接器和 Snowflake Lakehouse 同盟, TIMESTAMP_NTZ [時間戳沒有時區] 常值不再向下推送至 Snowflake。 這項變更可防止因不相容的時間戳處理所造成的查詢失敗,並改善受影響查詢的可靠性。
    • [SPARK-54427][SQL] 允許 ColumnarRow 使用變體類型呼叫 copy
    • [SPARK-54180][SQL] 覆寫 BinaryFileFormat 的 toString
    • 作業系統安全性更新。
  • 2025年11月18日
    • [SPARK-54099][SQL] XML 變體解析器在十進位解析錯誤時應退回字串
    • [SPARK-54015][PYTHON] 將 Py4J 相依需求放寬為 py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] 針對 StateStoreSuite SPARK-40492: maintenance before unload 的新測試,並移除舊測試的基礎設施
    • [SPARK-54156][PROTOBUF] 分類 ProtobufOptions 類型轉換失敗錯誤
    • [SPARK-54047][Python] 在閒置逾時時終止時使用差異錯誤
    • 作業系統安全性更新。
  • 2025 年 11 月 4 日
    • 更新的 R 庫:
      • 箭頭從 16.1.0 到 21.0.0
    • [SPARK-53973][Avro] 分類 AvroOptions 布林鑄造失敗錯誤
    • 作業系統安全性更新。
  • 2025 年 10 月 21 日
    • 作業系統安全性更新。
  • 2025 年 10 月 7 日
    • [SPARK-53568][CONNECT][PYTHON] 修正 Spark Connect Python 客戶端錯誤處理邏輯中的幾個小錯誤
    • [SPARK-53574] 修正在巢狀計畫解析時 AnalysisContext 被清除
    • [SPARK-53623][SQL] 改善讀取大型資料表屬性…
    • [SPARK-53598][SQL] 在讀取大型資料表屬性前,請先確認 numParts 是否存在
    • [SPARK-53549][SS] 清單狀態請求程序完成後,請務必關閉箭頭分配器
    • 作業系統安全性更新。
  • 2025 年 9 月 16 日
    • Snowflake 連接器現在使用INFORMATION_SCHEMA資料表而不是命令SHOW SCHEMAS來列出結構描述。 這項變更會移除先前方法的10,000個架構限制,並改善對具有大量架構的資料庫支援。
    • 作業系統安全性更新。
  • 2025 年 9 月 9 日
    • 修正了可能導致自動載入器無限期掛起的問題。
    • 修正 Auto Loader 中可能導致工作失敗的暫時性錯誤
    • [SPARK-49872][CORE] 移除 jackson JSON 字串長度限制
    • [SPARK-51821][CORE] 在未持有 uninterruptibleLock 的情況下呼叫 interrupt(),以避免可能的死結
    • 作業系統安全性更新。
  • 2025 年 8 月 26 日
    • 更新的 Java 函式庫:
      • (僅限 Scala 2.12)io.delta.delta-sharing-client_2.12 從 1.2.7 到 1.2.8
      • (僅限 Scala 2.13)io.delta.delta-sharing-client_2.13 從 1.2.7 到 1.2.8
    • [SPARK-52482][SQL][CORE] 改善讀取某些損壞 zstd 檔案的例外處理
    • [SPARK-53192][CONNECT] 務必將資料來源快取到 Spark Connect 計畫快取中
    • 作業系統安全性更新。
  • 2025 年 8 月 14 日
    • [SPARK-51011][CORE] 新增任務被殺時是否會被中斷的日誌
    • [SPARK-52833][SQL] 修正 VariantBuilder.appendFloat
    • [SPARK-51505][SQL] 在 AQEShuffleReadExec 中,始終顯示空分割區數量指標
    • 作業系統安全性更新。
  • 2025年7月29日
    • [SPARK-52753][SQL] 使 parseDataType 與先前版本保持二進位相容
    • 作業系統安全性更新。
  • 2025年7月15日
    • 已修正使用 Spark Structured Streaming 從 Pulsar 進行數據串流時,非確定性的數據遺失問題。
    • [SPARK-52579][PYTHON] 為 Python 工作者設定週期性追蹤傾印
    • [SPARK-52553][SS] 在讀取 v1 變更日誌時修正 NumberFormatException
    • [SPARK-52450] 提升結構深度複製的效能
    • [SPARK-52503][SQL][CONNECT] 修正 drop 輸入欄位不存在時的問題
    • [SPARK-52599][PYTHON] 支援 Driver 端 workers 的定期 traceback 傾印
    • 作業系統安全性更新。
  • 2025年7月1日
    • ZStandard 解壓縮支援檔案數據來源讀取器(json、csv、xml 和 text。)
    • [SPARK-52521][SQL] Right#replacement 不應動態存取 SQLConf
    • [SPARK-52482][SQL][CORE] ZStandard 支援檔案資料來源閱讀器
    • [SPARK-52312][SQL] 快取 DataFrame 時忽略 V2WriteCommand
    • 作業系統安全性更新。
  • 2025年6月17日
    • 已修正cloud_files_state資料表值函式 (TVF) 無法用來跨管線讀取串流表的檔案層級狀態的限制。
    • 修正了暫時視圖上查詢的 Unity Catalog 授權問題。
    • [SPARK-52040][Python][SQL][CONNECT] ResolveLateralColumnAliasReference 應保留計畫 ID
    • 作業系統安全性更新。
  • 2025年6月3日
    • [SPARK-52195][PYTHON][SS] 修正 Python TWS 初始狀態欄位掉落問題
    • [SPARK-52159][SQL] 正確處理 jdbc 方言的資料表存在檢查
    • 其他錯誤修正。
  • 2025 年 5 月 7 日
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.13,從 1.2.3 到 1.2.7
      • org.apache.avro.avro 從 1.11.3 到 1.11.4
      • org.apache.avro.avro-ipc 從 1.11.3 到 1.11.4
      • org.apache.avro.avro-mapred 從 1.11.3 到 1.11.4
    • 串流複製的會話將會用於共用叢集/無伺服器中的 foreachBatch 使用者函式內。 這與經典行為(指派的叢集)一致。
    • 串流複製的會話將會用於共用叢集/無伺服器中的 foreachBatch 使用者函式內。 這與經典行為(指派的叢集)一致。
    • 在這次變更之前,在 Photon 停用時,表達式中路徑的前置空格和標籤會被忽略。 例如,select variant_get(parse_json('{"key": "value"}'), '$['key']') 無法有效擷取 "key" 的值。 不過,用戶現在可以擷取這類密鑰。
    • [SPARK-51935][SQL] 修正直譯 df.collect() 中迭代器的懶惰行為
    • [SPARK-51921][SS][PYTHON] 在 transformWithState 中使用 long 型來表示 TTL 時長(毫秒)
    • [SPARK-51940][SS] 新增管理串流檢查點元資料的介面
    • [SPARK-52049] 修正 XML 屬性無法解析為變體的錯誤
    • [SPARK-51904][SS] 移除 StateSchemaV3 的非同步元資料清除,並在列出操作元資料檔案時忽略非批次檔案
    • [SPARK-51869][SS] 為 Scala TransformWithState 的 UDF 建立使用者錯誤分類
    • [SPARK-51889][PYTHON][SS] 修正 Python TWS 中 MapState clear() 的錯誤
    • [SPARK-51922] [SS] 修正 StateStoreChangelogReaderFactory 投擲出的 v1 UTFDataFormatException
    • [SPARK-51848][SQL] 修正解析具有已定義結構描述的陣列/結構/映射 Variant XML 記錄
    • 作業系統安全性更新。

Databricks Runtime 15.4 LTS

請參閱 Databricks Runtime 15.4 LTS。

  • 2026 年 11 月 10 日

    • 更新的 Python 函式庫:
      • pytz 從 2022.7 更新至 2026.5
      • tzdata 從 2022.1 到 2026.5
    • 更新的 Java 函式庫:
      • 新增 at.yawk.lz4.lz4-java 1.8.1
      • 已移除 org.lz4.lz4-java 1.8.0
    • 作業系統安全性更新。
  • 2026年11月3日

    • 作業系統安全性更新。
  • 2026年10月23日

    • 更新的 Python 函式庫:
      • Certifi 自 2025.4.26 至 2026.10.19
    • [SPARK-57547][SQL] 在初始化競賽條件下修正 PartitionKeyedAccumulator 中的 NPE
    • 作業系統安全性更新。
  • 2026年9月29日

    • 作業系統安全性更新。
  • 2026 年 9 月 15 日

    • 更新的 Java 函式庫:
      • com.microsoft.sqlserver.mssql-jdbc 從 11.2.3.jre8, 11.2.3.jre8 到 11.2.3.jre8, 11.2.4.jre8
    • [SPARK-41246][CORE] RDD ID 溢位時快速失敗;解析負區塊 ID 作為安全網(cherry-pick 到 dbr-branch-15.4)
    • 作業系統安全性更新。
  • 2026年9月1日

    • (行為變更)RESTORE 和 CLONE 指令若會變更資料表分割方式,且來源與目標資料表共用同一個檔案,則可能會被封鎖。
    • 更新的 Java 函式庫:
      • org.eclipse.jetty.jetty-client 從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延續,從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 由 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 從 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 從 9.4.52.v20230823 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 版本從 9.4.52.v20230823 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 由 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API 從 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 從 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 由 9.4.52.v20230823 升級至 9.4.57.v20241219
    • [SPARK-58292][CORE] 當工作者事件迴圈執行緒終止時,重新建立 netty worker EventLoopGroup
    • [SPARK-58531][SQL][CONNECT] 將 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 設為靜態 conf
    • 作業系統安全性更新。
  • 2026年8月18日

    • 更新的 Java 函式庫:
      • com.microsoft.sqlserver.mssql-jdbc 從 11.2.2.jre8, 11.2.3.jre8 到 11.2.3.jre8, 11.2.3.jre8
    • 作業系統安全性更新。
  • 2026年8月4日

    • [SPARK-58107] 回埠本地檢查點去重複並封存 + MERGE 物質化原始碼校驗和驗證
    • [SPARK-57547][SQL] 回埠 InMemoryRelation 並行實體化修正至 15.4(含 kill switch)
    • 作業系統安全性更新。
  • 2026年7月24日

    • 作業系統安全性更新。
  • 2026年7月10日

    • 作業系統安全性更新。
  • 2026年6月29日

    • (行為變更)量值檢視現在會拒絕參照其他視窗量值的視窗量值。 先前,這種模式在 CREATE 時會成功,但在查詢時會靜默失敗或產生錯誤的結果。 現在,Azure Databricks 會在 CREATE 或 ALTER 時傳回明確的錯誤訊息(METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 要停用此驗證,請設 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled 為 false。

    • 修正了資料正確性問題:在 MERGE、UPDATE 及串流寫入查詢中,來源中的 NULL struct 值會在目標中被錯誤地展開為非 NULL 的 struct,且其欄位為 NULL。 變更後,來源中的 NULL 結構體在目標中會正確保留為 NULL。

      受影響的行動:

      • MERGE 帶有 UPDATE SET t.structCol = s.structCol struct 型別轉換的動作查詢
      • MERGE 當結構演化啟用時,查詢 UPDATE SET * (當原始結構體為 NULL 時,當目標結構體沒有額外欄位或原本是 NULL 時,則用 NULL 覆蓋目標)
      • MERGE 查詢 ( UPDATE SET * EXCEPT 當原始結構體為 NULL 時,當 EXCEPT 清單中沒有欄位時,則以 NULL 覆蓋目標)
      • MERGE 帶有 INSERT (structCol) VALUES (s.structCol) 動作且使用 struct 型別轉換的查詢
      • MERGE 含有 INSERT * [EXCEPT] 動作且具有結構類型轉換的查詢
      • UPDATE 帶有結構型別cast的查詢
      • 串流寫入中的結構類型轉換
    • 作業系統安全性更新。

  • 2026年6月9日

    • 作業系統安全性更新。
  • 2026年5月26日
    • 作業系統安全性更新。
  • 2026年5月13日
    • (行為變更)以結構描述模式列出資料表時,不再重新整理 Unity Catalog 中外部資料表的中繼資料(例如 SQL Server、PostgreSQL 或 AWS Glue)。 此變更會影響 JDBC 驅動程式中在傳入結構描述模式時的 SHOW TABLES IN SCHEMA LIKE ...、getMetaData.getTables 呼叫,以及 Thrift SparkGetTablesOperation API。 如果你的工作負載依賴於結構模式的元資料刷新,請聯絡 Databricks 支援。
    • 作業系統安全性更新。
  • 2026年4月29日
    • 其他錯誤修正。
  • 2026年4月20日
    • 其他錯誤修正。
  • 2026年4月2日

    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.12 從 1.1.10 到 1.1.11
    • 自動載入器在 DBR 16.3:1 中新增了兩項與來源位置管理及可見性相關的新功能。 記錄事件變更:透過此變更,客戶將能使用 cloud_files_state TVF 查看檔案發現與處理細節,例如檔案最初發現的時間、提交時間、歸檔時間等。請參閱 此 TVF 的最新公開文件。 2. 乾淨來源:透過此功能,客戶可以指示 Auto Loader 自動刪除已處理的檔案。 客戶可透過 cloudFiles.cleanSource 自動裝填選項選擇此功能。 更多細節請參閱自動裝載機選項文件。
    • 作業系統安全性更新。
  • 2026年3月10日

    • [SPARK-55701]ES-1694761[SS] 修正 CompactibleFileStreamLog.allFiles 中的競賽狀態
    • [SPARK-55111][SS] 在查詢重新啟動時重新檢查未完成的重新分割偵測
    • 作業系統安全性更新。
  • 2026年2月26日

    • 更新的 Java 函式庫:
      • org.mlflow.mlflow-spark_2.12,從 2.9.1 到 2.11.3
    • 作業系統安全性更新。
  • 2026年2月19日

    • [SPARK-55243][CONNECT] 允許透過 Scala Connect 用戶端的 -bin 後綴設定二進位標頭
    • [SPARK-55282][PYTHON][CONNECT] 避免在 Driver 端使用 worker_util
    • 作業系統安全性更新。
  • 2026年1月27日
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.12 從 1.1.9 到 1.1.10
    • 作業系統安全性更新。
  • 2026年1月9日
    • 分區式 Delta 表格未來將以資料 parquet 檔案形式實現分割欄。 這使得 Iceberg 和 UniForm 資料表的處理方式更具協同效應,並提高了與外部非 Delta 相容讀取器的相容性。
    • [SPARK-54620][SQL] 在 ObservationManager 中新增安全檢查以避免 Observation 阻擋
    • [SPARK-54711][PYTHON] 為 daemon 建立的工作者連線新增逾時設定
    • 作業系統安全性更新。
  • 2025年12月9日
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.12 從 1.1.7 到 1.1.9
    • [SPARK-54427][SQL] 允許 ColumnarRow 以變體類型呼叫copy
    • [SPARK-52579][PYTHON] 為 Python 工作者設定週期性追蹤傾印
    • [SPARK-54180][SQL] 覆寫 BinaryFileFormat 的 toString
    • 作業系統安全性更新。
  • 2025年11月18日
    • [SPARK-54078][SS] 針對 StateStoreSuite SPARK-40492: maintenance before unload 的新測試,並移除舊測試的基礎設施
    • [SPARK-54047][PYTHON] 在閒置逾時終止時使用差分錯誤
    • 作業系統安全性更新。
  • 2025 年 11 月 4 日
    • 更新的 R 庫:
      • 箭頭由 14.0.0.2 指向 21.0.0
    • 作業系統安全性更新。
  • 2025 年 10 月 21 日
    • 掃描光化準則已更新,允許在需要校驗碼驗證時進行掃描光化。
      判斷是否需要校驗和驗證現在來自 hadoop conf 而不是 SQLConf。
    • 作業系統安全性更新。
  • 2025 年 10 月 7 日
    • [SPARK-53568][CONNECT][PYTHON] 修正 Spark Connect Python 客戶端錯誤處理邏輯中的幾個小錯誤
    • [SPARK-53574] 修正 AnalysisContext 在巢狀計畫解析時被清除的問題
    • 其他錯誤修正。
  • 2025 年 9 月 16 日
    • Snowflake 連接器現在使用INFORMATION_SCHEMA資料表而不是命令SHOW SCHEMAS來列出結構描述。 這項變更會移除先前方法的10,000個架構限制,並改善對具有大量架構的資料庫支援。
    • [SPARK-50870][SQL] 在 V2ScanRelationPushDown 中轉型為 timestamp 時加入時區
    • 作業系統安全性更新。
  • 2025 年 9 月 9 日
    • 修正了可能導致自動載入器無限期掛起的問題。
    • 修正 Auto Loader 中可能導致工作失敗的暫時性錯誤
    • [SPARK-51821][CORE] 呼叫 interrupt() 時,不按住 uninterruptibleLock,以避免可能的死結
    • [SPARK-49872][CORE] 移除 jackson JSON 字串長度限制
    • 作業系統安全性更新。
  • 2025 年 8 月 26 日
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.12 從 1.1.6 變更為 1.1.7
    • [SPARK-52482][SQL][CORE] 改善讀取某些損壞 zstd 檔案的例外處理
    • [SPARK-53192][CONNECT] 一律將資料來源快取到 Spark Connect 計畫快取中
    • 作業系統安全性更新。
  • 2025 年 8 月 14 日
    • [SPARK-51011][CORE] 新增任務被殺時是否會被中斷的日誌
    • 作業系統安全性更新。
  • 2025年7月29日
    • 作業系統安全性更新。
  • 2025 年 7 月 21 日

    • 針對已啟用 Photon 或使用 Arm64 型 CPU mlflow-skinny 的計算,已升級至 2.19.0、 ray 升級至 2.37.0,並 databricks-feature-engineering 升級至 0.8.0。
  • 2025年7月15日

    • 已修正使用 Spark Structured Streaming 從 Pulsar 進行數據串流時,非確定性的數據遺失問題。
    • [SPARK-52503][SQL][CONNECT] 修正輸入欄位不存在時的 drop 問題
  • 2025年7月1日
    • 更新的 Java 函式庫:
      • org.mlflow.mlflow-spark_2.12,從 2.9.1 到 2.11.3
      • 已移除 com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • 已移除 org.slf4j.slf4j-simple 1.7.25
    • ZStandard 解壓縮支援檔案數據來源讀取器(json、csv、xml 和 text。)
    • ZStandard 解壓縮支援檔案數據來源讀取器(json、csv、xml 和 text。)
    • [SPARK-52521][SQL] Right#replacement 不應動態存取 SQLConf
    • [SPARK-52482][SQL][CORE] ZStandard 支援檔案資料來源閱讀器
    • [SPARK-52312][SQL] 快取 DataFrame 時忽略 V2WriteCommand
    • 作業系統安全性更新。
  • 2025年6月17日
    • 已修正cloud_files_state資料表值函式 (TVF) 無法用來跨管線讀取串流表的檔案層級狀態的限制。
    • [SPARK-49646][SQL] 修正當 parentOuterReferences 包含未被 collectedChildOuterReferences 涵蓋的參考時,union/set 操作的子查詢去關聯問題
    • [SPARK-52040][Python][SQL][CONNECT] ResolveLateralColumnAliasReference 應該會保留計畫 ID
  • 2025年6月3日
    • 更新的 Python 函式庫:
      • 密碼學從 3.4.8、41.0.3 更新至 41.0.3
      • filelock 從版本 3.13.4、3.15.4 變更為版本 3.13.4
      • importlib-metadata 從 4.6.4 到 6.0.0
      • platformdirs 從 3.10.0, 3.11.0 變更為 3.10.0
      • pyparsing 從版本 2.4.7、3.0.9 更新到 3.0.9
      • zipp 從版本 1.0.0 更新至 3.11.0
      • 已新增 pip 23.2.1
      • 已新增 setuptools 68.0.0
      • 已新增 wcwidth 0.2.5
      • 已新增滾輪 0.38.4
      • 已移除发行版 1.7.0
      • 已移除 distro-info 1.1+ubuntu0.2
      • 已移除 python-apt 2.4.0+ubuntu4
    • 更新的 Java 函式庫:
      • com.github.fommil.netlib.native_ref-java 從 1.1、1.1 到 1.1、1.1 的轉換
      • com.github.fommil.netlib.native_system-java 從 1.1、1.1-natives 到 1.1、1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64從 1.1 原生到 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64從 1.1 原生到 1.1
      • io.netty.netty-tcnative-boringssl-static from 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 至 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll 從 4.1.96.Final、4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 更新到 4.1.96.Final、4.1.96.Final、4.1.96.Final
      • io.netty.netty-transport-native-kqueue,從 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 到 4.1.96.Final、4.1.96.Final
      • org.apache.orc.orc-core,從 1.9.2-shaded-protobuf 到 1.9.2
      • org.apache.orc.orc-mapreduce 從版本 1.9.2-shaded-protobuf 跟換到版本 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider,從 1.6.2-linux-x86_64 到 1.6.2
    • [SPARK-52159][SQL] 正確處理 jdbc 方言的資料表存在檢查
    • 作業系統安全性更新。
  • 2025年5月20日
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.12,從 1.1.5 到 1.1.6
    • 串流複製的會話將會用於共用叢集/無伺服器中的 foreachBatch 使用者函式內。 這與經典行為(指派的叢集)一致。
    • 在這次變更之前,在 Photon 停用時,表達式中路徑的前置空格和標籤會被忽略。 例如,select variant_get(parse_json('{"key": "value"}'), '$['key']') 無法有效擷取 "key" 的值。 不過,用戶現在可以擷取這類密鑰。
    • [SPARK-51935][SQL] 修正直譯 df.collect() 中迭代器的懶惰行為
    • 作業系統安全性更新。
  • 2025年4月22日
    • 更新的 Java 函式庫:
      • org.apache.avro.avro 從 1.11.3 到 1.11.4
      • org.apache.avro.avro-ipc 從 1.11.3 到 1.11.4
      • org.apache.avro.avro-mapred 從 1.11.3 到 1.11.4
    • 在 15.4、16.0、16.1、16.2 和 16.3 中,還原 "[SPARK-47895][SQL] 分組別名應為等冪元"
    • [SPARK-50682][SQL] 內部別名應該被標準化
    • 作業系統安全性更新。
  • 2025年4月9日
    • (行為改變)為了套用關鍵的安全修補程式,預設的 Python 版本會從 Python 3.11.0rc1 更新為 Python 3.11.11。 此更新可能影響部分運行於 Databricks Runtime 15.4 LTS 的工作負載,例如使用 Python 序列化在執行間儲存與還原狀態的工作負載,或是釘在 3.11.0 Python 版本的工作負載。
    • 更新的 Java 函式庫:
      • 已移除 io.starburst.openjson.openjson 1.8-e.12
      • 已移除 io.starburst.openx.data.json-serde 1.3.9-e.12
      • 已移除 io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] 依別名進行 group by 應具冪等性
    • [SPARK-51624][SQL] 在 CreateNamedStruct.dataType 中傳播 GetStructField 元資料
    • 作業系統安全性更新。
  • 2025年3月31日
    • 未啟用 Photon 的計算,databricks-feature-engineering 會升級至 0.8.0。 針對已啟用 Photon 的計算, databricks-feature-engineering 維持在 0.6.0。
  • 2025 年 3 月 11 日

    • Databricks Runtime 14.3 LTS 和更新版本包含修正導致二進位不相容的問題,該問題曾在具現化 SparkListenerApplicationEnd 類別並與 Apache Spark 相容的程式碼中出現。 這種不相容的原因是將SPARK-46399合併至Apache Spark。 此合併包含將預設自變數新增至 SparkListenerApplicationEnd 建構函式的變更。 若要還原二進位相容性,此修正程式會將單一自變數建構函式新增至 SparkListenerApplicationEnd 類別。
    • [SPARK-50985][SS] 在 KafkaTokenProvider 中將 Kafka 時間戳偏移不匹配錯誤分類,而不是 assert,並針對缺少伺服器的情況拋出錯誤
    • [SPARK-50791][SQL] 修正狀態儲存錯誤處理中的 NPE
    • [SPARK-50310][Python] 當 DQC 關閉時,提升欄位效能
    • [SPARK-51222][SQL] 優化 ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] 伺服器端串流查詢 ListenerBus Listener 的小幅日誌改進
    • [SPARK-51084][SQL] 為 negativeScaleNotAllowedError 指派適當的錯誤類別
    • 作業系統安全性更新。
  • 2025年2月11日

    • 此版本包含一個修正,解決在序列化已獲救的 XML 資料列時,影響特定數據類型轉換的問題。 受影響的數據類型是啟用 prefersDecimal 時的日期、非 NTZ 時間戳和小數點。 若要深入瞭解已獲救的數據行,請參閱 獲救的數據行是什麼?。
    • [SPARK-50492][SS] 修正 Java.util.NoSuchElementException,當事件時間欄位在dropDuplicatesWithinWatermark後被刪除時
    • 作業系統安全性更新。
    • 針對未啟用 Photon 的計算,mlflow-skinny 會升級至 2.19.0。 針對已啟用 Photon 的計算,mlflow-skinny 維持在 2.13.1。
  • 2024 年 12 月 10 日
    • USE CATALOG 語句現在支援 IDENTIFIER 子句。 透過這項支援,您可以根據字串變數或參數標記來參數化目前目錄。
    • 此版本包含一項修正,解決在某些與背景自動壓縮相關的特定情況下,Delta 表的主鍵可能會被移除的問題。
    • 在此版本中,Databricks 計算節點中的 SSD 所使用的快取大小會動態擴充至 SSD 的初始大小,並在必要時縮小至 spark.databricks.io.cache.maxDiskUsage 限制。 見使用快取優化Azure Databricks效能。
    • pyodbc 套件會從 4.0.38 版更新為 4.0.39 版。 這項變更是必要的,因為已在 4.0.38 版中找到 Bug,且該版本已從 PyPI 中移除。
    • [SPARK-50329][SQL] fix InSet$toString
    • [SPARK-47435][SQL] 修正 MySQL 未簽名 TINYINT 的溢位問題
    • [SPARK-49757][SQL] 在SETCATALOG陳述式中支援IDENTIFIER表達式
    • [SPARK-50426][PYTHON] 使用內建或 Java 資料來源時,請避免進行靜態 Python 資料來源查詢
    • [SPARK-48863][SQL] 修正在啟用「spark.sql.json.enablePartialResults」時解析 JSON 時的 ClassCastException
    • [SPARK-50310][PYTHON] 新增一個旗標以停用 PySpark 的 DataFrameQueryContext
    • [15.3-15.4] [SPARK-50034][CORE] 修正將致命錯誤錯誤報告為未捕捉的異常的問題在 SparkUncaughtExceptionHandler 中
    • 作業系統安全性更新。
  • 2024 年 11 月 26 日
    • 在此版本中,您現在可以使用 vector_search 來查詢文字輸入功能或使用 query_text 來查詢內嵌輸入功能。
    • 您現在可以透過 Spark 組態屬性 spark.databricks.execution.timeout來設定 Spark Connect 查詢的超時。 對於在無伺服器運算上執行的筆記型電腦,預設值為 9000(秒)。 在無伺服器計算和具有標準存取模式的計算上執行的作業,除非設定此組態屬性,否則不會有逾時。 持續超過指定逾時的執行會導致 QUERY_EXECUTION_TIMEOUT_EXCEEDED 錯誤。
    • [SPARK-50322][SQL] 修正子查詢中的參數化識別碼
    • [SPARK-49615] [ML] 使所有機器學習特徵轉換器的資料集結構驗證符合「spark.sql.caseSensitive」配置。
    • [SPARK-50124][SQL] LIMIT/OFFSET 應該保留資料順序
    • 作業系統安全性更新。
  • 2024 年 11 月 5 日
    • (重大變更)在 Databricks Runtime 15.4 LTS 和更新版本中,Photon 中的正則運算式處理會更新,以符合 Apache Spark 正則運算式處理的行為。 先前,Photon 執行的正則表示式函式,例如 split() 和 regexp_extract(),能接受一些被 Spark 解析器拒絕的正則表示式。 為了保持與 Apache Spark 的一致性,Photon 查詢將會因為那些被 Apache Spark 認為無效的正則表達式而導致失敗。 由於這項變更,如果您的Spark程式代碼包含無效的正規表示式,您可能會看到錯誤。 例如,先前被 Photon 接受的表達式 split(str_col, '{'),其中包含不匹配的括號,現在會失敗。 若要修正此表示式,您可以跳脫大括號字元:split(str_col, '\\{')。 Photon 和 Spark 行為也因非 ASCII 字元的一些正則表達式比對而有所不同。 此系統也已更新,以確保 Photon 系統符合 Apache Spark 的運作方式。
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 規則使用子節點輸出解析 UnresolvedAttribute
    • [SPARK-49867][SQL] 在呼叫 GetColumnByOrdinal 時,當索引超出範圍時,改善錯誤訊息
    • [SPARK-49863][SQL] 修正 NormalizeFloatingNumbers 以保留巢狀結構的可空性
    • [SPARK-49829] 修訂在串流連接中將輸入加入狀態儲存的優化(修正正確性)
    • [SPARK-49905] 使用專用的 ShuffleOrigin 作為有狀態運算子,以防止洗牌被 AQE 修改
    • [SPARK-46632][SQL] 修正當等效三元運算式有不同子節點時的子表達式消除問題
    • [SPARK-49443][SQL][Python] 實作to_variant_object表達式,並讓schema_of_variant表達式為變體物件列印 OBJECT
    • [SPARK-49615] 錯誤修正:讓機器學習欄位結構驗證符合 spark 設定 spark.sql.caseSensitive。
  • 2024年10月22日
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 規則解析具有子節點輸出的 UnresolvedAttribute
    • [SPARK-49867][SQL] 在呼叫 GetColumnByOrdinal 時,當索引超出範圍時,改善錯誤訊息
    • [SPARK-49863][SQL] 修正 NormalizeFloatingNumbers 以保留巢狀結構可為 null 的特性
    • [SPARK-49829] 修訂在串流對串流聯結中將輸入加入狀態儲存的優化(修正正確性)
    • [SPARK-49905] 使用專用的 ShuffleOrigin 作為有狀態運算子,以防止 shuffle 被 AQE 修改
    • [SPARK-46632][SQL] 修正當等效三元運算式有不同子節點時的子表達式消除問題
    • [SPARK-49443][SQL][PYTHON] 實作to_variant_object表達式,並讓schema_of_variant表達式為變體物件列印 OBJECT
    • [SPARK-49615] 錯誤修正:讓機器學習欄位結構驗證符合 spark 設定 spark.sql.caseSensitive。
  • 2024年10月10日
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr 在修剪 GetArrayStructFields 時不應該更改結構欄位
    • [SPARK-49688][CONNECT] 修正中斷與執行計畫之間的資料競賽
    • [BACKPORT] [SPARK-49474][SS] 將 FlatMapGroupsWithState 使用者函式中的錯誤分類到錯誤類別中
    • [SPARK-49460][SQL] 後續:修正潛在的NPE風險
  • 2024年9月25日
    • [SPARK-49628][SQL] ConstantFolding 應該在評估前複製有狀態表達式
    • [SPARK-49000][SQL] 透過展開 RewriteDistinctAggregates 來修正在 t 是空表時的「select count(distinct 1) from t」
    • [SPARK-49492][CONNECT] 已嘗試重新附加至非活躍的 ExecutionHolder
    • [SPARK-49458][CONNECT][PYTHON] 透過 ReattachExecute 提供伺服器端會話 ID
    • [SPARK-49017][SQL] 當多個參數同時使用時,插入語句會失敗
    • [SPARK-49451] 允許 parse_json 中有重複鍵。
    • 其他錯誤修正。
  • 2024 年 9 月 17 日
    • [SPARK-48463][ML] 讓 Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor 支援巢狀輸入欄位
    • [SPARK-49409][CONNECT] 調整 CONNECT_SESSION_PLAN_CACHE_SIZE 的預設值
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] 支援 ArtifactManager 中的 Windows 風格路徑
    • 還原 “[SPARK-48482][PYTHON] dropDuplicates 和 dropDuplicatesWithinWatermark 應該接受可變長度參數”
    • [SPARK-43242][CORE] 修正在洗牌損壞診斷中拋出「意外類型的 BlockId」
    • [SPARK-49366][CONNECT] 將聯合節點視為資料框欄位解析中的葉節點
    • [SPARK-49018][SQL] 修正 approx_count_distinct 在使用定序(collation)時無法正常運作的問題
    • [SPARK-49460][SQL] 從 EmptyRelationExec 移除cleanupResource()
    • [SPARK-49056][SQL] ErrorClassesJsonReader 無法正確處理 null
    • [SPARK-49336][CONNECT] 在截斷 protobuf 訊息時,限制巢狀層級
  • 2024 年 8 月 29 日
    • SHOW CREATE TABLE語句的輸出現在包含在實體化檢視或串流表上定義的任何資料列篩選或欄位遮罩。 請參閱 SHOW CREATE TABLE。 若要了解數據列篩選和數據行遮罩,請參閱 數據列篩選和數據行遮罩。
    • 在以共用存取模式設定的計算上,Kafka 批次讀取和寫入現在有與結構化串流所記載相同的限制。 請參閱 串流限制。
    • [SPARK-48941][SPARK-48970] 回埠機器學習寫入/讀取器修正
    • [SPARK-49074][SQL] 修正含有 df.cache() 的變體
    • [SPARK-49263][CONNECT] Spark Connect Python 用戶端:一致地處理布林 Dataframe 讀取選項
    • [SPARK-48955][SQL] 包含 15.4 版本中的 ArrayCompact 變更
    • [SPARK-48937][SQL] 新增 StringToMap 字串表達式的定序支援
    • [SPARK-48929] 修正檢視內部錯誤並清理解析器例外上下文
    • [SPARK-49125][SQL] 允許在 CSV 書寫中重複欄位名稱
    • [SPARK-48934][SS] Python datetime 類型在 applyInPandasWithState 設定逾時時時轉換錯誤
    • [SPARK-48843] 防止與 BindParameters 相關的無限迴圈
    • [SPARK-48981] 在 pyspark 中修正 StringType 的 simpleString 方法與定序相關的問題
    • [SPARK-49065][SQL] 在舊有格式化器/解析器中重新定基必須支援非 JVM 預設時區
    • [SPARK-48896][SPARK-48909][SPARK-48883] 回埠 Spark ML 寫入修正
    • [SPARK-48725][SQL] 將 CollationAwareUTF8String.lowerCaseCodePoints 整合到字串表達式中
    • [SPARK-48978][SQL] 實作 ASCII 快速路徑,在 UTF8_LCASE 的定序支援中
    • [SPARK-49047][Python][CONNECT] 截斷訊息以便記錄日誌
    • [SPARK-49146][SS] 將附加模式串流查詢中與缺少浮水印相關的斷言錯誤移至錯誤框架
    • [SPARK-48977][SQL] 優化UTF8_LCASE彙整下的字串搜尋
    • [SPARK-48889][SS] testStream 在完成前卸載狀態儲存體
    • [SPARK-48463] 製作支援巢狀輸入欄位的 StringIndexer
    • [SPARK-48954] try_mod() 取代 try_remainder()
    • 作業系統安全性更新。

Databricks Runtime 14.3 LTS

請參閱 Databricks Runtime 14.3 LTS。

  • 2026 年 11 月 10 日

    • 更新的 Python 函式庫:
      • pytz 從 2022.7 升級至 2026.5
      • 新增 tzdata 2026.5
    • 更新的 Java 函式庫:
      • org.postgresql.postgresql 從 42.6.0 到 42.6.1
      • 新增 at.yawk.lz4.lz4-java 1.8.1
      • 已移除 org.lz4.lz4-java 1.8.0
    • 作業系統安全性更新。
  • 2026年11月3日

    • 更新的 Java 函式庫:
      • com.microsoft.sqlserver.mssql-jdbc from 11.2.3.jre8, 11.2.3.jre8 to 11.2.4.jre8, 11.2.4.jre8
    • 作業系統安全性更新。
  • 2026年10月23日

    • 更新的 Python 函式庫:
      • Certifi 由 2022.12.7 至 2026.10.19
    • [SPARK-57547][SQL] 在初始化競賽條件下修正 PartitionKeyedAccumulator 中的 NPE
    • 作業系統安全性更新。
  • 2026年9月29日

    • 作業系統安全性更新。
  • 2026 年 9 月 15 日

    • 作業系統安全性更新。
  • 2026年9月1日

    • (行為變更)RESTORE 和 CLONE 指令若會變更資料表分割方式,且來源與目標資料表共用同一個檔案,則可能會被封鎖。
    • 更新的 Java 函式庫:
      • org.eclipse.jetty.jetty-client 從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延續,從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 由 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 從 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 從 9.4.52.v20230823 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 版本從 9.4.52.v20230823 升級到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 從 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 由 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API 從 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 從 9.4.52.v20230823 改為 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 從 9.4.52.v20230823 升級至 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 由 9.4.52.v20230823 升級至 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] 將 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 設為靜態 conf
    • 作業系統安全性更新。
  • 2026年8月18日

    • 更新的 Java 函式庫:
      • com.microsoft.sqlserver.mssql-jdbc 從 11.2.2.jre8, 11.2.3.jre8 到 11.2.3.jre8, 11.2.3.jre8
    • 作業系統安全性更新。
  • 2026年8月4日

    • [SPARK-58107] 回埠本地檢查點去重與封存 + MERGE 實體化來源校驗和驗證
    • [SPARK-57547][SQL] 回埠 InMemoryRelation 並行實體化修正至 14.3(含停用開關)
    • 作業系統安全性更新。
  • 2026年7月24日

    • 作業系統安全性更新。
  • 2026年7月10日

    • 作業系統安全性更新。
  • 2026年6月29日
    • (行為變更)量值檢視現在會拒絕參照其他視窗量值的視窗量值。 先前,這種模式在 CREATE 時會成功,但在查詢時會靜默失敗或產生錯誤的結果。 現在,Azure Databricks 會在 CREATE 或 ALTER 時傳回明確的錯誤訊息(METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE)。 要停用此驗證,請設 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabled 為 false。
    • 作業系統安全性更新。
  • 2026年6月9日
    • 作業系統安全性更新。
  • 2026年5月26日
    • 作業系統安全性更新。
  • 2026年5月13日
    • (行為變更)以結構描述模式列出資料表時,不再重新整理 Unity Catalog 中外部資料表的中繼資料(例如 SQL Server、PostgreSQL 或 AWS Glue)。 此變更會影響 JDBC 驅動程式中在傳入結構描述模式時的 SHOW TABLES IN SCHEMA LIKE ...、getMetaData.getTables 呼叫,以及 Thrift SparkGetTablesOperation API。 如果你的工作負載依賴於結構模式的元資料刷新,請聯絡 Databricks 支援。
    • 作業系統安全性更新。
  • 2026年4月29日
    • 其他錯誤修正。
  • 2026年4月20日
    • 其他錯誤修正。
  • 2026年4月2日

    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.12 從 1.1.7 到 1.1.11
    • 自動載入器在 DBR 16.3:1 中新增了兩項與來源位置管理及可見性相關的新功能。 記錄事件變更:透過此變更,客戶將能使用 cloud_files_state TVF 查看檔案發現與處理細節,例如檔案最初發現的時間、提交時間、歸檔時間等。請參閱 此 TVF 的最新公開文件。 2. 乾淨來源:透過此功能,客戶可以指示 Auto Loader 自動刪除已處理的檔案。 客戶可透過 cloudFiles.cleanSource 自動裝填選項選擇此功能。 更多細節請參閱自動裝載機選項文件。
    • 作業系統安全性更新。
  • 2026年3月10日

    • [SPARK-55111][SS] 在查詢重新啟動時重新檢查未完成的重新分割偵測
    • [SPARK-55701]ES-1694761[SS] 修正 CompactibleFileStreamLog.allFiles 中的競賽狀態
    • 作業系統安全性更新。
  • 2026年2月26日

    • 作業系統安全性更新。
  • 2026年2月19日

    • 作業系統安全性更新。
  • 2026年1月27日

    • 作業系統安全性更新。
  • 2026年1月9日

    • 分區式 Delta 表格未來將以資料 parquet 檔案形式實現分割欄。 這使得 Iceberg 和 UniForm 資料表的處理方式更具協同效應,並提高了與外部非 Delta 相容讀取器的相容性。
    • [SPARK-54711][PYTHON] 為常駐程式建立的工作者連線新增逾時機制
    • 作業系統安全性更新。
  • 2025年12月9日

    • [SPARK-52579][PYTHON] 為 Python 工作者設定週期性回溯傾印
    • [SPARK-54180][SQL] 覆寫 BinaryFileFormat 的 toString
    • 作業系統安全性更新。
  • 2025年11月18日
    • [SPARK-54078][SS] 新測試 StateStoreSuite SPARK-40492: maintenance before unload 並移除舊測試的基礎設施
    • [SPARK-54047][PYTHON] 在閒置逾時終止時使用差異錯誤
    • 作業系統安全性更新。
  • 2025 年 11 月 4 日
    • 更新的 R 庫:
      • 箭頭從 12.0.1 到 21.0.0
    • 作業系統安全性更新。
  • 2025 年 10 月 21 日
    • 作業系統安全性更新。
  • 2025 年 10 月 7 日
    • [SPARK-53568][CONNECT][PYTHON] 修正 Spark Connect Python 客戶端錯誤處理邏輯中的幾個小錯誤
    • [SPARK-53574] 修正 AnalysisContext 在巢狀計畫解析期間遭到清除
    • 其他錯誤修正。
  • 2025 年 9 月 16 日
    • 作業系統安全性更新。
  • 2025 年 9 月 9 日
    • 修正了可能導致自動載入器無限期掛起的問題。
    • [SPARK-49872][CORE] 移除 jackson JSON 字串長度限制
    • 作業系統安全性更新。
  • 2025 年 8 月 26 日
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.12 從 1.1.6 變更為 1.1.7
    • [SPARK-52482][SQL][CORE] 改善讀取某些損壞 zstd 檔案的例外處理
    • 作業系統安全性更新。
  • 2025 年 8 月 14 日
    • 作業系統安全性更新。
  • 2025年7月29日
    • 作業系統安全性更新。
  • 2025年7月15日
    • [SPARK-52503][SQL][CONNECT] 修正 drop 輸入欄位不存在時的問題
    • 其他錯誤修正。
  • 2025年7月1日
    • ZStandard 解壓縮支援檔案數據來源讀取器(json、csv、xml 和 text。)
    • ZStandard 解壓縮支援檔案數據來源讀取器(json、csv、xml 和 text。)
    • [SPARK-52521][SQL] Right#replacement 不應動態存取 SQLConf
    • [SPARK-52482][SQL][CORE] ZStandard 支援檔案資料來源閱讀器
    • 作業系統安全性更新。
  • 2025年6月17日
    • 已修正cloud_files_state資料表值函式 (TVF) 無法用來跨管線讀取串流表的檔案層級狀態的限制。
    • [SPARK-49646][SQL] 修正了當 parentOuterReferences 具有未被 collectedChildOuterReferences 涵蓋的參考時,union/set 操作的子查詢去關聯問題
  • 2025年6月3日
    • 更新的 Python 函式庫:
      • 從3.4.8、39.0.1到39.0.1的密碼編譯
      • platformdirs 從 2.5.2、2.6.2 變更至 2.5.2
      • pyparsing 從版本 2.4.7、3.0.9 更新到 3.0.9
      • 已新增 pip 22.3.1
      • 已新增 setuptools 65.6.3
      • 已新增 tomli 2.0.1
      • 已新增 wcwidth 0.2.5
      • 已新增滾輪 0.38.4
      • 已移除发行版 1.7.0
      • 已移除 distro-info 1.1+ubuntu0.2
      • 已移除 python-apt 2.4.0+ubuntu4
    • 更新的 Java 函式庫:
      • com.github.fommil.netlib.native_ref-java 從 1.1、1.1 到 1.1、1.1 的轉換
      • com.github.fommil.netlib.native_system-java 從 1.1、1.1-natives 到 1.1、1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64從 1.1 原生到 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64從 1.1 原生到 1.1
      • io.netty.netty-tcnative-boringssl-static from 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 至 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll 從 4.1.96.Final、4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 更新到 4.1.96.Final、4.1.96.Final、4.1.96.Final
      • io.netty.netty-transport-native-kqueue,從 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 到 4.1.96.Final、4.1.96.Final
      • org.apache.orc.orc-core,從 1.9.2-shaded-protobuf 到 1.9.2
      • org.apache.orc.orc-mapreduce 從版本 1.9.2-shaded-protobuf 跟換到版本 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider,從 1.6.1-linux-x86_64 到 1.6.1
    • [SPARK-52040][Python][SQL][CONNECT] ResolveLateralColumnAliasReference 應該會保留計畫 ID
    • [SPARK-52159][SQL] 正確處理 jdbc 方言的資料表存在檢查
    • 作業系統安全性更新。
  • 2025年5月20日
    • 更新的 Java 函式庫:
      • io.delta.delta-sharing-client_2.12,從 1.1.5 到 1.1.6
    • [SPARK-51935][SQL] 修正解譯式 df.collect() 中迭代器的惰性行為
    • 作業系統安全性更新。
  • 2025年4月22日
    • 作業系統安全性更新。
  • 2025 年 4 月 9 日

    • [行為改變]Vacuum 作業現在執行類似於其他作業的 Writer 協定檢查,在不相容的舊版 Databricks 執行環境中執行時,防止對擁有新功能的資料表進行意外清理。
    • [SPARK-51624][SQL] 在 CreateNamedStruct.dataType 中傳播 GetStructField 元資料
    • 作業系統安全性更新。
  • 2025 年 3 月 11 日

    • Databricks Runtime 14.3 LTS 和更新版本包含修正導致二進位不相容的問題,該問題曾在具現化 SparkListenerApplicationEnd 類別並與 Apache Spark 相容的程式碼中出現。 這種不相容的原因是將SPARK-46399合併至Apache Spark。 此合併包含將預設自變數新增至 SparkListenerApplicationEnd 建構函式的變更。 若要還原二進位相容性,此修正程式會將單一自變數建構函式新增至 SparkListenerApplicationEnd 類別。
    • [SPARK-50791][SQL] 修正狀態儲存錯誤處理中的 NPE
    • [SPARK-50705][SQL] 使 QueryPlan 無鎖
    • [SPARK-49525][SS][CONNECT] 伺服器端串流查詢 ListenerBus Listener 的小幅日誌改進
    • 作業系統安全性更新。
  • 2025年2月11日

    • 此版本包含一個修正,解決在序列化已獲救的 XML 資料列時,影響特定數據類型轉換的問題。 受影響的數據類型是啟用 prefersDecimal 時的日期、非 NTZ 時間戳和小數點。 若要深入瞭解已獲救的數據行,請參閱 獲救的數據行是什麼?。
    • [SPARK-50492][SS] 修正 java.util.NoSuchElementException,當事件時間欄位在dropDuplicatesWithinWatermark後被刪除時
    • [SPARK-51084][SQL] 為 negativeScaleNotAllowedError 指派適當的錯誤類別
    • 作業系統安全性更新。
  • 2024 年 12 月 10 日
    • 此版本包含一項修正,解決在某些與背景自動壓縮相關的特定情況下,Delta 表的主鍵可能會被移除的問題。
    • [SPARK-50329][SQL] fix InSet$toString
    • 作業系統安全性更新。
  • 2024 年 11 月 26 日
    • [SPARK-49615] [ML] 使所有機器學習特徵轉換器資料集的結構驗證符合「spark.sql.caseSensitive」設定。
    • 作業系統安全性更新。
  • 2024 年 11 月 5 日
    • [SPARK-48843] 防止與 BindParameters 相關的無限迴圈
    • [SPARK-49829] 修訂在串流對串流連接中將輸入加入狀態儲存的優化(修正正確性)
    • [SPARK-49863][SQL] 修正 NormalizeFloatingNumbers 以保留巢狀結構的可空性
    • [BACKPORT] [SPARK-49326][SS] 將 Foreach 接收器使用者函數錯誤的錯誤類別進行歸類
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 規則解析具有子節點輸出的 UnresolvedAttribute
    • [SPARK-46632][SQL] 修正當等效三元運算式有不同子時的子表達式消除問題
    • [SPARK-49905] 使用專用的 ShuffleOrigin 作為有狀態運算子,以防止 shuffle 被 AQE 修改
    • 作業系統安全性更新。
  • 2024年10月22日
    • [SPARK-48843] 防止 BindParameters 出現無限迴圈
    • [SPARK-49863][SQL] 修正 NormalizeFloatingNumbers 以保留巢狀結構的可空性
    • [SPARK-49905] 使用專用的 ShuffleOrigin 作為有狀態運算子,以防止 shuffle 被 AQE 修改
    • [SPARK-46632][SQL] 修正當等效三元運算式具有不同子節點時的子表達式消除問題
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 規則將帶有 child output 的 UnresolvedAttribute 解析為
    • [BACKPORT] [SPARK-49326][SS] 將 Foreach 接收器使用者函數錯誤的錯誤類別進行歸類
    • [SPARK-49829] 修訂在串流對串流連接中將輸入加入狀態儲存的優化(正確性修正)
    • 作業系統安全性更新。
  • 2024年10月10日
    • [BACKPORT] [SPARK-49474][SS] 將 FlatMapGroupsWithState 使用者函式中的錯誤分類到錯誤類別中
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr 在修剪 GetArrayStructFields 時不應更改結構描述欄位
    • [SPARK-49688][CONNECT] 修正中斷與執行計畫之間的資料競賽
  • 2024年9月25日
    • [SPARK-48810][CONNECT] Session stop() API 應該是冪등式的,且如果伺服器已經關閉了會話,不會失敗
    • [SPARK-48719][SQL] 修正 `RegrS…` 的計算錯誤
    • [SPARK-49000][SQL] 透過展開 RewriteDistinctAggregates 來修正 t 為空表時「select count(distinct 1) from t」的問題
    • [SPARK-49628][SQL] ConstantFolding 應該在評估前複製有狀態表達式
    • [SPARK-49492][CONNECT] 在非活躍的 ExecutionHolder 上嘗試重新附加
    • 作業系統安全性更新。
  • 2024 年 9 月 17 日
    • [SPARK-49336][CONNECT] 在截斷 protobuf 訊息時,限制巢狀層級
    • [SPARK-43242][CORE] 修正在洗牌損壞診斷中拋出「意外類型的 BlockId」
    • [SPARK-48463][ML] 使 Binarizer、Bucketizer、Vector 組合器、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor 等工具支援巢狀輸入欄位
    • [SPARK-49526][CONNECT] 在 ArtifactManager 中支援 Windows 風格路徑
    • [SPARK-49409][CONNECT] 調整預設值 CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] 將聯合節點視為資料框欄位解析中的葉節點
  • 2024 年 8 月 29 日
    • [SPARK-49146][SS] 將附加模式串流查詢中與浮水印缺失相關的斷言錯誤移至錯誤框架
    • [SPARK-48862][PYTHON][CONNECT] 當未啟用 INFO 層級時,請避免呼叫_proto_to_string
    • [SPARK-49263][CONNECT] Spark Connect Python 用戶端:持續處理布林 Dataframe 讀取選項
  • 2024 年 8 月 14 日
    • [SPARK-48941][SPARK-48970] 回埠機器學習寫入/讀取器修正
    • [SPARK-48706][PYTHON] Python UDF 在高階函式中不應拋出內部錯誤
    • [SPARK-49056][SQL] ErrorClassesJsonReader 無法正確處理 null
    • [SPARK-48597][SQL] 在邏輯計畫的文字表示中引入 isStreaming 屬性的標記
    • [SPARK-49065][SQL] 在舊有格式化器/解析器中重新建立基址必須支援非 JVM 預設時區
    • [SPARK-48934][SS] Python datetime 類型在 applyInPandasWithState 設定逾時時時轉換錯誤
  • 2024 年 8 月 1 日
    • 本版本包含針對 Spark Java 介面中 ColumnVector 和 ColumnarArray 類別的錯誤修正。 在此修正之前,當其中一個類別的實例包含 ArrayIndexOutOfBoundsException 值時,可能會擲回 null 或傳回不正確的數據。
    • 在筆記本和作業的無伺服器計算上,預設啟用 ANSI SQL 模式。 請參閱 支援的 Spark 組態參數。
    • 在以共用存取模式設定的計算上,Kafka 批次讀取和寫入現在有與結構化串流所記載相同的限制。 請參閱 串流限制。
    • SHOW CREATE TABLE語句的輸出現在包含在實體化檢視或串流表上定義的任何資料列篩選或欄位遮罩。 請參閱 SHOW CREATE TABLE。 若要了解數據列篩選和數據行遮罩,請參閱 數據列篩選和數據行遮罩。
    • 在以共用存取模式設定的計算上,Kafka 批次讀取和寫入現在有與結構化串流所記載相同的限制。 請參閱 串流限制。
    • SHOW CREATE TABLE語句的輸出現在包含在實體化檢視或串流表上定義的任何資料列篩選或欄位遮罩。 請參閱 SHOW CREATE TABLE。 若要了解數據列篩選和數據行遮罩,請參閱 數據列篩選和數據行遮罩。
    • [SPARK-48896][SPARK-48909][SPARK-48883] 回移植 spark ML 寫入器修正
    • [SPARK-48889][SS] 測試串流,在完成前卸載狀態儲存
    • [SPARK-48705][PYTHON] 明確使用以 pyspark 開頭的 worker_main
    • [SPARK-48047][SQL] 降低空 TreeNode 標籤的記憶體壓力
    • [SPARK-48544][SQL] 降低空 TreeNode 位元集的記憶體壓力
    • [SPARK-46957][CORE] 退役後遷移的洗牌檔案應該能夠從執行器上清理掉
    • [SPARK-48463] 製作支援巢狀輸入欄位的 StringIndexer
    • [SPARK-47202][PYTHON] 修正一個會破壞含 tzinfo 之日期時間的錯字
    • [SPARK-47713][SQL][CONNECT] 修復自連接失敗
    • 作業系統安全性更新。
  • 2024 年 7 月 11 日
    • (行為變更)如果覆寫來源表,則針對 Delta 表來源快取的 DataFrames 現在會失效。 這項變更表示 Delta 數據表的所有狀態變更現在都會使快取的結果失效。 使用 .checkpoint() 在 DataFrame 的存留期內保存數據表狀態。
    • Snowflake JDBC 驅動程式已更新為 3.16.1 版。
    • 此版本包含修正了在 Databricks 容器服務中執行時,Spark UI 環境標籤無法正確顯示的問題。
    • 在筆記本和作業的無伺服器計算上,預設啟用 ANSI SQL 模式。 請參閱 支援的 Spark 組態參數。
    • 若要在讀取數據時忽略無效的數據分割,檔案型數據源,例如 Parquet、ORC、CSV 或 JSON,可以將 ignoreInvalidPartitionPaths 數據源選項設定為 true。 例如:spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…)。 您也可使用 SQL 組態 spark.sql.files.ignoreInvalidPartitionPaths。 不過,資料來源選項的優先順序高於 SQL 組態。 預設的設定為 false。
    • [SPARK-48648][PYTHON][CONNECT] 讓 SparkConnectClient.tags 正確地成為執行緒區域變數
    • [SPARK-48445][SQL] 不要內嵌具有代價高昂子項的 UDF
    • [SPARK-48481][SQL][SS] 請勿對串流資料集套用 OptimizeOneRowPlan
    • [SPARK-48383][SS] 在 Kafka 的 startOffset 選項中,為不匹配分割區拋出更好的錯誤
    • [SPARK-48503][SQL] 修正先前被錯誤允許的、在非等效欄位上使用 group-by 的無效純量子查詢
    • [SPARK-48100][SQL] 修正跳過未在結構描述中選取的巢狀結構欄位時發生的問題
    • [SPARK-48273][SQL] 修正 PlanWithUnresolvedIdentifier 的後期重寫
    • [SPARK-48252][SQL] 必要時更新 CommonExpressionRef
    • [SPARK-48475][PYTHON] 在 PySpark 中優化_get_jvm_function。
    • [SPARK-48292][CORE] 回退 [SPARK-39195][SQL]:當提交的檔案與任務狀態不一致時,Spark OutputCommitCoordinator 應中止階段
    • 作業系統安全性更新。
  • 2024 年 6 月 17 日
    • applyInPandasWithState() 可在運算中以標準存取模式取得。
    • 修正了 Photon TopK 在排名窗口的優化中不正確處理包含結構體的分區的問題。
    • [SPARK-48310][PYTHON][CONNECT] 快取屬性必須回傳副本
    • [SPARK-48276][PYTHON][CONNECT] 為 SQLExpression 新增缺少的 __repr__ 方法
    • [SPARK-48294][SQL] 在 nestedTypeMissingElementTypeError 中處理小寫
    • 作業系統安全性更新。
  • 2024 年 5 月 21 日
    • (功能變更) dbutils.widgets.getAll() 現在支援 在筆記本中取得所有小工具值。
    • 修正了 try_divide() 函式中的 Bug,其中包含小數點的輸入會導致非預期的例外狀況。
    • [SPARK-48056][CONNECT][Python] 如果出現SESSION_NOT_FOUND錯誤且未收到部分回應,請重新執行計畫
    • [SPARK-48146][SQL] 修正 With 表達式子項斷言中的彙總函數
    • [SPARK-47986][CONNECT][Python] 當伺服器關閉預設會話時,無法建立新工作階段
    • [SPARK-48180][SQL] 改善當帶有 TABLE 引數的 UDTF 呼叫忘記為多個 ORDER BY/PARTITION 運算式加上括號時的錯誤訊息
    • [SPARK-48016][SQL] 修正 try_divide 函式在處理小數時的一個錯誤
    • [SPARK-48197][SQL] 避免因 lambda 函數無效而產生斷言錯誤
    • [SPARK-47994][SQL] 修正 SQLServer 中 CASE WHEN 欄位過濾器下推的錯誤
    • [SPARK-48173][SQL] CheckAnalysis 應該能看到整個查詢計畫
    • [SPARK-48105][SS] 修正狀態儲存卸載與快照之間的競爭條件
    • 作業系統安全性更新。
  • 2024 年 5 月 9 日
    • (行為改變) applyInPandas 和 mapInPandas UDF 類型現在支援執行 Databricks Runtime 14.3 LTS 和更新版本的共用存取模式計算。
    • [SPARK-47739][SQL] 註冊邏輯 Avro 類型
    • [SPARK-47941] [SS] [Connect] 將 ForeachBatch 工作者初始化錯誤傳達給 PySpark 使用者
    • [SPARK-48010][SQL] 避免在 resolveExpression 中重複呼叫 conf.resolver
    • [SPARK-48044][PYTHON][CONNECT] 快取 DataFrame.isStreaming
    • [SPARK-47956][SQL] 對未解決的 LCA 參照進行健全性檢查
    • [SPARK-47543][CONNECT][PYTHON] 從 Pandas DataFrame 推斷 dict 為 Mapype,以便建立 DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] 使用非同步回調來執行清理
    • [SPARK-47764][CORE][SQL] 根據 ShuffleCleanupMode 清理 shuffle 相依性
    • [SPARK-48018][SS] 修正拋出 KafkaException.couldNotReadOffsetRange 時,null groupId 導致缺少參數錯誤的問題。
    • [SPARK-47839][SQL] 修正 RewriteWithExpression 中的聚合錯誤
    • [SPARK-47371] [SQL] XML:忽略 CDATA 中發現的列標籤
    • [SPARK-47895][SQL] group by all 應具有冪等性
    • [SPARK-47973][CORE] 在 SparkContext.stop() 以及後來的 SparkContext.assertNotStopped() 中記錄呼叫位置
    • 作業系統安全性更新。
  • 2024 年 4 月 25 日
    • [SPARK-47543][CONNECT][PYTHON] 從 Pandas DataFrame 將 dict 推斷為 MapType,以允許建立 DataFrame
    • [SPARK-47694][CONNECT] 讓最大訊息大小可於用戶端設定
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] 用快取結構驗證欄位名稱
    • [SPARK-47862][PYTHON][CONNECT]修正原型檔案產生
    • 還原「[SPARK-47543][CONNECT][PYTHON] 從 Pandas DataFrame 將 dict 推斷為 MapType,以允許建立 DataFrame」
    • [SPARK-47704][SQL] 當啟用 spark.sql.json.enablePartialResults 時,JSON 解析會因「java.lang.ClassCastException」而失敗
    • [SPARK-47812][CONNECT] 支援 ForEachBatch 工作者的 SparkSession 序列化
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] 在 SparkConnectPlanner 中引入計畫快取以提升分析請求的效能
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite 會因無效計畫而失敗
    • 作業系統安全性更新。
  • 2024 年 4 月 11 日
    • (行為變更)為了確保跨計算類型的行為一致,具有標準存取模式之計算上的 PySpark UDF 現在符合無隔離和指派叢集上的 UDF 行為。 此更新包含下列可能會中斷現有程式代碼的變更:
      • 具有 string 傳回類型的 UDF 不再隱含地將非string 值轉換成 string 值。 先前,不論傳回值的實際資料類型為何,具有 str 傳回型別的 UDF 都會使用 str() 函式包裝傳回值。
      • 具有 timestamp 傳回型別的 UDF 不再自動對 timestamp 套用 timezone 的轉換。
      • Spark 叢集組態 spark.databricks.sql.externalUDF.* 不再套用至使用標準存取模式計算的 PySpark UDF。
      • Spark 叢集設定 spark.databricks.safespark.externalUDF.plan.limit 不再影響 PySpark UDF,從而移除了在公開預覽階段每個查詢僅限 5 個 UDF 的限制。
      • Spark 叢集組態 spark.databricks.safespark.sandbox.size.default.mib 不再套用至使用標準存取模式計算的 PySpark UDF。 相反,使用的是系統上可用的記憶體。 若要限制 PySpark UDF 的記憶體,請使用 spark.databricks.pyspark.udf.isolation.memoryLimit,且最小值為 100m。
    • TimestampNTZ 數據類型現在支援作為液態叢集功能的叢集欄位。 請參閱 針對數據表使用液體叢集。
    • [SPARK-47511][SQL] 透過重新指派 ID 來規範化 With 表達式
    • [SPARK-47509][SQL] 禁止在 lambda 及高階函式中的子查詢表達式
    • [SPARK-46990][SQL] 修正載入由事件集線器產生的空白 Avro 檔案時的問題
    • [SPARK-47638][PS][CONNECT] 跳過 PS 中的欄位名稱驗證
    • 作業系統安全性更新。
  • 2024 年 3 月 14 日
    • [SPARK-47135][SS] 實作 Kafka 資料遺失例外的錯誤類別
    • [SPARK-47176][SQL] 有一個 ResolveAllExpressionsUpWithPruning 輔助函式
    • [SPARK-47145][SQL] 將資料表識別碼傳遞給資料列資料來源掃描執行,採用 V2 策略。
    • [SPARK-47044][SQL] 新增對 JDBC 外部資料來源的執行查詢以解釋輸出
    • [SPARK-47167][SQL] 為 JDBC 匿名關係新增具體類別
    • [SPARK-47070] 修正子查詢重寫後的無效聚合
    • [SPARK-47121][CORE] 在獨立排程器後端關機期間避免 RejectedExecutionExceptions
    • 回復「[SPARK-46861][CORE] 防止 DAGScheduler 中的死鎖」
    • [SPARK-47125][SQL] 如果 Univocity 從未觸發解析,則回傳 null
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier 應包含表達式樹中其他表達式
    • [SPARK-47129][CONNECT][SQL] 正確地快取 ResolveRelations 連線計畫
    • [SPARK-47241][SQL] 修正 ExtractGenerator 的規則順序問題
    • [SPARK-47035][SS][CONNECT] 用於客戶端監聽器的協定
    • 作業系統安全性更新。
  • 2024 年 2 月 29 日
    • 已修正了一個問題,即在 MERGE 命令中使用本機集合作為來源時,可能會導致操作指標 numSourceRows 報告的資料列數量是正確數量的兩倍。
    • 使用者現在需要具有 SELECT 和 ANY FILE 的 MODIFY 許可權,才能在已定義的位置建立架構。
    • [SPARK-47071][SQL] 如果表達式包含特殊表達式,則內聯 With 表達式
    • [SPARK-47059][SQL] 為 ALTER COLUMN v1 指令附加錯誤上下文
    • [SPARK-46993][SQL] 修正會話變數的常數摺疊問題
    • 作業系統安全性更新。
  • 2024 年 1 月 3 日
    • [SPARK-46933] 對於使用 JDBCRDD 的連接器,新增查詢執行時間指標。
    • [SPARK-46763] 修正 ReplaceDeduplicateWithAggregate 中重複屬性斷言失敗的問題。
    • [SPARK-46954] XML:將 InputStreamReader 以 BufferedReader 包裝。
    • [SPARK-46655] 跳過在 DataFrame 方法中捕捉查詢上下文。
    • [SPARK-44815] 快取 df.schema 以避免額外的 RPC。
    • [SPARK-46952] XML:限制損壞記錄的大小。
    • [SPARK-46794] 移除 LogicalRDD 約束中的子查詢。
    • [SPARK-46736] 保留 protobuf 連接器中的空訊息欄位。
    • [SPARK-45182] 在重試父層不確定狀態的階段後,忽略舊階段的任務完成,依照校驗碼判定。
    • [SPARK-46414] 使用 prependBaseUri 來渲染 JavaScript 匯入。
    • [SPARK-46383] 透過縮短 TaskInfo.accumulables() 的壽命來減少驅動堆的使用。
    • [SPARK-46861] 避免在 DAGScheduler 中發生死鎖。
    • [SPARK-46954] XML:最佳化結構描述索引查詢。
    • [SPARK-46676] dropDuplicatesWithinWatermark 在查詢計畫正典化時不應失敗。
    • [SPARK-46644] 在 SQLMetric 中將 add 和 merge 改為使用 isZero。
    • [SPARK-46731] 依狀態資料來源 - 讀取器管理狀態儲存提供者實例。
    • [SPARK-46677] 修正 dataframe["*"] 問題。
    • [SPARK-46610] 建立表格時,當選項中某個鍵沒有值時應該拋出例外。
    • [SPARK-46941] 如果包含 SizeBasedWindowFunction,無法插入用於 top-k 計算的視窗群組限制節點。
    • [SPARK-45433] 修正當時間戳與指定時間戳格式不符時,CSV/JSON 結構推論問題。
    • [SPARK-46930] 在 Avro 中新增對 Union 類型欄位的自訂前綴支援。
    • [SPARK-46227] 回溯移植至 14.3。
    • [SPARK-46822] 在 jdbc 中將 jdbc 類型鑄造為 Catalyst 類型時,請尊重 spark.sql.legacy.charVarcharAsString。
    • 作業系統安全性更新。

Databricks Runtime 9.1 LTS

  • 2025年4月9日
    • 作業系統安全性更新。
  • 2025 年 3 月 11 日
    • 作業系統安全性更新。
  • 2025年2月11日
    • 作業系統安全性更新。
  • 2024 年 12 月 10 日
    • 作業系統安全性更新。
  • 2024 年 11 月 26 日
    • 作業系統安全性更新。
  • 2024 年 11 月 5 日
    • 作業系統安全性更新。
  • 2024年10月22日
    • 作業系統安全性更新。
  • 2024年10月10日
    • 作業系統安全性更新。
  • 2024年9月25日
    • [SPARK-49000][SQL] 透過展開 RewriteDistinctAggregates 來修正「select count(distinct 1) from t」中其中 t 為空資料表時的問題
    • 作業系統安全性更新。
  • 2024年9月6日
    • 作業系統安全性更新。
  • 2024 年 8 月 29 日
    • [SPARK-49065][SQL] 在舊有格式化器/解析器中重定基準必須支援非 JVM 預設時區
  • 2024 年 8 月 14 日
  • 2024 年 8 月 1 日
    • 作業系統安全性更新。
  • 2024 年 7 月 11 日
    • 作業系統安全性更新。
  • 2024 年 6 月 17 日
    • 作業系統安全性更新。
  • 2024 年 5 月 21 日
    • [SPARK-48105][SS] 修正狀態儲存卸載與快照之間的競爭條件
    • 作業系統安全性更新。
  • 2024 年 5 月 9 日
    • [SPARK-47973][CORE] 在 SparkContext.stop() 以及後來的 SparkContext.assertNotStopped() 中記錄呼叫位置
    • [SPARK-44251][SQL] 在 full outer USING join 中正確設定 coalesced join 鍵的 nullable
    • 作業系統安全性更新。
  • 2024 年 4 月 25 日
    • 其他錯誤修正。
  • 2024 年 4 月 11 日
    • 作業系統安全性更新。
  • 2024 年 4 月 1 日
    • 回復「[SPARK-46861][CORE] 防止 DAGScheduler 中的死鎖」
    • 作業系統安全性更新。
  • 2024 年 3 月 14 日
    • 作業系統安全性更新。
  • 2024 年 2 月 29 日
    • 已修正了一個問題,即在 MERGE 命令中使用本機集合作為來源時,可能會導致操作指標 numSourceRows 報告的資料列數量是正確數量的兩倍。
    • 作業系統安全性更新。
  • 2024 年 2 月 13 日
    • [SPARK-46861] 避免在 DAGScheduler 中出現 Deadlock。
    • 作業系統安全性更新。
  • 2024 年 1 月 31 日
    • 作業系統安全性更新。
  • 2023 年 12 月 25 日
    • 為避免在透過 TLSv1.3 通訊時增加延遲,此維護版本包含 JDK 8 安裝的修補程式,以修正 JDK 錯誤 JDK-8293562。
    • [SPARK-46058] 為 privateKeyPassword 新增獨立旗標。
    • [SPARK-39440] 新增設定以停用事件時間軸。
    • [SPARK-46132] 支援用於 RPC SSL 的 JKS 金鑰密碼。
  • 2023 年 12 月 14 日
    • 作業系統安全性更新。
  • 2023 年 11 月 29 日
    • 已安裝了新的套件 pyarrow-hotfix,以補救 PyArrow RCE 弱點。
    • [SPARK-45859] 讓 ml.functions 中的 UDF 物件改為惰性。
    • [SPARK-45544] 已整合 SSL 支援於 TransportContext.
    • [SPARK-45730] 改進了 ReloadingX509TrustManagerSuite 的時間限制。
    • 作業系統安全性更新。
  • 2023 年 11 月 14 日
    • [SPARK-45545]SparkTransportConf 建立時繼承 SSLOptions。
    • [SPARK-45429] 新增了用於 SSL RPC 通訊的輔助類別。
    • [SPARK-45427] 新增了 RPC SSL 設定到 SSLOptions 和 SparkTransportConf。
    • [SPARK-45584] 修正了在使用 TakeOrderedAndProjectExec 時子查詢執行失敗的問題。
    • [SPARK-45541] 新增 SSLFactory。
    • [SPARK-42205] 移除了階段與任務啟動事件中的用於記錄的累加器。
    • 作業系統安全性更新。
  • 2023 年 10 月 24 日
    • [SPARK-45426] 新增對 ReloadingX509TrustManager 的支援。
    • 作業系統安全性更新。
  • 2023 年 10 月 13 日
    • 作業系統安全性更新。
  • 2023 年 9 月 10 日
    • 各種各樣的修復。
  • 2023 年 8 月 30 日
    • 作業系統安全性更新。
  • 2023 年 8 月 15 日
    • 作業系統安全性更新。
  • 2023 年 6 月 23 日
    • Snowflake-jdbc 程式庫已升級至 3.13.29,以解決安全性問題。
    • 作業系統安全性更新。
  • 2023 年 6 月 15 日
    • [SPARK-43098] 修正標量子查詢具有 group by 子句時的 COUNT 正確性錯誤。
    • [SPARK-43156][SPARK-43098] 在decorrelateInnerQuery關閉的情況下擴展純量子查詢計數錯誤測試。
    • [SPARK-40862] 在 RewriteCorrelatedScalarSubquery 中支援非聚合子查詢。
    • 作業系統安全性更新。
  • 2023 年 6 月 2 日
    • failOnUnknownFields 模式中的 JSON 剖析器會在 DROPMALFORMED 模式下丟棄記錄,並在 FAILFAST 模式中直接失敗。
    • 修正了 JSON 恢復的資料剖析中的問題,以防止 UnknownFieldException。
    • 已修正 Auto Loader 中因提供的架構未包含推斷的分割而導致不同來源檔格式不一致的問題。 讀取推斷數據分割架構中遺漏數據行的檔案時,此問題可能會導致非預期的失敗。
    • [SPARK-37520] 加入 startswith() 和 endswith() 字串函數
    • [SPARK-43413] 已修正 IN 子查詢 ListQuery 可為空性。
    • 作業系統安全性更新。
  • 2023 年 5 月 17 日
    • 作業系統安全性更新。
  • 2023 年 4 月 25 日
    • 作業系統安全性更新。
  • 2023 年 4 月 11 日
    • 已修正在巢狀 JSON 物件架構中偵測到新數據行時,自動載入器架構演進可能會進入無限失敗循環的問題。
    • [SPARK-42967] 當任務在階段被取消後啟動時,修正 SparkListenerTaskStart.stageAttemptId。
  • 2023 年 3 月 29 日
    • 作業系統安全性更新。
  • 2023 年 3 月 14 日
    • [SPARK-42484]改進UnsafeRowUtils的錯誤訊息。
    • 各種各樣的修復。
  • 2023 年 2 月 28 日
    • 用戶現在可以使用 Databricks Runtime 9.1 LTS 或更新版本,讀取和寫入需要閱讀器版本 3 和寫入器版本 7 的特定 Delta 表格。 若要成功,數據表通訊協定中列出的數據表功能必須由目前版本的 Databricks Runtime 支援。
    • 作業系統安全性更新。
  • 2023 年 2 月 16 日
    • 作業系統安全性更新。
  • 2023 年 1 月 31 日
    • JDBC 數據表的數據表類型現在預設為 EXTERNAL。
  • 2023 年 1 月 18 日
    • 作業系統安全性更新。
  • 2022 年 11 月 29 日
    • 已修正自動載入器中的 JSON 剖析問題,該問題會在 JSON 包含巢狀物件,且所有欄位皆為字串形式(cloudFiles.inferColumnTypes 未設定或設定為 false)時發生。
    • 作業系統安全性更新。
  • 2022 年 11 月 15 日
    • 將 Apache commons-text 升級至 1.10.0。
    • 作業系統安全性更新。
    • 各種各樣的修復。
  • 2022 年 11 月 1 日
    • 已修正一個問題,當 Delta 數據表中有一個使用者定義的數據行名為 _change_type,並且在該數據表上未啟用 變更數據摘要 時,當執行 MERGE時,該數據行中的數據會錯誤地被填入 NULL 值。
    • 已修正自動載入器的問題,啟用 allowOverwrites 時,檔案可能會在相同的微批次中被重複複製。
    • [SPARK-40596] 以 ExecutorDecommissionInfo 中的訊息填入 ExecutorDecommission
    • 作業系統安全性更新。
  • 2022 年 10 月 18 日
    • 作業系統安全性更新。
  • 2022 年 10 月 5 日
    • 各種各樣的修復。
    • 作業系統安全性更新。
  • 2022 年 9 月 22 日
    • 用戶可以設定spark.conf.set(“spark.databricks.io.listKeysWithPrefix.azure.enabled”, “true”) 以重新啟用 ADLS 上的自動載入器內建清單。 內建清單先前因效能問題而被關閉,這可能導致客戶的儲存成本增加。
    • [SPARK-40315] 為 ArrayBasedMapData 的 Literal 加入 hashCode()
    • [SPARK-40089] 修正某些十進位類型的排序
    • [SPARK-39887] 移除冗餘別名應保留使投影節點輸出唯一的別名
  • 2022 年 9 月 6 日
    • [SPARK-40235] 在 Executor.updateDependencies() 中使用可中斷鎖代替同步鎖
    • [SPARK-35542] 修正:為多個欄位建立且使用 splitsArray、inputCols 和 outputCols 參數的 Bucketizer,在儲存後無法載入
    • [SPARK-40079] 新增 Imputer inputCols 針對空輸入情況的驗證
  • 2022 年 8 月 24 日
    • [SPARK-39666]在 ExpressionEncoder 中使用 UnsafeProjection.create 來遵循 spark.sql.codegen.factoryMode
    • [SPARK-39962] 當群組屬性為空時,應用投影
    • 作業系統安全性更新。
  • 2022 年 8 月 9 日
    • 作業系統安全性更新。
  • 2022 年 7 月 27 日
    • 當來源不具決定性時,讓 Delta MERGE 作業的結果保持一致。
    • [SPARK-39689] CSV資料來源中對2字元 lineSep 的支援
    • [SPARK-39575]在AvroDeserializer中於ByteBuffer#get之後加入ByteBuffer#rewind。
    • [SPARK-37392] 修正了 Catalyst optimizer 的效能錯誤。
    • 作業系統安全性更新。
  • 2022 年 7 月 13 日
    • [SPARK-39419]ArraySort 當比較器回傳 null 時,會拋出例外。
    • 關閉了 Auto Loader 在 Azure 上使用內建雲端 API 進行目錄列出的功能。
    • 作業系統安全性更新。
  • 2022 年 7 月 5 日
    • 作業系統安全性更新。
    • 各種各樣的修復。
  • 2022 年 6 月 15 日
    • [SPARK-39283]修正 UnsafeExternalSorter.SpillableIterator 與 TaskMemoryManager 之間的死結。
  • 2022 年 6 月 2 日
    • [SPARK-34554] 在 ColumnarMap 中實作 copy() 方法。
    • 作業系統安全性更新。
  • 2022 年 5 月 18 日
    • 修正了自動載入器中潛在的內建記憶體洩漏。
    • 將 AWS SDK 從 1.11.655 版升級為 1.11.678。
    • [SPARK-38918] 巢狀欄位修剪應該會過濾掉不屬於當前關係的屬性
    • [SPARK-39084] 使用 TaskContext 在任務完成時停止迭代器,藉此修復 df.rdd.isEmpty()
    • 作業系統安全性更新。
  • 2022 年 4 月 19 日
    • 作業系統安全性更新。
    • 各種各樣的修復。
  • 2022 年 4 月 6 日
    • [SPARK-38631]在 Utils.unpack 使用以 Java 為基礎的實作來解開 tar 封存檔。
    • 作業系統安全性更新。
  • 2022 年 3 月 22 日
    • 在具有數據表訪問控制或憑證傳遞功能的高並行叢集上,筆記本的工作目錄已變更為使用者的主目錄。 先前,Active Directory 為 /databricks/driver。
    • [SPARK-38437] 資料來源 datetime 的寬鬆序列化
    • [SPARK-38180] 允許在相關等號謂詞中安全使用向上轉型表達式
    • [SPARK-38155] 禁止在帶有不受支援述詞的橫向子查詢中使用 DISTINCT 彙總
    • [SPARK-27442] 在讀取或寫入 parquet 資料時移除了檢查。
  • 2022 年 3 月 14 日
    • [SPARK-38236] 建立/變更表中指定的絕對檔案路徑被視為相對路徑
    • [SPARK-34069] 如果本地屬性 SPARK_JOB_INTERRUPT_ON_CANCEL 設為 true,則中斷任務執行緒。
  • 2022 年 2 月 23 日
    • [SPARK-37859] 在 Spark 3.1 中用 JDBC 建立的 SQL 表格在 Spark 3.2 中無法讀取。
  • 2022 年 2 月 8 日
    • [SPARK-27442] 在 parquet 中讀取或寫入資料時移除了欄位檢查。
    • 作業系統安全性更新。
  • 2022 年 2 月 1 日
    • 作業系統安全性更新。
  • 2022 年 1 月 26 日
    • 已修正一個問題:在某些罕見情況下,Delta 資料表上的並發交易可能會以非序列化的順序完成提交。
    • 已修正啟用 ANSI SQL 方言時,OPTIMIZE 命令可能會失敗的問題。
  • 2022 年 1 月 19 日
    • 次要修正與安全增強。
    • 作業系統安全性更新。
  • 2021 年 11 月 4 日
    • 修正了一個可能導致結構化串流因ArrayIndexOutOfBoundsException而失敗的問題。
    • 修正了一種競爭狀態,可能會導致查詢因 java.io.IOException: No FileSystem for scheme 等 IOException 而失敗,或導致對 sparkContext.hadoopConfiguration 的修改在查詢中不生效。
    • 適用於 Delta Sharing 的 Apache Spark 連接器已升級至 0.2.0。
  • 2021 年 10 月 20 日
    • 將 BigQuery 連接器從 0.18.1 升級至 0.22.2。 這會新增對 BigNumeric 類型的支援。