本文說明筆記簿和任務目前可使用及未來即將推出的無伺服器計算功能與行為。
如需無伺服器計算的詳細資訊,請參閱 連線到無伺服器計算。
Azure Databricks 會定期發行無伺服器計算的更新,自動升級無伺服器計算運行時間,以支持增強功能和升級至平臺。 所有用戶都會獲得相同的更新,並在短時間內陸續推出。
無伺服器環境版本
筆記本和作業的無伺服器計算會使用環境版本,此版本提供基於 Spark Connect 的穩定用戶端 API,以確保應用程式相容性。 這可讓 Databricks 獨立升級伺服器、提供效能改善、安全性增強功能,以及錯誤修正,而不需要對工作負載進行任何程式代碼變更。
每個環境版本都包含特定的 Python 版本,以及一組具有已定義版本的 Python 套件。 Databricks 引進了新功能和修正,並在最新的環境版本中引入這些改進,同時將安全更新套用至所有支援的環境版本。
關於無伺服器環境版本的釋出說明,請參見環境版本。
發布說明
本段包含無伺服器運算的發行說明。 版本資訊是按照年份和年度周來組織的。 無伺服器計算一律會使用此處所列的最新發行版本執行。
- DataFrame 在無伺服器運算上的快取現已進入公開預覽階段
- 2026 年 10 月 19 日
- 2026 年 9 月 21 日
- 2026年8月31日
- 2026年8月24日
- 2026年8月17日
- JAR任務在無伺服器運算上現已普遍可用
- 無伺服器運算存取控制現已普遍可用
- 2026年7月6日
- 版本 18.2
- 版本 18.1
- 版本 18.0
- 無伺服器環境版本 5 現已推出
- 版本 17.3
- 版本 17.2
- 版本 17.1
- 無伺服器環境版本 4
- 版本 17.0
- 無伺服器效能目標正式可用
- 版本 16.4
- 現在可以在無伺服器工作上設定效能模式
- 版本 16.3
- 版本 16.2
- 無伺服器筆記本可提供高記憶體設定(公開預覽)
- 版本 16.1
- 版本 15.4
- JDK由JDK 8升級為JDK 17
- 版本 15.1
- 版本 14.3
DataFrame 在無伺服器運算上的快取現已進入公開預覽階段
2026年10月23日
DataFrame 在無伺服器運算上的快取現已進入 公開預覽階段。 你可以在無伺服器運算上使用 df.cache() 或 df.persist() 快取 DataFrame,將昂貴的結果重用於此工作階段的剩餘時間。 快取需要無伺服器環境第 5 版或以上版本、適用於 Python 的 Databricks Connect 18.1.8 或以上版本,或適用於 Scala 的 Databricks Connect 18.1.5 或以上版本。 大多數工作區預設已啟用預覽功能。 Workspace 管理員可以從 預覽 頁面關閉它。 請參見 無伺服器運算上的快取資料框架。
2026年10月19日
2026 年 10 月 19 日
此無伺服器運算版本包含來自 Databricks Runtime 19 的更新。
行為變更
-
Spark Connect 執行指標隱藏列篩選與欄遮罩細節:DataFrame 執行指標現在隱藏與列篩選與欄遮罩相關的內部運算子與指標。 這可在您檢查
df.executionInfo.metrics(包括其文字表示)時,保護原則執行資訊。 受保護部分的邊界及其自身指標仍然清晰可見。 查詢結果保持不變。 依賴受保護子計畫中詳細指標的筆記本或工具可能需要更新。
2026 年 9 月 21 日
2026 年 9 月 21 日
此無伺服器運算版本包含來自 Databricks Runtime 19 的更新。
新功能
truncate功能:該truncate函數將數字截斷到指定的刻度,且不進行四捨五入。trim_array函式:函trim_array式從陣列末端移除指定數量的元素。
2026 年 8 月 31 日
2026年8月31日
此無伺服器運算版本包含來自 Databricks Runtime 19 的更新。
新功能
自動變更資料饋送正式可用:自動變更資料饋送(Auto CDF)在查詢時計算列層級變更。 它可搭配批次查詢、結構化串流和 Delta 共享運作,並需要列追蹤。 請參見 自動變更資料串流。
parse_sqlfunction:此parse_sql函式會解析 SQL 陳述式,並回傳包含語句中繼資料、表格參考、select-list 表達式或剖析器錯誤資訊的結構化 JSON 訊息。
行為變更
from_protobuf啟用結構描述裁剪時,會略過格式錯誤的未選取欄位:啟用 protobuf 結構描述裁剪時,from_protobuf不再解碼或驗證查詢未選取的欄位。 格式錯誤的未選取欄位不再於PERMISSIVE模式下使該列變成 null,也不會在FAILFAST模式下導致查詢失敗。JDBC 下推可正確處理 null 常值:Data Source v2 JDBC 下推現在會輸出 SQL 常值
NULL,而不是字串'null'。 將像是這類表達式NULLIF分組的查詢,現在會產生一個空群組,而不是獨立'null'的字串群組。HTTP 和 AI 函式不再跟隨重定向:
http_requestAI 函式也不再跟隨 HTTP 3xx 重定向。 收到重定向的呼叫現在會回傳遠端 HTTP 失敗,以判斷重定向狀態。 檔案來源連接器的下載則不受影響。
2026年8月24日
2026年8月24日
此無伺服器運算版本包含來自 Databricks Runtime 19 的更新。
新功能
-
collect_unionaggregate function:collect_unionaggregate function 會傳回每個群組內各陣列中元素的相異聯集。
行為變更
HAVING在含有產生器的查詢中,會先於視窗函數進行評估:對於包含產生器的查詢,例如explode,現在會在HAVING篩選之後才評估視窗函數。 因此,視窗結果僅包含被HAVING保留的列。查詢計畫預設會隱藏原則邏輯:除非使用者擁有
INSPECT_POLICY_EXECUTION中繼存放區權限,否則查詢計畫不再顯示資料列篩選與資料行遮罩原則邏輯。Delta API DML 使用原則定義者權限:
DeltaTable.delete、DeltaTable.update和DeltaTable.merge現在會以原則定義者的權限解析資料列篩選和資料欄遮罩原則函式,與 SQL DML 一致。 當呼叫端具有所需的資料表權限時,就不再需要在這些原則函式上使用EXECUTE。
2026年8月17日
2026年8月17日
此無伺服器運算版本包含來自 Databricks Runtime 19 的更新。
新功能
is_valid_variant函數:若輸入為良構的is_valid_variant值,則VARIANT函數回傳false,否則回傳true。 用它來驗證變異資料,然後再進行後續處理。DataFrameGroupBy.cov以及SeriesGroupBy.describeSpark 上的 pandas API:Spark 上的 pandas API 現在支援DataFrameGroupBy.cov,可計算每組內欄位的兩兩協變異數,以及SeriesGroupBy.describe,為每個群組產生描述性統計量。pa.ChunkedArray支援於createDataFrame:createDataFrame()現在能用 PyArrowChunkedArray欄位處理 pandas DataFrame,避免使用 Arrow 支援的 pandas 資料時型別錯誤。
JAR任務在無伺服器運算上現已普遍可用
2026 年 8 月 6 日
把 Scala 或 Java 程式碼打包成 JAR,並在無伺服器運算的 Lakeflow Job 裡當作任務執行。 你的 JAR 必須與無伺服器環境版本的 Scala、Java Development Kit(JDK)和 Databricks Connect 版本相符。 請參考在無伺服器運算上建立並執行 JAR。
無伺服器運算存取控制現已普遍可用
2026年8月3日
無伺服器運算存取控制現已普遍可用。 Workspace 管理員可以透過兩個內建的無伺服器運算物件來管理誰能執行無伺服器工作負載:Default Interactive Compute(管理對筆記本和 Databricks Connect 的存取)和 Default Automated Compute(管理 Lakeflow 上的工作與 Spark 宣告式管線存取)。 所有工作區使用者預設在兩個物件上都能 使用 ,因此現有工作負載仍能持續運行,無需更改。
請參見 管理無伺服器運算。
2026年7月6日
2026年7月6日
此無伺服器運算版本包含來自 Databricks Runtime 18 的更新。
新功能
Spark 宣告式管線在 Lakeflow 串流查詢 ID:Spark 宣告式管線在 Lakeflow 現在可以按需設定串流查詢 ID。
IP 位址函數(公開預覽版):新增 SQL 函式可用於處理 IPv4 與 IPv6 位址及 CIDR 區塊,包括
ip_host、ip_cidr、ip_version、ip_as_binaryip_networktry_*ip_prefix_lengthip_network_lastip_cidr_containsip_as_string及用於 null 安全行為的變體。 請參見 ip_host 及相關函數。按需狀態重劃分(公開預覽):結構化串流現在支援在不失去檢查點狀態的情況下更改有狀態查詢的洗牌分割區數量。 請參閱 針對有狀態串流查詢的隨需狀態重新分割。
行為變更
CREATE OR REPLACE TABLE保留註解:CREATE OR REPLACE TABLE現在預設保留現有的欄位與表格註解。 過去,重建表格時會刪除註解。 受管理的資料表和檢視現在已與現有的實體化檢視和串流資料表的行為一致。DataFrame 以名稱寫入 cast 相容欄位:
writeTo().append()、writeTo().overwrite()、writeTo().overwritePartitions(),現在write.mode("append").saveAsTable()自動 cast 型別相容欄位(例如int到long),以匹配目標 Delta 表格結構。 過去,當欄位類型相容但並不完全相同時,這些操作會因發生DELTA_FAILED_TO_MERGE_FIELDS錯誤而失敗。 行為現在與 SQLINSERT INTO ... BY NAME相符。ALTER TABLE SET TBLPROPERTIES對於pipelines.pipelineId:ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>')現在嘗試讓指定的資料表可供管線寫入。 過去將此屬性放在一般表格上並無效果。 如果資料表不符合管線寫入條件,該指令會引發SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED。DESCRIBE EXTENDED AS JSON包含預測優化結果:DESCRIBE EXTENDED ... AS JSON現在已將預測優化評估結果納入輸出。 過去這些資訊並未在 JSON 輸出中回傳。度量檢視視窗度量會回傳正確結果:當查詢使用
GROUP BY、IN/BETWEEN篩選條件,或在視窗的排序欄上使用混合述詞時,度量檢視視窗度量現在會回傳正確結果。 過去,這些濾波器模式可能會產生錯誤的結果。結構
NaN化串流重複刪除使用NaN金鑰:結構化串流重複刪除現在會NaN將(非數字)具有不同位元模式的值視為重複,當double或float欄位被用作重複刪除金鑰時。 過去,具有不同內部表示方式的NaN值會被視為彼此不同,且不會進行去重。NATURAL JOIN大小寫不區分欄位匹配:NATURAL JOIN現在以大小寫不敏感的方式匹配常見欄位,與等效USING的連接一致。 先前,欄位比對會區分大小寫,導致僅大小寫不同的欄位(例如ID與id)無法被辨識為共同欄位,因此在沒有任何提示的情況下執行了交叉連接,而不是預期的等值連接。
版本 18.2
2026年5月13日
這個無伺服器運算版本大致對應 Databricks 的 Runtime 18.2。
新功能
CREATE OR REPLACE支援建立或取代暫存資料表:CREATE OR REPLACE TEMP TABLE現在支援CREATE OR REPLACE TEMP TABLE語法,讓你能在單一語句中建立或取代 暫存資料表。 這消除了明確丟棄並重建臨時資料表的需求。agg()作為measure()函數的別名:agg()現已可作為measure()函數的別名。 此變更完全向下相容。 現有的measure()查詢在不加修改的情況下繼續運作,agg()且在使用相同參數時產生相同的結果。Snowflake JDBC 驅動程式升級:Snowflake JDBC 驅動程式由 3.22.0 升級至 3.28.0。
pyspark.pipelines.testing命名空間別名:pyspark.pipelines.testing現已提供,可作為dlt.testingAPI 的便利別名。 透過任一命名空間,將 Spark 宣告式管線匯入 Lakeflow 管線測試公用事業。Delta 表歷史記錄包含寫入選項旗標:Delta 表歷史記錄(
DESCRIBE HISTORY)現在會在REPLACE TABLE欄中包含WRITE和operationParameters作業的寫入選項旗標。 當以下選項明確啟用時,它們會在歷史記錄中以布林標誌的形式出現(僅在以下情況下true包含):對於
WRITE和REPLACE TABLE運算:-
isDynamicPartitionOverwrite: 在動態分割覆寫模式使用時存在 -
canOverwriteSchema:在啟用結構覆寫(overwriteSchema)時存在 -
canMergeSchema:在啟用結構合併(mergeSchema)時存在
對於運算:
REPLACE TABLE-
predicate:當 使用 時存在replaceWhere -
isV1WriterSaveAsTableOverwrite:當替換是由覆寫觸發時存在的.saveAsTable
-
使用
replaceUsing和replaceOnDataFrame API 選擇性取代資料:Scala 和 Python DataFrame API 中的replaceOn和replaceUsing選項現已正式推出。 利用這些選項將表格的一部分替換為 DataFrame 的結果。replaceOn替換符合使用者定義條件的列。replaceUsing取代指定欄位值相等的資料列。 這些 API 是對INSERT REPLACE ON和INSERT REPLACE USINGSQL 陳述式的補充。 請參閱 選擇性地使用 Delta Lake 覆寫數據。
行為變更
在 INSERT、MERGE,以及使用 schema 演化的串流寫入中保留 NULL 結構:對於
INSERT、MERGE,以及使用schema 演化的串流寫入,來源中的 NULL 結構現在會以 NULL 形式儲存在目標中。 過去該值被錯誤地呈現為非空結構體,且每個欄位都設為 NULL,而未進行結構演化的相同操作則正確保留了 NULL 結構。 如果你的程式碼依賴接收一個非 null 結構體,而該結構體的欄位全是 NULL,那就更新程式碼改為處理 NULL 結構。修正
LEFT OUTER JOIN LATERAL會刪除資料列的問題:原本會錯誤地從LEFT OUTER JOIN LATERAL查詢中刪除資料列的錯誤現已修正。 使用此結構的查詢現在會回傳正確的結果。 若要暫時回復到先前的行為,請設spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic為true。NATURAL JOIN採用不區分大小寫的欄位比對:NATURAL JOIN現在會在spark.sql.caseSensitive設為false(預設值)時,正確採用不區分大小寫的欄位比對。 過去,NATURAL JOIN使用大小寫敏感的比較來辨識共同欄位,導致僅在大小寫不同的欄位(例如ID與id)未被認為是相符的。 這導致NATURAL JOIN無聲地產生交叉連接結果。 此修正將NATURAL JOIN的行為與USINGjoins 對齊,而 joins 已正確處理不區分大小寫的情況。 受此錯誤影響的查詢現在會回傳正確結果,欄位也正確連接。Unity 目錄中的 SQL UDF 相依性驗證:Unity Catalog 現在對 SQL 使用者定義函式(UDF)強制執行相依性驗證,以防止存取控制繞過。 過去,透過 REST API 建立的 SQL 函式可以參考使用者無法存取的相依關係。 依賴設定無效的 SQL UDF 現在會被阻擋執行。
AWS SDK v1 相依套件已重新定位(shaded):隨 Azure Databricks 執行時捆綁的 AWS SDK v1 相依關係現已重新定位(shaded),且不再直接在類別路徑上提供。 如果你的程式碼依賴 Azure Databricks 執行環境先前提供的 AWS SDK v1 函式庫,請將它們作為專案中的明確相依。 此變更為在 AWS 對 SDK v1 支援結束後,遷移至 AWS SDK v2 做準備。
修正 ESRI 定義 SRID 102100 的錯誤 EPSG 權限:SRID 102100 的座標參考系統(CRS)映射現在正確使用
ESRI:102100,取代錯誤EPSG:102100的 。 此修正確保地理空間資料以正確權限儲存,以提升與其他系統的互通性。
版本 18.1
2026年4月20日
這個無伺服器運算版本大致對應 Databricks 的執行時 18.1。
新功能
Azure Synapse 的 DATETIMEOFFSET 資料類型支援:Azure Synapse 連線支援
DATETIMEOFFSET資料類型。Google BigQuery 資料表註解:Google BigQuery 資料表描述會被解析並顯示為資料表註解。
JDBC 連線:使用 JDBC 連線 ,透過 Spark Data Source API 或 Databricks 遠端查詢 SQL API 讀寫資料來源。
架構演化與 INSERT 語句:使用
WITH SCHEMA EVOLUTION帶有 SQL INSERT 語句的子句,在插入操作時自動演化目標資料表的架構。 該子句支持於INSERT INTO、INSERT OVERWRITE和INSERT INTO ... REPLACE形式。 參見 圖式演化。在操作中INSERT保留 NULL 結構值:
INSERT當來源資料表與目標資料表的結構欄位順序不同時,具有結構演化或隱式鑄造NULL的操作,保留 NULL 結構值。Delta Sharing 多語句交易支援:使用預先簽署 URL 或雲端權杖共享模式的 Delta Sharing 資料表支援多語句交易。 在交易中的首次存取時,該資料表版本會被固定,並在該交易中重新用於所有後續的讀取。 不支援時間旅行、資料饋送變更和串流。
parse_timestampSQL 函式: parse_timestamp SQL 函式用多種模式解析時間戳字串。 此函式運行於 Photon 引擎上以提升效能。max_by且min_by有可選的限制:聚合函數 max_by 和 min_by 現在接受可選的第三個參數limit(最多 100,000),回傳一個前 K 個或後 K 個值的陣列,不含視窗函數或 CTE。向量聚合與純量函數:新的 SQL 函式可操作
ARRAY<FLOAT>用於嵌入與相似度工作負載的向量,包括 vector_avg、 vector_sum、 vector_cosine_similarity、 vector_inner_product、 vector_l2_distance、 vector_norm 與 vector_normalize。 參見 內建功能。複合語句中的 SQL 游標支援:SQL 腳本複合語句現在支援游標處理。 使用 DECLARE CURSOR 定義游標,接著使用 OPEN 陳述式、 FETCH 陳述式和 CLOSE 陳述式 ,依序執行查詢並消耗列。
近似 top-k 草圖函數:新增函數可建立並組合分布式 top-K 草圖,用於分布式 top-K 聚合: approx_top_k_accumulate、 approx_top_k_combine 和 approx_top_k_estimate。 請參閱
approx_top_k聚合函數。元組草圖函數:新的元組草圖聚合與純量函數支援在鍵彙總對上的不同計數與聚合。 參見 內建功能。
新的地理空間函數:以下地理空間函數現已可用:
-
st_estimatesrid功能:估計輸入幾何體的最佳投影空間參考識別碼(SRID)。 -
st_force2d功能:將地理或幾何轉換成其二維表示。 -
st_nrings功能:計算多邊形或多邊形中環的總數,包括外部與內部環。 -
st_numpoints函數:計算地理或幾何中非空點的數量。
-
Photon 支援地理空間功能:
st_difference功能、st_intersection功能和st_union功能 現在都可在 Photon 引擎上執行,以提升效能。
行為變更
觀察指標錯誤不再導致查詢失敗:觀察指標收集過程中的錯誤不再導致查詢執行失敗。 過去,
OBSERVE子句中的錯誤(如除以零)可能會阻塞或使整個查詢失敗。 現在,查詢成功完成,當你呼叫observation.get時,錯誤會被觸發。DESCRIBE FLOW保留關鍵字:該DESCRIBE FLOW指令現在可用。 如果你有一個名為flow的表格,請使用DESCRIBE schema.flow、DESCRIBE TABLE flow,或DESCRIBE `flow`反引號。SpatialSQL 布林值集合運算:
ST_Difference、ST_Intersection和ST_Union使用新的實作,效能約快兩倍。 有效的輸入幾何形狀總是會產生結果。 結果經過正規化以保持一致輸出,且線段交叉點在小數點數第 15 位後可能因公式與操作順序不同而有所差異。SQLSTATE 的例外類型: 例外類型 已更新以支援 SQLSTATE。 如果你的程式碼是透過字串匹配來解析例外或捕捉特定例外類型,請更新你的錯誤處理邏輯。
版本 18.0
2026年2月27日
這個無伺服器運算版本大致對應 Databricks 的 Runtime 18.0。
新功能
SQL 腳本現已普遍可用: SQL 腳本 現已普遍可用。
Redshift JDBC 驅動程式升級至 2.1.0.28:Redshift JDBC 驅動程式已升級至 2.1.0.28 版本。
Unity Catalog Python UDF 共享隔離執行環境:同一擁有者擁有的 Unity Catalog Python UDF 現在預設可共享隔離環境,提升效能並減少記憶體使用。 若要確保 UDF 一律會在完全隔離的環境中執行,請新增
STRICT ISOLATION特性子句。 參見 環境隔離。度量檢視中的 SQL 視窗函式:你現在可以在度量檢視中使用 SQL 視窗函式來計算持續的總計、排名及其他基於視窗的計算。
無狀態串流查詢中的動態洗牌分割區調整:你現在可以在不重新啟動查詢的情況下更改無狀態串流查詢中的洗牌分割區數量。
無狀態串流查詢中的自適應查詢執行與自動優化洗牌:無狀態串流查詢現已支援自適應查詢執行(AQE)與自動優化洗牌(AOS)。
隨處皆可合併字串常值:將連續的字串常值(例如
'Hello' ' World'合併為'Hello World')合併的能力,已擴展至任何允許使用字串常值的地方。 請參閱STRING類型。參數標記遍布各處:你現在幾乎可以在任何能使用適當類型文字值的地方使用命名(
:param)和未命名(?)參數標記,包括 DDL 語句和欄位類型。 請參見參數標記。IDENTIFIER子句無處不在:此IDENTIFIER子句將字串鑄造成 SQL 物件名稱,已擴展至幾乎所有允許識別碼的地方,包括欄位別名與欄位定義。 請參閱 IDENTIFIER 第條款。新
BITMAP_AND_AGG函數:現在有一個新的bitmap_and_agg聚合函數可用。新的 Theta 草圖函數:一個新的函式庫,可用於使用 Datasketches Theta Sketch 進行近似不同計數與集合運算,包括 theta_sketch_agg、 theta_union_agg、 theta_intersection_agg 及相關函數。
新增 KLL Sketch 函數函式庫:現已提供用於近似分位數計算的 KLL Sketch 函式函數庫,包含 kll_sketch_agg_bigint、 kll_sketch_agg_double 及相關函數。
Apache Parquet 函式庫升級至 1.16.0: Apache Parquet 函式庫已升級至 1.16.0 版本。
新增地理空間函數:以下新增地理空間函數現已支援:
-
st_azimuth功能:回傳從第一點到第二點、以北為基準且以弧度為單位的方位角。 -
st_boundary函數:回傳輸入幾何(圖形)的邊界。 -
st_closestpoint函數:回傳第一個幾何體上點的二維投影,該點位於第二個幾何體。 -
st_geogfromewkt函式:解析地理的擴展的知名文本(EWKT)描述。 -
st_geomfromewkt函數:解析擴展知名文本(EWKT)以描述幾何形狀。
-
提升空間連接效能:現在透過引入洗牌空間連接支援,空間連接效能有所提升。
提升地理空間功能效能:光子實作現已涵蓋
st_isvalid功能、st_makeline功能和st_makepolygon功能。EWKT 輸入支援:try_to_geography、try_to_geometry、to_geography 和 to_geometry 函式現在接受 Extended Well-Known Text (EWKT) 作為輸入。
行為變更
FSCK REPAIR TABLE預設包含元資料修復:指令FSCK REPAIR TABLE現在包含一個初始的元資料修復步驟,然後再檢查遺失的資料檔案。 此指令可用於檢查點損壞或分割區值無效的資料表。按比例因子在讀取與自動最佳寫入間對齊:分割尺寸的按比例因子現在在讀取操作與自動最佳化寫入間一致使用分數值。 此變更可能導致讀取操作的任務數量有所差異。
Python UDF 執行統一於 PySpark 與 Unity Catalog:Unity Catalog Python UDF 現在使用 Apache Arrow 作為預設交換格式,提升整體效能。 作為此變更的一部分,
TIMESTAMP傳給 Python UDF 的值不再包含物件屬性中的datetimetzinfo時區資訊。 如果你的 UDF 依賴時區資訊,請使用date = date.replace(tzinfo=timezone.utc)恢復。 請參閱一次一列輸入的時間戳記時區行為。Kafka 連接器登入模組問題的錯誤訊息改善:當使用 Kafka 連接器搭配未著色的登入模組類別時,Azure Databricks 現在會顯示錯誤訊息,建議使用正確的著色類別前綴(
kafkashaded.org.apache.kafka或kafkashaded.software.amazon.msk.auth.iam)。時間旅行限制與
VACUUM保留行為:Azure Databricks 現在會阻擋所有資料表超過deletedFileRetentionDuration閾值的時間旅行查詢。VACUUM指令會忽略保留時間參數,除非值為 0 小時。 你不能設定deletedFileRetentionDuration比大logRetentionDuration,反之亦然。在 PySpark 中,
BinaryType預設會對應到bytes:在 PySpark 中,BinaryType現在一致對應到 Pythonbytes。 之前,PySpark 會根據上下文將BinaryType映射到bytes或bytearray其中之一。 要恢復舊有的行為,請設定spark.sql.execution.pyspark.binaryAsBytes為false。Parquet 檔案中的分區欄位實體化:分區 Delta 資料表現在會在新寫入的 Parquet 資料檔案中實體化分區欄位。 過去,分割區值會儲存在 Delta 交易日誌的元資料中,並反映在目錄路徑中,但不會以欄位形式寫入 Parquet 檔案本身。 此變更可能影響直接讀取由 Delta 所寫入的 Parquet 檔案的工作負載。
DESCRIBE TABLE輸出包含中繼資料欄位:輸出DESCRIBE TABLE [EXTENDED]現在包含一個新的metadata欄位,涵蓋所有資料表類型,包含以 JSON 字串定義的語意中繼資料(顯示名稱、格式及同義詞)。
無伺服器環境版本 5 現已推出
2026年2月25日
你現在可以在無伺服器筆記本和作業中使用無伺服器環境版本 5。 這包括 CPU 和 GPU 環境版本。 請參閱 環境版本 5。
版本 17.3
2025年10月28日
此無伺服器計算版本大致對應至 Databricks Runtime 17.3 LTS。
新功能
LIMIT 支援遞迴 CTE 的 ALL:你現在
LIMIT ALL可以使用帶有遞迴公共表表達式(rCTEs)的子句,明確指定不應對查詢結果施加任何資料列數限制。 請參閱 通用表格運算式 (CTE)。附加到 Unity 目錄卷中的檔案會回傳正確錯誤:嘗試附加 Unity 目錄卷中現有檔案時,現在會回傳更詳細的錯誤訊息,幫助你理解並解決問題。
st_dump函式支援:你現在可以用這個st_dump函數將幾何物件分解成其組成部分,回傳一組較簡單的幾何體。 請參閱st_dump函式。現在支援多邊形內環函數:你現在可以使用以下函數來處理多邊形內環:
-
st_numinteriorrings:取得多邊形內邊界(環)的數量。 請參閱st_numinteriorrings函式。 -
st_interiorringn:擷取多邊形的第 n 個內邊界,並將其作為線串(LineString)返回。 請參閱st_interiorringn函式。
-
EXECUTE IMMEDIATE 使用常值運算式:該
EXECUTE IMMEDIATE陳述式現在支援在查詢字串中使用常值運算式,使動態 SQL 執行更具彈性。 請參閱 EXECUTE IMMEDIATE。允許
spark.sql.files.maxPartitionBytes無伺服器運算:你現在可以在無伺服器計算中設定spark.sql.files.maxPartitionBytesSpark 設定參數,以控制讀取檔案時單一分割區中最多的位元組數。 請參閱 設定用於無伺服器筆記本與作業的 Spark 屬性。
行為變更
在 DESCRIBE EXTENDED AS JSON 中支援 MV/ST 更新資訊:此
DESCRIBE EXTENDED AS JSON指令現在包含實體化視圖與串流資料表的刷新資訊,提供最後一次刷新時間與狀態的可視性。將 metadata 欄位加入 DESCRIBE QUERY 和 DESCRIBE TABLE:
DESCRIBE QUERY和DESCRIBE TABLE指令現在在輸出中包含一個 metadata 欄位,提供關於每個欄位屬性與特性的額外資訊。刪除 NullType 欄位時正確處理 null struct 值:Azure Databricks 現在會在使用
NullType刪除欄位時,正確處理 null struct 值,防止可能發生的資料損毀或非預期行為。Parquet 中 null 結構的處理改進:本版本改進了 null struct 值在讀取與寫入 Parquet 檔案時的處理方式,確保行為更一致且正確。
升級 Kafka 的 aws-msk-iam-auth 函式庫:
aws-msk-iam-auth用於 Amazon MSK IAM 認證的函式庫已升級至最新版本,提供更佳的安全性與相容性。
版本 17.2
2025年9月25日
此無伺服器計算版本大致對應至 Databricks Runtime 17.2。
新功能
-
ST_ExteriorRing函式現已支援:你現在可以用這個ST_ExteriorRing函式提取多邊形的外部邊界,並以線串回傳。 請參閱st_exteriorring函式。
支援
TEMPORARY關鍵字以建立度量視圖:你現在可以在建立度量視圖時使用該TEMPORARY關鍵字。 暫時的指標檢視僅在建立它們的工作階段中可見,並在工作階段結束時被刪除。 請參閱 CREATE VIEW。在 S3 上為
LokiFileSystem.getFileStatus使用原生 I/O:LokiFileSystem.getFileStatus現在對 Amazon S3 流量使用原生 I/O 堆疊,並回傳org.apache.hadoop.fs.FileStatus物件而非shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus。自動載入器在
singleVariantColumn模式下推斷分割欄:自動載入器現在在使用singleVariantColumn選項以半結構化變體類型擷取資料時,會從檔案路徑推斷分割欄。 先前不會自動偵測分割區資料行。 參見 自動裝填器。
行為變更
DESCRIBE CONNECTION顯示 JDBC 連線的環境設定 :Azure Databricks 現在在輸出中包含支援自訂驅動程式且獨立運行的 JDBC 連線的使用者自訂環境設定DESCRIBE CONNECTION。 其他連線類型保持不變。受管理資料表移轉期間截斷 Uniform 歷程記錄的選項:現在,當您使用
ALTER TABLE...SET MANAGED移轉已啟用 Uniform/Iceberg 的資料表時,可以截斷 Uniform 歷程記錄。 與手動停用和重新啟用 Uniform 相比,這簡化了遷移並減少了停機時間。split在空正則表達式且為正限制時的正確結果:Azure Databricks 現在在使用split function搭配空正則表達式且為正限制時會回傳正確結果。 以前,該函數錯誤地截斷了剩餘的字串,而不是將其包含在最後一個元素中。在 Photon 中修正
url_decode與try_url_decode錯誤處理:在 Photon 中,try_url_decode()url_decode()failOnError = false現在對於無效的 URL 編碼字串會回傳NULL,而非查詢失敗。Unity Catalog Python UDTF 的共享執行環境:Azure Databricks 現在會為來自相同擁有者和 Spark 工作階段的 Python 使用者定義表格函式(UDTF) 共用執行環境。 選擇性
STRICT ISOLATION子句可用來停用具有副作用的 UDTF 共用,例如修改環境變數或執行任意程式碼。
版本 17.1
2025年8月19日
此無伺服器計算版本大致對應至 Databricks Runtime 17.1。
新功能
- Photon writer 中寬結構的記憶體使用量降低:Photon 引擎進行了強化,大幅降低寬結構的記憶體使用,解決過去導致記憶體不足錯誤的情境。
行為變更
因無效的
CHECK限制而拋出錯誤:如果CHECK限制運算式在限制驗證期間無法解析,Azure Databricks 現在會拋出AnalysisException。Pulsar 連接器不再提供 Bouncy Castle:Bouncy Castle 函式庫現在在 Pulsar 連接器中經過重新封裝,以防止類別路徑衝突。 因此,Spark 作業無法再從連接器存取
org.bouncycastle.*類別。 如果您的程式碼依賴 Bouncy Castle,請在無伺服器環境中手動安裝使用庫。自動載入器預設會使用檔案事件(如有可用):當載入路徑為已啟用檔案事件的外部位置時,自動載入器會使用檔案事件而非目錄列表。
useManagedFileEvents的預設值現在為if_available(原為false)。 這可以改善導入效能,並在尚未啟用檔案事件時記錄警告訊息。Teradata 連接器修正區分大小寫的字串比較問題:Teradata 連接器現在預設為
TMODE=ANSI,透過讓字串比較行為與 Azure Databricks 保持一致,並使其具有區分大小寫的特性。 此變更是可設定的,不會影響現有使用者,除非他們選擇加入。
無伺服器環境第 4 版
2025年8月13日
環境第 4 版現在可在您的無伺服器筆記本和任務中使用。 此環境版本包括程式庫升級和 API 更新。 請參閱 環境版本 4。
版本 17.0
2025年7月24日
此無伺服器計算版本大致對應至 Databricks Runtime 17.0。
新功能
SQL 程序支援:SQL 腳本現在可以封裝成程序,並作為可重複使用的資產儲存在 Unity Catalog 中。 您可以使用 CREATE PROCEDURE 命令建立程式,然後使用 CALL 命令加以 呼叫 。
設定 SQL 函式的預設定序:在
DEFAULT COLLATION命令中使用新的CREATE FUNCTION子句,可定義函式主體中STRING參數、回傳型別及STRING常值所使用的預設定序。遞迴共用表運算式(rCTE)支援:Azure Databricks 現在支援使用遞迴共用表運算式(rCTEs)來瀏覽階層式資料。 使用自我參考 CTE 搭配
UNION ALL來追蹤遞歸關聯性。PySpark 與 Spark Connect 現已支援 DataFrames
df.mergeIntoAPI:PySpark 與 Spark Connect 現已支援df.mergeIntoAPI。SCHEMAS 支援
ALL CATALOGSSHOW:SHOW SCHEMAS語法更新為接受ALL CATALOGS,允許您遍歷所有支援命名空間的活躍目錄。 輸出屬性現在包含一個catalog數據行,指出對應命名空間的目錄。液態叢集現在能更有效率地壓縮刪除向量:帶有液態叢集的 Delta 資料表現在能在
OPTIMIZE執行時,更有效率地將刪除向量中的實體變更套用。 如需詳細資訊,請參閱 將變更套用至 Parquet 數據檔。允許在
INSERT作業的MERGEUPDATE/ 欄位值中使用非確定性表達式:Azure Databricks 現在允許在MERGE作業中更新及插入的欄位值使用非確定性表達式。 例如,您現在可以使用 之類的rand()運算式來產生數據行的動態或隨機值。將 Delta MERGE Python API 改為回傳 DataFrame 而非 Unit:Python
MERGEAPI(例如DeltaMergeBuilder)現在也會像 SQL API 一樣回傳 DataFrame,結果相同。
行為變更
自動載入器增量目錄列表選項的行為變更:已棄用的自動載入器
cloudFiles.useIncrementalListing選項值現在設定為false的預設值。 因此,這項變更會導致 Auto Loader 每次執行時都要載入完整的目錄列表。 Databricks 建議不要使用此選項。 改為 用檔案通知模式搭配檔案事件。CREATE VIEW欄位層級子句現在會在該子句僅適用於具體化檢視時拋出錯誤CREATE VIEW:指定只適用於MATERIALIZED VIEW的欄位層級子句的指令,現在也會丟出錯誤。 受影響的子句包括NOT NULL、指定的數據類型、DEFAULT和COLUMN MASK。
無伺服器效能目標為 GA
2025 年 6 月 10 日
作業和管線的無伺服器效能設定選項現在已正式推出。
啟用 效能優化 設定時,您的工作負載會針對更快的啟動和運行時間進行優化。 停用時,無伺服器工作負載會在標準效能模式上執行,其已針對成本優化,且啟動延遲略高。
版本 16.4
2025 年 5 月 28 日
此無伺服器計算版本大致對應至 Databricks Runtime 16.4 LTS。
行為變更
修正尊重資料來源快取計畫的選項:此更新確保快取時,表格讀取會尊重所有資料來源計畫設定的選項,而非僅僅是第一次快取的資料表讀取。 先前,資料來源表在讀取時會快取第一個方案,但無法考慮到後續查詢中的不同選項。
啟用旗標以要求 MERGE 操作進行來源資料具現化:過去,使用者可透過將
merge.materializeSource設為none來關閉 MERGE 中的來源資料具現化。 當啟用新旗標時,來源實現總是必須,若嘗試停用將導致錯誤。 Databricks 計劃只針對先前未變更此設定的客戶啟用此旗標,因此大多數使用者不應該遇到任何行為變更。
新功能
自動載入器現在可以清理來源目錄中已處理的檔案:你現在可以指示自動載入器自動移動或刪除已處理的檔案。 選擇使用
cloudFiles.cleanSource自動載入選項以啟用此功能。 參見Common,在cloudFiles.cleanSource之下。新增從 Delta 資料表串流的型別擴展支援:本版本新增了對從具有型別擴展欄位資料的 Delta 資料表進行串流的支援,以及對使用 Databricks-to-Databricks Delta Sharing 共享已啟用型別擴展的 Delta 資料表的支援。 類型擴大功能目前處於公開預覽狀態。 請參閱類型擴展。
IDENTIFIER DBSQL 現已支援目錄作業支援:您現在可以在執行以下目錄作業時使用此
IDENTIFIER條款:CREATE CATALOGDROP CATALOGCOMMENT ON CATALOGALTER CATALOG
這個新語法可讓您使用針對這些作業定義的參數,動態指定目錄名稱,讓SQL工作流程更具彈性且可重複使用。 作為語法的範例,請考慮
CREATE CATALOG IDENTIFIER(:param)whereparam是提供來指定目錄名稱的參數。 請參閱 IDENTIFIER 第條款。彙整表達式現在提供自動產生的暫態別名:彙整表達式的自動產生別名現在能確定性地包含
COLLATE資訊。 自動產生的別名是暫時性的(不穩定),不應依賴。 相反地,最佳做法是一致且明確地使用expression AS alias。新增對 Python 資料來源的過濾推送 API 支援:無伺服器運算現在支援將濾波推送至 Python 資料來源批次讀取,類似
SupportsPushDownFilters介面。 請參閱 16.4 LTS 版本資訊。Python UDF 回溯改進:Python UDF 回溯現在包含驅動程式與執行器及用戶端框架的框架,產生更佳錯誤訊息,顯示更詳細且相關的細節(例如 UDF 內部框架的行內容)。
在檢視中進行 UNION/EXCEPT/INTERSECT 的查詢,EXECUTE IMMEDIATE現在回傳正確的結果:查詢具有頂層
UNION//EXCEPTINTERSECT以及未別名欄位的臨時與持久視圖定義,過去INTERSECTUNION/EXCEPT/因關鍵字被視為別名而回傳錯誤結果。 現在,這些查詢會正確地執行整個集合作業。資料來源快取計畫組合與遷移指南:從檔案來源表讀取時,會正確遵守查詢選項(例如分隔符)。 先前,系統會快取第一個查詢計劃,並忽略後續的選項變更。 若要還原先前的行為,請將
spark.sql.legacy.readFileSourceTableCacheIgnoreOptions設定為true。新增
listagg與string_agg函式:從此版本開始,你可以使用string_agg或listagg函式來彙整群組內的STRING和BINARY值。 參見 string_agg。
效能模式現在可在無伺服器作業上設定
2025年4月14日
您現在可以使用 [作業詳細數據] 頁面中的 [ 效能優化 ] 設定,選取無伺服器作業的效能模式。 先前,所有無伺服器作業都已優化效能。 現在,您可以停用 效能優化 設定,以在標準效能模式上執行工作負載。 標準效能模式的設計目的是要降低可接受略高啟動延遲的工作負載成本。
連續管線、使用 runs/submit 端點建立的一次性執行,或 SQL 倉儲作業工作不支援標準效能模式,包括具體化檢視。
如需效能模式的詳細資訊,請參閱 選取效能模式。
版本 16.3
2025 年 4 月 9 日
此無伺服器計算版本大致對應至 Databricks Runtime 16.3。
行為變更
-
*當被指派為無效值時
kafka.sasl.client.callback.handler.class,錯誤訊息會改善:本版本包含變更,當被指派為無效值時kafka.sasl.client.callback.handler.class,會回傳更具描述性的錯誤訊息。
新功能
狀態讀取器支援正式推出:結構化串流查詢的狀態資訊讀取支援現已在無伺服器運算平台上普遍提供。 請參閱 讀取結構化串流狀態資訊。
Delta 表格協定降級為帶有檢查點保護的 GA:
DROP FEATURE通常可用來移除 Delta Lake 表格功能並降級表格協定。 根據預設,DROP FEATURE現在會建立受保護的檢查點,以取得更優化且簡化的降級體驗,而不需要任何等候時間或歷程記錄截斷。 請參閱 卸除 Delta Lake 數據表功能和降級數據表通訊協定。基於 ANSI SQL/PSM(公開預覽)撰寫程序式 SQL 腳本:你現在可以使用基於 ANSI SQL/PSM 的腳本功能,撰寫包含控制流程語句、本地變數及異常處理的程序邏輯。 請參閱 SQL 腳本。
表格與視圖層級預設彙整:你現在可以為表格和檢視指定預設彙整。 這可簡化數據表和檢視的建立,其中所有數據行或大部分數據行共用相同的定序。 請參閱 排序。
新增 H3 函數:新增三個 H3 函數: h3_try_coverash3、 h3_try_coverash3string 和 h3_try_tessellateaswkb。
在一個 ALTER TABLE 語句中修改多個資料表欄位:你現在可以在單一
ALTER TABLE語句中修改多個欄位。 請參閱 ALTER TABLE ... COLUMN 子句。
版本 16.2
2025 年 3 月 13 日
此無伺服器計算版本大致對應至 Databricks Runtime 16.2。
行為變更
在 Delta Sharing 中,表格歷史記錄預設為啟用:使用 SQL 指令
ALTER SHARE <share> ADD TABLE <table>建立的共享項目現在預設已啟用歷史記錄共享(WITH HISTORY)。 請參閱 ALTER SHARE。憑證 SQL 陳述式在憑證類型不符時會回傳錯誤:如果憑證管理 SQL 陳述式中指定的憑證類型與憑證參數的類型不符,則會回傳錯誤,該陳述不會執行。
新功能
在產生的欄位表達式中使用
timestampdiff×tampadd你 現在可以在 Delta Lake 產生的欄位表達式中使用 timestampdiff 和 timestampadd 函式。 請參閱 Delta Lake 產生的數據行。DESCRIBE TABLE更新會以結構化 JSON 傳回中繼資料:你現在可以使用DESCRIBE TABLE AS JSON指令,將資料表中繼資料以 JSON 文件傳回。 JSON 輸出的結構比預設的人類可讀取報表更結構化,而且可用來以程式設計方式解譯數據表的架構。 若要深入瞭解,請參閱 DESCRIBE TABLE AS JSON。尾置空白不敏感彙整:Serverless 現在支援尾置空白不敏感彙整。 例如,這些定序會將
'Hello'和'Hello '視為相等。 若要深入瞭解,請參閱 RTRIM 定序。
錯誤修正
-
改良的增量複製處理:本版本修正了一種邊緣情況,即增量
CLONE複製可能再次將已從來源資料表複製到目標資料表的檔案複製到目標資料表。 請參閱 在 Azure Databricks 上複製數據表。
無伺服器筆記本上可用的高記憶體設定 (公開預覽)
2025年2月7日
您現在可以為無伺服器計算筆記本工作負載設定較高的記憶體大小。 此設定可以同時套用至互動式和排程的筆記本工作負載。
具有高記憶體的無伺服器使用量具有比標準記憶體更高的 DBU 排放率。
如需詳細資訊,請參閱 使用高記憶體無伺服器計算。
版本 16.1
2025年2月5日
此無伺服器計算版本大致對應至 Databricks Runtime 16.0 和 Databricks Runtime 16.1。
新功能
-
Avro 對遞迴結構的支援: 你現在
recursiveFieldMaxDepth可以使用這個選項,包含from_avro函式和avro資料來源。 此選項會設定 Avro 數據源上架構遞歸的最大深度。 請參閱 讀取和寫入串流 Avro 數據。 - 擴大對 Confluent Schema Registry for Avro 的支援: 無伺服器現在支援使用 Confluent Schema Registry 的 Avro 結構描述參照。 請參閱 向外部 Confluent 架構登錄進行驗證。
-
強制對已啟用 liquid clustering 的表格重新叢集: 你現在可以使用
OPTIMIZE FULL語法,強制對已啟用 liquid clustering 的表格中的所有記錄重新叢集。 參見 「力再聚」。 - Python 的 Delta API 現在支援身份欄位:你現在可以使用 Python 的 Delta API 建立帶有身份欄位的資料表。 請參見 身份欄位。
-
在串流寫入時建立液態叢集資料表:你現在
clusterBy可以在用結構化串流寫入建立新資料表時啟用液態叢集。 請參閱 啟用液體群集。 - 支援 OPTIMIZE FULL 子句: 無伺服器運算現在支援 OPTIMIZE FULL 子句。 此子句會將使用液體群集之數據表中的所有記錄優化,包括先前可能已叢集的數據。
-
支援在 INSERT 和資料表參考中指定 WITH 選項:無伺服器運算現在支援資料表參考以及 陳述式之資料表名稱的
INSERT,可用來控制資料來源的行為。 -
新增 SQL 函式: 以下 SQL 函式現已可在無伺服器運算中提供:
- try_url_decode 是 url_decode的容錯版本。
-
zeroifnull()函數會在傳遞給函數的輸入表達式為NULL時回傳 0。 -
nullifzero 會在輸入為 0 時回傳
NULL,若輸入不為 0,則回傳其輸入值。 - DayName(expr) 回傳該日期星期幾的三字母英文縮寫。
- uniform(expr1, expr2 [,seed]) 回傳一個隨機值,該值在指定數值範圍內彼此獨立且同分布。
-
randstr(length) 回傳一個由
length個英數字元組成的隨機字串。
-
在將資料合併到 Delta 表格時啟用自動結構演化: 已新增對
withSchemaEvolution()類別成員DeltaMergeBuilder的支援。 使用withSchemaEvolution()啟用在MERGE作業期間的自動架構演進。 例如:mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}。 -
Apache Spark 對定序的支援現已進入公開預覽:你現在可以將具備語言感知、不區分大小寫及不區分重音的定序指派給
STRING欄位和運算式。 這些定序用於字串比較、排序、群組作業和許多字串函式。 請參閱 排序。 - Delta Lake 中對定序的支援已進入公開預覽階段: 你現在可以在建立或修改 Delta 資料表時,為欄位定義定序。 請參閱 Delta Lake 的排序支援。
-
用於 vacuum 的
LITE模式目前為公開預覽: 你現在可以使用VACUUM table_name LITE執行更輕量的真空操作,利用 Delta 交易日誌中的中繼資料。 參見 全模式與輕量模式 及 VACUUM。 -
支援參數化
USE CATALOG with IDENTIFIER子句:IDENTIFIER 子句 現在已支援用於 USE CATALOG 陳述式。 透過這項支援,您可以根據字串變數或參數標記來參數化目前目錄。 - COMMENT ON COLUMN 支援資料表與檢視: 該 COMMENT ON 聲明現在支援修改檢視與資料表欄位的註解。
- 更多函式的命名參數調用: 以下函式支援 命名參數調用:
-
Hive metastore 支援 REPAIR TABLE 指令的
SYNC METADATA參數:你現在可以搭配REPAIR TABLE指令使用SYNC METADATA參數,更新 Hive metastore 管理資料表的中繼資料。 請參閱 REPAIR TABLE。 -
壓縮 Apache Arrow 批次的資料完整性提升: 為了進一步防止資料損壞,每個
LZ4壓縮 Arrow 批次現在都包含LZ4內容與區塊校驗和。 請參閱 LZ4 框架格式描述。
-
內建 Oracle JDBC 驅動程式: 無伺服器運算現在內建了 Oracle JDBC 驅動程式。 如果您透過
DriverManager使用客戶上傳的 JDBC 驅動程式 JAR,您必須重寫腳本以明確使用自訂 JAR。 否則會使用內建驅動程式。 此驅動程式僅支援 Lakehouse 同盟。 針對其他使用案例,您必須自行提供驅動程式。 -
對於使用路徑存取的 Delta 資料表,更詳細的錯誤:現在已提供針對透過路徑存取的 Delta 資料表的新錯誤訊息體驗。 所有例外狀況現在都會轉送給使用者。 現在將會保留例外
DELTA_MISSING_DELTA_TABLE,僅用於當基礎檔案無法讀取為 Delta 表格的情況。
行為變更
- 重大變更:託管 RStudio 終止支援:此版本中,Databricks 託管的 RStudio Server 終止支援,且無法在任何運行於無伺服器運算的 Azure Databricks 工作空間上使用。 若要深入瞭解並查看 RStudio 的替代方案清單,請參閱 連線到 Databricks 裝載的 RStudio 伺服器。
重大變更:移除將
byte、short、int和long類型變更為較寬類型的支援:為確保 Delta 與 Apache Iceberg 資料表間行為一致,以下資料型別變更不再適用於啟用 型別擴大 功能的資料表:-
byte、short、int和long到decimal。 -
byte、short,以及int到double。
-
在巢狀字元群組中正確解析帶有否定的正則表達式模式: 本版本包含一項變更,以支援巢狀字元群組中正則表達式模式的正確解析與否定。 例如,
[^[abc]]會剖析為「任何不是 『abc』 字元」的字元。此外,Photon 的行為在巢狀字元類別中與 Spark 不一致。 包含巢狀字元類別的 Regex 模式將不再使用 Photon,而是使用 Spark。 巢狀字元類別是包含方括弧內方括弧的任何模式,例如
[[a-c][1-3]]。提升 Delta Lake
MERGE中的重複匹配偵測:MERGE現在考慮條款中WHEN MATCHED指定的條件。 請參閱合併 Upsert 到 Delta Lake 表中 。addArtifact()功能現在在不同運算類型間保持一致:當你使用addArtifact(archive = True)為無伺服器運算新增相依時,壓縮檔會自動解壓。
錯誤修正
- 時區偏移現在序列化為 CSV、JSON 和 XML 時會包含秒數:包含秒數的時間戳(1900 年前時間戳常見)在序列化為 CSV、JSON 和 XML 時,會省略秒數。 已修正預設時間戳格式器,現在會傳回這些時間戳的正確位移值。
其他變更
-
已重新命名
cloudFiles結構化串流來源的錯誤代碼: 以下錯誤代碼已重新命名:-
_LEGACY_ERROR_TEMP_DBR_0143被重新命名為CF_INCORRECT_STREAM_USAGE。 -
_LEGACY_ERROR_TEMP_DBR_0260被重新命名為CF_INCORRECT_BATCH_USAGE。
-
版本 15.4
2024年10月28日
此無伺服器計算版本大致對應至 Databricks Runtime 15.4
新功能
-
UTF-8 驗證函式:本版本引入以下用於驗證 UTF-8 字串的函式:
- is_valid_utf8 驗證字串是否為有效的 UTF-8 字串。
- make_valid_utf8 會利用替換字元將可能無效的 UTF-8 字串轉換為有效的 UTF-8 字串。
- validate_utf8 輸入若非有效的 UTF-8 字串,則會產生錯誤。
-
try_validate_utf8 如果輸入不是有效的 UTF-8 字串,則會回傳
NULL。
- 啟用 UniForm Iceberg ALTER TABLE使用: 您現在可以在現有資料表上啟用 UniForm Iceberg,無需重寫資料檔案。 請參閱「現有資料表」。
-
try_url_decode函式: 本版本引入了 try_url_decode 函式,可解碼 URL 編碼的字串。 如果字串的格式不正確,函式會傳回
NULL而不是引發錯誤。 -
可選擇允許最佳化工具依賴未強制執行的外鍵限制式:為了提升查詢效能,現在你可以在
RELY或FOREIGN KEY資料表時,於外鍵限制式上指定關鍵字。 -
選擇性覆寫的工作可平行執行:使用
replaceWhere的選擇性覆寫現在會平行執行刪除資料並插入新資料的作業,提升查詢效能與叢集利用率。 -
含有變更資料摘要之表格的選擇性覆寫效能提升: 在含有變更資料摘要的表格上使用
replaceWhere進行選擇性覆寫時,不再為插入的資料寫入獨立的變更資料檔。 這些作業會使用基礎 Parquet 資料檔中存在的隱藏_change_type資料行來記錄變更,而不需引起寫入放大的問題。 -
改善
COPY INTO指令的查詢延遲: 本版本包含一項變更,可改善COPY INTO指令的查詢延遲。 本次改善是藉由讓 RocksDB 狀態儲存區以非同步方式載入狀態所實施。 藉由這項變更,您應該會看到具有大型狀態的查詢在開始時間方面有所改善,例如具有大量已吸收檔案的查詢。 -
支援移除檢查約束資料表功能:你現在可以使用
checkConstraints從 Delta 表中移除ALTER TABLE table_name DROP FEATURE checkConstraints表功能。 參見「移除檢查約束」。
行為變更
視圖的結構綁定變更: 當視圖底層查詢資料型別與創建時不同時,Databricks 不再在無法執行安全投射時拋出錯誤。
相反地,檢視會盡可能使用一般類型轉換規則來補償。 這項變更可讓 Databricks 更輕易地容忍數據表架構變更。
禁止在布林邏輯之外容忍未記錄的
!作為NOT的語法:Databricks 將不再容忍在布林邏輯之外將!作為NOT的同義詞使用。 這項變更可減少混淆、與 SQL 標準一致,並讓 SQL 更具可攜性。 例如:CREATE ... IF ! EXISTS、IS ! NULL、! NULL資料欄或欄位屬性、! IN以及! BETWEEN 必須替換為:CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL欄或欄位屬性、NOT IN和NOT BETWEEN。布爾前置詞運算子
!(例如!is_mgr或!(true AND false)) 不受這項變更影響。禁止檢視表中未文件化或未處理的欄位定義語法部分: Databricks 支援 CREATE VIEW 命名欄位與欄位註解。
在語法中容許列類型、
NOT NULL約束條件或DEFAULT的規格,但是無實際效果。 Databricks 會移除此語法容忍。 這樣做可減少混淆、與 SQL 標準一致,並允許未來的增強功能。Spark 與 Photon 中 Base64 解碼的一致錯誤處理: 本版本改變了 Photon 處理 Base64 解碼錯誤的方式,以匹配 Spark 對這些錯誤的處理方式。 在這些變更之前,Photon 和 Spark 的代碼生成路徑有時無法引發剖析異常,而 Spark 的解譯執行則能正確引發
IllegalArgumentException或ConversionInvalidInputError。 此更新確保 Photon 在 Base64 解碼錯誤時,能夠始終引發與 Spark 相同的例外,因此提供更具可預測性和可靠性的錯誤處理。現在在無效欄位上新增
CHECK限制條件時,會傳回 UNRESOLVED_COLUMN.WITH_SUGGESTION 錯誤類別:為了提供更實用的錯誤訊息,在 Databricks Runtime 15.3 及以上版本中,包含CHECK限制條件且參照無效欄位名稱的ALTER TABLE ADD CONSTRAINT陳述式,會傳回 UNRESOLVED_COLUMN.WITH_SUGGESTION 錯誤類別。 先前已傳回INTERNAL_ERROR。
JDK 從 JDK 8 升級至 JDK 17
2024年8月15日
筆記本和工作流程的無伺服器計算已從伺服器端的 Java 開發工具包 (JDK) 8 移轉至 JDK 17。 此升級包含下列行為變更:
在巢狀字元群組中正確解析帶有否定的正則表達式模式:透過這次升級,Azure Databricks 現在支援在巢狀字元群組中正確解析帶有否定的正則表達式模式。 例如,
[^[abc]]會剖析為「任何不是 『abc』 字元」的字元。此外,Photon 的行為在巢狀字元類別中與 Spark 不一致。 包含巢狀字元類別的 Regex 模式將不再使用 Photon,而是使用 Spark。 巢狀字元類別是包含方括弧內方括弧的任何模式,例如
[[a-c][1-3]]。
版本 15.1
2024 年 7 月 23 日
此無伺服器計算版本大致對應至 Databricks Runtime 15.1
新功能
在 WHERE 子句中支援星號(*)語法:你現在可以在 * 子句中使用星號(WHERE)語法,從 SELECT 清單參考所有欄位。
例如: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*) 。
Changes
改進 JSON 解析錯誤恢復:用於 from_json() JSON 路徑表達式的 JSON 解析器現在能更快從語法錯誤中恢復,減少資料遺失。
在結構欄位、陣列值、對應索引鍵或對應值中遇到格式不正確的 JSON 語法時,JSON 剖析器現在只會針對無法讀取的欄位、索引鍵或元素傳回 NULL 。 後續欄位、鍵值或元素將會正確剖析。 在此變更之前,JSON 剖析器放棄剖析陣列、結構或映射,並傳回 NULL 作為剩餘內容。
版本 14.3
2024年4月15日
這是初始無伺服器計算版本。 此版本大致對應至 Databricks Runtime 14.3 ,並進行了一些修改,可移除某些非無伺服器和舊版功能的支援。
支援的 Spark 配置參數
為了自動設定無伺服器計算上的Spark,Azure Databricks 已移除手動設定大部分Spark組態的支援。 若要檢視支援的Spark組態參數清單,請參閱 設定無伺服器筆記本和作業的Spark屬性。
如果您設定不支援的 Spark 組態,在無伺服器計算上執行作業將會失敗。
input_file函式已被取代
input_file_name()、input_file_block_length()和input_file_block_start() 函式已被取代。 強烈建議您不要使用這些函式。
請改用 檔案元數據數據行 來擷取檔案元數據資訊。
行為變更
無伺服器計算 2024.15 版包含下列行為變更:
-
unhex(hexStr) 錯誤修正: 使用該
unhex(hexStr)函式時,hexStr 總是會在左側填充至整位元組。 先前 unhex 函式忽略了前半位元組。 例如:unhex('ABC')現在會產生x'0ABC'而不是x'BC'。 - 自動產生的欄位別名現在是穩定的: 當表達式的結果在沒有使用者指定的欄位別名的情況下被參考時,這個自動產生的別名現在會變得穩定。 新的演算法可能會導致先前自動產生的名稱發生變更,例如實體化檢視等功能。
-
帶有
CHAR型別欄位的表格掃描現在一律會補齊: Delta 表格、某些 JDBC 表格及外部資料來源會以非填充形式儲存 CHAR 資料。 讀取時,Azure Databricks 現在會在數據資料後填補空格以達到宣告的長度,從而確保語意的正確性。 -
從 BIGINT/DECIMAL 到 TIMESTAMP 的 cast 會拋出異常,因為值溢出:Azure Databricks 允許將 BIGINT 和 DECIMAL 轉換為 TIMESTAMP,方法是將該值視為 Unix 紀元的秒數。 先前,Azure Databricks 會傳回溢位的值,但現在會在溢位的情況下擲回例外狀況。 使用
try_cast傳回 NULL,而不是例外狀況。 -
PySpark UDF 的執行已改進,使其在專用計算中與 UDF 執行的行為完全一致: 以下變更已進行:
- 具有字串傳回類型的UDF不再隱含地將非字串值轉換成字串。 先前,具有傳回型別的
strUDF 會將包裝函式套用str(..)至結果,而不論傳回值的實際數據類型為何。 - 具有
timestamp傳回類型的 UDF 不再隱含地將時區轉換套用至時間戳。
- 具有字串傳回類型的UDF不再隱含地將非字串值轉換成字串。 先前,具有傳回型別的