專用運算需求和限制

本頁概述專用運算的需求和限制。 大多數專用計算限制都取決於運行時間,因為功能支援已隨著時間的推移而新增。

這很重要

Init 指令碼和程式庫在存取模式和 Databricks 執行時間版本之間有不同的支援。 請參閱 init 腳本可以安裝在哪裡? 和 計算範圍程式庫。

指派給群組的專用運算有其他限制。 請參閱 群組存取限制。

細粒度的存取控制支援

精細存取控制在專用運算環境中受到支援,但需符合某些要求:

  • 您的工作區必須啟用無伺服器運算。
  • Databricks Runtime 15.4 LTS 和更新版本支援讀取作業。
  • Databricks Runtime 16.3 和更新版本支援寫入作業。 請參閱 DDL、SHOW、DESCRIBE 和其他命令的支援。

如果您的專用計算是在 Databricks Runtime 15.3 或更低版本上執行:

  • 您無法存取具有 資料列篩選或資料行遮罩的數據表。
  • 您無法存取 動態檢視。
  • 若要從任何檢視中讀取,您必須在檢視所參考的所有數據表和檢視上擁有 SELECT 權限。

專用運算的串流與實體化檢視需求

  • 若要查詢另一位使用者使用 Lakeflow pipelines 建立的資料表,包括串流資料表和 materialized view,你的工作區必須啟用無伺服器運算,且專用運算必須在 Databricks Runtime 15.4 或以上。 請參見 使用獨立串流表 與 使用獨立實體化視圖。
  • Databricks Runtime 12.2 LTS 和更新版本支援非同步檢查點功能。
  • Databricks Runtime 15.1 和更新版本支援使用 StreamingQueryListener 來與 Unity Catalog(統一目錄)所管理的物件進行互動。
  • Python foreachBatch 不支援 ThreadPoolExecutor 或多執行緒執行。 多執行緒執行可能不會丟出錯誤,但可能導致資料損壞或結果不一致。

檢視表結構演化的限制

在專用運算模式下查詢 Unity 目錄檢視SCHEMA TYPE EVOLUTIONSCHEMA EVOLUTION有以下限制:

  • 如果非該檢視的使用者查詢該檢視,當需要更新儲存的檢視結構時,查詢可能會失敗。
  • 關於解決方法,請參閱 CREATE VIEW 中的 schema_binding 參數。

Spark API 限制

  • 若要讀取 Unity Catalog 磁碟區或外部位置中的資料,請使用 DataFrame API,例如 spark.read。 基於 RDD 的檔案 API 不支援這些路徑,包括 sc.textFile、sc.wholeTextFiles、sc.binaryFiles、sc.hadoopFile、sc.binaryRecords、sc.sequenceFile 和 sc.newAPIHadoopFile。 請參閱限制。
  • sc.setCheckpointDir 支援 Unity Catalog 磁碟區路徑,但不支援外部位置。 詳見 磁碟區中的 DataFrame 檢查站。

用戶定義函式