本頁概述專用運算的需求和限制。 大多數專用計算限制都取決於運行時間,因為功能支援已隨著時間的推移而新增。
這很重要
Init 指令碼和程式庫在存取模式和 Databricks 執行時間版本之間有不同的支援。 請參閱 init 腳本可以安裝在哪裡? 和 計算範圍程式庫。
指派給群組的專用運算有其他限制。 請參閱 群組存取限制。
細粒度的存取控制支援
精細存取控制在專用運算環境中受到支援,但需符合某些要求:
- 您的工作區必須啟用無伺服器運算。
- Databricks Runtime 15.4 LTS 和更新版本支援讀取作業。
- Databricks Runtime 16.3 和更新版本支援寫入作業。 請參閱 DDL、SHOW、DESCRIBE 和其他命令的支援。
- 如果您的工作空間部署時已部署防火牆或有出站網路限制,您必須開啟 8443-8451 埠,才能在專用運算上啟用細緻的存取控制。 請參閱<在 Azure 虛擬網路 (VNet 插入) 中部署 Azure Databricks>。
如果您的專用計算是在 Databricks Runtime 15.3 或更低版本上執行:
專用運算的串流與實體化檢視需求
- 若要查詢另一位使用者使用 Lakeflow pipelines 建立的資料表,包括串流資料表和 materialized view,你的工作區必須啟用無伺服器運算,且專用運算必須在 Databricks Runtime 15.4 或以上。 請參見 使用獨立串流表 與 使用獨立實體化視圖。
- Databricks Runtime 12.2 LTS 和更新版本支援非同步檢查點功能。
- Databricks Runtime 15.1 和更新版本支援使用
StreamingQueryListener來與 Unity Catalog(統一目錄)所管理的物件進行互動。 - Python
foreachBatch不支援ThreadPoolExecutor或多執行緒執行。 多執行緒執行可能不會丟出錯誤,但可能導致資料損壞或結果不一致。
檢視表結構演化的限制
在專用運算模式下查詢 Unity 目錄檢視SCHEMA TYPE EVOLUTIONSCHEMA EVOLUTION有以下限制:
- 如果非該檢視的使用者查詢該檢視,當需要更新儲存的檢視結構時,查詢可能會失敗。
- 關於解決方法,請參閱 CREATE VIEW 中的
schema_binding參數。
Spark API 限制
- 若要讀取 Unity Catalog 磁碟區或外部位置中的資料,請使用 DataFrame API,例如
spark.read。 基於 RDD 的檔案 API 不支援這些路徑,包括sc.textFile、sc.wholeTextFiles、sc.binaryFiles、sc.hadoopFile、sc.binaryRecords、sc.sequenceFile和sc.newAPIHadoopFile。 請參閱限制。 -
sc.setCheckpointDir支援 Unity Catalog 磁碟區路徑,但不支援外部位置。 詳見 磁碟區中的 DataFrame 檢查站。
用戶定義函式
- Unity Catalog Python UDF 不支援專用運算資源。 可以使用無伺服器運算、標準存取模式運算、無伺服器或專業 SQL 倉庫,或 Lakeflow 管線來執行 Unity Catalog Python UDF。 請參閱 Unity 目錄中的 SQL 與 Python 使用者定義函式(UDF)。