無伺服器計算限制

在將筆記本或作業移至無伺服器運算之前,請先檢查支援的語言與 API、資料存取需求、使用者定義函式限制、網路規則及快取需求。

語言與 API 支援

  • 不支援 R。
  • 只支援 Spark Connect API。 不支援 Spark RDD API。
  • 無伺服器運算所使用的 Spark Connect 會將分析和名稱解析延遲到執行時間,這可能會變更程式碼的行為。 請參閱 比較 Spark Connect 與 Spark Classic。
  • ANSI 模式預設已啟用。 無效的型別轉換、算術溢位和錯誤的輸入會引發執行時錯誤,而非靜默回傳 NULL 或錯誤結果。 關於如何處理改變行為的操作以及選擇退出的限制,請參閱遷移指南中的 SQL 行為差異章節 。
  • 預設的會話時區為 Etc/UTC (協調世界時)。 若要使用不同的時區,請設定 spark.sql.session.timeZone。 請參閱 設定用於無伺服器筆記本與作業的 Spark 屬性。
  • 使用 spark.createDataFrame從本機資料建立 DataFrame 時,資料列大小不能超過 128MB。

資料存取與儲存

  • 您必須使用 Unity 目錄來連線到外部資料來源。 使用外部位置來存取雲端儲存體。
  • DBFS的存取有限。 改用 Unity Catalog 卷或工作區檔案。
  • 筆記本和工作任務的工作目錄不一定固定,因此相對檔案路徑和相對 Python 匯入可能會失敗。 使用絕對路徑來參考檔案,並將共享的 Python 程式碼匯入為工作區檔案,而非相對模組。 請參見 Python 和 R 模組的工作。
  • 不支援 Maven 座標。
  • 不支援全域暫存視圖。 使用 工作階段暫存檢視 來處理用於單一工作階段內使用的結果。 若要在不同工作階段間共享計算結果,請將它們寫入 Unity Catalog 資料表。

使用者定義函數(UDF)

  • Unity Catalog Python UDF 在無伺服器筆記本與工作中支援外發網路存取,但須遵守工作區網路政策與 UDF 網路限制。 CREATE FUNCTION(外部)指令不受支援。 Databricks 建議使用 CREATE FUNCTION (SQL 和 Python) 來建立受支援的 UDF。
  • PySpark UDF 在無伺服器運算環境中於隔離的沙箱內執行,每個沙箱的預設記憶體限制為 1 GiB(1024 MiB)。 Databricks 負責管理此限制。 使用者無法設定它。
  • Scala UDF 無法用於 高階函式中。

使用者介面與日誌

  • 目前無法使用 Spark UI。 請改用查詢設定檔來檢視 Spark 查詢的相關資訊。 參閱查詢設定檔
  • Spark 日誌無法使用。 使用者只能存取用戶端應用程式記錄。

網路與工作空間訪問權限

  • 跨工作區存取取決於來源工作區的出口規則以及目的工作區的入口規則。 跨工作區存取 Beta 支援設定允許的工作區配對。 使用相容模式的工作區會保留其既有的網路限制。 請參閱 「跨工作空間存取」 以了解需求與服務特定限制。
  • Databricks 容器服務 不被支援。
  • 無伺服器運算無法連接到只能透過 IPv6 存取的資源。 資源必須能透過 IPv4 存取。

串流限制

筆記本與作業的無伺服器計算支援以下 結構化串流觸發程序:

  • Trigger.AvailableNow()。 Databricks 推薦此觸發模式用於無伺服器運算。
  • Trigger.Once()。 此已淘汰模式雖支援,但不建議使用。

以下觸發器不支援無伺服器筆記本或工作:

  • Trigger.Continuous(interval)。
  • Trigger.ProcessingTime(interval)。
    • 預設情況下,如果你沒有指定觸發模式,Apache Spark 會將觸發器設定為 Trigger.ProcessingTime("0 seconds")。 你必須在無伺服器計算上設定支援的觸發條件。

如果你嘗試使用不支援的觸發器,查詢會產生錯誤 INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED。

這些觸發限制不適用於以該處理模式運作的 Lakeflow 管線。 對於連續串流工作負載,可以在連續模式中使用無伺服器管線,或在Trigger.AvailableNow()中使用。 Lakeflow 管線的即時模式支援亞秒級的作業負載,並符合特定的執行時、來源、匯及操作員需求。

關於將串流使用案例映射到正確無伺服器產品的決策指南,請參見 「無伺服器運算上的串流」。

標準存取模式上串流的所有限制也適用。 請參閱串流限制。

筆記本限制

  • 筆記本不支援 Scala 和 R。
  • 筆記本不支援 JAR 程式庫。 如需因應措施,請參閱無伺服器計算的最佳做法 (機器翻譯)。 支援工作中的 JAR 作業。 請參閱JAR 相關工作任務。
  • 在筆記型電腦工作階段中安裝的 %pip 函式庫必須在新的工作階段中重新安裝。 在 環境 窗格中設定的相依賴性使用無伺服器環境快取。 請參閱 將相依性新增至筆記本。
  • 在用戶間共用記事本時,不支援 TEMP 資料表和檢視的共享功能。
  • 不支援筆記本中資料框架的自動完成與變數總管。
  • 根據預設,新的筆記本會以 .ipynb 格式儲存。 如果您的筆記本以來源格式儲存,則無法正確擷取無伺服器元數據,而且某些功能可能無法如預期般運作。
  • 不支援筆記本標籤。 使用 無伺服器使用政策 來標記無伺服器使用情況。

工作限制

  • 工作執行頁面上顯示的任務日誌並非每個任務執行時隔離,而是包含多個任務的輸出。 若要將應用程式日誌傳送到依任務執行分類的目錄中的磁碟區,請參見「將無伺服器日誌送至 Unity Catalog 磁碟區」。
  • 筆記本任務不支援任務程式庫。 請改用限於筆記本的程式庫。 請參見 Notebook-scoped Python libraries。
  • 根據預設,無伺服器作業沒有查詢執行逾時。 您可以使用屬性 spark.databricks.execution.timeout 來設定工作查詢的執行逾時。 如需詳細資訊,請參閱 設定無伺服器筆記本和作業的Spark屬性。
  • 無伺服器運算的最大執行時間為 7 天。 執行時間超過 7 天的作業會由平台終止,且不會重新嘗試。 要執行超過 7 天的工作負載,可以將它們拆分成較小的執行,或使用經典運算。

計算相關的特定限制

不支援下列計算特定功能:

快取限制

  • 元資料會快取在無伺服器的運算會話中。 因此,切換目錄時,會話上下文可能無法完全重置。 要清除會話上下文,請重設無伺服器運算資源或啟動新會話。
  • df.cache()、和df.persist()在啟用df.unpersist()公開預覽時,於無伺服器環境第 5 版及以上版本中受到支援。 在啟用合規安全性設定檔的工作區中,預覽版無法使用。 請參閱 需求,以了解啟用與用戶端需求。
  • 以下快取 API 與 SQL 指令不支援在無伺服器運算上使用。 使用這些 API 或 SQL 指令都會產生例外。
  • Spark ML 模型快取每個會話限制為 1 GB(1073741824 位元組),單一模型限制為 100 MB。 這兩個限制在無伺服器運算中都低於經典運算,且兩者都無法更改。 超過工作階段限制會引發 ML_CACHE_SIZE_OVERFLOW_EXCEPTION。 若超過每個模型的限制,會引發 MODEL_SIZE_OVERFLOW_EXCEPTION。 若要釋放快取空間,請刪除 Python 中對不再使用之模型的參照。 未使用15分鐘的模型會移至本地磁碟,但仍計入會話限制。

Hive的限制

  • 不支援 Hive SerDe 表格。 此外,不支援將數據載入 Hive SerDe 資料表的對應 LOAD DATA 命令。 使用 命令會導致例外狀況。

  • 不支援使用該語法的 Hive 變數(例如 ${env:var}、 ${configName}、 ${system:var}和 spark.sql.variable)或配置${var}變數參照。 使用Hive變數會導致例外狀況。

    請改用 DECLARE VARIABLE、 SET VARIABLE和 SQL 會話變數參考 和參數標記 ('?', 或 ':var') 來宣告、修改和參考會話狀態。 您也可以使用 IDENTIFIER 子句,在許多情況下將物件名稱參數化。

支持的數據源

對於資料操作語言(DML)操作,無伺服器運算允許以下資料來源提供者。 每個提供者也必須支援所請求的操作。 列入此清單並不代表支援所有寫入、更新或刪除操作。 例如, 二進位檔案來源 為唯讀。

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG

無伺服器計算支援下列資料來源進行讀取作業:

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG
  • MYSQL
  • POSTGRESQL
  • SQLSERVER
  • REDSHIFT
  • SNOWFLAKE
  • SQLDW(Azure Synapse)
  • DATABRICKS
  • BIGQUERY
  • ORACLE
  • SALESFORCE
  • SALESFORCE_DATA_CLOUD
  • TERADATA
  • WORKDAY_RAAS
  • MONGODB