在開發管線時,以下限制事項是重要的:
Azure Databricks 工作區限制為 1,000 次同時進行的管線更新。 單一管線可包含的資料集數量限制為 1,000 個,但管線更新可能在達到限制前就耗盡記憶體或其他資源。 有效限制由管線配置與工作負載複雜度決定。 關於資源限制,請參見 資源限制。
管線的配置包含對原始檔案與資料夾的參考。
若設定 僅 參考單個筆記本或檔案,每條管線的原始碼檔案上限為 100 個。
如果設定包含資料夾,你可以包含最多 50 個由檔案或資料夾組成的原始碼條目。
間接引用一個文件夾即間接引用該文件夾中的檔案。 在此情況下,參考檔案數量(直接或間接)限制為 1000 個。
如果你需要超過 100 個原始檔案,請將它們整理成資料夾。 欲了解如何使用資料夾來存放原始檔案,請參閱 Lakeflow 管線編輯器中的 管線資產瀏覽器 。
管線資料集只能定義一次。 因此,它們只能是所有管線中單一作業的目標。 例外狀況是具有附加流程處理的串流資料表,可讓您從多個串流來源寫入串流資料表。 請參閱 預設流程與附加流程。
識別欄位有下列限制。 欲了解更多關於 Delta 表格中的身份欄位,請參閱 身份欄位。
- 身份欄位不支援於 AUTO CDC FROM SNAPSHOT 處理的目標資料表。
- 識別欄位可能會在更新具體化檢視期間重新計算。 因此,Databricks 建議僅在管線中使用串流資料表中的身分識別資料行。
預設情況下,實體化檢視與串流資料表僅能由 Azure Databricks 用戶端與應用程式存取。 要讓外部系統能存取它們,請參見 使用外部系統存取實體化檢視與串流資料表。
執行和查詢 Unity Catalog 管線所需的 Databricks 計算有其限制。 請參閱發佈管線至 Unity Catalog 的 需求。
Delta Lake 的時間旅行查詢僅支援串流資料表,不支援實體化視圖。 請參見 操作表格歷史。
不支援
pivot()函式。 Spark 中的pivot作業需要急切載入輸入數據以計算輸出架構。 管線不支援此功能。在無伺服器運算或標準存取模式下的 Compute 管線中,若序列化函式(包括捕獲物件)超過約 1 MB,則在工作者上執行的 Python 程式碼會失敗。 這包括 Python UDF、pandas UDF、Python UDTF 以及傳遞給
mapInPandas或applyInPandas的函式。 這個錯誤和38000類似,SQLSTATE 為FileNotFoundError: [Errno 2] No such file or directory: '.../broadcast_<n>_python<id>',即使你的程式碼沒有使用廣播變數。 有環境版本的管線會透過 Spark Connect 執行 Python,且不會受到影響。 為避免這種情況,請設定環境版本,或將大型物件如模型、查找表和大型常數排除在函式之外。 相反地,可以從 工作區檔案 或 磁碟區中的檔案載入函式,或是與資料表合併,而不是參考大型字典。管線的可執行身份可以是帳號群組,但該群組必須是分配給工作空間的帳戶群組。 工作空間-本地群組不能用作跑選身份,廣泛的內建群組
admins、users、 也account users不能 。 參見 「將 run-as 身份設定為群組」。在
pipeline_events系統表中,對於超過 2,500 欄的資料表或具有超過 1,000 個期望的流程,事件可能會被縮短details。
關於 Lakeflow 管線資源配額,請參見 資源限制。