您可以使用 資料表更新觸發程序 ,在來源資料表更新時觸發任務執行。 使用此功能可在新資料備妥時執行工作,而不需要持續執行的叢集或更新表格的處理程序的知識。
表格更新觸發器的運作方式
表格更新觸發程式會檢查表格更新,當表格更新時,會執行工作。 觸發程序可以在一個表格更新時執行,或當觸發程序監視所有表格更新時執行。 表格更新觸發器不會產生額外成本,但與列出表格和從儲存位置讀取更新相關的雲端提供者成本除外。
資料表更新觸發器可設定以監控一個或多個資料表的資料變更,如更新、合併與刪除。 這些資料表可以是 Unity Catalog Delta 和 Iceberg 管理的資料表、由 Delta Lake 支援的 Unity Catalog 外部資料表、具象化檢視表、串流資料表,以及依賴支援資料表的 Unity Catalog 檢視或度量檢視表。 選擇多個資料表時,你可以指定當任何或全部資料表更新時,是否觸發該工作。
你也可以在 OpenSharing 的資料表和檢視表以及系統資料表上設定觸發器。 請參見 「新增觸發器至OpenSharing及系統資料表」。
Requirements
在作業的 「執行為」 欄位中設定的主體必須對觸發器監控的每個物件都擁有 SELECT 權限,因為觸發器會讀取每個物件的中繼資料和變更歷史來偵測更新。 這適用於所有支援的來源:
-
Unity Catalog 資料表:
SELECT在資料表上,加上其目錄和結構描述上的USE CATALOG和USE SCHEMA。 -
Unity 目錄檢視:
SELECT對檢視的底層資料表。 -
OpenSharing 共享物件與系統資料表:
SELECT在共享物件或系統資料表上。
如果 Run as 主體在被監控物件上沒有 SELECT,觸發器將無法評估,工作無法執行。 若要檢視或變更工作執行的身分,請參閱設定工作執行的「執行身分」使用者。
新增資料表更新觸發程式
若要將資料表更新觸發程式新增至現有任務:
在工作區的左側導覽中,按一下 [作業與管線]。
在工作清單中,按一下您要新增觸發程式的工作名稱。
在右側窗格,在 排程與觸發器中,點選 新增觸發器。
在觸發程式類型中,選取 資料表更新。
在 [資料表] 下,新增您要監視更新的資料表。
如果您選取多個表格,請在 觸發條件 下設定選項,以指定是否要在 所有表格皆已更新 或 任何表格已更新 時觸發工作。
(選用)按一下 進階,以設定進階選項。
- 觸發程序之間的最短時間,以秒為單位:在上一次執行完成之後,等待觸發執行的時間下限。 在此期間更新的表格,只有在等待時間結束後才會觸發執行。 Azure Databricks 會在觸發執行之前等候此時間量,即使已更新受監視的資料表也一樣。
- 上次變更後等待 (以秒為單位):在資料表更新之後等待觸發執行的時間。 在此期間,其他資料表更新會重置計時器。 當資料表更新批次進行,且所有資料表更新完畢後,需要處理整個批次時,可以使用此設定。
備註
如果同時使用這兩個選項,則觸發程式會等待觸發程式之間的最小時間,然後在最後一次變更之後等待設定的時間量。 例如,如果你設定了最少 120 秒的時間,且最後一次變更後等待時間為 60 秒,那麼即使表格更新在前 60 秒內,至少要等 120 秒才會觸發執行。 此外,如果一個更新在 5 秒時出現,另一個在 115 秒時,那麼「最後一次變更後的等待」意味著執行要等到 175 秒後才會觸發。
若要驗證組態,請按一下 測試觸發程式。
點選 [儲存]。
備註
您也可以從 工作 API 設定資料表更新觸發器。 將物件trigger新增至 jobs/create 、 jobs/update或 jobs/reset 作業。
若要編輯、暫停或移除此觸發器,請使用工作詳情窗格中的排程與觸發器區塊。 請參見 「管理現有觸發點」。
要只在資料準備好時啟動執行,你可以在這個觸發器中加入 SQL 條件(Beta)。 請參見「在工作觸發器中新增 SQL 條件」。
在 OpenSharing 和系統資料表中新增觸發器
除了本地資料表外,你還可以設定資料表更新觸發器,透過 OpenSharing 和 系統資料表監控與工作空間共享的資料。 例如,每當新的帳單紀錄進入系統資料表,或當提供者更新共享資料表時,你都可以觸發該工作。
你可以在以下共享物件上觸發:
- OpenSharing 表格
- OpenSharing 視圖
- OpenSharing 的度量檢視
- OpenSharing 具體化的觀點
- OpenSharing 串流表
- 系統數據表
請依照 「新增資料表更新」觸發器的 步驟,選擇你想要監控的共享資料表、檢視表或系統資料表。
檔案事件觸發資料表更新
為了獲得最佳效能和可擴展性,請在儲存資料表的外部位置啟用 檔案事件 。 此一次性設定步驟可提高資料表更新觸發器的效率,並解鎖其他功能,包括效能更高的自動載入器和檔案到達觸發器。
啟用檔案事件時,Databricks 會使用雲端提供者變更通知自動追蹤擷取中繼資料,從而更快、更有效率地更新資料表。
若觸發器監控超過 10 個資料表,則必須有檔案事件。 請參考 表格如何計入觸發限制。
如果您的資料表位於中繼存放區根層級儲存體中,請先將它們轉換為 外部位置,然後在該位置 啟用檔案事件 。
關於檔案事件的常見問題,請參閱 檔案事件常見問題。
與資料表更新觸發程式相關聯的任務參數
當您對工作使用表格更新觸發程式時,有三個新的動態值參照可作為工作中的參數值使用。
-
{{job.trigger.table_update.updated_tables}}- 自上次工作執行以來更新的資料表的 JSON 清單。 -
{{job.trigger.table_update.`<catalog.schema.table>`.commit_timestamp.iso_datetime}}- 觸發作業執行的最近的提交時間戳記。 -
{{job.trigger.table_update.`<catalog.schema.table>`.version}}- 觸發工作執行的最新提交版本。
對於 commit_timestamp 和 version,動態值參照有多個版本。 每個受監控的資料表都有一個 <catalog.schema.table>,其中包含您要取得資料之資料表的完整限定名稱。 如果觸發程序中只有一個受監視的資料表,你會看到不含 <catalog.schema.table> 的值。 例如,您可以使用 {{job.trigger.table_update.commit_timestamp.iso_datetime}}。
如需任務參數的詳細資訊,請參閱 參數化任務。
接收關於資料表更新觸發失敗的通知
若要在表格更新觸發程式無法評估時收到通知,請在工作失敗時設定電子郵件或系統目的地通知。 請參閱 在作業上新增通知。
局限性
表格更新觸發器 有以下限制:
- 一個觸發器最多可監控 25 個資料表。 若要監控超過 10 個資料表,必須為每個被監控的資料表啟用 檔案事件 。 請參考 表格如何計入觸發限制。
- 對於位於無 檔案事件的地點的資料表,最多可設定 1,000 個工作,並以資料表更新觸發器進行。
- 每個工作區最多可建立 1,000 個 OpenSharing 物件或系統資料表的表格更新觸發器。
- 跨監管領域 OpenSharing 不支援用於資料表更新觸發。
Unity 目錄檢視的觸發器還有以下額外限制:
資料表更新觸發器僅支援監控依賴於資料表更新觸發器支援之資料表的 Unity Catalog 視圖或度量視圖。 值得注意的是,以下觀點未被支持:
- 使用
read_files的檢視(這類檢視可以從支援讀取檔案的資料表讀取,但無法直接使用read_files)。 - 依賴於 Unity 目錄中不存在的資料表的檢視。
- 視角依賴於聯邦表格。
- 使用
對於包含未受支援相依的視圖建立觸發器仍然能成功,但當不被支援的相依性被更新時,不會觸發任何工作執行。
資料表更新會觸發對視圖中相依資料表的監控變更,若任何相依資料表被更新,則視該視圖為已更新。 工作執行可能會因資料的變更而被觸發,即使這些變更可能被檢視定義過濾掉。
當每個資料表都啟用檔案事件時,檢視的來源資料表會計入每個觸發器 25 個資料表的限制。 當檔案事件被停用時,限制為 10。
- 例如,若一個檢視依賴 26 個資料表,則無法在資料表更新觸發器中使用它。 同樣地,一個有兩個視圖的觸發器,每個視圖依賴 14 個資料表,則計作 28 個資料表。
表格如何計入觸發限制
表格限制適用於觸發器監控的實體資料表,而非你選擇的物件數量:
- 每個資料表、實體化視圖或串流資料表都算作一個資料表。
- 每個檢視或度量檢視都會計入它所依賴的來源資料表數量。 來源資料表會分別為每個視圖計數,因此若某個資料表被兩個受監控的視圖依賴,則會被計數兩次。
若要監控超過 10 個資料表,請在每個被監控的資料表上啟用檔案事件,包括被監控視圖的來源資料表。 如果這些資料表中的任何一個沒有啟用檔案事件,監控超過 10 個資料表的觸發器就無法儲存或無法評估。 如果之後在其中一個資料表上停用檔案事件,觸發器將無法評估,除非你重新啟用檔案事件或將觸發器減少到 10 個資料表或更少。