回傳最近提交的快照版本,用於包圍 AUTO CDC ... FROM SNAPSHOT 流程。 已提交的快照可以來自先前的管線更新,或是當前更新的早期迭代。
此函式僅 WITH VERSION (...) 在流程的 AUTO CDC ... FROM SNAPSHOT 子句內可用。
語法
last_snapshot_version()
引數
這個函數沒有引數。
Returns
一個單欄關係,欄位名稱與類型與包圍流程的版本查詢相同,包含 0 或 1 列:
- 一列包含最近提交的快照版本。
- 若流程自初始建立或最近一次完整刷新後未提交快照,則為 0 列。
每次快照成功提交後, last_snapshot_version() 該已提交版本會暴露給下一次版本查詢的評估,包括同一管線更新內的評估。 這讓一個更新可以依序選擇並處理多個版本。
Examples
以下流程用於 last_snapshot_version() 尋找在上一個提交檔案之後要處理的下一個檔案:
CREATE FLOW orders_cdc
AS AUTO CDC INTO orders
FROM SNAPSHOT (...)
WITH VERSION (
SELECT struct(modification_time, path) AS version
FROM list_files('/Volumes/catalog/schema/landing/orders/')
WHERE (
NOT EXISTS (SELECT 1 FROM last_snapshot_version())
OR struct(modification_time, path) > (SELECT version FROM last_snapshot_version())
)
ORDER BY modification_time, path
LIMIT 1
)
KEYS (order_id);
Errors
last_snapshot_version()僅在流程子句AUTO CDC ... FROM SNAPSHOT內WITH VERSION (...)可用。 在其他地方,Spark 會將名稱解析為普通的表值函式。 由於沒有定義這樣的函數,它會產生 UNRESOLVABLE_TABLE_VALUED_FUNCTION (SQLSTATE 42883)。