last_snapshot_version 函數

回傳最近提交的快照版本,用於包圍 AUTO CDC ... FROM SNAPSHOT 流程。 已提交的快照可以來自先前的管線更新,或是當前更新的早期迭代。

此函式僅 WITH VERSION (...) 在流程的 AUTO CDC ... FROM SNAPSHOT 子句內可用。

語法

last_snapshot_version()

引數

這個函數沒有引數。

Returns

一個單欄關係,欄位名稱與類型與包圍流程的版本查詢相同,包含 0 或 1 列:

  • 一列包含最近提交的快照版本。
  • 若流程自初始建立或最近一次完整刷新後未提交快照,則為 0 列。

每次快照成功提交後, last_snapshot_version() 該已提交版本會暴露給下一次版本查詢的評估,包括同一管線更新內的評估。 這讓一個更新可以依序選擇並處理多個版本。

Examples

以下流程用於 last_snapshot_version() 尋找在上一個提交檔案之後要處理的下一個檔案:

CREATE FLOW orders_cdc
  AS AUTO CDC INTO orders
  FROM SNAPSHOT (...)
  WITH VERSION (
    SELECT struct(modification_time, path) AS version
    FROM list_files('/Volumes/catalog/schema/landing/orders/')
    WHERE (
      NOT EXISTS (SELECT 1 FROM last_snapshot_version())
      OR struct(modification_time, path) > (SELECT version FROM last_snapshot_version())
    )
    ORDER BY modification_time, path
    LIMIT 1
  )
  KEYS (order_id);

Errors

last_snapshot_version()僅在流程子句AUTO CDC ... FROM SNAPSHOT內WITH VERSION (...)可用。 在其他地方,Spark 會將名稱解析為普通的表值函式。 由於沒有定義這樣的函數,它會產生 UNRESOLVABLE_TABLE_VALUED_FUNCTION (SQLSTATE 42883)。