CREATE TABLE ...流程

適用於:勾選「是」 Databricks SQL

Important

這項功能位於 測試版 (Beta) 中。

您不需要啟用預覽即可使用 CREATE TABLE ... FLOW。

建立一個由 Unity Catalog 管理的資料表,其資料由單一附加流程寫入。 當您執行該語句時,Azure Databricks 會建立一個無伺服器管線,執行流程以填充資料表。 你可以隨時或依排程重新整理資料表,就像重新整理 串流資料表一樣。

與串流資料表不同,結果是一個標準管理的 Delta 資料表,沒有後備資料表。 下游使用者和工具會像處理其他受管理的資料表一樣使用它。

若要在管線中定義這類資料表,包括同時寫入多個流程的資料表,請參閱 CREATE TABLE ...FLOW(管線)。

Requirements

CREATE TABLE ... FLOW 具備與其他獨立管線相同的需求,包括支援無伺服器帳戶及支援 Unity 目錄的工作區。 要建立資料表,您需要對目標結構擁有 CREATE TABLE 權限。 請參閱 需求。

Syntax

CREATE TABLE table_name
  [ table_specification ]
  [ table_clauses ]
  flow_clause

table_specification
  ( { column_identifier column_type [ column_properties ] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
      [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

column_properties
  { NOT NULL |
    GENERATED ALWAYS AS ( expr ) |
    COMMENT column_comment |
    MASK clause } [ ... ]

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    schedule |
    WITH { ROW FILTER clause } } [...]

schedule
  { SCHEDULE [ REFRESH ] schedule_clause |
    TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }

schedule_clause
  { EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
  CRON cron_string [ AT TIME ZONE timezone_id ]}

flow_clause
  FLOW INSERT BY NAME query

將所有表格子句放在關鍵字之前 FLOW 。

Parameters

  • table_name

    要建立的數據表名稱。 該資料表必須位於 Unity 目錄中。 如果名稱未加限定,資料表會在目前目錄與結構中建立。

    名稱不得屬於現有的串流資料表或物化檢視。

  • 表格規格

    此選填子句定義欄位、其類型、屬性、描述及資料品質期望。 若省略,結構結構將從流程查詢中推斷。

    • column_identifier

      欄位的一個唯一名稱。

    • 欄位類型

      指定數據行的數據類型。

    • 非空

      如果指定,該欄位不接受 NULL 數值。

    • 產生的 ALWAYS AS ( expr )

      當您指定此子句時,此欄位的值將由指定的 expr所決定。

    • 註解 column_comment

      一個 STRING 描述該欄位的字面意義。

    • MASK 子句

      新增數據行遮罩函式來匿名敏感數據。 請參閱 行篩選和列遮罩。

    • CONSTRAINT expectation_name EXPECT (expectation_expr) [ON VIOLATION {FAIL UPDATE | DROP ROW}]

      將資料品質期望新增至資料表。 FAIL UPDATE當某列違反期望值時,刷新會失敗。 DROP ROW期望值會刪除每違反該期待的列。 請參閱 使用管線期望來管理資料品質。

  • 分區為(欄[, ...])

    可選擇性地將表格分割為欄位子集。 你無法將 和 PARTITIONED BY結合CLUSTER BY。

  • CLUSTER BY 子句

    可選擇性地啟用 桌面上的液體聚類 。

  • 註解 table_comment

    一個 STRING 描述表格的字面意義。

  • TBLPROPERTIES 子句

    可選擇性地設定一個或多個使用者自訂的表格屬性。

  • 附表

    可選擇性地自動重新整理資料表。 SCHEDULE 並 TRIGGER ON UPDATE 遵循與 相同的 CREATE STREAMING TABLE規則與限制。 如果您省略排程,表格僅在執行 REFRESH時刷新。

  • WITH ROW FILTER 子句

    將數據列篩選函式加入至數據表。 資料表上的查詢只會回傳函數評估為 TRUE的列。 請參閱 行篩選和列遮罩。

  • FLOW INSERT BY NAME 查詢

    定義寫入資料表的附加流程。 結果 query 中的欄位會依名稱與資料表欄位匹配。 query 通常是串流讀取,例如 STREAM(source_table)STREAM read_files(...)或 。 每次重新整理只會附加自上次重新整理以來已抵達來源的資料。

重新整理資料表

雖然結果是一個受管理的資料表,但你會用以下 REFRESH STREAMING TABLE 語句重新整理它,就像串流資料表一樣:

-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;

-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;

-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;

Warning

完整刷新會截斷資料表,並重新處理來源中所有可用的資料。 如果來源只保留資料有限的時間,例如 Kafka,則已從來源中過時的資料會遺失。

在重新整理之間,您可以執行 DML 指令,例如 DELETE 對資料表執行。

Limitations

  • 該資料表必須位於 Unity 目錄中。 hive_metastore目錄不被支援。
  • 一個 CREATE TABLE ... FLOW 語句定義一個資料表與一個流程。 若要從多個流程寫入資料表,請在管線中定義該資料表。 參見CREATE TABLE......流(管線)。
  • CREATE TABLE ... FLOW 如果資料表已存在,則會失敗。 CREATE OR REFRESH TABLE ... FLOW 語法不正確,且 CREATE OR REPLACE TABLE ... FLOW 不允許。
  • CREATE TEMPORARY TABLE ... FLOW 而且 CREATE EXTERNAL TABLE ... FLOW 不被允許。
  • FLOW AUTO CDC 不支援且在 時 MANAGED_TABLE_DOES_NOT_SUPPORT_CDC失敗。 若要套用變更資料擷取(CDC),請使用 AUTO CDC FLOW 子句。
  • FLOW REPLACE WHERE 不支援且在 時 UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE失敗。
  • 您無法重複使用現有串流資料表或物化檢視的名稱。 將名稱重新定義為不同資料表類型時,若有 CANNOT_CHANGE_TABLE_MODEL_TYPE則失敗。 先刪除現有的資料表。
  • TARGET FRESHNESS 不支援且在 時 TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE失敗。 若要使用目標新鮮度,請在管線中定義該資料表。
  • PRIMARY KEY 且 FOREIGN KEY 約束條件被接受,但不會套用到表格上。
  • 以下子句不被支援,且在解析該語句時會失效:
    • DEFAULT COLLATION
    • OPTIONS
    • CLUSTERED BY ... INTO num_buckets BUCKETS
    • ROW FORMAT 以及 STORED AS
    • WITH CREDENTIAL

範例

-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
  SELECT * FROM STREAM(main.sales.orders_raw);

-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
  order_id BIGINT NOT NULL,
  region STRING,
  amount DECIMAL(10, 2),
  CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
  SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);

-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
  SELECT order_id FROM STREAM(main.sales.orders_raw);

-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;