湖屋 Real-Time

Important

這項功能位於 測試版 (Beta) 中。 請聯絡您的 Databricks 帳戶團隊,啟用此功能。

Lakehouse//RT 正在積極開發中。 效能特性及支援的功能集將在正式上市前改變。

Lakehouse Real-Time(Lakehouse//RT)是一款無伺服器運算,專為低延遲、高並發性使用情境打造,例如向自訂應用程式提供分析資料、執行營運分析,或驅動數百至數千名同時在線用戶需不到秒回應的商業智慧儀表板。

Lakehouse//RT 為儲存在雲端儲存體中、採用 Delta Lake 或 Apache Iceberg 格式的 Unity Catalog 資料表,提供 SQL 讀取查詢延遲低於一秒的效能。 你建立和管理 Lakehouse//RT 就像做其他 SQL 倉庫一樣。 工作區管理員或特權使用者會在每個工作區建立一個或多個,並分配權限給使用者。

Requirements

要使用 Lakehouse//RT,您必須:

  • 位於支援的區域。
  • 在你的工作區啟用 Lakehouse//RT Beta 版本。

在你的工作區啟用 Lakehouse//RT

工作區管理員可以在你的工作區啟用 Lakehouse//RT Beta 版本:

  1. 在你的工作區選單(右上角),點到 預覽。
  2. 搜尋 Lakehouse RT。
  3. 啟用預覽。

啟用預覽後, 即時 倉儲類型會在你的工作空間的 SQL 倉儲建立流程中可用。

建立一個湖屋//RT 倉庫

若要建立 Lakehouse//RT 倉儲:

  1. 前往 計算>SQL 倉庫>建立 SQL 倉庫。
  2. 選擇即時。
  3. 根據查詢所需的效能,選擇查詢 大小: 小、 中、 大或 X-Large。
  4. 設定 自動縮放 ,決定每小時可被計費的最大 DBU。
  5. 設定自動 停止 控制閒置倉庫何時停止。
  6. 輸入倉庫名稱。
  7. 點擊 建立。

要指派權限,請授予使用者和群組 Can 使用、 可監控或 管理 權限,就像 SQL 倉庫一樣。

Note

你目前無法將現有的 SQL 倉庫升級到 Lakehouse//RT,或將現有的 Lakehouse//RT 倉庫降級到其他倉庫類型。

Lakehouse//RT 倉庫的規模與規模

Lakehouse//RT 有控制效能和成本的設定:

  • 查詢大小 控制單一查詢可用的運算能力。
  • 自動擴展 控制倉儲向外擴展的程度,以處理並行查詢。
  • 自動停止 控制閒置倉庫在停止前持續運作多久。

查詢大小和自動擴展的運作方式,與無伺服器 SQL 倉庫的大小與擴展設定不同。

查詢大小

查詢大小決定了單一查詢可使用的最大運算能力,這決定了單一查詢執行的速度。 它也會設定倉庫運作時的最低運算量,以及你在倉庫運作期間應被收取的最低費用。

你在建立倉庫時設定查詢大小。 選擇 小、中、大 或 特大 尺寸。 較大的大小可為每個查詢分配更多運算資源,因而更快得到結果,但最低成本也會更高。

此設定概念類似於無伺服器 SQL 倉庫的大小,後者同時設定單一查詢可用的運算量。

Autoscaling

自動擴展讓倉庫能新增運算來處理更多同時查詢,然後在需求下降時釋放。 你設定倉庫能擴展的最大運算量,以 DBU 為單位。

Lakehouse//RT 上的自動擴展與無伺服器 SQL 倉庫的叢集擴展在幾個方面有所不同:

  • 它是以 DBU 計量,而不是以叢集計量。
  • 最大值與查詢大小無關。 你可以將小查詢大小與高最大值配對,以達成高並發性,而不會讓每個查詢產生更多運算。
  • Lakehouse//RT 自動縮放只增加或移除所需的運算,而不是以叢集為單位增加。

要查看倉庫的規模,可以使用其 監控頁面。

自動停車

自動停止會在倉庫閒置一段時間後終止,這樣空閒倉庫就不會一直累積費用。 你在建立倉庫時設定閒置逾時時間。

Lakehouse//RT 的自動停止功能和無伺服器 SQL 倉庫一樣。 關於預設值與最小值,請參見 配置 SQL 倉庫設定。

監視 Lakehouse//RT 活動狀態

你可以像監控在 SQL 倉儲中執行的任何查詢一樣,監控 Lakehouse//RT 查詢:

  • 查詢歷史: Lakehouse//RT 查詢會出現在 查詢歷史介面 和 查詢歷史系統資料表中。
  • 查詢設定檔: 在查詢歷史介面中開啟 Lakehouse//RT 查詢以查看其 查詢設定檔。
  • 監控頁面:在每個 Lakehouse//RT 倉庫的 監控頁面 上監控查詢吞吐量、排隊查詢及查詢歷史。
  • 計費: Lakehouse//RT 使用情況會在計費系統表中顯示,且 sku_name 為 Lakehouse_Serverless。

最佳實務

為了獲得 Lakehouse//RT 的最佳效果,請在轉移工作負載前先做好準備:

  • 先在無伺服器 SQL 上驗證。 在無伺服器的 SQL 倉庫上執行查詢,確認幾秒鐘內就能完成。
  • 使用 Unity Catalog 管理數據表。 具備 預測優化 與 液態叢集 的管理式資料表,確保您的資料能夠根據工作負載模式妥善叢集。
  • 確認查詢是否具選擇性。 對於亞秒延遲,請確認你的查詢掃描的資料量較少。 早期用 WHERE 子句篩選,只選擇你需要的欄位,並依賴彙整。 支援跨資料表聯結,但如果你發現查詢變得複雜或速度變慢,可以考慮使用預先彙總資料的實體化檢視,以降低延遲。
  • 請檢查 SQL 覆蓋範圍。 Lakehouse//RT 支援僅符合 ANSI 標準的讀取查詢。 確認你的工作負載符合 ANSI標準,並避免限制中列出的不支援語句、函式和資料型別。

支援的功能

工具與介面

你可以在以下 Azure Databricks 功能中,從計算選擇器中選擇 Lakehouse//RT:

  • SQL 編輯器
  • SQL 筆記本
  • AI/BI 儀表板
  • 目錄檢視器
  • Alerts

若想在 Lakehouse//RT 倉庫上建立 AI/BI 儀表板,包括護欄與儀表板專屬限制,請參閱 將 Lakehouse Real-Time 與 AI/BI 儀表板搭配使用。

數據表類型

Lakehouse//RT 只查詢 Unity Catalog 資料。 為了達到最佳效能,建議使用 Unity Catalog 管理的資料表,這能讓引擎獲得所需的資料配置以降低延遲。

Lakehouse//RT 支援以下表格類型:

  • 管理型資料表(Delta Lake 與 Apache Iceberg 資料表)
  • 實體化視圖和串流資料表
  • 指標視圖

Connectivity

Lakehouse//RT 只接受使用 Statement Execution API 的連線。 它不支援舊有的節儉協定。 透過 Thrift 向 Lakehouse//RT 倉儲發送查詢的驅動程式會收到帶有 SQLSTATE KP001的錯誤。

你可以透過以下方式連接到 Lakehouse//RT 倉庫:

  • 語句執行 API: 直接從外部應用程式呼叫該 API。 請參閱 語句執行 API:在倉儲上執行 SQL。 目前有兩個版本可供選擇:

    • 陳述式執行 API 第 2 版: 若要獲得最佳的 Lakehouse//RT 效能,請使用此版本。 它針對 Lakehouse//RT 倉儲進行最佳化,具備較低的延遲與較高的並發性,並且在每次呼叫時都將 Path warehouse_id 參數視為一個參數。 目前僅支援 Lakehouse//RT 倉庫。
    • 語句執行 API 版本 1: 適用於所有 SQL 倉儲類型。 你也可以在 Lakehouse//RT 倉庫上執行第 1 版的語句,但第 2 版是針對這些倉庫進行最佳化的。
  • Databricks 驅動程式: 將驅動程式的 HTTP 路徑指向您的 Lakehouse//RT 倉庫,並使用不低於該驅動程式所列的版本。 從這些版本開始,驅動程式會自動偵測 Lakehouse//RT,並使用針對其最佳化的連線路徑,不需要任何設定。 較早版本可以使用上述列出的設定進行連線,但效能較差。 Azure Databricks 建議使用最新驅動程式版本,以獲得完整功能與最佳效能。

    Note

    明確設定為 Thrift(其中 use_kernel=False、 useKernel: false、 WithUseKernel(false)或 UseThriftClient=1)的驅動程式,在 Lakehouse//RT 倉庫中以 SQLSTATE KP001失敗。

  • 支援的工具: 下列工具透過各自的連接器連接至 Lakehouse//RT:

細粒度的存取控制

Lakehouse//RT 支援在由列過濾器和欄位遮罩保護的資料表上進行讀取查詢。 過濾器與遮罩可直接指派至資料表,或透過屬性基礎存取控制(ABAC)政策套用。 請參閱 列篩選器、欄位遮罩及Unity 目錄中的屬性導向存取控制。

使用支援政策管理的運算系統,例如無伺服器 SQL 倉庫,來建立或變更列過濾器、欄位遮罩及 ABAC 政策。 Lakehouse//RT 在讀取資料表時會套用現有的政策。 它不支援政策管理陳述式,也不寫入有政策的資料表。 關於查詢限制,請參見細粒度存取控制限制。

欄位遮罩結果類型

Lakehouse//RT 會將欄位遮罩的結果以 ANSI 語意法將欄位遮罩的結果投射回欄位所宣告的資料型態。 這適用於資料表層級遮罩和 ABAC 遮罩。 若結果無法轉換為欄位型別,查詢即告失敗。

例如:

  • 對於 BOOLEAN 欄位,會回傳字串 'REDACTED' 的遮罩會導致查詢失敗,因為該字串無法轉型為 BOOLEAN。
  • 對 FALSE 欄位傳回 INT 的遮罩會產生整數 0。

在 Databricks 執行時,資料表層級的欄位遮罩會將遮罩的回傳類型暴露給查詢。 將同一查詢移到 Lakehouse//RT 可能會改變結果類型或造成類型轉換錯誤。 ABAC 遮罩會將結果轉型回 Databricks Runtime 和 Lakehouse//RT 上的欄位類型。 Databricks 建議使用會傳回與欄位相同型別的遮罩函式。

受保護資料表的查詢計畫與分析資料

對於使用列過濾器或欄位遮罩的查詢,Lakehouse//RT 會限制 輸出和 EXPLAIN 中顯示的細節,以保護底層資料與政策邏輯的資訊:

  • EXPLAIN 輸出會隱藏讀取受保護資料或套用政策的查詢步驟。 它也省略了方案統計資料。
  • 查詢分析會隱藏這些查詢步驟,並省略受保護資料表的統計資料。

Pricing

有關價格資訊,請參閱 Databricks 的定價頁面。

Limitations

當查詢使用不支援的功能時,Lakehouse//RT 會回傳錯誤,錯誤地命名該功能。 要成功執行查詢,建議使用無伺服器的 SQL 倉庫。

工具和功能

Lakehouse//RT 目前尚未支援以下功能:

  • 精靈
  • 精靈特工
  • 工作任務

數據表類型

以下表格類型尚未支援:

  • 系統數據表
  • Delta Sharing 資料表
  • Unity 目錄預設儲存中的表格
  • Unity Catalog 中的外部資料表

Lakehouse//RT 不支援以下表格類型:

  • Hive metastore 資料表(管理型或外部型)
  • 外部資料表與查詢同盟(Lakehouse 同盟)
  • 暫存資料表
  • 使用其他資料格式的資料表(CSV、JSON、Avro、Parquet、ORC 和文字)

細粒度存取控制限制

涉及列篩選器或欄位遮罩的查詢有以下限制:

  • 在受保護的資料表上,不支援使用 table_changes 的變更資料串流讀取。
  • 附帶於檢視的 ABAC 政策不受支援。
  • 對使用 ABAC 政策且使用 system.builtin 函式的資料表查詢時,查詢會因 ABAC_BUILTIN_FUNCTION_NOT_SUPPORTED 而失敗。
  • 在策略函數內的聚合中,多個DISTINCT參數集合會因 UNSUPPORTED_FEATURE 而失敗。 具有相同 DISTINCT 參數的彙總,以及外部查詢中的彙總,仍受支援。
  • 部分涉及資料列篩選器或欄遮罩的資料表相關子查詢不被支援,並會傳回 UNSUPPORTED_FEATURE 錯誤。

驅動程式與連接器

Lakehouse//RT 不支援 Simba Spark ODBC 驅動程式或 Databricks 的 ODBC 驅動程式。 改用 Databricks OSS 的 ODBC 驅動程式 。

SQL 語言

Lakehouse//RT 僅以 ANSI 模式 執行 SQL 讀取查詢。 它會根據嚴格的 ANSI SQL 規則評估所有隱式型別強制轉換和轉型,且無法停用此行為。 在 ANSI 語意下,依賴非 ANSI 行為的查詢可能會:

  • 提出執行時錯誤,而不是靜默產生 NULL。 例如,將非數字字串鑄造為一個數字。
  • 當沒有安全的共同類型時,會引發分析階段錯誤。 例如,COALESCE, CASE, IN, ,或跨不相容型態的集合運算。
  • 回傳與舊有模式不同的結果類型,因為 ANSI 字串升高與數值擴展會選擇安全且無損的類型。

為了獲得可預測的結果,當 ANSI 模式隱式轉換未產生預期行為時,使用明確 CAST 表達式。

Lakehouse//RT 不支援以下功能:

  • 資料型別:GEOGRAPHY 和 GEOMETRY 資料型別。
  • 函式:AI 函式、Python UDF、空間 SQL 函式,以及 XPath 和 XML 函式。

Lakehouse//RT 僅用於讀取(SELECT)查詢。 不支援寫入與 ETL 指令,包括:

  • 寫入作業:INSERT、UPDATE、DELETE、MERGE,以及CREATE TABLE AS SELECT(CTAS)。
  • DDL:CREATE、ALTER、DROP,以及其他建立或修改物件的陳述式。
  • 安全性陳述式:GRANT 且 REVOKE。
  • 腳本、儲存程序、暫存資料表與多重語句交易。
  • Delta Lake 維護:OPTIMIZE、ANALYZE、VACUUM和REFRESH。

Compliance

目前不支援合規安全設定檔。