Important
這項功能位於 測試版 (Beta) 中。 請聯絡您的 Databricks 帳戶團隊,啟用此功能。
Lakehouse//RT 正在積極開發中。 效能特性及支援的功能集將在正式上市前改變。
Lakehouse Real-Time(Lakehouse//RT)是一款無伺服器運算,專為低延遲、高並發性使用情境打造,例如向自訂應用程式提供分析資料、執行營運分析,或驅動數百至數千名同時在線用戶需不到秒回應的商業智慧儀表板。
Lakehouse//RT 為儲存在雲端儲存體中、採用 Delta Lake 或 Apache Iceberg 格式的 Unity Catalog 資料表,提供 SQL 讀取查詢延遲低於一秒的效能。 你建立和管理 Lakehouse//RT 就像做其他 SQL 倉庫一樣。 工作區管理員或特權使用者會在每個工作區建立一個或多個,並分配權限給使用者。
Requirements
要使用 Lakehouse//RT,您必須:
- 位於支援的區域。
- 在你的工作區啟用 Lakehouse//RT Beta 版本。
在你的工作區啟用 Lakehouse//RT
工作區管理員可以在你的工作區啟用 Lakehouse//RT Beta 版本:
- 在你的工作區選單(右上角),點到 預覽。
- 搜尋 Lakehouse RT。
- 啟用預覽。
啟用預覽後, 即時 倉儲類型會在你的工作空間的 SQL 倉儲建立流程中可用。
建立一個湖屋//RT 倉庫
若要建立 Lakehouse//RT 倉儲:
- 前往 計算>SQL 倉庫>建立 SQL 倉庫。
- 選擇即時。
- 根據查詢所需的效能,選擇查詢 大小: 小、 中、 大或 X-Large。
- 設定 自動縮放 ,決定每小時可被計費的最大 DBU。
- 設定自動 停止 控制閒置倉庫何時停止。
- 輸入倉庫名稱。
- 點擊 建立。
要指派權限,請授予使用者和群組 Can 使用、 可監控或 管理 權限,就像 SQL 倉庫一樣。
Note
你目前無法將現有的 SQL 倉庫升級到 Lakehouse//RT,或將現有的 Lakehouse//RT 倉庫降級到其他倉庫類型。
Lakehouse//RT 倉庫的規模與規模
Lakehouse//RT 有控制效能和成本的設定:
- 查詢大小 控制單一查詢可用的運算能力。
- 自動擴展 控制倉儲向外擴展的程度,以處理並行查詢。
- 自動停止 控制閒置倉庫在停止前持續運作多久。
查詢大小和自動擴展的運作方式,與無伺服器 SQL 倉庫的大小與擴展設定不同。
查詢大小
查詢大小決定了單一查詢可使用的最大運算能力,這決定了單一查詢執行的速度。 它也會設定倉庫運作時的最低運算量,以及你在倉庫運作期間應被收取的最低費用。
你在建立倉庫時設定查詢大小。 選擇 小、中、大 或 特大 尺寸。 較大的大小可為每個查詢分配更多運算資源,因而更快得到結果,但最低成本也會更高。
此設定概念類似於無伺服器 SQL 倉庫的大小,後者同時設定單一查詢可用的運算量。
Autoscaling
自動擴展讓倉庫能新增運算來處理更多同時查詢,然後在需求下降時釋放。 你設定倉庫能擴展的最大運算量,以 DBU 為單位。
Lakehouse//RT 上的自動擴展與無伺服器 SQL 倉庫的叢集擴展在幾個方面有所不同:
- 它是以 DBU 計量,而不是以叢集計量。
- 最大值與查詢大小無關。 你可以將小查詢大小與高最大值配對,以達成高並發性,而不會讓每個查詢產生更多運算。
- Lakehouse//RT 自動縮放只增加或移除所需的運算,而不是以叢集為單位增加。
要查看倉庫的規模,可以使用其 監控頁面。
自動停車
自動停止會在倉庫閒置一段時間後終止,這樣空閒倉庫就不會一直累積費用。 你在建立倉庫時設定閒置逾時時間。
Lakehouse//RT 的自動停止功能和無伺服器 SQL 倉庫一樣。 關於預設值與最小值,請參見 配置 SQL 倉庫設定。
監視 Lakehouse//RT 活動狀態
你可以像監控在 SQL 倉儲中執行的任何查詢一樣,監控 Lakehouse//RT 查詢:
- 查詢歷史: Lakehouse//RT 查詢會出現在 查詢歷史介面 和 查詢歷史系統資料表中。
- 查詢設定檔: 在查詢歷史介面中開啟 Lakehouse//RT 查詢以查看其 查詢設定檔。
- 監控頁面:在每個 Lakehouse//RT 倉庫的 監控頁面 上監控查詢吞吐量、排隊查詢及查詢歷史。
-
計費: Lakehouse//RT 使用情況會在計費系統表中顯示,且
sku_name為Lakehouse_Serverless。
最佳實務
為了獲得 Lakehouse//RT 的最佳效果,請在轉移工作負載前先做好準備:
- 先在無伺服器 SQL 上驗證。 在無伺服器的 SQL 倉庫上執行查詢,確認幾秒鐘內就能完成。
- 使用 Unity Catalog 管理數據表。 具備 預測優化 與 液態叢集 的管理式資料表,確保您的資料能夠根據工作負載模式妥善叢集。
- 確認查詢是否具選擇性。 對於亞秒延遲,請確認你的查詢掃描的資料量較少。 早期用
WHERE子句篩選,只選擇你需要的欄位,並依賴彙整。 支援跨資料表聯結,但如果你發現查詢變得複雜或速度變慢,可以考慮使用預先彙總資料的實體化檢視,以降低延遲。 - 請檢查 SQL 覆蓋範圍。 Lakehouse//RT 支援僅符合 ANSI 標準的讀取查詢。 確認你的工作負載符合 ANSI標準,並避免限制中列出的不支援語句、函式和資料型別。
支援的功能
工具與介面
你可以在以下 Azure Databricks 功能中,從計算選擇器中選擇 Lakehouse//RT:
- SQL 編輯器
- SQL 筆記本
- AI/BI 儀表板
- 目錄檢視器
- Alerts
若想在 Lakehouse//RT 倉庫上建立 AI/BI 儀表板,包括護欄與儀表板專屬限制,請參閱 將 Lakehouse Real-Time 與 AI/BI 儀表板搭配使用。
數據表類型
Lakehouse//RT 只查詢 Unity Catalog 資料。 為了達到最佳效能,建議使用 Unity Catalog 管理的資料表,這能讓引擎獲得所需的資料配置以降低延遲。
Lakehouse//RT 支援以下表格類型:
- 管理型資料表(Delta Lake 與 Apache Iceberg 資料表)
- 實體化視圖和串流資料表
- 指標視圖
Connectivity
Lakehouse//RT 只接受使用 Statement Execution API 的連線。 它不支援舊有的節儉協定。 透過 Thrift 向 Lakehouse//RT 倉儲發送查詢的驅動程式會收到帶有 SQLSTATE KP001的錯誤。
你可以透過以下方式連接到 Lakehouse//RT 倉庫:
語句執行 API: 直接從外部應用程式呼叫該 API。 請參閱 語句執行 API:在倉儲上執行 SQL。 目前有兩個版本可供選擇:
-
陳述式執行 API 第 2 版: 若要獲得最佳的 Lakehouse//RT 效能,請使用此版本。 它針對 Lakehouse//RT 倉儲進行最佳化,具備較低的延遲與較高的並發性,並且在每次呼叫時都將 Path
warehouse_id參數視為一個參數。 目前僅支援 Lakehouse//RT 倉庫。 - 語句執行 API 版本 1: 適用於所有 SQL 倉儲類型。 你也可以在 Lakehouse//RT 倉庫上執行第 1 版的語句,但第 2 版是針對這些倉庫進行最佳化的。
-
陳述式執行 API 第 2 版: 若要獲得最佳的 Lakehouse//RT 效能,請使用此版本。 它針對 Lakehouse//RT 倉儲進行最佳化,具備較低的延遲與較高的並發性,並且在每次呼叫時都將 Path
Databricks 驅動程式: 將驅動程式的 HTTP 路徑指向您的 Lakehouse//RT 倉庫,並使用不低於該驅動程式所列的版本。 從這些版本開始,驅動程式會自動偵測 Lakehouse//RT,並使用針對其最佳化的連線路徑,不需要任何設定。 較早版本可以使用上述列出的設定進行連線,但效能較差。 Azure Databricks 建議使用最新驅動程式版本,以獲得完整功能與最佳效能。
-
Databricks SQL 連接器 for Python: 4.9.0,使用
kernelextra 安裝。 較早版本:設定use_kernel=True。 -
Databricks SQL Driver for Node.js: 3.0.0。 早期版本:set
useKernel: true. -
Databricks SQL 驅動程式 for Go: 1.19.0,以標籤
databricks_kernel建置。 早期版本:設定WithUseKernel(true)。 -
JDBC: 3.4.5。 較早版本:設定
UseThriftClient=0在連線 URL 中。 - Databricks OSS ODBC 驅動程式(Beta): 0.8.0。 不需要進行其他組態設定。
Note
明確設定為 Thrift(其中
use_kernel=False、useKernel: false、WithUseKernel(false)或UseThriftClient=1)的驅動程式,在 Lakehouse//RT 倉庫中以 SQLSTATEKP001失敗。-
Databricks SQL 連接器 for Python: 4.9.0,使用
支援的工具: 下列工具透過各自的連接器連接至 Lakehouse//RT:
-
Power BI(透過 ADBC 驅動程式): 在
Protocol=REST(SEA)下設定 和Implementation=2.0。 - Azure Databricks Excel 外掛: 在外掛的計算選擇器中選擇你的 Lakehouse//RT 倉庫。 只支援匯入。
-
Power BI(透過 ADBC 驅動程式): 在
細粒度的存取控制
Lakehouse//RT 支援在由列過濾器和欄位遮罩保護的資料表上進行讀取查詢。 過濾器與遮罩可直接指派至資料表,或透過屬性基礎存取控制(ABAC)政策套用。 請參閱 列篩選器、欄位遮罩及Unity 目錄中的屬性導向存取控制。
使用支援政策管理的運算系統,例如無伺服器 SQL 倉庫,來建立或變更列過濾器、欄位遮罩及 ABAC 政策。 Lakehouse//RT 在讀取資料表時會套用現有的政策。 它不支援政策管理陳述式,也不寫入有政策的資料表。 關於查詢限制,請參見細粒度存取控制限制。
欄位遮罩結果類型
Lakehouse//RT 會將欄位遮罩的結果以 ANSI 語意法將欄位遮罩的結果投射回欄位所宣告的資料型態。 這適用於資料表層級遮罩和 ABAC 遮罩。 若結果無法轉換為欄位型別,查詢即告失敗。
例如:
- 對於
BOOLEAN欄位,會回傳字串'REDACTED'的遮罩會導致查詢失敗,因為該字串無法轉型為BOOLEAN。 - 對
FALSE欄位傳回INT的遮罩會產生整數0。
在 Databricks 執行時,資料表層級的欄位遮罩會將遮罩的回傳類型暴露給查詢。 將同一查詢移到 Lakehouse//RT 可能會改變結果類型或造成類型轉換錯誤。 ABAC 遮罩會將結果轉型回 Databricks Runtime 和 Lakehouse//RT 上的欄位類型。 Databricks 建議使用會傳回與欄位相同型別的遮罩函式。
受保護資料表的查詢計畫與分析資料
對於使用列過濾器或欄位遮罩的查詢,Lakehouse//RT 會限制 輸出和 EXPLAIN 中顯示的細節,以保護底層資料與政策邏輯的資訊:
-
EXPLAIN輸出會隱藏讀取受保護資料或套用政策的查詢步驟。 它也省略了方案統計資料。 - 查詢分析會隱藏這些查詢步驟,並省略受保護資料表的統計資料。
Pricing
有關價格資訊,請參閱 Databricks 的定價頁面。
Limitations
當查詢使用不支援的功能時,Lakehouse//RT 會回傳錯誤,錯誤地命名該功能。 要成功執行查詢,建議使用無伺服器的 SQL 倉庫。
工具和功能
Lakehouse//RT 目前尚未支援以下功能:
- 精靈
- 精靈特工
- 工作任務
數據表類型
以下表格類型尚未支援:
- 系統數據表
- Delta Sharing 資料表
- Unity 目錄預設儲存中的表格
- Unity Catalog 中的外部資料表
Lakehouse//RT 不支援以下表格類型:
- Hive metastore 資料表(管理型或外部型)
- 外部資料表與查詢同盟(Lakehouse 同盟)
- 暫存資料表
- 使用其他資料格式的資料表(CSV、JSON、Avro、Parquet、ORC 和文字)
細粒度存取控制限制
涉及列篩選器或欄位遮罩的查詢有以下限制:
- 在受保護的資料表上,不支援使用
table_changes的變更資料串流讀取。 - 附帶於檢視的 ABAC 政策不受支援。
- 對使用 ABAC 政策且使用
system.builtin函式的資料表查詢時,查詢會因ABAC_BUILTIN_FUNCTION_NOT_SUPPORTED而失敗。 - 在策略函數內的聚合中,多個
DISTINCT參數集合會因UNSUPPORTED_FEATURE而失敗。 具有相同DISTINCT參數的彙總,以及外部查詢中的彙總,仍受支援。 - 部分涉及資料列篩選器或欄遮罩的資料表相關子查詢不被支援,並會傳回
UNSUPPORTED_FEATURE錯誤。
驅動程式與連接器
Lakehouse//RT 不支援 Simba Spark ODBC 驅動程式或 Databricks 的 ODBC 驅動程式。 改用 Databricks OSS 的 ODBC 驅動程式 。
SQL 語言
Lakehouse//RT 僅以 ANSI 模式 執行 SQL 讀取查詢。 它會根據嚴格的 ANSI SQL 規則評估所有隱式型別強制轉換和轉型,且無法停用此行為。 在 ANSI 語意下,依賴非 ANSI 行為的查詢可能會:
- 提出執行時錯誤,而不是靜默產生
NULL。 例如,將非數字字串鑄造為一個數字。 - 當沒有安全的共同類型時,會引發分析階段錯誤。 例如,
COALESCE,CASE,IN, ,或跨不相容型態的集合運算。 - 回傳與舊有模式不同的結果類型,因為 ANSI 字串升高與數值擴展會選擇安全且無損的類型。
為了獲得可預測的結果,當 ANSI 模式隱式轉換未產生預期行為時,使用明確 CAST 表達式。
Lakehouse//RT 不支援以下功能:
-
資料型別:
GEOGRAPHY和GEOMETRY資料型別。 - 函式:AI 函式、Python UDF、空間 SQL 函式,以及 XPath 和 XML 函式。
Lakehouse//RT 僅用於讀取(SELECT)查詢。 不支援寫入與 ETL 指令,包括:
-
寫入作業:
INSERT、UPDATE、DELETE、MERGE,以及CREATE TABLE AS SELECT(CTAS)。 -
DDL:
CREATE、ALTER、DROP,以及其他建立或修改物件的陳述式。 -
安全性陳述式:
GRANT且REVOKE。 - 腳本、儲存程序、暫存資料表與多重語句交易。
-
Delta Lake 維護:
OPTIMIZE、ANALYZE、VACUUM和REFRESH。
Compliance
目前不支援合規安全設定檔。