湖屋 Real-Time

Important

這項功能位於 測試版 (Beta) 中。 請聯絡您的 Databricks 帳戶團隊,啟用此功能。

Lakehouse//RT 正在積極開發中。 效能特性及支援的功能集將在正式上市前改變。

Lakehouse Real-Time(Lakehouse//RT)是一款無伺服器運算,專為低延遲、高並發性使用情境打造,例如向自訂應用程式提供分析資料、執行營運分析,或驅動數百至數千名同時在線用戶需不到秒回應的商業智慧儀表板。

Lakehouse//RT 為儲存在雲端儲存體中、採用 Delta Lake 或 Apache Iceberg 格式的 Unity Catalog 資料表,提供 SQL 讀取查詢延遲低於一秒的效能。 你建立和管理 Lakehouse//RT 就像做其他 SQL 倉庫一樣。 工作區管理員或特權使用者會在每個工作區建立一個或多個,並分配權限給使用者。

Requirements

要使用 Lakehouse//RT,您必須:

  • 位於支援的區域。
  • 在你的工作區啟用 Lakehouse//RT Beta 版本。

在你的工作區啟用 Lakehouse//RT

工作區管理員可以在你的工作區啟用 Lakehouse//RT Beta 版本:

  1. 在你的工作區選單(右上角),點到 預覽。
  2. 搜尋 Lakehouse RT。
  3. 啟用預覽。

啟用預覽後, 即時 倉儲類型會在你的工作空間的 SQL 倉儲建立流程中可用。

建立一個湖屋//RT 倉庫

若要建立 Lakehouse//RT 倉儲:

  1. 前往 計算>SQL 倉庫>建立 SQL 倉庫。
  2. 選擇即時。
  3. 根據查詢所需的效能,選擇查詢 大小: 小、 中、 大或 X-Large。
  4. 設定 自動縮放 ,決定每小時可被計費的最大 DBU。
  5. 設定自動 停止 控制閒置倉庫何時停止。
  6. 輸入倉庫名稱。
  7. 點擊 建立。

要指派權限,請授予使用者和群組 Can 使用、 可監控或 管理 權限,就像 SQL 倉庫一樣。

Note

你目前無法將現有的 SQL 倉庫升級到 Lakehouse//RT,或將現有的 Lakehouse//RT 倉庫降級到其他倉庫類型。

Lakehouse//RT 倉庫的規模與規模

Lakehouse//RT 有控制效能和成本的設定:

  • 查詢大小 控制單一查詢可用的運算能力。
  • 自動擴展 控制倉庫擴展到多大程度以服務並行查詢。
  • 自動停止 用來設定倉庫在閒置多久後停止運作。

查詢大小和自動擴展的運作方式,與無伺服器 SQL 倉庫的大小與擴展設定不同。

查詢大小

查詢大小決定了單一查詢可使用的最大運算能力,這決定了單一查詢執行的速度。 它也會設定倉庫運作時的最低運算量,以及你在倉庫運作期間應被收取的最低費用。

你在建立倉庫時設定查詢大小。 選擇 小、中、大 或 特大 尺寸。 較大的大小可為每個查詢分配更多運算資源,因而更快得到結果,但最低成本也會更高。

此設定概念類似於無伺服器 SQL 倉庫的大小,後者同時設定單一查詢可用的運算量。

Autoscaling

自動擴展讓倉庫能新增運算來處理更多同時查詢,然後在需求下降時釋放。 你設定倉庫能擴展的最大運算量,以 DBU 為單位。

Lakehouse//RT 上的自動擴展與無伺服器 SQL 倉庫的叢集擴展在幾個方面有所不同:

  • 它是以 DBU 計量,而不是以叢集計量。
  • 最大值與查詢大小無關。 你可以將小查詢大小與高最大值配對,以達成高並發性,而不會讓每個查詢產生更多運算。
  • Lakehouse//RT 自動縮放只增加或移除所需的運算,而不是以叢集為單位增加。

要查看倉庫的規模,可以使用其 監控頁面。

自動停車

自動停止會在倉庫閒置一段時間後終止,這樣空閒倉庫就不會一直累積費用。 你在建立倉庫時設定閒置逾時時間。

Lakehouse//RT 的自動停止功能和無伺服器 SQL 倉庫一樣。 關於預設值與最小值,請參見 配置 SQL 倉庫設定。

監視 Lakehouse//RT 活動狀態

你可以像監控在 SQL 倉儲中執行的任何查詢一樣,監控 Lakehouse//RT 查詢:

  • 查詢歷史: Lakehouse//RT 查詢會出現在 查詢歷史介面 和 查詢歷史系統資料表中。
  • 查詢設定檔:在查詢歷程 UI 中開啟 Lakehouse//RT 查詢,以檢視其 查詢設定檔。
  • 監控頁面:監控每個 Lakehouse//RT 倉庫的查詢吞吐量、排隊查詢及查詢歷史。
  • 計費:Lakehouse//RT 使用量會在計費系統資料表中顯示,sku_name為Lakehouse_Serverless。

最佳實務

為了獲得 Lakehouse//RT 的最佳效果,請在轉移工作負載前先做好準備:

  • 先在無伺服器 SQL 上驗證。 在無伺服器的 SQL 倉庫上執行查詢,確認幾秒鐘內就能完成。
  • 使用 Unity Catalog 管理數據表。 具備 預測優化 與 液態叢集 的管理式資料表,確保您的資料能夠根據工作負載模式妥善叢集。
  • 確認查詢是否具選擇性。 對於亞秒延遲,請確認你的查詢掃描的資料量較少。 早期用 WHERE 子句篩選,只選擇你需要的欄位,並依賴彙整。 支援跨資料表聯結,但如果你發現查詢變得複雜或速度變慢,可以考慮使用預先彙總資料的實體化檢視,以降低延遲。
  • 請檢查 SQL 覆蓋範圍。 Lakehouse//RT 支援僅符合 ANSI 標準的讀取查詢。 確認你的工作負載符合 ANSI標準,並避免限制中列出的不支援語句、函式和資料型別。

支援的功能

工具與介面

你可以在以下 Azure Databricks 功能中,從計算選擇器中選擇 Lakehouse//RT:

  • SQL 編輯器
  • SQL 筆記本
  • AI/BI 儀表板
  • 目錄檢視器
  • Alerts

數據表類型

Lakehouse//RT 只查詢 Unity Catalog 資料。 為了達到最佳效能,建議使用 Unity Catalog 管理的資料表,這能讓引擎獲得所需的資料配置以降低延遲。

Lakehouse//RT 支援以下表格類型:

  • 管理型資料表(Delta Lake 與 Apache Iceberg 資料表)
  • 實體化視圖和串流資料表
  • 指標視圖

Connectivity

Lakehouse//RT 只接受使用 Statement Execution API 的連線。 它不支援舊有的 Thrift 協定,因此若驅動程式在未明確使用語句執行 API 的情況下連接,會 501 收到錯誤。

你可以透過以下方式連接到 Lakehouse//RT 倉庫:

Pricing

價格資訊請參閱 Lakehouse Real-Time 價格 頁面。

Limitations

當查詢使用不支援的功能時,Lakehouse//RT 會回傳錯誤,錯誤地命名該功能。 要成功執行查詢,建議使用無伺服器的 SQL 倉庫。

工具和功能

Lakehouse//RT 目前尚未支援以下功能:

  • 精靈
  • 精靈特工
  • 工作任務

數據表類型

以下表格類型尚未支援:

  • 系統數據表
  • Delta Sharing 資料表
  • Unity 目錄預設儲存中的表格
  • Unity Catalog 中的外部資料表

Lakehouse//RT 不支援以下表格類型:

  • Hive metastore 資料表(管理型或外部型)
  • 外部資料表與查詢同盟(Lakehouse 同盟)
  • 暫存資料表
  • 使用其他資料格式的資料表(CSV、JSON、Avro、Parquet、ORC 和文字)

驅動程式與連接器

Lakehouse//RT 不支援以下驅動程式與連接器:

  • ADBC
  • ODBC

SQL 語言

Lakehouse//RT 僅以 ANSI 模式 執行 SQL 讀取查詢。 它會根據嚴格的 ANSI SQL 規則評估所有隱式型別強制轉換和轉型,且無法停用此行為。 在 ANSI 語意下,依賴非 ANSI 行為的查詢可能會:

  • 提出執行時錯誤,而不是靜默產生 NULL。 例如,將非數字字串鑄造為一個數字。
  • 當沒有安全的共同類型時,會引發分析階段錯誤。 例如,COALESCE, CASE, IN, ,或跨不相容型態的集合運算。
  • 回傳與舊有模式不同的結果類型,因為 ANSI 字串升高與數值擴展會選擇安全且無損的類型。

為了獲得可預測的結果,當 ANSI 模式隱式轉換未產生預期行為時,使用明確 CAST 表達式。

Lakehouse//RT 不支援以下功能:

  • 資料類型:以及GEOGRAPHYGEOMETRY資料型別。
  • 職能:AI 函式、Python UDF、空間 SQL 函式,以及 XPath 和 XML 函式。
  • 治理: 基於屬性的存取控制(ABAC),包括列級安全性與欄遮蔽。

Lakehouse//RT 僅用於讀取(SELECT)查詢。 不支援寫入與 ETL 指令,包括:

  • 寫入作業:INSERT、UPDATE、DELETE、MERGE和CREATE TABLE AS SELECT(CTAS)。
  • DDL:CREATE、 ALTER、、 DROP,以及其他用來建立或修改物件的語句。
  • 安全聲明:GRANT 以及 REVOKE。
  • 腳本、儲存程序、暫存資料表與多重語句交易。
  • 三角洲湖維護:OPTIMIZE、ANALYZE、 VACUUMREFRESH、 。

網路安全

Important

Lakehouse//RT 在 Azure Databricks 無伺服器運算上執行。 若要在雲端儲存周圍建立防火牆,同時允許無伺服器運算存取,請參見 「配置無伺服器計算存取防火牆」。 舊有防火牆設定方法最近已被棄用。 如果它們仍在使用中,無伺服器運算在嘗試存取你的儲存體時,可能會傳回 403 Forbidden 錯誤。

Lakehouse//RT 尚未支援以下網路配置:

Compliance

目前不支援合規安全設定檔。