使用 Lakehouse Real-Time 搭配 AI/BI 儀表板

Important

Lakehouse Real-Time(Lakehouse//RT)目前處於 測試版 階段,並持續開發中。 效能特性及支援的功能集將在正式上市前改變。 要在您的帳戶中啟用此功能,請聯絡您的 Azure Databricks 帳戶團隊。

你可以使用 Lakehouse//RT 倉庫來驅動需要可提供次秒級回應、支援數百到數千名同時使用者的 AI/BI 儀表板。 使用 Lakehouse//RT 建立符合 現有限制的新儀表板。 不建議遷移現有儀表板,因為現有儀表板通常依賴 Lakehouse//RT 尚未支援的功能,例如 Genie、外部資料表或指標視圖的實體化。

預期用途

Lakehouse//RT 對於讀取少量資料的選擇性查詢,提供亞秒級延遲時間。 它不會加速昂貴的查詢,例如掃描大量資料或連接多個大型資料表的查詢。

Lakehouse//RT 的護欄(見 護欄)會強制執行硬性限制,而不會平順退化,所以在搬到 Lakehouse//RT 倉庫前,請先準備好你的工作負載:

  • 優化昂貴的查詢 ,透過早期篩選,讓它們掃描的資料更少。
  • 當儀表板讀取的資料遠少於掃描的資料量時,使用實體化檢視預先彙總結果。

在 Lakehouse//RT 倉庫上設定儀表板

要發佈在 Lakehouse//RT 上運行的 AI/BI 儀表板,請建立倉庫並將其選為儀表板的倉庫:

  1. 建立一個 Lakehouse//RT 倉庫,和其他 SQL 倉庫一樣。 請參見 Lakehouse 即時資訊。
  2. 授予使用者倉庫的 可使用 或更高權限。 倉庫接著會顯示在供這些使用者使用的儀表板編寫介面運算選擇器中。
  3. 在你的儀表板中,選擇 Lakehouse//RT 倉庫作為儀表板的倉庫。
  4. 照常發布控制面板。

護欄

為了保護共享且低延遲的服務,Lakehouse//RT 強制執行每次查詢的資源限制。 超過護欄的儀表板查詢會回傳錯誤,而非緩慢執行,因此請設計查詢以舒適地維持在這些限制內。

這些數值是在 Beta 測試期間設定的,可能會在正式上市前有所變動:

  • 查詢時長:2 分鐘。 Lakehouse//RT 會取消執行時間過長的小工具查詢。 接近此限制的查詢即使完成也無法達到亞秒目標,且更可能觸及如下所述的 shuffle 或 spill 限制。 把它當作應進一步篩選或預先彙總的訊號。
  • 語句逾時:預設為 1 分鐘。 你可以設定每個陳述式的逾時時間限制,最多可達 2 分鐘的查詢執行時間限制。
  • 每階段寫入的 Shuffle 位元組數:300 GB。 跨大型資料表的寬連接或聚合可能超過此限制。 如果查詢超過這個值,請用實體化檢視來預先彙總,而不是在查詢時聯結大型資料表。
  • 溢寫大小:30 GB,啟用溢寫時。
  • 剪除後的檔案列表:10,000 個檔案,可調整至最多 50,000 個。 如果查詢超過這個限制,請在分割區或 Liquid Clustering 欄位進行篩選,讓儀表板只讀取所需的檔案。

Limitations

Lakehouse//RT 倉庫上的儀表板繼承了所有 Lakehouse//RT 的限制,包括僅支援 Unity Catalog 管理的資料表及 SELECT 僅限 ANSI 相容的查詢。 先將其他資料表類型(例如外部資料表)轉換為受管理的資料表,再查詢它們。

以下限制是針對使用 Lakehouse//RT warehouse 發佈的儀表板:

  • 不支援 Genie。
  • 不支援局部度量視圖的實體化。

尋求幫助

如果您在 Lakehouse//RT 的儀表板上持續遇到問題,請收集以下資訊並聯絡 Azure Databricks 客服:

  • 你看到的錯誤訊息。
  • 匯出你的查詢設定檔,包括原始查詢文字。
  • 這是你的控制面板連結。
  • 確認同樣錯誤不會發生在無伺服器 SQL 資料倉儲上。