Lakehouse Real-Time で AI/BI ダッシュボードを使用する

Important

Lakehouse Real-Time(Lakehouse//RT)は ベータ 版で、現在開発中です。 パフォーマンス特性とサポートされている機能セットは、一般公開前に変更されます。 アカウントで有効化するには、Azure Databricksのアカウントチームに連絡してください。

Lakehouse//RT ウェアハウスを使用すると、数百人から数千人のユーザーが同時に利用する場合でも、1 秒未満の応答時間が求められる AI/BI ダッシュボードを実行できます。 Lakehouse//RTを使って現在の制限に合った新しいダッシュボードを作成しましょう。 既存のダッシュボードを移行することは推奨されません。なぜなら、既存のダッシュボードはLakehouse//RTがまだサポートしていないGenie、外部テーブル、メトリックビューのマテリアライゼーションなど、機能に依存していることが多いからです。

使用目的

Lakehouse//RT は、少量のデータを読み取る選択的なクエリに対して、1 秒未満の低レイテンシを実現します。 大量のデータスキャンや多数の大きなテーブルを結合するような高価なクエリを高速化することはありません。

Lakehouse//RTのガードレール（Guardrails参照）は、段階的に性能低下するのではなくハードリミットを強制するため、Lakehouse//RT倉庫に移動する前にワークロードを準備してください:

  • コストの高いクエリ は早期にフィルタリングして、スキャンするデータを減らしましょう。
  • ダッシュボードが、スキャンするデータよりもはるかに少ないデータを読み取る場合は、マテリアライズド ビューで結果を事前集計します。

Lakehouse//RT ウェアハウス上にダッシュボードを設置してください

Lakehouse//RT上で動作する AI/BI ダッシュボードを公開するには、ウェアハウスを作成し、ダッシュボードのウェアハウスとして選択してします:

  1. 他のSQLウェアハウスと同様に、Lakehouse//RTウェアハウスを作成します。 レイクハウスリアルタイムを参照してください。
  2. ユーザーに倉庫で Can use 以上の権限を付与します。 その後、ウェアハウスは該当ユーザー向けのダッシュボード作成用コンピュートピッカーに表示されます。
  3. ダッシュボードでLakehouse//RTウェアハウスをダッシュボードのウェアハウスとして選択します。
  4. いつも通りダッシュボードを公開してください。

ガードレール

共有され低遅延のサービスを保護するために、Lakehouse//RTはクエリごとのリソース制限を強制します。 ガードレールを超えるダッシュボードクエリは遅く動作するのではなくエラーを返すため、クエリはこれらの制限内に快適に収まるよう設計してください。

これらの値はベータテスト時に設定され、一般公開前に変更される場合があります:

  • クエリ実行時間：2分。 Lakehouse//RTは、長時間実行されるウィジェットクエリをキャンセルします。 この限界に近づくクエリは、完了しても 1 秒未満の目標を達成できず、シャッフルやスピルの制限に当たる可能性が高くなります。 それをフィルタリングや事前集約の合図として扱いましょう。
  • ステートメントタイムアウト:デフォルトで1分です。 ステートメントごとのタイムアウトは2分間のクエリ実行時間制限まで設定できます。
  • ステージごとに書き込まれるシャッフルバイト数: 300 GB。 大きなテーブルをまたぐワイドジョインやアグリゲーションはこの制限を超えることがあります。 クエリがそれを超える場合は、クエリ時に大きなテーブルを結合する代わりに、マテリアル化されたビューで事前集約してください。
  • スピルサイズ: スピルが有効な場合は 30 GB。
  • 剪定後のファイルリスト:10,000ファイル、最大50,000ファイルまで調整可能です。 クエリがこの制限を超える場合は、パーティションまたは リキッドクラスタリング の列でフィルターをかけ、ダッシュボードが必要なファイルだけを読み取るようにします。

Limitations

Lakehouse//RTウェアハウス上のダッシュボードは、Unity Catalog管理テーブルのみのサポートやANSI準拠のクエリのみのサポートなど、すべてのSELECTを引き継ぎます。 クエリを出す前に、外部テーブルなど他のテーブルタイプを管理テーブルに変換してください。

以下の制限は、Lakehouse//RTウェアハウスで公開されたダッシュボードに特有のものです:

  • ジーニーはサポートされていません。
  • 局所メトリックビューの具体化はサポートされていません。

ヘルプを取得する

Lakehouse//RTのダッシュボードで引き続き問題が発生している場合は、以下の情報を収集し、Azure Databricksサポートに連絡してください:

  • 表示されるエラーメッセージ。
  • 生のクエリテキストを含むクエリプロファイルのエクスポート
  • ダッシュボードへのリンクです。
  • サーバーレスSQLウェアハウスでは同じエラーが起きないという確認です。
  • 最終更新: