Real-Time インテリジェンスでの異常検出 (プレビュー)

Real-Time Intelligenceの異常検出は、データをコピーせずにイベントハウスのテーブルに異常なパターンや異常値を検出するのに役立ちます。 ストリーミングデータや過去のデータで予期せぬ挙動を発見し、下流の運用に影響を与える前に対応する必要があるときに使います。

この記事では、必要な機能を有効にし、対応したエントリーポイントから異常検出を開始し、分析設定を設定します。 その後、推奨モデルのレビュー、継続的なモニタリングの公開、将来の異常に対するアラートの設定を行います。

異常検出はEventhouseショートカットテーブルもサポートしているため、データを専用のEventhouseテーブルにコピーまたは移動することなく分析できます。 サポートされたショートカットテーブル上で直接異常検出器を作成し、ネイティブのEventhouseデータソースで利用可能なのと同じ分析、モデル推奨、継続的なモニタリング体験を利用できます。 このサポートにより、異常検出はEventhouseショートカットで既に接続されている外部およびフェデレーテッドデータソースにも拡張され、接続から問題検出へと移行し、設定や重複を減らすことができます。

[前提条件]

• Microsoft Fabric 対応の 容量を持つ ワークスペース。

• ワークスペースの管理者、共同作成者、またはメンバーのロール。

• ワークスペース内の KQL データベースを含む Eventhouse。

• 同じ Eventhouse で有効になっている Python プラグイン。

  1. プラグインを有効にするには、イベントハウスに行ってください。
  2. 上部のツール バーで、[ プラグイン ] を選択し、 Python 言語拡張機能を有効にします。
  3. Python 3.11.7 DL プラグインを選択し、[ 完了] を選択します。

  

• ワークスペースで有効になっているリアルタイム インテリジェンスの異常を検出してください。

  1. 異常検出を有効にするには、ワークスペースに行ってください。
  2. 無料のMicrosoft Fabricトライアルにアップグレードするか、ワークスペースにMicrosoft Fabricライセンスがあることを確認してください。
  3. プレビュー機能スイッチを有効にするために管理者に連絡するか、 管理者ポータル にアクセスして 「Real-Time Intelligenceの異常検出(プレビュー)」を有効にしてください。

異常検出を設定する方法

作業の開始

異常検出は、次の 3 つの 方法で開始できます。

既存の異常検出構成を見る

新しい異常検出器を作成する前に、選択したデータソースの構成がすでに存在しているか確認してください。 このビューは重複作業を避け、他者がすでにそのデータを監視している様子を理解するのに役立ちます。

1. データソースのリストで、分析したいデータソースの省略記号( ...) を選択し、「 既存の異常検出器」を選択します。

   

2. 「 検出異常表示」では、選択したデータソースのすべての異常検出構成を閲覧し、それぞれの詳細を探索できます。

   1. 左側のナビゲーションペインから、検出された異常を探索するための設定を選択し、フルスクリーンで表示するには 「開く 」を選択してください。

   2. 既存の構成がニーズに合わない場合は、「 新規 」を選択して新しい異常検出構成を作成します。

   

この経験は、データソースの文脈から離れずに探索から行動へと移行するのに役立ちます。

分析用に入力列を構成する

分析する列と、データをグループ化する方法を指定します。

1. 構成ウィンドウで、異常を監視する数値データを含む [ウォッチする値 ] 列を追加します。

   

   注

   異常検出では数値データのみがサポートされるため、選択した列に数値が含まれていることを確認します。

2. [ グループ化 ] 列を選択して、分析のためにデータをパーティション分割する方法を指定します。 この列は、通常、デバイス、場所、またはその他の論理グループなどのエンティティを表します。

   

3. 各データ ポイントが記録された時刻を表す タイムスタンプ 列を選択します。 この列は、時系列の異常検出に不可欠であり、時間の経過に伴う傾向の正確な分析を保証します。

   

4. [ 分析の実行 ] を選択して、自動モデル評価を開始します。

分析の完了を待つ

システムはデータを分析して、最適な異常検出モデルを見つけます。

分析中、システムは次の処理を行います。

• 効率的な処理のためにテーブル データをサンプリングする
• 複数の異常検出アルゴリズムをテストする
• さまざまなパラメーター構成を評価します
• 特定のデータ パターンに最も効果的なモデルを識別します

推奨されるモデルと異常を確認する

解析終了後、検出された異常を確認できる推奨モデルを選択し、その結果を探ります。

1. 異常検出結果を開くには、受け取った通知を選択するか、設定画面に戻ってください。

2. 推奨モデルを選択してパフォーマンスを確認し、信頼度設定を調整できます。 選択内容を保存します。

   

3. 結果ページには、次の分析情報が表示されます。

   • 検出器の結果: 異常を明確に強調したデータの可視化。
   • 異常事象: 選択した時間範囲内で検出された異常の詳細な表。

   

4. ビジュアルや表を使って検出された異常を探り、データパターンを理解しましょう。 また、Fabricノートブックで異常解析コンテキストを開いて、KQL、SQL分析エンドポイント、Python、Sparkで結果を調査することもできます。

5. 設定を公開してデータの継続的な監視を開始しましょう。 公開後、異常検出器はデータセットを重複せずにその構成の異常検出イベントを継続的に追跡します。

   

公開後、異常事象に対して行動する選択肢は2つあります:

• この設定に直接アラートを設定してください。 異常検出項目の上部リボンでアラートオプションを選択し、この特定の構成で異常を検出した際に通知を受け取ります。 詳細については、「 異常検知イベントのアラートを設定する」をご覧ください。
• 異常事象を別の下流の目的地にルーティングしてください。 イベントストリームやアクティベーターなどの宛先に異常検出イベントを送信したい場合は、ハブReal-Time 行ってFabricイベントを使ってルーティングを設定してください。 詳細は 「異常検出イベントの探索」をご覧ください。

結果を確認し、あなたの異常検出セットアップがあなたのユースケースに合うように微調整してください。

新しいデータを使用して異常検出モデルを再分析する

新しいデータが利用可能になると、異常検出モデルを最新の状態に保ちます。

新しいデータでモデルを再分析するには、次の手順に従います。

1. 異常検出項目に移動します。
2. [編集] パネルで、必要に応じて、以前に入力したフィールドのいずれかを変更します。
3. 「 データを再解析」を選択します。 このアクションにより、更新された入力に基づいて新しい分析が開始されます。

異常検出イベントを調べてアラートを設定する

異常検出構成を公開した後、生成される異常イベントに対して行動する方法は2通りあります。

• 設定にアラートを設定してください。 異常検出項目から、監視している設定に直接アラートを設定し、異常検出時に通知を受け取るようにします。
• 異常イベントを別の下流の目的地に送る。 Real-Time ハブ に移動し、Fabric イベントを使用して、異常検出イベントをイベントストリームや Activator などの宛先にルーティングします。 詳細は 「異常検出イベントの探索」をご覧ください。

また、異常イベントをFabricのデータエージェントに接続することで、ライブおよび過去のイベントデータにわたる自動推論やアクションが可能になります。 データエージェントは異常イベントを処理し、Activatorベースのアラートを補完する下流のワークフローをオーケストレーションできます。

SQL分析エンドポイントによる異常検索結果のクエリ

Eventhouseは、EventhouseのデータモデルおよびFabricガバナンスに沿った管理型SQL分析エンドポイントを提供します。 異常検出器の出力や関連するテーブルやビューをSQLでクエリし、下流の分析や統合が可能です。 SQL分析エンドポイントの接続情報を調べるには、Fabricワークスペース内のEventhouseアイテムにアクセスしてください。

詳細については、以下を参照してください。

• 異常検出イベントを調べる
• 異常検出イベントにアラートを設定する

制限事項と考慮事項

次の制限事項に注意してください。

• 入力テーブルが必要なスキーマ (数値列、datetime 列、文字列列) と一致しない場合、異常検出は無効になります。
• 十分な履歴データにより、モデルの推奨事項と精度が向上します。
• 各異常検出機能は、1 つのモデル構成のみをサポートします。

異常検出機能で複数の操作を実行する

異常検出機能と対話すると、Eventhouse はバックグラウンドで Python クエリを実行し、リアルタイム分析をサポートします。 記録される操作には次のようなものがあります。

• 異常検出またはその他の種類の分析を実行する。
• 推奨されるモデル間の切り替え。
• 表示している時間枠または ID を変更する。
• アラートを設定して、受信データの異常を継続的に監視します。

Eventhouse では、Eventhouse ごとに最大 8 つの同時クエリがサポートされます。 この制限を超えると、システムはクエリを再試行しますが、追加のクエリをキューに入れず、警告なしに失敗する可能性があります。 より明確なエラー メッセージが開発中です。

問題を回避するには:

• 新しいクエリを開始する前に、各クエリの完了を許可します。
• パフォーマンスが低下している、または応答していないと思われる場合は、同時実行クエリの数を減らします。

詳細については、「Python プラグイン」を参照してください。

Pythonプラグインを有効にする待ち時間

もしPythonプラグインがまだ有効になっていなければ、異常検出器はデータ解析を始める際に自動的に有効化しようとします。 その場合、プラグインを有効にするのに最大1時間かかることがあります。 有効にすると、分析が自動的に開始されます。

詳細については、「 Real-Time Intelligence で Python プラグインを有効にする」を参照してください。

次のステップ

異常検出を構成したら、次のことができます。

• 異常検出イベントを調べる
• 異常検出イベントにアラートを設定する
• 自動応答用に Activator を設定する
• 多変量異常検出について
• KQL クエリセットからアラートを作成する

関連コンテンツ

• KQL クエリ リファレンス
• リアルタイム ダッシュボードのドキュメント
• アクティベーターの概要