拡張ネットワークトラフィックログ

拡張ネットワークトラフィックログは、Azure Databricksサーバーレスコンピュートからのアウトバウンドネットワークトラフィックを記録します。 デフォルトでは、アウトバウンド ネットワーク アクセス イベント システム テーブルは、サーバーレスのエグレス制御が拒否するリクエストのみを記録します。 拡張ネットワークトラフィックログを使用すると、許可されたリクエストも記録するため、サーバーレスワークロードが接続している場所や接続のトラブルシューティングができます。

拡張ネットワークトラフィックログには、サーバーレスコンピュートが各宛先 IP アドレスに送受信するデータ量を記録するフローログテーブルも含まれます。 これら2つの機能は以下のシステムテーブルを使用します:

アウトバウンドトラフィックフローログはプライベートネットワークゲートウェイを経由したトラフィックのみを記録します。

ログを照会するには、拡張ネットワーク トラフィック ログの照会を参照してください。

ユースケース例

拡張ネットワーク トラフィック ログを次の目的で使用します:

• ネットワーク活動の調査: サーバーレスワークロードがどの目的地にアクセスし、いつ、どのワークスペースからアクセスしたかを確認しましょう。
• ネットワークポリシーの洗練: ほとんどアクセスされない宛先を見つけ、サーバーレスのエグレス許可リストから削除するかどうかを判断してください。
• 接続のトラブルシューティング: サーバーレスのエグレスコントロールがリクエストを許可するか拒否するかを判断してください。
• ネットワークコストの調査: サーバーレスワークロードがアクセスするリージョン間、インターネット、プライベート宛先を特定しましょう。
• ストレージ接続性の最適化: プライベート接続やワークロードと同じ領域にあることで恩恵を受けそうな、頻繁にアクセスされるストレージ宛先を見つけましょう。

• トラフィック量の測定: サーバーレスコンピュートがプライベートネットワークゲートウェイを通じて各宛先に送受信するデータ量を確認しましょう。
• 異常な活動を検出する: 予想外に多くのトラフィックがある目的地を見つけましょう。

どのように機能するのか

許可されたネットワークアクセスイベント

拡張ネットワークトラフィックログは、既存のALLOWEDテーブルにsystem.access.outbound_networkイベントを追加します。 このテーブルは、SQLウェアハウス、ジョブ、Lakeflowパイプライン、Databricksアプリ、モデルサーバーエンドポイントなど、サーバーレスワークロードからのアウトバウンドネットワークアクセスイベントを記録します。 許可されるイベントには、クラウドストレージ、インターネット宛先、およびプライベート接続を通じてアクセスされるリソースへのリクエストが含まれます。 完全なテーブルスキーマについては、 ネットワークアクセスイベントシステムテーブルリファレンスを参照してください。

access_type列は各イベントの結果を示しています:

リクエストに対して記録される access_type 値と destination_type 値は、宛先とサーバーレスのエグレスポリシーモードによって異なります。

許可された DNS イベントの場合、destination にはドメイン名またはストレージホスト名が含まれます。 許可された STORAGE イベントでは、destination にはストレージのホスト名とパスが含まれます。 解決された宛先IPアドレスは dns_event.rdata または storage_event.rdataです。 これらのフィールドは、拒否されたイベントに対して空です。

アウトバウンドトラフィックフローログ

system.access.outbound_trafficテーブルは個々のリクエストではなく、集計されたトラフィック量を記録します。 Azure Databricksはトラフィックを1分ごとに固定された間隔でグループ化し、その間隔は分の境界で始まり、1分で終わります。 各区間内で、同じワークスペース、宛先IPアドレス、接続方法を持つトラフィックが1つのレコードに統合され、送受信バイト数が合計されます。

例えば、 12:05:00 と 12:06:00 間の通信は、 period_start_time = 12:05:00 と period_end_time = 12:06:00のレコードを生成します。 開始時間は含め、終了時間は含まれません。 これらのタイムスタンプは、最初と最後のパケットの時間ではなく、区間境界を示します。 トラフィックがない間隔では、レコードは生成されません。

system.access.outbound_traffic テーブルには、次のスキーマがあります。

表がどのように関連しているか

system.access.outbound_network リクエストの宛先ホスト名やストレージ場所を示します。 system.access.outbound_traffic 宛先のIPアドレス、接続方法、転送されたバイト数を教えてくれます。

それらを関連付けるために、アカウントID、ワークスペースID、解決済みの宛先IPアドレスを照合し、アクセスイベントのevent_timeタイムスタンプがフローログの間隔内に収まることを確認してください。 2つのテーブルは独立した event_id の値を持っているので、 event_idで結合しないでください。

これらのマッチはIPアドレスと時間に基づく相関関係です。 アクセスイベントを特定のネットワーク接続にリンクするわけではありません。 複数のホスト名が同じIPアドレスに解決されると、各ホスト名は同じフローレコードと一致します。

Limitations

拡張ネットワークトラフィックログには以下の制限があります:

• モデルサービングエンドポイントからの外部モデルアクセスについては、許可対象イベントはログに記録されません。
• サーバーレスの外向き通信制御がドライランモードにあるワークスペースからのストレージアクセスでは、許可されたイベントはログに残されません。
• 許可されたイベントは、MLflowやdbtアーティファクトなどのワークスペース内部ストレージへのアクセスには記録されません。
• OpenSharing プロバイダー ストレージへのアクセスについて、許可されたイベントはログに記録されません。
• 約1分未満のワークロードからの許可されたトラフィックは、特にスケジュールされた非インタラクティブなワークロードや制限のない外向き通信ポリシーを持つワークスペースでは、記録されにくいです。

• アウトバウンドトラフィックフローログは、プライベートネットワークゲートウェイを経由したトラフィックのみを記録します。 他のプライベート接続や公共インターネットの出口を利用するトラフィックは記録されません。
• アウトバウンドトラフィックフローログは、Agent Bricks、Unity Gateway、Git フォルダーからのトラフィックを記録しません。

これらの制限は、サーバーレスの外向き通信制御がどのように適用されるかや、拒否されたリクエストがどのように記録されるかには影響しません。

よく寄せられる質問

以下の質問は、拡張ネットワークトラフィックログでよく見られる挙動について取り上げています。