延伸網路流量記錄

Important

這項功能處於個人預覽版狀態。 若要試用,請洽詢您的 Azure Databricks 連絡人。

擴展網路流量日誌記錄 Azure Databricks 無伺服器運算送出的網路流量。 預設情況下,出站網路存取事件系統表只會記錄遭無伺服器對外連線控制拒絕的請求。 透過延伸的網路流量日誌,它還會記錄允許的請求,讓你能看到無伺服器工作負載的連接點並排除連線問題。

擴展網路流量日誌還會新增一個流量日誌表,記錄無伺服器運算傳送到及從每個目的地 IP 位址接收的資料量。 這兩種功能使用以下系統表:

Capability 系統表 Description
允許外撥網路存取事件 system.access.outbound_network 將允許的外發請求加入現有的已拒絕請求表。
出站流量日誌 system.access.outbound_traffic 記錄每個目的 IP 位址的傳送與接收位元組,並以一分鐘為間隔彙整。

出站流量日誌僅記錄經由 私有網路閘道 路由的流量。

若要查詢日誌,請參閱 查詢擴展網路流量日誌。

應用案例

利用擴展網路流量日誌來:

  • 調查網路活動: 查看你的無伺服器工作負載何時、從哪個工作空間連線到哪些目的地。
  • 精煉網路政策: 尋找很少被存取的目的地,並決定是否將其從無伺服器出口允許清單中移除。
  • 排除連線問題: 判斷無伺服器輸出流量控制是否允許或拒絕請求。
  • 調查網路成本: 識別無伺服器工作負載可存取的跨區域、網際網路及私人目的地。
  • 優化儲存連接性: 尋找經常被存取的儲存目的地,這些目的地可能受益於私人連線或與你的工作負載位於同一區域。
  • 測量流量量: 查看無伺服器運算透過私有網路閘道器從每個目的地發送與接收多少資料。
  • 偵測異常活動: 尋找流量異常高的目的地。

運作原理

允許的網路存取事件

擴展網路流量日誌會將 ALLOWED 事件新增至現有的 system.access.outbound_network 資料表。 此表格記錄來自無伺服器工作負載的外發網路存取事件,包括 SQL 倉庫、工作、Lakeflow 管線、Databricks 應用程式及模型服務端點。 允許的事件涵蓋對雲端儲存、網際網路目的地及透過私人連線存取的資源的請求。 完整資料表架構請參見 網路存取事件系統資料表參考。

欄位 access_type 表示每項事件的結果:

Value Description
ALLOWED 已允許對外網路存取。 僅適用於延伸網路流量記錄。
DROP 在強制模式下,無伺服器輸出流量控制拒絕了對外網路存取。
DRY_RUN_DENIAL 外發網路存取本可被無伺服器出口控制所阻擋,但因政策處於試運行模式而被允許。

針對某個要求所記錄的 access_type 和 destination_type 值取決於目的地及你的無伺服器輸出流量政策模式:

網路請求 無限制出口 試運行模式 強制模式
允許存取儲存空間 ALLOWED / DNS 未登入 ALLOWED / STORAGE
違反政策的儲存體存取 不適用 DRY_RUN_DENIAL / DNS DROP / STORAGE
允許存取 VNet 資源 ALLOWED / DNS ALLOWED / DNS ALLOWED / DNS
違反政策的 VNet 資源存取 不適用 DRY_RUN_DENIAL / DNS DROP / DNS
允許網際網路存取 ALLOWED / DNS ALLOWED / DNS ALLOWED / DNS
違反政策的網路存取 不適用 DRY_RUN_DENIAL / DNS DROP / DNS

對於允許的 DNS 事件,destination 包含網域名稱或儲存體主機名稱。 對於允許的 STORAGE 事件,destination 包含儲存主機名稱與路徑。 解析後的目的地 IP 位址位於 dns_event.rdata 或 storage_event.rdata。 這些欄位對於被拒絕事件是空的。

出站流量日誌

該 system.access.outbound_traffic 表格記錄的是彙整的流量量,而非個別請求。 Azure Databricks 將流量分成固定的一分鐘間隔,這些區間起點與終點皆以整分鐘界線為界。 在每個區間內,具有相同工作空間、目的 IP 位址及連線方式的流量會合併成一個記錄,並加總傳送與接收的位元組數。

例如,12:05:00 與 period_end_time = 12:06:00 之間的流量會產生一筆包含 period_start_time = 12:05:00 和 12:06:00 的記錄。 開始時間包含在內,結束時間不包含在內。 這些時間戳記標示的是區間邊界,而非第一和最後封包的時間。 沒有流量的區間不會產生紀錄。

表格 system.access.outbound_traffic 的架構如下:

Column 資料類型 Description
event_id 字串 彙整後的交通記錄唯一識別碼。
account_id 字串 流量來源的 Azure Databricks 帳號的 ID。
workspace_id 字串 流量來源工作區的 ID。
destination_ip 字串 目的地 IP 位址。
received_bytes Bigint 無伺服器計算在該區間內接收的總位元組數。
sent_bytes Bigint 在該區間內,無伺服器運算傳送的總位元組數。
connection_type 字串 所使用的連接類型。 值為 PRIVATE。
connection_method 字串 使用的連線方式。 值為 PRIVATE_NETWORK_GATEWAY。
period_start_time 時間戳記 一分鐘區間的開始(含起點)。
period_end_time 時間戳記 不包含一分鐘區間的結束。

表格之間的關聯

system.access.outbound_network 告訴你請求的目的地主機名稱或儲存位置。 system.access.outbound_traffic 它會告訴你目的地 IP 位址、連線方式,以及傳輸了多少位元組。

要將它們做對應,請比對帳號 ID、工作區 ID 和解析的目的地 IP 位址,並檢查存取事件 event_time 是否落在流程日誌的區間內。 這兩個表格有各自獨立的 event_id 值,所以不要在 event_id 上進行連接。

這些匹配是基於 IP 位址和時間的相關性。 它們不會把存取事件綁定到特定的網路連線。 當多個主機名稱解析到相同的 IP 位址時,每個主機名稱會匹配相同的流量記錄。

Limitations

擴展網路流量日誌有以下限制:

  • 從模型服務端點存取外部模型時,允許的事件不會被記錄。
  • 來自其無伺服器輸出控制處於試運行模式之工作區的儲存體存取,其允許的事件不會被記錄。
  • 對工作區內部儲存體的存取不會記錄允許的事件,例如 MLflow 和 dbt 成品。
  • 對 OpenSharing 提供者儲存空間的存取中,允許的活動不會被記錄。
  • 允許的流量來自運行時間少於約一分鐘的工作負載較不容易被記錄,尤其是排程且非互動的工作負載,以及擁有無限制輸出政策的工作空間。
  • 出站流量日誌僅記錄經由私有網路閘道器路由的流量。 使用其他私人連線或公共網路出口的流量不會被記錄。
  • 外撥流量日誌不會記錄來自 Agent Bricks、Unity Gateway 或 Git 資料夾的流量。

這些限制不影響無伺服器出口控制的執行方式或拒絕請求的記錄方式。

常見問題

以下題目涵蓋您可能在擴展網路流量記錄中看到的常見行為。

我需要無伺服器出口控制來使用擴展網路流量日誌嗎?

No. 允許的外站網路存取事件也會被記錄在擁有不受限制的無伺服器對外連線政策的工作空間中。

為什麼工作負載結束後會出現網路存取事件?

Azure Databricks 可能在工作負載結束後仍持續存取儲存裝置,例如為了維護 Delta 日誌或元資料。 這些請求可以在沒有使用者工作負載執行時產生網路存取事件。 事件會在無伺服器計算實例終止後停止。

為什麼我在網路存取日誌中會看到不熟悉的主機名稱?

部分已記錄的目的地是 Azure Databricks 管理的資源,用於平台操作:

主機名稱模式 Purpose
databricks-prewarm-datasets* 縮短無伺服器運算啟動時間。
dbstorage* Azure Databricks 預設儲存體
system-tables* 存取預設樣本資料集。

如果你看到其他不認識的主機名稱,請聯絡你的 Azure Databricks 客戶團隊。

網路流量記錄通常需要多久才會出現?

大多數外撥網路存取事件會在請求發出後 15 分鐘內出現。 延遲可能會有所不同,而 Azure Databricks 並未為這些日誌提供延遲服務等級協議(SLA)。

為什麼我找不到與允許的網路存取事件相符的流量記錄?

流量記錄只會記錄經由私有網路閘道路由的流量,因此允許使用其他連線的請求沒有對應的流量記錄。 缺少流量記錄並不代表請求失敗或沒有資料被傳輸。