在設定聯邦資料連接器後,你可以透過 Microsoft Sentinel 中的多個介面存取你的聯邦資料表。 聯合資料表的使用方式與其他資料湖資料表相同。 本文說明如何檢視聯邦表格、使用 KQL (Kusto 查詢語言) 查詢,以及在 Jupyter 筆記本中操作。
必要條件
在開始之前,請確保:
- 你的租用戶必須上線到 Sentinel 資料湖。 如需詳細資訊,請參閱上線到 Microsoft Sentinel 資料湖
- 你有適當的權限可以查詢 Sentinel 資料湖的資料。 欲了解更多資訊,請參閱 Microsoft Sentinel 平台的角色與權限。
了解聯邦資料表命名方式
聯邦表名稱遵循模式 <tableName>_<connectorInstanceName>。 例如:
| 原始資料表名稱 | 連接器實例名稱 | 聯邦資料表名稱 |
|---|---|---|
widgets |
ADLS01 |
widgets_ADLS01 |
sales_data |
AzureDBX01 |
sales_data_AzureDBX01 |
inventory |
Fabric01 |
inventory_Fabric01 |
如果連接器實例中有多個資料表名稱相同,則會在連接器實例名稱後附加一個數字識別碼,例如 widgets_ADLS01_1 當連結實例中 ADLS01 呼叫 widgets兩個資料表時。
查詢 Sentinel 資料湖的資料時,請使用聯邦資料表名稱。
在資料表管理中檢視聯邦資料表
表格管理檢視會提供您 Sentinel 資料湖中所有表格的總覽,包括聯邦表格。
- 瀏覽至 Microsoft Sentinel>設定>資料表。
- 選擇 類型 過濾器。
- 選擇 聯邦 並選擇 應用。
查看表格詳情
選擇一列表格以開啟詳細面板。 表格細節面板包含三個分頁:
| 索引標籤 | 描述 |
|---|---|
| 概觀 | 關於聯邦表格的基本資訊,包括來源類型與連線狀態。 |
| 資料來源 | 顯示哪些連接器實例提供此表格的資料。 |
| 結構描述 | 顯示表格欄位、資料類型及欄位描述。 具有資料湖系統資料表寫入權限的使用者,可以選取重新整理結構描述,以從來源更新資料欄及其他結構描述中繼資料。 |
使用 KQL 查詢聯邦表格
Microsoft Sentinel 中的 KQL 查詢頁面允許你同時查詢聯邦資料表與原生 Sentinel 資料。 聯邦表格支援 KQL 作業、互動式與非同步查詢,以及 MCP 工具。
瀏覽至 Microsoft Sentinel>資料湖探索>KQL 查詢。
在資訊欄中選擇 「已選取工作區 」按鈕。
選擇 系統資料表 作為其中一個工作區。
在 結構 標籤中,展開 系統資料表 區塊。
展開 聯邦表格 章節。
找出你資料來源的聯盟類型,例如 Microsoft Fabric、Azure Databricks 或 Azure Data Lake Storage Gen2。
展開聯集類型即可查看你的聯集資料表。
展開表格以查看其欄位。
注意事項
由於 KQL 中的查詢效能最佳化,同盟資料表中的新資料可能需要長達 15 分鐘,才能供查詢使用。
撰寫並執行查詢
對聯邦資料表的查詢運作方式類似於對原生湖泊資料表的查詢,但有幾個重要差異:
外部來源中資料表的結構可能會發生變更。 這可能導致查詢失敗,顯示欄位不存在。 在資料表管理頁面中,選擇聯邦資料表、選擇 結構 標籤並選擇 刷新結構,來刷新欄位。
沒有
TimeGenerated欄位的聯合表格,或TimeGenerated欄位中資料格式錯誤,無法在 Data Lake Explorer 中使用使用者介面的時間選擇器來選擇時間範圍。 在 KQL 正文中定義與你聯邦表格日期格式相符的日期篩選器。
從聯合查詢建立 KQL 工作
您可以根據使用聯合資料表的查詢來建立 KQL 工作:
- 用聯邦表格撰寫並測試你的 KQL 查詢。
- 在查詢面板右上角選擇 「建立職缺 」按鈕。
- 設定工作設定,包括排程和輸出目的地。
- 儲存工作。
注意事項
不支援將資料寫入聯邦表格。 KQL 輸出是根據目前建立 KQL 作業時所使用的相同條件來建立的,並可依據您選取的目的地,將資料寫入新的資料表或現有資料表。
如果同盟資料表不包含
TimeGenerated欄位,或你的輸出未包含一個TimeGenerated欄位,且每一列的日期值格式都正確,則 KQL 查詢在該資料表於 lake 中建立後將無法運作。
聯邦表完全支援 KQL 工作、非同步查詢及 MCP 工具。
建立一個包含聯邦表格查詢的 MCP 工具
你可以根據使用聯邦表格的查詢建立 MCP 工具:
用聯邦表格撰寫並測試你的 KQL 查詢。
在查詢編輯器上方選擇 另存為工具 按鈕。
根據需要調整查詢,例如參數化值。
對於任何聯邦資料表的參考,請確保在資料表名稱前加上
workspace("default").。 舉例來說,如果你的資料表是widgets_ADLS01,你的程式碼會顯示workspace("default").widgets_ADLS01在該資料表上。保存工具。
在 Jupyter Notebook 中使用聯邦資料表
Federated 表格可透過 Microsoft Sentinel VS Code 擴充功能在 Jupyter 筆記本中存取。
在 Microsoft Sentinel VS Code 擴充中,聯邦表格會出現在以下位置:Lake tables>系統表格>Federated tables
在 Jupyter 筆記本中使用聯邦資料表時,遵循的模式與原生系統資料表相同:
-
使用完整資料表名稱:使用
<tableName>_<connectorInstance>格式引用資料表。 - 不要指定工作區名稱:讀取操作不需要工作區規格。
- 唯讀存取:聯邦資料表是唯讀的;你無法將資料寫回聯邦來源。
注意事項
第一次啟用資料聯邦後,可能需要長達 24 小時才會看到 Jupyter 筆記本中的聯邦資料表。
Jupyter 筆記本作業
您可以建立已排定的 Jupyter Notebook 工作,並像建立原生資料湖資料表的 Notebook 工作一樣,利用聯合資料表的功能。
- 用聯合表格查詢來建立你的筆記本。
- 測試筆記本以確保聯邦查詢能正確執行。
- 從 Notebook 建立工作。
- 設定工作排程和參數。
注意事項
筆記本作業只能將資料寫入 Sentinel 工作區或系統資料表作為目的地。 你無法將資料寫入聯邦表格。
最佳做法
遵循這些查詢優化、合併策略與錯誤處理指引,以獲得聯邦資料表的最佳效能。
查詢優化
請運用以下實務來提升聯邦查詢效能。
- 及早應用過濾器:盡可能在來源端過濾資料以減少資料傳輸。
-
限制結果集:開發過程中的使用
take或limit條款。 - 使用投影:只選擇你需要提升效能的欄位。
範例:優化查詢
以下查詢示範如何早期過濾大型聯邦資料集以減少資料量,並只選擇必要的欄位以提升查詢效能。
large_dataset_adls_connector
| where EventTime >= ago(1h) // Filter early
| where EventType == "Login" // Reduce data volume
| project EventTime, UserId, SourceIP // Select needed columns
| take 10000 // Limit results
聯結原則
聯結聯邦資料表與原生資料表時,請採用以下查詢效能最佳做法。
-
使用適當的連接類型:根據你的需求選擇
inner、leftouter或rightouter。 - 加入前篩選:在加入操作前減少資料量。
- 考慮資料大小:將較小的表格放在連接的右側。
錯誤處理
請考慮以下診斷與處理常見聯邦查詢問題的做法。
- 檢查連線狀態:在查詢前,請確認聯邦連接器實例是否已連接。
-
處理空值:外部資料可能包含意外的空值;用途
coalesce()或isnull()函式。 - 監控查詢效能:追蹤聯邦查詢的執行時間,以找出效能問題。
疑難排解
查詢未回傳結果
- 確認連接器實例是否處於連接狀態。
- 確認外部資料來源是否可用,以及查詢中目標的資料表。
- 根據目標資料來源,驗證權限並未從服務主體或 Sentinel 受控識別中移除。
- 請確認你使用的是正確的聯邦表格名稱格式。
- 確保在您的 KQL 查詢或 Notebook 工作階段的瀏覽窗格中,能找到系統表格。
查詢速度很慢
- 應用過濾器以減少從外部來源查詢的資料量。
- 檢查外部來源的效能與可用性。
- 考慮建立經常存取資料的摘要表。
結構描述不相符
- 在資料表管理檢視中檢視資料表架構。
- 調整你的查詢以處理結構差異。
- 檢查外部資料表結構自連接器建立後是否有變動。
無法執行聯邦表格的 MCP 工具
確保你在 MCP 工具中引用聯邦資料表時,在資料表名稱 workspace("default"). 前加上前綴。