在 Microsoft Sentinel 資料湖中創建 KQL 任務

Kusto 查詢語言（KQL）工作是對 Microsoft Sentinel 資料湖及聯邦資料表中資料進行的一次性或排程 KQL 查詢。 聯合資料表是外部資料來源，例如 Microsoft Entra ID、Microsoft 365 和 Microsoft Resource Graph 資料表，你可以與資料湖資料表一同查詢，而不必將資料匯入工作區。 使用工作來因應調查與分析情境，例如：

• 執行時間較長的一次性查詢，用於事件調查和事件回應 (IR)
• 支援使用低保真日誌之資料擴充工作流程的資料彙整任務
• 歷史威脅情報 (TI) 匹配掃描以供回顧分析
• 異常偵測掃描，能在多個資料表中識別異常模式

當查詢需要跨不同資料集進行聯結或聯集時，KQL 作業會特別有效。 在開始之前，請先確認你已符合 先決條件，包括資料湖導入及所需權限。

使用工作將資料從資料湖層提升到分析層。 進入分析層後，使用進階的狩獵 KQL 編輯器查詢資料。 將數據提升至分析層級有以下好處：

• 將分析層級的當前與歷史資料結合，或來自聯合資料表，對你的資料執行進階分析與機器學習模型。
• 透過在分析層級執行查詢來降低查詢成本。
• 將多個工作區的資料合併到分析層級的單一工作區。
• 在分析層級結合 Microsoft Entra ID、Microsoft 365 和 Microsoft Resource Graph 資料，以跨資料來源進行進階分析。

你可以將資料升遷到新表格，或將結果附加到分析層級的現有表格。 建立新資料表時，資料表名稱會加上 _KQL_CL ，表示該資料表是由 KQL 工作建立的。

你可以選擇性地將 KQL 工作的輸出寫入資料湖層的另一個資料表，以加快調查速度，或利用豐富的資料進行威脅狩獵。 建立新資料表時，如果將資料寫入系統資料表工作區，資料表名稱後面會加上 _KQL 後綴。

必要條件

要在 Microsoft Sentinel 資料湖中建立和管理 KQL 工作，你需要以下先決條件。

上線至資料湖

要在 Microsoft Sentinel 資料湖中建立和管理 KQL 工作，您必須先登入資料湖。 如需上限資料湖的更多資訊，請參閱 Onboard to the Microsoft Sentinel data lake.

權限

Microsoft Entra ID 角色提供資料湖中所有工作空間的廣泛存取權限。 若要讀取所有工作區中的資料表、寫入分析層，以及使用 KQL 查詢排定工作，您必須具備其中一種受支援的 Microsoft Entra ID 角色。 欲了解更多角色與權限資訊，請參閱 Microsoft Sentinel 資料湖角色與權限。

要在分析層建立新的自訂資料表，請將 Log Analytics 工作空間中的 Log Analytics 貢獻 者角色指派給資料湖管理身份。

要指派角色，請依照以下步驟操作：

1. 在 Azure 入口網站，前往你想指派角色的 Log Analytics 工作空間。
2. 在左側導覽窗格中選取 存取控制 (IAM)。
3. 選擇 新增角色指派。
4. 在 角色 資料表中，選取 *Log Analytics Contributor，然後選取 「下一步」。
5. 選擇 管理身份，再選擇 選擇成員。
6. 您的資料湖受控識別是名為 msg-resources-<guid> 的系統指派受控識別。 選擇受管理身份，然後選擇選擇。
7. 選擇 檢閱並指派。

欲了解更多關於如何分配角色給受管理身份的資訊，請參見使用 Azure 入口網站指派 Azure 角色。

創造一份工作

你可以建立作業，讓其依排程執行或單次執行。 建立作業時，你可以指定用於存放結果的目的地工作區和資料表。 你可以將結果寫入新資料表，或附加到分析或資料湖層級的現有資料表。 你無法將結果寫入聯邦表格。 你可以建立一個新的 KQL 工作，或是從包含查詢和工作設定的範本建立一個工作。 欲了解更多資訊，請參閱 從範本建立 KQL 工作。

1. 請從 KQL 查詢編輯器或工作管理頁面開始工作建立流程。

   1. 要從 KQL 查詢編輯器建立工作，請在查詢編輯器右上角選擇 「建立工作 」按鈕。

   2. 若要從作業管理頁面建立作業，請依序選取 [Microsoft Sentinel>資料湖探索>作業]，然後選取 [建立作業] 按鈕。

2. 輸入 職缺名稱。 工作名稱必須對租戶來說是獨一無二的。 職缺名稱最多可包含 256 個字元。 你不能在職缺名稱中使用 a # 或 a - 。

3. 請填寫一份職 缺說明 ，說明該職位的背景與目的。

4. 從 「選擇工作區 」下拉選單中，選擇目的地工作區。 這個工作區可以是系統資料表，也可以是你想寫查詢結果的 Sentinel 工作區。

5. 選擇目的地表格：

   1. 要附加到現有資料表，請選擇 「新增到現有資料表 」，並從下拉選單中選擇資料表名稱。 在新增現有資料表時，查詢結果必須與該資料表的結構相符。

6. 選取 [下一步]。

7. 在 「準備查詢」 面板中檢視或撰寫你的查詢。 如果查詢中沒有指定日期範圍，請檢查時間選擇器是否設定為該工作所需的時間範圍。

8. 從 「已選取的工作區 」下拉選單中選擇要執行查詢的工作區。 這些工作區就是你想要查詢的資料表的來源工作區。 你選擇的工作區決定了可供查詢的資料表。 所選的工作區會套用到查詢編輯器中的所有查詢分頁。 使用多個工作空間時， union() 操作符預設會套用到來自不同工作空間、名稱與結構相同的資料表。 使用 workspace() 運算子查詢特定工作區的資料表，例如 workspace("MyWorkspace").AuditLogs。

   注意事項

   如果你寫入已存在的資料表，查詢必須回傳與目標資料表結構相符的結構結果。 如果查詢沒有回傳正確的結構，執行時該工作就會失敗。

   將 KQL 作業寫入系統資料表目前仍處於預覽狀態。

9. 選取 [下一步]。

   

   在 「排程查詢工作」 頁面上，選擇要讓此工作執行一次，還是依排程執行。 如果你選擇 一次性，工作定義完成後就會執行。 選擇 排程後，你可以指定工作執行的日期和時間，或以定期排程執行。

10. 選擇 一次性 或 排程工作。

    注意事項

    編輯一次性作業會立即觸發其執行。

11. 如果您選擇排程，請輸入下列詳細資料：

    1. 從下拉選單選擇 重複頻率 。 您可以選擇 按分鐘、 按小時、 每日、 每週或 每月。
    2. 設定 [重複間隔] 值，以決定您希望作業根據所選頻率來執行的間隔。
    3. 在 設定排程中，選擇 「寄件 日期」並輸入時間。 From 欄位的工作開始時間必須在職缺創造後至少 30 分鐘內。 作業會從這個日期和時間開始，依 [執行間隔] 下拉式清單中選取的頻率執行。
    4. 選擇 「至日期 」，並輸入時間以指定工作排程結束的時間。 如果你想讓排程無限持續，請選擇 設定工作無限執行。

    作業的開始與結束時間會依使用者的地區設定。

    注意事項

    如果你將作業排程為以高頻率執行，例如每 30 分鐘一次，就必須將資料在資料湖中可供使用所需的時間納入考量。 通常有長達 15 分鐘的延遲，直到新匯入的資料可供查詢。

12. 選擇 「下一步 」以查看職缺詳情。

    

13. 查看職缺細節後選擇 提交 以建立職缺。 如果工作是一次性工作，選擇 提交後就會執行。 如果作業已排程，則會新增到 作業 頁面的作業清單中，並依開始日期和時間執行。

14. 作業已排程，並顯示下列頁面。 您可以透過點擊連結查看職缺。

從範本建立工作

你可以從預先定義的工作範本建立 KQL 工作。 工作範本包含 KQL 查詢與工作設定，例如目的工作區與資料表、排程及描述。 你可以自行建立職缺範本，或使用 Microsoft 提供的內建範本。

要從範本建立工作，請遵循以下步驟：

1. 從 職缺 頁面或 KQL 查詢編輯器中，選擇 建立工作，然後選擇 從範本建立。

2. 在 工作範本 頁面，從可用範本列表中選擇你想使用的範本。

3. 請從範本中檢視 描述 和 KQL 查詢 。

4. 選擇 從範本建立作業。

   

5. 工作建立精靈會以 「建立新的 KQL 工作 」頁面開啟。 除了目的地工作區外，作業詳細資料皆會從範本預先填入。

6. 從 「選擇工作區 」下拉選單選擇目的地工作區。

7. 檢視並依需求修改職缺細節，然後選擇 「下一 頁」進入職缺建立精靈。

8. 剩下的步驟與 「創造工作」相同。 欄位是從範本預先填充，並可依需求進行修改。

以下範本可供參考：

考量與限制

當您在 Microsoft Sentinel 資料湖中建立工作時，請考慮以下限制與最佳實務：

為 KQL 工作輸出選擇資料層級

KQL 工作可以視目的地資料表所在的層而定，將資料寫入分析層或資料湖層。 透過工作建立精靈建立新資料表時，你可以選擇系統資料表作為目的地工作區，直接將資料寫入資料湖。 以此方式建立的資料表會直接建立並儲存在資料湖層級，並自動加上_KQL。

資料湖作業的 KQL 注意事項

以下 KQL 限制適用於資料湖作業：

• 除以下項目外，所有 KQL 運算子與函式皆被支援：

  • adx()
  • arg()
  • externaldata()
  • ingestion_time()

• 使用指令 stored_query_results 時，請在 KQL 查詢中提供時間範圍。 查詢編輯器上方的時間選擇器無法使用此指令。

• 使用者自訂函式不被支援。

工作命名與排程限制

以下命名與排程限制適用於 KQL 作業：

• 工作名稱必須對租戶來說是唯一的。
• 職缺名稱最多可達256字元。
• 職缺名稱不能包含 a # 或 -。
• 工作開始時間必須至少在工作建立或編輯後 30 分鐘。

來源工作區刪除

如果排程 KQL 工作所參考的來源工作空間被刪除，該工作可能會在每次排程執行中持續執行並失敗，直到排程到期或工作被修改為止。 為防止重複失敗及不必要的資源消耗，引用已刪除來源工作區的工作會自動置於 「停用 」狀態，且需使用者操作後才能恢復。

資料湖資料擷取延遲

資料湖層級將資料存放在冷儲存中。 與熱或近即時分析層級不同，冷存儲優化了長期保存與成本效益，無法立即存取新匯入的資料。 當資料湖或聯邦資料表中新增資料列時，通常會有長達 15 分鐘的延遲，資料才可用查詢。 在執行查詢和排程 KQL 工作時，請考慮匯入延遲，確保回查視窗和工作排程設定為避免尚未取得的資料。

為避免查詢尚未可用的資料，請在 KQL 查詢或工作中加入延遲參數。 例如，當你排程自動化工作時，將查詢的結束時間設為 now() - delay，其中 delay 與典型的資料準備延遲 15 分鐘相符。 這種做法確保查詢只針對已完全擷取且準備好分析的資料。

以下 KQL 查詢可在 15 分鐘回溯視窗內偵測事件，並考慮吞入延遲。 變 lookback 數控制查詢時間範圍， delay 並偏移視窗以確保只查詢完全攝取的資料。

let lookback = 15m;
let delay = 15m;
let endTime = now() - delay;
let startTime = endTime - lookback;
CommonSecurityLog
| where TimeGenerated between (startTime .. endTime)

此方法適用於回查窗口短或執行間隔頻繁的工作。

考慮將回溯期與工作頻率重疊，以降低遺漏晚到資料的風險。

欲了解更多資訊，請參閱 「處理排程分析規則中的擷取延遲」。

欄名

欄名必須以字母開頭。

以下標準欄位不支援匯出。 資料擷取程序會覆寫目標層中的這些欄位：

• 租戶識別

• _TimeReceived

• 類型

• 原始碼系統

• _ResourceId

• _SubscriptionId

• _ItemId

• _BilledSize

• _IsBillable

• _WorkspaceId

• TimeGenerated 如果資料超過兩天，則會被覆寫。 為了保留原始事件時間，請將來源時間戳記寫入獨立欄位。

關於服務限制，請參見 Microsoft Sentinel 資料湖服務限制。

KQL 工作服務參數與限制

下表列出 Microsoft Sentinel 資料湖中 KQL 工作中的服務參數與限制。

當並行工作執行限制超過時，請求會 被拒絕 且不會排隊。 執行中的作業一完成，計數器便會遞減。

如需故障排除提示和錯誤訊息，請參閱 Microsoft Sentinel 資料湖的 KQL 查詢疑難排解。

相關內容

• 管理 Microsoft Sentinel 資料湖中的作業
• Microsoft Sentinel 資料湖概觀
• Microsoft Sentinel 資料湖中的 KQL 查詢
• Jupyter Notebook 與 Microsoft Sentinel 資料湖