隨著安全資料量持續增加，組織面臨在成本效益高地保留用於 AI、合規及調查的遙測資料，同時確保高效能儲存層級僅保留必要資料的挑戰。 在 Microsoft Sentinel 中使用篩選與分割資料轉換，透過在資料擷取時修改資料，優化資料保留策略，來解決這個挑戰。
本文說明如何在不手動建立自訂資料收集規則 (DCR) 設定的情況下，設定篩選與拆分資料轉換。 當你透過過濾和分割資料轉換來調整資料擷取時，可以提升效能並減少雜訊。
透過使用資料轉換，您可以優化安全資料管線，控制哪些資料被儲存及在哪個層級。 使用濾波器與分割轉換帶來以下好處：
成本優化：透過過濾對威脅偵測無貢獻的低價值資料，降低儲存與處理成本。 將較少存取的資料移轉至具成本效益的資料湖儲存體，同時將高優先順序資料保留在分析層。
提升 SOC 效率：將您的安全營運中心 (SOC) 聚焦於可執行且高價值的事件。 透過在輸入時移除雜訊，分析師減少篩選無關日誌的時間，更多時間調查真實威脅。
更快的查詢效能：分析層中較小的資料集能加快查詢執行速度，使你的威脅狩獵、事件調查及分析規則更具反應性。
合規與保留彈性：在資料湖層級維持全面的資料保留，以供法規稽核與鑑識分析，同時優化分析層以滿足營運工作負載。 在資料湖層級維持全面保留，同時優化分析層級，能在不犧牲效能的前提下滿足合規要求。
可擴展的資料管理：隨著組織資料量的成長，轉型有助於你掌控成本與績效。 在資料表間套用一致的政策，以確保資料管理可預測。
過濾與分割轉換是更大轉換框架的第一步，讓你能夠依需求演進資料。 欲了解更多資料轉換概念，請參閱 Microsoft Sentinel 中的自訂資料擷取與轉換。
必要條件
在設定篩選或分割轉換規則前，請先確認以下需求：
您的 Microsoft Sentinel 工作空間必須已接入 Defender 入口網站。 欲了解更多資訊，請參閱「連接 Microsoft Sentinel 與 Microsoft Defender 入口網站」。
在 Microsoft Defender 入口網站中，採用統一角色型存取控制 (RBAC) 時，資料 (管理) 權限位於 資料作業 權限群組底下。
對於 Microsoft Sentinel 工作區，您需要具備 Log Analytics 參與者 角色，此角色提供：
- Microsoft.OperationalInsights/workspaces/write
- Log Analytics 工作區的 Microsoft.OperationalInsights/workspaces/tables/write 權限。
若要設定分割轉換：
- 將工作空間接入 Microsoft Sentinel 資料湖。
- 請確保該表格目前處於分析層級。
支援的資料表
篩選和分割轉換對資料表的支援需求各不相同。 資料收集規則（DCRs）決定資料在攝取過程中如何被收集與轉換。
- 過濾：支援任何支援 DCR 的資料表。
- 拆分：適用於任何僅支援分析擷取、僅支援 Data Lake 擷取及資料收集規則 (DCR) 的資料表。
欲確認連接器的表格是否支援 DCR，請參閱「尋找你的 Microsoft Sentinel 資料連接器」。
濾波器轉換
過濾器轉換能讓你在擷取過程中丟棄對調查無用的資料來減少雜訊。 使用過濾轉換規則指定一個 KQL 條件，決定要過濾哪些資料，剩餘資料則送往分析層級。
需要時使用濾波器轉換：
- 減少雜訊：透過過濾防火牆日誌中例行且低嚴重性的日誌（如「允許」事件），將 SOC 聚焦於可執行的事件。
- 優化成本：透過丟棄不有助於威脅偵測的資料，降低儲存與處理成本。
- 提升效能：透過減少儲存資料量，加快查詢速度並簡化分析流程。
請考慮以下濾波器轉換的範例：
您的企業依賴防火牆日誌來識別異常。 大多數防火牆日誌都是例行的「允許」事件，嚴重度低，且不會影響威脅偵測。 若要僅保留重要事件，例如受阻的流量或高嚴重性，並篩選掉低價值記錄，請建立帶有 KQL 條件的篩選轉換規則，僅傳送中或高嚴重性且不屬於「允許」事件的資料到分析層。
分割轉換
分割轉換讓你能根據指定條件在分析層級與資料湖層級之間路由資料。 使用分割轉換規則定義一個 KQL 表達式，決定哪些資料會進入 Analytics。 與表達式不符的資料只會被導向資料湖層級。
注意事項
當你設定分割轉換時，分配給分析層的資料也會同步到資料湖層級。 不符合分析標準的資料只會進入資料湖層級。 將分析層級資料鏡像至資料湖，並僅將不相符的資料傳送至資料湖，可確保您的所有資料在資料湖中持續可供長期保留及合規之用。
當你需要透過將資料路由到適當的儲存層級來平衡成本與效能時，可以使用分割轉換：
- 優化儲存成本：將較舊或較少被存取的日誌導向資料湖層級，以達成具成本效益的長期儲存。
- 維持效能：將近期日誌保留在分析層級，以便在主動威脅狩獵時更快查詢。
- 符合合規要求：保留歷史日誌以供監管稽核與鑑識分析使用，同時不犧牲營運敏捷性。
請考慮以下分裂變換的例子：
您的企業每天會接收數百萬筆防火牆日誌，以進行威脅偵測與合規。 您的 SOC 團隊需要即時存取近期日誌以進行進行進行調查，同時也必須保留歷史日誌以供監管審計使用。 建立分割轉換規則，將即時資料路由至分析層，歷史資料路由至資料湖層。
重要事項
您在 Microsoft Sentinel 中建立的轉換，可能會與使用 DCR 在 Azure 監視器 中建立的轉換發生衝突。 例如，若資料表已套用 DCR，僅擷取來自區域 A 的資料，而篩選轉換又排除了區域 A，則將不會擷取任何資料。 確保你了解並檢查將 DCR 與轉換套用到表格的綜合效果。
設定過濾器轉換規則
請依照以下步驟建立過濾器轉換規則：
在 Microsoft Defender 入口網站中，前往 Microsoft Sentinel>設定>資料表。
選擇一張桌子。 在側邊面板選擇 「過濾規則」。
在側邊面板輸入 規則名稱。
在 條件 欄位輸入一個 KQL 表達式，指定要過濾哪些資料。對於你不想匯入的資料，KQL 表達式應該會被評估為 true。
將 規則狀態 開關設為 開啟 以啟用過濾器。
重要事項
篩選器會過濾資料。符合篩選條件的資料會被丟棄，且不會被匯入分析或資料湖的層級。 確保您的 KQL 表達式準確捕捉您想排除的資料。
若要新增條件，選擇 「新增條件 」並輸入新的 KQL 表達式以過濾資料。 多個條件與邏輯 OR 結合，因此符合任何條件的資料會被過濾掉。
選擇 儲存 以套用規則。
請檢查表格的 轉換規則 欄位，確認過濾規則是否已套用。 當篩選規則啟動時，欄位會顯示「篩選」。
設定分割轉換規則
請依照以下步驟建立分割轉換規則：
在 Defender 入口網站中，移至 Microsoft Sentinel>設定>資料表。
選擇一個表格，然後選擇 分割規則。
在側邊面板輸入 規則名稱。
在 KQL 表達 式欄位中，輸入定義要匯入分析層的資料的 KQL 表達式。 不符合此表達式的資料會被匯入資料湖層級。
選擇 儲存 以套用規則。
請檢查表格的 轉換規則 欄位，確認分割規則是否被應用。 當分割規則生效時，欄位會顯示 「分割 」。
注意事項
擷取至資料湖層的拆分資料會進入另一個獨立資料表，其名稱與原始資料表相同，但會在後方加上「_SPLT」後綴。 例如，如果你對「FirewallLogs」資料表套用分割規則，路由到資料湖層的資料會被導入到另一個「FirewallLogs_SPLT」資料表。 使用獨立的 _SPLT 表格管理資料湖資料，可以分別管理分析層級和資料湖的保留與存取政策。
設定分割資料表的保留值
建立分割規則後，請設定每個層級的保留設定：
在原始資料表下方，可查看產生的 分析 與 資料湖 分割後的資料表。
若要設定保留原則，請選取 [分析] 或 [資料湖] 資料表。
選擇 資料保留設定。
設定保留期限並存檔。
或者，選取原始資料表，並在合併的資料保留設定對話方塊中，設定分析和 Data Lake 保留。
管理規則
要管理現有規則，請選擇表格，然後根據你想管理的規則類型選擇 分割規則 或 篩選規則 。
- 要停用規則，請選擇規則 狀態 開關關閉該規則，然後選擇 儲存。
- 請注意，刪除規則時，刪除轉換規則後會立即停止該規則的資料處理，並可能影響進行中的資料擷取作業。 要繼續，請選擇 刪除。
透過執行 KQL 查詢來驗證規則，確認資料被正確地被導入並導向正確的層級。
已知限制
使用濾波器與分割變換時，請注意以下限制：
XDR 表格可見性：在資料的前 30 天內，對 XDR 表格施加的分割與過濾轉換不會出現在進階狩獵中。 系統會套用這些轉換，而當資料保存時間超過最初 30 天後，該資料在 Advanced Hunting 中就會如常運作。 從 Log Analytics 或 Microsoft Sentinel 查詢的數據，能立即反映成本節省。
傳播延遲：變形可能需一小時才能生效。
資料表支援：只有支援資料收集規則 (DCR) 的資料表才支援分割和篩選轉換。