撰寫偵測規則

Important

《Lakewatch》目前處於 私人預覽版狀態。 若要申請存取權限,請聯絡您的 Azure Databricks 帳戶團隊。

偵測規則的邏輯是定義它搜尋什麼的 SQL。 本頁說明規則如何執行、如何選擇常見偵測模式的方法,以及如何將規則範圍設定到正確的資料視窗。 關於建立規則的介面步驟,請參見 建立與管理偵測規則。

偵測規則的執行方式

Lakewatch 的每一條偵測規則都有固定的時間表。 當規則執行時,它會在一段時間內執行你的偵測 SQL,並為每個符合項目產生 訊號。 你寫完整查詢,包括子 FROM 句,這樣規則才能連接資料表、掃描整個資料表,或計算聚合資料。 你提供的 SQL 倉庫上會執行排程偵測規則。 請參見 設定偵測資料倉儲。

你設定規則的排程,並在建立時設定其運算。 請參閱 建立與管理偵測規則。

選擇一種方法

此表格將常見的偵測模式對應到您如何撰寫每一項:

偵測規則 Example 如何撰寫它
簽章或 IOC 比對 已知惡意清單中的行程雜湊;與已標記 IP 的連線 將事件與已知不良值清單相匹配
原子訊號 新增管理員帳號;清空稽核日誌;新增信箱轉寄規則 匹配一個本身就值得注意的事件
短窗口閾值 1 分鐘內單一使用者超過 5 次登入失敗;10 分鐘內單一 IP 對 20 個帳號登入失敗 短時間排程的彙總與閾值
行為基線或異常 使用者存取的伺服器數量遠超過其過去 30 天的常態 與基線表格比較
罕見或首次出現 一個前所未見的處理程序雜湊值;首次被新增至特權群組 與已看過清單資料表比較
跨來源相關性 登入,然後檔案分享存取,再外流,跨來源關聯 可按小時或更短時間跨來源聯結

將規則限定於時間範圍

盡可能將規則範圍設定在相關的時間範圍,而非掃描整個資料表。 使用 IN_TIMERANGE 函式來表達該 window,並讓 run 提供界限:

SELECT *
FROM process_activity
WHERE IN_TIMERANGE(<event_time>)
  AND activity_id = 1
  AND endswith(lower(process.name), '\\hashcat.exe')

將 <event_time> 取代為 TIMESTAMP 欄位或運算式以進行篩選。

IN_TIMERANGE(<event_time>) 會在事件落在目前執行的有效時間範圍內時傳回 true。 範圍為半開區間:包含時間戳等於視窗開始的事件,但排除等於結束的事件。 這樣可以避免在不重疊的視窗間共用端點。 非零 extend_lookback 會故意讓連續的視窗重疊。 訊號去除重複控制來自相符資料列的重複訊號。 你不需要自行將開始和結束時間寫入 SQL。 相反地,Lakewatch 會根據查詢的執行方式提供範圍:

  • 對於排程執行,基準視窗從前一個排定觸發時間開始,直到當前排定觸發時間結束。 此時間窗口不受排程延遲影響。 為了考慮擷取延遲,請參見 使用 extend_lookback 延長時間範圍。
  • 在查詢頁面(你可以用來建立規則)中,你可以用日期/時間選擇器選擇時間範圍。 由於查詢頁面上寫的 SQL 本身不包含時間範圍,因此可作為偵測規則部署,且不作更改。

使用 extend_lookback 擴展視窗

IN_TIMERANGE(<event_time>) 會根據事件時間進行篩選,但日誌通常會在事件發生幾分鐘後才到達資料表。 一列可能在其視窗涵蓋其事件時間的那次執行已結束之後才到達,而後續執行則掃描較新的事件時間,造成覆蓋缺口。 extend_lookback,一個可選的每條規則設定,會提前視窗起始時間,使每次執行重新掃描較舊事件時間的切片,並捕捉自上次執行以來已抵達的列。 它只改變最早的界限值。 最新界限停留在目前預定的觸發時間。 將其設為持續時間,例如 30s、 10m或 2h。 排程規則掃描的視窗為其排程週期加上 extend_lookback:

extend_lookback Schedule 掃描時間範圍(結束於排程觸發時間)
未設定(預設 15 分鐘) 每 5 分鐘 過去 20 分鐘
0s 每 5 分鐘 前 5 分鐘
12m 每 30 分鐘 前42分鐘
5h 每 10 分鐘 過去 5 小時 10 分鐘

重疊的執行作業可能會多次選取同一列。 保持訊號去重開啟,並選擇一個涵蓋該列可再次選取期間的去重視窗。 較長的回溯時間並不自動延長重複去重視窗。 避免僅為簿記而在 SQL 結果中加入會變動的值,例如 CURRENT_TIMESTAMP(),因為變更後的結果列並非重複。 請參見 訊號去重。

如果你沒有設定 extend_lookback,Lakewatch 會預設 15 分鐘。 大多數企業來源會在幾分鐘內送達,但很少能保證明確的最長時間上限,因此預設值可涵蓋常見的延遲到達情況,無需調整。

要在 UI 中設定 extend_lookback,請在偵測 SQL 旁的 Extend lookback 輸入一個時長。 使用有序的天、小時、分鐘和秒數值,例如 15m 或 1h30m。 留空以使用預設的 15 分鐘,或是輸入 0s 以停用延長功能。 除非你的 SQL 使用 IN_TIMERANGE,否則此設定沒有作用。

選擇合適的時間欄位

事件時間欄位搭配 extend_lookback,對幾乎所有規則而言,都是正確的作法。 估算你來源的攝取延遲並設定 extend_lookback 以涵蓋該延遲,或對於可迅速傳送的來源,則依賴 15 分鐘預設值。

如果某個來源的擷取延遲變化太大,沒有單一 extend_lookback 能可靠涵蓋,你可以改為根據擷取時間設定規則範圍。 在 Lakewatch 資料來源產生的資料表中,欄位 lw_meta.ingestion_time 記錄 Lakewatch 在擷取後寫入每一列的時間,因此該欄位上的視窗不受傳遞延遲影響:

WHERE IN_TIMERANGE(lw_meta.ingestion_time)

只有在 Event Time Plus extend_lookback 無法勝任時,才使用這個。 每次執行會涵蓋固定的 擷取 時間切片,而非 事件 時間,因此事件自身的時間戳記可能落在執行的名義視窗之外,這會扭曲時間桶聚合。 先試著用事件時間解決它。

避免錨定於 NOW() 或 CURRENT_TIMESTAMP()

一個常見的模式是根據當前時鐘時間手動寫入視窗:

-- Avoid this
WHERE time BETWEEN CURRENT_TIMESTAMP() - INTERVAL 24 HOUR AND CURRENT_TIMESTAMP()

這對例行執行來說可行,但可能會產生問題:

  • 漏點或重複計數的資料:像「上一小時」這樣的視窗是鎖定在執行執行的時間點,而非它原本要覆蓋的切片。 若 3:00 的執行延遲至 3:12,掃描時間為 2:12 至 3:12,留下 2:00 至 2:12 的空檔,且可能與下一次執行重疊。 IN_TIMERANGE 從排程切片推導視窗,因此延遲執行不會留下空隙。 排定運行的重疊來自 extend_lookback。 請參閱使用 extend_lookback 延長視窗。
  • 排程變更:如果你把規則從每 15 分鐘改成每 30 分鐘,硬編碼的 INTERVAL 15 MINUTES 就會是錯的,直到你記得去編輯它。 使用 IN_TIMERANGE時,視窗會遵循排程。
  • 重新套用時間視窗:補填缺失的時段、資料修正後重播,或是針對舊資料預覽新規則,都會在不同視窗執行相同規則。 鎖定的 NOW() 查詢無法在沒有手動編輯的情況下做到這點。
  • 可重複性:在相同界限下,IN_TIMERANGE 每次都會掃描相同的資料列,因此結果可重複。 與 NOW() 相關聯的查詢會隨每次執行而改變。

僅在需要參考真實牆鐘時間的情況下保留 NOW() 和 CURRENT_TIMESTAMP(),例如計算事件距今多久。

參考該執行的視窗 TIMERANGE_NOW()

當你需要一個尊重執行視窗而非牆上時鐘的「現在」值時,請使用 TIMERANGE_NOW()。 它會回傳該次執行的排程觸發時間,並在未設定視窗時(例如在查詢頁面上)回退到實際的當前時間。 用它手動構建 IN_TIMERANGE 無法表達的視窗,例如偏移視窗或在一次掃描中掃描兩個不相鄰的時期:

Schedule 述詞 Result
每 10 分鐘 time >= TIMERANGE_NOW() - INTERVAL 17 MINUTE AND time < TIMERANGE_NOW() - INTERVAL 7 MINUTE 將10分鐘的視窗推回過去7分鐘
每天 (time >= TIMERANGE_NOW() - INTERVAL 1 DAY AND time < TIMERANGE_NOW()) OR (time >= TIMERANGE_NOW() - INTERVAL 8 DAY AND time < TIMERANGE_NOW() - INTERVAL 7 DAY) 與預定時段結束前的 24 小時及七天前對應的 24 小時期間相符

這些謂詞使用相對於 TIMERANGE_NOW() 的固定偏移量。 更改排程不會改變它們的區間常值。 extend_lookback 不會擴大這些手動指定的視窗,因為它只改變了 IN_TIMERANGE 所使用的受管理的起始界限。

下表總結了使用每個函數的時機:

目標 使用
將規則限定於其時間範圍內 IN_TIMERANGE(<event_time>)
參照符合此次執行視窗的「現在」時間 TIMERANGE_NOW()