Jupyter 筆記本提供了一個互動式環境,用於探索、分析及視覺化 Microsoft Sentinel 資料湖與聯邦資料表中的資料。 有了筆記本,你可以撰寫與執行程式碼、記錄工作流程,並查看結果——全部集中在一處。 這個一體化筆記本環境,讓進行資料探索、建立先進的分析解決方案,並與他人分享洞見變得輕鬆。 透過在 Visual Studio Code 中運用 Python 與 Apache Spark,筆記本幫助你將原始安全資料轉化為可行的智慧。
本文將展示如何在 Visual Studio Code 中使用 Jupyter 筆記本探索並互動資料湖資料。
必要條件
上線至 Microsoft Sentinel 資料湖
要在 Microsoft Sentinel 資料湖中使用筆記型電腦,您必須先登入資料湖。 如果你還沒正式加入 Sentinel 資料湖,請參考「導入 Microsoft Sentinel 資料湖」一節。 如果您最近才上線至資料湖,可能需要一段時間才能擷取足夠的資料量,之後才能使用 Notebook 建立有意義的分析。
資料湖筆記本的必要權限
Microsoft Entra ID 角色提供資料湖中所有工作空間的廣泛存取權限。 或者你也可以使用 Azure RBAC 角色授權存取個別工作空間。 擁有 Azure RBAC 權限的 Microsoft Sentinel 工作區使用者,可以在資料湖層級對這些工作區執行筆記本。 欲了解更多資訊,請參閱 Microsoft Sentinel 中的角色與權限。
可選擇性地設定 Microsoft Sentinel 範圍範圍或列級 RBAC,以進一步限制工作區內的資料存取。 啟用時,資料列層級範圍限定會根據指派給使用者的範圍,限制查詢所傳回的資料。 若未設定列層級的範圍,現有的工作區層級權限模型將保持不變。 欲了解更多資訊,請參閱「設定 Microsoft Sentinel 範圍設定(資料列層級 RBAC)(預覽)」。
要在分析層建立新的自訂資料表,資料湖管理身份必須在 Log Analytics 工作空間中被指派為 Log Analytics 貢獻 者角色。
要指派該角色,請依照以下步驟操作:
- 在 Azure 入口網站中,導向你想指派角色的 Log Analytics 工作區。
- 在左側導覽窗格中選取 存取控制 (IAM)。
- 選擇 新增角色指派。
- 在 角色 表中,選擇 Log Analytics Contributor,然後選擇 下一步
- 選擇 管理身份,再選擇 選擇成員。
- 您的資料湖受控識別是系統指派的受控識別,名稱為
msg-resources-<guid>。 選擇受管理身份,然後選擇選擇。 - 選擇 檢閱並指派。
欲了解更多關於如何分配角色給受管理身份的資訊,請參見使用 Azure 入口網站指派 Azure 角色。
安裝 Visual Studio Code 與 Microsoft Sentinel 擴充功能
如果你還沒有 Visual Studio Code,請下載並安裝 Mac、Linux 或 Windows 版的 Visual Studio Code。
Visual Studio Code (VS Code) 的Microsoft Sentinel擴充功能是從擴充套件市集安裝的。 安裝擴充功能請依照以下步驟操作:
- 在左側工具列選擇擴充套件市集。
- 搜尋 Sentinel。
- 選擇 Microsoft Sentinel 擴充功能並選擇安裝。
- 安裝擴充功能後,Visual Studio Code工具列圖示中
會出現在左側工具列。
安裝適用於 Visual Studio Code 的 GitHub Copilot 擴充功能,以在筆記本中啟用程式碼完成和建議。
- 在擴充套件市集搜尋 GitHub Copilot 並安裝。
- 安裝完成後,請使用 GitHub 帳號登入 GitHub Copilot。
探索資料湖分層資料表
安裝 Microsoft Sentinel 擴充功能後,你可以開始探索資料湖層級資料表,並建立 Jupyter 筆記本來分析資料。
登入 Microsoft Sentinel 擴充功能
要登入 Microsoft Sentinel 擴充功能,請依照以下步驟操作:
在左側工具列選擇
圖示。會跳出一個包含以下文字的對話框:擴充功能「Microsoft Sentinel」想用 Microsoft 登入。 選擇 允許。
選擇您的帳號名稱以完成登入。
如果你的登入帳號綁定了多個訪客帳號,你可以無縫切換帳號。 要在帳號間切換,請在 Visual Studio Code 視窗左下角選擇帳號名稱。 一次只能選擇一個帳號。
重要事項
在帳號間切換會斷開所有活躍的 pyspark 會話。
檢視資料湖資料表與工作
登入後,Sentinel 擴充功能會在左側窗格顯示 Lake 表格和工作列表。 這些資料表依資料庫和類別分組。 聯邦表格顯示在系統表格下的聯邦表格類別中。 選擇表格以查看欄位定義。
關於排程筆記本工作,請參閱本文中的 「建立與管理筆記本工作與排程 」。 欲了解更多聯邦資料表的資訊,請參閱「在 Microsoft Sentinel 資料湖中使用聯邦資料表」。
建立一個新的筆記本
要在 Visual Studio Code 中建立新的 Jupyter 筆記本,請遵循以下步驟:
要建立新筆記本,請使用以下其中一種方法。
在新筆記本中,將以下程式碼貼到第一個儲存格。
from sentinel_lake.providers import MicrosoftSentinelProvider data_provider = MicrosoftSentinelProvider(spark) table_name = "EntraGroups" df = data_provider.read_table(table_name) df_filtered = df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100, truncate=False) # Transform the dataframe df_transformed = df.filter(df.mail.isNotNull()).select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId") write_options = { 'mode': 'overwrite' } # Save to a new table data_provider.save_as_table(df_transformed, "EntraGroups_Processed_SPRK", write_options=write_options)編輯器會為資料湖中的
MicrosoftSentinelProvider類別和資料表名稱提供 IntelliSense 程式碼完成功能。選取中,即可在中型執行階段集區中執行 Notebook。 欲了解更多不同執行時的資訊,請參閱 「選擇適當的執行時池」。
注意事項
選擇核心會啟動 Spark 會話,並在筆記本中執行程式碼。 選擇泳池後,課程開始通常需要3到5分鐘。 由於工作階段已在使用中,後續的執行速度會較快。
當工作階段開始時,筆記本中的程式碼會執行,結果會顯示在程式碼儲存格下方的輸出面板中,例如:
如需示範如何與 Microsoft Sentinel 資料湖互動的範例筆記本,請參見 Microsoft Sentinel 資料湖範例筆記本。
從狀態列監控筆記本狀態
筆記本底部的狀態列提供筆記本及 Spark 會話的當前狀態資訊。 狀態列包含以下資訊:
所選 Spark 池的 vCore 利用率百分比。 將滑鼠游標懸停在百分比上方,即可查看已使用的 vCore 數目,以及集區中可用的 vCore 總數。 百分比代表登入帳號在互動式與工作負載上的當前使用情況。
例如 Spark 會話的連線狀態,例如
Connecting、Connected、 或Not Connected。
設定工作階段逾時時間
您可以設定互動式筆記本的工作階段逾時和逾時警告。 這些設定會保留在擴充功能的設定中,因此能在不同工作階段中保留。
要更改逾時,請在筆記本底部的狀態列中選擇連線狀態。 從以下選項中選擇:
設定會話逾時時間:設定時間(分鐘),在會話逾時前。預設是30分鐘。
重設會話逾時期間:將會話逾時重置為預設值 30 分鐘。
設定會話逾時警告期間:設定在逾時前的分鐘數,顯示會話即將逾時的警告。預設是 5 分鐘。
重設會話逾時警告期間:將會話逾時警告重設為預設值 5 分鐘。
在筆記本中使用 GitHub Copilot
使用 GitHub Copilot 幫助你在筆記本中寫程式碼。 GitHub Copilot 會根據你的程式碼情境提供程式碼建議和自動補全。 要使用 GitHub Copilot,請確保你在 Visual Studio Code 中安裝了 GitHub Copilot 擴充功能。
從 Microsoft Sentinel 資料湖範例筆記本複製程式碼,並儲存在筆記本資料夾中,為 GitHub Copilot 提供上下文。 GitHub Copilot 將能根據筆記本的情境建議完成程式碼。
以下範例展示了 GitHub Copilot 產生程式碼審查的過程。
使用 Microsoft Sentinel Provider 類別
要連接 Microsoft Sentinel 資料湖,請使用這個MicrosoftSentinelProvider類別。
該 MicrosoftSentinelProvider 類別是模組的一部分 sentinel_lake.providers ,並提供與資料湖互動的方法。 要將 Spark 筆記本連接到 Microsoft Sentinel 資料湖資料表,匯入類別並使用 spark session 建立實例。 以下程式碼初始化 Sentinel Lake 資料提供者,使筆記本能從 Spark 查詢 Microsoft Sentinel 資料表:
from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)
欲了解更多可用方法資訊,請參閱 Microsoft Sentinel 提供者類別參考。
選擇適當的執行時池
在 Microsoft Sentinel 擴充功能中,有三個執行時池可用來執行你的 Jupyter 筆記型電腦。 每個池子都針對不同的工作負載與效能需求設計。 執行池的選擇會影響 Spark 工作的效能、成本與執行時間。
| 執行階段集區 | 推薦使用案例 | 特徵 |
|---|---|---|
| 小 | 開發、測試與輕量級探索性分析。 工作負載小,轉換簡單。 優先考量成本效益。 |
適合小型工作負載 簡單的變身。 成本較低,執行時間更長。 |
| Medium | ETL 工作,包含連接、聚合和機器學習模型訓練。 中等工作負載,並進行複雜的轉換。 |
效能優於 Small。 處理平行運算及中等記憶體密集型運算。 |
| 大 | 深度學習與機器學習工作負載。 大量資料重分配、大型聯結作業或即時處理。 關鍵執行時間。 |
高記憶體與運算能力。 延遲極少。 最適合大型、複雜或時間敏感的工作負載。 |
注意事項
初次存取時,核心選項載入時間約為 30 秒。
選擇執行時池後,工作階段可能需要 3 至 5 分鐘才能啟動。
查看訊息、日誌與錯誤
訊息、日誌和錯誤訊息會在 Visual Studio Code 的三個區域顯示。
輸出面板。
- 在輸出面板中,從下拉選單選擇 Microsoft Sentinel。
- 選擇 除錯 以包含詳細的日誌條目。
筆記本中的內行訊息提供關於程式碼單元執行的回饋與資訊。 這些訊息包括執行狀態更新、進度指示,以及與前一儲存格程式碼相關的錯誤通知
Visual Studio Code 右下角的通知快顯視窗 (也稱為快顯通知訊息) 提供筆記本和 Spark 工作階段內作業狀態的即時警示和更新。 這些通知包括訊息、警告和錯誤警示,例如成功連線至 Spark 工作階段,以及逾時警告。
建立並管理筆記本工作與排程
你可以使用 Visual Studio Code 的 Microsoft Sentinel 擴充功能,將工作排程在特定時間或間隔執行。 工作讓你能自動化資料處理任務,以彙總、轉換或分析 Microsoft Sentinel 資料湖中的資料。 工作也可用於處理資料,並將結果寫入資料湖層或分析層中的自訂資料表。 欲了解更多關於建立與管理工作資訊,請參閱 「建立與管理 Jupyter 筆記本工作」。
VS Code 筆記本的服務參數與限制
下列章節列出使用 VS Code Notebooks 時,Microsoft Sentinel 資料湖的服務參數與限制。
| 類別 | 參數/極限 |
|---|---|
| 分析層中的自訂資料表 | 分析層級的自訂表格無法從筆記本中刪除;請使用 Log Analytics 刪除這些資料表。 欲了解更多資訊,請參閱 Azure 監視器 日誌中的新增或刪除資料表與欄位 |
| 閘道 Web Socket 逾時 | 2 小時 |
| 互動式查詢逾時 | 2 小時 |
| 互動式工作階段閒置逾時 | 20 分鐘 |
| 語言 | Python |
| Graph 查詢逾時 | 7.5分鐘 |
| 筆記本工作逾時 | 8 小時 |
| 筆記本作業最大同時執行數量 | 3,後續工作將排入佇列 |
| 互動查詢上的最多同時用戶數 | 在大型集區上為 8-10 |
| 會話啟動時間 | Spark 運算會話大約需要 5-6 分鐘開始。 你可以在你的 VS Code 筆記本底部查看該場次的狀態。 |
| 支援函式庫 | 只有 Azure Synapse 函式庫 3.4 和 Microsoft Sentinel Provider 函式庫用於抽象函數,才支援查詢資料湖。 Pip 安裝或自訂函式庫不被支援。 |
| VS Code UX 顯示記錄的限制 | 100,000 列 |
疑難排解
關於筆記型電腦常見問題與解決方法,請參閱 Microsoft Sentinel 資料湖中的筆記型電腦故障排除。