Microsoft Sentinel 提供者類別

該MicrosoftSentinelProvider課程提供與 Microsoft Sentinel 資料湖互動的方式,讓你能執行如列出資料庫、讀取資料表及儲存資料等操作。 此課程設計用於 Jupyter 筆記本中的 Spark 會話,並提供存取及操作 Microsoft Sentinel 資料湖中資料的方法。

此類別是模組的一部分 sentinel.datalake ,提供與資料湖互動的方法。 要使用這個類別,匯入它並用 spark session 建立該類別的實例。

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)      

您必須擁有執行讀寫資料等操作所需的權限。 欲了解更多權限資訊,請參閱 Microsoft Sentinel 資料湖權限。

方法

本MicrosoftSentinelProvider課程提供多種方法來與 Microsoft Sentinel 資料湖互動。 以下列出的每種方法都 MicrosoftSentinelProvider 假設該類別已匯入,並已使用 spark 該會話建立實例,具體如下:

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark) 

list_databases

列出所有可用的資料庫/Microsoft Sentinel 工作區。

data_provider.list_databases()    

傳回:

  • list[str]:一份資料庫名稱 (工作區清單) Microsoft Sentinel資料湖中可用。

list_tables

列出給定資料庫中的所有資料表。

data_provider.list_tables([database_name],[database_id])
   

參數:

  • database_name (str,選用) :資料庫名稱 (工作區) 列出資料表。 若未指定,則使用系統資料表的資料庫。
  • database_id (str,選用) :如果工作區名稱不唯一,資料庫的唯一識別碼。

傳回:

  • list[str]:指定資料庫中資料表名稱的清單。

範例:

列出系統資料表資料庫中的所有資料表:

data_provider.list_tables() 

列出特定資料庫中的所有資料表。 如果你的工作區名稱不唯一,請指定資料庫的 :database_id

data_provider.list_tables("workspace1", database_id="ab1111112222ab333333")

read_table

從 Lake 中的資料表載入一個 DataFrame。

data_provider.read_table({table}, [database_name], [database_id])

參數:

  • table_name (str) :要讀的表格名稱。
  • database_name (str,可選) :包含該資料表) 資料庫 (工作區名稱。 預設為 System tables。
  • database_id (str,選用) :如果工作區名稱不唯一,資料庫的唯一識別碼。

傳回:

  • DataFrame:包含指定資料表資料的資料框架。

例如:

df = data_provider.read_table("EntraGroups", "Workspace001")

save_as_table

將 DataFrame 寫成受管理的資料表。 你可以用資料表名稱的後綴寫入湖區層 _SPRK 級,或用後綴寫入分析層 _SPRK_CL 級。

注意事項

分析層僅 save_as_table 支援 append 模式。 overwrite 模式僅支援湖區層級。

data_provider.save_as_table({DataFrame}, {table_name}, [database_name], [database_id], [write_options])

參數:

  • DataFrame (DataFrame) :用來寫成資料表的資料框架。
  • table_name (str) :用於建立或覆寫的資料表名稱。
  • database_name (str,可選) :資料庫名稱 (工作區名稱,) 儲存資料表。 預設為 System tables。
  • database_id (STR,選用的分析層) :如果工作區名稱不唯一,分析層級資料庫的唯一識別碼。
  • write_options (,選) :書寫表格的選項。 支援選項:- 模式: append 或 overwrite (預設模式: append) overwrite 模式僅支援湖區。 - partitionBy:分割欄位列表範例:{'mode': 'append', 'partitionBy': ['date']}

傳回:

  • str: 寫入操作的執行 ID。

注意事項

分割選項僅適用於資料湖層級系統資料表、資料庫 (工作區) 中的自訂資料表。 它不支援分析層的表格,或是資料湖層系統表格資料庫以外的資料庫。

範例:

在工作區的資料湖層建立 System tables 新的自訂資料表。

data_provider.save_as_table(dataframe, "CustomTable1_SPRK", "System tables")

在資料湖層級覆蓋系統資料表資料庫 (工作區) 中的資料表。

write_options = {
    'mode': 'overwrite'
}
data_provider.save_as_table(dataframe, "CustomTable1_SPRK", write_options=write_options)

在分析層建立新的自訂表格。

data_provider.save_as_table(dataframe, "CustomTable1_SPRK_CL", "analyticstierworkspace")

附加到分析層的現有自訂表格。

write_options = {
    'mode': 'append'
}
data_provider.save_as_table(dataframe, "CustomTable1_SPRK_CL", "analyticstierworkspace", write_options)

在系統資料表資料庫中附加欄位 TimeGenerated 分割。

data_loader.save_as_table(dataframe, "table1", write_options: {'mode': 'append', 'partitionBy': ['TimeGenerated']})

delete_table

會刪除湖區的表格。 你可以在湖區層級刪除表格,方法是在 _SPRK 表格名稱中使用後綴。 你無法用這個功能刪除分析層的表格。 若要刪除分析層級的自訂資料表,請使用 Log Analytics API 函式。 欲了解更多資訊,請參閱 Azure 監視器 日誌中的新增或刪除資料表與欄位。

data_provider.delete_table({table_name}, [database_name], [database_id])

參數:

  • table_name (str) :要刪除的表格名稱。
  • database_name (str,可選) :包含該資料表) 資料庫 (工作區名稱。 預設為 System tables。
  • database_id (str,選用) :如果工作區名稱不唯一,資料庫的唯一識別碼。

傳回:

  • dict:一個包含刪除操作結果的字典。

例如:

data_provider.delete_table("customtable_SPRK", "System tables")