該MicrosoftSentinelProvider課程提供與 Microsoft Sentinel 資料湖互動的方式,讓你能執行如列出資料庫、讀取資料表及儲存資料等操作。 此課程設計用於 Jupyter 筆記本中的 Spark 會話,並提供存取及操作 Microsoft Sentinel 資料湖中資料的方法。
此類別是模組的一部分 sentinel.datalake ,提供與資料湖互動的方法。 要使用這個類別,匯入它並用 spark session 建立該類別的實例。
from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)
您必須擁有執行讀寫資料等操作所需的權限。 欲了解更多權限資訊,請參閱 Microsoft Sentinel 資料湖權限。
方法
本MicrosoftSentinelProvider課程提供多種方法來與 Microsoft Sentinel 資料湖互動。
以下列出的每種方法都 MicrosoftSentinelProvider 假設該類別已匯入,並已使用 spark 該會話建立實例,具體如下:
from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)
list_databases
列出所有可用的資料庫/Microsoft Sentinel 工作區。
data_provider.list_databases()
傳回:
-
list[str]:一份資料庫名稱 (工作區清單) Microsoft Sentinel資料湖中可用。
list_tables
列出給定資料庫中的所有資料表。
data_provider.list_tables([database_name],[database_id])
參數:
-
database_name(str,選用) :資料庫名稱 (工作區) 列出資料表。 若未指定,則使用系統資料表的資料庫。 -
database_id(str,選用) :如果工作區名稱不唯一,資料庫的唯一識別碼。
傳回:
-
list[str]:指定資料庫中資料表名稱的清單。
範例:
列出系統資料表資料庫中的所有資料表:
data_provider.list_tables()
列出特定資料庫中的所有資料表。 如果你的工作區名稱不唯一,請指定資料庫的 :database_id
data_provider.list_tables("workspace1", database_id="ab1111112222ab333333")
read_table
從 Lake 中的資料表載入一個 DataFrame。
data_provider.read_table({table}, [database_name], [database_id])
參數:
-
table_name(str) :要讀的表格名稱。 -
database_name(str,可選) :包含該資料表) 資料庫 (工作區名稱。 預設為System tables。 -
database_id(str,選用) :如果工作區名稱不唯一,資料庫的唯一識別碼。
傳回:
-
DataFrame:包含指定資料表資料的資料框架。
例如:
df = data_provider.read_table("EntraGroups", "Workspace001")
save_as_table
將 DataFrame 寫成受管理的資料表。 你可以用資料表名稱的後綴寫入湖區層 _SPRK 級,或用後綴寫入分析層 _SPRK_CL 級。
注意事項
分析層僅 save_as_table 支援 append 模式。
overwrite 模式僅支援湖區層級。
data_provider.save_as_table({DataFrame}, {table_name}, [database_name], [database_id], [write_options])
參數:
-
DataFrame(DataFrame) :用來寫成資料表的資料框架。 -
table_name(str) :用於建立或覆寫的資料表名稱。 -
database_name(str,可選) :資料庫名稱 (工作區名稱,) 儲存資料表。 預設為System tables。 -
database_id(STR,選用的分析層) :如果工作區名稱不唯一,分析層級資料庫的唯一識別碼。 -
write_options(,選) :書寫表格的選項。 支援選項:- 模式:append或overwrite(預設模式:append)overwrite模式僅支援湖區。 - partitionBy:分割欄位列表範例:{'mode': 'append', 'partitionBy': ['date']}
傳回:
-
str: 寫入操作的執行 ID。
注意事項
分割選項僅適用於資料湖層級系統資料表、資料庫 (工作區) 中的自訂資料表。 它不支援分析層的表格,或是資料湖層系統表格資料庫以外的資料庫。
範例:
在工作區的資料湖層建立 System tables 新的自訂資料表。
data_provider.save_as_table(dataframe, "CustomTable1_SPRK", "System tables")
在資料湖層級覆蓋系統資料表資料庫 (工作區) 中的資料表。
write_options = {
'mode': 'overwrite'
}
data_provider.save_as_table(dataframe, "CustomTable1_SPRK", write_options=write_options)
在分析層建立新的自訂表格。
data_provider.save_as_table(dataframe, "CustomTable1_SPRK_CL", "analyticstierworkspace")
附加到分析層的現有自訂表格。
write_options = {
'mode': 'append'
}
data_provider.save_as_table(dataframe, "CustomTable1_SPRK_CL", "analyticstierworkspace", write_options)
在系統資料表資料庫中附加欄位 TimeGenerated 分割。
data_loader.save_as_table(dataframe, "table1", write_options: {'mode': 'append', 'partitionBy': ['TimeGenerated']})
delete_table
會刪除湖區的表格。 你可以在湖區層級刪除表格,方法是在 _SPRK 表格名稱中使用後綴。 你無法用這個功能刪除分析層的表格。 若要刪除分析層級的自訂資料表,請使用 Log Analytics API 函式。 欲了解更多資訊,請參閱 Azure 監視器 日誌中的新增或刪除資料表與欄位。
data_provider.delete_table({table_name}, [database_name], [database_id])
參數:
-
table_name(str) :要刪除的表格名稱。 -
database_name(str,可選) :包含該資料表) 資料庫 (工作區名稱。 預設為System tables。 -
database_id(str,選用) :如果工作區名稱不唯一,資料庫的唯一識別碼。
傳回:
-
dict:一個包含刪除操作結果的字典。
例如:
data_provider.delete_table("customtable_SPRK", "System tables")