使用 Azure Log Analytics 實作日誌串流
小提示
有關更多詳細信息,請參閱 文本和圖像 選項卡!
當您的 Azure Databricks 環境擴展到不只一個工作空間時,追蹤叢集、工作與使用者間的運作將成為一大挑戰。 將日誌串流至 Azure Log Analytics 解決了這個問題,因為它將所有診斷與稽核日誌集中於一處,啟用查詢、警示與儀表板功能。
在這個單元中,你會學習日誌串流的運作方式、如何在 Azure Log Analytics 中查詢 Databricks 日誌,以及如何建立用於主動監控的警示。
了解日誌串流架構
日誌串流會將診斷資料從 Azure Databricks 傳送到 Azure Log Analytics,通常在事件發生後 15 分鐘內完成。 此整合使用 Azure 診斷設定,擷取 Azure Databricks 工作空間中的事件並路由至 Log Analytics 工作區。 診斷設定也能將日誌存檔到儲存體帳戶,或串流到事件中樞。
想像一個典型情境:你的組織在不同團隊中運行多個 Azure Databricks 工作空間。 若沒有 集中式日誌,調查失敗的工作就必須分別連接每個工作區,並搜尋分散的日誌。 在日誌串流設定後,你可以從 單一介面查詢所有事件。
資料流程如下:
- Azure Databricks 會為叢集建立、工作執行、筆記本執行及權限變更等行為產生稽核與診斷事件。
- Azure 的診斷設定會捕捉這些事件並串流到你設定的目的地。
- Log Analytics 會將事件匯入 服務專屬的資料表。
- 你可以使用 Kusto 查詢語言(KQL)來查詢、視覺化並提醒這些資料。
平台管理員通常透過 Azure 入口網站,在 Azure Databricks 資源的監控區段中選取診斷設定,並選擇傳送至 Log Analytics來設定診斷設定。 作為資料工程師,你專注於利用日誌進行監控與故障排除。
備註
診斷日誌需要使用 Azure Databricks Premium 方案。 日誌通常會在事件發生後 15 分鐘內開放,但 Azure Databricks 並不保證送達時間。
備註
若要查詢Azure Databricks內部的稽核日誌,Databricks 建議使用 system.access.audit 系統表。 當你需要跨服務集中監控、基於 KQL 的警示,或與 Azure 監視器 及其他 Azure 服務整合時,將日誌串流至 Azure Log Analytics 是首選方式。
探索 Azure Databricks 日誌表
Azure Log Analytics 將 Azure Databricks 日誌組織成 特定用途的表格。 每個資料表都會擷取特定服務或功能的事件,方便聚焦你的查詢。
最常用的表格包括:
| Table | Description |
|---|---|
DatabricksClusters |
叢集建立、終止、調整大小及設定變更 |
DatabricksJobs |
工作建立、執行、失敗與排程調整 |
DatabricksNotebook |
筆記本的執行、建立與修改事件 |
DatabricksSQL |
SQL 倉庫的建立、修改及相關事件 |
DatabricksUnityCatalog |
Unity Catalog 事件,包括資料表建立、刪除與更新 |
DatabricksWorkspace |
工作區層級操作與管理動作 |
DatabricksSecrets |
秘密範圍與秘密存取事件 |
每個表格包含用於事件追蹤 的標準欄位 :
-
TimeGenerated- 事件發生的時間 -
OperationName- 執行的動作 -
Identity- 發起動作的使用者或服務主體 -
SourceIPAddress- 請求的來源 -
RequestParams- 關於申請的細節 -
Response- 結果,包括狀態代碼
了解這些表格有助於你有效率地針對查詢。 關於工作相關問題,請從DatabricksJobs開始。 對於安全調查,請聚焦於 DatabricksSecrets 和 DatabricksUnityCatalog。
使用 Kusto 查詢語言來查詢日誌
Kusto 查詢語言(KQL) 讓您能搜尋、篩選並分析 Azure Databricks 日誌。 你可以透過 Azure 入口網站中的工作區,從側邊欄選擇 日誌 來存取日誌分析。
從一個簡單的查詢開始,探索近期的工作活動:
DatabricksJobs
| where TimeGenerated > ago(24h)
| project TimeGenerated, OperationName, Identity, SourceIPAddress
| order by TimeGenerated desc
| take 100
此查詢會取得過去 24 小時內最近 100 個與工作相關的事件,並顯示時間戳記、操作、使用者及來源 IP。
調查失敗的任務執行
當工作失敗時,你需要 找出模式。 以下查詢會找出所有工作失敗,並依操作分組:
DatabricksJobs
| where TimeGenerated > ago(7d)
| where Response contains "error" or Response contains "failed"
| summarize FailureCount = count() by OperationName, bin(TimeGenerated, 1h)
| order by FailureCount desc
此查詢揭示哪些操作最常失敗,以及故障何時聚集在一起,幫助你發現 系統性問題。
追蹤叢集使用模式
了解群集行為有助於優化成本。 此查詢依類型顯示群集事件:
DatabricksClusters
| where TimeGenerated > ago(7d)
| summarize EventCount = count() by OperationName
| order by EventCount desc
監控資料表存取模式
為了安全與合規,追蹤誰在工作區中建立、修改或刪除表格:
DatabricksUnityCatalog
| where TimeGenerated > ago(24h)
| where ActionName in~ ("createTable", "deleteTable", "updateTables")
| project TimeGenerated, Identity, ActionName, RequestParams
| order by TimeGenerated desc
小提示
將常用查詢儲存到日誌分析的 查詢總管 。 你可以將查詢整理到資料夾中並與團隊分享。
建立警示以進行主動監控
查詢能幫助你調查過去的事件。 警示會在特定狀況發生時通知您,協助您主動回應。
要從查詢建立警報:
- 在 Log Analytics 中執行你的查詢。
- 從工具列選擇 「新警報規則 」。
- 用符合你需求的閾值來設定 條件 。
- 定義一個 行動群組 ,指定誰會接收通知以及如何接收。
考慮為以下常見情境設置警示:
工作失敗超過門檻:當一小時內發生超過五次工作失敗時,會發出警示。
DatabricksJobs
| where TimeGenerated > ago(1h)
| where Response contains "error" or Response contains "failed"
| summarize FailureCount = count()
| where FailureCount > 5
異常資料表操作:當資料表建立或刪除操作發生在工作時間外,可能表示未經授權的資料修改時,會警示。
DatabricksUnityCatalog
| where TimeGenerated > ago(1h)
| where hourofday(TimeGenerated) < 6 or hourofday(TimeGenerated) > 20
| where ActionName in~ ("createTable", "deleteTable")
| summarize OperationCount = count() by Identity
| where OperationCount > 5
叢集建立高峰:當叢集建立事件超過正常模式時,警示,這可能表示自動化失控或未經授權的活動。
行動群組 支援多種通知方式,包括電子郵件、簡訊、Azure 行動應用程式,以及與 IT 服務管理工具的整合。
應用日誌分析進行故障排除
日誌串流將故障排除從 被動調查 轉變為 系統性分析。 以下是針對常見情境的實用方法:
診斷作業失敗:從DatabricksJobs表格開始尋找失敗的執行作業。 交叉比對 DatabricksClusters 以確認底層叢集是否有問題。 如果工作正在執行筆記本程式碼,應檢查 DatabricksNotebook 日誌。
調查效能問題:查詢叢集事件以識別縮放模式。 注意頻繁的自動縮放事件,可能代表初始配置過小。
安全事件應變:使用 DatabricksUnityCatalog 與 DatabricksSecrets 表格追蹤資料存取。 與 SourceIPAddress 相關聯以識別不尋常的進入位置。
成本歸因:結合叢集與工作日誌與 Azure 成本資料,了解哪些團隊或專案推動消費。
透過將日誌集中管理在 Azure Log Analytics,你可以建立 Azure Databricks 環境的檢視。 這種可視性支持日常營運與長期規劃決策。