當你的查詢執行時,Azure Databricks 會回傳查詢效能洞察,這些洞察會標記提升效能的機會,並回報已套用的優化。 每個洞察都包含一個你可以採取行動的建議,例如壓縮小檔案、收集統計數據,或調整倉庫規模。
為您的查詢尋找洞察與建議
洞察會出現在您的 查詢歷史 和 查詢檔案中。 查詢細節面板會依據估計對總任務時長的影響進行排名,總結見解。 查詢設定檔中的 效能洞察 標籤會顯示每個洞察的完整細節。
使用 Genie Code 進行最佳化
當查詢有可操作的洞察時,選擇 優化 以開啟 Genie Code。 對於需要查詢變更的洞察,Genie Code 會重寫查詢並呈現變更供您審核。 對於涉及表格或計算變更的洞察,Genie Code 會以純語言文字總結建議的行動。
想了解更多關於使用 Genie Code 的資訊,請參見 Genie Code。
查詢優化洞察
COVERAGE_FILTER_KEYS_CLUSTERING
表格由一個或多個在表格掃描時未用於篩選器的鍵群組。
建議:在 叢集鍵上加入篩選器,以減少讀取位元組數量。
COVERAGE_FILTER_KEYS_PARTITIONING
資料表由一個或多個在資料表掃描時不使用的鍵劃 分 。
建議:在 分割鍵上加入篩選器,以減少讀取位元組。
COVERAGE_PHOTON
Photon 無法加速此操作,因此查詢使用標準執行時引擎。
建議: 檢視 Photon 的限制 ,並調整查詢以使用支援的執行路徑。
EXPLODING_JOIN
連接產生的列數明顯多於讀取數。
建議: 先確定您需要哪個結果子集,然後更新連接條件或減少兩個關聯的輸入列數。
FLOW_FULL_RECOMPUTE
建議:重 寫查詢以增加 增量支援 ,以減少讀取位元組。
REDUNDANT_AGGREGATION
彙總操作不會改變查詢結果。
建議: 移除聚合或套用 主鍵與外鍵限制。
REDUNDANT_JOIN
外側連接不會改變外側的列數,且不會使用連接資料表中的欄位。
建議: 移除連接或套用 主鍵或唯一約束。
SELECTIVE_JOIN
接合產生的列數明顯少於讀取數。
建議: 先決定你需要哪個結果子集,然後在連接前加入篩選器以減少輸入列數。
WIDE_PROJECTION
查詢會 從表格中投影 所有欄位。
建議:只Project你需要的欄位,以減少讀取位元組。
資料配置洞察
CONCURRENT_WRITE
同時寫入資料表會產生衝突,這些 衝突 會自動解決或失敗。
建議:檢視Delta 歷史以 識別同時寫入並調整排程以避免衝突。
COVERAGE_STATS_DELTA
資料表掃描檔案篩選器的差異資料跳過統計資料遺失或不完整,因此查詢使用檔案內篩選。
每個濾波器的統計狀態可以是以下之一:
- 完整: 所有篩選器均可取得統計資料。
- 部分 :部分篩選器可提供統計資料。
- 不可用: 任何篩選條件都無法提供統計資料。
- 未使用: 無法使用統計資料,因為篩選器會轉換資料型別。
建議:收集 Delta 統計資料 以減少讀取位元組。
COVERAGE_STATS_OPTIMIZER
基於成本的優化器統計資料缺失或不完整,因此查詢計畫使用標準啟發式演算法。
建議:收集統計資料 ,使優化器能產生更完善的計畫。
DATA_FILE_SIZE
資料表掃描會讀取許多小檔案,增加掃描時間。
建議:
DATA_SKEW
資料在計算資源中分布不均。
建議:檢視 資料分布,然後使用鍵加鹽或預聚合來平衡工作負載。
MANUAL_DATA_LAYOUT
該表格是手動優化的,並可從 自動液體聚類中受益。
建議:
運算與資源洞察
COMPUTE_SIZE
在無伺服器運算上的作業或管線已達到其運算物件的 速率上限 ,因此自動縮放器並未新增超出運算物件大小的 Spark 執行器。
建議: 請在無伺服器運算物件上執行作業或管線,且其大小較大。 如果您沒有存取權限,請向工作區管理員請求存取權限,或請他們擴大目前運算物件的大小。
DATA_SPILL
查詢執行時資料會溢出到磁碟,因為資料無法放入記憶體。
建議: 增加倉儲 大小 以增加記憶體。 減少列數、欄數,或大欄(字串、陣列、映射、結構體)的大小,以減少記憶體使用。
EXCESSIVE_QUEUE_TIME
查詢信會留在 倉庫 排隊中。
建議: 增加倉庫叢集的最大 數量 以減少佇列時間。
IO_THROTTLING
雲端 儲存 請求被雲端供應商限速。
建議:聯絡 您的管理員,向您的雲端服務提供商申請更高的儲存空間請求限制。
施加加速度
這些洞察描述了 Azure Databricks 在查詢執行時已經套用的優化。 它們會以加速標籤出現在效能洞察分頁,且不需要採取任何行動。
AUTO_LIQUID_CLUSTERING
此查詢讀取的資料較少,因為其資料表使用 自動液態聚類。 Azure Databricks 會持續根據從你的工作負載學到的金鑰來叢集每個資料表,因此掃描會跳過無法符合你篩選條件的檔案。 不需要調整或手動分割。
HISTORY_BASED_JOIN_STRATEGY
Azure Databricks 利用先前類似查詢的測量值,優化了此查詢的連接。 它選擇了廣播連接,而不是根據你的工作負載歷史在叢集間重新分配資料。 不需要更改查詢。
METRIC_VIEW_MATERIALIZATION_MATCH
此查詢回傳較快,因為 Azure Databricks 是從預先計算的實體化結果中提供結果,而非從度量視圖的即時來源資料表重新計算。 當為度量視圖定義實體化時,優化器會自動與該查詢匹配,並在可能的情況下提供預先彙總的結果。
SHORT_QUERY_PRIORITIZATION
即使叢集已滿,Azure Databricks 預測此查詢會短時間執行,立即透過快速路徑執行,避免被較重的查詢排在佇列中。 這讓互動式工作負載在負載下保持反應。
其他資源
欲了解更廣泛的效能最佳實務,請參閱《 優化資料磚、Spark 與 Delta Lake 工作負載的綜合指南》。