雲端儲存分散式加速器(DACS)會從每個快取伺服器中公開 Prometheus 格式的指標。 使用這些計量監視連線、快取容量、要求延遲和數量、要求大小,以及作業系統的網路壓力。
Important
DACS 目前尚未與 Prometheus 的 Azure 監視器 管理服務整合。 Azure 容器儲存體不會自動為 DACS 設定計量抓取目標。 你必須設定你的指標流程,讓它能抓取每台快取伺服器的 Prometheus 端點。
計量端點
在開始之前,先安裝 DACS,並等待快取伺服器 Pods 準備好。 在指令和設定中,將 <cache-namespace> 替換為包含這些 pod 的命名空間。
每個快取伺服器 pod 會在埠 9096 上的 /metrics 路徑暴露指標。 抓取每個快取伺服器 Pod 的計量,讓監視系統能收集各伺服器的狀態和計數器。
列出快取伺服器 Pod 並確認 metric port:
kubectl get pods \
--namespace <cache-namespace> \
--selector app=cacheserver \
--output wide
kubectl get pods \
--namespace <cache-namespace> \
--selector app=cacheserver \
-o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{range .spec.containers[*].ports[*]}{.containerPort}{" "}{end}{"\n"}{end}'
在本地驗證一個端點:
CACHE_POD=$(kubectl get pods \
--namespace <cache-namespace> \
--selector app=cacheserver \
-o jsonpath='{.items[0].metadata.name}')
kubectl port-forward \
--namespace <cache-namespace> \
pod/$CACHE_POD \
9096:9096
在另一個終端機中,取得以下指標:
curl --fail --silent --show-error http://localhost:9096/metrics
完成端點檢查後,請停止連接埠轉送命令。
設定計量管線
設定與 Prometheus 相容的收集器,使其探索 DACS 命名空間中的快取伺服器 Pod,並在連接埠 9096 的 /metrics 路徑抓取計量。 收集器需要透過連接埠 9096 存取 Pod IP 位址的網路存取權,以及通過驗證的 Kubernetes API 存取權。 授與其身分識別對 DACS 命名空間中 Pod 的 get、list 和 watch 權限。 對於叢集內的收集器,將帶有這些權限的角色綁定到其服務帳號。
以下 Prometheus 配置為叢集內收集器的範例。 這會將 Kubernetes 探索限制在 DACS 命名空間內。 將 <cache-namespace> 取代為您的命名空間。
scrape_configs:
- job_name: dacs-cache-server
scrape_interval: 30s
metrics_path: /metrics
kubernetes_sd_configs:
- role: pod
namespaces:
names:
- <cache-namespace>
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
action: keep
regex: <cache-namespace>
- source_labels: [__meta_kubernetes_pod_label_app]
action: keep
regex: cacheserver
- source_labels: [__meta_kubernetes_pod_phase]
action: keep
regex: Running
- source_labels: [__meta_kubernetes_pod_container_port_number]
action: keep
regex: "9096"
- source_labels: [__meta_kubernetes_pod_name]
target_label: pod
- source_labels: [__meta_kubernetes_namespace]
target_label: namespace
如果你的管線使用 Prometheus 運算子,請建立 PodMonitor 或對等資源,選擇 app=cacheserver、DACS 命名空間和 Metrics 埠。 使用你安裝的預覽版中的標籤和連接埠名稱。
設定爬取後,確認你的指標系統是否為每個快取伺服器 pod 有一個活躍目標。 保留 pod、 instance和 namespace 標籤,這樣你才能辨識出單一不健康或飽和的快取伺服器。
指標參考
快取伺服器會暴露以下指標族:
| 計量系列 | 類型 | Meaning |
|---|---|---|
cache_server_active_connections |
量規 | 活躍連線數量。 對於 TCP,這個指標追蹤的是處理請求的連線,而非所有已建立的閒置套接字。 |
cache_server_cache_size_bytes |
量規 | 快取的資料大小以位元組為單位,而非設定的快取容量。 |
cache_server_listen_backlog_max |
量規 | 傳遞至 listen() 的已設定接聽待處理佇列長度。 |
cache_server_accept_queue_overflows_total |
計數器 | 來自 TcpExt.ListenOverflows 的接受佇列溢位總數。 |
cache_server_listen_drops_total |
計數器 | 來自 TcpExt.ListenDrops 的接聽捨棄總數。 |
cache_server_syn_queue_full_drops_total |
計數器 | 來自 TcpExt.TCPReqQFullDrop 的 SYN 要求佇列捨棄總數。 |
cache_server_syn_cookies_sent_total |
計數器 | 來自 TcpExt.TCPReqQFullDoCookies 的已傳送 SYN Cookie 總數。 |
cache_server_passive_opens_total |
計數器 | 透過 nstat 取得的 Tcp.PassiveOpens 中的 PassiveOpens 總數。 |
cache_server_open_fds |
量規 | 來自 /proc/sys/fs/file-nr 的全系統已配置檔案控制代碼;並非每個處理程序開啟的檔案描述元。 |
cache_server_accept_errors_total |
計數器 | 總 accept() 錯誤,並以 errno 數值標示。 當錯誤發生時會產生序列;在健康的伺服器上可能不存在。 |
cache_server_successful_request_latency_ms |
Histogram | 成功請求的延遲時間(以毫秒為單位)。 |
cache_server_request_counter |
計數器 | 要求數目。 |
cache_server_download_request_size_bytes |
Histogram | 下載請求的大小。 |
cache_server_upload_request_size_bytes |
Histogram | 上傳請求的大小。 |
直方圖度量族揭示了標準 _bucket、、 _sum及 _count 時間序列。 計數器值在快取伺服器程序重新啟動時會重置。 請使用 rate() 或 increase(),而不要跨重新啟動比較原始計數器值。
使用您所安裝的預覽組建所提供的計量名稱,包括 cache_server_request_counter 和 _ms 這個延遲單位。 Prometheus 的命名慣例檢查工具可能會對這些名稱提出警告,儘管 Prometheus 仍可擷取並查詢它們。
PromQL 查詢範例
下列範例假設您的計量管線保留 namespace 和 pod 標籤。 若使用共用計量工作區,請另外為每個叢集的樣本附加唯一的 cluster 標籤。 彙總會保留這三個標籤,避免跨命名空間或叢集合併名稱相同的 Pod。 如果您的收集器使用不同的叢集標籤,請改用該名稱。 沒有叢集標籤,請使用僅限於單一叢集的資料來源。
至少抓取兩次計量後,再評估 rate() 或 increase()。 對於閒置的伺服器,延遲分位數和平均請求大小可能會傳回 NaN,因為在查詢時間範圍內未觀察到任何請求。 僅憑此情況並不表示計量抓取失敗。 另外檢查目標的 up 指標。
依快取伺服器區分的作用中連線
cache_server_active_connections
依快取伺服器的請求速率
sum by (cluster, namespace, pod) (rate(cache_server_request_counter[5m]))
在發行0.1.0中,request_type 包含 status 和 cache_server_request_counter 標籤。 在彙總中包含這些標籤,以區分上傳、下載和失敗。 檢查你安裝的版本所顯示的標籤。
整個快取中的成功下載
要在重複讀取時檢查快取伺服器的下載活動,請過濾成功的 Download 請求,並彙整所選快取資源所擁有的所有伺服器 Pod:
sum by (cluster, namespace) (
increase(cache_server_request_counter{
cluster="<cluster>",
namespace="<cache-namespace>",
pod=~"<cache-server-pod-regex>",
request_type="Download",
status="Success"
}[5m])
)
替換叢集、命名空間和 pod-regex 的佔位符。 只匹配你快取資源擁有的伺服器 Pods,不要匹配共享命名空間中的其他快取。 對於沒有 cluster 標籤的單叢集資料來源,則省略該選擇器。
Download和 Success 標籤值是區分大小寫的。
在讀取之前記錄基準值,並至少抓取兩次計量。
increase() 它會估算視窗內的活動並考慮計數器重置;這不是精確的原始計數器差異。 某個數列不存在,並不能證明沒有活動。 在解讀結果前,請檢查抓取健康狀況和公開的標籤。
將增加量與客戶端快取命中率指標相關聯,並在驗證時隔離無關流量。 這個計數器不是快取命中率,單靠成功或更快的應用程式讀取並不能證明快取使用。 資料填入是非同步的,因此立即重複讀取仍可能讀不到資料。 請參見 「驗證 DACS 請求路徑」。
P95 成功請求延遲(毫秒)
histogram_quantile(
0.95,
sum by (le, cluster, namespace, pod) (
rate(cache_server_successful_request_latency_ms_bucket[5m])
)
)
平均下載請求大小
sum by (cluster, namespace, pod) (rate(cache_server_download_request_size_bytes_sum[5m]))
/
sum by (cluster, namespace, pod) (rate(cache_server_download_request_size_bytes_count[5m]))
接受佇列溢位
sum by (cluster, namespace, pod) (increase(cache_server_accept_queue_overflows_total[5m]))
接聽與 SYN 佇列捨棄
sum by (cluster, namespace, pod) (
increase(cache_server_listen_drops_total[5m])
+ increase(cache_server_syn_queue_full_drops_total[5m])
)
建議的警示
建立反映你工作負載基線和快取伺服器虛擬機大小的警示。 至少請考慮以下警報:
- DACS 計量抓取目標已停止運作或遺失。
- 持續的非零增幅
cache_server_accept_queue_overflows_total。 -
cache_server_listen_drops_total或cache_server_syn_queue_full_drops_total持續出現非零的增量。 - 依
errno分組的cache_server_accept_errors_total增加量 - 成功要求的 P95 或 P99 延遲超過工作負載目標。
- 作用中連線數接近快取伺服器 VM 大小經測試的容量。
- 快取伺服器 Pod 之間的快取大小意外變動或不平衡。
- 系統範圍內分配的檔案控制代碼異常高。 請記得,
cache_server_open_fds不是每個行程的檔案描述符數目。
在設定固定門檻前,先在預期並行條件下建立基準。 將網路壓力指標與請求率、請求大小、延遲、節點 CPU、節點記憶體,以及 Azure Blob 請求與位元組指標相關聯。