監視雲端儲存分散式加速器 (預覽)

雲端儲存分散式加速器(DACS)會從每個快取伺服器中公開 Prometheus 格式的指標。 使用這些計量監視連線、快取容量、要求延遲和數量、要求大小,以及作業系統的網路壓力。

Important

DACS 目前尚未與 Prometheus 的 Azure 監視器 管理服務整合。 Azure 容器儲存體不會自動為 DACS 設定計量抓取目標。 你必須設定你的指標流程,讓它能抓取每台快取伺服器的 Prometheus 端點。

計量端點

在開始之前,先安裝 DACS,並等待快取伺服器 Pods 準備好。 在指令和設定中,將 <cache-namespace> 替換為包含這些 pod 的命名空間。

每個快取伺服器 pod 會在埠 9096 上的 /metrics 路徑暴露指標。 抓取每個快取伺服器 Pod 的計量,讓監視系統能收集各伺服器的狀態和計數器。

列出快取伺服器 Pod 並確認 metric port:

kubectl get pods \
  --namespace <cache-namespace> \
  --selector app=cacheserver \
  --output wide

kubectl get pods \
  --namespace <cache-namespace> \
  --selector app=cacheserver \
  -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{range .spec.containers[*].ports[*]}{.containerPort}{" "}{end}{"\n"}{end}'

在本地驗證一個端點:

CACHE_POD=$(kubectl get pods \
  --namespace <cache-namespace> \
  --selector app=cacheserver \
  -o jsonpath='{.items[0].metadata.name}')

kubectl port-forward \
  --namespace <cache-namespace> \
  pod/$CACHE_POD \
  9096:9096

在另一個終端機中,取得以下指標:

curl --fail --silent --show-error http://localhost:9096/metrics

完成端點檢查後,請停止連接埠轉送命令。

設定計量管線

設定與 Prometheus 相容的收集器,使其探索 DACS 命名空間中的快取伺服器 Pod,並在連接埠 9096 的 /metrics 路徑抓取計量。 收集器需要透過連接埠 9096 存取 Pod IP 位址的網路存取權,以及通過驗證的 Kubernetes API 存取權。 授與其身分識別對 DACS 命名空間中 Pod 的 get、list 和 watch 權限。 對於叢集內的收集器,將帶有這些權限的角色綁定到其服務帳號。

以下 Prometheus 配置為叢集內收集器的範例。 這會將 Kubernetes 探索限制在 DACS 命名空間內。 將 <cache-namespace> 取代為您的命名空間。

scrape_configs:
  - job_name: dacs-cache-server
    scrape_interval: 30s
    metrics_path: /metrics
    kubernetes_sd_configs:
      - role: pod
        namespaces:
          names:
            - <cache-namespace>
    relabel_configs:
      - source_labels: [__meta_kubernetes_namespace]
        action: keep
        regex: <cache-namespace>
      - source_labels: [__meta_kubernetes_pod_label_app]
        action: keep
        regex: cacheserver
      - source_labels: [__meta_kubernetes_pod_phase]
        action: keep
        regex: Running
      - source_labels: [__meta_kubernetes_pod_container_port_number]
        action: keep
        regex: "9096"
      - source_labels: [__meta_kubernetes_pod_name]
        target_label: pod
      - source_labels: [__meta_kubernetes_namespace]
        target_label: namespace

如果你的管線使用 Prometheus 運算子,請建立 PodMonitor 或對等資源,選擇 app=cacheserver、DACS 命名空間和 Metrics 埠。 使用你安裝的預覽版中的標籤和連接埠名稱。

設定爬取後,確認你的指標系統是否為每個快取伺服器 pod 有一個活躍目標。 保留 pod、 instance和 namespace 標籤,這樣你才能辨識出單一不健康或飽和的快取伺服器。

指標參考

快取伺服器會暴露以下指標族:

計量系列 類型 Meaning
cache_server_active_connections 量規 活躍連線數量。 對於 TCP,這個指標追蹤的是處理請求的連線,而非所有已建立的閒置套接字。
cache_server_cache_size_bytes 量規 快取的資料大小以位元組為單位,而非設定的快取容量。
cache_server_listen_backlog_max 量規 傳遞至 listen() 的已設定接聽待處理佇列長度。
cache_server_accept_queue_overflows_total 計數器 來自 TcpExt.ListenOverflows 的接受佇列溢位總數。
cache_server_listen_drops_total 計數器 來自 TcpExt.ListenDrops 的接聽捨棄總數。
cache_server_syn_queue_full_drops_total 計數器 來自 TcpExt.TCPReqQFullDrop 的 SYN 要求佇列捨棄總數。
cache_server_syn_cookies_sent_total 計數器 來自 TcpExt.TCPReqQFullDoCookies 的已傳送 SYN Cookie 總數。
cache_server_passive_opens_total 計數器 透過 nstat 取得的 Tcp.PassiveOpens 中的 PassiveOpens 總數。
cache_server_open_fds 量規 來自 /proc/sys/fs/file-nr 的全系統已配置檔案控制代碼;並非每個處理程序開啟的檔案描述元。
cache_server_accept_errors_total 計數器 總 accept() 錯誤,並以 errno 數值標示。 當錯誤發生時會產生序列;在健康的伺服器上可能不存在。
cache_server_successful_request_latency_ms Histogram 成功請求的延遲時間(以毫秒為單位)。
cache_server_request_counter 計數器 要求數目。
cache_server_download_request_size_bytes Histogram 下載請求的大小。
cache_server_upload_request_size_bytes Histogram 上傳請求的大小。

直方圖度量族揭示了標準 _bucket、、 _sum及 _count 時間序列。 計數器值在快取伺服器程序重新啟動時會重置。 請使用 rate() 或 increase(),而不要跨重新啟動比較原始計數器值。

使用您所安裝的預覽組建所提供的計量名稱,包括 cache_server_request_counter 和 _ms 這個延遲單位。 Prometheus 的命名慣例檢查工具可能會對這些名稱提出警告,儘管 Prometheus 仍可擷取並查詢它們。

PromQL 查詢範例

下列範例假設您的計量管線保留 namespace 和 pod 標籤。 若使用共用計量工作區,請另外為每個叢集的樣本附加唯一的 cluster 標籤。 彙總會保留這三個標籤,避免跨命名空間或叢集合併名稱相同的 Pod。 如果您的收集器使用不同的叢集標籤,請改用該名稱。 沒有叢集標籤,請使用僅限於單一叢集的資料來源。

至少抓取兩次計量後,再評估 rate() 或 increase()。 對於閒置的伺服器,延遲分位數和平均請求大小可能會傳回 NaN,因為在查詢時間範圍內未觀察到任何請求。 僅憑此情況並不表示計量抓取失敗。 另外檢查目標的 up 指標。

依快取伺服器區分的作用中連線

cache_server_active_connections

依快取伺服器的請求速率

sum by (cluster, namespace, pod) (rate(cache_server_request_counter[5m]))

在發行0.1.0中,request_type 包含 status 和 cache_server_request_counter 標籤。 在彙總中包含這些標籤,以區分上傳、下載和失敗。 檢查你安裝的版本所顯示的標籤。

整個快取中的成功下載

要在重複讀取時檢查快取伺服器的下載活動,請過濾成功的 Download 請求,並彙整所選快取資源所擁有的所有伺服器 Pod:

sum by (cluster, namespace) (
  increase(cache_server_request_counter{
    cluster="<cluster>",
    namespace="<cache-namespace>",
    pod=~"<cache-server-pod-regex>",
    request_type="Download",
    status="Success"
  }[5m])
)

替換叢集、命名空間和 pod-regex 的佔位符。 只匹配你快取資源擁有的伺服器 Pods,不要匹配共享命名空間中的其他快取。 對於沒有 cluster 標籤的單叢集資料來源,則省略該選擇器。 Download和 Success 標籤值是區分大小寫的。

在讀取之前記錄基準值,並至少抓取兩次計量。 increase() 它會估算視窗內的活動並考慮計數器重置;這不是精確的原始計數器差異。 某個數列不存在,並不能證明沒有活動。 在解讀結果前,請檢查抓取健康狀況和公開的標籤。

將增加量與客戶端快取命中率指標相關聯,並在驗證時隔離無關流量。 這個計數器不是快取命中率,單靠成功或更快的應用程式讀取並不能證明快取使用。 資料填入是非同步的,因此立即重複讀取仍可能讀不到資料。 請參見 「驗證 DACS 請求路徑」。

P95 成功請求延遲(毫秒)

histogram_quantile(
  0.95,
  sum by (le, cluster, namespace, pod) (
    rate(cache_server_successful_request_latency_ms_bucket[5m])
  )
)

平均下載請求大小

sum by (cluster, namespace, pod) (rate(cache_server_download_request_size_bytes_sum[5m]))
/
sum by (cluster, namespace, pod) (rate(cache_server_download_request_size_bytes_count[5m]))

接受佇列溢位

sum by (cluster, namespace, pod) (increase(cache_server_accept_queue_overflows_total[5m]))

接聽與 SYN 佇列捨棄

sum by (cluster, namespace, pod) (
  increase(cache_server_listen_drops_total[5m])
  + increase(cache_server_syn_queue_full_drops_total[5m])
)

建立反映你工作負載基線和快取伺服器虛擬機大小的警示。 至少請考慮以下警報:

  • DACS 計量抓取目標已停止運作或遺失。
  • 持續的非零增幅cache_server_accept_queue_overflows_total。
  • cache_server_listen_drops_total 或 cache_server_syn_queue_full_drops_total 持續出現非零的增量。
  • 依 errno 分組的 cache_server_accept_errors_total 增加量
  • 成功要求的 P95 或 P99 延遲超過工作負載目標。
  • 作用中連線數接近快取伺服器 VM 大小經測試的容量。
  • 快取伺服器 Pod 之間的快取大小意外變動或不平衡。
  • 系統範圍內分配的檔案控制代碼異常高。 請記得,cache_server_open_fds 不是每個行程的檔案描述符數目。

在設定固定門檻前,先在預期並行條件下建立基準。 將網路壓力指標與請求率、請求大小、延遲、節點 CPU、節點記憶體,以及 Azure Blob 請求與位元組指標相關聯。

下一步