警告
本文提及 CentOS,一個已停止支援的 Linux 發行版。 請考慮您的使用方式並做出相應的規劃。 欲了解更多資訊,請參閱 CentOS 支援結束指引。
本文說明在 Azure 虛擬機器 上執行 Apache Cassandra 的效能考慮。
這些建議是基於內部績效測試的結果。 以這些建議作為基準,然後與自己的工作量做比較。
Azure 受控執行個體 for Apache Cassandra
如果您要尋找在 Azure 虛擬機器 上執行 Apache Cassandra 的更自動化服務,請考慮使用適用於 Apache Cassandra 的 Azure 受控執行個體。 此服務會將 Apache Cassandra 叢集內的節點部署、修補、健康管理及擴展自動化。 它也提供混合式叢集的功能,因此部署在 Azure 中的 Apache Cassandra 資料中心可以加入現有的內部部署或第三方託管 Cassandra 通道。 服務是使用 Azure 虛擬機器擴展集 進行部署。 此服務開發期間已採用下列建議。
Azure VM 大小和磁碟類型
對於 Azure 上的 Cassandra 工作負載,請評估目前的虛擬機大小,例如 Standard_D16s_v6 或 Standard_E16s_v6。 Cassandra 工作負載受益於虛擬機中擁有更多記憶體,因此可以考慮記憶體 最佳化 的虛擬機器大小,例如 Standard_E16s_v6,或本地 儲存優化 的大小,如 Standard_L16s_v3。
為了提升耐用性,資料與提交日誌通常儲存在由兩到四顆 1TB 高級 SSD (P30)組成的條帶組中。
Cassandra 節點不應該太數據密集。 我們建議每個虛擬機最多保留 1 到 2 TB 的資料,並有足夠的空間進行壓縮。 為了提升使用進階 SSD 的綜合輸送量與 IOPS,我們建議從幾個 1-TiB 磁碟建立條帶集,而非只使用單一 2-TiB 或 4-TiB 磁碟。 例如,在 Standard_E16s_v6 虛擬機上,四片 P30 磁碟在 基準配置效能下合計可提供 20,000 IOPS,而單一 P50 磁碟則為 7,500 IOPS。 保持條帶設定在虛擬機未快取的限制內,分別為 25,600 Premium SSD IOPS 和 848 MBps。
請評估 Azure Ultra 磁碟 是否適合需要較小磁碟容量的 Cassandra 工作負載。 它們能在像 Standard_E16s_v6 和 Standard_D16s_v6 這類虛擬機大小下提供更高的 IOPS/吞吐量和更低的延遲。
對於不需要長期記憶體的 Cassandra 工作負載,也就是可從另一個記憶體媒體輕鬆重建數據,請考慮使用 Standard_L16s_v3 或 Standard_L16s_v2 VM。 這些 VM 規格具有大型且快速的本地 暫存 NVM Express(NVMe)磁碟。
加速網路
Cassandra 節點會大量使用網路,從用戶端 VM 傳送和接收數據,以及在節點之間進行通訊以進行複寫。 為了獲得最佳效能,Cassandra VM 受益於高輸送量和低延遲的網路。
我們建議在 Cassandra 節點的 NIC 上啟用加速網路,並在執行用戶端應用程式以存取 Cassandra 的虛擬機器(VM)上也進行相同設定。
加速網路需要受支援且已安裝最新驅動程式的 Linux 發行版。 如需詳細資訊,請參閱 使用加速網路建立Linux虛擬機。
Azure VM 資料磁碟快取
Cassandra 讀取工作負載在隨機存取磁碟延遲很低時效能最佳。 對於支援主機快取且容量小於 4 TiB 的高級 SSD 資料磁碟,請評估 唯讀 快取。 快取命中能降低讀取延遲,因為資料是從主機快取讀取,而不是從後端儲存讀取。
像 Cassandra 這種以讀取為主、隨機讀取的工作負載,可以從較低的讀取延遲中受益。 檢查所選虛擬機大小的快取與未快取 IOPS 以及吞吐量限制。
唯讀快取對於 Cassandra 時間序列和其他工作負載尤其有用,因為在這些情況下,工作數據集可在主機快取中運行,且數據不會被不斷覆寫。 請檢查所選虛擬機大小的可用主機快取容量。
在正式環境中啟用 ReadOnly 快取前,先測試有沒有 ReadOnly 快取的工作負載。 Ultra Disks 和 Premium SSD v2 不支援主機快取。 對於這些磁碟類型,請使用虛擬機未快取的儲存限制。
Linux 預先讀取
在大多數 Microsoft Marketplace 提供的 Azure Linux 發行版中,預設的區塊裝置預讀設定為 4096 KB。 Cassandra 的讀取 I/OS 通常是隨機且相對較小的。 因此,過大的預讀會因讀取不需要的檔案部分而浪費效能。
若要將不必要的讀取提前最小化,請將 Linux 區塊裝置的預先讀取設定設為 8 KB。 (請參閱 DataStax 檔中的建議生產設定 。
針對條帶集和陣列裝置本身的所有區塊裝置,設定 8 KB 的預先讀取(例如 /dev/md0)。
磁碟陣列 mdadm 區塊大小
在 Azure 上執行 Cassandra 時,通常會建立多個數據磁碟的 mdadm 等量集(也就是 RAID 0),以增加接近 VM 限制的整體磁碟輸送量和 IOPS。 最佳化的磁碟條帶大小是應用程式特定的設定。 例如,針對 SQL Server OLTP 工作負載,建議為 64 KB。 對於數據倉儲工作負載,建議為 256 KB。
我們的測試發現 Cassandra 讀取工作負載的區塊大小 64k、128k 和 256k 之間沒有顯著差異。 似乎12.8萬大小的塊具有略有顯著的小優勢。 因此,我們建議採用以下方法:
如果您已經使用 64 K 或 256 K 的區塊大小,則重建磁碟陣列使用 128-K 大小並無意義。
對於新的組態,從一開始就使用 128 K 是合理的。
提交日誌檔案系統
當認可記錄檔被寫入高輸送量和低延遲的磁碟上時,Cassandra 的效能表現最佳。 在預設組態中,Cassandra 3.x 會每隔 10 秒將數據從記憶體清空到提交記錄檔,且不會每次寫入都觸及硬碟。 在此組態中,無論提交紀錄是存放在高效能附加磁碟還是本機/暫時性磁碟上,寫入效能幾乎完全相同。
提交日志必須持久,以便重新啟動的節點可以從已轉存的提交日志重建尚未在資料檔案中的任何資料。 為了提升耐用性,建議將提交日誌儲存在高級 SSD 上,而非本地儲存裝置,因為若虛擬機遷移到其他主機,這些儲存可能會遺失。
根據我們的測試,CentOS 7.x 上的 Cassandra 在提交日誌位於 xfs 上時,寫入效能可能會 低於 ext4 檔案系統。 開啟提交日誌壓縮的功能可讓 xfs 效能與 ext4 一致。 壓縮的 xfs 在我們的測試中表現得與壓縮和非壓縮的 ext4 一樣好。
衡量基線虛擬機效能
部署好 Cassandra 環的虛擬機後,先做幾個合成測試,建立基礎網路和磁碟效能。 使用這些測試,根據 VM 大小確認效能符合預期。
稍後,當您執行實際工作負載時,知道效能基準可讓您更輕鬆地調查潛在的瓶頸。 例如,瞭解 VM 上網路輸出的基準效能有助於排除網路作為瓶頸。
文件大小
Cassandra 讀取和寫入效能取決於檔大小。 當您使用較大的文件進行讀取或寫入時,可能會看到較高的延遲和較低的操作次數/每秒。
複製因數
大多數 Cassandra 工作負載在使用附加的高效能磁碟時,會使用複寫因子(RF)為 3,而在使用臨時或短暫性本地磁碟時,則會使用 5。 Cassandra 通道中的節點數目應該是複寫因數的倍數。 例如,RF 3 表示通道為 3、6、9 或 12 個節點,而 RF 5 會有 5、10、15 或 20 個節點。 當您使用大於 1 的 RF 並且一致性等級設定為 LOCAL_QUORUM 時,讀寫效能相比於相同工作負載使用 RF 為 1 時通常會較低,這是正常的。
Linux 頁面快取
當 Cassandra 的 Java 程式代碼讀取數據檔時,它會使用一般檔案 I/O,並受益於 Linux 頁面快取。 一次讀取檔案部分之後,讀取內容會儲存在OS頁面快取中。 對相同數據的後續讀取存取速度要快得多。
因此,針對相同資料執行讀取效能測試時,第二次和後續讀取似乎比原始讀取快得多,原始讀取需要存取遠端資料磁碟上的資料,或在啟用 ReadOnly 時從主機快取存取資料。 若要在後續執行時取得類似的效能測量,請清除 Linux 頁面快取,然後重新啟動 Cassandra 服務以清除其內部記憶體。 啟用唯讀快取時,資料可能位於主機快取中,即使在清除作業系統頁面快取並重新啟動 Cassandra 服務之後,後續讀取速度也會更快。
多資料中心複製
Cassandra 原生支援多個數據中心的概念,讓您輕鬆地跨多個 Azure 區域 或跨 一個區域內的可用性區域 設定一個 Cassandra 通道。
針對多區域部署,請使用 Azure 全域 VNet 對等互連來連線不同區域中的虛擬網路。 當 VM 部署在相同區域,但在不同的可用性區域中時,VM 可以位於相同的虛擬網路中。
請務必測量區域之間的基準往返延遲。 區域之間的網路等待時間可比區域內的延遲高出 10-100 倍。 預期使用LOCAL_QUORUM寫入一致性時,資料在第二個區域出現會有延遲,或者使用EACH_QUORUM時,寫入效能會顯著下降。
當您大規模執行 Apache Cassandra,特別是在多 DC 環境中時, 節點修復 會變得具有挑戰性。 工具如Reaper可以協助大規模協調修復(例如,跨資料中心的所有節點,一次一個資料中心,以限制整個叢集的負載)。 然而,大型叢集的節點修復仍是未解決的挑戰,適用於所有環境,無論是本地端還是雲端。
當節點新增至次要區域時,效能不會以線性方式調整,因為某些頻寬和 CPU/磁碟資源會花費在接收和傳送跨區域復寫流量。
提示交接設定
在多區域 Cassandra 環狀網路中,當一致性層級設定為 LOCAL_QUORUM 時,寫入操作可能會遺失次區域的資料。 根據預設,Cassandra 的提示交接會限制至相對較低的最高吞吐量和三小時的提示存留期。 對於大量寫入的工作負載,我們建議增加提示移交限速和提示窗口時間,以確保提示在被複製之前不會被捨棄。
參與者
本文由 Microsoft 維護。 以下貢獻者撰寫了這篇文章。
主要作者:
- 阿森·弗拉基米爾斯基 | 首席客戶工程師
其他投稿人:
- Theo van Kraay |資深項目經理
若要查看非公開的 LinkedIn 個人檔案,請登入 LinkedIn。
下一步
如需一般 Cassandra 設定的詳細資訊,並非 Azure 特有,請參閱: