適用於以下Azure Well-Architected框架的成本優化檢查清單建議:
| CO:10 | 優化數據成本。 具有數據優先順序的數據支出。 數據優化應該包括數據管理(分層和保留)、磁碟區、復寫、備份、檔案格式和記憶體解決方案的改善。 |
|---|
本指南說明優化工作負載數據成本的建議。 優化數據成本涉及根據數據的重要性和存取頻率,將與儲存和管理數據相關的費用降到最低。 適當的數據管理可以大幅降低間接成本,並使支出與數據效用相符。 忽視優化數據成本可能會導致費用膨脹、資源配置效率低下,以及因儲存解決方案錯誤和不必要的數據保留而造成財務浪費。
定義
| 術語 | 定義 |
|---|---|
| 數據生命週期管理 | 在整個生命週期中管理數據的流程,從建立到刪除。 此程式牽涉到根據數據的價值和使用模式來組織、儲存、保護和封存數據。 |
| 資料冗餘 | 將重複的數據復本儲存到多個記憶體系統或位置的做法。 數據備援的目的是改善數據可用性和容錯能力。 |
| 資料分層 | 包含根據存取頻率分類數據的儲存策略,並據以儲存在儲存層上。 |
| 保留原則 | 在刪除數據之前,應該保留數據的持續時間。 它會指定必須保留數據以符合法律、法規或商務需求的時間週期。 |
在特定工作負載內,您可以藉由減少與儲存和管理數據相關聯的費用,將數據成本優化。 有各種策略和最佳做法可將數據儲存和處理成本降至最低。 目標是將數據成本與數據優先順序一致。 您必須根據其重要性或存取頻率,將成本層指派給數據類型。
工作負載數據成本的主要因素是存取頻率、存取延遲,以及儲存量。 下列指引包含針對這些成本驅動因素進行成本優化的策略。
資料盤點
在您能優化數據成本之前,需要先生成數據清單。 檢查數據存取,並判斷其在工作負載及其作業內的重要性。 識別哪些數據經常存取,以及哪些數據存取頻率較低。 下列清查動作可協助您有效地設定記憶體資源:
收集數據存取資訊: 進行數據稽核,以識別和編錄所有數據存放區。 根據數據集對商務作業的重要性、投資報酬率,以及使用頻率來決定數據集的值。 從數據記憶體解決方案收集存取記錄、使用計量或分析。
識別數據類型: 根據數據類型來分類數據,例如個人資料、財務數據、智慧財產權或作數據。 瞭解每個數據類型的敏感度和關鍵性。
識別存取模式: 識別數據存取中的模式,例如每日、每周或每月使用模式。 您應該瞭解該資料的延遲、檔案大小和數據新鮮度需求。
排定數據的優先順序
數據優先順序是根據敏感度和重要性將重要性層級分類和指派給數據類型的程式。 數據優先順序應符合環境的重要性。 例如,生產數據比生產前數據更重要。
使用下列步驟來評估不同類型的數據對您工作負載的重要性:
定義優先順序層級: 根據數據對組織的價值、法規需求,以及數據遺失的潛在影響,建立數據的優先順序層級(例如高、中和低)。 目標是將數據優先順序對齊適當的數據解決方案。
指派標籤: 為每個數據集加上其敏感度和關鍵性的標籤。 您可以根據數據結構和使用方式,在數據列、數據行或檔案層級套用標籤。 針對資料庫,您可以使用特殊工具來標記數據,並將數據的敏感度和關鍵性與特定數據列和數據行產生關聯。 此方法提供對數據管理和存取的細微控制。
優化數據管理
數據管理是儲存、移動和保護工作負載數據的程式。 藉由優化數據管理,您可以將費用與數據優先順序一致,並從您的數據衍生更多價值。 請考慮下列數據管理策略。
優化數據生命週期管理
在其整個生命周期中管理數據是很重要的。 生命周期的階段包括數據建立(或擷取)、記憶體、使用量、共用、保留和處置(刪除或封存)。 數據生命週期管理的目標是要優化數據儲存解決方案,同時符合相關法規和原則。
資料記憶體有三個重要成本元件:
記憶體成本:與儲存數據相關聯的費用,例如每 GB。
交易成本:鏈接至數據作業的成本,例如寫入作業、讀取作業和數據擷取(每 GB)。 讀取和寫入數據可能會有不同的成本。
延遲成本:與存取數據的速度或延遲相關聯的費用。
下列考慮是數據生命週期管理的基礎:
- 使用數據階層處理: 數據階層處理的目標是要讓存取和保留與最符合成本效益的儲存層保持一致。 儲存層的範圍從熱(頻繁/立即存取)到冷(不常/延遲存取)。
使用與數據存取和保留需求不一致的層級會花費更多成本。 例如,應用程式經常存取的數據應該存放在熱儲存中。 應用程式不常存取的數據應該位於冷記憶體中。 有效地管理這些層面有助於確保有效率的數據儲存。
請考慮合規性需求: 實作數據階層處理需要仔細考慮合規性需求和數據控管原則。 合規性和法律需求通常會推動數據存取和保留。 建立數據保留原則,以確保符合法律、法規和商務需求。
定義數據生命周期原則。 數據生命周期原則會根據預先定義的準則,指定在儲存層之間移動數據的時機和方式。 這些原則可確保您將數據保留在適當的存儲層級中,以符合所需的保留時間。 例如,原則可以指出數據必須在經常性存取層中保留 30 天、非經常性存取層 90 天,以及在封存層中保留一年。 根據法律需求、產業法規或內部原則等因素來設定保留期限。
使用自動化:保留原則可以觸發階層之間的數據移動。 您應該先使用平臺功能將原則自動化,再建置任何自定義解決方案。
當特定層的保留期限到期時,原則可以自動將數據移至下一個低成本層。 例如,當熱存取層的保留期間結束時,政策可以將數據移至冷存取層。 此原則可確保數據會根據其存取模式和成本需求持續優化。
在你用生命週期政策自動移動或刪除大量資料之前,先跑一個測試模擬(「模擬跑」),看看會發生什麼,但不實際改變任何東西。
權衡:管理資料保存政策需要不斷的監控和維護。 它可以為數據管理程序帶來更多額外負荷。 這也可能會影響記憶體成本。 較長的保留期間或使用高成本儲存層可能會增加記憶體費用。
風險:數據生命週期管理的實作不佳可能會導致數據遺失或對重要數據的存取有限。 您應該具備適當的備份和復原機制,以降低數據遺失的風險。
優化數據分割
優化數據分割涉及以策略方式將數據組織成不同的區段,並合併類似的數據類型,以有效率地配置記憶體資源。 它可讓您針對資料優先順序量身打造記憶體資源配置。
若要有效地優化數據分割,您可以依類型和使用模式來分類數據。 然後,您會根據數據區段的作業相似性和需求,將數據區段放在最有效的解決方案上。 例如,您將需要高效能記憶體的數據放在資源上,且擷取時間更快。 封存數據會使用成本較低的資源,且擷取時間較慢。
此方法可確保高需求數據會使用更快的記憶體,以獲得最佳效能,且較不存取的數據會使用更便宜的記憶體。 同樣地,當數據類型共用使用模式時,您應該將它們分組在單一資源上,以減少額外負荷、簡化管理及改善數據處理。
將數據傳輸降到最低
將數據傳輸降至最低是指減少跨網路的數據移動,以減少數據傳輸成本。 它減少工作負載移動的數據量,並降低網路使用費用。 若要將數據傳輸降至最低,請考慮下列建議:
- 使用正確的地點。 將數據放在地理位置更接近其使用者的位置。 數據鄰近性可減少網路移動,進而加速存取並優化成本。
- 使用快取。 請考慮快取的優點,以將數據傳輸降到最低。
- 使用內容傳遞網路。 內容傳遞網路可以將經常被讀取的靜態數據儲存在更靠近用戶的地方。 它可減少整個網路的數據移動,並協助卸除頻寬使用量。
對於 Lakehouse 架構的資料擷取,請評估能降低初期資料擷取成本的免費方案。 例如,Azure Databricks 的 Lakeflow Connect 免費方案 每天為每個工作空間提供 100 個免費 DBU 用於 SaaS 與資料庫擷取。 資料由 Unity 目錄管理。 在規劃初始部署時,請考慮免費方案的容量限制,因為標準定價會超出門檻。
優化安全性和合規性
某些生產數據需要更高的安全性和合規性需求。 這些措施可能會造成與數據保護、加密、備份、保留和稽核相關的額外成本。
您必須確保資料儲存解決方案中的變更符合這些需求。 安全性與合規性需求較低的數據通常會提供優化成本的機會。
優化數據量
尋找減少您儲存之數據量的策略可協助降低成本。 藉由變更數據的存取範圍並實作下列技術,您可以有效地優化預存數據的磁碟區:
擷取較少的數據:深入瞭解您要擷取的數據。 判斷其中是否有任何項目對您的用途而言是不必要的。 修改您的程式、設定或組態,只擷取基本數據。
壓縮數據:壓縮可藉由減少數據大小來節省成本。 在寫入一次、永不讀取或很少讀取的案例中,這是最有效的方式。 它更適合用於較冷的儲存。
取捨:壓縮和解壓縮數據會增加CPU時間。
刪除不必要的數據:實作原則以簡化儲存相關信息的程式。 評估備份和快照集的保留期間,並刪除不再需要的數據。 您可能想要有導致最終數據刪除的過程,例如首先將數據封存,並啟用軟刪除期。 刪除數據之前,請務必考慮復原性。
重複資料刪除:實作重複數據刪除技術來消除重複數據。 重複資料刪除可藉由確保您只儲存唯一的數據區塊來降低記憶體需求,因此可節省成本。 使用哈希演算法和數據區塊的比較。 定期執行重複數據刪除程式,以識別並消除重複的數據。
優化用戶行為:在收集用戶產生數據的工作負載中,教育使用者有效數據儲存的重要性。 鼓勵他們定期檢閱和刪除不必要的檔案和數據。 實作記憶體配額或定價模型,以阻止過度儲存數據。
優化數據復寫
數據復寫牽涉到建立多個數據複本,並將其儲存在其他地理位置或區域中,以取得可靠性。 復寫可確保如果某個位置或區域發生失敗或中斷,您仍然可以從其他位置的複寫複本存取數據。
此備援可協助改善數據的可用性和復原能力。 它會將數據遺失和停機時間的風險降到最低。
為了成本優化而優化數據復寫,請考慮下列指導方針:
評估數據復寫需求:評估工作負載的特定需求,並判斷所需的數據復寫層級。 請考慮數據關鍵性、復原時間目標(RTO)和恢復點目標(RPO)等因素。
選擇正確的復寫策略:選取符合成本優化目標的複寫技術。 請考慮工作負載的服務等級協定 (SLA) 需求。
評估同步復寫、異步復寫或兩者的組合等選項。 根據數據一致性需求和網路頻寬考慮等因素做出決策。 評估您工作負載所需的可用性,並評估區域冗餘與區域性冗餘的需求。
優化網路頻寬:藉由實作壓縮和數據重複數據刪除技術,將網路頻寬的使用降到最低。 這些技術可以減少在復寫期間傳輸的數據量,從而節省成本。
監視和優化複寫頻率:根據工作負載的變更需求定期檢閱和調整複寫頻率。 微調復寫頻率可藉由降低不必要的復寫額外負荷來協助將成本優化。
優化備份
備份是您可以建立並獨立於主要儲存空間儲存的定期快照或資料複本。 如果數據損毀、意外刪除或系統失敗,您可以使用備份將數據還原至其先前的狀態。
以下是優化備份的一些技術:
數據分類:根據數據的重要性和備份優先順序來分類數據。 分類可協助您將資源放在備份重要數據上,同時將較不重要數據的備份成本降到最低。
增量備份:不要每次執行完整備份,請考慮實作增量備份。 增量備份只會擷取自上次備份之後所做的變更,這可以減少記憶體和網路頻寬需求。
取捨:增量備份需要更多步驟和時間來還原數據。 您需要先還原完整備份,然後依序套用每個增量備份,直到到達所需的還原點為止。
備份壓縮:在備份程式期間啟用壓縮,以減少備份檔的大小。 壓縮備份需要較少的儲存空間,因此您可以節省成本。
備份儲存層:評估備份保留原則,並考慮將較舊的備份移至低成本的儲存層,例如冷記憶體或封存記憶體。 將較不常存取的備份儲存在符合成本效益的記憶體選項中,有助於將成本優化。
備份保留期限:根據商務需求和合規性法規,檢閱和調整備份的保留期限。 維護較長持續時間的備份可能會導致額外的記憶體成本。
備份頻率:分析各種數據類型的備份頻率。 根據數據變更的頻率和數據的重要性,調整備份排程。 這些做法有助於消除不必要的備份,並降低記憶體成本。
優化檔案格式
檔格式會透過優化數據的輸入/輸出 (I/O) 模式和查詢模式來影響成本優化。 某些檔案格式符合特定案例。 將檔格式與您的工作負載需求一致,可以改善工作負載的效能。
以下是對常見格式的考量事項:
Avro:當您處理大量寫入的 I/O 模式,或當查詢模式需要完整擷取多列記錄時,Avro 檔格式是不錯的選擇。 Avro 的串行化和還原串行化程式很有效率,因此它與 Kafka 等訊息總線相容,可快速連續產生一系列事件和訊息。
Parquet 和 Optimized Row Columnar (ORC):在讀取頻繁的 I/O 模式中,Parquet 和 ORC 檔案格式表現出色,尤其是當查詢模式著重於記錄的特定欄位時。
這兩種格式都是列式儲存,這表示資料是依欄儲存,而不是逐行儲存。 單欄式記憶體可讓您改善壓縮和有效率的讀取作業。 只需要擷取必要的欄位,這樣就能避免因不相關資料而產生不必要的 I/O。
優化記憶體解決方案
評估並選取最適合您資料的儲存方法和系統。 這項工作可能包括切換資料庫、使用不同的記憶體類型,或新增快取機制。 輕鬆管理是選擇記憶體解決方案時需要考慮的另一個因素。
藉由針對數據的特定需求和特性量身打造記憶體解決方案,您可以達到更佳的成本效益,同時滿足效能和延展性需求。 切換資料庫或交換服務時會有相關成本,但將數據儲存在錯誤的記憶體解決方案可能會花費您額外的成本。
以下是一些使用案例:
切換資料庫:您可以考慮切換至更符合您需求的資料庫系統。 例如,如果你使用關聯式資料庫,若資料較偏文件導向或需要彈性架構,可以考慮轉用 NoSQL 資料庫。
從關係資料庫移至一般檔案存放區:在某些情況下,將數據儲存在一般檔案中,而不是傳統的關係資料庫,可以提供簡單性和成本效益等優點。 一般檔案非常適合特定類型的數據,例如記錄檔或不需要複雜查詢的數據。 例如,您可以將二進位映像儲存在 SQL 資料庫中,但將二進位影像儲存在特別用於處理二進位數據的記憶體服務中會更有成本效益。
使用摘要將記錄數據成本優化:針對大量記錄數據流,請考慮使用摘要技術來降低儲存成本,同時維護分析功能。
從基礎結構即服務 (IaaS) 移至平臺即服務 (PaaS):IaaS 資料庫解決方案可能是耗時且耗用資源的屬性,可轉移技術小組對核心工作的關注。 數據量的增長以及手動調整、備份和基礎結構維護的挑戰,可讓 PaaS 解決方案更具成本效益且更有效率。
新增快取:若要減少主資料庫伺服器上的資源使用量,請考慮使用快取解決方案來快取複雜的查詢結果。 將資料庫伺服器調整為許可權可能有助於將成本優化。 在適用的使用案例中,請考慮將存活時間(TTL)與快取資料搭配使用,以減少儲存需求並降低成本。
查詢優化與數據儲存區:查詢優化存放區是專為快速擷取和分析而設計。 它們著重於快速數據擷取和讀取,但不會經常更新。 它們非常適合時間序列數據,並快速存取最近的數據,但不適用於大量交易式工作。
數據儲存區會處理大量的彈性數據,尤其是非結構化或半結構化數據。 雖然數據記憶體存放區可以支援分析,但複雜的工作可能需要特製化資料庫。 它們最適合儲存大量可變資料,例如日誌或使用者產生的內容,尤其是在像 NoSQL 這類情境下。
Azure 支援服務
優化資料管理:Azure 儲存體 與 Azure Data Lake Storage 有不同的 資料存取層級。 它們也提供數據生命週期管理原則,以自動化數據分層和保留。
當您大規模自動化資料分層或到期設定時,在提交正式指派作業之前,請先使用儲存任務執行的模擬執行來驗證生命週期規則。 報告顯示有多少個 blob 會移動或被刪除,這有助於你確認預期的儲存節省不會被意外的取回、交易或提前刪除成本抵銷。 模擬生產仍需支付掃描相關費用,但比起修正過於廣泛的生產批次,這是測試大型莊園成本優化政策更安全的方式。
您可以使用以規則為基礎的政策,將 Blob 資料轉換為適當的存取層,或在其生命週期結束時使資料過期。 此原則可讓您在存取 Blob 時,立即將 Blob 從冷資料或很少存取的狀態轉換為熱或經常性存取狀態,以最佳化效能。
以下是服務的一些功能:
監視:您可以使用備份中心作為單一窗格來監視您的作業和每日備份清查。 備份中心提供與備份報告的介面,這些報告使用 Azure 監視器 日誌和 Azure 工作簿。
報表:備份報告提供下列功能:
- 配置和預測已耗用的雲端記憶體。
- 稽核備份和還原。
- 識別各種數據粒度層級的主要趨勢。
- 取得對備份成本優化機會的可見性和深入見解。
預留容量:Azure 備份 儲存預留容量會在您承諾一年或三年期的預訂時,為您提供存放於保險庫標準層的備份資料容量折扣。 預留在預留期限內提供固定數量的備份儲存容量。
Archive tier:您可以依照組織合規規則定義的保留需求,使用 Azure 備份 來儲存備份資料,包括長期保留(LTR)備份資料。 在大部分情況下,較舊的備份數據很少存取,而且只會針對合規性需求儲存。 Azure 備份 支援備份 archive tier 的 LTR 點,此外還支援快照和標準層。
優化儲存解決方案:Azure 擁有多種儲存解決方案。 它們提供各種特性和功能,可協助您根據特定需求將成本優化。 Azure 有指引幫助你選擇合適的資料儲存庫。
若要選擇最適合的記憶體解決方案和設定,請務必評估您的數據存取模式、保留需求和效能需求。 定期使用像 Azure Advisor 這類的工具監控並優化您的儲存使用情況,可以幫助您進一步優化成本。
優化查詢Azure 監視器 Log Analytics摘要規則能自動彙整不同服務層級的高擷取率資料串流。 此方法藉由建立分層式架構,將詳細的原始數據匯總到摘要數據集進行分析和報告,大幅降低儲存費用,同時保留分析見解,以提供符合成本效益的長期數據保留。
相關連結
成本優化檢查清單
請參閱一組完整的建議。