- 重復數據刪除技術:面向大數據管理的縮減技術
- 付印金 肖儂編著
- 971字
- 2022-07-29 14:41:31
1.2 高效能存儲管理
大數據存儲管理需要存儲系統不斷追求海量存儲容量、高性能、高安全性、高可用性、可擴展性、可管理性等特性,以滿足數據量爆炸式增長趨勢帶來的壓力。企業需要不斷購置大量的存儲設備來應對數據增長的存儲需求,但這并不能從根本上解決問題。一方面,存儲設備的采購預算越來越高,大多數企業難以承受如此巨大的開支。另一方面,隨著數據中心的擴大,存儲管理成本、占用空間、制冷能力、能耗等也都變得越來越嚴重,其中能耗尤為突出。另外,大量的異構物理存儲資源大大增加了存儲管理的復雜性,容易造成存儲資源浪費和利用效率不高。為緩解存儲系統空間增長的問題,縮減數據占用空間,簡化存儲管理,最大限度地利用已有資源,降低成本,高效能的大數據存儲管理模式應運而生。
高效能存儲是指能夠提升存儲資源利用效率,從而達到簡化存儲管理、降低存儲能耗、節省運營成本的存儲方式。目前,已有的實現高效能存儲管理的基本策略主要有以下幾種:
· 存儲資源整合:利用存儲虛擬化、分布式文件系統和負載均衡等技術將分散物理存儲資源替換為虛擬的統一存儲資源池,減緩管理負擔和存儲需求,但可能存在性能瓶頸。
· 動態存儲容量配置:應用系統訪問存儲空間時無須關心資源具體物理位置與其容量限制,完全根據自身需求任意預支,獲得極大的配置自由度;也可按需自動分配物理存儲資源,以緩解過度預配置,使應用程序只消耗必要的存儲資源來將塊數據寫入特定卷,自動精簡配置優化存儲利用率。
· 縮減存儲容量:通過重復數據刪除技術刪除重復的文件和塊,以及利用壓縮技術對數據進行重新編碼等數據縮減技術消減存儲系統中的數據冗余,有效減少數據存儲量和網絡通信量。
· 信息生命周期管理:根據數據價值和訪問頻度自動在不同存儲層次之間流動。讀寫緩存機制配合存儲自動分級技術,智能地將新數據和那些很可能被頻繁訪問的“熱”數據遷移到更快、更貴的高性能存儲媒介上,而那些不是很重要的“冷”數據則存儲在便宜、性能低的存儲媒介上。在保障存儲系統性能的同時,有效降低存儲成本。
· 降低能耗:綜合多種虛擬化技術減緩存儲需求,提高存儲利用率和系統能耗效率,例如將空閑磁盤轉換成非活動或低速旋轉模式,有效節省能耗。
高效能存儲技術目前已經在存儲產品中得到廣泛推廣和應用。業界公認的四項高效能存儲管理核心技術分別是存儲虛擬化、自動分層存儲、自動精簡配置和數據縮減技術。
- 復雜性思考:復雜性科學和計算模型(原書第2版)
- 信息系統與數據科學
- Libgdx Cross/platform Game Development Cookbook
- 數據化網站運營深度剖析
- iOS and OS X Network Programming Cookbook
- 數據庫應用基礎教程(Visual FoxPro 9.0)
- Ceph源碼分析
- 數據驅動設計:A/B測試提升用戶體驗
- INSTANT Apple iBooks How-to
- 區塊鏈技術應用與實踐案例
- Oracle數據庫管理、開發與實踐
- 深入理解InfluxDB:時序數據庫詳解與實踐
- Visual FoxPro數據庫技術基礎
- 領域驅動設計精粹
- Configuration Management with Chef-Solo