- 重復(fù)數(shù)據(jù)刪除技術(shù):面向大數(shù)據(jù)管理的縮減技術(shù)
- 付印金 肖儂編著
- 644字
- 2022-07-29 14:41:28
3.?dāng)?shù)據(jù)安全問(wèn)題
如此龐大的數(shù)據(jù)量,會(huì)給數(shù)據(jù)安全帶來(lái)壓力。傳統(tǒng)的Raid保護(hù)模式下,單盤(pán)故障后的重建周期會(huì)極大提升,可能會(huì)達(dá)到周級(jí),期間會(huì)有很高概率出現(xiàn)雙盤(pán)失效從而丟失數(shù)據(jù)。為此人們?cè)O(shè)計(jì)出了新型的Raid,比如Raid 2.0數(shù)據(jù)分布模式,可以大大縮短數(shù)據(jù)恢復(fù)的時(shí)間。在數(shù)據(jù)的容災(zāi)方面,龐大的數(shù)據(jù)量會(huì)導(dǎo)致容災(zāi)的RTO和RPO雙雙增加。
綜上所述,如果能夠降低數(shù)據(jù)保有量,無(wú)形中就會(huì)降低成本并提高性能。所以,就催生了使用軟件技術(shù)來(lái)降低數(shù)據(jù)量的方式。在前端,可以從數(shù)據(jù)產(chǎn)生的源頭入手,比如剔除一些垃圾數(shù)據(jù);在后端,則可以從存儲(chǔ)系統(tǒng)角度入手,用一些普適性的技術(shù)來(lái)直接縮減數(shù)據(jù)量,比如實(shí)時(shí)的壓縮/解壓,或者識(shí)別并剔除一些冗余的數(shù)據(jù)。
重復(fù)數(shù)據(jù)刪除(Deduplication)技術(shù)是近幾年來(lái)興起并廣泛落地的一種數(shù)據(jù)縮減技術(shù)。其對(duì)數(shù)據(jù)進(jìn)行分塊,然后分別計(jì)算哈希指紋,并對(duì)指紋進(jìn)行比對(duì)以查找冗余數(shù)據(jù)塊,具有良好的普適性和縮減率。重復(fù)數(shù)據(jù)刪除技術(shù)目前已經(jīng)被廣泛應(yīng)用于商用存儲(chǔ)系統(tǒng)中,包括SAN/NAS/分布式存儲(chǔ)系統(tǒng),已經(jīng)成為標(biāo)配特性。另外,很多SSD也在其主控內(nèi)部實(shí)現(xiàn)了重刪技術(shù),以延長(zhǎng)SSD的壽命。在一些容災(zāi)備份產(chǎn)品中,普遍采用了源端重刪技術(shù),以縮減數(shù)據(jù)量,從而節(jié)省遠(yuǎn)程同步所需的時(shí)間。
目前,市面上對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)進(jìn)行講解分析的書(shū)籍很少見(jiàn),而本書(shū)應(yīng)該是解了燃眉之急,其對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)的背景、原理、場(chǎng)景做了一個(gè)非常好的綜述和演繹,是不可多得的存儲(chǔ)特定技術(shù)領(lǐng)域的書(shū)籍。我在此向大家鄭重推薦本書(shū),同時(shí)也感謝本書(shū)作者為業(yè)界提供了一本優(yōu)秀的書(shū)籍。
——《大話(huà)存儲(chǔ)》《大話(huà)計(jì)算機(jī)》
作者 冬瓜哥
- 數(shù)據(jù)挖掘原理與實(shí)踐
- Learning Spring Boot
- Spark核心技術(shù)與高級(jí)應(yīng)用
- OracleDBA實(shí)戰(zhàn)攻略:運(yùn)維管理、診斷優(yōu)化、高可用與最佳實(shí)踐
- 數(shù)據(jù)庫(kù)程序員面試筆試真題庫(kù)
- Augmented Reality using Appcelerator Titanium Starter
- SQL Server 2012實(shí)施與管理實(shí)戰(zhàn)指南
- 大數(shù)據(jù)技術(shù)原理與應(yīng)用:概念、存儲(chǔ)、處理、分析與應(yīng)用
- Spring MVC Beginner’s Guide
- Filecoin原理與實(shí)現(xiàn)
- MySQL技術(shù)內(nèi)幕:InnoDB存儲(chǔ)引擎
- Kubernetes快速進(jìn)階與實(shí)戰(zhàn)
- ECharts數(shù)據(jù)可視化:入門(mén)、實(shí)戰(zhàn)與進(jìn)階
- 量化投資:交易模型開(kāi)發(fā)與數(shù)據(jù)挖掘
- 數(shù)據(jù)時(shí)代的品牌智造