針對數(shù)據(jù)中心存在大量數(shù)據(jù)冗余的問題，特別是備份數(shù)據(jù)造成的存儲容量浪費，提出一種基于Hadoop平臺的分布式重復數(shù)據(jù)刪除解決方案。該方案通過檢測并消除特定數(shù)據(jù)集內的冗余數(shù)據(jù)，來顯著降低數(shù)據(jù)存儲容量，優(yōu)化存儲空間利用率。利用Hadoop大數(shù)據(jù)處理平臺下的分布式文件系統(tǒng)（HDFS）和非關系型數(shù)據(jù)庫HBase兩種數(shù)據(jù)管理模式，設計并實現(xiàn)一種可擴展分布式重刪存儲系統(tǒng)。其中，MapReduce并行編程框架實現(xiàn)分布式并行重刪處理，HDFS負責重刪后的數(shù)據(jù)存儲，在HBase數(shù)據(jù)庫中構建索引表，實現(xiàn)高效數(shù)據(jù)塊索引查詢。最后，利用虛擬機鏡像文件數(shù)據(jù)集對系統(tǒng)進行了測試，基于Hadoop平臺的分布式重刪系統(tǒng)能在保證高重刪率的同時，具有高吞吐率和良好的可擴展性。