隨著科技的不斷發(fā)展，數(shù)據(jù)的獲取及存儲(chǔ)能力有了極大提升，致使數(shù)據(jù)規(guī)模呈現(xiàn)急速膨脹態(tài)勢(shì)。這為數(shù)據(jù)挖掘和數(shù)據(jù)分析帶來更多機(jī)遇的同時(shí)，各種數(shù)據(jù)質(zhì)量問題的研究也給我們提出了巨大的挑戰(zhàn)，其中數(shù)據(jù)缺失是影響數(shù)據(jù)質(zhì)量的重點(diǎn)問題之一。數(shù)據(jù)庫(kù)中大量的缺失值不僅嚴(yán)重影響應(yīng)用者的查詢質(zhì)量，還會(huì)對(duì)數(shù)據(jù)挖掘與數(shù)據(jù)分析結(jié)果的正確性造成影響，進(jìn)而誤導(dǎo)決策。因此，本文針對(duì)缺失數(shù)據(jù)填補(bǔ)這類問題展開深入研究。目前缺失數(shù)據(jù)的填補(bǔ)方法很多，大部分方法是針對(duì)不完整數(shù)據(jù)中存在一種缺失類型的數(shù)據(jù)進(jìn)行填補(bǔ)，但隨著數(shù)據(jù)量的增長(zhǎng)，龐雜的數(shù)據(jù)中缺失類型往往是混合的，單純地應(yīng)用現(xiàn)有的方法達(dá)不到一個(gè)很好的填補(bǔ)效果。為此，本文針對(duì)不同缺失類型同時(shí)出現(xiàn)在不完整數(shù)據(jù)中的這種復(fù)雜情況展開研究。主要工作如下：

　　首先，本文針對(duì)常規(guī)型缺失數(shù)據(jù)的特點(diǎn)結(jié)合關(guān)聯(lián)規(guī)則的原理，提出了一種基于弱可用項(xiàng)集的數(shù)據(jù)填補(bǔ)方法，從關(guān)聯(lián)規(guī)則填補(bǔ)缺失值存在的兩個(gè)問題展開深入研究。第一，針對(duì)頻繁項(xiàng)集挖掘時(shí)間長(zhǎng)這個(gè)問題提出了一種基于布爾矩陣的關(guān)聯(lián)規(guī)則挖掘方法，該方法結(jié)合布爾矩陣運(yùn)算的特點(diǎn)來快速求解相關(guān)參數(shù)，減少 I/O 操作的同時(shí)也從整體上優(yōu)化了頻繁項(xiàng)集的挖掘效率。第二，針對(duì)產(chǎn)生規(guī)則少影響填補(bǔ)率這個(gè)問題提出了一種基于弱可用項(xiàng)集的填補(bǔ)方法，該方法通過在頻繁與弱可用項(xiàng)集之間建立連接，一方面利用挖掘出的連接規(guī)則提高了填補(bǔ)率；另一方面利用挖掘出的互斥規(guī)則為下一步的填補(bǔ)提供了更有效的計(jì)算依據(jù)。

　　然后，本文針對(duì)異常型缺失數(shù)據(jù)的特點(diǎn)結(jié)合推薦算法的思想，提出了一種基于元組相似度的數(shù)據(jù)填補(bǔ)方法。從相似元組的查找效率和求解元組相似度的準(zhǔn)確性上進(jìn)行優(yōu)化，一方面通過建立項(xiàng)目-元組倒排表來提高相似元組的查找效率；另一方面基于屬性貢獻(xiàn)度來計(jì)算元組相似度，最后利用 top-k 得分獲得最優(yōu)填補(bǔ)值。

　　最后，本文采用一組真實(shí)的 UCI 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，證明了本文提出的這套填補(bǔ)方法在混合型缺失數(shù)據(jù)中更高效。

　　隨著互聯(lián)網(wǎng)及信息技術(shù)的高速發(fā)展，數(shù)據(jù)作為這些技術(shù)不可或缺的資源正在被以指數(shù)級(jí)增長(zhǎng)的速度開采和挖掘，龐大的數(shù)據(jù)給社會(huì)生產(chǎn)、經(jīng)濟(jì)研究、生物醫(yī)學(xué)、信息科學(xué)研究等諸多領(lǐng)域的改革創(chuàng)新帶來無(wú)限機(jī)遇的同時(shí)，也帶來了越來越多的挑戰(zhàn)，那就是如何挖掘出隱含在這些海量數(shù)據(jù)中有價(jià)值的信息和知識(shí)，因此，數(shù)據(jù)挖掘［1］作為一項(xiàng)重要的技術(shù)隨之應(yīng)運(yùn)而生，并得到社會(huì)生產(chǎn)、經(jīng)濟(jì)研究、生物醫(yī)療、科學(xué)研究等許多領(lǐng)域的廣泛應(yīng)用，取得了巨大的社會(huì)效益和經(jīng)濟(jì)效益。然而許多模型和算法都是建立在高質(zhì)量的數(shù)據(jù)集上，但現(xiàn)實(shí)世界中的數(shù)據(jù)集很多都存在數(shù)據(jù)缺失、數(shù)據(jù)不一致、數(shù)據(jù)冗余、噪聲數(shù)據(jù)等問題［2，3］。這些問題將嚴(yán)重影響數(shù)據(jù)挖掘的成功與否和適用性能，成為數(shù)據(jù)挖掘的障礙。因此，為了能有效地應(yīng)用數(shù)據(jù)挖掘的方法和提高挖掘的質(zhì)量，在對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分析之前要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，其中數(shù)據(jù)缺失問題的處理是預(yù)處理中非常重要的一個(gè)環(huán)節(jié)。

　　在現(xiàn)實(shí)社會(huì)的各個(gè)領(lǐng)域中，數(shù)據(jù)缺失現(xiàn)象可以說是無(wú)處不在，且處理不當(dāng)會(huì)對(duì)后續(xù)的生產(chǎn)和研究工作帶來很多不利影響。比如，在工業(yè)生產(chǎn)過程中，由于硬件設(shè)備等問題導(dǎo)致一些數(shù)據(jù)不能正常獲??；在大型普查過程中，可能因?yàn)闀r(shí)間、地理位置的變化導(dǎo)致普查結(jié)果的不完整；在醫(yī)療領(lǐng)域，經(jīng)常需要對(duì)各種病歷進(jìn)行臨床實(shí)驗(yàn)，但由于有些病人的檢驗(yàn)結(jié)果不能第一時(shí)間獲取而導(dǎo)致實(shí)驗(yàn)數(shù)據(jù)缺失的情況；在市場(chǎng)調(diào)研時(shí)，由于被調(diào)研者對(duì)于問題的理解程度不同，或是主觀的某些原因都會(huì)導(dǎo)致調(diào)研結(jié)果的缺失出現(xiàn)。可以看出數(shù)據(jù)缺失問題覆蓋了經(jīng)濟(jì)研究、社會(huì)生產(chǎn)、人們生活產(chǎn)品制造和科學(xué)研究的各個(gè)方面且不可避免，并且隨著數(shù)據(jù)量的激增呈現(xiàn)出一種上升的態(tài)勢(shì)，如果對(duì)缺失數(shù)據(jù)的處理僅僅停留在單一地處理（像刪除含缺失值記錄或使用均值填充）層面上，很難從整體上來把握數(shù)據(jù)的趨勢(shì)變化，更糟糕的是可能會(huì)因?yàn)檫@樣的分析結(jié)果導(dǎo)出錯(cuò)誤的決策，這不管對(duì)于科學(xué)研究還是社會(huì)生產(chǎn)等各個(gè)領(lǐng)域都是不愿看到的。

　　為了能在海量數(shù)據(jù)中挖掘出有意義的信息資源從而為決策者提供科學(xué)依據(jù)，

　　數(shù)據(jù)質(zhì)量研究成為目前重要研究課題，其中合理填補(bǔ)缺失值、構(gòu)建更為準(zhǔn)確的完整數(shù)據(jù)集是課題研究中的一個(gè)難點(diǎn)和重點(diǎn)。因此，我們要認(rèn)識(shí)到填補(bǔ)缺失值對(duì)于數(shù)據(jù)挖掘及數(shù)據(jù)分析有著重要的意義。

　　1. 填補(bǔ)缺失值能夠防止刪除含有少量缺失值的重要記錄，這樣使得數(shù)據(jù)集中某些重要信息得以保留從而為正確決策提供有效依據(jù)。

　　2. 填補(bǔ)缺失值能夠重新修復(fù)出一個(gè)完整的數(shù)據(jù)集，從而讓數(shù)據(jù)挖掘能在一個(gè)全總的數(shù)據(jù)集上進(jìn)行分析，而不是在局部數(shù)據(jù)上進(jìn)行分析，避免了因局部分析結(jié)果的片面性而產(chǎn)生錯(cuò)誤的決策。

　　3. 填補(bǔ)正確的缺失值可以避免因引入新的噪音而影響數(shù)據(jù)挖掘的效果。因此，深入研究數(shù)據(jù)缺失問題，不僅為了全面、準(zhǔn)確地利用現(xiàn)有數(shù)據(jù)去反映真實(shí)的實(shí)際情況，更是為了能夠進(jìn)行高層次的分析進(jìn)而挖掘出這些數(shù)據(jù)隱含的、有用的關(guān)系和規(guī)則。所以，本文的主要工作就在于對(duì)現(xiàn)有的主流填補(bǔ)方法進(jìn)行較全面的分析后，研究如何利用現(xiàn)有數(shù)據(jù)完成對(duì)數(shù)據(jù)集中存在的混合型缺失數(shù)據(jù)的填補(bǔ)工作，提出了一套新的缺失數(shù)據(jù)填補(bǔ)方法，并對(duì)其填補(bǔ)結(jié)果進(jìn)行分析與評(píng)價(jià)，以期為實(shí)際數(shù)據(jù)預(yù)處理提供借鑒，具有非常重要的現(xiàn)實(shí)意義。