信息集成中數(shù)據(jù)獲取關(guān)鍵技術(shù)的研究探討

1、信息集成中數(shù)據(jù)獲取關(guān)鍵技術(shù)的研究探討    【摘要】信息集成是以獲取數(shù)據(jù)為基礎(chǔ)來(lái)實(shí)現(xiàn)信息的共享，為需要信息的企業(yè)提供作出決策所需的依據(jù)，信息集成技術(shù)是現(xiàn)代企業(yè)重要的決策依據(jù)和獲取信息的方式。信息集成中數(shù)據(jù)獲取還有賴于數(shù)據(jù)的同步更新的實(shí)現(xiàn)，數(shù)據(jù)更新要在保證效率的前提下提高快照差分算法的查全率。在數(shù)據(jù)獲取的技術(shù)方面，相似重復(fù)記錄的檢測(cè)方法也非常重要，筆者在本文中介紹了一種非常有效的字符串距離度量算法結(jié)合過(guò)實(shí)踐應(yīng)用和調(diào)查研究，對(duì)具體的算法在應(yīng)用效率和作用進(jìn)行了分析對(duì)比，提出了科學(xué)的對(duì)算法進(jìn)行改進(jìn)的建議，旨在進(jìn)一步提高信息集成中數(shù)據(jù)獲取關(guān)鍵技術(shù)，為實(shí)踐提供更加可

2、靠、有效的支持。 【關(guān)鍵詞】信息集成；數(shù)據(jù)獲??；快照差分算法；相似重復(fù)記錄檢測(cè) 隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，信息集成的發(fā)展進(jìn)步越加明顯，信息集成在各行各業(yè)中的應(yīng)用也在不斷深入，對(duì)信息集成的需要和研究都成為了這個(gè)時(shí)代的熱點(diǎn)。數(shù)據(jù)集成中最為重要的內(nèi)容就是數(shù)據(jù)的獲取，數(shù)據(jù)獲取涉及的領(lǐng)域范圍之廣泛、數(shù)量之大以及獲取數(shù)據(jù)的環(huán)境之復(fù)雜都是整個(gè)信息集成中最為耗時(shí)、過(guò)程最為繁瑣的內(nèi)容。信息集成需要做好基礎(chǔ)的數(shù)據(jù)處理工作，數(shù)據(jù)處理時(shí)涉及的關(guān)鍵技術(shù)就是本文所要研究的對(duì)象。本文中筆者主要研究了關(guān)于數(shù)據(jù)同步更新的快照差分算法和應(yīng)用于相似重復(fù)記錄檢測(cè)的度量計(jì)算方法。 1快照差分算法分析 快照差分算法主要是針對(duì)數(shù)據(jù)的同步更

3、新的一種算法，包括Windows算法、SortMerge算法等等，在最近的研究中又有新的研究成果，即基于壓縮策略的改進(jìn)算法?？煺詹罘炙惴ǖ膬?nèi)容就是根據(jù)系統(tǒng)所做的期限安排定期對(duì)基表形成分析的快照，再通過(guò)于前一次的基表快照進(jìn)行差分對(duì)比，計(jì)算出兩次基表之間的變化數(shù)據(jù)情況?？煺瘴募泻幸幌盗械挠涗洠颈硎緸镽1，R2，Rn，在這一系列的記錄中，每條記錄又都包含關(guān)鍵字段和其他字段，差分算法就是在兩個(gè)快照的基礎(chǔ)上產(chǎn)生一個(gè)輸出快照，包含其他字段的更新、后期快照文件中不存在的關(guān)鍵字段記錄以及在先期的快照文件中不存在的關(guān)鍵字段記錄，通過(guò)輸出快照得出數(shù)據(jù)的更新、刪除和插入情況。 快照差分算法的準(zhǔn)確度和計(jì)算效率

4、受到窗口的大小的影響，所以為了提高算法的精準(zhǔn)度和提高計(jì)算效率需要選取合適的窗口大小，又因?yàn)榇翱诖笮∈桥c失配元組的數(shù)目密切相關(guān)的，所以對(duì)窗口大小進(jìn)行調(diào)整是需要調(diào)整相應(yīng)的失配元的數(shù)目來(lái)進(jìn)行的，這樣做的優(yōu)勢(shì)在于保障快照差分算法的效率，同時(shí)還能提高算法所得計(jì)算結(jié)果的準(zhǔn)確度。 2相似重復(fù)記錄檢測(cè)方法分析 信息集成中數(shù)據(jù)獲取關(guān)鍵技術(shù)還包括對(duì)記錄的檢測(cè)，檢測(cè)兩條記錄是否相似的技術(shù)主要是相似重復(fù)記錄檢測(cè)方法。筆者在本文中結(jié)合概率后綴樹來(lái)定義記錄間距的計(jì)算公式和方法，這一設(shè)計(jì)的主要功能在于提高檢測(cè)所得結(jié)果的準(zhǔn)確度；在此基礎(chǔ)上再對(duì)記錄進(jìn)行聚類計(jì)算，聚類計(jì)算不需要設(shè)置相關(guān)的參數(shù)，所以能夠有效降低誤差，使結(jié)果能夠更加

5、的與最真實(shí)的情況相吻合，還可以實(shí)現(xiàn)對(duì)設(shè)定的不同形態(tài)的數(shù)據(jù)構(gòu)造，保證數(shù)據(jù)的精準(zhǔn)度。但是聚類算法也有一定的局限性，在計(jì)算字符串的長(zhǎng)度時(shí)就存在著問(wèn)題，字符串距離的度量公式十分復(fù)雜，所以需要應(yīng)用更為先進(jìn)的聚類方法，即二次聚類方法。二次聚類方法是通過(guò)低價(jià)的度量距離的方法對(duì)復(fù)雜的數(shù)據(jù)集合體進(jìn)行歸類后再用精準(zhǔn)度較高的度量距離的方法和聚類方法進(jìn)行數(shù)據(jù)的分類檢測(cè)。 3實(shí)例研究比較分析 3.1快照差分算法的比較分析 本文主要對(duì)快照差分算法在中間過(guò)程存儲(chǔ)量以及I/O量耗費(fèi)這兩個(gè)方面的比較進(jìn)行分析，在此次比較中相關(guān)數(shù)據(jù)的內(nèi)容并不產(chǎn)生影響，起到比較意義的主要是參與比較過(guò)程的數(shù)據(jù)的數(shù)目多少。筆者在此結(jié)合油料企業(yè)的倉(cāng)庫(kù)數(shù)據(jù)

6、來(lái)進(jìn)行分析，文件大小為128MB或者512MB，記錄大小為150B，記錄數(shù)=文件大小/記錄大小，前后快照的變動(dòng)次數(shù)為記錄數(shù)的1%，主要對(duì)I/O量和中間過(guò)程存儲(chǔ)量進(jìn)行記錄，還需要記錄錯(cuò)誤率。主要采用了SM算法、SMC算法、PH算法、PHC算法，通過(guò)算法所得結(jié)果的對(duì)比發(fā)現(xiàn)在128MB和512MB時(shí)I/O量是存在差別的，在快照文件為128MB時(shí)，PH算法、SMC算法、PHC算法都比SM算法降低了I/O量，還存在大小的差別；在快照文件為512MB時(shí)，I/O量卻有一定的上漲。在實(shí)例應(yīng)用的算法中，SM算法、PH算法的復(fù)雜程度最高。在新近研究中Windows算法在準(zhǔn)確度和開銷等方面都表現(xiàn)出比較強(qiáng)勁的優(yōu)勢(shì)，在

7、效率上也較為顯著，所以將在今后得到推廣。 3.2相似重復(fù)檢測(cè)算法的實(shí)例分析比較 本文主要結(jié)合測(cè)試數(shù)據(jù)生成系統(tǒng)對(duì)原始數(shù)據(jù)進(jìn)行算法的分析比較，原始數(shù)據(jù)中包括的是常用的人名以及與之相對(duì)應(yīng)的信息，如地址、郵編等等，系統(tǒng)通過(guò)人為的根據(jù)不同的需要設(shè)置不同的參數(shù)來(lái)生成所需的不同錯(cuò)誤類型、錯(cuò)誤比率以及不同規(guī)模的相似重復(fù)數(shù)據(jù)。在進(jìn)行相似重復(fù)檢測(cè)中，關(guān)系到效率和效果的標(biāo)準(zhǔn)是查全率（重復(fù)數(shù)據(jù)被準(zhǔn)確識(shí)別的百分率）、查準(zhǔn)率（相似重復(fù)檢測(cè)算法識(shí)別出的重復(fù)記錄中正確的重復(fù)記錄的百分比）。 實(shí)例主要采用了不同規(guī)模的數(shù)據(jù)在不同的運(yùn)行時(shí)間進(jìn)行的檢測(cè)，實(shí)驗(yàn)中顯示在3000條記錄之前查全率能夠保持在80%，在規(guī)模增加到4000600

8、0條記錄的過(guò)程中，查全率出現(xiàn)下滑表現(xiàn)，這即是上文提到的聚類算法在處理大規(guī)模數(shù)據(jù)時(shí)會(huì)降低準(zhǔn)確度的原因所致。在不同數(shù)據(jù)規(guī)模的算法實(shí)驗(yàn)中，從10006000條記錄的過(guò)程中，查準(zhǔn)率基本沒有大幅度變化，都在90%上下，所以可以看出算法的誤檢率是很低的，在目前使用的距離算法中該方法是可以與之配合適用的。此外通過(guò)實(shí)驗(yàn)分析，從結(jié)果中也可以看出，數(shù)據(jù)的數(shù)目來(lái)那個(gè)的增多，系統(tǒng)運(yùn)行的時(shí)間也在不斷的增加，增加的線性特征表現(xiàn)為拋物線形狀，與聚類算法的時(shí)間復(fù)雜度基本符合。將該算法與傳統(tǒng)的算法進(jìn)行比較分析，傳統(tǒng)的算法Merge/Purge算法用于計(jì)算距離的方法能力有無(wú)法克服的問(wèn)題，所以筆者提出的算法中包括插入、交換、刪除、

9、替換等其他多種不同類型的錯(cuò)誤數(shù)據(jù)，在實(shí)例中有插入和刪除錯(cuò)誤的情況下檢測(cè)算法的準(zhǔn)確度基本無(wú)異，但是在數(shù)據(jù)中有了替換和交換錯(cuò)誤的情況下，本文的檢測(cè)方法就明顯顯現(xiàn)出了優(yōu)勢(shì)，在運(yùn)行時(shí)間上就有顯著的增加。 在有關(guān)檢測(cè)方法的研究和實(shí)驗(yàn)不斷興起的今天，本文提出的檢測(cè)算法也有其獨(dú)特的優(yōu)勢(shì)，主要表現(xiàn)在以下幾點(diǎn)：第一，對(duì)記錄文件中的序列結(jié)構(gòu)充分的認(rèn)識(shí)，提高了相似重復(fù)記錄的查全率和查準(zhǔn)率；第二，提出了新的聚類算法，減少人為的設(shè)置參數(shù)的過(guò)程，降低人為造成的誤差。 4結(jié)語(yǔ) 信息集成的發(fā)展勢(shì)頭正在逐漸增強(qiáng)，信息集成中國(guó)數(shù)據(jù)獲取的關(guān)鍵技術(shù)也成為相關(guān)研究的熱點(diǎn)，本文在這一背景下對(duì)信息集成中國(guó)數(shù)據(jù)獲取關(guān)鍵技術(shù)進(jìn)行了研究探討，主要對(duì)于數(shù)據(jù)更新有關(guān)的快照差分算法，以及相似重復(fù)檢測(cè)算法進(jìn)行了分析比較，將理論與實(shí)際相結(jié)合研究了這兩種算法。通過(guò)研究發(fā)現(xiàn)雜數(shù)據(jù)獲取技術(shù)中還需要在今后做出更進(jìn)