大數(shù)據(jù)信息檢索論文

1、大數(shù)據(jù)的概念、技術(shù)與挑戰(zhàn)學(xué)院：信息科學(xué)與技術(shù)學(xué)院專業(yè)名稱：計(jì)算機(jī)應(yīng)用技術(shù)學(xué)號(hào)：姓名：指導(dǎo)教師：時(shí)間：大數(shù)據(jù)的概念、技術(shù)與挑戰(zhàn)【摘要】計(jì)算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新興服務(wù)促使人類社會(huì)的數(shù)據(jù)種類和規(guī)模正以前所未有的速度增長(zhǎng)，大數(shù)據(jù)時(shí)代正式到來(lái).數(shù)據(jù)從簡(jiǎn)單的處理對(duì)象開(kāi)始轉(zhuǎn)變?yōu)橐环N基礎(chǔ)性資源，如何更好地管理和利用大數(shù)據(jù)已經(jīng)成為普遍關(guān)注的話題.大數(shù)據(jù)的規(guī)模效應(yīng)給數(shù)據(jù)存儲(chǔ)、管理以及數(shù)據(jù)分析帶來(lái)了極大的挑戰(zhàn)，數(shù)據(jù)管理方式上的變革正在醞釀和發(fā)生.對(duì)大數(shù)據(jù)的基本概念進(jìn)行剖析，并對(duì)大數(shù)據(jù)的主要應(yīng)用作簡(jiǎn)單對(duì)比.在此基礎(chǔ)上，闡述大數(shù)據(jù)處理的基本框架，并就云計(jì)算技術(shù)對(duì)于大數(shù)據(jù)時(shí)代數(shù)據(jù)管理所產(chǎn)生的作用進(jìn)行分析.最后歸納總結(jié)大

2、數(shù)據(jù)時(shí)代所面臨的新挑戰(zhàn).【關(guān)鍵詞】大數(shù)據(jù)，技術(shù)，挑戰(zhàn)，數(shù)據(jù)分析，云計(jì)算近年來(lái)，伴隨著物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新技術(shù)的迅猛發(fā)展，數(shù)據(jù)正以前所未有的速度不斷增長(zhǎng)和積累，大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)，這引起了產(chǎn)業(yè)界學(xué)術(shù)界科技界和政府機(jī)構(gòu)的廣泛關(guān)注。大數(shù)據(jù)的火熱并不意味著對(duì)于大數(shù)據(jù)的了解深入，反而表明大數(shù)據(jù)存在過(guò)度炒作的危險(xiǎn).大數(shù)據(jù)的基本概念、關(guān)鍵技術(shù)以及對(duì)其利用上均存在很多的疑問(wèn)和爭(zhēng)議。一、大數(shù)據(jù)的基本概念及大數(shù)據(jù)時(shí)代產(chǎn)生的必然數(shù)據(jù)是云計(jì)算技術(shù)的延伸，更是社會(huì)進(jìn)步和發(fā)展的必然結(jié)果，大數(shù)據(jù)時(shí)代的到來(lái)引領(lǐng)了未來(lái)IT技術(shù)發(fā)展的戰(zhàn)略走向。在信息和網(wǎng)絡(luò)技術(shù)飛速發(fā)展的今天，越來(lái)越多的企業(yè)業(yè)務(wù)及社會(huì)活動(dòng)實(shí)現(xiàn)了數(shù)字化，特

3、別是隨著數(shù)據(jù)生成的自動(dòng)化及數(shù)據(jù)生成速度的加快，數(shù)據(jù)量也隨之快速增長(zhǎng)。同時(shí)，隨著存儲(chǔ)設(shè)備、內(nèi)存、處理器等電腦元件成本的穩(wěn)定下降，使得之前較昂貴的大規(guī)模數(shù)據(jù)存儲(chǔ)和處理變得十分經(jīng)濟(jì)，也使得大數(shù)據(jù)的存在成為可能。傳感器數(shù)據(jù)也是大數(shù)據(jù)的主要來(lái)源之一。在物聯(lián)網(wǎng)時(shí)代，成萬(wàn)上億計(jì)的網(wǎng)絡(luò)傳感器嵌入在數(shù)量不斷增長(zhǎng)的智能電表、移動(dòng)電話、汽車等物理設(shè)備中，不斷感知、生成并傳輸超大規(guī)模的有關(guān)地理位置、振動(dòng)、溫度、濕度等新型數(shù)據(jù)。二、大數(shù)據(jù)的特點(diǎn)及關(guān)鍵技術(shù)分析1 .大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)不是一種新技術(shù)，也不是一種新產(chǎn)品，而是一種新現(xiàn)象，是近來(lái)研究的一個(gè)技術(shù)熱點(diǎn)大數(shù)據(jù)具有以下4個(gè)特點(diǎn)，即4個(gè)V:（1）數(shù)據(jù)體量（Volumes）

4、巨大大型數(shù)據(jù)集，從TB級(jí)別，躍升到PB級(jí)別；（2）數(shù)據(jù)類別（Variety）繁多數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式?jīng)_破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；（3）價(jià)伯：（Value）密度低以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅一兩秒鐘；（4）處理速度（Velocity）快包含大量在線或?qū)崟r(shí)數(shù)據(jù)分析處理的需求，1秒定律。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)本身就是資產(chǎn)云計(jì)算為數(shù)據(jù)資產(chǎn)提供了保管訪問(wèn)的場(chǎng)所和渠道，但如何盤活數(shù)據(jù)資產(chǎn)，使其為國(guó)家治理企業(yè)決策乃至個(gè)人生活服務(wù)，是大數(shù)據(jù)的核心議題，也是云計(jì)算的靈魂和必然的升級(jí)方向。2 .關(guān)鍵技術(shù)2.1 云計(jì)算;大數(shù)據(jù)的基礎(chǔ)平

5、臺(tái)與支撐技術(shù)如果將各種大數(shù)據(jù)的應(yīng)用比作一輛輛“汽車”，支撐起這些“汽車”運(yùn)行的“高速公路”就是云計(jì)算.正是云計(jì)算技術(shù)在數(shù)據(jù)存儲(chǔ)、管理與分析等方面的支撐，才使得大數(shù)據(jù)有用武之地.文件系統(tǒng)是支撐上層應(yīng)用的基礎(chǔ)。原始的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)之中，但是用戶習(xí)慣通過(guò)數(shù)據(jù)庫(kù)系統(tǒng)來(lái)存取文件.因?yàn)檫@樣會(huì)屏蔽掉底層的細(xì)節(jié)，且方便數(shù)據(jù)管理.直接采用關(guān)系模型的分布式數(shù)據(jù)庫(kù)并不能適應(yīng)大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)。據(jù)查詢是數(shù)據(jù)庫(kù)最重要的應(yīng)用之一，而索引則是解決數(shù)據(jù)查詢問(wèn)題的有效方案。而數(shù)據(jù)分析技術(shù)是最核心的業(yè)務(wù)。2.2 大數(shù)據(jù)處理工具關(guān)系數(shù)據(jù)庫(kù)在很長(zhǎng)的時(shí)間里成為數(shù)據(jù)管理的最佳選擇，但是在大數(shù)據(jù)時(shí)代，數(shù)據(jù)管理、分析等的需求多樣化使得

6、關(guān)系數(shù)據(jù)庫(kù)在很多場(chǎng)景不再適用.而HadOop是目前最為流行的大數(shù)據(jù)處理平臺(tái).而Hadoop最先是DougCutting模仿GFS,MapReduce實(shí)現(xiàn)的一個(gè)云計(jì)算開(kāi)源平臺(tái)，后貢獻(xiàn)給Apache.Hadoop已經(jīng)發(fā)展成為包括文件系統(tǒng)（HDFS）、數(shù)據(jù)庫(kù)（HBase、Cassandra）數(shù)據(jù)處理（MapReduce污功能模塊在內(nèi)的完整生態(tài)系統(tǒng)（Ecosystem）.某種程度上可以說(shuō)Hadoop已經(jīng)成為大數(shù)據(jù)處理工具事實(shí)上的標(biāo)準(zhǔn).三、大數(shù)據(jù)時(shí)代面臨的機(jī)遇與挑戰(zhàn)綜上所述，大數(shù)據(jù)時(shí)代的數(shù)據(jù)存在著如下幾個(gè)特點(diǎn)：多源異構(gòu)；分布廣泛；動(dòng)態(tài)增長(zhǎng)；先有數(shù)據(jù)后有模式.正是這些與傳統(tǒng)數(shù)據(jù)管理迥然不同的特點(diǎn)，使得大數(shù)

7、據(jù)時(shí)代的數(shù)據(jù)管理面臨著新的機(jī)遇與挑戰(zhàn)。（一）大數(shù)據(jù)帶來(lái)的機(jī)遇1 .大數(shù)據(jù)的挖掘和應(yīng)用成為核心，將從多個(gè)方面創(chuàng)造價(jià)值。大數(shù)據(jù)的重心將從存儲(chǔ)和傳輸，過(guò)渡到數(shù)據(jù)的挖掘和應(yīng)用，這將深刻影響企業(yè)的商業(yè)模式據(jù)麥肯錫測(cè)算，大數(shù)據(jù)的應(yīng)用每年潛在可為美國(guó)醫(yī)療健康業(yè)和歐洲政府分別節(jié)省3000億美元和1000億歐元，利用個(gè)人位置信息潛在可創(chuàng)造出6000億美元價(jià)值，因此大數(shù)據(jù)應(yīng)用具有遠(yuǎn)超萬(wàn)億美元的大市場(chǎng)。2 .大數(shù)據(jù)利用中安全更加重要，為信息安全帶來(lái)發(fā)展契機(jī)。隨著移動(dòng)互聯(lián)網(wǎng)物聯(lián)網(wǎng)等新興IT技術(shù)逐漸步入主流，大數(shù)據(jù)使得數(shù)據(jù)價(jià)值極大提高，無(wú)處不在的數(shù)據(jù)，對(duì)信息安全提出了更高要求同時(shí)，大數(shù)據(jù)領(lǐng)域出現(xiàn)的許多新興技術(shù)與產(chǎn)品將為

8、安全分析提供新的可能性；信息安全和云計(jì)算貫穿于大數(shù)據(jù)產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié)，云安全等關(guān)鍵技術(shù)將更安全地保護(hù)數(shù)據(jù)大數(shù)據(jù)對(duì)信息安全的要求和促進(jìn)將推動(dòng)信息安全產(chǎn)業(yè)的大發(fā)展。3 .大數(shù)據(jù)時(shí)代來(lái)臨，使商業(yè)智能信息安全和云計(jì)算具有更大潛力。大數(shù)據(jù)產(chǎn)業(yè)鏈按產(chǎn)品形態(tài)分為硬件基礎(chǔ)軟件和應(yīng)用軟件三大領(lǐng)域，商業(yè)智能信息安全和云計(jì)算主題橫跨三大領(lǐng)域，將構(gòu)成產(chǎn)業(yè)鏈中快速發(fā)展的三駕馬車就國(guó)內(nèi)而言，商業(yè)智能市場(chǎng)已步入成長(zhǎng)期，預(yù)計(jì)未來(lái)3年復(fù)合年均增長(zhǎng)率（CAGR）為35%,十二五期間潛在產(chǎn)值將超300億元；信息安全預(yù)計(jì)未來(lái)3年CAGR有望保持35%40%的快速增長(zhǎng)，十二五期間潛在產(chǎn)值將超4000億元；云計(jì)算剛進(jìn)入成長(zhǎng)期，預(yù)計(jì)未來(lái)5

9、年CAGR將超50%,2015年產(chǎn)業(yè)規(guī)模預(yù)計(jì)將達(dá)1萬(wàn)億元。（二）面臨的挑戰(zhàn)1 .大數(shù)據(jù)集成數(shù)據(jù)的廣泛存在性使得數(shù)據(jù)越來(lái)越多地散布于不同的數(shù)據(jù)管理系統(tǒng)中，為了便于進(jìn)行數(shù)據(jù)分析需要進(jìn)行數(shù)據(jù)的集成.數(shù)據(jù)集成看起來(lái)并不是一個(gè)新的問(wèn)題，但是大數(shù)據(jù)時(shí)代的數(shù)據(jù)集成卻有了新的需求，因此也面臨著新的挑戰(zhàn).1）廣泛的異構(gòu)性.傳統(tǒng)的數(shù)據(jù)集成中也會(huì)面對(duì)數(shù)據(jù)異構(gòu)的問(wèn)題，但是在大數(shù)據(jù)時(shí)代這種異構(gòu)性出現(xiàn)了新的變化，大量出現(xiàn)的各種數(shù)據(jù)本身是非結(jié)構(gòu)化的或弱結(jié)構(gòu)化的，如留言、博客、圖像、視頻數(shù)據(jù)等，如何將這些數(shù)據(jù)轉(zhuǎn)化成一個(gè)結(jié)構(gòu)化的格式是研究者面臨的一項(xiàng)重大挑戰(zhàn).2）數(shù)據(jù)質(zhì)量.數(shù)據(jù)量大不一定就代表信息量或者數(shù)據(jù)價(jià)值的增大，相反很多

10、時(shí)候意味著信息垃圾的泛濫.2 .大數(shù)據(jù)分析大數(shù)據(jù)最為嚴(yán)重的風(fēng)險(xiǎn)存在于數(shù)據(jù)分析層面。數(shù)據(jù)量的增大會(huì)帶來(lái)規(guī)律的喪失和嚴(yán)重失真。傳統(tǒng)意義上的數(shù)據(jù)分析主要針對(duì)結(jié)構(gòu)化數(shù)據(jù)展開(kāi)，且已經(jīng)形成了一整套行之有效的分析體系.首先利用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，在此基礎(chǔ)上構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，根據(jù)需要構(gòu)建數(shù)據(jù)立方體進(jìn)行聯(lián)機(jī)分析處理（onlineanalyticalprocessing,OI。AP）,可以進(jìn)行多個(gè)維度的下鉆（drill-down）或上卷（rollup）操作.對(duì)于從數(shù)據(jù)中提煉更深層次的知識(shí)的需求促使數(shù)據(jù)挖掘技術(shù)的產(chǎn)生，并發(fā)明了聚類、關(guān)聯(lián)分析等一系列在實(shí)踐中行之有效的方法.這一整套處理流程在處理相對(duì)較少的結(jié)構(gòu)化數(shù)據(jù)時(shí)

11、極為高效.但是隨著大數(shù)據(jù)時(shí)代的到來(lái)，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)量的迅猛增長(zhǎng)，給傳統(tǒng)的分析技術(shù)帶來(lái)了巨大的沖擊和挑戰(zhàn)。據(jù)阿里巴巴稱，雖然其各類業(yè)務(wù)產(chǎn)生的數(shù)據(jù)為數(shù)據(jù)分析創(chuàng)造了非常好的基礎(chǔ)條件，然而卻招聘不到合適的數(shù)據(jù)科學(xué)家而影響了研發(fā)進(jìn)展。3 .大數(shù)據(jù)的隱私問(wèn)題隱私問(wèn)題由來(lái)已久，這基本也是大家最關(guān)心的問(wèn)題。計(jì)算機(jī)的出現(xiàn)使得越來(lái)越多的數(shù)據(jù)以數(shù)字化的形式存儲(chǔ)在電腦中，互聯(lián)網(wǎng)的發(fā)展則使數(shù)據(jù)更加容易產(chǎn)生和傳播，數(shù)據(jù)隱私問(wèn)題越來(lái)越嚴(yán)重.大數(shù)據(jù)高度依賴數(shù)據(jù)存儲(chǔ)與共享，必須考慮尋求更好的方法消除各種隱患與漏洞，才能有效地管控安全風(fēng)險(xiǎn)。數(shù)據(jù)的隱私保護(hù)是大數(shù)據(jù)分析和處理面臨的重要問(wèn)題，既是技術(shù)問(wèn)題也是社會(huì)學(xué)問(wèn)題。如果對(duì)

12、私人數(shù)據(jù)使用不當(dāng)，尤其是泄漏有一定關(guān)聯(lián)的多組數(shù)據(jù)，將導(dǎo)致用戶的隱私泄漏。4 .大數(shù)據(jù)能耗問(wèn)題在能源價(jià)格上漲、數(shù)據(jù)中心存儲(chǔ)規(guī)模不斷擴(kuò)大的今天，高能耗已逐漸成為制約大數(shù)據(jù)快速發(fā)展的一個(gè)主要瓶頸.從小型集群到大規(guī)模數(shù)據(jù)中心都面臨著降低能耗的問(wèn)題，但是尚未引起足夠多的重視，相關(guān)的研究成果也較少.在大數(shù)據(jù)管理系統(tǒng)中，能耗主要由兩大部分組成：硬件能耗和軟件能耗，二者之中又以硬件能耗為主.理想狀態(tài)下，整個(gè)大數(shù)據(jù)管理系統(tǒng)的能耗應(yīng)該和系統(tǒng)利用率成正比.但是實(shí)際情況并不像預(yù)期情況，系統(tǒng)利用率為0時(shí)仍然有能量消耗。5 .大數(shù)據(jù)處理與硬件的協(xié)同硬件的快速升級(jí)換代有力地促進(jìn)了大數(shù)據(jù)的發(fā)展，但是這也在一定程度上造成了大量

13、不同架構(gòu)硬件共存的局面.大數(shù)據(jù)處理必須要有舍才有得?？梢酝ㄟ^(guò)舍棄一些不必要的性能和精確性來(lái)獲取更為重要的性能和精確性。6 .大數(shù)據(jù)管理易用性問(wèn)題從數(shù)據(jù)集成到數(shù)據(jù)分析，直到最后的數(shù)據(jù)解釋，易用性應(yīng)當(dāng)貫穿整個(gè)大數(shù)據(jù)的流程.易用性的挑戰(zhàn)突出體現(xiàn)在兩個(gè)方面：首先大數(shù)據(jù)時(shí)代的數(shù)據(jù)量大，分析更復(fù)雜，得到的結(jié)果形式更加多樣化.其復(fù)雜程度已經(jīng)遠(yuǎn)遠(yuǎn)超出傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù).其次大數(shù)據(jù)已經(jīng)廣泛滲透到人們生活的各個(gè)方面，很多行業(yè)都開(kāi)始有了大數(shù)據(jù)分析的需求.7 .性能測(cè)試基準(zhǔn)數(shù)據(jù)庫(kù)產(chǎn)品的成功離不開(kāi)以TPC系列為代表的測(cè)試基準(zhǔn)的產(chǎn)生.正是有了這些測(cè)試基準(zhǔn)，才能夠準(zhǔn)確地衡量不同數(shù)據(jù)庫(kù)產(chǎn)品的性能，并對(duì)其存在的問(wèn)題進(jìn)行改進(jìn)。在過(guò)

14、去20年里，產(chǎn)業(yè)基準(zhǔn)起到了很大的作用。在制定行業(yè)的標(biāo)準(zhǔn)時(shí)，性能、持有成本和能源效率是成功的三大關(guān)鍵。產(chǎn)業(yè)界標(biāo)準(zhǔn)的基準(zhǔn)都扮演了非常重要的作用，進(jìn)一步推動(dòng)了計(jì)算機(jī)產(chǎn)業(yè)科學(xué)的發(fā)展1331o四、結(jié)果和結(jié)論關(guān)系像互聯(lián)網(wǎng)、云計(jì)算以及物聯(lián)網(wǎng)等技術(shù)一樣，大數(shù)據(jù)時(shí)代的到來(lái)勢(shì)必會(huì)再次讓信息技術(shù)領(lǐng)域煥然一新。大數(shù)據(jù)時(shí)代下，每個(gè)個(gè)體都是數(shù)據(jù)的產(chǎn)生者，企業(yè)的任何一項(xiàng)業(yè)務(wù)活動(dòng)都可以用數(shù)據(jù)來(lái)表示，如何保證大數(shù)據(jù)的質(zhì)量，如何建模、提取并利用隱藏在大數(shù)據(jù)中的信息以提升企業(yè)信息系統(tǒng)績(jī)效、提升企業(yè)決策能力，成為擺在業(yè)界和學(xué)術(shù)界面前的重大難題?？偟膩?lái)說(shuō)，目前對(duì)于大數(shù)據(jù)的研究仍處于一個(gè)非常初步的階段，還有很多基礎(chǔ)性的問(wèn)題有待解決.大數(shù)據(jù)的幾個(gè)特征中究竟哪個(gè)最重要？面對(duì)大數(shù)據(jù)管理我們需要的是簡(jiǎn)單的技術(shù)上的演變(evolution)還是徹底的變革(revoluti