大數(shù)據(jù)與數(shù)據(jù)采集

大數(shù)據(jù)與數(shù)據(jù)采集實時數(shù)據(jù)分析一般用于金融、移動和互聯(lián)網(wǎng)B2C等產(chǎn)品，往往要求在對于大多數(shù)反饋時間要求不是那么嚴苛的應(yīng)用，比如離線統(tǒng)計分析、量數(shù)據(jù)，傳統(tǒng)的ETL工具往往徹底失效，主要原因是數(shù)據(jù)格式轉(zhuǎn)換的開銷海量級別指的是對于數(shù)據(jù)庫和BI產(chǎn)品已經(jīng)完全失效或者成本過高的高速描述的是數(shù)據(jù)被創(chuàng)建和移動的速度。在高速網(wǎng)絡(luò)時代，通過基于實現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實時數(shù)據(jù)流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據(jù)IMSResearch關(guān)于數(shù)據(jù)創(chuàng)建速度的調(diào)查，據(jù)預(yù)測，到2020年全球?qū)碛?20億部互聯(lián)網(wǎng)連接設(shè)5大數(shù)據(jù)采集技術(shù)5.1.數(shù)據(jù)采集與大數(shù)據(jù)采集區(qū)別5.2傳統(tǒng)數(shù)據(jù)采集的不足傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲、管理和分析數(shù)據(jù)量也相對較小，大多采用關(guān)系型數(shù)據(jù)庫和并行數(shù)據(jù)倉庫即可處理。對依靠并行計算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫技術(shù)追求高度一致性和容錯性，根據(jù)CAP理論，難以保證其可用性和擴展性。5.3大數(shù)據(jù)采集新的方法5.3.1系統(tǒng)日志采集方法很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，具均采用分布式架構(gòu)，能滿足每秒數(shù)百MB的日志數(shù)據(jù)采集和傳輸需求。5.3.2網(wǎng)絡(luò)數(shù)據(jù)采集方法網(wǎng)絡(luò)數(shù)據(jù)采集是指通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存儲為統(tǒng)一的本地數(shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關(guān)聯(lián)。除了網(wǎng)絡(luò)中包含的內(nèi)容之外，對于網(wǎng)絡(luò)流量的采集可以使用DPI或DFI等帶寬管理技術(shù)進行處理。5.3.3其他數(shù)據(jù)采集方法對于企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過與企業(yè)或研究機構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)。5.3.4大數(shù)據(jù)采集平臺Flume是Apache旗下的一款開源、高可靠、高擴展、容易管理、支持客戶擴展的數(shù)據(jù)采集系統(tǒng)。Flume使用JRuby來構(gòu)建，所以依賴Java運行環(huán)境。用JSON文件來統(tǒng)一日志數(shù)據(jù)。它的可插拔架構(gòu)，支持各種不同種類和格式的數(shù)據(jù)源和數(shù)據(jù)輸出。最后它也同時提供了高可靠和很好的擴展性。TreasureData,Inc對該產(chǎn)品提供支持和維護。中的那個L。Logstash用JRuby開發(fā)，所有運行時依賴JVM。Splunk是一個分布式的機器數(shù)據(jù)平臺，主要有三個角色：SearchHead負責數(shù)據(jù)的搜索和處理，提供搜索時的信息抽?。籌ndexer負責數(shù)據(jù)的存儲[1]涂子沛.大數(shù)據(jù).廣西師范大學(xué)出版社.2012年7月[2]維克托·邁爾-舍恩伯格著.盛揚