大數(shù)據(jù)的來(lái)源與數(shù)據(jù)采集方法

大數(shù)據(jù)的來(lái)源社交媒體如微博、微信、人人網(wǎng)、facebook等，通過(guò)這些大眾常用的社交平臺(tái)，可以分析用戶平時(shí)在這些社交媒體上的行為動(dòng)向，歸納出用戶的喜好或關(guān)注點(diǎn)，這些能夠?yàn)槠髽I(yè)挖掘用戶需求提供重要依據(jù)。越來(lái)越多的機(jī)器配備了連續(xù)測(cè)量和報(bào)告運(yùn)行情況的裝置。這些機(jī)器傳感數(shù)據(jù)也屬于大數(shù)據(jù)的范圍。一些視頻、音頻設(shè)備等產(chǎn)生的數(shù)據(jù)如一些大型超市，通過(guò)監(jiān)控器觀察消費(fèi)者在超市購(gòu)物的整個(gè)流程，從而對(duì)商品進(jìn)行合理擺放，促進(jìn)對(duì)某些商品的間接促銷。企業(yè)內(nèi)部本身的一些行業(yè)數(shù)據(jù)等等。大數(shù)據(jù)的數(shù)據(jù)采集方法系統(tǒng)日志采集方法

很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，如Hadoop的Chukwa，Cloudera的Flume，F(xiàn)acebook的Scribe等，這些工具均采用分布式架構(gòu)，能滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。網(wǎng)絡(luò)數(shù)據(jù)采集方法：對(duì)非結(jié)構(gòu)化數(shù)據(jù)的采集網(wǎng)絡(luò)數(shù)據(jù)采集是指通過(guò)網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁(yè)中抽取出來(lái)，將其存儲(chǔ)為統(tǒng)一的本地?cái)?shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲(chǔ)。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動(dòng)關(guān)聯(lián)。除了網(wǎng)絡(luò)中包含的內(nèi)容之外，對(duì)于網(wǎng)絡(luò)流量的采集可以使用DPI或DFI等帶寬管理技術(shù)進(jìn)行處理。其他數(shù)據(jù)采集方法對(duì)于企業(yè)生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過(guò)與企業(yè)或研究機(jī)構(gòu)合作，使用特定系統(tǒng)接口