大數(shù)據(jù)應(yīng)用及職業(yè)定位

大數(shù)據(jù)應(yīng)用及職業(yè)定位大數(shù)據(jù)應(yīng)用，是利用大數(shù)據(jù)分析的結(jié)果!為用戶提供輔助決策!發(fā)掘潛在價(jià)值的過(guò)程。在說(shuō)大數(shù)據(jù)的應(yīng)用之前，讓我們先來(lái)說(shuō)說(shuō)大數(shù)據(jù)與大規(guī)模數(shù)據(jù)、海量數(shù)據(jù)的差別:從對(duì)象角度看,大數(shù)據(jù)是大小超出典型數(shù)據(jù)庫(kù)軟件采集、儲(chǔ)存、管理和分析等能力的數(shù)據(jù)集合。需要注意的是,大數(shù)據(jù)并非大量數(shù)據(jù)的簡(jiǎn)單無(wú)意義的堆積,數(shù)據(jù)量大并不意味著一定具有可觀的利用前景。由于最終目標(biāo)是從大數(shù)據(jù)中獲取更多有價(jià)值的“新”信息,所以必然要求這些大量的數(shù)據(jù)之間存在著或遠(yuǎn)或近、或直接或間接的關(guān)聯(lián)性,才具有相當(dāng)?shù)姆治鐾诰騼r(jià)值。數(shù)據(jù)間是否具有結(jié)構(gòu)性和關(guān)聯(lián)性,是“大數(shù)據(jù)”與“大規(guī)模數(shù)據(jù)”的重要差別。從技術(shù)角度看,大數(shù)據(jù)技術(shù)是從各種各樣類型的大數(shù)據(jù)中,快速獲得有價(jià)值信息的技術(shù)及其集成。“大數(shù)據(jù)”與“大規(guī)模數(shù)據(jù)”、“海量數(shù)據(jù)”等類似概念間的最大區(qū)別,就在于“大數(shù)據(jù)”這一概念中包含著對(duì)數(shù)據(jù)對(duì)象的處理行為。為了能夠完成這一行為,從大數(shù)據(jù)對(duì)象中快速挖掘更多有價(jià)值的信息,使大數(shù)據(jù)“活起來(lái)”,就需要綜合運(yùn)用靈活的、多學(xué)科的方法,包括數(shù)據(jù)聚類、數(shù)據(jù)挖掘、分布式處理等,而這就需要擁有對(duì)各類技術(shù)、各類軟硬件的集成應(yīng)用能力?？梢?jiàn),大數(shù)據(jù)技術(shù)是使大數(shù)據(jù)中所蘊(yùn)含的價(jià)值得以發(fā)掘和展現(xiàn)的重要工具。從應(yīng)用角度看,大數(shù)據(jù)是對(duì)特定的大數(shù)據(jù)集合、集成應(yīng)用大數(shù)據(jù)技術(shù)、獲得有價(jià)值信息的行為。正由于與具體應(yīng)用緊密聯(lián)系,甚至是一對(duì)一的聯(lián)系,才使得“應(yīng)用”成為大數(shù)據(jù)不可或缺的內(nèi)涵之一。需要明確的是,大數(shù)據(jù)分析處理的最終目標(biāo),是從復(fù)雜的數(shù)據(jù)集合中發(fā)現(xiàn)新的關(guān)聯(lián)規(guī)則,繼而進(jìn)行深度挖掘,得到有效用的新信息。如果數(shù)據(jù)量不小,但數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單,重復(fù)性高,分析處理需求也僅僅是根據(jù)已有規(guī)則進(jìn)行數(shù)據(jù)分組歸類,未與具體業(yè)務(wù)緊密結(jié)合,依靠已有基本數(shù)據(jù)分析處理技術(shù)已足夠,則不能算作是完全的“大數(shù)據(jù)”,只是“大數(shù)據(jù)”的初級(jí)發(fā)展階段。（一）大數(shù)據(jù)應(yīng)用大數(shù)據(jù)的類型大致可分為三類：（1）傳統(tǒng)企業(yè)數(shù)據(jù)（Traditionalenterprisedata）：包括CRMsystems的消費(fèi)者數(shù)據(jù)，傳統(tǒng)的ERP數(shù)據(jù)，庫(kù)存數(shù)據(jù)以及賬目數(shù)據(jù)等；（2）機(jī)器和傳感器數(shù)據(jù)（Machine-generated/sensordata）：包括呼叫記錄（CallDetailRecords），智能儀表，工業(yè)設(shè)備傳感器，設(shè)備日志（通常是Digitalexhaust），交易數(shù)據(jù)等；（3）社交數(shù)據(jù)（Socialdata）：包括用戶行為記錄，反饋數(shù)據(jù)等。如Twitter，F(xiàn)acebook這樣的社交媒體平臺(tái)。從三大產(chǎn)業(yè)的角度將大數(shù)據(jù)的核心商業(yè)價(jià)值分類討論。大數(shù)據(jù)應(yīng)用，是利用大數(shù)據(jù)分析的結(jié)果，為用戶提供輔助決策，發(fā)掘潛在價(jià)值的過(guò)程。從理論上來(lái)看：所有產(chǎn)業(yè)都會(huì)從大數(shù)據(jù)的發(fā)展中受益。但由于數(shù)據(jù)缺乏以及從業(yè)人員本身的原因，第一、第二產(chǎn)業(yè)的發(fā)展速度相對(duì)于第三產(chǎn)業(yè)來(lái)說(shuō)會(huì)遲緩一些。各個(gè)行業(yè)利用大數(shù)據(jù)價(jià)值的難易度以及發(fā)展?jié)摿σ约癘penData時(shí)代里七大行業(yè)潛在的經(jīng)濟(jì)價(jià)值，自上而下分別是教育，運(yùn)輸，消費(fèi)品、電力、石油與天然氣、醫(yī)療護(hù)理、消費(fèi)金融。5.1面向在線社交網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用在線社交網(wǎng)絡(luò)，是一種在信息網(wǎng)絡(luò)上由社會(huì)個(gè)體集合及個(gè)體之間的連接關(guān)系構(gòu)成的社會(huì)性結(jié)構(gòu)。在線社交網(wǎng)絡(luò)大數(shù)據(jù)主要來(lái)自即時(shí)消息、在線社交、微博和共享空間4類應(yīng)用。由于在線社交網(wǎng)絡(luò)大數(shù)據(jù)代表了人的各類活動(dòng)，因此對(duì)于此類數(shù)據(jù)的分析得到了更多關(guān)注。在線社交網(wǎng)絡(luò)大數(shù)據(jù)分析是從網(wǎng)絡(luò)結(jié)構(gòu)、群體互動(dòng)和信息傳播3個(gè)維度，通過(guò)基于數(shù)學(xué)、信息學(xué)、社會(huì)學(xué)、管理學(xué)等多個(gè)學(xué)科的融合理論和方法，為理解人類社會(huì)中存在的各種關(guān)系提供的一種可計(jì)算的分析方法。目前，在線社交網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用包括網(wǎng)絡(luò)輿情分析、網(wǎng)絡(luò)情報(bào)搜集與分析、社會(huì)化營(yíng)銷、政府決策支持、在線教育等。2013年4月，美國(guó)計(jì)算搜索引擎WolframAlpha,通過(guò)對(duì)Facebook中100多萬(wàn)美國(guó)用戶社交數(shù)據(jù)進(jìn)行分析，試圖研究用戶的社會(huì)行為規(guī)律。根據(jù)分析發(fā)現(xiàn)，大部分Facebook用戶在20歲出頭時(shí)開(kāi)始戀愛(ài)，27歲左右時(shí)訂婚，30歲左右結(jié)婚，而30~60歲之間，婚姻關(guān)系變化緩慢。這個(gè)研究結(jié)果與美國(guó)人口普查數(shù)據(jù)相比，幾乎完全一致?？偟谜f(shuō)來(lái)，在線社交網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用可以從以下3方而幫助我們了解人的行為，以及掌握社會(huì)和經(jīng)濟(jì)活動(dòng)的變化規(guī)律：（1）前期警告，通過(guò)檢測(cè)用戶使用電子設(shè)備及服務(wù)中出現(xiàn)的異常，在出現(xiàn)危機(jī)時(shí)可以更快速地應(yīng)對(duì)。（2）實(shí)時(shí)監(jiān)控，通過(guò)對(duì)用戶當(dāng)前行為、情感和意愿等方而的監(jiān)控，可以為政策和方案的制定提供準(zhǔn)確的信息。（3）實(shí)時(shí)反饋，在實(shí)時(shí)監(jiān)控的基礎(chǔ)上，可以針對(duì)某些社會(huì)活動(dòng)獲得群體的反饋信息。5.2醫(yī)療健康大數(shù)據(jù)應(yīng)用醫(yī)療健康數(shù)據(jù)是持續(xù)、高增長(zhǎng)的復(fù)雜數(shù)據(jù)，蘊(yùn)涵的信息價(jià)值也是豐富多樣。對(duì)其進(jìn)行有效的存儲(chǔ)、處理、查詢和分析，可以開(kāi)發(fā)出其潛在價(jià)值。對(duì)于醫(yī)療大數(shù)據(jù)的應(yīng)用，將會(huì)深遠(yuǎn)的影響人類的健康。谷歌有一個(gè)名為“谷歌流感趨勢(shì)”的工具,它通過(guò)跟蹤搜索詞相關(guān)數(shù)據(jù)來(lái)判斷全美地區(qū)的流感情況(比如患者會(huì)搜索流感兩個(gè)字)。近日,這個(gè)工具發(fā)出警告,全美的流感已經(jīng)進(jìn)入“緊張”級(jí)別。它對(duì)于健康服務(wù)產(chǎn)業(yè)和流行病專家來(lái)說(shuō)是非常有用的,因?yàn)樗臅r(shí)效性極強(qiáng),能夠很好地幫助到疾病暴發(fā)的跟蹤和處理。事實(shí)也證明,通過(guò)海量搜索詞的跟蹤獲得的趨勢(shì)報(bào)告是很有說(shuō)服力的,僅波士頓地區(qū),就有700例流感得到確認(rèn),該地區(qū)目前已宣布進(jìn)入公共健康緊急狀態(tài)。這個(gè)工具工作的原理大致是這樣的:設(shè)計(jì)人員置入了一些關(guān)鍵詞(比如溫度計(jì)、流感癥狀、肌肉疼痛、胸悶等),只要用戶輸入這些關(guān)鍵詞,系統(tǒng)就會(huì)展開(kāi)跟蹤分析,創(chuàng)建地區(qū)流感圖表和流感地圖。谷歌多次把測(cè)試結(jié)果(藍(lán)線)與美國(guó)疾病控制和預(yù)防中心的報(bào)告(黃線)做比對(duì),從圖1-1可知,兩者結(jié)論存在很大相關(guān)性。谷歌把測(cè)試結(jié)果(藍(lán)線)與美國(guó)疾病控制和預(yù)防中心的報(bào)告(黃線)做比對(duì)但它比線下收集的報(bào)告強(qiáng)在“時(shí)效性”上,因?yàn)榛颊咧灰坏┳杂X(jué)有流感癥狀,在搜索和去醫(yī)院就診這兩件事上,前者通常是他首先會(huì)去做的。就醫(yī)很麻煩而且價(jià)格不菲,如果能自己通過(guò)搜索來(lái)尋找到一些自我救助的方案,人們就會(huì)第一時(shí)間使用搜索引擎。故而,還存在一種可能是,醫(yī)院或官方收集到的病例只能說(shuō)明一小部分重病患者,輕度患者是不會(huì)去醫(yī)院而成為它們的樣本的。SetonHealthcare是采用IBM最新沃森技術(shù)醫(yī)療保健內(nèi)容分析預(yù)測(cè)的首個(gè)客戶。該技術(shù)允許企業(yè)找到大量病人相關(guān)的臨床醫(yī)療信息,通過(guò)大數(shù)據(jù)處理,更好地分析病人的信息。在加拿大多倫多的一家醫(yī)院,針對(duì)早產(chǎn)嬰兒,每秒鐘有超過(guò)3000次的數(shù)據(jù)讀取。通過(guò)這些數(shù)據(jù)分析,醫(yī)院能夠前知道哪些早產(chǎn)兒出現(xiàn)問(wèn)題并且有針對(duì)性地采取措施,避免早產(chǎn)嬰兒夭折。大數(shù)據(jù)讓更多的創(chuàng)業(yè)者更方便地開(kāi)發(fā)產(chǎn)品,比如通過(guò)社交網(wǎng)絡(luò)來(lái)收集數(shù)據(jù)的健康類App。也許未來(lái)數(shù)年后,它們搜集的數(shù)據(jù)能讓醫(yī)生給你的診斷變得更為精確,比方說(shuō)不是通用的成人每日三次一次一片,而是檢測(cè)到你的血液中藥劑已經(jīng)代謝完成會(huì)自動(dòng)醒你再次服藥。5.3群智感知大數(shù)據(jù)的應(yīng)用隨著技術(shù)的發(fā)展，智能手機(jī)和平板電腦等移動(dòng)設(shè)備集成了越來(lái)越多的傳感器，計(jì)算和感知能力也愈發(fā)強(qiáng)大。在移動(dòng)設(shè)備被廣泛使用的背景下，群智感知開(kāi)始成為移動(dòng)計(jì)算領(lǐng)域的應(yīng)用熱點(diǎn)。大量用戶使用移動(dòng)智能設(shè)備作為基本節(jié)點(diǎn)，通過(guò)藍(lán)牙、無(wú)線網(wǎng)絡(luò)和移動(dòng)互聯(lián)網(wǎng)等方式進(jìn)行協(xié)作，分發(fā)感知任務(wù)分發(fā)，收集、利用感知數(shù)據(jù)，最終完成大規(guī)模的、復(fù)雜的社會(huì)感知任務(wù)。群智感知對(duì)參與者的要求很低，用戶并不需要相關(guān)的專業(yè)知識(shí)或技能，只需擁有一臺(tái)移動(dòng)智能設(shè)備。眾包（crowdsourcing）是一種極具代表性的群智感知模式，是一種新型的解決問(wèn)題的方式。眾包以用戶為基礎(chǔ)，以自由參與的方式分發(fā)任務(wù)。目前眾包己經(jīng)被運(yùn)用于人力密集的應(yīng)用，如語(yǔ)言翻譯、語(yǔ)音識(shí)別、圖像地理信息標(biāo)記、定位與導(dǎo)航、城市道路交通感知、市場(chǎng)預(yù)測(cè)、意見(jiàn)挖掘等。眾包的核心思想是將任務(wù)分而治之，通過(guò)參與者的協(xié)作來(lái)完成個(gè)體不可能或者說(shuō)根本想不到要完成的任務(wù)。無(wú)需部署感知模塊和雇傭?qū)I(yè)人員，眾包就可以將感知范圍擴(kuò)展至城市規(guī)模甚至更大。其實(shí)，眾包的應(yīng)用早于大數(shù)據(jù)的興起，寶潔、寶馬、奧迪等許多公司都曾借助眾包提升自身的研發(fā)和設(shè)計(jì)能力。而在大數(shù)據(jù)時(shí)代，空間眾包服務(wù)（spatialcrowdsourcing）成為了大家關(guān)注的熱點(diǎn)?？臻g眾包服務(wù)的工作框架如下:服務(wù)請(qǐng)求方要求獲取與特定地點(diǎn)相關(guān)的資源，而愿意接受任務(wù)請(qǐng)求的參與者將到達(dá)指定地點(diǎn)，利用移動(dòng)設(shè)備獲取相關(guān)數(shù)據(jù)（視頻、音頻或圖片），最后將這些數(shù)據(jù)發(fā)送給服務(wù)請(qǐng)求方。隨著移動(dòng)設(shè)備使用的高速增長(zhǎng)以及移動(dòng)設(shè)備提供的功能越來(lái)越復(fù)雜，可以預(yù)見(jiàn)空間眾包將會(huì)變得比傳統(tǒng)形式的眾包服務(wù)更加流行，如AmazonTurk和Crowdflower。5.4智能電網(wǎng)大數(shù)據(jù)的應(yīng)用智能電網(wǎng)，是指將現(xiàn)代信息技術(shù)融入傳統(tǒng)能源網(wǎng)絡(luò)構(gòu)成新的電網(wǎng)，通過(guò)用戶的用電習(xí)慣等信息，優(yōu)化電能的生產(chǎn)、供給和消耗，是大數(shù)據(jù)在電力系統(tǒng)上的應(yīng)用。智能電網(wǎng)可以解決以下幾方而的問(wèn)題：（1）電網(wǎng)規(guī)劃：通過(guò)對(duì)智能電網(wǎng)中的數(shù)據(jù)進(jìn)行分析，可以知道哪些地區(qū)的用電負(fù)荷和停電頻率過(guò)高，甚至可以預(yù)測(cè)哪些線路可能出現(xiàn)故障。這些分析結(jié)果，可以有助于電網(wǎng)的升級(jí)、改造、維護(hù)等工作。例如，美國(guó)加州大學(xué)洛杉磯分校的研究者就根據(jù)大數(shù)據(jù)理論設(shè)計(jì)了一款”電力地圖”，將人口調(diào)查信息、電力企業(yè)提供的用戶實(shí)時(shí)用電信息和地理、氣象等信息全部集合在一起，制作了一款加州地圖。該圖以街區(qū)為單位，展示每個(gè)街區(qū)在當(dāng)下時(shí)刻的用電量，甚至還可以將這個(gè)街區(qū)的用電量與該街區(qū)人的平均收入和建筑物類型等相比照，從而得出更為準(zhǔn)確的社會(huì)各群體的用電習(xí)慣信息。這個(gè)地圖為城市和電網(wǎng)規(guī)劃提供了直觀有效的負(fù)荷數(shù)預(yù)測(cè)依據(jù)，也可以按照?qǐng)D中顯示的停電頻率較高、過(guò)載較為嚴(yán)重的街區(qū)進(jìn)行電網(wǎng)設(shè)施的優(yōu)先改造。（2）發(fā)電與用電的互動(dòng)：理想的電網(wǎng)，應(yīng)該是發(fā)電與用電的平衡。但是，傳統(tǒng)電網(wǎng)的建設(shè)是基于發(fā)-輸-變-配-用的單向思維，無(wú)法根據(jù)用電量的需求調(diào)整發(fā)電量，造成電能的冗余浪費(fèi)。為了實(shí)現(xiàn)用電與發(fā)電的互動(dòng)，提高供電效率，研究者開(kāi)發(fā)出了智能的用電設(shè)備-智能電表。德克薩斯電力公司（TXUEnergy）己經(jīng)廣泛使用智能電表，并取得了巨大的成效。供電公司能每隔15min就讀一次用電數(shù)據(jù)，而不是過(guò)去的一月一次。這不僅僅節(jié)省了抄表的人工費(fèi)用，而且由于能高頻率快速采集分析用電數(shù)據(jù)，供電公司能根據(jù)用電高峰和低谷時(shí)段制定不同的電價(jià)，利用這種價(jià)格杠桿來(lái)平抑用電高峰和低谷的波動(dòng)幅度，智能電表和大數(shù)據(jù)應(yīng)用讓分時(shí)動(dòng)態(tài)定價(jià)成為可能，而且這對(duì)于TXUEnergy和用戶來(lái)說(shuō)是一個(gè)雙贏變化。（3）間歇式可再生能源的接入：目前許多新能源也被接入電網(wǎng)，但是風(fēng)能和太陽(yáng)能等新能源，其發(fā)電能力與氣候條件密切相關(guān)，具有隨機(jī)性和間歇性的特點(diǎn)，因此難以直接并入電網(wǎng)。如果通過(guò)對(duì)電網(wǎng)大數(shù)據(jù)的分析，則可對(duì)這些間歇式新能源進(jìn)行有效調(diào)節(jié)，在其產(chǎn)生電能時(shí)，根據(jù)電網(wǎng)中的數(shù)據(jù)將其調(diào)配給電力緊缺地區(qū)，與傳統(tǒng)的水火電能進(jìn)行有效地互補(bǔ)。5.5大數(shù)據(jù)在能源行業(yè)的應(yīng)用智能電網(wǎng)現(xiàn)在歐洲已經(jīng)做到了終端,也就是所謂的智能電表。在德國(guó),為了鼓勵(lì)利用太陽(yáng)能,會(huì)在家庭安裝太陽(yáng)能,除了賣電給你,當(dāng)你的太陽(yáng)能有多余電的時(shí)候還可以買回來(lái)。通過(guò)電網(wǎng)收集每隔五分鐘或十分鐘收集一次數(shù)據(jù),收集來(lái)的這些數(shù)據(jù)可以用來(lái)預(yù)測(cè)客戶的用電習(xí)慣等,從而推斷出在未來(lái)2-3個(gè)月時(shí)間里,整個(gè)電網(wǎng)大概需要多少電。有了這個(gè)預(yù)測(cè)后,就可以向發(fā)電或者供電企業(yè)購(gòu)買一定數(shù)量的電。因?yàn)殡娪悬c(diǎn)像期貨一樣,如果前買就會(huì)比較便宜,買現(xiàn)貨就比較貴。通過(guò)這個(gè)預(yù)測(cè)后,可以降低采購(gòu)成本。維斯塔斯風(fēng)力系統(tǒng),依靠的是BigInsights軟件和IBM超級(jí)計(jì)算機(jī),然后對(duì)氣象數(shù)據(jù)進(jìn)行分析,找出安裝風(fēng)力渦輪機(jī)和整個(gè)風(fēng)電場(chǎng)最佳的地點(diǎn)。利用大數(shù)據(jù),以往需要數(shù)周的分析工作,現(xiàn)在僅需要不足1小時(shí)便可完成。5.6大數(shù)據(jù)在通信行業(yè)的應(yīng)用電信業(yè)者透過(guò)數(shù)以千萬(wàn)計(jì)的客戶資料,能分析出多種使用者行為和趨勢(shì),賣給需要的企業(yè),這是全新的資料經(jīng)濟(jì)。中國(guó)移動(dòng)通過(guò)大數(shù)據(jù)分析,對(duì)企業(yè)運(yùn)營(yíng)的全業(yè)務(wù)進(jìn)行針對(duì)性的監(jiān)控、預(yù)警、跟蹤。系統(tǒng)在第一時(shí)間自動(dòng)捕捉市場(chǎng)變化,再以最快捷的方式推送給指定負(fù)責(zé)人,使他在最短時(shí)間內(nèi)獲知市場(chǎng)行情。NTTdocomo把手機(jī)位置信息和互聯(lián)網(wǎng)上的信息結(jié)合起來(lái),為顧客供附近的餐飲店信息,接近末班車時(shí)間時(shí),供末班車信息服務(wù)。5.7大數(shù)據(jù)在零售業(yè)的應(yīng)用我們的某個(gè)客戶,是一家領(lǐng)先的專業(yè)時(shí)裝零售商,通過(guò)當(dāng)?shù)氐陌儇浬痰?、網(wǎng)絡(luò)及其郵購(gòu)目錄業(yè)務(wù)為客戶供服務(wù)。公司希望向客戶供差異化服務(wù),如何定位公司的差異化,他們通過(guò)從Twitter和Facebook上收集社交信息,更深入的理解化妝品的營(yíng)銷模式,隨后他們認(rèn)識(shí)到必須保留兩類有價(jià)值的客戶:高消費(fèi)者和高影響者。希望通過(guò)接受免費(fèi)化妝服務(wù),讓用戶進(jìn)行口碑宣傳,這是交易數(shù)據(jù)與交互數(shù)據(jù)的完美結(jié)合,為業(yè)務(wù)挑戰(zhàn)供了解決方案。Informatica的技術(shù)幫助這家零售商用社交平臺(tái)上的數(shù)據(jù)充實(shí)了客戶主數(shù)據(jù),使他的業(yè)務(wù)服務(wù)更具有目標(biāo)性。零售企業(yè)也監(jiān)控客戶的店內(nèi)走動(dòng)情況以及與商品的互動(dòng)。它們將這些數(shù)據(jù)與交易記錄相結(jié)合來(lái)展開(kāi)分析,從而在銷售哪些商品、如何擺放貨品以及何時(shí)調(diào)整售價(jià)上給出意見(jiàn),此類方法已經(jīng)幫助某領(lǐng)先零售企業(yè)減少了17%的存貨,同時(shí)在保持市場(chǎng)份額的前下,增加了高利潤(rùn)率自有品牌商品的比例。5.8大數(shù)據(jù)在生態(tài)環(huán)境應(yīng)用環(huán)保業(yè)務(wù)系統(tǒng)數(shù)據(jù)量大、數(shù)據(jù)類型多元、模型算法復(fù)雜，因此利用大數(shù)據(jù)分析的手段對(duì)環(huán)境數(shù)據(jù)資源開(kāi)發(fā)，可以成為解決環(huán)保管理問(wèn)題的鑰匙。而近年來(lái)，“互聯(lián)網(wǎng)+”為解決環(huán)境管理問(wèn)題創(chuàng)造了諸多便利條件。政府決策部門通過(guò)互聯(lián)網(wǎng)，可以實(shí)現(xiàn)環(huán)境數(shù)據(jù)、信息等要素互通共享，從而推動(dòng)環(huán)境問(wèn)題得到整體有效解決。公眾輿論借助互聯(lián)網(wǎng)將對(duì)企業(yè)排污形成巨大壓力，督促其有效治污，從而推動(dòng)環(huán)境改善因素由單一政府向全社會(huì)延伸。對(duì)環(huán)保行政主管部門而言，環(huán)保大數(shù)據(jù)的應(yīng)用更加強(qiáng)調(diào)數(shù)據(jù)獲取后的分析預(yù)測(cè)和價(jià)值挖掘。借助物聯(lián)網(wǎng)技術(shù)，把傳感器和裝備嵌入到各種環(huán)境監(jiān)控對(duì)象中，通過(guò)云計(jì)算技術(shù)將環(huán)保領(lǐng)域的各物聯(lián)網(wǎng)設(shè)備整合起來(lái)，實(shí)現(xiàn)人類社會(huì)與環(huán)境業(yè)務(wù)系統(tǒng)的整合，以更加精確和動(dòng)態(tài)的方式實(shí)現(xiàn)環(huán)境管理和決策的“智慧”。對(duì)企業(yè)而言，隨著“互聯(lián)網(wǎng)+生態(tài)環(huán)保大數(shù)據(jù)”的蓬勃發(fā)展以及各界對(duì)于“互聯(lián)網(wǎng)+”對(duì)于“大數(shù)據(jù)”的關(guān)注與重視，環(huán)境大數(shù)據(jù)變革對(duì)于排污企業(yè)就意味著違法排污將有更多雙眼睛盯著，更多緊箍咒壓著，污染付出的代價(jià)將會(huì)越來(lái)越沉重。而對(duì)于環(huán)保企業(yè)而言，將助力企業(yè)加快產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，打開(kāi)更大市場(chǎng)空間，迎來(lái)產(chǎn)業(yè)可持續(xù)發(fā)展黃金期?！盎ヂ?lián)網(wǎng)+生態(tài)環(huán)保大數(shù)據(jù)”也將提升公眾服務(wù)能力，通過(guò)大數(shù)據(jù)整理計(jì)算采集來(lái)的社交信息數(shù)據(jù)、公眾互動(dòng)數(shù)據(jù)等，可以幫助環(huán)保部門進(jìn)行公眾服務(wù)的水平化設(shè)計(jì)和碎片化擴(kuò)散。可以借助社交媒體中公開(kāi)的海量數(shù)據(jù)，通過(guò)大數(shù)據(jù)信息交叉驗(yàn)證技術(shù)、分析數(shù)據(jù)內(nèi)容之間的關(guān)聯(lián)度等，進(jìn)而面向社會(huì)化用戶開(kāi)展精細(xì)化服務(wù)，為公眾提供更多便利，產(chǎn)生更大價(jià)值。環(huán)境數(shù)據(jù)中心集污染源和環(huán)境質(zhì)量數(shù)據(jù)整合、數(shù)據(jù)集成、數(shù)據(jù)交換、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)協(xié)同共享功能于一體，將分散的各類環(huán)境數(shù)據(jù)統(tǒng)一集成，提高了數(shù)據(jù)的標(biāo)準(zhǔn)化水平和數(shù)據(jù)的可用性，按照數(shù)據(jù)資源規(guī)劃設(shè)計(jì)的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范以及數(shù)據(jù)模型進(jìn)行統(tǒng)一組織，依據(jù)國(guó)家有關(guān)技術(shù)規(guī)范和環(huán)境信息行業(yè)技術(shù)標(biāo)準(zhǔn)分類體系構(gòu)建的數(shù)據(jù)集，對(duì)各類業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行分類和梳理，按照不同的專題和用途進(jìn)行分類存儲(chǔ)和使用，同時(shí)可以完成數(shù)據(jù)的共享和交換工作，解決各部門、各業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)無(wú)法共享的問(wèn)題，即解決“數(shù)據(jù)孤島”現(xiàn)象，為環(huán)境管理者和決策者提供可靠、及時(shí)、全面的環(huán)境信息，從而為環(huán)境管理科學(xué)決策奠定堅(jiān)實(shí)基礎(chǔ)。5.9大數(shù)據(jù)在工業(yè)污染監(jiān)控中的應(yīng)用工業(yè)污染源全過(guò)程監(jiān)控系統(tǒng)是在污染源在線監(jiān)控的基礎(chǔ)之上，為了確保數(shù)據(jù)可靠性和監(jiān)控有效性，對(duì)企業(yè)污染治理設(shè)施的運(yùn)行狀態(tài)的關(guān)鍵參數(shù)進(jìn)行實(shí)時(shí)監(jiān)控。利用工業(yè)污染源全過(guò)程監(jiān)控系統(tǒng)，通過(guò)現(xiàn)場(chǎng)端監(jiān)測(cè)設(shè)備對(duì)環(huán)境污染治理設(shè)施進(jìn)行連續(xù)的、實(shí)時(shí)的跟蹤監(jiān)控，通過(guò)實(shí)時(shí)采集環(huán)境污染治理設(shè)施的關(guān)鍵參數(shù)，包括電氣參數(shù)（如電壓、電流、頻率等）、工藝參數(shù)（物位、流量、壓力、溫度等），與系統(tǒng)內(nèi)置的算法規(guī)則進(jìn)行比對(duì)，監(jiān)控其運(yùn)行狀況和治污效果并對(duì)排污超標(biāo)及污染治理設(shè)施非正常運(yùn)行提供報(bào)警。通過(guò)對(duì)污染物排放和污染治理設(shè)施的在線監(jiān)控，對(duì)排污生產(chǎn)進(jìn)行自動(dòng)控制，從而準(zhǔn)確反映污染源的實(shí)際排放情況，有效減少污染物排放量，調(diào)動(dòng)排污企業(yè)治理污染的積極性，預(yù)防環(huán)境污染突發(fā)事件。針對(duì)某電廠工況數(shù)據(jù)進(jìn)行分析，通過(guò)兩周數(shù)據(jù)進(jìn)行訓(xùn)練得到預(yù)測(cè)模型，去預(yù)測(cè)下周污染物排放數(shù)據(jù)，99.5%預(yù)測(cè)數(shù)據(jù)的相對(duì)誤差<20%污染源排放清單動(dòng)態(tài)管理系統(tǒng)是基于污染源普查數(shù)據(jù)及環(huán)境統(tǒng)計(jì)基礎(chǔ)數(shù)據(jù)、GIS地理信息系統(tǒng)和區(qū)域土地利用信息，整合重點(diǎn)點(diǎn)源實(shí)時(shí)排放數(shù)據(jù)，形成針對(duì)點(diǎn)源、線源、面源等各類大氣污染源，綜合反映區(qū)域污染源空間分布和時(shí)間排放規(guī)律信息的網(wǎng)格化區(qū)域大氣污染物排放清單數(shù)據(jù)庫(kù)平臺(tái)。它不僅為區(qū)域?qū)崟r(shí)污染物排放狀況提供了最為詳實(shí)和全面的實(shí)時(shí)數(shù)據(jù)信息及空間、時(shí)間變化模型，為區(qū)域重污染天氣及空氣質(zhì)量預(yù)測(cè)預(yù)報(bào)工作提供有效的基礎(chǔ)數(shù)據(jù)支持。更重要的還為環(huán)保部門提供了區(qū)域污染源系統(tǒng)化管理工具，為區(qū)域落實(shí)污染防治政策和總量削減行動(dòng)計(jì)劃提供快速?zèng)Q策工具，從而服務(wù)于國(guó)家及地方環(huán)境保護(hù)總體戰(zhàn)略。（二）大數(shù)據(jù)下的職業(yè)定位事實(shí)上，麥肯錫全球研究院的研究預(yù)測(cè)在未來(lái)6年，僅在美國(guó)本土就可能面臨缺乏14萬(wàn)至19萬(wàn)具備深入分析數(shù)據(jù)能力人才的情況，同時(shí)具備通過(guò)分析大數(shù)據(jù)并為企業(yè)做出有效決策的數(shù)據(jù)的管理人員和分析師也有150萬(wàn)人的缺口。Ventana研究公司的分析師DavidMenninger指出在其公司最近所作的一項(xiàng)調(diào)查顯示，在169位公司高管中有四分之三的人認(rèn)為技術(shù)人員缺乏是企業(yè)無(wú)從應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的重要因素。Hadoop除了核心設(shè)計(jì)思想MapReduce和HDFS(HadoopDistributedFileSystem)外，Hadoop還包括了從類SQL查詢語(yǔ)言HQL，到NoSQLHBase數(shù)據(jù)庫(kù)(NoSQL數(shù)據(jù)庫(kù)通常用來(lái)處理非結(jié)構(gòu)化的數(shù)據(jù)，包括音頻、視頻等。)，以及機(jī)器學(xué)習(xí)庫(kù)Mahout等內(nèi)容。Cloudera、Hortonworks和MapR都已在他們的分布式系統(tǒng)中加入了Hadoop項(xiàng)目。而MapReduce編程模式可以被認(rèn)作是云計(jì)算技術(shù)實(shí)現(xiàn)的靈魂。MapReduce是一種處理大型及超大型數(shù)據(jù)集并生成相關(guān)的的執(zhí)行的編程模型，其主要思想是從函數(shù)式編程語(yǔ)言借鑒而來(lái)，同時(shí)包括從矢量編程語(yǔ)言借來(lái)的特性。TechTarget的