大數(shù)據(jù)特性智慧養(yǎng)老技術(shù)概論

智慧養(yǎng)老技術(shù)概論大數(shù)據(jù)特性大數(shù)據(jù)的特性談到大數(shù)據(jù)的特點(diǎn)，一是數(shù)據(jù)規(guī)模是PB級(jí)，二是多數(shù)據(jù)源，能夠把半結(jié)構(gòu)化、非結(jié)構(gòu)化和結(jié)構(gòu)化的數(shù)據(jù)很好地融合起來(lái)。同時(shí)具有實(shí)時(shí)、可迭代特點(diǎn)。具體形容就是大數(shù)據(jù)環(huán)境類似Facebook環(huán)境，隨時(shí)可以添加變量。大數(shù)據(jù)的特性大量Volume天文學(xué)和基因?qū)W是最早產(chǎn)生大數(shù)據(jù)變革的領(lǐng)域，2000年，斯隆數(shù)字巡天項(xiàng)目啟動(dòng)時(shí)，位于新墨西哥州的望遠(yuǎn)鏡，在短短幾周內(nèi)搜集到的數(shù)據(jù)已經(jīng)比天文學(xué)歷史上總共搜集的數(shù)據(jù)還要多；在智利的大型視場(chǎng)全景巡天望遠(yuǎn)鏡一旦于2016年投入使用，其在5天之內(nèi)搜集到的信息量將相當(dāng)于前者10年的信息檔案。2003年，人類第一次破譯人體基因密碼時(shí)，用了10年才完成了30億對(duì)堿基對(duì)的排序；而在10年之后，世界范圍內(nèi)的基因儀15分鐘就可以完成同樣的工作量。伴隨著各種隨身設(shè)備、物聯(lián)網(wǎng)和云計(jì)算、云存儲(chǔ)等技術(shù)的發(fā)展，人和物的所有軌跡都可以被記錄，數(shù)據(jù)因此被大量生產(chǎn)出來(lái)。移動(dòng)互聯(lián)網(wǎng)的核心網(wǎng)絡(luò)節(jié)點(diǎn)是人，不再是網(wǎng)頁(yè)，人人都成為數(shù)據(jù)制造者，短信、微博、照片、錄像都是其數(shù)據(jù)產(chǎn)品；數(shù)據(jù)來(lái)自無(wú)數(shù)自動(dòng)化傳感器、自動(dòng)記錄設(shè)施、生產(chǎn)監(jiān)測(cè)、環(huán)境監(jiān)測(cè)、交通監(jiān)測(cè)、安防監(jiān)測(cè)等；來(lái)自自動(dòng)流程記錄，刷卡機(jī)、收款機(jī)、電子不停車收費(fèi)系統(tǒng)，互聯(lián)網(wǎng)點(diǎn)擊、電話撥號(hào)等設(shè)施以及各種辦事流程登記等。非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍Volume數(shù)據(jù)量

摩爾定律是由英特爾（Intel）創(chuàng)始人之一戈登·摩爾提出來(lái)的。其內(nèi)容為：當(dāng)價(jià)格不變時(shí)，集成電路上可容納的元器件的數(shù)目，約每隔18-24個(gè)月便會(huì)增加一倍，性能也將提升一倍。換言之，每一美元所能買到的電腦性能，將每隔18-24個(gè)月翻一倍以上。這一定律揭示了信息技術(shù)進(jìn)步的速度。大數(shù)據(jù)的特性多樣性Variety隨著傳感器、智能設(shè)備以及社交協(xié)作技術(shù)的飛速發(fā)展，組織中的數(shù)據(jù)也變得更加復(fù)雜，因?yàn)樗粌H包含傳統(tǒng)的關(guān)系型數(shù)據(jù)，還包含來(lái)自網(wǎng)頁(yè)、互聯(lián)網(wǎng)日志文件（包括點(diǎn)擊流數(shù)據(jù)）、搜索索引、社交媒體論壇、電子郵件、文檔、主動(dòng)和被動(dòng)系統(tǒng)的傳感器數(shù)據(jù)等原始、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)格式變得越來(lái)越多樣，涵蓋了文本、音頻、圖片、視頻、模擬信號(hào)等不同的類型；數(shù)據(jù)來(lái)源也越來(lái)越多樣，不僅產(chǎn)生于組織內(nèi)部運(yùn)作的各個(gè)環(huán)節(jié)，也來(lái)自于組織外部。例如，在交通領(lǐng)域，北京市交通智能化分析平臺(tái)數(shù)據(jù)來(lái)自路網(wǎng)攝像頭/傳感器、公交、軌道交通、出租車以及省際客運(yùn)、旅游、化危運(yùn)輸、停車、租車等運(yùn)輸行業(yè)，還有問(wèn)卷調(diào)查和地理信息系統(tǒng)數(shù)據(jù)。4萬(wàn)輛浮動(dòng)車每天產(chǎn)生2000萬(wàn)條記錄，交通卡刷卡記錄每天1900萬(wàn)條，手機(jī)定位數(shù)據(jù)每天1800萬(wàn)條，出租車運(yùn)營(yíng)數(shù)據(jù)每天100萬(wàn)條，電子停車收費(fèi)系統(tǒng)數(shù)據(jù)每天50萬(wàn)條，定期調(diào)查覆蓋8萬(wàn)戶家庭等等，這些數(shù)據(jù)在體量和速度上都達(dá)到了大數(shù)據(jù)的規(guī)模。大數(shù)據(jù)的異構(gòu)和多樣性、很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）、無(wú)模式或者模式不明顯、不連貫的語(yǔ)法或句義大數(shù)據(jù)的特性多樣性Variety發(fā)掘這些形態(tài)各異、快慢不一的數(shù)據(jù)流之間的相關(guān)性，是大數(shù)據(jù)做前人之未做、能前人所不能的機(jī)會(huì)。大數(shù)據(jù)不僅是處理巨量數(shù)據(jù)的利器，更為處理不同來(lái)源、不同格式的多元化數(shù)據(jù)提供了可能。例如，為了使計(jì)算機(jī)能夠理解人的意圖，人類就必須要將需解決的問(wèn)題的思路、方法和手段通過(guò)計(jì)算機(jī)能夠理解的形式告訴計(jì)算機(jī)，使得計(jì)算機(jī)能夠根據(jù)人的指令一步一步工作，完成某種特定的任務(wù)。多樣化的數(shù)據(jù)來(lái)源正是大數(shù)據(jù)的威力所在，例如交通狀況與其他領(lǐng)域的數(shù)據(jù)都存在較強(qiáng)的關(guān)聯(lián)性。據(jù)數(shù)據(jù)研究發(fā)現(xiàn)，可以從供水系統(tǒng)數(shù)據(jù)中發(fā)現(xiàn)早晨洗澡的高峰時(shí)段，加上一個(gè)偏移量（通常是40-45分鐘）就能估算出交通早高峰時(shí)段；同樣可以從電網(wǎng)數(shù)據(jù)中統(tǒng)計(jì)出傍晚辦公樓集中關(guān)燈的時(shí)間，加上偏移量估算出晚上的堵車時(shí)段。大數(shù)據(jù)的特性價(jià)值密度Value大量的不相關(guān)信息、對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析、深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）價(jià)值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例，一部1小時(shí)的視頻，在連續(xù)不間斷的監(jiān)控中，有用數(shù)據(jù)可能僅有一二秒。如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”成為目前大數(shù)據(jù)背景下亟待解決的難題。

數(shù)據(jù)的重要性就在于對(duì)決策的支持，數(shù)據(jù)的規(guī)模并不能決定其能否為決策提供幫助，數(shù)據(jù)的真實(shí)性和質(zhì)量才是獲得真知和思路最重要的因素，是制定成功決策最堅(jiān)實(shí)的基礎(chǔ)。追求高數(shù)據(jù)質(zhì)量是一項(xiàng)重要的大數(shù)據(jù)要求和挑戰(zhàn)，即使最優(yōu)秀的數(shù)據(jù)清理方法也無(wú)法消除某些數(shù)據(jù)固有的不可預(yù)測(cè)性，例如，人的感情和誠(chéng)實(shí)性、天氣形勢(shì)、經(jīng)濟(jì)因素以及未來(lái)。在處理這些類型的數(shù)據(jù)時(shí)，數(shù)據(jù)清理無(wú)法修正這種不確定性，然而，盡管存在不確定性，數(shù)據(jù)仍然包含寶貴的信息。我們必須承認(rèn)、接受大數(shù)據(jù)的不確定性，并確定如何充分利用這一點(diǎn)，例如，采取數(shù)據(jù)融合，即通過(guò)結(jié)合多個(gè)可靠性較低的來(lái)源創(chuàng)建更準(zhǔn)確、更有用的數(shù)據(jù)點(diǎn)，或者通過(guò)魯棒優(yōu)化技術(shù)和模糊邏輯方法等先進(jìn)的數(shù)學(xué)方法。大數(shù)據(jù)的特性在數(shù)據(jù)處理速度方面，有一個(gè)著名的“1秒定律”，即要在秒級(jí)時(shí)間范圍內(nèi)給出分析結(jié)果，超出這個(gè)時(shí)間，數(shù)據(jù)就失去價(jià)值了。例如，IBM有一則廣告，講的是“1秒，能做什么”？1秒，能檢測(cè)出臺(tái)灣的鐵道故障并發(fā)布預(yù)警；也能發(fā)現(xiàn)得克薩斯州的電力中斷，避免電網(wǎng)癱瘓；還能幫助一家全球性金融公司鎖定行業(yè)欺詐，保障客戶利益。在商業(yè)領(lǐng)域，“快”也早已貫穿企業(yè)運(yùn)營(yíng)、管理和決策智能化的每一個(gè)環(huán)節(jié)，形形色色描述“快”的新興詞匯出現(xiàn)在商業(yè)數(shù)據(jù)語(yǔ)境里，例如實(shí)時(shí)、快如閃電、光速、念動(dòng)的瞬間、價(jià)值送達(dá)時(shí)間。英特爾中國(guó)研究院首席工程師吳甘沙認(rèn)為，快速度是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)別。速度Velocity實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效大數(shù)據(jù)的特性大數(shù)據(jù)是一種以實(shí)時(shí)數(shù)據(jù)處理、實(shí)時(shí)結(jié)果導(dǎo)向?yàn)樘卣鞯慕鉀Q方案，它的“快”有兩個(gè)層面。一是數(shù)據(jù)產(chǎn)生得快。有的數(shù)據(jù)是爆發(fā)式產(chǎn)生，例如，歐洲核子研究中心的大型強(qiáng)子對(duì)撞機(jī)在工作狀態(tài)下每秒產(chǎn)生PB級(jí)的數(shù)據(jù)；有的數(shù)據(jù)是涓涓細(xì)流式產(chǎn)生，但是由于用戶眾多，短時(shí)間內(nèi)產(chǎn)生的數(shù)據(jù)量依然非常龐大，例如，點(diǎn)擊流、日志、射頻識(shí)別數(shù)據(jù)、GPS（全球定位系統(tǒng)）位置信息。二是數(shù)據(jù)處理得快。正如水處理系統(tǒng)可以從水庫(kù)調(diào)出水進(jìn)行處理，也可以處理直接對(duì)涌進(jìn)來(lái)的新水流。大數(shù)據(jù)也有批處理（“靜止數(shù)據(jù)”轉(zhuǎn)變?yōu)椤罢褂脭?shù)據(jù)”）和流處理（“動(dòng)態(tài)數(shù)據(jù)”轉(zhuǎn)變?yōu)椤罢褂脭?shù)據(jù)”）兩種范式，以實(shí)現(xiàn)快速的數(shù)據(jù)處理。速度Velocity大數(shù)據(jù)的特性

為什么要“快”？第一，時(shí)間就是金錢。如果說(shuō)價(jià)值是分子，那么時(shí)間就是分母，分母越小，單位價(jià)值就越大。面臨同樣大的數(shù)據(jù)“礦山”，“挖礦”效率是競(jìng)爭(zhēng)優(yōu)勢(shì)。第二，像其他商品一樣，數(shù)據(jù)的價(jià)值會(huì)折舊，等量數(shù)據(jù)在不同時(shí)間點(diǎn)？?jī)r(jià)值不等。NewSQL（新的可擴(kuò)展性/高性能數(shù)據(jù)庫(kù)）的先行者VoltDB（內(nèi)存數(shù)據(jù)庫(kù)）發(fā)明了一個(gè)概念叫作“數(shù)據(jù)連續(xù)統(tǒng)一體”：數(shù)據(jù)存在于一個(gè)連續(xù)的時(shí)間軸上，每個(gè)數(shù)據(jù)項(xiàng)都有它的年齡，不同年齡的數(shù)據(jù)有不同的價(jià)值取向，新產(chǎn)生的數(shù)據(jù)更具有個(gè)體價(jià)值，產(chǎn)生時(shí)間較為久遠(yuǎn)的數(shù)據(jù)集合起來(lái)更能發(fā)揮價(jià)值。第三，數(shù)據(jù)跟新聞一樣具有時(shí)效性。很多傳感器的數(shù)據(jù)產(chǎn)生幾秒之后就失去意義了。美國(guó)國(guó)家海洋和大氣管理局的超級(jí)計(jì)算機(jī)能夠在日本地震后9分鐘計(jì)算出海嘯的可能性，但9分鐘的延遲對(duì)于瞬間被海浪吞噬的生命來(lái)說(shuō)還是太長(zhǎng)了。速度VelocityPPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Wo