(1.1)-1.1大數(shù)據(jù)的概念大數(shù)據(jù)分析與挖掘

初識大數(shù)據(jù)BIGDATA

全球知名咨詢公司麥肯錫提出：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生成因素。人們對海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)盈余浪潮的到來。“1大數(shù)據(jù)的概念2大數(shù)據(jù)分析與挖掘概述3大數(shù)據(jù)分析與挖掘技術(shù)1.1數(shù)據(jù)的定義

數(shù)據(jù)是指對客觀事件進(jìn)行記錄并可以鑒別的符號，是對客觀事物的性質(zhì)、狀態(tài)及相互關(guān)系等進(jìn)行記載的物理符號或這些物理符號的組合，是構(gòu)成信息或者知識的原始材料。數(shù)據(jù)無處不在1.1數(shù)據(jù)的定義數(shù)據(jù)與信息的聯(lián)系與區(qū)別聯(lián)系：數(shù)據(jù)與信息不可分離，數(shù)據(jù)是信息的表現(xiàn)形式，信息是數(shù)據(jù)有意義的表示。數(shù)據(jù)是信息的表達(dá)與載體，信息是數(shù)據(jù)的內(nèi)涵，數(shù)據(jù)與信息兩者之間是形與質(zhì)的關(guān)系。區(qū)別：數(shù)據(jù)是符號，是物理性的；而信息是對數(shù)據(jù)進(jìn)行加工所得到的，是邏輯性和觀念性的。1.2大數(shù)據(jù)的定義

大數(shù)據(jù)是指其大小超出了常規(guī)數(shù)據(jù)庫工具獲取,存儲,管理和分析能力的數(shù)據(jù)集?！按髷?shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。1.2大數(shù)據(jù)的定義數(shù)據(jù)量數(shù)據(jù)的范圍數(shù)據(jù)的類型“海量”機(jī)構(gòu)的內(nèi)部和外部結(jié)構(gòu)化、半結(jié)構(gòu)化1.3大數(shù)據(jù)的來源1.4

大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)4V價(jià)值高Value多樣性Variety體量大Volume速度快Velocity大數(shù)據(jù)是以PB、EB、ZB為單位進(jìn)行計(jì)量的1KB1MB1GB1TB1PB1EB1ZB1YB1Byte1.5大數(shù)據(jù)的結(jié)構(gòu)類型<20%>80%結(jié)構(gòu)化數(shù)據(jù)能夠用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)加以表示，如數(shù)字、符號等。半結(jié)構(gòu)化數(shù)據(jù)介于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)之間的一類數(shù)據(jù)，如HTML文檔。非結(jié)構(gòu)化數(shù)據(jù)

無法用數(shù)字或統(tǒng)一的結(jié)構(gòu)表示，如文本、圖像、聲音、視頻等。1.6大數(shù)據(jù)的應(yīng)用1.6大數(shù)據(jù)的應(yīng)用一、利用大數(shù)據(jù)實(shí)現(xiàn)客戶交互改進(jìn)，電信、零售、旅游、金融服務(wù)和汽車等行業(yè)將快速抓取客戶信息，從而了解客戶需求列為首要任務(wù)。二、利用大數(shù)據(jù)實(shí)現(xiàn)運(yùn)營分析優(yōu)化，制造、能源、公共事業(yè)、電信旅行和運(yùn)輸?shù)刃袠I(yè)要時(shí)刻關(guān)注突發(fā)事件，通過監(jiān)控提升運(yùn)營效率并預(yù)測潛在風(fēng)險(xiǎn)。三、利用大數(shù)據(jù)實(shí)現(xiàn)IT效率和規(guī)模效應(yīng)，企業(yè)需要增強(qiáng)現(xiàn)有數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)，實(shí)現(xiàn)大數(shù)據(jù)傳輸?shù)难舆t和查詢的需求，確保有效利用預(yù)測分析和商業(yè)智能實(shí)現(xiàn)或擴(kuò)展某些性能。四、利用大數(shù)據(jù)實(shí)現(xiàn)