大數(shù)據(jù)解決方案的應(yīng)用

1、大數(shù)據(jù)解決方案的應(yīng)用技術(shù)創(chuàng)新，變革未來(lái)用戶(hù)行為分析12社會(huì)化行為分析3多媒體內(nèi)容分析社會(huì)輿情社會(huì)情報(bào)安防視頻海量圖片語(yǔ)音數(shù)據(jù)用戶(hù)行為分析需求用戶(hù)行為指揮著營(yíng)銷(xiāo)活動(dòng)的走向：從新品開(kāi)發(fā)到價(jià)格制定、從渠道管理到品牌管理、。營(yíng)銷(xiāo)圍繞用戶(hù)展開(kāi)，用戶(hù)行為分析是營(yíng)銷(xiāo)工作的首要階段。目前用戶(hù)行為分析主要應(yīng)用在以下幾個(gè)方面：1. 產(chǎn)品設(shè)計(jì)與營(yíng)銷(xiāo)2. 產(chǎn)品客戶(hù)群定位或細(xì)分3. 商業(yè)分析與盈利模式調(diào)整4. 推薦系統(tǒng)用戶(hù)行為分析方法用戶(hù)特征分析找出各類(lèi)用戶(hù)的行為特點(diǎn)關(guān)聯(lián)分析即關(guān)聯(lián)規(guī)則，把用戶(hù)的一種使用（消費(fèi)）習(xí)慣和另外的使用（消費(fèi)）習(xí)慣進(jìn)行關(guān)聯(lián)分析分類(lèi)與預(yù)測(cè)利用分類(lèi)技術(shù)，可以將用戶(hù)歸屬為一個(gè)特定的類(lèi)異常分析對(duì)行為特征

2、異常的個(gè)體進(jìn)行分析TopN分析TopN用戶(hù)能夠最大程度低影響該類(lèi)用戶(hù)的特征（研究最活躍用戶(hù)的特征），因此對(duì)TopN用戶(hù)采取相應(yīng)的策略措施是最有效的方式產(chǎn)品客戶(hù)群定位客戶(hù)群A客戶(hù)群B客戶(hù)群C客戶(hù)群D客戶(hù)群E客戶(hù)群F用戶(hù)標(biāo)識(shí)和特征用戶(hù)精細(xì)劃分精準(zhǔn)營(yíng)銷(xiāo)協(xié)同過(guò)濾推薦引擎基于用戶(hù)的協(xié)同過(guò)濾基于物品的協(xié)同過(guò)濾用戶(hù)行為分析流程設(shè)計(jì)數(shù)據(jù)預(yù)處理用戶(hù)行為數(shù)據(jù)表分析結(jié)果用戶(hù)行為分析模塊用戶(hù)分類(lèi)用戶(hù)聚類(lèi)統(tǒng)計(jì)分析展示系統(tǒng)用戶(hù)行為分析結(jié)果產(chǎn)品性質(zhì)分析結(jié)果用戶(hù)行為分析通用架構(gòu)方案XData-hadoop分布式文件系統(tǒng)HDFS數(shù)據(jù)業(yè)務(wù)信令檢測(cè)WLAN話單經(jīng)分?jǐn)?shù)據(jù)倉(cāng)庫(kù)分析應(yīng)用數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)裝載數(shù)據(jù)計(jì)算數(shù)據(jù)寫(xiě)入數(shù)據(jù)讀取物理

3、存儲(chǔ)物理存儲(chǔ)物理存儲(chǔ)物理存儲(chǔ)精確營(yíng)銷(xiāo)GPRS話單WAP日志Gn信令簡(jiǎn)單統(tǒng)計(jì)分析數(shù)據(jù)采集存儲(chǔ)計(jì)算結(jié)果寫(xiě)入客戶(hù)研究數(shù)據(jù)存取數(shù)據(jù)存取流量?jī)?nèi)容研究綜合分析智能營(yíng)銷(xiāo)支持流量?jī)r(jià)值評(píng)估經(jīng)分系統(tǒng)老應(yīng)用統(tǒng)一展現(xiàn)目標(biāo)客戶(hù)提取Map/Reduce服務(wù)封裝新增改造現(xiàn)有系統(tǒng)A接口數(shù)據(jù)流量運(yùn)營(yíng)分析平臺(tái)用戶(hù)終端數(shù)據(jù)讀取流量運(yùn)營(yíng)分析平臺(tái)整體架構(gòu)經(jīng)分系統(tǒng)實(shí)際部署XData平臺(tái)從接口機(jī)采集數(shù)據(jù)入XData-hadoop分布式文件系統(tǒng)，同時(shí)負(fù)責(zé)數(shù)據(jù)預(yù)處理，生產(chǎn)數(shù)據(jù)的清洗和轉(zhuǎn)換，以及各平臺(tái)間的數(shù)據(jù)交換。庫(kù)外任務(wù)由XData管理平臺(tái)統(tǒng)一調(diào)度、監(jiān)控。傳統(tǒng)據(jù)倉(cāng)庫(kù)庫(kù)內(nèi)處理工作逐漸遷移至庫(kù)外，只提供應(yīng)用層展現(xiàn)功能。經(jīng)分系統(tǒng)實(shí)際運(yùn)行效果業(yè)務(wù)需求

4、現(xiàn)有關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)能力有限，只能保存三個(gè)月的數(shù)據(jù)大量歷史數(shù)據(jù)堆積，造成數(shù)據(jù)管理困難刷卡交易量激增，導(dǎo)致對(duì)大規(guī)模交易信息監(jiān)管困難新業(yè)務(wù)需求： 商戶(hù)評(píng)分，持卡用戶(hù)興趣分析方案規(guī)?？扇菁{300TB原始數(shù)據(jù)存放一年的所有刷卡交易信息平均每天新增導(dǎo)入數(shù)據(jù)約700GB方案架構(gòu)構(gòu)建50臺(tái)雙路x86服務(wù)器規(guī)模的XData大數(shù)據(jù)一體機(jī)提供350TB原始刷卡信息存儲(chǔ)容量系統(tǒng)提供50萬(wàn)每秒的記錄穩(wěn)定導(dǎo)入速度隨機(jī)單條記錄毫秒級(jí)返回，萬(wàn)級(jí)別的范圍查詢(xún)5秒內(nèi)返回典型案例-中國(guó)銀聯(lián)離線數(shù)據(jù)分析系統(tǒng)KeyvalueLegalSearch ConditiondatebankID.1.01助力銀聯(lián)建立大規(guī)模交易數(shù)據(jù)分析平臺(tái)銀聯(lián)

5、大規(guī)模交易數(shù)據(jù)分析平臺(tái)千億條交易數(shù)據(jù)導(dǎo)入數(shù)據(jù)存儲(chǔ)和挖掘風(fēng)險(xiǎn)管控，決策支持利用分布式文件系統(tǒng)（HDFS）作為提供其高可靠性的底層存儲(chǔ)數(shù)據(jù)從DB2中導(dǎo)入 支持1000億級(jí)別的記錄的查詢(xún)和分析采用支持海量數(shù)據(jù)高并發(fā)訪問(wèn)的Hbase用戶(hù)行為分析12社會(huì)化行為分析3多媒體內(nèi)容分析社會(huì)輿情社會(huì)情報(bào)安防視頻海量圖片語(yǔ)音數(shù)據(jù)社會(huì)化輿情需求六要素大數(shù)據(jù)輿情定義網(wǎng)絡(luò)輿情是由于各種事件的刺激而產(chǎn)生的通過(guò)互聯(lián)網(wǎng)傳播的人們對(duì)于該事件的所有認(rèn)知、態(tài)度、情感和行為傾向的集合.網(wǎng)絡(luò)輿情六大要素：網(wǎng)絡(luò)、事件、網(wǎng)民、情感、傳播互動(dòng)、影響力在獲取，分析，研判大規(guī)模信息的技術(shù)上，輿情系統(tǒng)需要利用大數(shù)據(jù)技術(shù)來(lái)面對(duì)海量信息處理的挑戰(zhàn)；網(wǎng)

6、絡(luò)輿情利用大數(shù)據(jù)技術(shù)對(duì)群體信息的統(tǒng)計(jì)和分析，趨勢(shì)研判.系統(tǒng)功能智能采集實(shí)時(shí)搜索話題追蹤與分析分類(lèi)輿情輿情預(yù)警熱點(diǎn)輿情可視化展示社會(huì)化輿情綜合運(yùn)用系統(tǒng)社會(huì)化情報(bào)分析需求邏輯推理綜合統(tǒng)計(jì)比較聯(lián)系特征解釋碰撞比對(duì)頻率分析語(yǔ)義分析多維融合深度挖掘大數(shù)據(jù)傳統(tǒng)社會(huì)化情報(bào)分析綜合運(yùn)用系統(tǒng)面向客戶(hù)情報(bào)綜合信息平臺(tái)主要面向各級(jí)公安機(jī)關(guān)、各業(yè)務(wù)警種。通過(guò)數(shù)據(jù)采集功能，將各種數(shù)據(jù)信息進(jìn)行分類(lèi)整合，實(shí)現(xiàn)數(shù)據(jù)資源整合匯總；主要功能提供對(duì)海量文本、圖片、視音頻等數(shù)字化內(nèi)容進(jìn)行智能檢索、實(shí)現(xiàn)公安業(yè)務(wù)信息數(shù)據(jù)深層次挖掘, 完成海量信息的智能分析處理、預(yù)測(cè)；優(yōu)勢(shì)系統(tǒng)結(jié)合先進(jìn)的情報(bào)分析處理方法和自主研發(fā)設(shè)計(jì)大數(shù)據(jù)平臺(tái)， 結(jié)合第三

7、方經(jīng)驗(yàn)豐富的應(yīng)用開(kāi)發(fā)商，為用戶(hù)提供切實(shí)有效的服務(wù)。社會(huì)化行為分析方案架構(gòu)涉及本地的輿情信息分析追蹤輿情事件的傳播與發(fā)展突發(fā)事件輿情分析過(guò)濾違法違規(guī)信息、敏感信息網(wǎng)絡(luò)社情民意搜集與分析情報(bào)信息搜索與挖掘充分了解網(wǎng)絡(luò)社情民意應(yīng)用領(lǐng)域輿情和大數(shù)據(jù)解決方案前已經(jīng)應(yīng)用于中國(guó)證監(jiān)會(huì)、 中國(guó)銀監(jiān)會(huì)、 工信部、 質(zhì)檢總局、ZC部X所、 中國(guó)工商銀行、 中國(guó)移動(dòng)、上海、福建、新疆各省輿情監(jiān)測(cè)部門(mén)。XData大數(shù)據(jù)系統(tǒng)已在軍工、金融、電信、政府、教育等多個(gè)行業(yè)完成部署與應(yīng)用。某部某信息安全系統(tǒng)某部某所熱點(diǎn)信息監(jiān)控系統(tǒng)一期數(shù)十萬(wàn)個(gè)熱點(diǎn)同時(shí)監(jiān)控，關(guān)鍵信息聚集，提供個(gè)性化查詢(xún)功能數(shù)據(jù)存儲(chǔ)數(shù)據(jù)檢索數(shù)據(jù)分析用戶(hù)行為分析12

8、社會(huì)化行為分析3多媒體內(nèi)容分析社會(huì)輿情社會(huì)情報(bào)安防視頻海量圖片語(yǔ)音數(shù)據(jù)海量圖像視頻處理需求視頻線索庫(kù)構(gòu)建利用智能視頻分析工具，提取人、車(chē)、物圖片和視頻片段，并構(gòu)建描述庫(kù)視頻目標(biāo)檢索通過(guò)圖樣，快速定位相似目標(biāo)。通過(guò)樣圖，搜索相似圖片。視頻目標(biāo)軌跡挖掘輸入目標(biāo)圖樣，快速挖掘相似目標(biāo)活動(dòng)軌跡影像分析人臉、人體、車(chē)輛圖像清晰度還原，等大規(guī)模圖片寫(xiě)入大規(guī)模交通探頭圖片集中入庫(kù)與管理視頻圖像大數(shù)據(jù)綜合處理系統(tǒng) 后臺(tái)：視頻線索建庫(kù)視頻、圖像移動(dòng)警務(wù)拷貝VSearch視頻分析、檢索和研判視頻線索建庫(kù) 圖像識(shí)別、分析和檢索圖像入庫(kù)PSearch Xdata大數(shù)據(jù)處理系統(tǒng)MapReduceParastor Hba

9、se 語(yǔ)音撥號(hào)語(yǔ)音導(dǎo)航室內(nèi)設(shè)備控制語(yǔ)音-文檔檢索語(yǔ)音-語(yǔ)音檢索聽(tīng)寫(xiě)數(shù)據(jù)錄入智能語(yǔ)音翻譯音頻-人物識(shí)別語(yǔ)音識(shí)別需求當(dāng)前語(yǔ)音識(shí)別應(yīng)用問(wèn)題：處理速度有待提高音視頻大數(shù)據(jù)處理平臺(tái)視頻線索庫(kù)構(gòu)建音視頻目標(biāo)檢索音視頻增強(qiáng)視頻和線索管理Xdata大數(shù)據(jù)處理平臺(tái)視頻目標(biāo)軌跡挖掘隱馬爾可夫模型(HMM)人工神經(jīng)元網(wǎng)絡(luò)(ANN)N元統(tǒng)計(jì)模型文法規(guī)則處理機(jī)制圖像數(shù)據(jù)模型特征提取算法索引結(jié)構(gòu)查詢(xún)表達(dá)模式VideoSpeed 轉(zhuǎn)碼加速智能語(yǔ)音翻譯汽車(chē)語(yǔ)音導(dǎo)航室內(nèi)設(shè)備控制語(yǔ)音-文檔檢索哼唱搜索處理速度提高數(shù)10倍以上。大數(shù)據(jù)行業(yè)方案分類(lèi)電信公安廣電交通金融醫(yī)療衛(wèi)生人保國(guó)稅電網(wǎng)海關(guān)，統(tǒng)計(jì)，司法，其他政府部門(mén)電信大數(shù)據(jù)需求系

10、統(tǒng)分散建設(shè)，難以實(shí)現(xiàn)資源和應(yīng)用共享經(jīng)營(yíng)分析、信令監(jiān)測(cè)、綜合網(wǎng)絡(luò)分析、不良信息監(jiān)測(cè)、上網(wǎng)日志留存等大數(shù)據(jù)系統(tǒng)垂直建設(shè)較多，另外很多省分公司的系統(tǒng)建設(shè)存在重復(fù)建設(shè)、應(yīng)用重復(fù)開(kāi)發(fā)、各類(lèi)專(zhuān)家資源無(wú)法共享等情況；數(shù)據(jù)分散存儲(chǔ)，標(biāo)準(zhǔn)化程度低各大數(shù)據(jù)系統(tǒng)數(shù)據(jù)模型不統(tǒng)一，跨系統(tǒng)綜合分析困難；統(tǒng)一管理難度較高；以O(shè)LTP為核心的傳統(tǒng)架構(gòu)，難以滿(mǎn)足新業(yè)務(wù)發(fā)展要求多采用高端架構(gòu)建設(shè)（類(lèi)IOE），成本極高；僅具備結(jié)構(gòu)化數(shù)據(jù)處理能力，無(wú)法支持飛速增長(zhǎng)的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)處理；對(duì)高速增長(zhǎng)的數(shù)據(jù)，傳統(tǒng)架構(gòu)很難滿(mǎn)足存儲(chǔ)需求；電信行業(yè)大數(shù)據(jù)方案框架1、實(shí)時(shí)監(jiān)控實(shí)時(shí)監(jiān)測(cè)和查看監(jiān)控點(diǎn)過(guò)車(chē)信息、車(chē)輛圖片等。2、關(guān)聯(lián)查詢(xún)機(jī)動(dòng)車(chē)數(shù)據(jù)

11、查詢(xún)、特殊數(shù)據(jù)查詢(xún)、車(chē)輛軌跡查詢(xún)、設(shè)備及工作狀態(tài)查詢(xún)、其他信息系統(tǒng)的深度關(guān)聯(lián)查詢(xún)等。 3、統(tǒng)計(jì)分析包括點(diǎn)位統(tǒng)計(jì)、流量統(tǒng)計(jì)、考核統(tǒng)計(jì)、設(shè)備統(tǒng)計(jì)、成功案例統(tǒng)計(jì)、車(chē)牌識(shí)別率統(tǒng)計(jì)等各種統(tǒng)計(jì)功能，并以表格、曲線圖、柱狀圖、餅形圖等多種形式展現(xiàn)。4、布控?cái)r截、比對(duì)報(bào)警應(yīng)能對(duì)各類(lèi)嫌疑車(chē)輛進(jìn)行布控報(bào)警，實(shí)施攔截處置。針對(duì)布控車(chē)輛和違法車(chē)輛進(jìn)行比對(duì)預(yù)警管理，實(shí)現(xiàn)對(duì)報(bào)警信息的接受、查詢(xún)、確認(rèn)、發(fā)布等。并支持客戶(hù)端、Web頁(yè)面、LED屏、SMS短信報(bào)警等多通道報(bào)警方式。5、視頻監(jiān)控在各類(lèi)動(dòng)態(tài)視頻（實(shí)時(shí)圖像和錄像資料）聯(lián)網(wǎng)應(yīng)用基礎(chǔ)上，實(shí)現(xiàn)實(shí)時(shí)預(yù)覽、歷史圖像檢索回放、遠(yuǎn)程控制、截圖功能（圖片抓拍、圖像抓錄）、視頻巡檢、

12、分組輪巡、網(wǎng)上巡邏、報(bào)警聯(lián)動(dòng)、智能調(diào)度、預(yù)案管理、警情聯(lián)動(dòng)等主要功能。6、智能研判包括：重點(diǎn)車(chē)輛軌跡研判、高危時(shí)段、地區(qū)車(chē)輛研判、頻繁出入車(chē)輛研判、同行車(chē)輛關(guān)聯(lián)研判、套牌車(chē)輛研判、車(chē)案區(qū)域關(guān)聯(lián)研判、車(chē)輛活動(dòng)規(guī)律研判等。公安行業(yè)需求公安行業(yè)大數(shù)據(jù)方案框架廣電行業(yè)需求多樣的需求感知社交媒體相似性 廣電行業(yè)解決方案架構(gòu)交通管理決策，主要是支持交通流量計(jì)劃、完善交通法規(guī)、自適應(yīng)式交通控制；出行信息服務(wù)，涉及到實(shí)時(shí)道路狀況查詢(xún)，支持出行者的多種終端設(shè)備等；商用車(chē)輛監(jiān)管;航班管家， 軌道交通運(yùn)輸， 水路客運(yùn)，貨運(yùn)雙11，物流 交通行業(yè)需求交通行業(yè)大數(shù)據(jù)架構(gòu)金融行業(yè)需求 銀行服務(wù)互聯(lián)網(wǎng)模式化 銀行服務(wù)趨向扁

13、平化， 電子支付，金融服務(wù)等趨向移動(dòng)終端，過(guò)程數(shù)據(jù)激增，催生大數(shù)據(jù)需求互聯(lián)網(wǎng)模式的重要內(nèi)涵是個(gè)性化，個(gè)性化依賴(lài)大數(shù)據(jù)分析 歷史堆積數(shù)據(jù)處理拋棄垂直架構(gòu)傳統(tǒng)小機(jī)+盤(pán)陣的分析架構(gòu)處理海量數(shù)據(jù)能力受限并行數(shù)據(jù)庫(kù)分析低價(jià)值密度數(shù)據(jù)性?xún)r(jià)比差Hadoop離線分析架構(gòu)開(kāi)始進(jìn)入銀行海量數(shù)據(jù)處理領(lǐng)域 大數(shù)據(jù)分析支持訪問(wèn)安全大量終端交易訪問(wèn)信息分析有助銀行外部安全銀行內(nèi)部系統(tǒng)數(shù)據(jù)（郵件，業(yè)務(wù)，辦公等）分析有助內(nèi)部信息安全金融行業(yè)大數(shù)據(jù)實(shí)現(xiàn)架構(gòu)HTTP服務(wù)器其他訪問(wèn)RDBMS數(shù)據(jù)來(lái)源：數(shù)據(jù)倉(cāng)庫(kù)（結(jié)構(gòu)），數(shù)據(jù)庫(kù)（結(jié)構(gòu)），日志數(shù)據(jù)（非結(jié)構(gòu)） 數(shù)據(jù)批處理:X86架構(gòu)的hadoop平臺(tái) 數(shù)據(jù)應(yīng)用:工具分析；數(shù)據(jù)展示，定制化

14、的展現(xiàn)服務(wù)數(shù)據(jù)來(lái)源：數(shù)據(jù)通常來(lái)源于諸如公共衛(wèi)生系統(tǒng)（婦幼、防疫、血站等）、院內(nèi)系統(tǒng)、及對(duì)兩種系統(tǒng)融合的區(qū)域衛(wèi)生平臺(tái)。數(shù)據(jù)規(guī)模：由于公衛(wèi)系統(tǒng)相對(duì)獨(dú)立，其數(shù)據(jù)量相對(duì)較小，通常情況下，單一公衛(wèi)系統(tǒng)中一年的數(shù)據(jù)規(guī)模約為10T；院內(nèi)系統(tǒng)的應(yīng)用類(lèi)型繁多，諸如CISC、PACS等均會(huì)產(chǎn)生大量的數(shù)據(jù)，普通三甲醫(yī)院的數(shù)據(jù)規(guī)模約為幾十T；區(qū)域平臺(tái)是基于EMR（個(gè)人健康檔案）及EHR（個(gè)人電子病歷）建立的，其數(shù)據(jù)量比上述兩種系統(tǒng)的總和還要龐大，通常的市級(jí)區(qū)域衛(wèi)生平臺(tái)的一年的數(shù)據(jù)規(guī)模約為上百T。 數(shù)據(jù)類(lèi)型：根據(jù)日趨完善的國(guó)家標(biāo)準(zhǔn)，各系統(tǒng)產(chǎn)生的數(shù)據(jù)格式也日趨標(biāo)準(zhǔn)，但由于醫(yī)療的業(yè)務(wù)系統(tǒng)諸多，數(shù)據(jù)類(lèi)型也呈現(xiàn)多樣化趨勢(shì)。不僅

15、僅具有病人主索引系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)，PACS系統(tǒng)中還存在Dicom、JPG的文件，手術(shù)系統(tǒng)中還會(huì)有視頻文件，用于病歷中的XML文件也是醫(yī)療應(yīng)用中重要的數(shù)據(jù)類(lèi)型之一。醫(yī)療衛(wèi)生行業(yè)需求醫(yī)療衛(wèi)生行業(yè)方案架構(gòu)人保國(guó)稅行業(yè)需求1大數(shù)據(jù)實(shí)現(xiàn)稅源精細(xì)化管理依靠手工操作和人海戰(zhàn)術(shù)的粗放型管理模式，既管不好也管不住所有的納稅人2大數(shù)據(jù)讓“難管”行業(yè)變得簡(jiǎn)單房地產(chǎn)業(yè)和建筑安裝業(yè)流動(dòng)性大、中間環(huán)節(jié)復(fù)雜，難以監(jiān)控，歷來(lái)是征管難點(diǎn)3大數(shù)據(jù)讓“假發(fā)票”不再肆虐大數(shù)據(jù)平臺(tái)推出的網(wǎng)絡(luò)發(fā)票，具有“在線開(kāi)票、數(shù)字防偽、全面監(jiān)控、查驗(yàn)便捷”4醫(yī)保， 就業(yè)， 社保大數(shù)據(jù)精細(xì)分析人保國(guó)稅行業(yè)發(fā)展趨勢(shì)國(guó)家電網(wǎng)大數(shù)據(jù)需求電網(wǎng)業(yè)務(wù)數(shù)據(jù)大致分為三類(lèi)