四方偉業(yè)政務(wù)大數(shù)據(jù)建設(shè)

政務(wù)大數(shù)據(jù)建設(shè)與應(yīng)用解析地方政府政務(wù)大數(shù)據(jù)建設(shè)路徑與解決方案CONTENT1當(dāng)政務(wù)應(yīng)用遇到大數(shù)據(jù)2退而結(jié)網(wǎng)，打造大數(shù)據(jù)湖泊3大數(shù)據(jù)平臺、架構(gòu)與實現(xiàn)4大數(shù)據(jù)可視化，看得見的數(shù)據(jù)5成都四方偉業(yè)公司簡介走進(jìn)大數(shù)據(jù)時代交通運輸運輸線路優(yōu)化交通信息服務(wù)數(shù)字媒休互聯(lián)網(wǎng)廣告用戶標(biāo)簽零售業(yè)O2O營銷客流與商圈選址醫(yī)療與保健病歷分析疾病監(jiān)測政府政務(wù)網(wǎng)上辦事大廳政務(wù)熱線地產(chǎn)中介社區(qū)O2O運營客戶畫像電信運營商內(nèi)部營銷決策對外拓展互聯(lián)網(wǎng)企業(yè)開放平臺應(yīng)用產(chǎn)品銀行業(yè)精準(zhǔn)營銷風(fēng)險管控教育在線教育教育應(yīng)用電信政務(wù)商業(yè)工業(yè)重點行業(yè)大數(shù)據(jù)應(yīng)用生命周期數(shù)據(jù)源（管理、交易、事務(wù)、傳感、監(jiān)控、文件……）數(shù)據(jù)獲取和治理大數(shù)據(jù)存儲大數(shù)據(jù)分析計算處理大數(shù)據(jù)可視化數(shù)據(jù)驅(qū)動決策數(shù)據(jù)提供服務(wù)大數(shù)據(jù)，不再是傳統(tǒng)的BI競爭優(yōu)勢數(shù)據(jù)可視化樣本數(shù)據(jù)關(guān)聯(lián)關(guān)系多維分析統(tǒng)計報表全體數(shù)據(jù)趨勢預(yù)測全體數(shù)據(jù)代替樣本數(shù)據(jù)

一般是基于KPI指標(biāo)等的分析，無法有效支撐決策提供傳統(tǒng)的統(tǒng)計分析功能，提供報表等…傳統(tǒng)基于小數(shù)據(jù)量的數(shù)據(jù)分析，樣本數(shù)據(jù)注重關(guān)聯(lián)關(guān)系而非因果關(guān)系數(shù)據(jù)可視化變得尤為重要大數(shù)據(jù)的重點是關(guān)聯(lián)關(guān)系與趨勢預(yù)測大數(shù)據(jù)分析助力提升行業(yè)綜合數(shù)據(jù)應(yīng)用能力大數(shù)據(jù)關(guān)注點

傳統(tǒng)數(shù)據(jù)分析局限數(shù)據(jù)獲取因子分析算法訓(xùn)練數(shù)據(jù)呈現(xiàn)經(jīng)濟(jì)運行大數(shù)據(jù)保駕十三五區(qū)域經(jīng)濟(jì)2341支撐領(lǐng)導(dǎo)科學(xué)決策，提高經(jīng)濟(jì)運行管理水平：從宏觀、中觀、微觀三個層面，對區(qū)域經(jīng)濟(jì)運行相關(guān)指標(biāo)進(jìn)行實時動態(tài)監(jiān)測和預(yù)警，從產(chǎn)業(yè)、行業(yè)、區(qū)域、時間多維度，實時了解區(qū)域經(jīng)濟(jì)運行狀態(tài)，及重點企業(yè)的運行情況和重大工程建設(shè)進(jìn)度情況。融合企業(yè)服務(wù)鏈信息，提升服務(wù)，促進(jìn)發(fā)展，提質(zhì)增效：全面的了解企業(yè)的分布、規(guī)模，產(chǎn)業(yè)布局和各企業(yè)的關(guān)聯(lián)度，更好的走循環(huán)經(jīng)濟(jì)道路。融合創(chuàng)業(yè)服務(wù)相關(guān)的信息，包括政府相關(guān)優(yōu)惠政策、金融貸款信息、培訓(xùn)機(jī)構(gòu)及人才信息、創(chuàng)業(yè)項目信息、公共資源、城市人口流動信息等，為企業(yè)創(chuàng)業(yè)提供全面的信息服務(wù)。共享經(jīng)濟(jì)運行數(shù)據(jù)，提高跨部門工作效率：各部門重復(fù)采集企業(yè)經(jīng)濟(jì)運行數(shù)據(jù)、無法信息共享；例如：部門在給企業(yè)相關(guān)扶持時，需要企業(yè)報送相關(guān)人才數(shù)據(jù)，通過共享人社部門數(shù)據(jù)后，可以驗證企業(yè)報送數(shù)據(jù)的真實性。大數(shù)據(jù)把關(guān)，提升招商引資效能和促進(jìn)產(chǎn)業(yè)結(jié)構(gòu)調(diào)整：建立事前（項目落地）、事中（企業(yè)的績效綜合評價）、事后（低效退出）全過程的差別化管理措施，對園區(qū)樓宇基礎(chǔ)設(shè)施效能投入產(chǎn)出進(jìn)行進(jìn)行統(tǒng)計分析和查詢。為園區(qū)產(chǎn)業(yè)結(jié)構(gòu)轉(zhuǎn)型升級、招商引資、企業(yè)發(fā)展扶持等政策的制定和調(diào)整，提供量化決策依據(jù)。經(jīng)濟(jì)運行模型業(yè)務(wù)模式優(yōu)化業(yè)務(wù)分析關(guān)鍵業(yè)務(wù)監(jiān)控關(guān)鍵業(yè)務(wù)模型化（實時）企業(yè)運營綜合評價（月度）產(chǎn)業(yè)類型所屬區(qū)域企業(yè)性質(zhì)稅收吸納勞動力土地占用能源消耗污染排放地區(qū)GDP增長（年度）出口內(nèi)需固定資產(chǎn)投資畝均稅收/收入人均稅收/收入?yún)^(qū)域產(chǎn)業(yè)……單位GDP排放單位GDP能耗宏觀：聚焦經(jīng)濟(jì)運行總體態(tài)勢中觀：經(jīng)濟(jì)領(lǐng)域與行業(yè)總體把脈微觀：聚焦具體企業(yè)監(jiān)管與服務(wù)指定范圍的經(jīng)濟(jì)KPI統(tǒng)計數(shù)據(jù)地域、產(chǎn)業(yè)、時間周期、經(jīng)濟(jì)類別…多維度切分經(jīng)濟(jì)測算范圍服務(wù)于主管領(lǐng)導(dǎo)宏觀經(jīng)濟(jì)政策制定、決策指定行業(yè)的經(jīng)濟(jì)KPI統(tǒng)計數(shù)據(jù)地域、產(chǎn)業(yè)、時間周期、經(jīng)濟(jì)類別…多維度切分經(jīng)濟(jì)測算范圍服務(wù)于主管領(lǐng)導(dǎo)宏觀經(jīng)濟(jì)政策制定、決策多級數(shù)據(jù)指標(biāo)，透視企業(yè)運行狀態(tài)市場供需、技術(shù)創(chuàng)新、投資政策…多維數(shù)據(jù)服務(wù)區(qū)域經(jīng)濟(jì)運行大數(shù)據(jù)應(yīng)用企業(yè)綜合評價為載體，運用大數(shù)據(jù)技術(shù)，對現(xiàn)存發(fā)展不和諧的要素，進(jìn)行原因分析；政策的制訂對產(chǎn)業(yè)發(fā)展的影響，進(jìn)行科學(xué)預(yù)測。對區(qū)域經(jīng)濟(jì)發(fā)展的宏觀、中觀、微觀性指標(biāo)進(jìn)行實時動態(tài)監(jiān)測。從產(chǎn)業(yè)、行業(yè)、區(qū)域、時間多維度，實時了解城市經(jīng)濟(jì)運行狀態(tài)，及不同產(chǎn)業(yè)、行業(yè)、企業(yè)運行情況。全面、準(zhǔn)確、及時掌握所轄區(qū)域企業(yè)綜合發(fā)展概況和評價排名，為全域產(chǎn)業(yè)轉(zhuǎn)型升級、招商引資、企業(yè)發(fā)展扶持等政策的制定和調(diào)整，提供量化決策依據(jù)。政務(wù)大數(shù)據(jù)著力點由封閉管理向開放治理轉(zhuǎn)變由單向管理向協(xié)同治理轉(zhuǎn)變由被動響應(yīng)向主動服務(wù)轉(zhuǎn)變由定性管理向定量管理轉(zhuǎn)變由粗放管理向精準(zhǔn)化管理轉(zhuǎn)變由運動式管理向常規(guī)性管理轉(zhuǎn)變政務(wù)大數(shù)據(jù)促進(jìn)變革社會治理思維的變革社會治理手段的改進(jìn)政府決策技術(shù)的進(jìn)步風(fēng)險掌控能力的提升公共管理流程的再造社會協(xié)同治理的進(jìn)階能力提升目標(biāo)科學(xué)決策精細(xì)管理精準(zhǔn)服務(wù)政務(wù)大數(shù)據(jù)應(yīng)用目標(biāo)法治政府創(chuàng)新政府廉潔政府智慧政府服務(wù)型政府創(chuàng)新型政府戰(zhàn)略區(qū)域發(fā)展指標(biāo)體系區(qū)域KPI經(jīng)濟(jì)活力指數(shù)新注冊公司數(shù)美麗城市指數(shù)民生幸福指數(shù)網(wǎng)絡(luò)輿情指數(shù)網(wǎng)上政務(wù)指數(shù)人口活力指數(shù)經(jīng)濟(jì)轉(zhuǎn)型矩陣科技活力指數(shù)消費活力指數(shù)文化活力指數(shù)旅游活力指數(shù)新注銷公司數(shù)新注冊公司資本金總額注冊新產(chǎn)品新注冊網(wǎng)站數(shù)活躍網(wǎng)站數(shù)子主題（5）新批用地面積用電量通信量交通活躍度項目審批額企業(yè)招聘人員數(shù)人均網(wǎng)絡(luò)購書額人均網(wǎng)絡(luò)閱讀數(shù)電視收視率指數(shù)人均上網(wǎng)時間圖書出版數(shù)來自旅游大數(shù)據(jù)專利申請數(shù)專利公開數(shù)專利授權(quán)數(shù)人均網(wǎng)購金額人均網(wǎng)購批次行業(yè)公司數(shù)量變化圖行業(yè)公司資本金變化圖行業(yè)新產(chǎn)品數(shù)量變化圖行業(yè)網(wǎng)站活躍度變化圖空氣質(zhì)量指數(shù)水質(zhì)量指數(shù)人均收入指數(shù)就業(yè)指數(shù)社會保障指數(shù)消費活力指數(shù)社會輿情指數(shù)社交活力指數(shù)城市居民人均可支配收入農(nóng)村居民人均可支配收入人均儲蓄黨媒首頁指數(shù)社交平臺挖掘12345社交平臺挖掘網(wǎng)絡(luò)求職數(shù)與勞動力數(shù)比低保率救助人口比低保平均金額救助平均金額微博、微信、博客、論壇成員數(shù)社交平臺登錄頻率社交平臺消費時間社交平臺影響力指數(shù)正面輿情指數(shù)負(fù)面輿情指數(shù)百度指數(shù)網(wǎng)上辦件數(shù)網(wǎng)上公共服務(wù)數(shù)網(wǎng)上咨詢投訴答復(fù)率政府門戶網(wǎng)站監(jiān)測網(wǎng)絡(luò)政府可達(dá)性死亡率老齡人口比勞動力人口比流動人口比流出人口比出生率城市運行大數(shù)據(jù)中心精準(zhǔn)扶貧，聚焦民生空間-基礎(chǔ)設(shè)施時間-周期績效事件-脫貧周期BigDataMobileGIS脫貧指標(biāo)與脫貧考核貧困人口自然資源基礎(chǔ)設(shè)施經(jīng)濟(jì)要素基層組織貧困人口建檔立卡幫扶責(zé)任人（黨委）精準(zhǔn)識別確立脫貧方案幫扶工作全周期管理扶貧項目資金全周期管理攻堅指揮與決策支持CloudComputing省-市-縣-鄉(xiāng)-村扶貧+基礎(chǔ)設(shè)施（交通、水利、電力、通信、國土、農(nóng)業(yè)）扶貧+產(chǎn)業(yè)（農(nóng)業(yè)、工商、稅務(wù)、企業(yè)、電商物流）扶貧+民生（衛(wèi)計、民政、人社、教育）扶貧+環(huán)境（環(huán)保、氣象、林業(yè)）扶貧+資金（財政、發(fā)改、銀行、保險）精準(zhǔn)扶貧，聚焦民生CONTENT1當(dāng)政務(wù)應(yīng)用遇到大數(shù)據(jù)2退而結(jié)網(wǎng)，打造大數(shù)據(jù)湖泊3大數(shù)據(jù)平臺、架構(gòu)與實現(xiàn)4大數(shù)據(jù)可視化，看得見的數(shù)據(jù)5成都四方偉業(yè)公司簡介大數(shù)據(jù)生態(tài)湖泊數(shù)據(jù)信息知識數(shù)據(jù)運維數(shù)據(jù)之源數(shù)據(jù)生產(chǎn)區(qū)（原始數(shù)據(jù)）結(jié)構(gòu)化數(shù)據(jù)文本文件多媒體數(shù)據(jù)描述類數(shù)據(jù)信息發(fā)現(xiàn)區(qū)知識發(fā)現(xiàn)區(qū)知識挖掘區(qū)知識展現(xiàn)區(qū)知識交互區(qū)基于大數(shù)據(jù)的應(yīng)用體系ODS數(shù)據(jù)魔方多維數(shù)據(jù)關(guān)聯(lián)主數(shù)據(jù)數(shù)據(jù)臺賬關(guān)鍵索引大數(shù)據(jù)挖掘行業(yè)規(guī)則大數(shù)據(jù)可視化數(shù)據(jù)多維報表大數(shù)據(jù)操縱數(shù)據(jù)APIS大數(shù)據(jù)檢索機(jī)構(gòu)內(nèi)部數(shù)據(jù)社會數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)安全數(shù)據(jù)審計數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)治理流程元數(shù)據(jù)大數(shù)據(jù)關(guān)聯(lián)大數(shù)據(jù)分析大數(shù)據(jù)預(yù)測信息數(shù)據(jù)知識應(yīng)用行業(yè)大數(shù)據(jù)應(yīng)用面對的挑戰(zhàn)硬件無法跟進(jìn)數(shù)據(jù)規(guī)模的指數(shù)級增長過于分散和原始成為大數(shù)據(jù)應(yīng)用的障礙復(fù)雜數(shù)據(jù)算法與業(yè)務(wù)模型銜接諸多大數(shù)據(jù)并行計算架構(gòu)的選擇大數(shù)據(jù)應(yīng)用實現(xiàn)路徑：從哪里開始？專業(yè)人才匱乏CONTENT1當(dāng)政務(wù)應(yīng)用遇到大數(shù)據(jù)2退而結(jié)網(wǎng)，打造大數(shù)據(jù)湖泊3大數(shù)據(jù)平臺、架構(gòu)與實現(xiàn)4大數(shù)據(jù)可視化，看得見的數(shù)據(jù)5成都四方偉業(yè)公司簡介WYDC軟件兼容基礎(chǔ)架構(gòu)數(shù)據(jù)采集層物理存儲層邏輯存儲層并行計算層算法層挖掘分析層服務(wù)接口層調(diào)度監(jiān)控層ETLHadoopSqoopHadoopFlumePyspiderKafkaHadoopHDFSHBaseHiveMPPGreenplumSQL/RDBRedisMangoDBGraphXHadoopMapReduceHadoopYARNSparkSparkStreamingSparkGraphXElasticSearchSparkMLlibSparkRHadoopHiveHadoopImpalaMPP實時統(tǒng)計分析PythonMolap/KylinRolap/Mondrian通信協(xié)議（HTTP/SOAP/thrift/Restful/RPC）數(shù)據(jù)協(xié)議（XML/JSON）ZabbixHadoopZookeeperHadoopOozieETL任務(wù)調(diào)度ElasticLogstash數(shù)據(jù)倉庫數(shù)據(jù)集市多維數(shù)據(jù)庫存儲數(shù)據(jù)標(biāo)簽庫模型設(shè)計模型訓(xùn)練模型發(fā)布模型管理應(yīng)用模型算法模型接口整合（thrift）SmartBI/并行基礎(chǔ)架構(gòu)/算法/業(yè)務(wù)場景DataService/DaaSIDC/數(shù)據(jù)來源/數(shù)據(jù)存儲/數(shù)據(jù)治理/服務(wù)器DataDiscoveryFamily用戶管理系統(tǒng)監(jiān)控資源管理部署管理資源調(diào)度安全管理日志審計運維平臺數(shù)據(jù)交換匯集ETL網(wǎng)絡(luò)爬蟲（PySpider）實時采集（Flume）數(shù)據(jù)遷移（Sqoop）數(shù)據(jù)治理平臺數(shù)據(jù)地圖數(shù)據(jù)共享數(shù)據(jù)質(zhì)量數(shù)據(jù)治理銀行業(yè)務(wù)工商業(yè)務(wù)政務(wù)業(yè)務(wù)稅務(wù)稽查智能交通智慧醫(yī)療Hive（SQL）MapReduceHDFSYARNImpala（In-memorySQL）Mahout（MachineLearning）Spark（Mlib）Pig（Scripting）數(shù)據(jù)集成調(diào)度引擎算法庫數(shù)據(jù)洞察Miner模型訓(xùn)練數(shù)據(jù)集成作業(yè)調(diào)度DevOps實時分析ADS數(shù)據(jù)集成數(shù)據(jù)集成作業(yè)調(diào)度DevOps離線分析ODS數(shù)據(jù)集成數(shù)據(jù)集成DevOps流分析SDS可視化套件敏捷BI根因分析DE關(guān)聯(lián)分析XE搜索引擎推薦引擎輿情監(jiān)控反欺詐圖像識別語音識別用戶畫像智能管理API／SDK…應(yīng)用&服務(wù)采集存儲&計算分析WYDC大數(shù)據(jù)交換匯集平臺構(gòu)造大數(shù)據(jù)的數(shù)據(jù)之源大數(shù)據(jù)交換匯集平臺原始數(shù)據(jù)源數(shù)據(jù)采集交換區(qū)數(shù)據(jù)湖分散、種類多樣化，時效性差異大多種技術(shù)手段，平臺化系統(tǒng)，快速部署，統(tǒng)一管理為大數(shù)據(jù)應(yīng)用提供全兼容數(shù)據(jù)存儲任務(wù)流程調(diào)度操作控制流程控制轉(zhuǎn)換流程數(shù)據(jù)抽取數(shù)據(jù)加載數(shù)據(jù)轉(zhuǎn)換子任務(wù)調(diào)度操作控制爬蟲系統(tǒng)流數(shù)據(jù)采集傳輸ETL核心架構(gòu)ETL服務(wù)器認(rèn)證授權(quán)監(jiān)控管理接口擴(kuò)展接口ETL資源庫集成開發(fā)工具統(tǒng)一管理平臺數(shù)據(jù)資源庫文件資源庫數(shù)據(jù)源接入流程開發(fā)任務(wù)配置任務(wù)部署調(diào)試跟蹤任務(wù)執(zhí)行監(jiān)控輸出運行日志運行控制狀態(tài)監(jiān)控日志查看權(quán)限管理節(jié)點管理錯誤告警性能統(tǒng)計面板定制ETL引擎任務(wù)調(diào)度元數(shù)據(jù)處理流程性能管理交換管理任務(wù)引擎轉(zhuǎn)換引擎轉(zhuǎn)換組件適配器組件轉(zhuǎn)換流程流程控制操作控制任務(wù)調(diào)度豐富的ETL構(gòu)件庫ETL實現(xiàn)各種你所需的數(shù)據(jù)處理流程提高開發(fā)效率縮短開發(fā)周期圖形化拖拽方式快速集成實現(xiàn)復(fù)雜數(shù)據(jù)處理流程N(yùn)oSQL接入云化部署ETL的監(jiān)控管理單一業(yè)務(wù)的任務(wù)詳情圖形化展示任務(wù)執(zhí)行日志任務(wù)運行情況變化曲線全方位洞察一項任務(wù)執(zhí)行定義指定任務(wù)的報警規(guī)則定制指定任務(wù)的報警渠道指定報警信息的接收者根據(jù)需要控制告警規(guī)則的啟用與關(guān)閉告警幫你隨時把握任務(wù)異?？梢暬侄味嘟嵌茸鳂I(yè)監(jiān)控作業(yè)執(zhí)行狀態(tài)與成功率監(jiān)控對作業(yè)進(jìn)行多角度排序ETL任務(wù)執(zhí)行一覽無余WYDC大數(shù)據(jù)應(yīng)用駕駛艙大數(shù)據(jù)高速飛行的駕駛艙大數(shù)據(jù)應(yīng)用駕駛艙SqoopHiveHBaseZookepperPigMahoutMapReduceHDFS分布式網(wǎng)絡(luò)Cloud服務(wù)器/存儲物理安全FlumeHama超強(qiáng)計算能力更低建模門檻全景統(tǒng)一管理更低建設(shè)成本可信賴安全機(jī)制全方位輔助分析多達(dá)50+預(yù)置模型支持百億級數(shù)據(jù)量訓(xùn)練多算法并行訓(xùn)練支持算法組件，零編碼，拖拽式數(shù)十個流程設(shè)計組件用戶自定義算法組件算法庫行業(yè)分類跨平臺算法調(diào)用模型訓(xùn)練結(jié)果分析報告參數(shù)化調(diào)優(yōu)，簡化配置建模全生命周期流程管理可視化實時模型訓(xùn)練監(jiān)控性能處理，比傳統(tǒng)架構(gòu)節(jié)省資源1/3搭配智能部署，讓實施成本降低50%多種權(quán)限控制機(jī)制數(shù)據(jù)級別訪問權(quán)限控制資源級別訪問權(quán)限控制大數(shù)據(jù)應(yīng)用流程控制任務(wù)耗時情況總覽狀態(tài)監(jiān)控，隨時掌握任務(wù)執(zhí)行狀態(tài)的總體分布任務(wù)狀態(tài)情況總覽耗時的任務(wù)和步驟，需要得到我們的重點關(guān)照具體任務(wù)耗時追蹤耗時監(jiān)控，透視任務(wù)執(zhí)行的時間大數(shù)據(jù)分析流程監(jiān)控與調(diào)度大數(shù)據(jù)應(yīng)用流程實現(xiàn)任務(wù)導(dǎo)航列表任務(wù)查詢?nèi)蝿?wù)創(chuàng)建拖拽算法，拼接數(shù)據(jù)分析流程定義任務(wù)基本屬性配置任務(wù)調(diào)度信息駕駛艙數(shù)據(jù)查詢數(shù)據(jù)圖表數(shù)據(jù)明細(xì)元數(shù)據(jù)信息查詢?nèi)罩練v史記錄HDFS文件基礎(chǔ)計算架構(gòu)運維管理WYDC大數(shù)據(jù)治理平臺大數(shù)據(jù)治理實現(xiàn)數(shù)據(jù)內(nèi)升大數(shù)據(jù)治理流域原始業(yè)務(wù)數(shù)據(jù)原始業(yè)務(wù)數(shù)據(jù)原始業(yè)務(wù)數(shù)據(jù)原始業(yè)務(wù)數(shù)據(jù)基礎(chǔ)庫主題庫元數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)字典目錄系統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)自由之海數(shù)據(jù)河流數(shù)據(jù)河流大數(shù)據(jù)存儲語義級主題數(shù)據(jù)檢索時間維空間維對象維多維數(shù)據(jù)安全流程審計數(shù)據(jù)采集清洗比對閉環(huán)迭代數(shù)據(jù)梳理編目主數(shù)據(jù)管理多維數(shù)據(jù)檢索與服務(wù)大數(shù)據(jù)存儲訪問面向數(shù)據(jù)需求方原始數(shù)據(jù)元數(shù)據(jù)治理流程數(shù)據(jù)標(biāo)準(zhǔn)字典行業(yè)業(yè)務(wù)規(guī)則訪問條理安全質(zhì)量數(shù)據(jù)接口共享開放數(shù)據(jù)檢索數(shù)據(jù)服務(wù)我是系統(tǒng)運維主管，要管理好所有數(shù)據(jù)資源的安全我的應(yīng)用需要訪問和采集大量的數(shù)據(jù)我的大數(shù)據(jù)挖掘模型需要大量數(shù)據(jù)之源我的決策分析要涉及更全面的信息我是信息運營主管，希望隨時了解我有哪些數(shù)據(jù)資源能不能我想要什么都快速查到？……治理的開始：數(shù)據(jù)整合ETL數(shù)據(jù)處理流程

數(shù)據(jù)轉(zhuǎn)換實現(xiàn)數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)變數(shù)據(jù)拼裝實現(xiàn)不同數(shù)據(jù)來源的匯總數(shù)據(jù)比對通過比對去除錯誤和冗余數(shù)據(jù)清洗去偽存真，保留正確數(shù)據(jù)數(shù)據(jù)載入根據(jù)中心存儲裝載數(shù)據(jù)內(nèi)容治理的脈絡(luò)：元數(shù)據(jù)在數(shù)據(jù)調(diào)研與業(yè)務(wù)中積累元數(shù)據(jù)調(diào)研表格與報告部門元數(shù)據(jù)收集數(shù)據(jù)調(diào)研梳理元數(shù)據(jù)定義與生成元數(shù)據(jù)存儲元數(shù)據(jù)應(yīng)用與維護(hù)元數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)管理與服務(wù)自動對中心數(shù)據(jù)資源生成結(jié)構(gòu)化元數(shù)據(jù)減小工作量投入可通過標(biāo)準(zhǔn)定義自動生成數(shù)據(jù)表自動偵測元數(shù)據(jù)本身也是一個體系元數(shù)據(jù)按規(guī)劃層級存儲選擇數(shù)據(jù)庫等載體以便于檢索為目標(biāo)存儲元數(shù)據(jù)元數(shù)據(jù)準(zhǔn)確性維護(hù)元數(shù)據(jù)完整性維護(hù)元數(shù)據(jù)分中心之間支持交換同步元數(shù)據(jù)維護(hù)便捷訪問元數(shù)據(jù)基于元數(shù)據(jù)輕松定位數(shù)據(jù)存儲與訪問便于數(shù)據(jù)組裝編制構(gòu)成數(shù)據(jù)目錄元數(shù)據(jù)檢索治理的標(biāo)尺：數(shù)據(jù)標(biāo)準(zhǔn)與質(zhì)量數(shù)據(jù)比對規(guī)則行業(yè)規(guī)則數(shù)據(jù)/元數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量報告數(shù)據(jù)清洗比對參照規(guī)則多源數(shù)據(jù)中心前置緩存自動/人工比對反向清洗數(shù)據(jù)中心資源維護(hù)階段數(shù)據(jù)中心中心資源治理階段數(shù)據(jù)整合階段數(shù)據(jù)字典數(shù)據(jù)依標(biāo)準(zhǔn)的格式轉(zhuǎn)換數(shù)據(jù)采集數(shù)據(jù)傳輸數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)分類與目錄規(guī)則定義與管理標(biāo)準(zhǔn)設(shè)計管理大數(shù)據(jù)治理平臺：段碼數(shù)據(jù)標(biāo)準(zhǔn)管理大數(shù)據(jù)治理平臺：信息類管理大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)——規(guī)則定義大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)大數(shù)據(jù)治理平臺：質(zhì)量管理系統(tǒng)大數(shù)據(jù)治理平臺：數(shù)據(jù)資源目錄大數(shù)據(jù)治理平臺：信息類授權(quán)大數(shù)據(jù)治理平臺：數(shù)據(jù)臺賬大數(shù)據(jù)治理平臺核心價值更全面的數(shù)據(jù)質(zhì)量保障提供數(shù)據(jù)標(biāo)準(zhǔn)梳理工具，使得元數(shù)據(jù)更合規(guī)支持策略集的質(zhì)量巡檢方式，保障數(shù)據(jù)的完整性全景化信息開放與檢索支持主題的數(shù)據(jù)臺賬，基于元數(shù)據(jù)的信息管理，提供數(shù)據(jù)資源目錄與導(dǎo)航多渠道的數(shù)據(jù)訪問機(jī)制（目錄、API、Webservices）全過程信息安全支持交換全過程監(jiān)控、審計，并提供郵件、短信預(yù)警功能基于oAuth協(xié)議的第三方單點登陸集成的模塊支持通道安全，支持SSL傳輸通道加密功能支持?jǐn)?shù)據(jù)及資源級別訪問安全控制，可靈活對脫敏數(shù)據(jù)進(jìn)行管理更低的建設(shè)成本產(chǎn)品自主化量身定制適合應(yīng)用的實踐路線智能部署，比同類產(chǎn)品實施節(jié)省一半時間基于大量實踐的，通用解決方案WYDC大數(shù)據(jù)智能分析平臺大數(shù)據(jù)知識挖掘的核心引擎大數(shù)據(jù)分析平臺關(guān)鍵能力開放彈性架構(gòu)真正無共享的海量并行處理架構(gòu)工業(yè)標(biāo)準(zhǔn)的X86平臺服務(wù)器資源按需分配，按需搭建集群，按需縮放集群規(guī)模在線線性擴(kuò)展增加節(jié)點可線性增加存儲、查詢和加載性能支持在線擴(kuò)容，擴(kuò)容期間保證系統(tǒng)繼續(xù)對外提供服務(wù)擁有成本可控保證用戶不被專有平臺鎖定企業(yè)初期投入和后續(xù)擴(kuò)容的成本可控海量并行處理支持PB級的數(shù)據(jù)處理、存儲和訪問在數(shù)據(jù)加載、處理、訪問等各個環(huán)節(jié)最大化并行處理能力優(yōu)秀混合負(fù)載按需分配資源（CPU、內(nèi)存、IO）動態(tài)調(diào)整資源平臺持續(xù)可用數(shù)據(jù)鏡像、硬件冗余等多種容錯技術(shù)保證系統(tǒng)高可用故障切換和恢復(fù)，對用戶透明擴(kuò)容期間可持續(xù)對外服務(wù)易于管理維護(hù)直觀的圖形化界面，實時的狀態(tài)監(jiān)控最大限度降低管理員的日常管理和維護(hù)工作大數(shù)據(jù)分析架構(gòu)計算存儲網(wǎng)絡(luò)開源架構(gòu)云平臺管理云平臺安全模型庫大數(shù)據(jù)資源開放共享平臺大數(shù)據(jù)可視化與自服務(wù)平臺大數(shù)據(jù)應(yīng)用體系Hadoop/YARN服務(wù)器虛擬化存儲虛擬化網(wǎng)絡(luò)虛擬化警務(wù)云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系統(tǒng)分布式塊存儲分布式對象存儲SAN存儲網(wǎng)關(guān)OpenFlowvxLanvSwitch計算資源接口存儲資源接口網(wǎng)絡(luò)資源接口容災(zāi)資源接口云資源管理云運維管理通信安全數(shù)據(jù)安全訪問安全vRouteSparkStormNoSQLkafkaMPPDB算法庫Mahout算法庫SparkMlib自定義算法算法審核模型評估模型發(fā)布模型訓(xùn)練模型管理數(shù)據(jù)挖掘統(tǒng)計分析MOLAPROLAPKylin數(shù)據(jù)預(yù)處理算法選擇模型構(gòu)建與評估結(jié)果預(yù)測數(shù)據(jù)探索知識庫知識分類管理版本與發(fā)布管理訂閱管理知識庫檢索數(shù)據(jù)源選擇R集成Python集成數(shù)據(jù)源選擇數(shù)據(jù)分析建模全生命周期業(yè)務(wù)場景導(dǎo)入數(shù)學(xué)分析建模大數(shù)據(jù)模型發(fā)布應(yīng)用大數(shù)據(jù)應(yīng)用政務(wù)大數(shù)據(jù)應(yīng)用工業(yè)大數(shù)據(jù)應(yīng)用交通大數(shù)據(jù)應(yīng)用旅游大數(shù)據(jù)應(yīng)用……數(shù)據(jù)歸集與預(yù)處理算法選擇算法自定義分析建模設(shè)計模型訓(xùn)練模型發(fā)布模型調(diào)度運行管理知識庫管理模型運行大數(shù)據(jù)運行服務(wù)大數(shù)據(jù)可視化展示知識庫共享大數(shù)據(jù)智能分析平臺大數(shù)據(jù)應(yīng)用駕駛艙大數(shù)據(jù)可視化平臺大數(shù)據(jù)算法庫數(shù)據(jù)分析挖掘功能架構(gòu)模型庫數(shù)據(jù)分析算法庫Mahout算法庫SparkMlib自定義算法算法審核模型評估模型發(fā)布模型訓(xùn)練模型管理統(tǒng)計分析MOLAPROLAPKylin數(shù)據(jù)挖掘數(shù)據(jù)挖掘數(shù)據(jù)預(yù)處理算法選擇模型構(gòu)建與評估結(jié)果預(yù)測數(shù)據(jù)探索知識庫知識分類管理版本與發(fā)布管理訂閱管理知識庫檢索數(shù)據(jù)源選擇R集成Python集成數(shù)據(jù)源選擇超強(qiáng)的計算能力多達(dá)50種以上的預(yù)置模型；支持百億級數(shù)據(jù)量訓(xùn)練；輔助分析能力快速展現(xiàn)模型訓(xùn)練結(jié)果；參數(shù)化模型調(diào)優(yōu)；可信賴的安全控制提供多種權(quán)限控制設(shè)置；支持?jǐn)?shù)據(jù)級別訪問安全控制；支持資源級別訪問安全控制；數(shù)據(jù)倉庫數(shù)據(jù)集市PetaBase支持?jǐn)?shù)據(jù)庫類型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL

Server/Sybase/…支持?jǐn)?shù)據(jù)庫類型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL

Server/Sybase/…EssBase…Hadoop分布式高性能交互式SQL數(shù)據(jù)挖掘Miner可視化環(huán)境簡單易用的可視化環(huán)境視覺呈現(xiàn)所有利益相關(guān)者之間的合作可以簡單高效設(shè)計更好的模型每一個分析是一個流程每種數(shù)據(jù)轉(zhuǎn)化或分析是一個節(jié)點操作界面強(qiáng)大的工程支撐流程可以當(dāng)做模板再次使用支持項目工程建模1000多個節(jié)點可用于所有的數(shù)據(jù)轉(zhuǎn)化和分析基于客戶端/服務(wù)器架構(gòu)可實現(xiàn)自動化建模和數(shù)據(jù)轉(zhuǎn)化可建立和評估模型，并與其他應(yīng)用程序集成系統(tǒng)支持Miner數(shù)據(jù)分析建模與HadoopHive（SQL）MapReduceHDFSYARNImpala（In-memorySQL）Mahout（MachineLearning）Spark（Mlib）Pig（Scripting）數(shù)據(jù)洞察MinerDatapreparationBuildmodelTrainPredictivemodel數(shù)據(jù)分析建模全生命周期業(yè)務(wù)場景導(dǎo)入數(shù)學(xué)分析建模大數(shù)據(jù)模型發(fā)布應(yīng)用大數(shù)據(jù)應(yīng)用政務(wù)大數(shù)據(jù)應(yīng)用工業(yè)大數(shù)據(jù)應(yīng)用交通大數(shù)據(jù)應(yīng)用旅游大數(shù)據(jù)應(yīng)用……數(shù)據(jù)歸集與預(yù)處理算法選擇算法自定義分析建模設(shè)計模型訓(xùn)練模型發(fā)布模型調(diào)度運行管理知識庫管理模型運行大數(shù)據(jù)運行服務(wù)大數(shù)據(jù)可視化展示知識庫共享大數(shù)據(jù)智能分析平臺大數(shù)據(jù)應(yīng)用駕駛艙大數(shù)據(jù)可視化平臺大數(shù)據(jù)算法庫Miner自動化流程及控制流程控制在子流程中管理分組并在其他項目中再利用可以重復(fù)執(zhí)行一部分流程支持的循環(huán)：屬性、標(biāo)簽、子集、值、樣本、集群、批量、數(shù)據(jù)結(jié)合、數(shù)據(jù)碎片、參數(shù)、文件、資源庫條目分支（If-Then-Else）基于：、數(shù)據(jù)值、屬性是否存在、樣本數(shù)量、性能值、文件和過程輸入是否存在、任意表達(dá)式創(chuàng)建同一類型的集合集合處理：選擇、扁平化或循環(huán)可以記憶并調(diào)用（中間件）過程結(jié)果用于復(fù)雜的流程設(shè)計處理預(yù)期或非預(yù)期的錯誤和異常自動化自動選取性能最好的子流程通過嵌套的交叉驗證或其他驗證衡量預(yù)處理步驟的效果自動選取最優(yōu)模型類型和參數(shù)自動選取最優(yōu)屬性子集自動優(yōu)化過程參數(shù)，包括建模參數(shù)：Grid、二次方程的、漸進(jìn)的日志在流程中的任意位置都可以引入日志日志可以收集參數(shù)值、性能值、或來自每個算子的特定值，例如漸進(jìn)算法當(dāng)前產(chǎn)生的結(jié)果數(shù)據(jù)值可以被日志記錄宏值可以被日志記錄日志值可以被轉(zhuǎn)化為其他幾種格式，包括數(shù)據(jù)集合和權(quán)重，權(quán)重可以和其他數(shù)據(jù)集合一樣被存儲、轉(zhuǎn)化或可視化報表在僅用日志不足夠的情況下，一個完整的基于流程的報告引擎允許在靜態(tài)報告中收集任意結(jié)果支持不同的格式，如PDF，Excel，HTML，或者RTF有不同的報告樣式，包括序列報告或者門戶網(wǎng)站任意過程結(jié)果和中間結(jié)果可以被轉(zhuǎn)化為不同類型的可視化圖形，如表格，圖標(biāo)等持最多5層區(qū)域支持分頁和其他樣式信息與循環(huán)或者其他流程控制結(jié)構(gòu)的結(jié)合可以讓人看到流程設(shè)計非常詳細(xì)的結(jié)果概覽，即使這個流程設(shè)計十分復(fù)雜導(dǎo)入數(shù)據(jù)建立工作空間關(guān)聯(lián)數(shù)據(jù)建立工作流數(shù)據(jù)預(yù)處理特征選擇模型訓(xùn)練模型評估自動化及流程控制多人協(xié)作Miner的數(shù)據(jù)建模分析準(zhǔn)備數(shù)據(jù)準(zhǔn)備，支持屬性選取算子，分組結(jié)合多種功能：求和、平均、中間值，支持集合算子，處理原數(shù)據(jù)，性值過濾行及樣本等，識別并移除冗余數(shù)據(jù)；支撐數(shù)據(jù)取樣、數(shù)據(jù)分割、數(shù)據(jù)轉(zhuǎn)化等。

數(shù)據(jù)取樣絕對的、相對的、概率的、平均的、分層的、基于模型的等.數(shù)據(jù)分箱可基于計數(shù)、大小、頻率等進(jìn)行交互式分箱，使引導(dǎo)區(qū)熵值最小化.數(shù)據(jù)轉(zhuǎn)化歸一化和標(biāo)準(zhǔn)化：Z-轉(zhuǎn)化，按比轉(zhuǎn)化、四分差；數(shù)值屬性、名義或類別屬性之間的轉(zhuǎn)化.數(shù)據(jù)分割創(chuàng)建訓(xùn)練、驗證以及測試數(shù)據(jù)集，可用戶自定義分區(qū).數(shù)據(jù)替換替換標(biāo)稱、類別值，支持映射、截取、分段、混合等.屬性生成支持屬性生成：ID、副本、串聯(lián)、聚集、向量乘積、高斯分布等.權(quán)重和選取支持屬性選取，移除無用屬性；基于權(quán)重方案移除不相關(guān)屬性Miner大數(shù)據(jù)分析建模構(gòu)建流程圖進(jìn)行模型訓(xùn)練Miner大數(shù)據(jù)分析建模配置決策樹規(guī)則和回歸參數(shù)配置基金定投相應(yīng)預(yù)測模型規(guī)則引擎是將模型的結(jié)果，回歸參數(shù)，或者決策樹的規(guī)則，配置到規(guī)則庫中，后臺可實現(xiàn)批處理評分或者實時評分Miner大數(shù)據(jù)分析建?；貧w參數(shù)決策樹規(guī)則Miner大數(shù)據(jù)分析建模根據(jù)回歸參數(shù)、評分卡參數(shù)生成的評分卡Miner大數(shù)據(jù)分析建模根據(jù)客戶信息實時生成的評分卡Miner大數(shù)據(jù)分析建模根據(jù)客戶信息實時生成的決策路徑Miner大數(shù)據(jù)分析建模根據(jù)評分卡可對客戶評分在本例中，得分越高的客戶進(jìn)行基金定投的概率越高，越可能成為我行客戶。于是選取得分更高的部分客戶(得分超過基準(zhǔn)分的客戶)進(jìn)行營銷。Miner大數(shù)據(jù)分析建模Miner大數(shù)據(jù)分析建模WYDC大數(shù)據(jù)可視化平臺大數(shù)據(jù)展現(xiàn)大數(shù)據(jù)可視化平臺功能支持UI編排組件庫事件聯(lián)動模型數(shù)據(jù)過濾條件設(shè)置組件渲染容器監(jiān)聽主題管理布局模板任務(wù)管理大數(shù)據(jù)可視化平臺案例體驗：四川移動數(shù)據(jù)立體呈現(xiàn)，動靜結(jié)合；展示有靜態(tài)有動態(tài)大數(shù)據(jù)可視化平臺案例體驗：安徽移動大數(shù)據(jù)可視化平臺軟件架構(gòu)大數(shù)據(jù)可視化平臺——數(shù)據(jù)編排展現(xiàn)大數(shù)據(jù)可視化平臺UI編輯體驗大數(shù)據(jù)可視化平臺UI編輯體驗UI組件的數(shù)據(jù)源綁定大數(shù)據(jù)可視化平臺帶來的價值利用豐富強(qiáng)大的UI，快速搭建前端分析界面和分析流程完全可以在幾天之內(nèi)基本實現(xiàn)客戶的大數(shù)據(jù)藍(lán)圖縮短周期，降低成本，最大限度提升成功率實時流狀大數(shù)據(jù)動態(tài)呈現(xiàn)、智能分析適用于網(wǎng)絡(luò)流量監(jiān)控、交通疏導(dǎo)等對數(shù)據(jù)實時性要求較高的應(yīng)用領(lǐng)域可通過輕量級解決方案實現(xiàn)靈活的大數(shù)據(jù)可視化數(shù)據(jù)展示、數(shù)據(jù)處理、元數(shù)據(jù)管理相互松耦合快速搭建部署立體數(shù)據(jù)動態(tài)呈現(xiàn)靈活搭配提升費效比數(shù)據(jù)延伸至空間地理維度實現(xiàn)數(shù)據(jù)的空間