螞蟻金服大數(shù)據(jù)開(kāi)放式創(chuàng)新實(shí)踐-阿里系

數(shù)據(jù)開(kāi)放式創(chuàng)新實(shí)踐螞蟻金服-平臺(tái)數(shù)據(jù)技術(shù)事業(yè)群徐紅星(崇思)?09年進(jìn)入阿里?在大數(shù)據(jù)方面有8年經(jīng)驗(yàn)，先后在阿里巴巴、螞蟻金服從事大數(shù)據(jù)的研發(fā)、平臺(tái)規(guī)劃和建設(shè)?曾經(jīng)負(fù)責(zé)采云間產(chǎn)品從0到1的?螞蟻數(shù)巢&DTPAI產(chǎn)品負(fù)責(zé)人?大數(shù)據(jù)開(kāi)放式創(chuàng)新的背景和應(yīng)用案例?螞蟻數(shù)巢介紹?螞蟻數(shù)巢的安全體系及建設(shè)思路?螞蟻金服大數(shù)據(jù)開(kāi)放式創(chuàng)新的總結(jié)數(shù)據(jù)時(shí)代正在走來(lái)研究機(jī)構(gòu)IDC預(yù)測(cè)，未來(lái)全球數(shù)據(jù)總量年增長(zhǎng)率將維持在50%左右，到2020年，全球數(shù)據(jù)總量將達(dá)到40ZB。其中，中國(guó)數(shù)據(jù)量將達(dá)到8.6ZB，占全球的21%左右。全球大數(shù)據(jù)(BigData)與分析市場(chǎng)規(guī)模將由2015年的1220億美元，并在2019年底達(dá)到1870億美元的規(guī)模。技術(shù)驅(qū)動(dòng)技術(shù)驅(qū)動(dòng)制定執(zhí)行策略并實(shí)施驅(qū)動(dòng)力數(shù)據(jù)驅(qū)動(dòng)通過(guò)數(shù)據(jù)通過(guò)數(shù)據(jù)進(jìn)行趨勢(shì)預(yù)測(cè)與分析，針對(duì)用戶(hù)進(jìn)行產(chǎn)品和服務(wù)推薦全域數(shù)據(jù)和場(chǎng)景驅(qū)動(dòng)整合全渠道數(shù)據(jù)，針對(duì)不同個(gè)體、群體所處環(huán)境，給予人性化服務(wù)，甚至開(kāi)創(chuàng)新業(yè)務(wù)大數(shù)據(jù)時(shí)代，業(yè)務(wù)與產(chǎn)品的驅(qū)動(dòng)力正在改變用戶(hù)需求用戶(hù)需求精準(zhǔn)畫(huà)像經(jīng)營(yíng)與預(yù)測(cè)分析精準(zhǔn)畫(huà)像全渠道數(shù)據(jù)整合場(chǎng)景化決策和創(chuàng)新業(yè)務(wù)保險(xiǎn)機(jī)構(gòu)預(yù)測(cè)價(jià)保險(xiǎn)機(jī)構(gòu)預(yù)測(cè)價(jià)開(kāi)放式創(chuàng)新案例：車(chē)險(xiǎn)差異化定價(jià)網(wǎng)上購(gòu)物網(wǎng)上購(gòu)物人口特征生活繳費(fèi)社會(huì)屬性地理位置人生階段從人因子從從人因子分群識(shí)別公司群識(shí)別公司對(duì)優(yōu)質(zhì)客群進(jìn)行營(yíng)銷(xiāo)大數(shù)據(jù)開(kāi)放式創(chuàng)新案例：口碑讓服務(wù)更有溫度數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)大數(shù)據(jù)應(yīng)用的階段劃分 1.0報(bào)表 1.0報(bào)表4.0數(shù)據(jù)開(kāi)放式應(yīng)用階段劃分 1.應(yīng)用階段劃分 1.0報(bào)表 2.0數(shù)據(jù)應(yīng)用 3.0數(shù)據(jù)業(yè)務(wù)4.0數(shù)據(jù)開(kāi)放新大數(shù)據(jù)應(yīng)用各階段的特征分析數(shù)據(jù)用途營(yíng)決策參考Input我需要這些數(shù)據(jù)來(lái)決策Output導(dǎo)運(yùn)營(yíng) (比如如何提升交易額)創(chuàng)造新業(yè)務(wù)革老業(yè)務(wù)基于大數(shù)據(jù)，打造全新產(chǎn)品體驗(yàn)產(chǎn)品方案+運(yùn)營(yíng)方案數(shù)據(jù)+更多樣的產(chǎn)品或服務(wù)數(shù)據(jù)使用方DataConsumer產(chǎn)品(比如差異化車(chē)險(xiǎn))蟻數(shù)巢數(shù)據(jù)處理能力產(chǎn)品(比如淘金100指數(shù)基金)數(shù)據(jù)加工方ServiceProvider用戶(hù)真實(shí)性校驗(yàn)數(shù)據(jù)提供方Data數(shù)據(jù)使用方DataConsumer產(chǎn)品(比如差異化車(chē)險(xiǎn))蟻數(shù)巢數(shù)據(jù)處理能力產(chǎn)品(比如淘金100指數(shù)基金)數(shù)據(jù)加工方ServiceProvider用戶(hù)真實(shí)性校驗(yàn)數(shù)據(jù)提供方DataProvider產(chǎn)品數(shù)據(jù)業(yè)務(wù)化的3個(gè)要素：業(yè)務(wù)據(jù)加工能力、豐數(shù)據(jù)存在網(wǎng)絡(luò)效應(yīng)數(shù)據(jù)合作創(chuàng)造大數(shù)據(jù)價(jià)值巢的愿景互聯(lián)”數(shù)據(jù)生態(tài)系究和創(chuàng)新工作消費(fèi)方數(shù)據(jù)“連接”數(shù)據(jù)價(jià)值安全發(fā)現(xiàn)數(shù)據(jù)價(jià)值消費(fèi)云上安全、可信的數(shù)據(jù)共創(chuàng)消費(fèi)方數(shù)據(jù)“連接”數(shù)據(jù)價(jià)值安全發(fā)現(xiàn)數(shù)據(jù)價(jià)值消費(fèi)云上安全、可信的數(shù)據(jù)共創(chuàng)道閉環(huán)消費(fèi)伴螞蟻數(shù)巢，驅(qū)動(dòng)數(shù)據(jù)連接和價(jià)值發(fā)現(xiàn)提提供方俱樂(lè)部讓數(shù)據(jù)“交流”，助力會(huì)員開(kāi)數(shù)據(jù)創(chuàng)新和合作。螞蟻數(shù)巢，四大能力介紹 力獨(dú)創(chuàng)的ID-Mapping能力，能最大化進(jìn)行跨企業(yè)、跨行來(lái) 02全球領(lǐng)先的大數(shù)據(jù)能力、分析到機(jī)器學(xué)習(xí)、服，提供一站式的商業(yè)解方案能力 03數(shù)據(jù)安全共創(chuàng)能力不相識(shí)”的可信 04全渠道數(shù)據(jù)消費(fèi)臺(tái)，幫助你多終會(huì)員中心會(huì)員管理會(huì)員分層會(huì)員分析會(huì)員生命周期會(huì)員中心會(huì)員管理會(huì)員分層會(huì)員分析會(huì)員生命周期表中心經(jīng)營(yíng)儀表盤(pán)業(yè)務(wù)報(bào)表行業(yè)監(jiān)控中心------事前------ 營(yíng)銷(xiāo)方案設(shè)計(jì) 活動(dòng)效果預(yù)測(cè)------事中------ 活動(dòng)效果監(jiān)控------事后------ 活動(dòng)效果分析 活動(dòng)設(shè)計(jì)優(yōu)化ISVCRM據(jù)集員數(shù)據(jù)集開(kāi)放數(shù)據(jù)API接口開(kāi)放云數(shù)據(jù)計(jì)算環(huán)境開(kāi)放API開(kāi)放會(huì)員融合API會(huì)員圈人API會(huì)API開(kāi)放會(huì)員融合API會(huì)員圈人API會(huì)員分析API自定義標(biāo)簽API報(bào)表查詢(xún)API自定義報(bào)表API13數(shù)據(jù)服務(wù)工具建模工具BI報(bào)表工具ETL工具驗(yàn)室2數(shù)據(jù)開(kāi)放2標(biāo)標(biāo)準(zhǔn)數(shù)據(jù)集行行業(yè)數(shù)據(jù)集會(huì)員標(biāo)會(huì)員標(biāo)簽劵劵及效果數(shù)據(jù)交易數(shù)據(jù)交易數(shù)據(jù)集生態(tài)系統(tǒng)：-制藥企業(yè)-生態(tài)系統(tǒng)：-制藥企業(yè)-衛(wèi)生保健供應(yīng)商-疾病研究中心生態(tài)系統(tǒng)：-零售商-制造商-物流商-消費(fèi)者生態(tài)系統(tǒng)：-工業(yè)制造商-供應(yīng)商-物流商數(shù)據(jù)：-制藥數(shù)據(jù)-治療數(shù)據(jù)數(shù)據(jù)：-銷(xiāo)售數(shù)據(jù)-制造數(shù)據(jù)-運(yùn)輸數(shù)據(jù)數(shù)據(jù)：-生產(chǎn)數(shù)據(jù)-計(jì)劃數(shù)據(jù)-狀態(tài)數(shù)據(jù)螞蟻數(shù)巢，其他應(yīng)用場(chǎng)景舉例生態(tài)系統(tǒng)生態(tài)系統(tǒng)：-汽車(chē)制造商-交通管理中心-城市規(guī)劃與運(yùn)營(yíng)中心數(shù)數(shù)據(jù)：-地點(diǎn)(LBS)、目的地-車(chē)倆數(shù)據(jù)-交通數(shù)據(jù)物流醫(yī)療頭腦就是創(chuàng)意，技物流醫(yī)療家居服務(wù)家居產(chǎn)品數(shù)據(jù)就是生產(chǎn)資產(chǎn)品產(chǎn)品農(nóng)業(yè)農(nóng)業(yè)技術(shù)平臺(tái)工廠(chǎng)數(shù)據(jù)螞蟻數(shù)巢，安全的愿景和策略數(shù)據(jù)可用不數(shù)據(jù)可用不可見(jiàn)，安全開(kāi)放和共享數(shù)據(jù)存儲(chǔ)和訪(fǎng)問(wèn)可管控?cái)?shù)據(jù)存儲(chǔ)和訪(fǎng)問(wèn)可管控行為風(fēng)險(xiǎn)可管控行為監(jiān)督(CTU)用用戶(hù)隱私和商業(yè)風(fēng)險(xiǎn)可管理智能脫敏與預(yù)警策略安全要素：人；系統(tǒng)，賬號(hào)；操作；渠道(出入口)；數(shù)據(jù)6565螞蟻數(shù)巢，安全的閉環(huán)體系2數(shù)據(jù)只進(jìn)不出，數(shù)據(jù)上完成，數(shù)據(jù)不落地32數(shù)據(jù)只進(jìn)不出，數(shù)據(jù)上完成，數(shù)據(jù)不落地3申請(qǐng)與授權(quán)體系71數(shù)據(jù)俱樂(lè)部和云數(shù)據(jù)實(shí)驗(yàn)室知警、安全攔截4日志 (功能級(jí)、表級(jí)、字段級(jí)、行級(jí))數(shù)據(jù)安全流轉(zhuǎn)網(wǎng)絡(luò)數(shù)據(jù)安全流轉(zhuǎn)網(wǎng)絡(luò)行為風(fēng)險(xiǎn)識(shí)別系統(tǒng)(CTU)安全監(jiān)控中心計(jì)則配置行為風(fēng)險(xiǎn)識(shí)別系統(tǒng)(CTU)安全監(jiān)控中心計(jì)則配置型部署屏安全志統(tǒng)日志統(tǒng)析安全策略中心略據(jù)口螞蟻開(kāi)放平臺(tái)業(yè)務(wù)閉環(huán)系統(tǒng)代碼掃描與發(fā)布實(shí)驗(yàn)環(huán)境開(kāi)發(fā)者擁有權(quán)限實(shí)驗(yàn)區(qū)相互隔離數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)服務(wù)數(shù)據(jù)挖掘報(bào)表開(kāi)發(fā)實(shí)驗(yàn)區(qū)1實(shí)驗(yàn)區(qū)2實(shí)驗(yàn)區(qū)3據(jù)口螞蟻開(kāi)放平臺(tái)業(yè)務(wù)閉環(huán)系統(tǒng)代碼掃描與發(fā)布實(shí)驗(yàn)環(huán)境開(kāi)發(fā)者擁有權(quán)限實(shí)驗(yàn)區(qū)相互隔離數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)服務(wù)數(shù)據(jù)挖掘報(bào)表開(kāi)發(fā)實(shí)驗(yàn)區(qū)1實(shí)驗(yàn)區(qū)2實(shí)驗(yàn)區(qū)3蟻數(shù)巢，數(shù)據(jù)安全業(yè)務(wù)流程架構(gòu)圖權(quán)限控制動(dòng)態(tài)脫敏日志監(jiān)控權(quán)限控制動(dòng)態(tài)脫敏日志監(jiān)控風(fēng)險(xiǎn)CTU限制、數(shù)據(jù)安全等級(jí)動(dòng)態(tài)調(diào)整限制、數(shù)據(jù)安全等級(jí)動(dòng)態(tài)調(diào)整數(shù)據(jù)生產(chǎn)環(huán)境僅平臺(tái)擁有權(quán)限數(shù)據(jù)生產(chǎn)環(huán)境僅平臺(tái)擁有權(quán)限層系統(tǒng)層日志監(jiān)控與分析計(jì)算引擎任務(wù)工作流采樣采樣螞蟻數(shù)巢，用戶(hù)隱私和商業(yè)風(fēng)險(xiǎn)可管控托管云實(shí)驗(yàn)區(qū)托管云實(shí)驗(yàn)區(qū)短文短文本部分掩藏或數(shù)值化負(fù)浮動(dòng)N%-M%精度，模糊化份標(biāo)識(shí)生成唯一ID加密轉(zhuǎn)換身份標(biāo)識(shí)身份標(biāo)識(shí) (email,手機(jī)…)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)文本 (姓名，住址…)數(shù)值 (金額、筆數(shù)…)標(biāo)簽 (白富美…)唯一ID略斷執(zhí)行示略斷執(zhí)行示蹤螞蟻數(shù)巢-用戶(hù)隱私和商業(yè)風(fēng)險(xiǎn)可管控ess CTU防護(hù) 脫敏防護(hù)提提交SQL語(yǔ)句掃描SQL語(yǔ)句執(zhí)行SQL語(yǔ)句處理查詢(xún)結(jié)果回結(jié)果鑒權(quán)測(cè)完善的執(zhí)行日志記錄、監(jiān)控、審計(jì)記錄日志僅為安全分析，執(zhí)行最嚴(yán)格的用戶(hù)數(shù)據(jù)和版權(quán)保障計(jì)劃螞蟻數(shù)巢-行為監(jiān)督的風(fēng)險(xiǎn)識(shí)別制度嚴(yán)格的安全流程進(jìn)行安全審核制度嚴(yán)格的安全流程進(jìn)行安全審核 監(jiān)控出口控?cái)?shù)據(jù)消費(fèi)量規(guī)則模型識(shí)別風(fēng)險(xiǎn)任何外在的表現(xiàn)，最終都會(huì)反應(yīng)到數(shù)據(jù)調(diào)用/處理的總量上來(lái)，所以可以從人和系統(tǒng)二個(gè)角度進(jìn)行規(guī)則模型識(shí)別風(fēng)險(xiǎn)人群分類(lèi)，監(jiān)控其行為變化機(jī)器學(xué)習(xí)模型識(shí)別風(fēng)險(xiǎn)可能有異機(jī)器學(xué)習(xí)模型識(shí)別風(fēng)險(xiǎn)1.支付寶登錄體系(CTU大腦)2.多租戶(hù)，隔離到實(shí)驗(yàn)(項(xiàng)目)級(jí)3.所有行為全部記錄進(jìn)行風(fēng)控分析4.白名單體系，僅指定IP可訪(fǎng)問(wèn) Web服務(wù)器權(quán)限控制列級(jí)表格式存不暴露文件1.支付寶登錄體系(CTU大腦)2.多租戶(hù)，隔離到實(shí)驗(yàn)(項(xiàng)目)級(jí)3.所有行為全部記錄進(jìn)行風(fēng)控分析4.白名單體系，僅指定IP可訪(fǎng)問(wèn) Web服務(wù)器權(quán)限控制列級(jí)表格式存不暴露文件螞蟻數(shù)巢-數(shù)據(jù)存儲(chǔ)與訪(fǎng)問(wèn)安全管控實(shí)現(xiàn)1、基于金融云搭建，采用獨(dú)立的機(jī)房集群，滿(mǎn)足一行三會(huì)金融監(jiān)管要求。2、保證數(shù)據(jù)產(chǎn)權(quán),專(zhuān)項(xiàng)專(zhuān)用,數(shù)據(jù)只進(jìn)不出，用戶(hù)自行物理銷(xiāo)毀。云數(shù)據(jù)實(shí)驗(yàn)室Web服務(wù)器阿里云ODPS保阿里云ODPS保障，保護(hù)用戶(hù)的數(shù)據(jù)不丟失、不泄露、不被竊取ODPS接入層 (用戶(hù)認(rèn)證)ODPS控制集群ODPS飛天內(nèi)部認(rèn)證與授權(quán)中心…2、Java沙箱式，只進(jìn)不出訪(fǎng)問(wèn)終端指定的白名單我對(duì)螞蟻金服大數(shù)據(jù)開(kāi)放式實(shí)踐及應(yīng)用的總結(jié)(一)大數(shù)據(jù)的三個(gè)要素海量(新)數(shù)據(jù)新算法新新算法創(chuàng)造業(yè)務(wù)(客戶(hù))價(jià)值滿(mǎn)足“大”和“在線(xiàn)”這二個(gè)特性要求舊，越“新”越能改變業(yè)務(wù)基礎(chǔ)能力速數(shù)據(jù)的流動(dòng)和應(yīng)用規(guī)模機(jī)器學(xué)習(xí)需要大計(jì)算，需要新的計(jì)算框架是關(guān)鍵，是引擎規(guī)模機(jī)器學(xué)習(xí)，可以兼容部分“臟”數(shù)據(jù)提升用戶(hù)體驗(yàn)的關(guān)鍵傾聽(tīng)每一個(gè)個(gè)體的聲音我對(duì)螞蟻金服大數(shù)據(jù)