大數(shù)據(jù)和商業(yè)決策

1、大數(shù)據(jù)大數(shù)據(jù)與商業(yè)決策與商業(yè)決策PALANTIR的故事的故事 硅谷情報分析公司硅谷情報分析公司 估值估值200億美元億美元 中情局風投部起家中情局風投部起家 傳言協(xié)助擊斃本拉登傳言協(xié)助擊斃本拉登 Palantir情報分析師培訓期一年情報分析師培訓期一年問題與挑問題與挑戰(zhàn)戰(zhàn)安然公司破產，指控其安然公司破產，指控其CEO（David Delaney）與）與Mariner公司發(fā)生內幕交易公司發(fā)生內幕交易，缺乏證據(jù)缺乏證據(jù)數(shù)據(jù)數(shù)據(jù)安然內部安然內部30萬封郵件被公開，當時最大規(guī)模的公開司法數(shù)據(jù)萬封郵件被公開，當時最大規(guī)模的公開司法數(shù)據(jù)模型模型自然語義分析：實體抽取，文本分類，事件抽取。自然語義分析：實體

2、抽取，文本分類，事件抽取。信息：近千條提及信息：近千條提及Mariner公司的郵件中，公司的郵件中，David發(fā)出的發(fā)出的3封郵件對其公允價值進行計算封郵件對其公允價值進行計算認知認知關聯(lián)挖掘：關聯(lián)挖掘：情報：情報：1）David對對Mariner公司的公允價值計算虛假高估公司的公允價值計算虛假高估2）郵件發(fā)出的時間）郵件發(fā)出的時間 vs. David出售出售Mariner公司股票時間同軸匹配公司股票時間同軸匹配3）全部郵件中的人名抽取，關聯(lián)分析）全部郵件中的人名抽取，關聯(lián)分析David關聯(lián)人員關聯(lián)人員理解理解1）David 發(fā)出虛估發(fā)出虛估Mariner公司公允價值的郵件時間節(jié)點與其出售該公

3、司股票的時間吻公司公允價值的郵件時間節(jié)點與其出售該公司股票的時間吻合合2）David郵件關聯(lián)人員中，有多人在郵件關聯(lián)人員中，有多人在Mariner公司重要部門擔任要職公司重要部門擔任要職安然內部交易案郵件分析2001年11月2日，安然公司宣告破產，這起美國歷史上最大的倒閉事件震驚全球。同時，安然留下的百萬封電子郵件，成為了當時最大規(guī)模的公開司法信息數(shù)據(jù)庫。Palantir 通過整合結構化數(shù)據(jù)（財務交易記錄、公司內部圖表等）和非結構化數(shù)據(jù)（郵件、文檔等），并加以分析處理，最終挖掘出支持指控安然前CEO David delainey進行內幕交易的重要證據(jù)。視頻地址：https:/ delainey

4、控訴書中，提及其可能與Mariner公司存在關聯(lián)，需判斷是否存在內幕交易行為。Mariner公司公司結構化處理 跨數(shù)據(jù)分析研究 挖掘關鍵結點郵件庫中提及Mariner公司的事件有近萬條；通過觀察Mariner公司的事件時間軸與“David Delainey出售股票”事件的重合點，定位可疑時間段，縮小范圍；該時間段內David 共發(fā)出3封郵件，其中一封提及對Mariner的公允價值的計算存在虛假高估的情況。10,0003Mariner公司公司 +David Delainey 出售股票出售股票挖掘多維關聯(lián)挖掘多維關聯(lián)此外，對全部郵件事件進行關聯(lián)挖掘，發(fā)現(xiàn)Daivd的關聯(lián)人員中，多人在Mariner

5、公司重要部門擔任要職。發(fā)現(xiàn)其中隱藏的發(fā)現(xiàn)其中隱藏的規(guī)律與關聯(lián)規(guī)律與關聯(lián)整合不同來源的海量數(shù)據(jù)整合不同來源的海量數(shù)據(jù)Palantir 做了什么做了什么？商業(yè)情報分析流程商業(yè)情報分析流程 大數(shù)據(jù)時代的認知大數(shù)據(jù)時代的認知獲取數(shù)據(jù)獲取數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)信息認知信息認知理解解讀理解解讀決策制定決策制定對決策的影響對決策的影響機器的參與機器的參與？應用：應用：IMAGE SEARCH應用：應用：AUTO TAG圖圖像像識識別別獲取數(shù)據(jù)獲取數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)信息認知信息認知理解解讀理解解讀決策制定決策制定對決策的影響對決策的影響機器的參與機器的參與？AlphaGO規(guī)則簡單規(guī)則簡單計算量大計算量大GO1

6、6萬對局棋譜萬對局棋譜幾千萬自我對局學習幾千萬自我對局學習問題規(guī)則？問題規(guī)則？學習數(shù)據(jù)？學習數(shù)據(jù)？信任？！信任？！應用：游戲應用：游戲應用：商業(yè)應用：商業(yè)商業(yè)情報分析流程商業(yè)情報分析流程 大數(shù)據(jù)時代的認知大數(shù)據(jù)時代的認知海量公開信息：G8開放數(shù)據(jù)憲章2013年6月，8國集團首腦簽署了開放數(shù)據(jù)憲章，主要包括14類數(shù)據(jù)：數(shù)據(jù)類別數(shù)據(jù)舉例企業(yè)類企業(yè)/公司注冊信息司法類犯罪統(tǒng)計、安全地球觀測類氣象/天氣、農業(yè)、林業(yè)、漁業(yè)、畜牧業(yè)教育類學校列表、學?？冃АW校數(shù)字化能力能源環(huán)境類污染水平、能源消費金融和合約合約預算、承包合約、招標信息、未來的招投標、地方預算、國家預算（計劃和開支）地理空間地形、郵政編碼

7、、國家地圖、地方地圖全球發(fā)展援助、食品安全、土地政府責任和民主政府合約、選舉結果、立法和法令、工資（支付比例）、招待/禮品醫(yī)療衛(wèi)生處方數(shù)據(jù)、績效數(shù)據(jù)科研基因組數(shù)據(jù)、研究和教育活動、實驗結果統(tǒng)計全國性統(tǒng)計數(shù)據(jù)、人口普查數(shù)據(jù)、基礎設施、資源、技能社會流動性和福利住房、醫(yī)療保險及失業(yè)救濟金交通和基礎設施公共交通時間表、寬帶接入點海量公開信息：中外部分國家數(shù)據(jù)公開對比公開數(shù)據(jù)項目中國美國英國新加坡企業(yè)公開信息（非上市）工商、專利等數(shù)據(jù)已公開，行政許可、處罰類數(shù)據(jù)有待完善。各州提供企業(yè)注冊信息基本注冊信息.uk/僅對新加坡公民和有效簽證持有者提供注冊.sg/政府各部門公開數(shù)據(jù)（農業(yè)，交通，經濟等）以量化數(shù)據(jù)為主link以量化數(shù)據(jù)為主link以量化數(shù)據(jù)為主link以量化數(shù)據(jù)為主Link司法數(shù)據(jù)中國裁判文書網聯(lián)邦法院、州法院各自公開三大司法系統(tǒng)：英格蘭和威爾士法院，蘇格蘭法院，北愛爾蘭法院Link免費公開最近3個月的審判Link什么是什么是“非結構化數(shù)據(jù)非結構化數(shù)據(jù)”非結構化數(shù)據(jù)非結構化數(shù)據(jù)結構化數(shù)據(jù)結構化數(shù)據(jù)視頻視頻文本文本圖片圖片語音語音帶來的機