大數(shù)據(jù)與統(tǒng)計(jì)分析的第三范式

Statistics

&

ActuarialScience劉樂(lè)平liulp66@163.com大數(shù)據(jù)與統(tǒng)計(jì)分析的第三范式因思想而光華：第八屆中國(guó)R語(yǔ)言會(huì)議北京大學(xué)2015-6-7Statistics

&

ActuarialScience云醫(yī)療（移動(dòng)健康）中的“統(tǒng)計(jì)思維”以外行（病人）之心度內(nèi)行（醫(yī)生）之腹個(gè)人觀點(diǎn)！僅供參考！鄭重聲明平劉印樂(lè)內(nèi)容提要意料之外，數(shù)理之中?！獢?shù)理邏輯數(shù)理之外，統(tǒng)計(jì)之中?！?/p>

統(tǒng)計(jì)思維統(tǒng)計(jì)之外，情理之中。——數(shù)據(jù)智慧

割草機(jī)

~家有草坪邏輯：一架割草機(jī)……

沒(méi)有割草機(jī)---同性戀！多架割草機(jī)的----一夫多妻。家有草坪~家有別墅家有別墅

~家有嬌妻是否有兩個(gè)人頭發(fā)一樣多？數(shù)理邏輯：兩個(gè)人的頭發(fā)哪兩個(gè)人頭發(fā)一樣多？——云體質(zhì)大數(shù)據(jù)

每天稱體重（減肥）~每周測(cè)頭發(fā)（增發(fā)）[0,N]=N+1人中肯定有2人頭發(fā)一樣多！N=10萬(wàn)（黃種人）；N=12萬(wàn)（白種人）是否有兩個(gè)人生日在同一天？數(shù)理推理：兩個(gè)人的生日20人中生日相同的概率>50.7%?[0,365]=366人中肯定有2人同日慶生366（100%）；66（98%）；23（50.7%）數(shù)理推理：三扇門（法拉利與小肥羊）THEMONTYHALLPROBLEMToSwitchorNotToSwitch

1祝你好運(yùn)23祝你好運(yùn)祝你好運(yùn)3扇門3件禮物L(fēng)LPEXCLUSIVE

在“ParadeMagazine”1990年的第9期上，瑪利亞給出了這樣一個(gè)十分簡(jiǎn)單（人人都能回答）但又非常復(fù)雜（讓許多數(shù)學(xué)博士做錯(cuò)），且特別吸引人（引發(fā)成千上萬(wàn)的讀者參與爭(zhēng)論）的問(wèn)題。

LLPEXCLUSIVE

“有獎(jiǎng)竟猜”問(wèn)題：假若你參加一個(gè)電視臺(tái)主辦的有獎(jiǎng)竟猜節(jié)目，臺(tái)上有三扇門，在其中一扇門后停著一輛豪華轎車，另外兩扇門后則各站著一只羊。規(guī)則很簡(jiǎn)單：你從三扇門中任意選中一扇，確認(rèn)后打開(kāi)，門后的獎(jiǎng)品就歸你！LLPEXCLUSIVE

竟猜游戲分兩步進(jìn)行：

第一步：主持人先讓你選中一扇門，選好后告訴他是哪一扇（便于說(shuō)明，假設(shè)你選中的是第1號(hào)門）。LLPEXCLUSIVE

第二步：主持人再給你一次機(jī)會(huì)，他從剩余的兩扇門中打開(kāi)一扇，比如第2號(hào)門（或3號(hào)門），里面是一只羊，這時(shí)，主持人問(wèn)你，你是否改變主意，換選第3號(hào)門（或2號(hào)門）。LLPEXCLUSIVE

“換”還是“不換”？

面對(duì)豪華轎車和小山羊，

你怎么“決擇”？

LLPEXCLUSIVE

絕對(duì)意料之中的回答

——“不換”！

筆者至少問(wèn)過(guò)十位數(shù)學(xué)系的研究生，結(jié)果都是“英雄所見(jiàn)略同”：LLPEXCLUSIVE

邏輯十分清楚，主持人給你打開(kāi)了一扇門，只剩下兩扇門可供選擇，轎車在每扇門后的概率都是1/2。LLPEXCLUSIVE從概率觀點(diǎn)來(lái)說(shuō)，從長(zhǎng)遠(yuǎn)角度（多次實(shí)驗(yàn)）來(lái)看，無(wú)論你堅(jiān)持第1號(hào)門還是改變?nèi)ミx擇第2號(hào)門，都有50%的機(jī)會(huì)開(kāi)走轎車，50%的機(jī)會(huì)牽走山羊?！皳Q”與“不換”是一樣的！LLPEXCLUSIVE

瑪利亞卻給出了“意料之外”的答案——“換，你應(yīng)該換”！

因?yàn)槟愕谝淮尾轮修I車的概率是1/3，而你第二次贏得轎車的概率為2/3（不是1/2）。LLPEXCLUSIVE

這“不可思議”的答案一經(jīng)公布，立即引發(fā)了美國(guó)全國(guó)性的爭(zhēng)論，數(shù)以千記的批評(píng)信件蜂擁而至，其中許多是來(lái)自美國(guó)各高等院所的數(shù)學(xué)博士們。LLPEXCLUSIVE瑪利亞從中摘錄了一些有趣的信件刊登在“ParadeMagazine”1991年第2期她的專欄里：LLPEXCLUSIVE

“我是否可以建議您在重新回答這個(gè)問(wèn)題之前去找一本標(biāo)準(zhǔn)的概率書(shū)參考參考”？（UniversityofFlorida）LLPEXCLUSIVE

“您的邏輯是錯(cuò)誤的，我可以肯定您一定收到了許多高中生和大學(xué)生關(guān)于這個(gè)問(wèn)題的來(lái)信，希望你盡快更正，我想這會(huì)對(duì)您的專欄有幫助的”。

（GeorgiaStateUniversity）

LLPEXCLUSIVE

“你關(guān)于‘有獎(jiǎng)竟猜’的解答是完全錯(cuò)誤的，我希望這場(chǎng)爭(zhēng)論能引起公眾對(duì)我國(guó)如此嚴(yán)重的數(shù)學(xué)教育危機(jī)給予重視。如果你能改正你的錯(cuò)誤觀點(diǎn)，將會(huì)對(duì)這種可悲現(xiàn)狀的解決起著積極的作用。你知道有多少憤怒的數(shù)學(xué)家在等待你的道歉嗎？”

（GeorgetownUniversity）

LLPEXCLUSIVE

“在與至少三位數(shù)學(xué)家討論后，我感到震驚，你竟然還沒(méi)發(fā)現(xiàn)你的錯(cuò)誤?！?/p>

（DickinsonStateUniversity）

LLPEXCLUSIVE

“您就是那只羊！”（WesternStateUniversity）LLPEXCLUSIVE

“您肯定是錯(cuò)誤的。換個(gè)角度，如果您是對(duì)的，而其他博士們都是錯(cuò)誤的，那我們的國(guó)家該是怎樣一種可悲情景??！”（U.S.ArmyResearchInstitute）內(nèi)容提要意料之外，數(shù)理之中?！獢?shù)理邏輯數(shù)理之外，統(tǒng)計(jì)之中?！?/p>

統(tǒng)計(jì)思維統(tǒng)計(jì)之外，情理之中?！獢?shù)據(jù)智慧

大數(shù)據(jù)：真的是大忽悠嗎？科學(xué)研究與統(tǒng)計(jì)分析：從公式到范式。

統(tǒng)計(jì)之道：頻率貝葉斯---回歸自然！數(shù)理之外，統(tǒng)計(jì)之中?！?/p>

統(tǒng)計(jì)思維大數(shù)據(jù)：定義辨析（大忽悠？）大數(shù)據(jù)（巨量資料（IT行業(yè)術(shù)語(yǔ)））[1]

大數(shù)據(jù)技術(shù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。[2]

大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。[3]

大數(shù)據(jù)的4V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、value（價(jià)值）大數(shù)據(jù)：最形象的定義大數(shù)據(jù)：最容易理解的定義明道副總裁

許維只要1000個(gè)字文科生也能理解大數(shù)據(jù)1000字從這里開(kāi)始——水這個(gè)東西大家都見(jiàn)過(guò)。當(dāng)你有一杯水的時(shí)候，你可以喝它。當(dāng)你有一盆水的時(shí)候，你可以用它洗臉。當(dāng)你有一浴缸水的時(shí)候，你可以用它泡澡。當(dāng)你有一游泳池水的時(shí)候，你可以用它游泳。當(dāng)你有一西湖水的話，你可以用它劃船泡妹子。當(dāng)你有一運(yùn)河水的時(shí)候，你可以用它運(yùn)糧食。當(dāng)你有一長(zhǎng)江水的時(shí)候，你可以來(lái)往于中國(guó)的西部和東部。當(dāng)你有一大西洋水的時(shí)候，你就可以發(fā)現(xiàn)新大陸了！2009科學(xué)研究與統(tǒng)計(jì)分析：從公式到范式。

千年前百年前十年前目前日心說(shuō)三大定律模擬仿真云計(jì)算用的人越來(lái)越簡(jiǎn)單；（傻）做的人越來(lái)越復(fù)雜。（智慧）一進(jìn)：計(jì)算機(jī)擺放的位置腿上—筆記本掌上-手機(jī)桌上–臺(tái)式機(jī)臉上-？？一退：人類手指的功能鋼筆—3個(gè)指頭屏幕-2個(gè)大拇指毛筆–4個(gè)指頭無(wú)指辦公-語(yǔ)音識(shí)別BradleyEfron

：FutureofIndirectEvidence2010JAMES–STEINESTIMATIONBradleyEfron

：FutureofIndirectEvidenceLARGE-SCALEMULTIPLEINFERENCE

科學(xué)研究與統(tǒng)計(jì)分析：從公式到范式。

2010上上個(gè)世紀(jì)-B時(shí)代–貝葉斯上個(gè)世紀(jì)-F時(shí)代–頻率學(xué)派本世紀(jì)---B-F時(shí)代–經(jīng)驗(yàn)貝葉斯自然科學(xué)的確定性數(shù)學(xué)歐拉L·Euler

1707—1783物理E=MC2

愛(ài)因斯坦AlbertEinstein

(1879-1955)有規(guī)律發(fā)現(xiàn)規(guī)律最美的公式最殘忍的公式?jīng)]有規(guī)律創(chuàng)造規(guī)律經(jīng)濟(jì)問(wèn)題的不確定性摸著石頭過(guò)河

社會(huì)現(xiàn)狀的復(fù)雜性“白骨精”的第三種能力Statisticalthinking統(tǒng)計(jì)：最（SEX）的專業(yè)H.G.Wells"Statisticalthinkingwillonedaybeasnecessaryforefficientcitizenshipastheabilitytoreadandwrite!"統(tǒng)計(jì)思維：至理名言

《時(shí)間機(jī)器》

（TheTimeMachine,1895年）《隱形人》

（TheInvisibleMan，1897年）《星際戰(zhàn)爭(zhēng)》

（TheWaroftheWorlds，1898年）《最早登上月球的人》

（TheFirstMenintheMoon，1901年）統(tǒng)計(jì)思維：統(tǒng)計(jì)與科幻東西方思維的差距貝葉斯統(tǒng)計(jì)思維：中西方的交集

Bayes'Theoreminthe21stCenturyBradleyEfronDepartmentofStatistics,StanfordUniversity,Stanford,CA94305,USA.E-mail:

brad@Theterm"controversialtheorem"soundslikeanoxymoron,but

Bayes'theoremhasplayedthispartfortwo-and-a-halfcenturies.Twiceithassoaredtoscientificcelebrity,twiceithascrashed,anditiscurrentlyenjoyinganotherboom.Thetheoremitselfisalandmarkoflogicalreasoningandthefirstserioustriumphofstatisticalinference,yetisstilltreatedwithsuspicionbymoststatisticians.Therearereasonstobelieveinthestayingpowerofitscurrentpopularity,butalsosomesignsoftroubleahead.2013年6月科學(xué)與統(tǒng)計(jì)我的管理之道很簡(jiǎn)單：貝葉斯思維RiskandUncertaintyinMonetaryPolicy

AlanGreenspanVol.94,No.2,May2004

金融與統(tǒng)計(jì)

18世紀(jì)的貝葉斯定理成為Google計(jì)算的新力量信息與統(tǒng)計(jì)確定性問(wèn)題：奧數(shù)(不能用方程)（對(duì)青少年的影響：比黃色小說(shuō)危害還大）小學(xué)生的例子：雞兔同籠問(wèn)題。

土豪解法：

讓雞一屁股坐下來(lái)（微信）不確定性問(wèn)題：一艘船上，牛99只，羊44只，船長(zhǎng)多大？中學(xué)生的例子：牛羊與船長(zhǎng)。

上海奧數(shù)班全班同學(xué)統(tǒng)一答案：

99-44=55歲外國(guó)專家的題不會(huì)錯(cuò)：（做不出對(duì)不起祖國(guó)）；要用方法（乘法離譜，加法太大，除法太?。┐L(zhǎng)有長(zhǎng)胡子；（與生俱來(lái)的貝葉斯思維）如果一個(gè)班級(jí)100人，只有2個(gè)人的身高數(shù)據(jù)，全班的平均身高是多少？大學(xué)生的例子：2個(gè)人的身高頻率學(xué)派：加權(quán)平均；幾何平均；Bootstrap……統(tǒng)計(jì)思維貝葉斯學(xué)派：收集身高之外的信息性別、地域、籍貫、專業(yè)……北京理工平均身高>廣西理工統(tǒng)計(jì)思維統(tǒng)計(jì)思維廣西的蔥北京的進(jìn)一步：身高與專業(yè)的關(guān)系財(cái)政金融平均身高>統(tǒng)計(jì)學(xué)院？統(tǒng)計(jì)思維身高與智商成反比先驗(yàn)“四肢發(fā)達(dá)”--后驗(yàn)“？？簡(jiǎn)單”？定量數(shù)據(jù)科學(xué)定性先驗(yàn)藝術(shù)統(tǒng)計(jì)學(xué)是什么？大數(shù)據(jù)小結(jié)論貝葉斯統(tǒng)計(jì)推斷是什么？數(shù)據(jù)結(jié)論計(jì)算先驗(yàn)信息先驗(yàn)是否可靠、科學(xué)？無(wú)論圈再大，圈外一定比圈內(nèi)大如果一枚硬幣被連續(xù)拋100次，每次都是正面朝上，那么，拋第101次時(shí)，正面朝上的概率是多少？先驗(yàn)經(jīng)典（頻率）統(tǒng)計(jì)學(xué)觀點(diǎn)的推斷

50%

貝葉斯統(tǒng)計(jì)學(xué)觀點(diǎn)則認(rèn)為：

第101次時(shí)正面朝上的概率會(huì)大大高于50%100次連續(xù)正面朝上，證明該硬幣不均衡或兩面均為正面。理想狀態(tài)：獨(dú)立真空現(xiàn)實(shí)思考頻率統(tǒng)計(jì)學(xué)：客觀、科學(xué)、……貝葉斯統(tǒng)計(jì)學(xué)：主觀、唯心

、先驗(yàn)……為什么我們有時(shí)不能用頻率的思想很多復(fù)雜問(wèn)題僅有科學(xué)是不夠的（藝術(shù)、哲學(xué)、宗教、邪教）很多問(wèn)題沒(méi)法靠“投硬幣”解決Bayesianinferenceisusedallthetimeineverydaylife：Whatarethechances…thatIgainfromthisinvestment…thatitwillraintomorrow…

thatIamstillaliveaftercrossingthisroad…升官發(fā)財(cái)無(wú)法重復(fù)試驗(yàn)，機(jī)會(huì)只有幾次先驗(yàn)盲人摸象不同人不同角度常人看圖相同人相同角度家庭背景成長(zhǎng)地域?qū)W習(xí)過(guò)程工作經(jīng)歷人際交往……（正確或錯(cuò)誤）經(jīng)驗(yàn)先驗(yàn)結(jié)合實(shí)際小到持家大到治國(guó)決策貝葉斯主義“悖論”無(wú)論你是否相信貝葉斯理論，你都是一個(gè)貝葉斯主義者。不相信，為什么不相信，（理由有……）但無(wú)論理由有多充分，你都無(wú)法回避：

“不相信”本身也是一種你頭腦中的“先驗(yàn)”！而且，“不相信”的程度要比“相信”更嚴(yán)重[愛(ài)與恨相比：愛(ài)只會(huì)心痛，恨可能要命521-525]

相信，顯然；人的最重要的一種能力—處理不確定性絞盡腦汁——從不確定性中尋找“很可能”統(tǒng)計(jì)思維：把不可能變成可能MCMC與千島湖：統(tǒng)計(jì)、計(jì)算機(jī)與藝術(shù)MCMC的發(fā)展與現(xiàn)代貝葉斯的復(fù)興2014，統(tǒng)計(jì)與信息論壇總結(jié)貝葉斯與頻率的融合復(fù)雜~簡(jiǎn)單統(tǒng)計(jì)與計(jì)算機(jī)的融合

不久的將來(lái)（10年），數(shù)學(xué)會(huì)變成“甲骨文”；（博物館）統(tǒng)計(jì)會(huì)變成計(jì)算機(jī)的一個(gè)集成模塊；（左腳離合）最流行的專業(yè)：運(yùn)動(dòng)系（奔跑吧，）旅游系（爸爸去哪?）音樂(lè)系（中國(guó)好聲音！）斗膽預(yù)測(cè)（2015）【TED】美國(guó)（2009）人人學(xué)統(tǒng)計(jì)間接證據(jù)第四屆世界華人數(shù)學(xué)家大會(huì)（簡(jiǎn)稱ICCM）2007年在杭州召開(kāi)，來(lái)自全球的７位華人數(shù)學(xué)家榮獲有“華人菲爾茲獎(jiǎng)”美譽(yù)的晨興數(shù)學(xué)獎(jiǎng)。

內(nèi)容提要意料之外，數(shù)理之中。——數(shù)理邏輯數(shù)理之外，統(tǒng)計(jì)之中。——

統(tǒng)計(jì)思維統(tǒng)計(jì)之外，情理之中?！獢?shù)據(jù)智慧

RenéDescartes（31March1596

–11February1650)）(aged

53)1617年CarlFriedrichGaussdiscoveredthenormaldistributionin1809asawaytorationalizethe

methodofleastsquares.1809年中國(guó)夢(mèng)：人人上北大，個(gè)個(gè)進(jìn)協(xié)和？Outlier–異類個(gè)人價(jià)值養(yǎng)成期22學(xué)習(xí)職業(yè)技能年齡人

的一生50個(gè)人價(jià)值=0從頭開(kāi)始！平劉印樂(lè)35養(yǎng)成期25磨合期30成長(zhǎng)期成熟期22學(xué)習(xí)被人領(lǐng)導(dǎo)學(xué)習(xí)職業(yè)技能核心能力：專業(yè)知識(shí)人

生價(jià)值50個(gè)人價(jià)值年齡（第1階段）平劉印樂(lè)35302550養(yǎng)成期磨合期成長(zhǎng)期成熟期4045高峰期2