2020年人工智能行業(yè)場分析報告

1、2020年人工智能行業(yè)市場分析報告2020年4月機器學(xué)習(xí)和因果推斷機器學(xué)習(xí)面臨的風(fēng)險過去10年，以深度學(xué)習(xí)為代表的機器學(xué)習(xí)方法引領(lǐng)了人工智能的發(fā)展，在圖像、語音、文本等多個領(lǐng)域中取得巨大成就。從根本上來說，機器學(xué)習(xí)是一種“連接主義”方法，即通過關(guān)聯(lián)驅(qū)動的方式在大量的數(shù)據(jù)中進行擬合從而總結(jié)出規(guī)律。然而機器學(xué)習(xí)的工作方式離人腦依然有相當(dāng)距離，不同于機器學(xué)習(xí)需要大量的數(shù)據(jù)，人類在學(xué)習(xí)過程中只需要比較少量的信息就能掌握規(guī)律，并通過邏輯推理不斷適應(yīng)事物和環(huán)境的變化。由于機器學(xué)習(xí)不具備邏輯推理的能力，無法區(qū)分?jǐn)?shù)據(jù)中的因果關(guān)聯(lián)和虛假關(guān)聯(lián)，因而在數(shù)據(jù)匱乏或規(guī)律持續(xù)變化的環(huán)境中，機器學(xué)習(xí)模型難以展現(xiàn)出類似人腦的

2、泛化性能。圖靈獎得主、貝葉斯網(wǎng)絡(luò)之父JudeaPearl認(rèn)為現(xiàn)在人工智能的發(fā)展進入新的瓶頸期，大多數(shù)新的研究成果本質(zhì)上是“曲線擬合”的工作。Pearl認(rèn)為人們應(yīng)該更關(guān)注人工智能中的因果推斷(causalinference),這可能是實現(xiàn)通用人工智能的必由之路。我們將通過兩個案例說明當(dāng)前機器學(xué)習(xí)可能面臨的風(fēng)險。首先以一個圖像識別問題為例：識別一張圖片中是否有狗。如圖表1所示，如果訓(xùn)練集有選擇性偏差，使得我彳門拿到的圖片有80%都是草地上的狗，這樣就會導(dǎo)致在訓(xùn)練集中草地這一特征會和圖片中是否有狗這個標(biāo)簽十分相關(guān)?；谶@樣的有偏數(shù)據(jù)集學(xué)習(xí)到的預(yù)測模型，很有可能會將草地學(xué)習(xí)成很重要的特征，但顯然這是不

3、合理的，圖片中的草地并不能決定是否有狗，真正決定圖片中是否有狗的特征是狗的鼻子、耳朵、尾巴等等。對于測試集，如果跟訓(xùn)練集一樣也是狗在草地上，則模型可以正確地預(yù)測；如果圖片中的狗在有綠植的沙灘上，模型或許能識別出來；但是如果圖片中的狗在水里，模型則大概率會識別不準(zhǔn)。因此這樣的模型對于未知測試集的預(yù)測效果并不穩(wěn)定。圖表 1:在有選擇性偏差的情況下進行圖像識別資料來源：TowardsExplainableandStablePrediction,PengCui,市場部再舉一個醫(yī)療領(lǐng)域的例子：預(yù)測一個癌癥患者的生存率。假設(shè)我們拿到了某個城市某個醫(yī)院的數(shù)據(jù)，基于該數(shù)據(jù)學(xué)習(xí)到的模型有可能會把患者的收入學(xué)習(xí)成

4、很重要的特征。當(dāng)然這也是有道理的，收入高的患者能負(fù)擔(dān)得起更好的治療，生存率也會越高。但是收入并不是患者生存率的決定因素，真正影響生存率的是患者接受的治療水平以及患者本身的身體素質(zhì)等因素，即使是收入很高的患者，如果沒有接受很好的治療，或者本身體質(zhì)虛弱，免疫力低下，生存率依然會很低。利用該模型做預(yù)測時，如果未來要預(yù)測的患者同樣來自該醫(yī)院，我們可能會得到很準(zhǔn)確的預(yù)測結(jié)果。但是如果要預(yù)測的患者來自大學(xué)校醫(yī)院，由于校醫(yī)院對患者給予的治療不由收入決定，此時的預(yù)測結(jié)果很可能不準(zhǔn)確。圖表 2:在有混淆變量的情況下預(yù)測癌癥患者生存概率CancersurvivalralepredictionTestingData

5、TestingData資料來源：TowardsExplainableandStablePrediction,PengCui,市場部機器學(xué)習(xí)模型表現(xiàn)不穩(wěn)定的原因可能有以下兩方面：1 .一方面是數(shù)據(jù)的問題，現(xiàn)有的大部分機器學(xué)習(xí)方法都依賴于獨立同分布(I.I.D)假設(shè)，即訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)是獨立同分布的。在大數(shù)據(jù)條件下，由于訓(xùn)練數(shù)據(jù)可能已經(jīng)涵蓋了所有未來會出現(xiàn)的測試數(shù)據(jù)分布類型，這一假設(shè)或許能成立。然而在現(xiàn)實中，該假設(shè)很難滿足，這樣就會產(chǎn)生分布偏移(distributionshift)的問題。2.另一方面是模型的問題，現(xiàn)有的大部分機器學(xué)習(xí)模型是關(guān)聯(lián)驅(qū)動的。關(guān)聯(lián)主要有三個來源：Causation,Se

6、lectionbias,Confoundingbias。(1)Causation(因果關(guān)聯(lián))是不會隨著環(huán)境和數(shù)據(jù)集的變化而變化的(比如下雨會導(dǎo)致地面濕，這在任何城市和國家都是成立的)，是穩(wěn)定且可解釋的。Selectionbias(選擇性偏差)描述的就如圖表1中草地和狗的例子，由于樣本選擇導(dǎo)致草地和狗十分相關(guān)，同樣也可以通過樣本選擇使得沙灘等其它背景與狗十分相關(guān)，這種關(guān)聯(lián)會隨著數(shù)據(jù)集和環(huán)境的變化而變化。(3)Confoundingbias(混雜偏倚)描述的是由于某些混淆變量導(dǎo)致的關(guān)聯(lián)，如圖表2中癌癥患者生存率的例子，患者的收入就是一個混淆變量。混淆變量與預(yù)測目標(biāo)和其他因子都有關(guān)，如果未處理好混淆

7、變量，則會掩蓋或歪曲真實的關(guān)聯(lián)。通過Selectionbias和Confoundingbias產(chǎn)生的關(guān)聯(lián)是不穩(wěn)定的，這兩種相關(guān)性為虛假相關(guān)(SpuriousCorrelation)。傳統(tǒng)機器學(xué)習(xí)預(yù)測不穩(wěn)定的主要原因就在于其沒有區(qū)分因果關(guān)聯(lián)與虛假關(guān)聯(lián)， 而籠統(tǒng)地將所有關(guān)聯(lián)都用于模型學(xué)習(xí)和預(yù)測。因果推斷是用于解釋分析的建模工具，可以幫助恢復(fù)數(shù)據(jù)中的因果關(guān)聯(lián)，用于指導(dǎo)機器學(xué)習(xí)，有望實現(xiàn)可解釋的穩(wěn)定預(yù)測。對于金融市場來說，一方面市場環(huán)境持續(xù)變化的特性導(dǎo)致多種可觀測因素的有效性都隨之而變；另一方面， 資產(chǎn)管理人對策略內(nèi)部的因果邏輯和可解釋性都有較高要求。 這些現(xiàn)狀都說明在將機器學(xué)習(xí)方法在運用于金融市場的

8、策略構(gòu)建時，融入因果推斷的方法是一個值得嘗試的方向。因果推斷簡介在因果推斷研究的漫長歷史中，誕生了眾多模型，如貝葉斯網(wǎng)絡(luò)、等。本文將不對各個因果推斷模型進行詳細(xì)介紹，而是從最常用的Model(RCM)出發(fā)，介紹因果推斷的研究方法。RCM模型CityHo&pilatCityHo&pilatHiaherincome,highersurvivalrate.Hiaherincome,highersurvivalrate.Survivaldo-calculus、因果圖等RubinCausalhrntur?:hrnturXledicdtiuii?TrainingDataTrainingDataPredic

9、liveModelCityHospitalCityHospitalUniversityHospitalUniversityHospitalrateisnotsocorrelatedwithincome.設(shè)?表示個體？接受處理與否，處理取1,對照取0(這部分的處理變量都討論二值的，多值的可以做相應(yīng)的推廣)；?表示個體？的結(jié)果變量。記？(？(1)?(0)表示個體？接受處理或者對照的潛在結(jié)果(potentialoutcome),那么?(1)-?(0)表示個體？接受處理的個體因果作用。但是每個個體要么接受了處理，要么接受對照，(？(1),?(0)中必然缺失一半，因此個體的因果作用是不可識別的。注意，對

10、于個體？，潛在結(jié)果是確定的數(shù)；這里的隨機卜體現(xiàn)在？上，？可以看成通常概率論中樣本空間Q中的樣本點？。但是,在T做隨機化的前提下，我們可以識別總體的平均因果作用(ACE,averagecausale?ect):?(?-?)=?(?(?)-?這是因為(0)?(?)=?(?(1)-?(?(0)=?(?(1)|?=1)-?彳？(0?|?=0)=?Q?=1)-?(?=0)最后一個等式表明？?？可以由觀測的數(shù)據(jù)估計出來。其中第一個等式用到了期望算子的線性T質(zhì)(非線性的算子導(dǎo)出的因果度量很難被識別)；第二個式子用到了隨機化，即T(?(1),?(0)(，表示獨立性)。由此可見，隨機化試驗對于平均因果作用的估計

11、起著至關(guān)重要的作用。平均因果作用估計最直接的平均因果作用估計方法為隨機化實驗。但隨機化實驗是有成本的，很多情況下會影響用戶體驗，甚至由于倫理道德等問題是不可行的，比如研究者不能因為想研究吸煙與肺癌的因果關(guān)系，就強迫受試者吸煙。因此常用的方法是使用觀測數(shù)據(jù)估計因果效應(yīng)。如圖表3所示，在觀測數(shù)據(jù)中，將處理組與對照組之間分布不一樣且會對結(jié)果造成影響的特征稱為Confounders(混淆變量)。當(dāng)我們在研究Treatment變量T對Outcome變量Y的因果效應(yīng)時，如果存在混淆變量W,它會影響Treatment變量T,也會影響最后的結(jié)果Y。當(dāng)我們直接通過數(shù)據(jù)計算T對Y的關(guān)聯(lián)時，實際上將W對Y的效應(yīng)也計

12、算在內(nèi)，因此很難區(qū)分T對Y的關(guān)聯(lián)是由T對Y的因果效應(yīng)導(dǎo)致的，還是由混淆變量W通過T對Y產(chǎn)生影響導(dǎo)致的。圖表 3:使用觀測數(shù)據(jù)估計因果效應(yīng)資料來源：TheBookofWhy,JudeaPearl,市場部因此在基于觀測數(shù)據(jù)進行因果效應(yīng)評估時， 關(guān)鍵是如何保證混淆變量在評估數(shù)據(jù)的處理組與對照組的分布是一致的。最直接的是基于匹配的方法，為處理組匹配對照組中特征分布一致的人群，通過匹配后的人群計算因果效應(yīng)。但是在高維情況下很難找到兩個特征分布完全一樣的樣本，因此該方法很難應(yīng)用到高維情況中。為了解決這個問題，研究者們提出了基于傾向性評分(propensityscore)的方法，本文將重點介紹該方法并給出實

13、證案例?；趦A向性評分法的因果推斷傾向性評分法由Rosenbaum和Rubin于1983年首次提出，是控制混淆變量的常用方法,其基本原理是將多個混淆變量的影響用一個綜合的傾向性評分來表示，從而降低了混淆變量的維度。圖表4展示了基于傾向性評分法的因果推斷流程，主要包含三個關(guān)鍵步驟。本文將逐一進行詳細(xì)說明。TreatmentJT)TreatmentJT)caudalcaudaleffecteffectutcornc(Y)utcornc(Y)圖表 4:基于傾向性評分法的因果推斷流程資料來源：市場部計算傾向性評分并估計因果效應(yīng)傾向性評分是給定混淆變量W的條件下，個體接受Treatment的概率估計，即

14、P(T=1|W)。如圖表5所示，要計算每個研究對象的傾向性評分，需要以Treatment為因變量，混淆變量Confounders為自變量，建立回歸模型(如Logistic回歸)來估計每個研究對象接受Treatment的可能性。對于傾向性評分接近的樣本，則認(rèn)為它們近似匹配，可用來評估因果效應(yīng)。匹配完成之后，即可通過下式計算Treatment變量T對Outcome變量丫的因果效應(yīng)。?(?)=?乂？|?=1)?-?(?|?=0)圖表 5:傾向性評分的計算和匹配如，果PS1-PS2.PS1-PS2.則認(rèn)為蟬本1 1和樣本2 2逅似匹配.資料來源：市場部憾向找評分匹配JA(PSM)計算便向性評分并拈計因

15、果效應(yīng)健向性評分分層法(PSS)(PSS)慎同性評分加權(quán)法(PSW)(PSW)評刊各便向性評分方法的均衡性反駁添加混滯變欲法妥慰荊敖據(jù)法刪除數(shù)提法Confounders(W)nders(W)Treatment(T)Treatment(T)LogisticLogistic何療T T* *LR(W)LR(W)樣本1 1的帳向姓評分PSPS，桿本2 2的驚而攝評分PS2PS21.傾向性評分匹配法(PropensityScoreMatching,PSM):PSM將處理組和對照組中傾向性評分接近的樣本進行匹配后得到匹配群體，再在匹配群體中計算因果效應(yīng)。最常用的匹配方法是最近鄰匹配法(nearestnei

16、ghbormatching),對于每一個處理組的樣本，從對照組選取與其傾向評分最接近的所有樣本，并從中隨機抽取一個或多個作為匹配對象，未匹配上的樣本則舍去。2.傾向性評分分層法(PropensityScoreStratification,PSS):PSS將所有樣本按照傾向性評分大小分為若干層(通常分為5-10層)，此時層內(nèi)組間混淆變量的分布可以認(rèn)為是均衡的，當(dāng)層內(nèi)有足夠樣本量時，可以直接對單個層進行分析，也可以對各層效應(yīng)進行加權(quán)平均。當(dāng)兩組的傾向性評分分布偏離較大時， 可能有的層中只有對照組個體， 而有的層只有試驗組的個體， 這些層不參與評估因果效應(yīng)。PSS的關(guān)鍵問題是分層數(shù)和權(quán)重的設(shè)定?？赏?/p>

17、過比較層內(nèi)組間傾向性評分的均衡性來檢驗所選定的層數(shù)是否合理，權(quán)重一般由各層樣本占總樣本量的比例來確定。 有研究表明， 采用五等分可以有效消除傾向分?jǐn)?shù)模型中所有特征變量90%以上的偏差。(見參考文獻4)3.傾向性評分加權(quán)法(PropensityScoreWeighting,PSW):PSW在計算得出傾向性評分的基礎(chǔ)上，通過傾向性評分值賦予每個樣本一個相應(yīng)的權(quán)重進行加權(quán)，使得處理組和對照組中傾向性評分分布一致，從而達到消除混淆變量影響的目的。Robins等人給出的加權(quán)系數(shù)計算方法是：1處理組樣本的權(quán)重為？=?1對照組樣本的權(quán)重為？=1?I-?以上兩式中，PS是樣本的傾向性評分。該加權(quán)方法的通俗理解方式為：由于PS是由Logistic回歸擬合得到，總體上來看處理組樣本的PS靠近1,對照組樣本的PS靠近0。PS越小的處理組樣本，越容易找到能與之匹配的對照組樣本，使用該處理組樣本估計的