統(tǒng)計(jì)假設(shè)檢驗(yàn)在量化交易中的應(yīng)用

1、統(tǒng)計(jì)假設(shè)檢驗(yàn)在量化交易中的應(yīng)用程序化交易假設(shè)檢驗(yàn)的基本原理：如果假設(shè)A成立，那么事件 B發(fā)生的概率低于5%（當(dāng)然也可以用10%或者1%等標(biāo)準(zhǔn)）。實(shí)際 隨機(jī)抽樣檢測中B發(fā)生了，我們可以在0.05的顯著性下認(rèn)為 假設(shè)A不成立。在實(shí)際應(yīng)用中我們要注意的是，第一，樣本 書越大，越容易驗(yàn)證條件 A是否成立；第二，觀察事件B是 否發(fā)生時，一定是要隨機(jī)抽樣的。 比如上面那個硬幣的例子， 如果不是隨機(jī)拋硬幣，而是由一個硬幣拋擲高手來有認(rèn)為控 制硬幣拋擲后的結(jié)果，那么得由來的結(jié)論對于硬幣是否標(biāo)準(zhǔn) 這一假設(shè)是沒有參加價值的。為什么很多歷史數(shù)據(jù)中表現(xiàn)很 好的交易系統(tǒng)在后期的實(shí)盤時效果很差，很大一個原因就在 于針對歷

2、史數(shù)據(jù)所設(shè)計(jì)的交易系統(tǒng)不符合抽樣隨機(jī)性。交易 應(yīng)用示例： 寫了這么多，還沒有寫到交易上，可能有些朋 友急了。稍安勿躁，有了上面的基礎(chǔ)，再來談交易模型的假 設(shè)檢測，就很容易了。先看一種最簡單的量化交易模型，就是止盈和止損是同樣比例的量化交易模型。比如西蒙斯曾 經(jīng)談到過八十年代他們曾經(jīng)靠一個很簡單的模型賺過很多 錢，就是跳空高開（或低開）后短時間內(nèi)價格反向運(yùn)動的概率 很高，他們的交易策略就是高開后做空，低開后做多?，F(xiàn)在 我們來根據(jù)這個思路嘗試做一個交易模型：跳空高開（或低開）x%后開盤入場做空（或做多）,盈利或者虧損y%后就由場。為了便于討論，我們先假設(shè)不存在滑點(diǎn)、手續(xù)費(fèi)等問題，同時假設(shè)當(dāng)天價格日

3、內(nèi)離開盤價的波動幅度必然會超過y%,也就說日內(nèi)該筆交易一定會結(jié)束，要么是盈利y%后由場，要么是虧損y%后由場。這么簡化后，大家再拿這個和拋硬 幣的例子對比，是不是完全一樣了?，F(xiàn)在來運(yùn)用假設(shè)檢驗(yàn)的方法來驗(yàn)證這個量化交易模型。如果這個交易模型是無效 的，那么交易盈利或者虧損 y%的概率應(yīng)該是各50%（如果虧 損大于50%可以反向做的），和硬幣的例子中兩種結(jié)果的概率 完全一樣?，F(xiàn)在我們拿檢驗(yàn)硬幣的思路來檢驗(yàn)這個模型到底 是不是無效的。我們拿這個交易模型去歷史數(shù)據(jù)中測試，假如總共有50次交易記錄，其中盈利的次數(shù)達(dá)到了32次以上或者18次以下（這樣情況就把模型反著寫，即高開后做多低 開后做空），那么，在

4、5%的顯著性下我們可以拒絕模型無效 這一假設(shè)，這個交易模型是有效的。有的朋友可能會問了，這個模型中的x和y這兩個參數(shù)到底取什么值呢？這就涉及 到模型訓(xùn)練的問題了。 x和y具體取什么值最合適，不通過 數(shù)據(jù)測試，我們是無法知道的。 通用的統(tǒng)計(jì)學(xué)方法（通訊、搜 索引擎等領(lǐng)域也是這個方法）是，選取大量的訓(xùn)練數(shù)據(jù)， 對模 型各個參數(shù)進(jìn)行測試，選擇表現(xiàn)最佳的參數(shù)。 具體到交易上， 就是選取足夠多的歷史數(shù)據(jù)，進(jìn)行參數(shù)優(yōu)化，綜合考慮收益 率、最大回撤、穩(wěn)定性等因素，選擇相對最合適的。不同參數(shù)之間的好壞差異的比較在統(tǒng)計(jì)學(xué)上也是有方法的，相對復(fù) 雜一點(diǎn)，以后有機(jī)會再寫一篇詳談這個。既然是量化交易模型訓(xùn)練后的最佳參

5、數(shù)，問題也就來了，這個最佳參數(shù)是非 隨機(jī)產(chǎn)生的，而是人為訓(xùn)練選擇的，這違背了我們在做硬幣 檢測時所強(qiáng)調(diào)的隨機(jī)抽樣。那么，如何驗(yàn)證這個模型的有效 性呢？統(tǒng)計(jì)學(xué)的方法是拿這個模型對新的數(shù)據(jù)（與原有訓(xùn)練數(shù)據(jù)完全獨(dú)立）做測試，如果測試的結(jié)果仍然拒絕模型無效這 一假設(shè)，那么，我們可以認(rèn)為模型在很大的概率上是有效的。 具體到交易而言，就是把歷史數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和盲測數(shù)據(jù) 兩部分，訓(xùn)練數(shù)據(jù)用于模型訓(xùn)練，如果在訓(xùn)練數(shù)據(jù)上訓(xùn)練好 的拒絕無效假設(shè)的交易模型在盲測數(shù)據(jù)中仍然表現(xiàn)為拒絕 無效假設(shè)，那么，可以認(rèn)為模型在很大的概率上有效。當(dāng)然,還有進(jìn)一步更嚴(yán)格的方式是，讓模型繼續(xù)在未來的新的數(shù)據(jù) 上測試，如果表現(xiàn)仍然很好

6、，則再可以考慮分配一定比例的 資金開始實(shí)際運(yùn)作。我們在做程序化交易中經(jīng)常談到量化交易模型的衰敗。那么，用什么標(biāo)準(zhǔn)來判斷模型的衰敗呢？ 我的個人思路是：繼續(xù)用假設(shè)檢驗(yàn)這個方法來檢驗(yàn)。就是如 果你在不斷的交易過程中你的后期的一系列交易數(shù)據(jù)已經(jīng) 無法拒絕交易模型無效這一假設(shè)了，那么，這個時候即使你 的量化交易模型仍然還是盈利的，你也要小心了，至少應(yīng)該 降低倉位了。 這個高低開的日內(nèi)交易模型是很簡單的一種 模型了 ,止盈止損都是一個額度，50%對半開的隨機(jī)假設(shè)，這個直接套用硬幣的例子就可以。還有更復(fù)雜一點(diǎn)的，比如 趨勢交易模型，這種模型由于其趨勢交易追求高盈虧比的理 念，這種模型的勝率是低于 50%的

7、，一般在35%左右，但是 盈虧比可能高于3: 1。這種模型就不同于硬幣的例子了，無 法直接套用硬幣的計(jì)算結(jié)果，但是思路是一致的，有興趣的 朋友可以自己思考一下這種情況下應(yīng)該如何計(jì)算。注意事項(xiàng)：1.不可忘記或者因?yàn)槟├嬉蛩毓室馔洺闃咏y(tǒng)計(jì)中 的隨機(jī)原則。概率法則有效的前提是隨機(jī)抽樣。如果人為影 響樣本的抽取過程甚至制造假的樣本，則樣本對于總體的預(yù) 測價值是0甚至是相反的。在做量化交易模型測試時，務(wù)必 至少要有訓(xùn)練數(shù)據(jù)和盲測數(shù)據(jù)，在訓(xùn)練數(shù)據(jù)上表現(xiàn)優(yōu)異的模 型必須在盲測數(shù)據(jù)上也能足夠優(yōu)秀到可以拒絕模型無效的 假設(shè)，才可以考慮將模型運(yùn)用到實(shí)戰(zhàn)中。網(wǎng)上有不少賣模型 的人，給由的模型在歷史數(shù)據(jù)上的交易

8、曲線幾乎是一條無回 撤的上漲直線，但是，一旦實(shí)盤交易，就開始大幅度回撤， 很大的可能就是在于這個模型針對歷史數(shù)據(jù)做了非隨機(jī)性 的定向優(yōu)化，同時因?yàn)槔娴年P(guān)系模型開發(fā)者故意沒有做盲 測這一個過程。2.牢記假設(shè)檢驗(yàn)的原則，寧可錯過，不可做 錯。任何一個模型，在沒有足夠的數(shù)據(jù)證明這個模型是有效 前，均假設(shè)該模型為無效的。 這就是量化交易的痛苦的地方， 量化交易者最容易生現(xiàn)的情況是，花了很多時間，在訓(xùn)練數(shù) 據(jù)上挖掘由了一系列的可以拒絕無效假設(shè)的交易模型，跑到盲測數(shù)據(jù)上一一測試，均無法在0.05的顯著性水平上拒絕模 型無效的檢驗(yàn)，心拔涼拔涼的，感覺這么多時間的付由浪費(fèi) 了，心有不甘。再怎么心有不甘，也不

9、能自欺欺人的把沒有 拒絕無效假設(shè)的模型上線， 心有不甘總比虧錢好。3.要有風(fēng)險意識。即便是在0.05的顯著性水平下在訓(xùn)練數(shù)據(jù)、 盲測數(shù) 據(jù)甚至是新的實(shí)盤交易數(shù)據(jù)上全部拒絕無效假設(shè)，也不代表 這個模型一定是永遠(yuǎn)有效的。一方面，這是由于這種將低概 率事件近視為“不可能事件”的假設(shè)檢驗(yàn)方式?jīng)Q定的。另一 方面，也是很重要的一方面，就是可能隨著時間的變遷，市 場本質(zhì)特征發(fā)生變化了，你這個模型背后所體現(xiàn)的那個影響 市場的因素發(fā)生變化了。說到量化交易模型背后所體現(xiàn)的因素，我展開多說一點(diǎn)。近幾日和小魚在微博上討論了概率 是否在金融市場上可以運(yùn)用和市場是否可以預(yù)測的問題。否 認(rèn)市場可以預(yù)測的一個很有力的論據(jù)就是

10、影響市場走勢的 因素千千萬，交易者根本無法一一識別這些因素，更加難以 識別這些因素中每個因素的權(quán)重影響，故無法預(yù)測。那么， 有沒有可能存在這樣一種情況，就是我無法直接知道是哪些 因素影響了市場，但是我可以間接的通過一種方式預(yù)測市場 會以什么樣的概率運(yùn)動。我先說統(tǒng)計(jì)學(xué)上一個有趣的例子。在美國的中西部的一個小鎮(zhèn)上，人們發(fā)現(xiàn)一個很有趣的不合 邏輯的現(xiàn)象，就是冰激淋的消費(fèi)量越高，犯罪率越高。這個 具體的兩個變量間的線性相關(guān)程度統(tǒng)計(jì)學(xué)里面是有專門的公式的?？傊?，就是經(jīng)過統(tǒng)計(jì)發(fā)現(xiàn)，犯罪率的高低與冰激淋 的消費(fèi)量存在強(qiáng)的正相關(guān)，即冰激淋銷量高時犯罪率高，冰 激淋銷量低時犯罪率低?，F(xiàn)在兩個問題：1.冰激淋銷量

11、是否可以預(yù)測犯罪率；2.如果人為控制改變冰激淋銷量，是否可 以改變犯罪率。 對于第2個問題，我想任何一個有生活常 識的人都會知道，犯罪率與冰激淋銷量完全無關(guān)，人為改變 冰激淋銷量并不能改變犯罪率。對于第1個問題，就會比較困惑了。因?yàn)槌ＷR告訴我們，冰激淋與犯罪無關(guān)，但是統(tǒng)計(jì) 學(xué)的數(shù)據(jù)又表明二者是正相關(guān)，那么到底是什么原因呢？慢 慢的，人們終于想到了天氣這一共同因素。冰激淋的銷量與 天氣緊密相關(guān)，天氣越熱銷量越高，同時，天氣越熱，人越 容易在室外活動，越容易開窗（導(dǎo)致偷盜概率增加），女性越 容易穿著暴露（導(dǎo)致性犯罪增加），人的心情也越煩躁（導(dǎo)致沖 動型犯罪增加）。于是，我們知道了，因?yàn)樘鞖膺@一共同

12、因素， 只要沒有人為的刻意影響冰激淋的消費(fèi)量，冰激凌的消費(fèi)量 是可以預(yù)測犯罪率的。其實(shí)，只要我們沒有人為的刻意影響 冰激淋的消費(fèi)量，即使我們不知道是因?yàn)樘鞖膺@一共同因 素，我們也可以用冰激淋銷量來預(yù)測犯罪率。現(xiàn)在說回到量化交易。假如，有這樣一個量化模型，無論是在訓(xùn)練數(shù)據(jù) 上還是盲測數(shù)據(jù)上還是在新的實(shí)盤交易數(shù)據(jù)上，均可以在0.05的顯著下拒絕模型無效的假設(shè)， 那么，我們有必要認(rèn)為， 在95以上的概率上，這個量化模型背后存在一種共同的影響因子能夠較大的影響市場的短期走勢，盡管，這個影響因 子到底是什么我們不知道，但只要這個因子在，這個量化模 型就仍然有效。因?yàn)槲覀儾恢肋@個因子是什么，所以我們 更加不可能直接的發(fā)現(xiàn)這個因子是否已經(jīng)變化了，我們?nèi)匀?只能通過這個量化模型的之后的表現(xiàn)來間接預(yù)測。如果量化 模型一直在0.05的顯著下拒絕無效的假設(shè)， 那么可以認(rèn)為這 個因子