從數(shù)據(jù)到價(jià)值的轉(zhuǎn)變

在衣食住行中，天氣除了對(duì)“住”沒(méi)太大直接影響之外，我們的穿衣、出行、農(nóng)作物的生長(zhǎng)，都與其息息相關(guān)，在歷史上的許多戰(zhàn)爭(zhēng)中，狂風(fēng)、暴雨、冰雹、迷霧都曾發(fā)揮過(guò)扭轉(zhuǎn)戰(zhàn)局的奇效，而在金融戰(zhàn)場(chǎng)上，農(nóng)產(chǎn)品領(lǐng)域的天氣行情也屢屢上演。天氣預(yù)報(bào)的作用自然不必贅述，而人類(lèi)是如何預(yù)報(bào)天氣的呢？1913年英國(guó)的天氣預(yù)報(bào)員都會(huì)監(jiān)測(cè)當(dāng)天的天氣情況，然后找到與這天氣的天氣情況相似的過(guò)去某天的天氣記錄，此時(shí)的天氣預(yù)測(cè)是在假設(shè)以前的氣候狀況會(huì)重復(fù)的基礎(chǔ)上進(jìn)行的，這不就跟我們交易中運(yùn)用的圖表分析非常類(lèi)似嗎？這時(shí)天氣預(yù)報(bào)更像是一門(mén)藝術(shù)而不是科學(xué)。當(dāng)時(shí)有個(gè)科學(xué)家理查森提出利用物理和數(shù)學(xué)知識(shí)，比如流體運(yùn)動(dòng)方程等等，就能預(yù)測(cè)第二天的天氣。在當(dāng)時(shí)的情況下，要想預(yù)測(cè)6個(gè)小時(shí)后的天氣情況，需要一個(gè)專(zhuān)業(yè)人員6個(gè)星期左右的計(jì)算與準(zhǔn)備時(shí)間，而且是一天24小時(shí)不眠不休地連續(xù)工作6個(gè)星期才能得出結(jié)果。他幾經(jīng)嘗試，得出的計(jì)算結(jié)果基本上全都錯(cuò)得離譜，計(jì)算過(guò)程中需要的資源無(wú)比讓人抓狂，他設(shè)想過(guò)一個(gè)天氣預(yù)報(bào)作坊：在一個(gè)鋪著世界地圖的大廳中，人工“計(jì)算器”坐了滿滿一屋子，一群精通數(shù)學(xué)的人們埋頭苦算各自桌子覆蓋區(qū)域的天氣情況。要想真正跟上變化無(wú)常的天氣，預(yù)報(bào)作坊至少需要20萬(wàn)人，所以1913年把天氣預(yù)測(cè)從一門(mén)藝術(shù)變成一門(mén)精確科學(xué)的夢(mèng)想也就不了了之了。一百年后的今天，我們的全球天氣預(yù)報(bào)系統(tǒng)在過(guò)去五年里對(duì)未來(lái)3天的天氣預(yù)測(cè)的準(zhǔn)確度已經(jīng)達(dá)到了95%，而這一取得巨大成功的系統(tǒng)正是源于理查森所描述的方法與理念，他之所以錯(cuò)得那么離譜，計(jì)算能力不足是一方面，他掌握的數(shù)據(jù)不足是另一方面。首先我們必須有足夠的數(shù)據(jù)，就拿海浪天氣預(yù)報(bào)來(lái)說(shuō)，最早的時(shí)候受限于科技水平，傳感器只能監(jiān)測(cè)海浪的能量，過(guò)了一陣子可以計(jì)算它的方向，再之后能夠計(jì)算它的傳播速度、偏度和峰度。傳感器布置的數(shù)量和廣度也從開(kāi)始的星星點(diǎn)點(diǎn)、零零散散，到后來(lái)覆蓋全部海岸線，從淺水到深水??想讓預(yù)報(bào)更加貼近于實(shí)際情況，我們需要在人類(lèi)生活的物理環(huán)境當(dāng)中廣泛部署微小的計(jì)算設(shè)備與無(wú)處不在的互聯(lián)網(wǎng)相結(jié)合，實(shí)現(xiàn)無(wú)處不在的信息自動(dòng)采集、傳遞和計(jì)算。現(xiàn)在的氣象系統(tǒng)依靠的是精密的氣象雷達(dá)、衛(wèi)星遙感器與不計(jì)其數(shù)的地面?zhèn)鞲衅鞯鹊?，地面和高空的溫度也?huì)在世界各地的氣象站即時(shí)更新。2011年10月，美國(guó)國(guó)家氣象局在全國(guó)2000輛運(yùn)輸大巴上裝備了傳感器，隨著巴士的移動(dòng)，這些傳感器可以收集沿途所有地點(diǎn)的溫度、濕度、露水、光照度等數(shù)據(jù)，并立刻傳回國(guó)家氣象局的數(shù)據(jù)中心，數(shù)據(jù)采集是每10秒鐘一次，每天傳感器采集10萬(wàn)次以上的數(shù)據(jù)。這些數(shù)據(jù)是實(shí)時(shí)的、高精度的，而不再需要像理查森那樣到處收集參差不齊的大氣情況數(shù)據(jù)。另外，高速計(jì)算機(jī)已經(jīng)取代了他要求的二十萬(wàn)左右的人工計(jì)算者，而且還規(guī)避了那些妨礙計(jì)算的不穩(wěn)定因素，這意味著，我們對(duì)于短期天氣將不再僅僅是“預(yù)”報(bào)，將逐漸走向“實(shí)”報(bào)與“精”報(bào)。然而當(dāng)我們想預(yù)報(bào)的周期越長(zhǎng)、范圍越是分散時(shí)，需要考慮的因素就越多，局面就越超出想象的復(fù)雜，它就越可能變得混沌而難以預(yù)測(cè)?？萍及l(fā)達(dá)至今天這般地步，我們對(duì)未來(lái)3天的天氣預(yù)測(cè)還有5%的不確定，如果我們對(duì)當(dāng)下的現(xiàn)象還有一絲不確定，那么不確定因素隨著周期擴(kuò)大，就會(huì)快速擴(kuò)大，使得長(zhǎng)期天氣預(yù)報(bào)變成徒勞，正是因?yàn)檫@個(gè)原因，現(xiàn)在人們還是難以預(yù)測(cè)兩周以后的天氣情況?？茖W(xué)家們還在不懈努力，驅(qū)使著他們的是一個(gè)從未動(dòng)搖過(guò)的信念：自然現(xiàn)象能夠被人類(lèi)理解、描繪、量化和預(yù)測(cè)，并最終受人的控制。大部分人對(duì)科學(xué)很是癡迷，而抱有這份信念的好處在我們身邊隨處可見(jiàn)。因?yàn)轭A(yù)言是人類(lèi)最古老的夢(mèng)想之一，如若我們能知道將來(lái)我們會(huì)遭遇些什么，我們能據(jù)此調(diào)整我們的策略并從這種知識(shí)中獲益。對(duì)于做交易的，這種夢(mèng)想尤甚。難道人類(lèi)的預(yù)知能力真的存在一種難以逾越的障礙，即使理論再?gòu)?qiáng)大、資料再充分、電腦再快也無(wú)濟(jì)于事？于是量化交易，又成為了很多人的一大夢(mèng)想，用公式打敗了市場(chǎng)的西蒙斯的大獎(jiǎng)?wù)聦?duì)沖基金又成為了人們的榜樣。復(fù)興科技里雇傭了一批大規(guī)模海量信息處理的行家里手，他們用超級(jí)電腦快速處理大量數(shù)據(jù)的優(yōu)勢(shì)來(lái)預(yù)判市場(chǎng)極短期的大概率方向，以捕獲過(guò)激情緒反應(yīng)的模式作為主要盈利手段。他們究竟是怎么做到的，西蒙斯曾經(jīng)說(shuō)過(guò)：“有效市場(chǎng)假說(shuō)是基本正確的，也就是說(shuō)，市場(chǎng)上沒(méi)有什么明顯的套利機(jī)會(huì)，但是，我們關(guān)注的是那些很小的機(jī)會(huì)，它們可能轉(zhuǎn)瞬即逝。這些機(jī)會(huì)出現(xiàn)之后我們會(huì)做出預(yù)測(cè)，然后進(jìn)行相應(yīng)的交易，交易之后，我們又對(duì)新的市場(chǎng)情況進(jìn)行跟蹤和評(píng)判，我們的預(yù)測(cè)也會(huì)作相應(yīng)調(diào)整，當(dāng)我們的預(yù)測(cè)變化之后，我們的投資組合也會(huì)跟著變化。我們整天做的就是這個(gè)事情，我們總是不停地買(mǎi)入，拋出，我們之所以賺錢(qián)，就是靠我們不停地交易?！睂ふ疫@類(lèi)機(jī)會(huì)，計(jì)算是否滿足各類(lèi)條件需要很強(qiáng)的計(jì)算能力，因?yàn)槟憧赡苄枰獙?duì)市場(chǎng)上的各種交易進(jìn)行連續(xù)監(jiān)控，獲取各類(lèi)數(shù)據(jù)，并且在最短的時(shí)間要做出響應(yīng)，我們根據(jù)已有的資料分析，這類(lèi)模型仍然是大獎(jiǎng)?wù)率褂米疃嗟囊活?lèi)模型：追蹤很短線的市場(chǎng)過(guò)激反應(yīng)，采取相應(yīng)的買(mǎi)賣(mài)手段，等待市場(chǎng)的回歸。西蒙斯自己也說(shuō)過(guò)：當(dāng)市場(chǎng)波動(dòng)性比較高時(shí)，大獎(jiǎng)?wù)碌哪Ｐ鸵话惚憩F(xiàn)比較好，大獎(jiǎng)?wù)率褂玫倪@類(lèi)短線過(guò)激反應(yīng)的模型正適合于市場(chǎng)上下起伏狀況：大家都摸不著北，一會(huì)要買(mǎi)，一會(huì)要賣(mài)，西蒙斯的電腦模型正好在渾水里摸魚(yú)。記者：您能說(shuō)說(shuō)大獎(jiǎng)?wù)禄鸬耐顿Y策略嗎？西蒙斯：沒(méi)什么能說(shuō)的。記者：你使用什么金融工具呢？西蒙斯：所有的。記者：您有多少種不同的交易策略？西蒙斯：很多。記者：您靠什么賺了那么多錢(qián)？西蒙斯：運(yùn)氣復(fù)興的一些交易策略著重分析那些較少為人所關(guān)注的數(shù)據(jù)來(lái)源，這些數(shù)據(jù)來(lái)源較少被人關(guān)注一般是有原因的，常常是所需要的技術(shù)的復(fù)雜程度很高。比如記錄市場(chǎng)里的所有掛單，特別是一些巨額掛單，關(guān)注他們是否撤銷(xiāo)，是否成交，如果沒(méi)撤掉，被吃掉之后，行情短期內(nèi)可能怎么走，怎么跟進(jìn)；如果撤掉了，又可能怎么走，怎么應(yīng)對(duì)，等等，普通人腦可以憑借經(jīng)驗(yàn)對(duì)幾個(gè)自己熟悉的品種進(jìn)行類(lèi)似的關(guān)注和操作，而超級(jí)計(jì)算機(jī)可以通過(guò)機(jī)器學(xué)習(xí)關(guān)注所有品種，全球的所有品種。（機(jī)器學(xué)習(xí)，是人工智能的一個(gè)分支，通過(guò)在大量數(shù)據(jù)上運(yùn)行分析程序，達(dá)到讓計(jì)算機(jī)自動(dòng)學(xué)習(xí)，積累智能的目的。）復(fù)興成功的秘密不在一個(gè)公式上：它有很多不同的公式，適用于不同的工具和不同的市場(chǎng)條件；而且量化投資的模型一般會(huì)隨著時(shí)間的推移而出現(xiàn)“疲勞”，所以任何量化基金都需要不停地改進(jìn)自己的模型，這個(gè)過(guò)程通常是交叉和變異的過(guò)程：對(duì)已有模型的參數(shù)進(jìn)行更改，在模型上加上其他一些條件，或者將兩種模型套用，有時(shí)候也會(huì)加一些全新的模型。它另外還有很多公式，幫助它進(jìn)行風(fēng)險(xiǎn)管理（何時(shí)入市、何時(shí)止損、何時(shí)止盈、每種交易公式之間的權(quán)重分配，杠桿的配置等）；它還有很多公式控制公司的交易成本。退一萬(wàn)步，如果西蒙斯把大獎(jiǎng)?wù)滤械墓蕉冀怀鰜?lái)，能把這些公式變成錢(qián)的公司和個(gè)人在全球仍然是屈指可數(shù)。同樣是在做短線交易，大多數(shù)人會(huì)疲勞，會(huì)犯錯(cuò)，會(huì)失控，再加上交易成本對(duì)利潤(rùn)的吞噬，難逃虧損的結(jié)局，但電腦程序只要在設(shè)計(jì)時(shí)，在細(xì)節(jié)考慮上足夠全面，至少能讓自己立于不敗之地。孫子兵法有云：“不可勝在己，可勝在敵”，只要自己不出現(xiàn)非受迫性失誤，等著別人失誤就可以得分了，等別人大量犯錯(cuò)的時(shí)候，它就能夠成為少數(shù)的持續(xù)性贏家。讓我們從廣義的角度來(lái)看看數(shù)據(jù)是如何轉(zhuǎn)化成價(jià)值的：在信息爆炸的社會(huì)，人類(lèi)可以“分析和使用”的數(shù)據(jù)在大量增加，呈指數(shù)級(jí)增長(zhǎng)，各種傳感器的劇增，高清晰度的圖像和視頻，都是數(shù)據(jù)爆炸的原因。我們的注意力，都在被各種各樣的信息和數(shù)據(jù)消費(fèi)著，信息越豐富，就會(huì)導(dǎo)致我們的精力越匱乏??信息并不匱乏，匱乏的是我們處理信息的能力，我們有限的時(shí)間和注意力是我們的主要瓶頸。如何收集、過(guò)濾、保存、維護(hù)、管理、分析、共享正在呈指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)是我們必須面對(duì)的一個(gè)重要挑戰(zhàn)。如圖所示我們從規(guī)模和價(jià)值兩個(gè)維度，把所有數(shù)據(jù)分為三類(lèi)：A數(shù)據(jù)價(jià)值2信息數(shù)據(jù)規(guī)棋繼大的，價(jià)值越小數(shù)據(jù)數(shù)據(jù)規(guī)模從數(shù)援到價(jià)值的轉(zhuǎn)變賦予背景信息扌觴規(guī)律知識(shí)指導(dǎo)實(shí)踐數(shù)據(jù)只是數(shù)字化的記錄，其本身并無(wú)意義；把原始數(shù)據(jù)放蚤到一定的背景下，對(duì)數(shù)字進(jìn)行解釋、賦予意義，就變成了信息;而通過(guò)對(duì)信息的進(jìn)一步整合*分析.深耕和挖掘，人類(lèi)可以發(fā)現(xiàn)新的矢頌；數(shù)據(jù)是信息的載體.是知識(shí)的源泉，當(dāng)然也就可以創(chuàng)造新的價(jià)值.效用和利潤(rùn)。針對(duì)過(guò)去，掲示規(guī)律1r扌分析針對(duì)過(guò)去，掲示規(guī)律1r扌分析k數(shù)據(jù)挖掘面對(duì)旃預(yù)躺勢(shì)預(yù)測(cè)性

分析blog.sirisLCorrLcn/u/210/o/ol12要玩轉(zhuǎn)數(shù)據(jù)需要：做好數(shù)據(jù)收集工作；做好數(shù)據(jù)挖掘工作；把知識(shí)化為真正的行動(dòng)。以學(xué)習(xí)一項(xiàng)技能為例：我們可以用自我量化的形式開(kāi)始收集數(shù)據(jù)：自我量化是指利用計(jì)算機(jī)、智能手機(jī)以及各種新的電子便攜感應(yīng)器來(lái)記錄自己學(xué)習(xí)、工作、運(yùn)動(dòng)、休息、娛樂(lè)、飲食、心情等等個(gè)體行為的情況，就像我們需要對(duì)體重、身高、血壓、心跳等物理指標(biāo)進(jìn)行監(jiān)控一樣。自我量化的主張者認(rèn)為，為了更好地了解我們、提高自己，我們必須要用數(shù)據(jù)來(lái)記錄、研究、分析自己的行為。其理由在于：人的感覺(jué)中存在盲點(diǎn)，直覺(jué)不可信任，理性思維也有局限，大腦即使有驚人的記憶力，也未必有驚人的信息加工能力。很多時(shí)候，我們會(huì)高估自己的理性，低估情緒對(duì)我們的影響。認(rèn)識(shí)自己雖然很難，但非常重要。基于數(shù)據(jù)的記錄和分析，可以幫助我們走出錯(cuò)覺(jué)。認(rèn)識(shí)真正的自己。一邊實(shí)踐，一邊進(jìn)行相應(yīng)的記錄，累積成數(shù)據(jù)庫(kù)，當(dāng)你從自我量化中，認(rèn)識(shí)了真正的自己，發(fā)現(xiàn)了自己真正的長(zhǎng)處和短處在哪里，哪里需要改進(jìn)和提高，哪里需要回避，哪里可以大膽發(fā)揮，然后逐漸地去改變自己。從知識(shí)過(guò)渡到實(shí)踐很困難，通往不幸有一個(gè)最簡(jiǎn)單的步驟：什么也不做。遺憾的是，我們大多數(shù)人知道了該怎么做之后，正