《基于大數(shù)據(jù)算法的股價因素及價格預(yù)測分析》8000字

[13]差離值(DIF)形成快線，信號線(DEM)形成慢線，當(dāng)差離值(DIF)從下而上穿過信號線(DEM)，為買進信號；相反若從上而下穿越，為賣出信號。棒形圖會根據(jù)正負(fù)值分布在零軸(X軸)的上下。棒形圖在零軸上方時表示走勢較強，反之則是走勢較弱。差離值由下而上穿過零軸代表市場氣氛利好商品價格，相反由上而下則代表利淡商品價格。差離值與信號線均在零軸上方時，被稱為多頭市場，反之，則被稱為空頭市場。當(dāng)商品價格創(chuàng)新低，但MACD并沒有相應(yīng)創(chuàng)新低(牛市背離)，視為利好(利多)信息，商品價格跌勢或?qū)⑼杲Y(jié)。相反，若商品價格創(chuàng)新高，但MACD并沒有相應(yīng)創(chuàng)新高(熊市背離)，視為利淡(利空)信息。更多MACD在交易中的應(yīng)用讀者可參考MOVINGAVERAGECONVERGENCE-DIVERGENCE(MACD)。2.3平均值指標(biāo)計算及原理平均值指標(biāo)就是計算所有數(shù)據(jù)的平均值，通過累計求和然后除以樣本個數(shù)求得，具有很直觀的特點。平均值指標(biāo)一般是股票的中線，具有一定的參考價值。3開發(fā)理論和環(huán)境本文主要是通過Python語言來構(gòu)建股票分析模型。本文使用的開發(fā)環(huán)境為Python開發(fā)環(huán)境，使用主成分分析法來構(gòu)建分析模型。3.1Python簡介本研究實驗所搭配的軟件為Python程序語言。Python是一種簡單且十分強大的語言。它擁有高效的數(shù)據(jù)結(jié)構(gòu)，簡單有效的面向?qū)ο缶幊?。Python語言的本質(zhì)是具有簡明語法、動態(tài)類型和直譯。由于擁有這些特質(zhì)，Python語言已成為很數(shù)操作系統(tǒng)平臺和應(yīng)用領(lǐng)域中最受歡迎的語言、理想的快速開發(fā)應(yīng)用程序的語言。Python官方網(wǎng)站的網(wǎng)址為，如圖3.1所示。python版本的下載于Downloads處可下載近期釋放的各種版本信息。圖3.1Python官方網(wǎng)站Figure3.1PythonofficialwebsitePython語言的屬性，Python為許多廣受歡迎的程序設(shè)計語言，許多公司、科學(xué)家、業(yè)余和專業(yè)程序設(shè)計人員(應(yīng)用程序、云端/Web服務(wù)和網(wǎng)站)和應(yīng)用程序指令碼撰寫人員使用此語言來進行程序設(shè)計。Python有許多不錯的屬性：可靠性高。通常適用于編寫快速的程序、應(yīng)用程序指令碼撰寫、傳統(tǒng)型應(yīng)用程序、網(wǎng)頁服務(wù)器、Web服務(wù)、科學(xué)計算等。易于學(xué)習(xí)及良好的設(shè)計方式，有助于撰寫高品質(zhì)的代碼。支持各種程序設(shè)計的樣式：命令式、功能及對象導(dǎo)向。免費開放源代碼，在所有主要的操作系統(tǒng)上都能執(zhí)行。有許多免費、有用且設(shè)計良好的程序庫?；ヂ?lián)網(wǎng)上有很多可用的文件、范例和說明。3.2主成分分析法主成分分析法（principal-componentanalysis，PCA）是統(tǒng)計學(xué)領(lǐng)域的一種技術(shù)，它將一組離散的變量線性地投影到另一個較小的變量集上，這個變量集由相互線性獨立的元素組成，可以表示原始變量集的大部分信息。主成分分析的主要目的是建立一個能夠保存原始圖像信息的特征空間。然而，從圖形識別的角度來看，一個特征空間應(yīng)該能夠表達不同類型圖形數(shù)據(jù)的差異，這有助于提高分析效率。研究學(xué)者須找出影響問題變化的相關(guān)變因(變量)，進而對每個變量進行統(tǒng)計分析，了解它們之間個別的差異。一般就統(tǒng)計而言，變量間的方差越大，會使得受測者在這些主成分上顯出最大的個別差異，有利于了解變量影響問題之輕重程度，給予變量權(quán)重做加權(quán)平均，產(chǎn)生一個具代表性的指標(biāo)，便于分析評估。此外，在進行分析評估時，假若變量太過于復(fù)雜，會降低評估過程的困難度與復(fù)雜性，且當(dāng)遇到較多的變量時，常會碰到某些變量間存在共線性的問題，使得有些變量在選擇上是多馀的。為了希望所選擇的變量精簡、獨立且具代表性，又能解釋問題中較多的變異，在這兩者之間找到平衡點是十分重要的。主成分分析法能找出數(shù)值加權(quán)平均后的最大方差，它能將大量的高相關(guān)變量轉(zhuǎn)化為自變量，并能選擇少量的新變量來解釋數(shù)據(jù)中的大部分變化，也就是所謂的主成分，選取幾個主成分可以用來解釋原始數(shù)據(jù)的綜合指標(biāo)。主成分分析的目的是將原始數(shù)據(jù)中的多個相關(guān)變量轉(zhuǎn)化為新的自變量（即主成分），并用主成分來解釋原始數(shù)據(jù)中的大部分變化，這些新變量是所有原始變量的線性組合。當(dāng)原始數(shù)據(jù)包含n個變量X時，而經(jīng)轉(zhuǎn)換后的新變量為y，可用下列數(shù)學(xué)式來表示：PC1=y1+w11x1+w12x2+w13x3+w1nxnPC2=y2+w21x1+w22x2+w23x3+w2nxnPCn=yn+wn1x1+wn2x2+wn3x3+wnnxn上式中，PC1是第一主成分；PC2為第二主成分；等等。yi是按照解釋總變異比例的大小來排列，即var(y1)＞var(y2)＞…＞var(yn)，因此，第一主成分可以解釋原始數(shù)據(jù)的最大變化；第二主成分占第二位，且能解釋第一主成分未能解釋之變異；依此類推。所有主成分解釋的總方差將等于原始數(shù)據(jù)中的總方差，即：另外，轉(zhuǎn)換式中的w(weight，也就是權(quán)重)為轉(zhuǎn)換式中極其重要的參數(shù)，因此需求得此參數(shù)來作變量轉(zhuǎn)換。一般以電腦軟件進行主成分分析時，原始數(shù)據(jù)是以的矩陣形式來進行分析，先求出原始數(shù)據(jù)之共變異矩陣(Variance-covariancematrix；S)或相關(guān)系數(shù)矩陣(Correlationcoefficientmatrix；R)，再計算出S(或R)的特征值()，而每個主成分皆有其對應(yīng)的特征值，分別為,,…,，且＞＞…＞，緊接著會求出其所對應(yīng)的特征向量：所謂的特征向量即為上述提及的權(quán)重w，其中特征向量是正交(orthogonal)且獨立的，也就是，。當(dāng)原始變量共有n個，經(jīng)運算后可得到n個主成分個數(shù)，但為了達到簡化的目標(biāo)，只選取最大的p個新變量，來代替原來的n個變量。每一主成分(yi)解釋變異的比例為：而前P個主成分共同解釋全部變異的比例則為：在從事主成分分析時，另一點值得注意的是，如果分析的問題中變量的單位不一樣時，則應(yīng)將原始變量的數(shù)據(jù)標(biāo)準(zhǔn)化，然后再進行分析。主要原因在于，如果單位不一樣時，分析所得的主成分也會跟著改變。此時可使用相關(guān)矩陣R取代共方差矩陣S再求特征值及特征向量。4系統(tǒng)實現(xiàn)4.1讀取數(shù)據(jù)根據(jù)上述的算法，本文選取了交易所的上證50指數(shù)和成分股。把當(dāng)日調(diào)整后的收盤價作為指標(biāo)，為方便起見，我們采用了股指數(shù)據(jù)。后者是前者的延伸，具體的獲取代碼如下：#上證50成分股symbols=ts.get_sz50s()['code'].tolist()symbols.append('sh000016')#加上上證50指數(shù)#['600000','600016','600019','600028','600029','600030','600036','600048','600050','600104','600111','600276','600309','600340','600519','600547','600585','600606','600690',',']indexes=pd.date_range('2014-01-01','2018-07-06',freq='B')#為了保持和從toshare獲取的時間序列類型一致，這里把時間類型轉(zhuǎn)為字符串indexes=indexes.map(lambdax:datetime.datetime.strftime(x,'%Y-%m-%d'))通過保持為CSV文件后，本文pandas包里的read_csv()，在Python語言中獲取數(shù)據(jù)。4.2PCA分析本文通過代碼KernelPCA()來獲取進行具體PCA方法調(diào)用，然后通過KernelPCA().fit進行具體的數(shù)據(jù)分析。本文通過pca.lambdas_[:10].round()獲取到前10個主要成分，然后通過lambdax:x/x.sum()獲取到每種成分的重要性占比。本文研究發(fā)現(xiàn)get_we(pca.lambdas_)[:6].sum()已經(jīng)超過占比95%，也就是前6種成分基本可以解釋股價，而這六種指標(biāo)分為為開盤價、收盤價、當(dāng)天成交量、五日股價平均值、十日股價平均值、五天平均成交量。通過PCA的5個主要指標(biāo)，對股票價格進行分析，發(fā)現(xiàn)基本和股票價格變化趨勢差不多，具體如下：pca=KernelPCA(n_components=5).fit(data.apply(scale_function))pca_components=pca.transform(data)#當(dāng)參數(shù)為-data時畫出的圖是負(fù)相關(guān)，所以不加負(fù)號weights=get_we(pca.lambdas_)sh50['PCA_5']=np.dot(pca_components,weights)sh50.apply(scale_function).plot(figsize=(8,4))圖4-1PCA和真實價格對比圖如圖4-1所示，本文以股票的的實際情況和PCA預(yù)測的情況進行對比。從與報酬率的關(guān)系來看，股東權(quán)益報酬率、股價凈值比、營收成長率與實際情況相合，但總市值、系統(tǒng)風(fēng)險與報酬率的關(guān)系與傳統(tǒng)的理論相反。一個可能的原因是這兩個因子與股價凈值比可能有共線性存在，造成t統(tǒng)計無法正確判定它們與因變量(報酬率)的關(guān)系。表4-1PCA分析摘要表Residualdf9740MultipleR-squared0.033553493Std.Dev.estimate0.2838622ResidualSS784.8273315表4-2PCA分析模型InputvariablesCoefficientStd.Errorp-valueSSConstantterm0.53166890.0232587702432.461426ROE20.191598010.0315452904.10540152PBR2-0.242001910.03829025019.27715111MV20.076921610.01835020.000032760.69960749Beta(250D)2-0.030331590.011304910.007539151.13510275VOL6-0.042109750.017037150.013784030.57408714P60.028947930.010835830.007799550.45042932月報酬率6-0.011824330.028104220.674133480.00892256ROC0.028621630.011876740.016320390.1378103MRP-0.031131050.012444410.012684160.46771494SIZ-0.028536160.026238570.27731520.11685124BTM-0.015849290.012132930.192054730.1392799MOM0.012887910.010036570.199708240.13311499SNT-0.004530180.025775460.860557730.00248905表4-3PCA分析誤差TotalsumofsquarederrorsRMSErrorAverageErrorTrainingData784.82730240.2836584181.07591E-08ValidationData583.09844480.2832847820.001040149通過表4-1到表4-3可知，本文建立的PCA模型與真實的股價模型具有很好的一致性。5結(jié)論本論文運用人工智能方法處理市場中相當(dāng)重要的課題─商品價格分析。運用大數(shù)據(jù)運算的學(xué)習(xí)能力作為主軸，并針對大數(shù)據(jù)的輸入信息進行特征選取與調(diào)整其參數(shù)建構(gòu)合適的分析模型。將交易數(shù)據(jù)帶入所建構(gòu)的模型進行分析，從中挑選出相對優(yōu)秀的公司作為投資標(biāo)的。由實驗結(jié)果證實本論文所提出的分析策略可有效地找出在收益表現(xiàn)上相當(dāng)杰出的分析模型，在實用性的驗證上此方法也可在大部分的情形下超越大盤帶來更好的投資獲利。然而仍有少部分情形在實用性驗證中無法對信息做出正確的分析，其可能原因在于本論文尚未考慮市場趨勢，將股票市場數(shù)據(jù)視為單一趨勢會受到整體市場走向影響導(dǎo)致分析出現(xiàn)錯誤。若加入模型訓(xùn)練期的篩選可能有助于解決分析錯誤的情形發(fā)生。參考文獻TomWhite.Hadoop權(quán)威指南：大數(shù)據(jù)的存儲與分析(第4版)[M].清華大學(xué)出版社,2017:34-36.林子雨.大數(shù)據(jù)技術(shù)原理與應(yīng)用（第2版）[M].人民郵電出版社,2017:56-59.吳軍.智能時代大數(shù)據(jù)與智能革命重新定義未來[M].中信出版集團,2016:67-69.楊力.Hadoop大數(shù)據(jù)開發(fā)實戰(zhàn)[M].人民郵電出版社,2019:22-24.周維.Hadoop2.0-YARN核心技術(shù)實踐[M].清華大學(xué)出版社.2015:55-58.EricMatthes.Python編程從入門到實踐[M].人民郵電出版社.2016:90-92.\t"https://www.repository.cam.ac.uk/handle/1810/_blank"\o"ORCIDiD"Gerrard,David.DigitalpreservationatB