金融大數(shù)據(jù)股票分析項目簡介

金融大數(shù)據(jù)股票分析平臺項目簡介XX科技股份有限公司編制目錄一、 金融大數(shù)據(jù)股票分析平臺項目背景 3二、 客戶情況及市場情況 31. 客戶情況 32. 市場情況 3三、 技術(shù)選型 3四、 項目團隊構(gòu)成 4五、 團隊成員技能需求 5

金融大數(shù)據(jù)股票分析平臺項目背景隨著我國經(jīng)濟的發(fā)展，經(jīng)濟體制改革以及金融體制改革的深入，證券投資已經(jīng)成為國民經(jīng)濟運作的一個不可缺少的部分，在資本市場中逐漸形成與銀行、保險三足鼎立之勢。通過此次數(shù)據(jù)分析，可以發(fā)現(xiàn)在選定的三支股票收盤價中，最高的是亞馬遜；大約從2015年2月4日起，亞馬遜的股票價格打破原本的僵局，開始迅速攀升；亞馬遜的股票成交量沒有太大程度的波動；唯有的兩次波動發(fā)生在兩次交易價變動最大的時候；股票價格波動對股票的成交量有著非常巨大的影響，兩者存在明顯的強相關(guān)關(guān)系；利用移動平均，將股票收盤價進(jìn)行移動平均后，發(fā)現(xiàn)股價的上升幅度明顯小于原本的收盤價；指數(shù)異同移動平均也可以觀察到，亞馬遜的股價上升的部分大于下跌。大數(shù)據(jù)技術(shù)日新月異，每天都會產(chǎn)生海量的數(shù)據(jù)，這些數(shù)據(jù)具有容量大，種類多，增長速度快，有價值的特點。股票投資市場也是如此，每天產(chǎn)生的股票數(shù)據(jù)量的增長難以預(yù)估,股票市場的價格走勢是不確定的，股票數(shù)據(jù)中隱含的有價值的信息很難被發(fā)覺。比如，股票的價格走勢，利潤趨勢，如何對股票的價格走勢，利潤趨勢進(jìn)行合理的推測，是現(xiàn)階段需要解決的一大難題。本文利用大數(shù)據(jù)技術(shù)來對每只股票的利潤進(jìn)行分析，計算，預(yù)測。為了解決股票大數(shù)據(jù)的處理的難題,我們提出了基于hadoop大數(shù)據(jù)的分布式并行計算框架設(shè)計方案；運用mapreduce模型完成對每只股票的運算，實現(xiàn)對股票數(shù)據(jù)的整合、計算，幫助人們找出股票中隱含的有價值的信息?？蛻羟闆r及市場情況客戶情況股市是市場經(jīng)濟的必然產(chǎn)物，在一個國家的金融領(lǐng)域之中有著舉足輕重的地位，并且對人們的經(jīng)濟生活有著越來越深刻的影響。隨著證券市場的逐步規(guī)范，人們的投資理念在不斷提高，在資本市場中逐漸形成與銀行、保險三足鼎立之勢。而且，它在籌集資金時，速度最快，能力最強，成本最低，最符合市場經(jīng)濟的規(guī)律。因此它的發(fā)展速度也是最快的。但是，股市的暴跌暴漲會對金融市場產(chǎn)生很大的震蕩，將會直接影響到金融市場的穩(wěn)定和經(jīng)濟的健康發(fā)展。市場情況隨著大數(shù)據(jù)技術(shù)的蓬勃發(fā)展,越來越多的數(shù)據(jù)等著我們?nèi)プR別,讀取,歸類,計算。針對于股票市場,如何利用大數(shù)據(jù)技術(shù)去發(fā)掘股票中隱含的眾多有價值的信息,幫助股民合理購買股票,獲得最大利潤是我們急需解決的難題,目前在股票領(lǐng)域的大數(shù)據(jù)研究尚不完善。因此，我們提出利用hadoop分布式框架來對每只股票的利潤進(jìn)行分析的方案，用到的主要技術(shù)是分布式并行計算(mapreduce)和分布式文件存儲系統(tǒng)(HDFS)。對于每只股票的數(shù)據(jù)會冗雜在一起,形成龐大的數(shù)據(jù)量的情況，目前比較主流的海量數(shù)據(jù)存儲系統(tǒng)主要采用HDFS文件系統(tǒng)。目前,在股票行業(yè)中,每支股票每天產(chǎn)生的數(shù)據(jù)量難以預(yù)估，隱含的有價值的信息難以提取,如,開盤時間,閉盤時間,開盤價格,閉盤價格,多個特征中如何提取有用信息,如何有效準(zhǔn)確的計算股票數(shù)據(jù),在該領(lǐng)域的研究還有待完善。對于股票數(shù)據(jù)的分析處理問題,我們提出了合理可行的方案,基于Hadoop的并行式計算框架運用了HDFS存儲機制和Mapreduce的并行式運算,可以有效合理的解決上述問題?；趆adoop大數(shù)據(jù)的分布式并行計算框架設(shè)計方案,依賴快速高效的mapreduce,實現(xiàn)實時大數(shù)據(jù)的復(fù)雜計算,提供每一支股票的年利潤、總利潤、平均利潤等特征,并對明年股票進(jìn)行分析和預(yù)測。技術(shù)選型CDH/FlumeKafka 數(shù)據(jù)采集，結(jié)合數(shù)據(jù)流技術(shù)對接各類應(yīng)用系統(tǒng)及數(shù)據(jù)庫的數(shù)據(jù)資源CDH/HDFS 文件類數(shù)據(jù)整合與存儲，HADOOP技術(shù)路線CDH/HBASE 格式類數(shù)據(jù)整合與存儲，HADOOP技術(shù)路線CDH/HIVE 數(shù)據(jù)清洗CDH/SPARK 離線數(shù)據(jù)開發(fā)及處理FLINK 實時數(shù)據(jù)開發(fā)及處理CDH/SPARK 數(shù)據(jù)服務(wù)及安全CDH/YARN+CM 數(shù)據(jù)負(fù)載及集群管理CDH/HIVESparkML 數(shù)據(jù)分析及智能TABLEAU 針對數(shù)據(jù)分析及智能提供自助式或嵌入式的可視化分析圖表ELASTICSEARCH 針對數(shù)據(jù)分析及智能提供面向用戶的全局?jǐn)?shù)據(jù)探索或面向應(yīng)用的全局?jǐn)?shù)據(jù)搜索HADOOPYARN 針對數(shù)據(jù)服務(wù)及安全類應(yīng)用的定制開發(fā)提供微服務(wù)運行環(huán)境技術(shù)管理工具項目團隊構(gòu)成姓名性別學(xué)歷職稱專業(yè)工作單位項目中的分工每年工作時間(月)簽字成員A男本科高級大數(shù)據(jù)工程師應(yīng)用電子技術(shù)XX科技股份有限公司項目管理12成員B男本科高級大數(shù)據(jù)工程師體育醫(yī)學(xué)技術(shù)總監(jiān)12成員C男本科中級軟件