【大數(shù)據(jù)分析分享系列】商品信息數(shù)據(jù)分析及展現(xiàn)系統(tǒng)的設(shè)計(jì)與開發(fā)

1、【大數(shù)據(jù)分析分享系列】之商品信息數(shù)據(jù)分析及展現(xiàn)系統(tǒng)的設(shè)計(jì)與開發(fā)基于數(shù)據(jù)挖掘技術(shù)的智能化數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與開發(fā)濰坊物價(jià)信息數(shù)據(jù)分析及展現(xiàn)目錄背景: (1實(shí)現(xiàn)過程: (1一、數(shù)據(jù)獲取 (2數(shù)據(jù)來源: (2獲取方式: (21.使用Excel工具抓取 (22.使用RCurl爬蟲 (2二、數(shù)據(jù)展現(xiàn) (3展現(xiàn)方式: (3展現(xiàn)內(nèi)容: (31.價(jià)格分析 (3價(jià)格走勢: (3價(jià)格對比: (3全國商品價(jià)格 (42.居民消費(fèi)指數(shù) (6同比環(huán)比 (6CPI比例 (7各省月度CPI (83.商品流通情況 (94.各農(nóng)作物主要產(chǎn)地 (105.價(jià)格預(yù)測 (11三、數(shù)據(jù)預(yù)測 (12不足與展望: (19背景:商品價(jià)格和人們生活

2、息息相關(guān),比如農(nóng)產(chǎn)品價(jià)格波動(dòng)不僅會(huì)對農(nóng)民收入和農(nóng)民生產(chǎn)積極性產(chǎn)生直接影響,更關(guān)乎百姓的日常生活和切身利益。經(jīng)常看新聞看到農(nóng)民辛苦了一個(gè)季度的農(nóng)作物全都爛在地里,因?yàn)閮r(jià)格太低廉,或者沒有銷路。雖然說物價(jià)波動(dòng)是一種正常的經(jīng)濟(jì)現(xiàn)象,但是在一定程度上物價(jià)穩(wěn),人心才穩(wěn),社會(huì)才穩(wěn)。為保持經(jīng)濟(jì)平穩(wěn)健康發(fā)展、保障群眾生活,穩(wěn)定物價(jià),信息公開顯得尤為重要。價(jià)格監(jiān)測和預(yù)測是維持物價(jià)穩(wěn)定的一個(gè)重要環(huán)節(jié)。而對于商品價(jià)格、產(chǎn)量、以及銷路、銷量等數(shù)據(jù)公開,建立產(chǎn)品價(jià)格分析、監(jiān)測、預(yù)測平臺(tái)可以為相關(guān)政府管理部門提供生產(chǎn)調(diào)控、決策分析的依據(jù),成為農(nóng)門種植的依據(jù),避免盲目種植。國家也有譬如南菜北運(yùn)、西果東送等等政策但是數(shù)據(jù)實(shí)時(shí)

3、公開,友好的向全國人民展示我認(rèn)為還有很大的提升空間。實(shí)現(xiàn)過程:針對從價(jià)格信息網(wǎng)抓取來的數(shù)據(jù)利用eclipse工作平臺(tái)開發(fā)出了商品信息數(shù)據(jù)分析及展現(xiàn)系統(tǒng),實(shí)現(xiàn)了價(jià)格展示、價(jià)格分析、價(jià)格預(yù)測、居民消費(fèi)指數(shù)分析、商品流通情況以及作物主要產(chǎn)地及產(chǎn)量的展示。價(jià)格分析包括價(jià)格走勢、價(jià)格對比(市場之間對比、價(jià)格展示(各省對比。價(jià)格預(yù)測最后采用基于時(shí)間序列的神經(jīng)網(wǎng)絡(luò)算法做了初步短期價(jià)格預(yù)測。居民消費(fèi)指數(shù)CPI作為反映消費(fèi)者支付商品和勞務(wù)的價(jià)格變化情況,也是一種度量通貨膨脹水平的工具,主要包括同比環(huán)比及其漲跌情況、CPI構(gòu)成比例以及各省月度CPI展示等。分析結(jié)果以帶有時(shí)間軸的折線圖、柱狀圖、地圖熱力圖、餅狀圖形

4、式展示,界面美觀,和用戶交互性強(qiáng),簡單易懂。 一、數(shù)據(jù)獲取數(shù)據(jù)來源:濰坊物價(jià)信息網(wǎng);中華人民共和國國家統(tǒng)計(jì)局獲取方式:針對數(shù)據(jù)來源網(wǎng)站信息大多有規(guī)律的更新,但網(wǎng)頁數(shù)據(jù)結(jié)構(gòu)保持不變,使用的方式有兩種:1.使用Excel工具抓取1通過Excel從網(wǎng)頁導(dǎo)入數(shù)據(jù),選中自己要導(dǎo)入的數(shù)據(jù)。2新建宏,重復(fù)上步操作3觀察數(shù)據(jù)發(fā)布的網(wǎng)頁地址規(guī)律,修改宏代碼(使用該方法的好處是可用Excel對獲取來的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理2.使用RCurl爬蟲(方便對抓回來的數(shù)據(jù)用R直接對數(shù)據(jù)進(jìn)行相關(guān)分析計(jì)算數(shù)據(jù)處理:因?yàn)楦鞣N原因,價(jià)格信息網(wǎng)提供的商品價(jià)格信息有數(shù)據(jù)單位不統(tǒng)一、商品名稱不規(guī)范、市場名稱前后不一、缺失值等等問題。經(jīng)過對這

5、些數(shù)據(jù)的分析和總結(jié),對數(shù)據(jù)進(jìn)行了統(tǒng)一商品名稱格式、規(guī)范市場名稱、規(guī)范數(shù)據(jù)單位、去重和缺失值5方面的處理。存儲(chǔ)方式:將處理好的數(shù)據(jù),建好表結(jié)構(gòu)存儲(chǔ)到mysql數(shù)據(jù)庫中。二、數(shù)據(jù)展現(xiàn)展現(xiàn)方式:使用Echarts在網(wǎng)頁顯示。展現(xiàn)內(nèi)容:1.價(jià)格分析 價(jià)格走勢:這里主要展示的是將爬取來的每日商品價(jià)格數(shù)據(jù)按商品類型取平均值(右側(cè)圖例選擇要查看的商品類型,做曲線圖。通過下面時(shí)間軸拖動(dòng)、拉長查看某一范圍內(nèi)的價(jià)格走勢;也可通過區(qū)域縮放按鈕查看某一段曲線的詳細(xì)走勢。效果展示:(點(diǎn)擊圖片可放大 價(jià)格對比:針對從濰坊物價(jià)信息網(wǎng)獲取來的數(shù)據(jù),根據(jù)價(jià)格采集地點(diǎn)進(jìn)行價(jià)格對比。大體分為兩類:超市價(jià)格和集市價(jià)格。以柱狀圖的方式

6、可直觀的看出某天某種商品在不同地點(diǎn)的價(jià)格高低情況。如要查看2014-08-01的價(jià)格對比情況。 效果展示如下:鼠標(biāo)移動(dòng)切換標(biāo)簽展示集市商品價(jià)格對比。 全國商品價(jià)格在地圖上,以熱力圖的形式展現(xiàn)全國各省某種商品價(jià)格的高低。鼠標(biāo)懸停顯示具體價(jià)格信息。 此外,可以具體到某省下的各市價(jià)格展示: 繼續(xù)往下深入,具體到某市下各區(qū)、鎮(zhèn)價(jià)格展示(以濰坊市為例: 2.居民消費(fèi)指數(shù)CPI (Consumer price index 居民消費(fèi)指數(shù),反應(yīng)通貨膨脹或者緊縮的程度,一般來講,物價(jià)全面的持續(xù)的上漲就會(huì)被認(rèn)為發(fā)生的通貨膨脹。 同比環(huán)比(數(shù)據(jù)來自濰坊物價(jià)信息網(wǎng)可選擇查看整體CPI漲跌情況,或者影響CPI八大類中某

7、一類CPI漲跌情況。 如選擇食品類,還可繼續(xù)查看食品類下的具體漲跌情況 效果展示如下:下方為時(shí)間軸,可以選擇相關(guān)年份查看 CPI比例用餅狀圖的方式可直觀展現(xiàn)八大類及其分類對整體CPI的構(gòu)成影響。下方為時(shí)間軸,展現(xiàn)不同時(shí)間段的構(gòu)成比例。 各省月度CPI(下方為時(shí)間軸,可以選擇年月份查看 3.商品流通情況國家有南菜北運(yùn)、西果東送的政策,友好的相關(guān)信息展示,為合理分配資源開辟市場提供相關(guān)決策依據(jù)。 效果展示如下: 4.各農(nóng)作物主要產(chǎn)地 鼠標(biāo)懸停顯示產(chǎn)地產(chǎn)量信息。效果展示如下: 5.價(jià)格預(yù)測主要包含兩部分:1 .價(jià)格預(yù)警 2.商品價(jià)格預(yù)測價(jià)格預(yù)警:采用Ajax技術(shù)每隔一小時(shí)自動(dòng)刷新屬于,紅色為預(yù)警標(biāo)識(shí)

8、。計(jì)算上一周價(jià)格移動(dòng)平均值,和當(dāng)前價(jià)格做差,漲跌絕對值大于0.5紅色箭頭標(biāo)識(shí)預(yù)警。效果展示如下: 商品價(jià)格預(yù)測(以大白菜價(jià)格為例:虛線為預(yù)測價(jià)格,實(shí)線為實(shí)際價(jià)格 三、數(shù)據(jù)預(yù)測預(yù)測工具:rapidminer數(shù)據(jù)來源:濰坊物價(jià)信息網(wǎng)實(shí)現(xiàn)算法:基于時(shí)間序列神經(jīng)網(wǎng)絡(luò)的短期價(jià)格預(yù)測實(shí)現(xiàn)過程:(以大白菜價(jià)格為例訓(xùn)練集:選取2013-2014內(nèi)大白菜的價(jià)格。測試集:抽取1/3作為測試集。預(yù)測模型:方案有兩種一是采用支持向量機(jī)SVM,二是采用神經(jīng)網(wǎng)絡(luò),下面對兩種模型進(jìn)行評估。指數(shù)平滑和移動(dòng)平均模型如下:首先使用支持向量機(jī)進(jìn)行移動(dòng)平均和指數(shù)平滑的計(jì)算(這里窗口大小設(shè)為5, alpha設(shè)為0.8 部分結(jié)果如下:

9、折線圖如下: 可以看出移動(dòng)平均線和本期實(shí)際價(jià)格有一定誤差,而指數(shù)平滑出來的價(jià)格exponential_smoothing(本期價(jià)格和本期價(jià)格基本重合,而趨勢線(trend藍(lán)線效果不是很好。再使用神經(jīng)網(wǎng)絡(luò)進(jìn)行移動(dòng)平均和指數(shù)平滑的計(jì)算(參數(shù)設(shè)置如上 部分結(jié)果如下: 折線圖如下: 可以看出時(shí)間序列幾何平均法(average和本期價(jià)格誤差不大,而指數(shù)平滑exponential_smoothing基本和本期價(jià)格一致。趨勢線基本符合價(jià)格漲跌情況,在14年4月出現(xiàn)了大幅度上升,這樣就能發(fā)現(xiàn)價(jià)格異常的產(chǎn)品,從而對其價(jià)格預(yù)警。為了評估模型預(yù)測的精度,加入時(shí)間序列包中Validation 操作符,并設(shè)定好相關(guān)參數(shù)

10、。 Validation 操作符內(nèi)部需要放置某種算法,這里采用支持向量機(jī) SVM: 預(yù)測精度: 下面再采用神經(jīng)網(wǎng)絡(luò)Neural Net 比較一下預(yù)測精度: 預(yù)測精度: 可以看出采用神經(jīng)網(wǎng)絡(luò)預(yù)測精度高一些,所以下面采用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行模型訓(xùn)練及預(yù)測。這里窗口大小設(shè)為5 模型如下: 預(yù)測結(jié)果如下： 紅色線為實(shí)際價(jià)格 ，藍(lán)色線為預(yù)測價(jià)格。 從圖中可以看出，預(yù)測價(jià)格基本還行。 不足與展望： 因?yàn)闀r(shí)間和能力有限， 作品本身還有很大的提升空間。比如數(shù)據(jù)抓取和處理 沒有實(shí)現(xiàn)完全自動(dòng)化。 數(shù)據(jù)預(yù)測因素單一，需要收集更多的數(shù)據(jù)來進(jìn)一步產(chǎn)品價(jià) 格預(yù)測精度，及時(shí)發(fā)現(xiàn)價(jià)格異常的農(nóng)產(chǎn)品。商品價(jià)格波動(dòng)的主導(dǎo)因素很復(fù)雜，像 供需關(guān)系、生產(chǎn)成本、自然條件、科技發(fā)展、運(yùn)輸存儲(chǔ)、國家政策、自然災(zāi)害等 都是造成價(jià)格波動(dòng)的主導(dǎo)因素。 這也為提高商品價(jià)格預(yù)測的精度帶來了很多困難。 19 如何有效、準(zhǔn)確的預(yù)測商品價(jià)格還需要繼續(xù)學(xué)習(xí)和研究。 自己對物價(jià)這方面的研究很有興趣，因?yàn)樗腿藗兊纳钕⑾⑾嚓P(guān)，一方面 對農(nóng)民收入和農(nóng)民積極性產(chǎn)生