二手車銷售分析項目解決方案說明書

二手車銷售分析項目解決方案說明書XX科技股份有限公司編制

目錄TOC\o"1-3"\h\u一、項目存在問題及需解決問題 31.存在問題 32.需解決問題 4二、解決方案 51.解決方案總體架構(gòu) 52.核心技術(shù) 6三、開發(fā)范圍 91.數(shù)據(jù)生產(chǎn) 92.數(shù)據(jù)采集/消費 93.數(shù)據(jù)分析 104.數(shù)據(jù)展示 11

項目存在問題及需解決問題存在問題（1）缺乏標準化、透明化的車輛歷史信息。面向社會大眾公開車輛歷史信息，包括車輛配置、車齡、里程數(shù)、維修記錄等各項相關(guān)信息，實現(xiàn)車輛信息的標準化、透明化，提供可靠的數(shù)據(jù)和可信的車輛歷史報告，有助于促進車輛流通，提升二手車交易的透明度和公平性，而且能夠保障消費者的合法權(quán)益。另外，標準、透明的車輛歷史信息也有助于推動二手車市場健康可持續(xù)發(fā)展，可以對推動二手車上下游產(chǎn)業(yè)及其他產(chǎn)業(yè)的融合發(fā)展做出很大的貢獻。目前，阻礙獲取標準化、透明化的車輛歷史信息的關(guān)鍵因素之一是關(guān)于車輛歷史信息的權(quán)限界定，法律或法規(guī)層面并未明確界定此類信息是否歸為隱私信息，這也使得部分廠商和相關(guān)機構(gòu)會阻撓社會大眾對汽車信息的獲取。（2）尚未形成消費者認可的檢測認證車況的檢測一直是二手車流通領(lǐng)域消費者最大的痛點，也是影響二手車交易的關(guān)鍵因素之，如何為消費者提供具備公信力的檢測認證報告也是各大廠商或機構(gòu)最重要的競爭因素。二手車是非標商品，一車一況的復(fù)雜程度以及行業(yè)多年來的信息不對稱，對消費者實際購車造成了信任層面的障礙。目前，二手車市場的消費人群非?？捎^，其發(fā)展的重點是如何提供消費者認可的檢測認證，保證二手車交易過程的誠信度。嚴格可靠的車輛檢測認證不僅能吸引更多的二手車買家，也為二手車賣家提供良好的保障。（3）缺乏海量的匹配數(shù)據(jù)在近20年，國內(nèi)的二手車市場雖蓬勃發(fā)展，但較其他國家成熟的二手車市場相比，仍處于起步階段，這也意味著可統(tǒng)計并提供給二手車殘值研究的信息量不足。此方面主要存在的困難是:國內(nèi)汽車市場中共有3萬多種車型，每種車型的銷售大概為3年期，同時也要考慮該車型在全國300多個城市中表現(xiàn)的地區(qū)差異，也就是每個車型建立一個參考模型就需要多于2700萬的數(shù)據(jù)量，而鑒于我國二手車市場的發(fā)展現(xiàn)狀和交易情況，缺乏海量的數(shù)據(jù)源，在模型匹配方面仍有很長的路要走。（4）二手車歷史數(shù)據(jù)具有很強的時效性目前，汽車產(chǎn)品更新?lián)Q代快，結(jié)構(gòu)升級、技術(shù)創(chuàng)新層出不窮，加之市場經(jīng)濟條件下市場行情多變難測，使二手車殘值研究和評估工作都具有極強的動態(tài)性、時效性。要保證評估的準確可信，不僅要在具體工作中掌握有關(guān)的賬面原值、凈值、手續(xù)等歷史依據(jù)，更要結(jié)合評估當下二手車市場的現(xiàn)實價格和行情。（5）區(qū)域化特征及殘值曲線變化復(fù)雜在全國300多個城市中，不同車型會表現(xiàn)出不同的區(qū)域特征。對二手車殘值和估價進行研究除了要考慮-般車況之外，還要綜合區(qū)域化特征，如居民消費水平、消費偏好等，才能得到可信的研究報告。另外，二手車價格曲線變化復(fù)雜，難以通過傳統(tǒng)的辦法對各車型價格進行預(yù)估。需解決問題二手車市場在互聯(lián)網(wǎng)時代有了全新的發(fā)展模式，并且在互聯(lián)網(wǎng)技術(shù)發(fā)展的帶動下，吸引了更多的廠商/機構(gòu)和用戶投人到二手車市場。目前，互聯(lián)網(wǎng)已經(jīng)滲透到二手車產(chǎn)業(yè)的各個環(huán)節(jié)，包括車輛拍賣、二手車寄售、信息服務(wù)等?；诨ヂ?lián)網(wǎng)的二手車市場能夠存儲海量的數(shù)據(jù)，不僅能為社會大眾提供更便捷的服務(wù)，也更便于統(tǒng)計分析二手車交易數(shù)據(jù)，為二手車的殘值分析和估價應(yīng)用提供了更強大的數(shù)據(jù)支撐。眾調(diào)科技將從眾多數(shù)據(jù)源獲取的海量數(shù)據(jù)進行信息審核和數(shù)據(jù)整合、清洗，并歸納到其礎(chǔ)數(shù)據(jù)庫，對數(shù)據(jù)進行實時更新和管理。對已挖掘到的有效信息進行數(shù)據(jù)統(tǒng)計分析，尋找二手車殘值的影響因素，利用各種數(shù)據(jù)分析工具構(gòu)建二手車殘值模型，實現(xiàn)二手車的估價應(yīng)用。解決方案 解決方案總體架構(gòu)HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于FayChang所撰寫的Google論文“Bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。系統(tǒng)采用面向?qū)ο蟮能浖O(shè)計方法，把整個系統(tǒng)看作是多個離散對象的組合。系統(tǒng)設(shè)計時，首先把業(yè)務(wù)流程分解成功能模塊及其業(yè)務(wù)實體對象，然后根據(jù)業(yè)務(wù)流程分析對于這些業(yè)務(wù)實體對象的操作方法，形成業(yè)務(wù)處理對象，最后把各個功能模塊關(guān)聯(lián)起來，形成系統(tǒng)。軟件設(shè)計是一個將需求轉(zhuǎn)變?yōu)檐浖倪^程，系統(tǒng)通過逐步求精使得設(shè)計陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設(shè)計思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務(wù)處理邏輯分離。系統(tǒng)采用參數(shù)化的設(shè)計思想，定義和管理系統(tǒng)的實體及配置，調(diào)整實體以適應(yīng)外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實現(xiàn)的平臺無關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶操作的交互性，保證實際使用的易用性。系統(tǒng)采用echarts可視化框架實現(xiàn)數(shù)據(jù)展示。核心技術(shù)HadoopHadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應(yīng)用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對象）映射成數(shù)據(jù)庫中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫，提供直觀，生動，可交互，可個性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應(yīng)用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標準化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網(wǎng)站的開發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫。HiveHive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能；可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復(fù)雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進行數(shù)據(jù)提取轉(zhuǎn)化加載，用來存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實現(xiàn)對map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴展性。HBASEHBase–HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。ZookeeperZooKeeper是一個分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。它是一個為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護、域名服務(wù)、分布式同步、組服務(wù)等。FlumeFlume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開發(fā)范圍數(shù)據(jù)生產(chǎn)對于該模塊的業(yè)務(wù)，即數(shù)據(jù)生產(chǎn)過程，一般并不會讓你來進行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項目的一體化方案的設(shè)計（數(shù)據(jù)的產(chǎn)生、存儲、分析、展示），則必須清楚每一個環(huán)節(jié)是如何處理的，包括其中每個環(huán)境可能隱藏的問題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費數(shù)據(jù)采集模塊（消費），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們在此需要將實時數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線