電子支付大數(shù)據(jù)項目解決方案說明書

電子支付項目解決方案說明書XX科技股份有限公司編制目錄一、項目存在問題及需解決問題 21. 存在問題 22. 需解決問題 4二、解決方案 71.解決方案架構(gòu) 72.關(guān)鍵技術(shù) 8（1）Hadoop 8（2）SpringMVC 8（3）MyBatis 9（4）Echarts 9（5）MySQL 9（6）Hive 9（7）HBASE 10（8）Zookeeper 10（9）Flume 10三、開發(fā)范圍 111. 數(shù)據(jù)生產(chǎn) 112. 數(shù)據(jù)采集/消費(fèi) 113. 數(shù)據(jù)分析 124. 數(shù)據(jù)展示 13

項目存在問題及需解決問題存在問題1、電子支付的安全性問題電子支付作為一種新興的支付手段從一開始就受到了各方的普遍關(guān)注，特別是對于普通用戶。但一直以來，電子支付的安全性問題都是網(wǎng)絡(luò)銀行、賣家、買家最為關(guān)心的問題，也成為用戶不選擇電子支付的首要原因。根據(jù)iResearch2006年度電子支付報告書顯示，66.1%的用戶將交易不安全列為不選擇電子支付的第一原因。2、電子支付業(yè)的規(guī)范性問題中國目前的網(wǎng)絡(luò)銀行體系基本上是屬于實體銀行在因特網(wǎng)上的延伸。但由于各個網(wǎng)絡(luò)銀行業(yè)務(wù)是由各銀行獨(dú)立開發(fā)、推銷、開發(fā)模式、業(yè)務(wù)范圍和發(fā)展規(guī)模有較大的差異，發(fā)展不均衡。如信用卡業(yè)務(wù)，各銀行展開了激烈的競爭，卻不能達(dá)成內(nèi)部的一致協(xié)議，實現(xiàn)信用卡的跨行結(jié)算。這種規(guī)范標(biāo)準(zhǔn)不統(tǒng)一的局面既造成重復(fù)建設(shè)、浪費(fèi)資金，使得整個金融結(jié)算系統(tǒng)不能滿足消費(fèi)者方便，快捷的要求。3、電子支付業(yè)監(jiān)管問題網(wǎng)絡(luò)銀行作為傳統(tǒng)銀行補(bǔ)充產(chǎn)物的出現(xiàn)對同傳統(tǒng)的銀行監(jiān)管手段提出了新問題，由于傳統(tǒng)的資本管制手段對網(wǎng)絡(luò)銀行失去意義，而針對網(wǎng)絡(luò)銀行的監(jiān)管體制還未建立。監(jiān)管當(dāng)局必須研究網(wǎng)絡(luò)銀行監(jiān)管中發(fā)生的新問題，如網(wǎng)絡(luò)金融機(jī)構(gòu)發(fā)行電子貨幣可能對國家貨幣政策產(chǎn)生的沖擊，對資本市場的資金流產(chǎn)生的影響，使用電子貨幣進(jìn)行網(wǎng)上支付還會引發(fā)比傳統(tǒng)支付手段高得多的交易風(fēng)險。4、電子支付的法律支持問題迄今為止，電子支付業(yè)務(wù)在我國已經(jīng)開展8年之久了，然而我國關(guān)于電子商務(wù)的立法還不完備，甚至可以說是很缺乏。目前為止，僅有《中華人民共和國電子簽名法》和《電子支付指引》兩部法律法規(guī)。雖然，《電子簽名法》的實施為我國電子商務(wù)法制環(huán)境的完善奠定了基礎(chǔ),也使網(wǎng)絡(luò)虛擬世界與現(xiàn)實世界可以對應(yīng)。但就目前的情況來看，電子商務(wù)和電子支付的立法問題和法律環(huán)境還遠(yuǎn)遠(yuǎn)沒有解決。與電子簽名法的頒布同時進(jìn)行的《公司法》、《票據(jù)法》、《證券法》、《拍賣法》等法律的修訂，也未能體現(xiàn)與電子簽名法的銜接。5、電子支付中的權(quán)利義務(wù)及責(zé)任區(qū)分問題我國現(xiàn)在關(guān)于電子支付的法律規(guī)范體系尚未完善，法律法規(guī)中對于電子支付中的銀行，商戶以及消費(fèi)者之間的權(quán)利義務(wù)沒有明文規(guī)定，也沒有明確指出在電子支付過程中發(fā)生的金融交易各方應(yīng)當(dāng)承擔(dān)的法律責(zé)任，這樣很容易產(chǎn)生糾紛。而且，關(guān)于產(chǎn)生糾紛后的解決方法沒有相關(guān)的法律規(guī)定來指導(dǎo)，糾紛更是難以及時解決。需解決問題我國的電子支付業(yè)務(wù)發(fā)展取得了重大成果.但與國外橫向比較。總體發(fā)展還處于較低的水平，存在諸多制約銀行卡業(yè)務(wù)發(fā)展的因素。其中，信用卡的發(fā)展水平是決定性因素之一。因為幾乎所有的電子支付方式最后都是由銀行根據(jù)用戶提供或注冊的信用卡信息劃撥賬款。沒有信用卡的普及，就沒有所謂的電子支付。借記卡（儲蓄卡)和貸記卡(信用卡)在中國被統(tǒng)稱為銀行卡。1.完善政策法規(guī)完善的法律法規(guī)是業(yè)務(wù)發(fā)展的基石，對于業(yè)務(wù)發(fā)展具有重要的規(guī)范、引導(dǎo)和保障作用。最近，剛剛頒布實施《電子簽名法》，確認(rèn)了電子簽名的法律效力。但規(guī)范電子支付的法規(guī)制度還應(yīng)包括《支付結(jié)算管理辦法》、《大額支付系統(tǒng)業(yè)務(wù)處理辦法》、《銀行卡業(yè)務(wù)管理辦法》、《網(wǎng)上銀行業(yè)務(wù)管理暫行辦法》等。2.改革銀行卡經(jīng)營體制盡管銀行卡業(yè)務(wù)在經(jīng)營體制方面較以往有了明顯改進(jìn),但在競爭日益激烈的市場經(jīng)濟(jì)環(huán)境中，銀行卡產(chǎn)業(yè)運(yùn)作模式需要深化改革。銀行卡業(yè)務(wù)部門的獨(dú)立經(jīng)營、自主核算，利潤考核，內(nèi)控機(jī)制等各方面需要更多的經(jīng)營自主權(quán)。對于信用卡公司而言，由于其業(yè)務(wù)運(yùn)作模式不同于傳統(tǒng)的借記卡業(yè)務(wù)，更需要有獨(dú)立的經(jīng)營體制以促進(jìn)其產(chǎn)業(yè)快速發(fā)展。3.改善銀行卡受理環(huán)境與利益機(jī)制銀行卡作為新型電子支付工具，它被廣泛接受和應(yīng)用的前提是具有良好的受理環(huán)境。但長期以來，銀行卡產(chǎn)業(yè)一直傾向于發(fā)卡業(yè)務(wù)，與規(guī)模龐大的發(fā)卡量相比，銀行卡交易規(guī)模偏小。受理市場建設(shè)嚴(yán)重滯后，這已成為制約銀行卡產(chǎn)業(yè)發(fā)展的突出因素。4.加強(qiáng)風(fēng)險管理體系系統(tǒng)管理與支付方式的安全性一直是電子支付發(fā)展的重要因素，也是影響電子支付能否為社會公眾接受的重要因素。近年來.銀行卡欺詐風(fēng)險逐年增加。全球銀行卡欺詐交易額占總交易額1.5%，偽卡欺詐損失占所有銀行卡欺詐損失的68.9%。同時，美國、日本、韓國等國家連續(xù)發(fā)生持卡人信息泄露事件，對社會公眾的信息安全造成一定的影響，威脅電子支付方式的安全。迅速發(fā)展中的中國銀行卡、網(wǎng)上支付、移動支付等電子支付形式也相繼出現(xiàn)了大量的風(fēng)險事件。以短信，電子郵件等方式竊取用戶資料進(jìn)行銀行卡欺詐屢見不鮮。因此，借鑒國外電子支付的安全管理經(jīng)驗和教訓(xùn)，加強(qiáng)風(fēng)險管理制度和技術(shù)手段建設(shè)，建立跨國跨區(qū)域性的風(fēng)險管理的協(xié)調(diào)機(jī)制，已是迫在眉睫。5.加強(qiáng)與國際接軌電子支付是世界經(jīng)濟(jì)全球化和科技發(fā)展的必然產(chǎn)物，其發(fā)展勢頭不可阻擋。面對世界經(jīng)濟(jì)和貿(mào)易發(fā)展過程中出現(xiàn)的新問題，我們不能一味采取消極觀望的防守態(tài)度，而應(yīng)認(rèn)真研究我國發(fā)展電子支付的對策，積極提出對我有利的“游戲規(guī)則”。我們應(yīng)該從提高我國電子支付國際競爭力的需要出發(fā)，盡早做好技術(shù)和立法方面的工作，利用國內(nèi)已有的優(yōu)勢，與國際接軌，并帶動其他產(chǎn)業(yè)的發(fā)展。并注重電子支付的普及率。6.加強(qiáng)電子支付宣傳力度我國近幾年的電子支付發(fā)展速度雖然比較快，但是存在著發(fā)展不均衡的問題,例如同樣是客運(yùn)車票,機(jī)票就實行了電子支付而火車票和汽車票卻沒有推行，當(dāng)然其中有很多因素制約著電子支付的普及。推動電子商務(wù)在主觀和客觀上困難都很多，齊頭并進(jìn)不容易也不現(xiàn)實，所以我們在具體實施上應(yīng)該分步驟進(jìn)行。首先,在一些管理和經(jīng)營的特點(diǎn)比較適合電子商務(wù)發(fā)揮長處的領(lǐng)域中宣傳并推行電子商務(wù)，其次，對那些經(jīng)濟(jì)比較發(fā)達(dá)、信息化程度相對較高的地區(qū)，特別是一些有條件的沿海省市，以及內(nèi)地的少數(shù)省會城市和中心城市，應(yīng)鼓勵他們不失時機(jī)地發(fā)展各種方式的電子支付。7.對于支付模式的創(chuàng)新在信息化社會中，產(chǎn)品可根據(jù)其有無實物形態(tài)分為“軟”產(chǎn)品和“硬”產(chǎn)品。對于“軟”產(chǎn)品，可以通過互聯(lián)網(wǎng)在線傳輸?shù)较M(fèi)者手中，如電子出版物、軟件等信息產(chǎn)品。但對于“硬”產(chǎn)品，卻不能在線傳輸，其一般建有兩大系統(tǒng):物流系統(tǒng)作業(yè)流程布置。政府要為推動支付模式創(chuàng)新起到積極作用。可以從以下幾個方面著手:與國家改革課題相聯(lián)系的階段性推動;構(gòu)筑業(yè)務(wù)創(chuàng)新和信息化的良好聯(lián)網(wǎng)體系。即通過調(diào)查政府業(yè)務(wù)，革新業(yè)務(wù)程序，撤銷重疊職能，簡化業(yè)務(wù)程序，從而實現(xiàn)信息化;引入責(zé)任成果管理制。事前提出事業(yè)實名制和成果指標(biāo)，以聯(lián)結(jié)事業(yè)成果和人事預(yù)算來防止重復(fù)投資;以電子政府事業(yè)培育信息技術(shù)產(chǎn)業(yè)的發(fā)展。在電子政府事業(yè)上開發(fā)適用高新技術(shù)，積極推動電子政府產(chǎn)品的國外推廣。解決方案解決方案架構(gòu)圖1解決方案架構(gòu)圖系統(tǒng)開發(fā)平臺使用Hadoop大數(shù)據(jù)開發(fā)平臺。Hadoop是一個高度可擴(kuò)展的存儲平臺，可以存儲和分發(fā)橫跨數(shù)百個并行操作的廉價的服務(wù)器數(shù)據(jù)集群。能擴(kuò)展到處理大量的數(shù)據(jù)，能提供成百上千TB的數(shù)據(jù)節(jié)點(diǎn)上運(yùn)行的應(yīng)用程序。Hadoop能夠有效的在幾分鐘內(nèi)處理TB級的數(shù)據(jù)。相比關(guān)系型數(shù)據(jù)庫管理系統(tǒng)更具有優(yōu)勢。它適用于任何規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)持續(xù)增長的企業(yè)，將幫助用戶持續(xù)提高用戶體驗。系統(tǒng)采用面向?qū)ο蟮能浖O(shè)計方法，把整個系統(tǒng)看作是多個離散對象的組合。系統(tǒng)設(shè)計時，首先把業(yè)務(wù)流程分解成功能模塊及其業(yè)務(wù)實體對象，然后根據(jù)業(yè)務(wù)流程分析對于這些業(yè)務(wù)實體對象的操作方法，形成業(yè)務(wù)處理對象，最后把各個功能模塊關(guān)聯(lián)起來，形成系統(tǒng)。軟件設(shè)計是一個將需求轉(zhuǎn)變?yōu)檐浖倪^程，系統(tǒng)通過逐步求精使得設(shè)計陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設(shè)計思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務(wù)處理邏輯分離。系統(tǒng)采用參數(shù)化的設(shè)計思想，定義和管理系統(tǒng)的實體及配置，調(diào)整實體以適應(yīng)外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實現(xiàn)的平臺無關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶操作的交互性，保證實際使用的易用性。系統(tǒng)采用echarts可視化框架實現(xiàn)數(shù)據(jù)展示。關(guān)鍵技術(shù)HadoopHadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應(yīng)用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對象）映射成數(shù)據(jù)庫中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫，提供直觀，生動，可交互，可個性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應(yīng)用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點(diǎn)，一般中小型網(wǎng)站的開發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫。Hivehive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能；可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復(fù)雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載，用來存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實現(xiàn)對map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴(kuò)展性。HBASEHBase–HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。ZookeeperZooKeeper是一個分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。它是一個為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。FlumeFlume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開發(fā)范圍數(shù)據(jù)生產(chǎn)對于該模塊的業(yè)務(wù)，即數(shù)據(jù)生產(chǎn)過程，一般并不會讓你來進(jìn)行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴(yán)密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項目的一體化方案的設(shè)計（數(shù)據(jù)的產(chǎn)生、存儲、分析、展示），則必須清楚每一個環(huán)節(jié)是如何處理的，包括其中每個環(huán)境可能隱藏的問題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費(fèi)數(shù)據(jù)采集模塊（消費(fèi)），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們在此需要將實時數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費(fèi)。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費(fèi)者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費(fèi)眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->ka