淺析大數(shù)據(jù)時(shí)代下的電子商務(wù)

1、淺析大數(shù)據(jù)時(shí)代下的電子商務(wù)*摘要：云計(jì)算、物聯(lián)網(wǎng)、 社交網(wǎng)絡(luò)等新興服務(wù)促使人類社會(huì)的數(shù)據(jù)種類和規(guī)模正以前所未有 的速度增長(zhǎng)， 大數(shù)據(jù)時(shí)代正式到來(lái)。 通過(guò)對(duì)大數(shù)據(jù)時(shí)代下電子商務(wù)的現(xiàn)狀、 挑戰(zhàn)和機(jī)遇進(jìn)行 詳細(xì)分析，提出構(gòu)建大數(shù)據(jù)時(shí)代下的電子商務(wù)服務(wù)模式, 同時(shí)構(gòu)建大數(shù)據(jù)時(shí)代下的電子商務(wù)服務(wù)平臺(tái)。 該平臺(tái)的建立能夠幫助電子商務(wù)企業(yè)克服整體管理水平薄弱等基本問(wèn)題， 同時(shí)對(duì) 企業(yè)擴(kuò)大業(yè)務(wù)量、 擴(kuò)展市場(chǎng)占有率、 增強(qiáng)綜合競(jìng)爭(zhēng)力等也具有非常重要的作用， 它將會(huì)是未 來(lái)電子商務(wù)發(fā)展的必然趨勢(shì)。關(guān)鍵詞： 大數(shù)據(jù)；電子商務(wù)；云計(jì)算； MapReduceAbstract: Cloud computing, netw

2、orking, social networking and other new services to promote data types and scale of human society is growing at an unprecedented rate ， the official arrival of the era of big data. By the status quo for the next big data era of e commerce， a detailed analysis of the challenges and opportunities pres

3、ented to build e-commerce services in an era of large data models, while building e commerce service platform era of big data. The establishment of the e commerce platform to help companies overcome the overall management of weak fundamental issues, while enterprises to expand business volume ， expa

4、nd market share， enhance overall competitiveness， also has a very important role ， it will be the future of e-commerce development the inevitable trend. 本文為互聯(lián)網(wǎng)收集，請(qǐng)勿用作商業(yè)用途 Key words: Large data; E-commerce; Cloud computing ； MapReduce0. 引言隨著互聯(lián)網(wǎng)的快速發(fā)展與變化， 電子商務(wù)等承載了大量個(gè)人及交易信息， 電 子商務(wù)中的數(shù)據(jù)不僅量大， 而且結(jié)構(gòu)復(fù)雜， 其業(yè)務(wù)數(shù)據(jù)

5、類型繁多， 這就意味著電 商的數(shù)據(jù)必須在大容量數(shù)據(jù)分析和挖掘的基礎(chǔ)之上， 才能獲得最真實(shí)的價(jià)值， 因 此大數(shù)據(jù)應(yīng)用需求在電子商務(wù)中日趨重要。 同時(shí)，中國(guó)的電子商務(wù)企業(yè)已經(jīng)認(rèn)識(shí) 到大數(shù)據(jù)蘊(yùn)含著巨大的商業(yè)價(jià)值， 但國(guó)內(nèi)互聯(lián)網(wǎng)巨頭作為率先使用大數(shù)據(jù)技術(shù)的 用戶，僅僅是基于開源軟件自主開發(fā)大數(shù)據(jù)應(yīng)用，未形成企業(yè)級(jí)的個(gè)性化應(yīng)用。本論文首先通過(guò)對(duì)大數(shù)據(jù)時(shí)代下的電子商務(wù)發(fā)現(xiàn)狀、挑戰(zhàn)和機(jī)遇進(jìn)行分析， 其次，提出構(gòu)建大數(shù)據(jù)時(shí)代下的電子商務(wù)服務(wù)模式， 同時(shí)在大數(shù)據(jù)時(shí)代下構(gòu)建電 子商務(wù)平臺(tái)。大數(shù)據(jù)時(shí)代下的電子商務(wù)服務(wù)模型的構(gòu)建不僅能促進(jìn)企業(yè)經(jīng)濟(jì)的發(fā) 展，而且，它還可以加快實(shí)現(xiàn)電子商務(wù)企業(yè)信息化的建設(shè) . 它是促進(jìn)電

6、子商務(wù)企 業(yè)經(jīng)濟(jì)發(fā)展的迫切需要；是使傳統(tǒng)企業(yè)經(jīng)濟(jì)向信息化經(jīng)濟(jì)過(guò)渡的有效途徑 ; 是企 業(yè)實(shí)現(xiàn)經(jīng)濟(jì)全球化、信息化的有效手段。1. 大數(shù)據(jù)時(shí)代下的電子商務(wù)現(xiàn)狀1。1 大數(shù)據(jù)發(fā)展現(xiàn)狀大數(shù)據(jù)已成為全球語(yǔ)言 . 但對(duì)于大數(shù)據(jù)的定義也是眾說(shuō)紛紜，沒有統(tǒng)一的規(guī) 范定義。大數(shù)據(jù)的“大”字不僅意味著數(shù)量的龐大，還代表著數(shù)據(jù)種類繁多、結(jié) 構(gòu)復(fù)雜，變化的速度也非?？?，這些特征的出現(xiàn)與互聯(lián)網(wǎng)的發(fā)展息息相關(guān) . 它是 繼云計(jì)算、物聯(lián)網(wǎng)之后 IT 產(chǎn)業(yè)又一次顛覆性的技術(shù)變革，對(duì)于企業(yè)將產(chǎn)生巨大 的影響。如今， 大數(shù)據(jù)分析已經(jīng)成為行業(yè)研究的熱點(diǎn)， 大數(shù)據(jù)正在以多種方式創(chuàng) 造著巨大的價(jià)值。在大數(shù)據(jù)時(shí)代，未來(lái)數(shù)年數(shù)據(jù)量將會(huì)呈指

7、數(shù)爆炸 .總體來(lái)說(shuō) , 未來(lái)大數(shù)據(jù)的發(fā)展趨勢(shì)主要會(huì)呈現(xiàn)出幾個(gè)特點(diǎn)：大數(shù)據(jù)會(huì)越來(lái)越 多的進(jìn)入垂直領(lǐng)域 ; 越來(lái)越實(shí)時(shí)化；大數(shù)據(jù)產(chǎn)業(yè)會(huì)發(fā)展成生態(tài)鏈；開放性越來(lái)越 強(qiáng)，大數(shù)據(jù)會(huì)越來(lái)越多的走向數(shù)據(jù)互換和數(shù)據(jù)交易。1.2 。 大數(shù)據(jù)時(shí)代下的電子商務(wù)企業(yè)現(xiàn)狀電子商務(wù)經(jīng)歷了三個(gè)時(shí)代： (1)基于用戶數(shù)的時(shí)代 , 此時(shí)電子商務(wù)企業(yè)通過(guò) 收取會(huì)員費(fèi)、廣告費(fèi)等方式發(fā)展客戶來(lái)賺取利潤(rùn)； (2 )基于銷量的時(shí)代，電商企 業(yè)通過(guò)投放廣告來(lái)實(shí)現(xiàn)銷售量的增長(zhǎng)，以此來(lái)提升品牌影響力和企業(yè)價(jià)值；(3 )基于數(shù)據(jù)的時(shí)代，電子商務(wù)公司通過(guò)對(duì)消費(fèi)者的海量數(shù)據(jù)的收集、分析、整合 , 挖掘出商業(yè)價(jià)值，促進(jìn)個(gè)性化和精確化營(yíng)銷的開展 . 隨

8、著電子商務(wù)的廣泛應(yīng)用， 選擇網(wǎng)上購(gòu)物的消費(fèi)者越來(lái)越多， 使得電子商務(wù)網(wǎng)站的數(shù)據(jù)越來(lái)越多， 這正是典 型的大數(shù)據(jù)。 全球迎來(lái)大數(shù)據(jù)時(shí)代， 數(shù)據(jù)成為越來(lái)越有用的資源， 電子商務(wù)企業(yè) 在開發(fā)利用大數(shù)據(jù)的市場(chǎng)上存在著巨大的發(fā)展前景。2。大數(shù)據(jù)時(shí)代下電子商務(wù)的挑戰(zhàn)善于利用大數(shù)據(jù)的電子商務(wù)企業(yè)將會(huì)獲得新的發(fā)展方向和動(dòng)力。 要收集和發(fā) 揮大數(shù)據(jù)的潛力，電子商務(wù)企業(yè)仍有很多障礙和挑戰(zhàn)需要去克服 . 電子商務(wù)企業(yè) 在大數(shù)據(jù)時(shí)代將會(huì)迎來(lái)重大的機(jī)遇和契機(jī)， 同時(shí)也面臨著大數(shù)據(jù)處理能力和隱私 保護(hù)等方面的挑戰(zhàn)。2.1 擁有大數(shù)據(jù)的挑戰(zhàn)在大數(shù)據(jù)時(shí)代下， 電子商務(wù)的競(jìng)爭(zhēng)已經(jīng)成為基于數(shù)據(jù)的競(jìng)爭(zhēng)。 數(shù)據(jù)就是電子 商務(wù)企業(yè)的財(cái)

9、富和金礦，誰(shuí)擁有大數(shù)據(jù)，誰(shuí)就有制勝的砝碼 , 誰(shuí)就可能成為大贏 家。然而網(wǎng)絡(luò)上的消費(fèi)者并不會(huì)直接告訴企業(yè)其需求， 電子商務(wù)企業(yè)必須去收集、 分析、跟蹤、 對(duì)比消費(fèi)者在互聯(lián)網(wǎng)上留下的種種 “足跡” 、評(píng)論、圖片、視頻等。 當(dāng)今極速爆炸的信息量遠(yuǎn)遠(yuǎn)超越了大部分企業(yè) IT 架構(gòu)和基礎(chǔ)設(shè)施的承載能力， 其實(shí)時(shí)性要求也大大超越了現(xiàn)有的計(jì)算能力 .挖掘大數(shù)據(jù)的價(jià)值類似沙里淘金， 由于大數(shù)據(jù)價(jià)值密度低的特性更加增添了 數(shù)據(jù)收集工作的巨大性和繁重性 . 擁有大數(shù)據(jù)是利用大數(shù)據(jù)的前提條件，若不具 備整合大數(shù)據(jù)收集和使用的能力， 企業(yè)就很難在廣告和多個(gè)營(yíng)銷渠道中提供真正 個(gè)性化和精確的產(chǎn)品和服務(wù)推薦，而擁有大數(shù)據(jù)

10、的企業(yè)則能在競(jìng)爭(zhēng)中脫穎而出， 不戰(zhàn)而勝。 對(duì)于中小型電子商務(wù)企業(yè)來(lái)說(shuō)， 擁有大數(shù)據(jù)的挑戰(zhàn)將顯得更加的突出 和嚴(yán)峻。因此， 面對(duì)此挑戰(zhàn)， 電子商務(wù)企業(yè)首先應(yīng)該從思想上認(rèn)識(shí)到大數(shù)據(jù)的價(jià) 值，高度重視數(shù)據(jù)的收集工作。 其次, 企業(yè)需要重構(gòu)其 IT 架構(gòu)，加大基礎(chǔ)設(shè)施的 承載能力，租用足夠的空間，進(jìn)一步加強(qiáng)信息化投資和建設(shè) , 適應(yīng)大數(shù)據(jù)時(shí)代的 要求。2。2 處理大數(shù)據(jù)能力的挑戰(zhàn)2010 年 12 月，美國(guó)的科學(xué)技術(shù)顧問(wèn)委員會(huì)、 信息技術(shù)顧問(wèn)委員會(huì)向奧巴馬 和國(guó)會(huì)提交的規(guī)劃數(shù)字化未來(lái) 的專門報(bào)告中把數(shù)據(jù)收集和使用的工作提到了 戰(zhàn)略的高度。該報(bào)告的第一個(gè)挑戰(zhàn)就是“數(shù)據(jù)”問(wèn)題，即：“如何收集、保存、 維護(hù)

11、、管理、分析、共享正在呈指數(shù)級(jí)別增長(zhǎng)的數(shù)據(jù)是我們必須面對(duì)的一個(gè)重要 挑戰(zhàn)”. 據(jù)統(tǒng)計(jì),82 的公司正受到處理海量信息的挑戰(zhàn)， 而且他們花很多時(shí)間對(duì) 其進(jìn)行研究 ,89 的公司因超負(fù)荷處理數(shù)據(jù)而失去銷售機(jī)會(huì) . 僅僅坐擁大數(shù)據(jù)并 不夠，對(duì)大數(shù)據(jù)的分析和挖掘能力已成為企業(yè)的核心競(jìng)爭(zhēng)力。 因此，建議電子商 務(wù)企業(yè)著手部署“大數(shù)據(jù)戰(zhàn)略 " ，引進(jìn)和培養(yǎng)大數(shù)據(jù)相關(guān)人才，創(chuàng)建基于大數(shù)據(jù) 的研發(fā)團(tuán)隊(duì) , 從技術(shù)層面上解決大數(shù)據(jù)的困難和挑戰(zhàn) ,提高挖掘潛在商業(yè)價(jià)值的 能力，從而有效地指導(dǎo)企業(yè)制訂精確的行動(dòng)綱領(lǐng)和采取高效的行動(dòng) .2.3. 對(duì)隱私保護(hù)的挑戰(zhàn)大數(shù)據(jù)時(shí)代， 網(wǎng)絡(luò)用戶在互聯(lián)網(wǎng)的評(píng)論、 圖片、

12、視頻、個(gè)人信息、興趣愛好、 交易信息、 訪問(wèn)的網(wǎng)站等等均被企業(yè)記錄在案。 企業(yè)掌握了大量消費(fèi)者的行為數(shù) 據(jù), 對(duì)大數(shù)據(jù)進(jìn)行整合和分析，從而可以發(fā)現(xiàn)新的商機(jī)，創(chuàng)造新的價(jià)值。然而這 些數(shù)據(jù)經(jīng)常包含消費(fèi)者的真實(shí)信息， 如在淘寶網(wǎng)上交易時(shí)的真實(shí)姓名、 家庭住址 以及銀行賬號(hào)等重要的真實(shí)信息 ,逐漸引起了我們對(duì)個(gè)人隱私的擔(dān)憂 . 正如美國(guó) 著名的計(jì)算機(jī)專家迪博德所言，在信息時(shí)代 , 計(jì)算機(jī)內(nèi)的每一個(gè)數(shù)據(jù)、每一個(gè)字 節(jié)，都是構(gòu)成一個(gè)隱私的血肉。信息加總和數(shù)據(jù)整合 , 對(duì)隱私的穿透力不僅僅是“ 1+ 1二2”的，很多時(shí)候，是大于2的。3。大數(shù)據(jù)下電子商務(wù)的機(jī)遇 數(shù)據(jù)已經(jīng)如一股“洪流”注入了世界經(jīng)濟(jì)，成為全球

13、各個(gè)經(jīng)濟(jì)領(lǐng)域的重要 組成部分。 企業(yè)可以分析和使用的數(shù)據(jù)在爆炸式增長(zhǎng)， 通過(guò)對(duì)大數(shù)據(jù)的收集、 整 合、分析，企業(yè)可以發(fā)現(xiàn)新的商機(jī)，創(chuàng)造新的價(jià)值，帶來(lái)大市場(chǎng)、大利潤(rùn)和大發(fā) 展。所以對(duì)于電子商務(wù)企業(yè)來(lái)說(shuō)，大數(shù)據(jù)時(shí)代蘊(yùn)藏著巨大的商機(jī) .3.1 。 大數(shù)據(jù)有利于市場(chǎng)營(yíng)銷據(jù)統(tǒng)計(jì): 一個(gè)銷售人員為準(zhǔn)備交易而尋找相關(guān)信息所花費(fèi)的平均時(shí)間占工作時(shí)間的24, 而這些時(shí)間和心血可以轉(zhuǎn)化為 26 億收入，這些錢足夠一個(gè)中等財(cái)富 規(guī)模的 500 強(qiáng)企業(yè)卷土而來(lái)。要做到“低成本、高效率”的營(yíng)銷，企業(yè)必須基于 大數(shù)據(jù)的分析和優(yōu)化， 把營(yíng)銷過(guò)程中的每一分潛在的價(jià)值都擠出來(lái)， 從而節(jié)約成 本、戰(zhàn)勝對(duì)手、占領(lǐng)市場(chǎng) . 美國(guó)信息

14、經(jīng)濟(jì)領(lǐng)域著名的教授達(dá)文波特認(rèn)為，能夠始 終保證自己以“數(shù)據(jù)”最優(yōu)的方式經(jīng)營(yíng)的公司將會(huì)在競(jìng)爭(zhēng)中堅(jiān)持到最后, 并不戰(zhàn)而勝. 大數(shù)據(jù)技術(shù)能夠幫助他們獲得更多的生意，銷售人員預(yù)計(jì)實(shí)施大數(shù)據(jù)戰(zhàn)略 將對(duì)銷售有顯著的影響 . 大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)媒體正在從單純的內(nèi)容提供方進(jìn)化成 開放生態(tài)的主導(dǎo)者， 大數(shù)據(jù)時(shí)代的社會(huì)化營(yíng)銷重點(diǎn)是理解消費(fèi)者背后的海量數(shù)據(jù) 挖掘用戶需求，并最終提供個(gè)性化的跨平臺(tái)的營(yíng)銷解決方案 . 如果電商擁有了基 于大數(shù)據(jù)的技術(shù) , 在尋找潛在客戶上、銷售時(shí)間以及預(yù)測(cè)交易成功的幾率上將會(huì) 得到明顯改善 .3.2 大數(shù)據(jù)有利于個(gè)性化和精準(zhǔn)的商品推薦 隨著電子商務(wù)的發(fā)展和對(duì)大數(shù)據(jù)的分析與研究，在信息指數(shù)

15、性增長(zhǎng)的同時(shí)， 消費(fèi)者獲取、過(guò)濾、篩選、分析信息的能力卻沒有得到相應(yīng)的提高，這必然會(huì)導(dǎo) 致消費(fèi)者淹沒在浩瀚的信息海洋中。傳統(tǒng)的商業(yè)模式在大數(shù)據(jù)時(shí)代下顯得落伍 了，個(gè)性化和精準(zhǔn)的商品推薦成為未來(lái)電子商務(wù)發(fā)展的新方向。 大數(shù)據(jù)為個(gè)性化 商業(yè)應(yīng)用提供了充足的養(yǎng)分和可持續(xù)發(fā)展的沃土。同時(shí) , 顧客的結(jié)構(gòu)、流量、點(diǎn) 擊率、購(gòu)買的周期以及興趣， 都會(huì)在電子商務(wù)平臺(tái)上產(chǎn)生大量的數(shù)據(jù)， 通過(guò)對(duì)大 數(shù)據(jù)的收集、整合和分析 , 電商可以對(duì)消費(fèi)者的品位和消費(fèi)意愿進(jìn)行準(zhǔn)確識(shí)別， 主動(dòng)為其提供個(gè)性化和精準(zhǔn)的銷售產(chǎn)品和服務(wù)， 提高銷售額和利潤(rùn)率。 在電商領(lǐng) 域，亞馬遜就是一個(gè)值得表率的例子，它通過(guò)個(gè)性化技術(shù)為用戶進(jìn)行智能

16、導(dǎo)購(gòu)， 大幅度地提升了用戶的體驗(yàn)與銷售業(yè)績(jī)。3。3。 大數(shù)據(jù)在利用中為信息安全帶來(lái)發(fā)展契機(jī) 隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新興 IT 技術(shù)逐漸步入主流，大數(shù)據(jù)使得數(shù)據(jù)價(jià) 值極大提高，無(wú)處不在的數(shù)據(jù)，對(duì)信息安全提出了更高要求。同時(shí) , 大數(shù)據(jù)領(lǐng)域 出現(xiàn)的許多新興技術(shù)與產(chǎn)品將為安全分析提供新的可能性； 信息安全和云計(jì)算貫 穿于大數(shù)據(jù)產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié)， 云安全等關(guān)鍵技術(shù)將更安全地保護(hù)數(shù)據(jù)。 大數(shù)據(jù) 對(duì)信息安全的要求和促進(jìn)將推動(dòng)信息安全產(chǎn)業(yè)的大發(fā)展 .4。大數(shù)據(jù)處理下的電子商務(wù)4.1. 大數(shù)據(jù)的 IT 基礎(chǔ)云計(jì)算架構(gòu)云計(jì)算是新型分布式網(wǎng)絡(luò)計(jì)算架構(gòu)， 特別適合向各種網(wǎng)絡(luò)應(yīng)用提供計(jì)算、 存 儲(chǔ)、網(wǎng)絡(luò)、軟件等在線

17、服務(wù)， NIST 認(rèn)為這種架構(gòu)具有 5 個(gè)關(guān)鍵功能、 3 種服務(wù) 模式和4種部署方式 ,如圖1所示。云計(jì)算的特征主要有：按需自助服務(wù)、泛在網(wǎng)絡(luò)訪問(wèn)、虛擬池化的資源、快 速可伸縮性、可度量的服務(wù)，這些能力對(duì)當(dāng)前電商的基礎(chǔ)IT設(shè)施來(lái)說(shuō)，都是必須要滿足的要求f*械媲、(耕)_X.圖1。云計(jì)算參考模型資料來(lái)源：陳云海，黃蘭秋。大數(shù)據(jù)處理對(duì)電子商務(wù)的影響研究J。大數(shù)據(jù)技術(shù)與應(yīng)用，2013 (3)。42大數(shù)據(jù)處理模式大數(shù)據(jù)處理模式從傳統(tǒng)的數(shù)據(jù)庫(kù)集群演進(jìn)到云計(jì)算 MapReduc大規(guī)模并行處 理架構(gòu),實(shí)現(xiàn)任務(wù)的分解處理和結(jié)果合并，從而實(shí)現(xiàn)對(duì)可處理數(shù)據(jù)規(guī)模的無(wú)限擴(kuò) 展，大數(shù)據(jù)處理技術(shù)已被認(rèn)為是繼云計(jì)算、物聯(lián)網(wǎng)

18、之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。4。1。1.數(shù)據(jù)庫(kù)集群模式集群是指通過(guò)協(xié)同工作方式運(yùn)行同一套應(yīng)用程序， 針對(duì)客戶端及應(yīng)用程序提 供單一系統(tǒng)映像，使用特定的連接方式，將硬件設(shè)備結(jié)合起來(lái)，構(gòu)成的松散耦合 的計(jì)算節(jié)點(diǎn)集合，具備以下優(yōu)勢(shì)：性能提升、擴(kuò)展性提升、可靠性提升 數(shù)據(jù)庫(kù) 集群是將集群技術(shù)引入數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)集群在技術(shù)上具備一定的局限性，具體介紹如下：采用PC服務(wù)器作為功能節(jié)點(diǎn)，系統(tǒng)線纜眾多，硬件復(fù)雜度過(guò)高， 實(shí)施架設(shè)難度較大，可擴(kuò)展性受 限;高速互聯(lián)設(shè)備必須通過(guò)主機(jī)的PCI插槽與主機(jī)相連，而PCI的傳輸速率無(wú)法滿 足并行數(shù)據(jù)庫(kù)集群節(jié)點(diǎn)間的數(shù)據(jù)通信要求； 數(shù)據(jù)庫(kù)安全性和數(shù)據(jù)集可擴(kuò)展性提升 空間

19、極小，全面提升速度、數(shù)據(jù)同步、安全保證、可擴(kuò)展性 4個(gè)技術(shù)指標(biāo)是一大 難題；隨著設(shè)備量的增加和應(yīng)用的復(fù)雜化，需要迅速追加投入以解決所引起的兼 容性和可靠性等各類問(wèn)題；并行數(shù)據(jù)庫(kù)主要采用shared nothing結(jié)構(gòu)，在擴(kuò)展 性、容錯(cuò)性、成本、對(duì)異構(gòu)環(huán)境的支持能力等方面有所欠缺并相互影響，因此擴(kuò) 展性非常有限。MapReduce 框架云計(jì)算架構(gòu)由大規(guī)模低端服務(wù)器組成服務(wù)器集群，提供海量存儲(chǔ)空間和大規(guī) 模數(shù)據(jù)的處理能力，具備可靠性、擴(kuò)展性以及高可用性。 MapReduce框架包括： 分布式文件系統(tǒng)（HDFS）并行編程模型MapReduce并行執(zhí)行引擎。從HDF角度來(lái)看，Hadoop的節(jié)點(diǎn)由存儲(chǔ)并

20、提供定位塊服務(wù)的數(shù)據(jù)節(jié)點(diǎn)（data node）和管理分布式文件系統(tǒng)命名空間的命名節(jié)點(diǎn)（namenode）組成,HDFS主從 結(jié)構(gòu)的體系架構(gòu)設(shè)計(jì)大大簡(jiǎn)化了分布式系統(tǒng)架構(gòu)其文件系統(tǒng)的設(shè)計(jì)特點(diǎn)是：元 數(shù)據(jù)集中管理、數(shù)據(jù)塊（64 MB）分散存儲(chǔ)以保證數(shù)據(jù)的安全性，數(shù)據(jù)復(fù)制（每份數(shù) 據(jù)至少3個(gè)備份）實(shí)現(xiàn)高度容錯(cuò)。傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)實(shí)時(shí)應(yīng)能力較高，但對(duì)于TB級(jí) 或PB級(jí)別的大數(shù)據(jù)集，數(shù)據(jù)挖掘的檢索速度則急劇下降，但引入HDF與RDBMS1 結(jié)合的機(jī)制可以充分利用兩者優(yōu)勢(shì)，實(shí)現(xiàn)高效率的數(shù)據(jù)挖掘與決策支持。用于對(duì)集群上的大數(shù)據(jù)集進(jìn)行并行計(jì)算處理，是非關(guān)系型數(shù)據(jù)管理和分析技 術(shù)的典型代表。Map Reduce將數(shù)

21、據(jù)處理任務(wù)抽象一系列的map映射）和reduce （化簡(jiǎn)）操作對(duì)，分別完成數(shù)據(jù)的過(guò)濾和聚集操作，并通過(guò)簡(jiǎn)單的界面進(jìn)行管理。 其計(jì)算流程和基本原理簡(jiǎn)單地說(shuō)，就是將大數(shù)據(jù)集分解為成百上千個(gè)小數(shù)據(jù)集， 每個(gè)（或若干個(gè)）數(shù)據(jù)集分別由集群中的一個(gè)節(jié)點(diǎn)進(jìn)行處理并生成中間結(jié)果，這些中間結(jié)果又由大量的節(jié)點(diǎn)進(jìn)行合并，形成最終結(jié)果，如圖2所示。能入imp任務(wù)圖2。 MapReduce并行計(jì)算流程資料來(lái)源：覃雄派，等.大數(shù)據(jù)分析一RDBM與MapReduc啲競(jìng)爭(zhēng)與共生J.軟件學(xué)報(bào),2012 （1）.幾種大數(shù)據(jù)處理模式的比較分析見表1，可見，MapReduce大數(shù)據(jù)處理模式具有相對(duì)顯著的優(yōu)勢(shì)。馴 m靈甜urn m 艄

22、梆曲靜眠上輛!t!鐮呂融ftm 訓(xùn)戢熾耕imam I3ItltUImm資料來(lái)源：覃雄派，等.大數(shù)據(jù)分析一RDBM與 MapReduce的競(jìng)爭(zhēng)與共生J。軟件學(xué)報(bào)，2012(1 ).基于MapReduce計(jì)算模型編寫分布式并行程序的主要編碼工作就是實(shí)現(xiàn)map和reduce函數(shù)，其他的分布式存儲(chǔ)、工作調(diào)度、負(fù)載平衡、容錯(cuò)處理、網(wǎng)絡(luò)通 信等復(fù)雜問(wèn)題均由Map Reduce框架負(fù)責(zé)處理。Map Reduce原理簡(jiǎn)單、技術(shù)簡(jiǎn)潔、 數(shù)據(jù)處理效率高，在系統(tǒng)層面解決了數(shù)據(jù)庫(kù)集群難以解決的擴(kuò)展性、容錯(cuò)性等問(wèn) 題，MapReduce免費(fèi)開源，基于異構(gòu)廉價(jià)服務(wù)器搭建可彈性伸縮的大規(guī)模集群， 并行、分布式地處理和分析大

23、規(guī)模數(shù)據(jù)，其構(gòu)建成本遠(yuǎn)低于數(shù)據(jù)庫(kù)集群所采用的 并行數(shù)據(jù)庫(kù)4。建議與意見4.1 .加強(qiáng)對(duì)逆向物流的重視隨著電子商務(wù)的發(fā)展，我國(guó)逆向物流的發(fā)展也在不斷進(jìn)步，但是，與國(guó)外發(fā)達(dá)國(guó)家相比，我國(guó)企業(yè)對(duì)逆向物流的重視力度不夠，很多電子商務(wù)企業(yè)的逆向物 流意識(shí)淡薄，再加上第三方物流在我國(guó)的不成熟，缺乏逆向物流服務(wù)，這些原因致使我國(guó)的逆向物流發(fā)展存在一定的障礙。電子商務(wù)環(huán)境下的逆向物流發(fā)展，將有利于企業(yè)效率的增加、物流業(yè)的發(fā)展壯大，更有利于建立顧客忠誠(chéng)度，可當(dāng)今的逆向物流存在這一系列的問(wèn)題，比如：商家不重視退貨管理、退貨標(biāo)準(zhǔn)不統(tǒng)一、 逆向物流管理難度大及缺乏專業(yè)的逆向物流人才，面對(duì)上述問(wèn)題，企業(yè)應(yīng)該注重完善逆向

24、物流的發(fā)展策略和管理信息系統(tǒng)，制定合理的退貨政策，提高顧客的滿 意度,加強(qiáng)對(duì)逆向物流人才的培養(yǎng)，從而提高顧客的忠誠(chéng)度與企業(yè)的美譽(yù)度，最 終達(dá)到增加效率的目的。4.2. 尋找數(shù)據(jù)挖掘的方向目前，國(guó)內(nèi)網(wǎng)絡(luò)廣告投放正從傳統(tǒng)的面向群體的營(yíng)銷轉(zhuǎn)向個(gè)性化營(yíng)銷，從流量購(gòu)買轉(zhuǎn)向人群購(gòu)買。雖然市場(chǎng)大環(huán)境不好，但是具備數(shù)據(jù)挖掘能力的公司卻倍受資本青睞。從資本角度來(lái)看，什么樣的公司有價(jià)值 , 什么樣的公司沒有價(jià)值， 從其擁有的數(shù)據(jù)規(guī)模、 數(shù)據(jù)的活性和這家公司能運(yùn)用、 解釋數(shù)據(jù)的能力， 就可以 看出這家公司的核心競(jìng)爭(zhēng)力 .而這幾個(gè)能力正是資本關(guān)注的點(diǎn) . 實(shí)際上，將用戶群 精準(zhǔn)細(xì)分， 直接找到要找的用戶正是社交內(nèi)容背

25、后數(shù)據(jù)挖掘所帶來(lái)的結(jié)果。 而通 過(guò)各種算法實(shí)現(xiàn)的數(shù)據(jù)信息交易。 目前，國(guó)內(nèi)網(wǎng)絡(luò)廣告投放正從傳統(tǒng)的面向群體 的營(yíng)銷轉(zhuǎn)向個(gè)性化營(yíng)銷 , 從流量購(gòu)買轉(zhuǎn)向人群購(gòu)買。未來(lái)的市場(chǎng)將更多地以人為 中心，主動(dòng)迎合用戶需求 , 前提就是要找到這部分人群。4.3 。 建立健全電子商務(wù)營(yíng)銷渠道由于開展電子商務(wù)有投資成本低、 管理方便等優(yōu)勢(shì)， 所以很多創(chuàng)業(yè)者就首選 在網(wǎng)上開店 , 這使得實(shí)體店因?yàn)殇N售業(yè)績(jī)不好而逐漸倒閉，也使得很多消費(fèi)者不 得不網(wǎng)上去購(gòu)物 . 網(wǎng)店的店主們?yōu)榱嗽黾泳W(wǎng)上市場(chǎng)的占有率及競(jìng)爭(zhēng)力，而不得不 用各種營(yíng)銷渠道來(lái)吸引消費(fèi)者的注意力， 比如：把商品價(jià)格降低、 買商品送禮物 等. 目前，電子商務(wù)技術(shù)方面的競(jìng)爭(zhēng)很難拉開企業(yè)與企業(yè)之間的差距，只有具有 健全的電子商務(wù)營(yíng)銷渠道， 企業(yè)的綜合競(jìng)爭(zhēng)力才能得到提高。 因此， 建立健全的 電子商務(wù)營(yíng)銷渠道， 不僅可以方便很多用戶消費(fèi)， 而且還可以促進(jìn)電子商務(wù)企業(yè) 的發(fā)展。4.4 。 妥善處理隱私針對(duì)隱私保護(hù)方面的問(wèn)題， 建議電子商務(wù)企業(yè)和國(guó)家從以下三方面著手： （1） 電子商務(wù)企業(yè)應(yīng)該恪守行業(yè)道德 ,不能將消費(fèi)者的個(gè)人信息進(jìn)行交易和泄露。 （2） 企業(yè)應(yīng)該從技術(shù)層面上采用先進(jìn)的隱私保護(hù)技術(shù)進(jìn)一步加強(qiáng)用戶的隱私保護(hù)， 解 決由于過(guò)度開發(fā)或者深度營(yíng)銷可能造成