中航信大數(shù)據(jù)思考與實(shí)踐

中航信大數(shù)據(jù)思考與實(shí)踐【賽迪網(wǎng)訊】我來自中國民航信息集團(tuán)公司（以下簡稱中國航信）。中國航信的前身創(chuàng)建于80年代，30年來，一直為中國民航業(yè)提供信息化服務(wù)。中國航信正式組建于2002年10月，屬國資委管理的中央企業(yè)，現(xiàn)有員工近4000人，總部在北京。2000年10月，中國民航計(jì)算機(jī)信息中心聯(lián)合當(dāng)時(shí)所有國內(nèi)航空公司發(fā)起成立中國民航信息網(wǎng)絡(luò)股份有限公司，于2001年2月在香港聯(lián)交所主板掛牌上市交易。2008年7月，中國民航信息集團(tuán)公司以中國民航信息網(wǎng)絡(luò)股份有限公司為主體，完成主營業(yè)務(wù)和資產(chǎn)重組并在香港成功整體上市。目前，中國航信是航空旅游行業(yè)領(lǐng)先的信息技術(shù)及商務(wù)服務(wù)提供商，主要業(yè)務(wù)是航空客運(yùn)業(yè)務(wù)處理、航空旅游電子分銷、機(jī)場旅客處理、航空貨運(yùn)數(shù)據(jù)處理、航空財(cái)務(wù)結(jié)算清算、IT外包服務(wù)、互聯(lián)網(wǎng)旅游分銷平臺(tái)。包括淘寶、攜程、藝龍?jiān)趦?nèi)，它們銷售客票的原始數(shù)據(jù)都由中國航信提供。航信的電子客票服務(wù)，可以讓乘客方便地通過網(wǎng)絡(luò)購買機(jī)票、網(wǎng)上值機(jī)，拿著第二代身份證就可以登機(jī)。我曾經(jīng)看到過這樣一個(gè)報(bào)道：美國某機(jī)場通過視頻監(jiān)控發(fā)現(xiàn)一個(gè)旅客把前面旅客的勞力士手表給偷了。隨著服務(wù)細(xì)化以及航信客戶--航空公司的要求越來越高、越來越細(xì)，中國航信也會(huì)逐步將圖像、聲音、視頻加入到數(shù)據(jù)庫當(dāng)中，增加數(shù)據(jù)庫的多樣性。目前，航信只是把圖片放到了數(shù)據(jù)庫中，視頻還沒有放到其中。中國航信目前運(yùn)行著超過2000臺(tái)硬件設(shè)備，每秒鐘事務(wù)處理能力是11000TNX/S，每天為100萬旅客提供訂票離港服務(wù)，每天交易量10億元。中航信目前存儲(chǔ)的數(shù)據(jù)大部分為結(jié)構(gòu)化數(shù)據(jù)，擁有超過2PB的存儲(chǔ)系統(tǒng)，每年結(jié)構(gòu)化數(shù)據(jù)增長量為35%。中國航信擁有3個(gè)正在運(yùn)行的數(shù)據(jù)中心，還有兩個(gè)在建數(shù)據(jù)中心，分別是在順義的30000平米數(shù)據(jù)中心以及浙江在嘉興的15000平米數(shù)據(jù)中心。未來，會(huì)根據(jù)客戶需求以及市場驅(qū)動(dòng)等因素，來決定在結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)的投資。目前，中航信最緊迫是要滿足航空公司的實(shí)時(shí)票價(jià)計(jì)算需求。實(shí)時(shí)票價(jià)，就是航空公司能夠在在某一時(shí)刻，根據(jù)歷史數(shù)據(jù)、當(dāng)下的需求，來自動(dòng)決定機(jī)票售價(jià)，既可以讓航空公司的利潤最高，又能夠讓消費(fèi)者能夠接受。這個(gè)動(dòng)態(tài)票價(jià)點(diǎn)需要在幾秒內(nèi)計(jì)算出來，需要結(jié)構(gòu)化大數(shù)據(jù)、并行計(jì)算等技術(shù)來進(jìn)行支撐。中航信現(xiàn)采用的傳統(tǒng)teradata關(guān)系數(shù)據(jù)庫，不能支持實(shí)時(shí)計(jì)算。航信成立之后的前20年，中國航信都是采用傳統(tǒng)的主機(jī)系統(tǒng)，設(shè)備都是IBM的UNIX。目前，中國航信正在從傳統(tǒng)的主機(jī)模式向開放平臺(tái)進(jìn)行轉(zhuǎn)移，目前，酒店業(yè)務(wù)、貨運(yùn)業(yè)務(wù)、電子客票、機(jī)場離崗等等都在逐步地向開放平臺(tái)進(jìn)行遷移。在開放平臺(tái)上，中國航信主要應(yīng)用是的Oracle或者M(jìn)ySQL，數(shù)據(jù)架構(gòu)之間相互比較獨(dú)立、煙囪式的，每個(gè)系統(tǒng)之間數(shù)據(jù)沒有物理上的聯(lián)系。而邏輯上的些微聯(lián)系也是根據(jù)業(yè)務(wù)需求，進(jìn)行的數(shù)據(jù)交換。這些數(shù)據(jù)在物理上是統(tǒng)一存儲(chǔ)，我們在3年前實(shí)現(xiàn)了在開放平臺(tái)上的虛擬化存儲(chǔ)技術(shù)，把所有的磁盤、所有的應(yīng)用系統(tǒng)、主機(jī)都集成到我們的虛擬化云平臺(tái)上，可以根據(jù)需要在幾分鐘內(nèi)就部署一套系統(tǒng)，這在兩年前就完全實(shí)現(xiàn)了。中國航信在2002年投資一億部署Teradata的數(shù)據(jù)倉庫。這是一個(gè)關(guān)系型數(shù)據(jù)庫，它能存儲(chǔ)大量數(shù)據(jù)，但缺點(diǎn)是反應(yīng)速度慢，沒法實(shí)時(shí)地為航空公司提供服務(wù)，不能在規(guī)定時(shí)間內(nèi)計(jì)算出票價(jià)，這個(gè)需求對于航空公司、客票代理、購票人都是非常有用的。過長的等待時(shí)間會(huì)讓該功能失去功用了，因此Teradata系統(tǒng)不能用于實(shí)時(shí)的計(jì)算，都是按天為單位來運(yùn)算的。在2000年時(shí)，覺得Teradata的存儲(chǔ)容量很大，可以存儲(chǔ)1~2年的數(shù)據(jù)，但我們現(xiàn)在存儲(chǔ)半年數(shù)據(jù)就滿了，且管理成本、運(yùn)維成本、擴(kuò)容成本都是千萬級(jí)的，也非常昂貴。根據(jù)預(yù)測，2020年的中國航空旅客運(yùn)輸量將達(dá)到7.7億人次左右，年復(fù)合增長率為12.27%，并將成為全球第一的航空旅行大國。航空客運(yùn)銷售代理市場的規(guī)模將達(dá)到360億元左右，成長空間巨大?？梢灶A(yù)見，支撐這一巨大規(guī)模的IT系統(tǒng)也將是及其復(fù)雜的。此外，中航信今天還面臨數(shù)據(jù)多樣性的挑戰(zhàn)。數(shù)據(jù)多樣性，這更多是由客戶驅(qū)動(dòng)，如航空公司、客票代理、旅客對價(jià)格的理解，對服務(wù)需求的理解，對服務(wù)要求的提高，會(huì)促使中航信決定是不是、何時(shí)應(yīng)用大數(shù)據(jù)，是結(jié)構(gòu)化的還是非機(jī)構(gòu)化的。比如中航信現(xiàn)有數(shù)據(jù)庫支持圖片，那就可以支持在乘客離崗時(shí)候照一張照片，在登機(jī)口利用照片核對是否同一人，符合之后才可以登機(jī)。但這里面的數(shù)據(jù)保密問題，對航空公司、信息服務(wù)提供商、乘客都是一個(gè)很大挑戰(zhàn)。在2011年，中航信就開始研究大數(shù)據(jù)，是以事件交易服務(wù)為中心，主要面向旅客、面向航空公司來做大數(shù)據(jù)的服務(wù)。并在2011年底對國內(nèi)航空公司做了調(diào)研。航空公司要求航信能夠提供實(shí)時(shí)機(jī)票定價(jià)服務(wù)，根據(jù)市場需求，根據(jù)航線情況，能夠給出旅客能夠接受的最高價(jià)格，比如京滬航線，什么時(shí)候全價(jià)、什么時(shí)候能夠打八折、八五折、七折，或者更低的折扣，這就要求航信提供很快的服務(wù)，能夠根據(jù)當(dāng)時(shí)的市場需求、以及前幾年的歷史數(shù)據(jù)，以及飛機(jī)時(shí)刻，來計(jì)算出能夠航空公司所能賣出的最高價(jià)格，同時(shí)也能提高艙位的利用率。同時(shí)，也要監(jiān)測競爭對手是不是有低價(jià)，如果競爭對手給出低價(jià)，航空公司也要立即跟進(jìn)。這都需要實(shí)時(shí)數(shù)據(jù)來支撐。目前，中國航信在EMC的Greenplum上進(jìn)行了大數(shù)據(jù)部署，這是基于事務(wù)性的、云計(jì)算部署，它解決了結(jié)構(gòu)化數(shù)據(jù)并行計(jì)算問題，能夠快速計(jì)算、迅速反應(yīng)，但在圖像存儲(chǔ)上還有待完善。未來，航信最終會(huì)做hadoop，會(huì)采用全開源的NoSQL+X86的硬件平臺(tái)，利用mapreduce、bigtable、GFS等類似的技術(shù)。特別是對于證券業(yè)、民航業(yè)、銀行業(yè)等結(jié)構(gòu)化數(shù)據(jù)較多的企業(yè)來說，Greenplum是適用的，因?yàn)樗慕Y(jié)構(gòu)化數(shù)據(jù)+并行處理能力強(qiáng)大。而對于擁有大量圖像、聲音、視頻的非機(jī)構(gòu)化數(shù)據(jù)，hadoop更加適用。對企業(yè)來說，任何技術(shù)都有好處和缺陷，關(guān)鍵要看企業(yè)客戶需求是什么，客戶要拿來做什么。就好比：不可能開著飛機(jī)大炮去打獵，得拿著獵槍。因此，服務(wù)提供商選擇什么樣的技術(shù)是基于客戶的需求，要選對工具和技術(shù)去支撐應(yīng)用，這是最關(guān)鍵的一點(diǎn)，看不到這點(diǎn)，會(huì)走冤枉路，花冤枉錢。中航信目前在做一個(gè)shopping，把中航信的酒店、機(jī)票還有價(jià)格放到平臺(tái)上面，底層用的是mysql，上層是一些Nosql的數(shù)據(jù)庫，這樣能夠快速響應(yīng)。因?yàn)榻y(tǒng)計(jì)發(fā)現(xiàn)，大概每900-1000個(gè)的訪問者中只有一人進(jìn)行了購買，大部分人是瀏覽。為了應(yīng)對這種情況，中航信采用了低成本的mysql，上面放一個(gè)高速緩存的nosql數(shù)據(jù)庫，上面再架設(shè)一個(gè)網(wǎng)站的方式來為客戶提供服務(wù)。民航主要用的是微軟數(shù)據(jù)庫架構(gòu)，正逐步走向mapreduce、NoSQL，逐步走向開源系統(tǒng)、開放架構(gòu)。由于中國航信研發(fā)人員比較多，能夠較好地對開源內(nèi)容進(jìn)行編制和再創(chuàng)新，但最終還是航空公司和旅客的需求應(yīng)用來驅(qū)動(dòng)中國航信的架構(gòu)。比如未來旅客訂票需要圖像，又如我們提供的預(yù)定酒店服務(wù)，可以在網(wǎng)上展示酒店客房的實(shí)際情況，甚至可以模仿消費(fèi)者在房間里面走，而出現(xiàn)的視覺變化，房間的布局、顏色。以及窗外的景色，這就需要大數(shù)據(jù)的支持，必須是非結(jié)構(gòu)化大數(shù)據(jù)來支持，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)是無法支持的?？蛻粼敢饣ㄥX購買這個(gè)服務(wù)，或者競爭讓這個(gè)服務(wù)以更低的成本得以實(shí)現(xiàn)。比如訂酒店，你可以看到周圍環(huán)境的布局以及酒店房間里面的情況，這樣消費(fèi)者可以更快地決定是否購買。如果其他商家做不到，那就有獨(dú)特的競爭優(yōu)勢。對商家來說，是否能夠負(fù)擔(dān)這個(gè)成本，所有東西都取決于客戶的需求以及成本的匹配。在數(shù)據(jù)中心“大數(shù)據(jù)平臺(tái)”發(fā)展路線上，中國航信規(guī)劃了四個(gè)方面。第一是基礎(chǔ)的IDC建設(shè)，目前建設(shè)了兩個(gè)全新的數(shù)據(jù)中心；第二個(gè)是云存儲(chǔ)、云主機(jī)、云計(jì)算；第三個(gè)是開放的云應(yīng)用，第四是把這些技術(shù)應(yīng)用到web上，如網(wǎng)上值機(jī)、根據(jù)座位圖來選擇座位，未來航信可以提供立體飛機(jī)倉位示意圖，讓乘客可以更直觀地判斷位置的舒適程度等，只要航空公司需要，就可以很快開發(fā)出這些服務(wù)。除了為民航提供服務(wù)之外，中國航信還對其他企事業(yè)單位開放，提供包括信息服務(wù)，外包服