Oracle的大數(shù)據(jù)解決方案

OraCle的大數(shù)據(jù)解決方案梅浩（宿遷學(xué)院10軟件2班20100311227）摘要：隨著科技的發(fā)展，人們生活和工作中的數(shù)據(jù)日趨龐大，無(wú)論是入庫(kù)，還是查詢，都出現(xiàn)了性能的瓶頸。用戶的應(yīng)用和分析結(jié)果也逐漸呈整合趨勢(shì)，從而對(duì)實(shí)時(shí)性和響應(yīng)時(shí)間的要求越來(lái)越高。并且隨著使用的模型越來(lái)越復(fù)雜，計(jì)算量呈指數(shù)級(jí)上升。傳統(tǒng)技能SAS、SQL等已經(jīng)無(wú)法應(yīng)對(duì)大數(shù)據(jù)。可見(jiàn)，大數(shù)據(jù)時(shí)代對(duì)人類對(duì)海量數(shù)據(jù)的駕馭能力提出前所未有的挑戰(zhàn)。本論文便是對(duì)Oracle的大數(shù)據(jù)解決方案進(jìn)行了探討。關(guān)鍵詞：Orade數(shù)據(jù)庫(kù)大數(shù)據(jù)引言大數(shù)據(jù)概念越來(lái)越引人矚目，它被用來(lái)描述和定義在當(dāng)前信息爆炸時(shí)代所產(chǎn)生的海量數(shù)據(jù)和與其相關(guān)的技術(shù)發(fā)展與創(chuàng)新。如何管理這些迅速膨脹的海量數(shù)據(jù)，也成為每個(gè)數(shù)據(jù)庫(kù)廠商必須面對(duì)的問(wèn)題。何謂大數(shù)據(jù)大數(shù)據(jù)或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。對(duì)于“大數(shù)據(jù)”，有些研究機(jī)構(gòu)給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)具有5大特點(diǎn)：大量、高速、多樣、價(jià)值和精確。巨大的數(shù)據(jù)量：集中儲(chǔ)存/集中計(jì)算已經(jīng)無(wú)法處理巨大的數(shù)據(jù)量多結(jié)構(gòu)化數(shù)據(jù)：文本/圖片/視頻/文檔等處理速度很快：海量數(shù)據(jù)的及時(shí)有效分析價(jià)值密度低：?jiǎn)螚l數(shù)據(jù)并無(wú)太多價(jià)值，但龐大的數(shù)據(jù)量蘊(yùn)含巨大財(cái)富足夠的精確性：大數(shù)據(jù)的結(jié)果應(yīng)該是精確的，而不是無(wú)效的3傳統(tǒng)信息技術(shù)難以處理大數(shù)據(jù)大數(shù)據(jù)是傳統(tǒng)的架構(gòu)、傳統(tǒng)的技術(shù)無(wú)法解決的數(shù)據(jù)的問(wèn)題。實(shí)際上傳統(tǒng)的應(yīng)用也有很多數(shù)據(jù)方面的問(wèn)題，大數(shù)據(jù)問(wèn)題不單單是我們常常說(shuō)的互聯(lián)網(wǎng)、多媒體等新的數(shù)據(jù)，有很多的數(shù)據(jù)是企業(yè)的傳統(tǒng)應(yīng)用因?yàn)閿?shù)據(jù)量的增長(zhǎng)，現(xiàn)有的IT架構(gòu)也慢慢地不能滿足要求了。止匕外，比如數(shù)據(jù)量過(guò)于龐大，大數(shù)據(jù)的多樣化格式，絕大部分大數(shù)據(jù)是“垃圾”以及存儲(chǔ)和處理成本的昂貴等等，也同樣會(huì)導(dǎo)致大數(shù)據(jù)的難以處理。這是就需要新性的技術(shù)手段：海量數(shù)據(jù)“經(jīng)濟(jì)方案”------經(jīng)濟(jì)便宜的X86服務(wù)器海量數(shù)據(jù)“分而治之”------批量分布式并行計(jì)算Hadoop海量數(shù)據(jù)“靈活多變”------實(shí)時(shí)分布式高吞吐高并發(fā)數(shù)據(jù)存取處理NoSQL海量數(shù)據(jù)“跨越鴻溝” 大數(shù)據(jù)超高速裝載進(jìn)數(shù)據(jù)庫(kù)4軟硬一體優(yōu)化集成的Oracle大數(shù)據(jù)綜合解決方案在企業(yè)數(shù)據(jù)量不斷攀升的同時(shí)，如何獲取大數(shù)據(jù)中的有用價(jià)值成為企業(yè)有力決策的關(guān)鍵。作為包含從底層到頂層的供應(yīng)商，Oracle提供面向大數(shù)據(jù)的軟硬件集成解決方案。該方案分捕獲、組織、分析、決策四大部分，為企業(yè)大數(shù)據(jù)分析集成一體化解決方案。隨著交易型IT過(guò)渡到交互型IT，企業(yè)數(shù)據(jù)出現(xiàn)了爆炸性增長(zhǎng)。社交媒體的興起、數(shù)字傳感器的大量應(yīng)用以及移動(dòng)設(shè)備的大面積普及等因素導(dǎo)致各種海量數(shù)據(jù)的快速產(chǎn)生。匕類多結(jié)構(gòu)化的數(shù)據(jù)價(jià)值較低，但龐大的數(shù)據(jù)量卻蘊(yùn)含著巨大財(cái)富。針對(duì)大數(shù)據(jù)需求而專門(mén)設(shè)計(jì)的集成化系統(tǒng)，Oracle大數(shù)據(jù)機(jī)是一款集成設(shè)計(jì)的系統(tǒng)，旨在簡(jiǎn)化大數(shù)據(jù)項(xiàng)目的實(shí)施與管理。該數(shù)據(jù)機(jī)采用18臺(tái)OraCleSUn服務(wù)器的全機(jī)架式配置，總共擁有864GB主內(nèi)存、216核CPU、648TB原始磁盤(pán)存儲(chǔ)空間，并在節(jié)點(diǎn)和其他Oracle集成化系統(tǒng)之間采用40Gb/s的InfiniBand網(wǎng)絡(luò)連接以及10Gb/s的以太網(wǎng)數(shù)據(jù)中心連接，可通過(guò)InfiniBand網(wǎng)絡(luò)連接多個(gè)機(jī)架進(jìn)行橫向升級(jí)擴(kuò)展，使其能夠獲取、組織和分析超級(jí)海量的數(shù)據(jù)。憑借在軟硬件雙方面的創(chuàng)新，Oracle商務(wù)智能云服務(wù)器實(shí)現(xiàn)極致數(shù)據(jù)分析性能，其亞秒級(jí)性能可以支持快速的數(shù)據(jù)分析，還能提供建模、規(guī)劃、預(yù)測(cè)和預(yù)測(cè)性分析，同時(shí)使企業(yè)規(guī)劃應(yīng)用能夠以更快的、更準(zhǔn)確的規(guī)劃周期在整個(gè)企業(yè)內(nèi)擴(kuò)展，可有效幫助企業(yè)加快業(yè)務(wù)決策，最大限度地挖掘大數(shù)據(jù)的商業(yè)價(jià)值。Oracle面向大數(shù)據(jù)的集成解決方案體系Oracle數(shù)據(jù)集成解決方案用于在SOA、BI和數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中構(gòu)建、部署和管理以實(shí)時(shí)數(shù)據(jù)為中心的架構(gòu)，包含了Oracle數(shù)據(jù)集成的所有要素一一實(shí)時(shí)數(shù)據(jù)移動(dòng)、轉(zhuǎn)換、同步、數(shù)據(jù)質(zhì)量、數(shù)據(jù)管理和數(shù)據(jù)服務(wù)一一能確保各個(gè)復(fù)雜系統(tǒng)的信息及時(shí)、準(zhǔn)確、一致。OracleDataIntegrator企業(yè)版OracleDataIntegrator企業(yè)版是Oracle數(shù)據(jù)集成解決方案的重要組成部分，提供了同類最佳的批量數(shù)據(jù)移動(dòng)與轉(zhuǎn)換技術(shù)，性能比傳統(tǒng)ETL高10倍，能夠跨異構(gòu)系統(tǒng)在源和目標(biāo)間高效移動(dòng)數(shù)據(jù)，提高性能的同時(shí)降低了數(shù)據(jù)集成的成本。此外，可熱插拔的知識(shí)模塊具有模塊化、靈活性和可擴(kuò)展性。OracleGoldenGateOracleGoldenGate是Oracle數(shù)據(jù)集成產(chǎn)品的新增組件，它提供了不影響系統(tǒng)處理功能的實(shí)時(shí)數(shù)據(jù)集成和持續(xù)可用性解決方案，使企業(yè)能夠顯著提高整個(gè)企業(yè)關(guān)鍵系統(tǒng)的可用性、可靠性和性能。具體來(lái)說(shuō)，OraCleGoldenGate提供異構(gòu)環(huán)境間事務(wù)數(shù)據(jù)的實(shí)時(shí)、低影響的捕獲、路由、轉(zhuǎn)換和交付，擁有靈活的拓?fù)浣Y(jié)構(gòu)，可以提供數(shù)據(jù)的單向復(fù)制、雙向復(fù)制、點(diǎn)對(duì)點(diǎn)復(fù)制、廣播復(fù)制、集中復(fù)制以及多級(jí)復(fù)制。最佳選擇Hadoop架構(gòu)HDFS概述HadooP分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS放寬了一部分POSIX約束，來(lái)實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS在最開(kāi)始是作為ApacheNutch搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開(kāi)發(fā)的。OracleNoSQL數(shù)據(jù)庫(kù)OracleNoSQL數(shù)據(jù)庫(kù)主要特性數(shù)據(jù)模型簡(jiǎn)單Key-Value式的存儲(chǔ)，其中key由一級(jí)主要key和二次次要key組成由Java寫(xiě)成，支持基于JavaAPI的Put、Delete和GET操作擴(kuò)展性強(qiáng)支持自動(dòng)地基于hash函數(shù)的數(shù)據(jù)分片策略提供基于數(shù)據(jù)節(jié)點(diǎn)拓?fù)浣Y(jié)構(gòu)和訪問(wèn)延遲的智能控制，以提供最佳的數(shù)據(jù)訪問(wèn)性能行為可預(yù)測(cè)性提供ACID的事務(wù)性支持，并且支持基于全局和單個(gè)操作的事務(wù)級(jí)別設(shè)置通過(guò)B-tree數(shù)據(jù)結(jié)構(gòu)構(gòu)成的CaChe層和高效的查詢調(diào)度機(jī)制，提供可控的請(qǐng)求延時(shí)高可用性沒(méi)有單點(diǎn)故障提供內(nèi)置且可配置的數(shù)據(jù)復(fù)制備份機(jī)制對(duì)單點(diǎn)或多點(diǎn)故障有很好的容錯(cuò)性通過(guò)跨數(shù)據(jù)中心的數(shù)據(jù)備份，提供數(shù)據(jù)的災(zāi)難恢復(fù)簡(jiǎn)單的管理與維護(hù)除了命令行之外，還提供基于Web的界面管理工具提供對(duì)系統(tǒng)及數(shù)據(jù)節(jié)點(diǎn)的控制控制可以查看系統(tǒng)的拓?fù)浣Y(jié)構(gòu)、系統(tǒng)狀態(tài)參數(shù)、當(dāng)前負(fù)載情況、請(qǐng)求延遲記錄、內(nèi)部事件及通知等信息大數(shù)據(jù)應(yīng)用詳單查詢系統(tǒng)分為兩層：服務(wù)層和數(shù)據(jù)層。數(shù)據(jù)層：采用OracleNoSQL分布式數(shù)據(jù)庫(kù)，對(duì)于實(shí)時(shí)詳單，按天存儲(chǔ)，通過(guò)有序文件存儲(chǔ)高效壓縮存儲(chǔ)，減少磁盤(pán)空間占用。采用分布式數(shù)據(jù)庫(kù)OracleNoSQL。服務(wù)層：分為清單入庫(kù)、歷史清單導(dǎo)出、清單查詢?nèi)齻€(gè)子模塊。其中，清單入庫(kù)模塊負(fù)責(zé)從計(jì)費(fèi)系統(tǒng)獲取清單并加載到分布式數(shù)據(jù)庫(kù)中；歷史清單導(dǎo)出模塊負(fù)責(zé)把實(shí)時(shí)清單從分布式數(shù)據(jù)庫(kù)導(dǎo)出到分布式文件系統(tǒng)中；清單查詢模塊負(fù)責(zé)對(duì)外提供清單查詢功能。大數(shù)據(jù)應(yīng)用-網(wǎng)絡(luò)優(yōu)化目的：根據(jù)網(wǎng)絡(luò)負(fù)載情況，優(yōu)化3G網(wǎng)絡(luò)和WiFi網(wǎng)絡(luò)的使用，進(jìn)一步增加數(shù)據(jù)服務(wù)收入?？偨Y(jié)大數(shù)據(jù)使我們可以更快地進(jìn)行實(shí)驗(yàn)，對(duì)更多的線索展開(kāi)探索。這將對(duì)社會(huì)進(jìn)步的觀念產(chǎn)生重要影響。更進(jìn)一步來(lái)說(shuō)，大數(shù)據(jù)是一種資源和一種工具。它的目的是告知，而不是解釋;它意在促進(jìn)理解，但仍然會(huì)