海量數(shù)據(jù)存儲、訪問與管理

海量數(shù)據(jù)存儲、訪問與治理斷增長的數(shù)據(jù)。求也變得越來越迫切。人員覺察，公司收集、存儲和分析的有關(guān)客戶、財務、產(chǎn)品和運營的數(shù)據(jù)，其增長率達125%之多。各個方面的因素導致了數(shù)據(jù)的爆炸，如：網(wǎng)絡應用增加了數(shù)據(jù)的增長速度；監(jiān)控點擊流需要存儲與以往相比越來越多的不同的數(shù)據(jù)類型；多媒體數(shù)據(jù)也增加了對存儲的要求；我們存儲并治理的不僅僅是數(shù)字和文字，還有視頻、音頻、圖像、臨時數(shù)據(jù)以及更多內(nèi)容，這些數(shù)據(jù)的增長速度也在不斷地上升；數(shù)據(jù)倉庫和數(shù)據(jù)挖掘應用鼓舞企業(yè)存儲越來越長的時間段內(nèi)越來越多的數(shù)據(jù)。這些實際狀況導致的結(jié)果就是數(shù)據(jù)大量增加。要求，幾乎影響到全球各家大型企業(yè)。法案要求公共公司遵守嚴格的金融記錄保持與報告法規(guī)。假設公司不能準時、牢靠地訪問準確的財務信息，那么它們護周期，增加數(shù)據(jù)容量。、照片、計算機生成的報告、字處理文檔、電子表格、演示文稿、語音和85%以上，數(shù)據(jù)量及其浩大，是信息資源治理的核心。同樣，企業(yè)需要對非構(gòu)造化數(shù)據(jù)進展存儲、檢索、過濾、提取、挖掘、分析等各方面應用。歷史數(shù)據(jù)歸檔與訪問的需要。一般來說業(yè)務系統(tǒng)是用來處理業(yè)務交易的，為了使這些關(guān)鍵業(yè)務系統(tǒng)的性能不會受到嚴峻影響，往往業(yè)務系統(tǒng)只存放短周期內(nèi)的業(yè)務交易數(shù)據(jù)，大量的歷史數(shù)據(jù)都被備份到磁帶上，或者被轉(zhuǎn)移到其他SQL查詢時再把它們從檔案環(huán)境中恢復出來。但是隨著企業(yè)對數(shù)據(jù)的重要性越來越重視，以及數(shù)據(jù)分析、數(shù)據(jù)挖掘的應也對海量數(shù)據(jù)的存儲、治理和訪問提出了的需求。存儲異構(gòu)化的特點，企業(yè)的數(shù)據(jù)可能存儲在傳統(tǒng)系統(tǒng)、大型數(shù)據(jù)倉庫或具有計費、訂購、制造、分銷或其他功能的數(shù)據(jù)運營孤島上，因此會給訪問帶來極大的困難。數(shù)據(jù)整合與數(shù)據(jù)分析已經(jīng)成為信息治理技術(shù)的應用熱點。只有在有效合數(shù)據(jù)的分析和加工來獲得制定策略所必需的信息依據(jù)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫面臨更大的挑戰(zhàn)設計之上的。InternetIntranet技術(shù)的進展，使得非構(gòu)造化數(shù)據(jù)的應用日趨擴大，以及對海量數(shù)據(jù)快速訪問、有效的備份恢復機制、實時數(shù)據(jù)分析等等的需求，傳統(tǒng)的關(guān)系數(shù)據(jù)庫從1970年進展至今，雖功能日趨完善，但在應對海量數(shù)據(jù)處理上仍有很多缺乏。缺乏對海量數(shù)據(jù)的快速訪問力量當你的競爭對手在周五下午宣布了的價格體系，你所在機構(gòu)的總裁在周一早晨之前想要一份對你公司有何影響的分析報告，業(yè)務分析員想做的最終一件事情是花費20分鐘等待整個表掃描和多表連接來獲得“假設……會怎么樣”的查詢。由于沒有經(jīng)過優(yōu)化的查詢會消耗很長的時間；進展查詢的用戶，其需求需要按打算執(zhí)行；多個查詢會競爭CPU資源；并且業(yè)務需求常常被轉(zhuǎn)變。全部這些都要求不斷調(diào)整優(yōu)化數(shù)據(jù)庫或甚至重設計數(shù)據(jù)庫。缺乏海量數(shù)據(jù)訪問敏捷性在現(xiàn)實狀況中，用戶在查詢時期望具有極大的敏捷性。用戶可以提任何問都能快速得到答復。傳統(tǒng)的數(shù)據(jù)庫不能夠供給敏捷的解決方法，不能對隨機性的查詢做出快速響應，由于它需要等待系統(tǒng)治理人員對特別查詢進展調(diào)優(yōu)，這導致很多公司不具備這種快速反響力量。對非構(gòu)造化數(shù)據(jù)處理力量薄弱傳統(tǒng)的關(guān)系型數(shù)據(jù)庫對數(shù)據(jù)類型的處理只局限于數(shù)字、字符等，對多媒體信息的處理只是停留在簡潔的二進制代碼文件的存儲。然而，隨著用戶應用需Intranet/Internet供給的多彩的多媒體溝通方式，用戶對多媒體處理的要求從簡潔的存儲上升為識別、檢索和深入加工，因此如E-mail等簡單數(shù)據(jù)類型，是很多數(shù)據(jù)庫廠家正面臨的問題。海量數(shù)據(jù)導致存儲本錢、維護治理本錢不斷增加/價格比更加受關(guān)注。GIGA爭論說明，ROI(投資回報率)越來越受到重視。海量數(shù)據(jù)使得企業(yè)由于保存大量在線數(shù)據(jù)以及數(shù)據(jù)膨脹而需要在存儲硬件上大量投資，雖然存儲設備的本錢在下降，但存儲的總體本錢卻在不斷增加，并且正在成為最大的一筆IT開支之一。另一方面，海量數(shù)據(jù)使DBA陷入持續(xù)的數(shù)據(jù)庫治理維護工作當中。海量數(shù)據(jù)缺乏快速備份與災難恢復機制傳統(tǒng)的數(shù)據(jù)庫備份技術(shù)，如通常承受的磁帶備份方式，不能運用于海量數(shù)據(jù)，由于磁帶備份將使備份時間增加，需要幾小時-幾天，不僅影響了生產(chǎn)，而且增加了備份的難度，使得備份/恢復變得緩慢而且不行靠，幾乎無法在固定的時間窗口完成備份工作。另外，第三方備份軟件隱含的本錢代價如本錢開銷、只有通過引入有效的備份、便利高效的備份恢復技術(shù)，才能滿足海量數(shù)據(jù)安全的需要。SybaseVLDS的最大支持Sybase，致力于為客戶供給治理企業(yè)內(nèi)部各種簡單海量數(shù)據(jù)源的解決方案。其一系列的解決方案幫助數(shù)據(jù)密集型行業(yè)對來自于固定或移動數(shù)據(jù)源的構(gòu)造化或非構(gòu)造化的海量數(shù)據(jù)進展VLDSSybasEIQSybaseIQRDBMS解決方案相比，數(shù)據(jù)存儲量可以削減60～80%。這也就削減了物理存儲需求和人員配備本錢。經(jīng)過獨立的審核測試確認，48TSybaseIQ22TSybaseIQ比傳統(tǒng)數(shù)據(jù)庫更簡潔維護，而且不需要進展與時間和資源相關(guān)的調(diào)整就可以到達極佳的性能。除了節(jié)約本錢以外，SybaseIQ止欺詐、減小風險、開掘的商機以及獲得其他各種好處。SybaseDODS從運營系統(tǒng)獵取數(shù)據(jù)，將其復制到運營數(shù)據(jù)存儲中，然后使用用戶生疏的、功能強大的報告工具快速訪問數(shù)據(jù)。強有力并且簡潔易用地進展穿插查詢Emails,DocumentsandTransactions。SybaseDynamicArchive解決方案的獨特設計SybaseDynamicOperationalDataStrore(DODS)動態(tài)運營數(shù)據(jù)存儲解決方案SybaseDODS解決方案承受功能強大的復制技術(shù)，SybaseIQ歸檔數(shù)據(jù)庫中，可供給比傳統(tǒng)數(shù)據(jù)庫快100倍的查詢速度，而所需的存儲空間卻比傳統(tǒng)RDBMS60～80%。SybaseDODS，使它們在保持原有系統(tǒng)性能的同時，還能安全地滿足不斷增長的實時自助業(yè)務分析的需要。用戶實例：TelefonicaSpain〔西班牙電信〕DODS系統(tǒng)、青島海爾DODSDODSSybaseE-mail與文檔歸檔、檢索解決方案－非構(gòu)造化數(shù)據(jù)的有效運用Gartner爭論說明：非構(gòu)造化數(shù)據(jù)已經(jīng)與傳統(tǒng)的“構(gòu)造化”數(shù)據(jù)同樣重要，當今85%以上的商業(yè)信息是保存在非構(gòu)造化數(shù)據(jù)中，而且這個進展趨勢越來越快。相關(guān)法規(guī)的制定對公司E-mail搜尋需要的內(nèi)容以及附件包含的內(nèi)容？如何將E-mail信息與數(shù)據(jù)倉庫中數(shù)據(jù)進展關(guān)聯(lián)查詢？類似的需求將越來越多，SybaseE-mail與文檔歸檔、檢索解決方案能夠快速地答復你的問題。實時捕獲E-mail內(nèi)容及附件信息，并傳送到IQ實時把文檔/媒體加載到IQ對文檔信息進展快速load/index處理，客戶端對其中數(shù)據(jù)、email、文檔都可以進展關(guān)聯(lián)查詢。用戶實例：UnitedHealthCare(storeANYtypeofmedicaldatasuchasCATscans,X-rays,regularphotos(i.eJPEG),spectrograms,EKGandothers.)SybaseDynamicArchive(DA)動態(tài)數(shù)據(jù)歸檔解決方案在典型的業(yè)務應用環(huán)境中，數(shù)據(jù)量每年以125%的速度遞增。生產(chǎn)系統(tǒng)中高達80%數(shù)據(jù)處于非活動狀態(tài)，它們卻在不斷地占用著昂貴的硬件、存儲設備和維護資源，并且降低了應用性能。傳統(tǒng)的歸檔治理方法是將數(shù)據(jù)移出應用環(huán)境，但這可能會損害數(shù)據(jù)完整性，從而使公司面臨違反規(guī)定的風險。SybaseDynamicArchive解決方案特地設計用來滿足其核心應用飽受數(shù)據(jù)迅猛增長之苦的企業(yè)的需求，為企業(yè)供給真正需要的東西：一種長期的、本錢效益好的方法，能夠從應用生產(chǎn)中消退非活動數(shù)據(jù)，同時在需要這些數(shù)據(jù)時，又能夠持續(xù)實現(xiàn)無縫訪問，它還在節(jié)約本錢和提高性能方面供給了很多可以量化的優(yōu)勢。用戶實例：COSCON中遠集運DASybase海量數(shù)據(jù)備份／恢復NonStopIQNonStopIQ是針對海量數(shù)據(jù)的便利準時的Disk-to-Disk(D2D)備份/恢復解決方案：根本無視數(shù)據(jù)庫的大小，進展全庫備份在秒級或分鐘級就能完成；當發(fā)生災難時候，瞬間實現(xiàn)由生產(chǎn)庫到備份庫的切換，以最短的宕機時間來進展恢復操作，TB60秒；支持本地和遠程的操作；不同于磁帶備份，NonStop試、DBCCQA等等；比磁帶備份更加牢靠：馬上對備份數(shù)據(jù)進展驗證，備點數(shù)據(jù)庫隨時可以啟動、使用；可以使用ATA磁盤替代昂貴的FC磁盤來滿足本錢節(jié)約和信息價值非類存儲的需要，比“傳統(tǒng)的”磁帶備份/災難恢復具有更低的本錢；20多個客戶在承受該方案〔從200GB140TB〕。用戶實例：NielsenMediaResearch、AMEX、BizRate、SEC、廣東移動IP行總行歷史數(shù)據(jù)查詢系統(tǒng)等等。SybaseＶＬＤＳ國內(nèi)外成功案例2005年SybaseVLDS10SybaseIQIQ同樣的裸數(shù)據(jù)大小，在其他傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中，將有2-11局部國內(nèi)外VLDS的客戶應用介紹：TelefonicaSpain〔西班牙電信〕Telefonica電信業(yè)主要的全球化企業(yè)之一，全球擁有8200萬客戶，在164500〔西班牙2100〕，3600180010080TelefonicaSybaseDODS解決方案，成功地將數(shù)十個各自獨立的信息系統(tǒng)的海量數(shù)據(jù)準實時集中存放在ODS架構(gòu)中，實現(xiàn)了在最優(yōu)的存儲和維護本錢下獲得了最好的性能的目標。ComScore-一家生代信息效勞公司ComScore需要監(jiān)控分別來自美國六個不同的主干網(wǎng)，七個重要要城市的網(wǎng)絡點擊流。Internet〔有時候會到達百萬數(shù)量級〕，這就導致有大量的數(shù)據(jù)需要收集，ComScore600300GB60TBIQ20+TB。NielsenMediaResearch總部位于佛羅里達州達尼丁市的NielsenMediaResearch評及相關(guān)效勞的主要供給商。可想而知，隨著這種調(diào)研工作的不斷擴大和深入，NielsenMediaResearch的數(shù)據(jù)量也變得格外浩大，而且已經(jīng)成為了企業(yè)的生存命脈。Nielsen客戶提交的懇求往往不是訂單處理，而是集中在海量數(shù)據(jù)的提取上，由于客戶需要這些數(shù)據(jù)進展分析。而每一條懇求都包含數(shù)十頁，甚至數(shù)百頁的SQL語句。假設承受傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，I/O負載將會格外重。如今，承受SybaseIQMultiplex后，不僅解決了問題，而且能夠隨時對CPU進展調(diào)整，最高速率保持在每小時600GB，這個速度不會給SAN磁盤的I/OCPU保證系統(tǒng)的順當運行。KoreaChohungBank-韓國朝興銀行20001月，朝興銀行(CHB)完成了韓國第一個企業(yè)數(shù)據(jù)倉庫(EDW)和基于Web的市場數(shù)據(jù)庫系統(tǒng)的開發(fā)工作。CHB將EDW儲單元。包含在EDW中的客戶和交易信息每天都會更，供CHB內(nèi)部各獨立業(yè)務單位‘數(shù)700名用戶(如用于治理收益、信貸和風險的集成系統(tǒng))使用。廣東電信海量數(shù)據(jù)分析系統(tǒng)70163/16920028004003001001統(tǒng)的最終用戶的需求不盡一樣，業(yè)務策略不斷變化。廣東電信經(jīng)過多方測試比較，最終在163網(wǎng)，廣東省一代的多媒體網(wǎng)綜合業(yè)務治理系統(tǒng)，廣州電信市場經(jīng)營分析系統(tǒng)等多個系統(tǒng)中承受了SybaseVLDS廣東移動IP〔2006IQ30+TB〕廣東移動是中國領(lǐng)先的移動運營商，其CMNET是中國移動集團內(nèi)規(guī)模最大的省級IPIP網(wǎng)絡治理系統(tǒng)，每日數(shù)據(jù)行數(shù)巨大，僅WAP9〔ROWS〕，每日數(shù)據(jù)增量在800GB，且保持著相當高的增長速率，在大量數(shù)據(jù)持續(xù)加載到數(shù)據(jù)庫的同時還需要做大量的匯總計算工作。該系統(tǒng)經(jīng)過9IPSybaseVLDS一期實現(xiàn)了多個業(yè)務系統(tǒng)數(shù)據(jù)的實時裝載、小時分析、日分析。在存儲方面，實際磁盤開銷低于原始數(shù)據(jù)文件的大小，在充分滿足查詢需求的根底上，很好的掌握了空間的膨脹，降低了存儲代價。交行總行歷史數(shù)據(jù)存儲與查詢系統(tǒng)〔5+TB〕交通銀行總行歷史查詢數(shù)據(jù)量在不斷增加，尤其在實現(xiàn)個人歷史數(shù)據(jù)查詢功能后，數(shù)5TB。交行總行歷