大數(shù)據(jù)與綠色數(shù)據(jù)中心

大數(shù)據(jù)與綠色數(shù)據(jù)中心1未來45分鐘4組關(guān)鍵詞2大數(shù)據(jù)特點(diǎn)〔4個(gè)V〕CAP實(shí)際業(yè)界三類數(shù)據(jù)庫數(shù)據(jù)中心---PUE大數(shù)據(jù)在中國

大數(shù)據(jù)–新一輪“信息革命〞DataGrowthStatements–MckinseyGlobalInstitute200PB/季度智慧城市數(shù)據(jù)中國某一線城市2090億2021年RFID標(biāo)簽銷售量

2021年是1200萬1.8ZBin20212天的數(shù)據(jù)量>文明起始到2003年3.88億/5.3億挪動(dòng)/互聯(lián)網(wǎng)用戶中國2021年6月$8000億10年個(gè)人位置信息效力發(fā)明的價(jià)值5PB/年安康檔案數(shù)據(jù)中國某一線城市“數(shù)據(jù)日益成為商業(yè)的新源資料:一種與資本和勞動(dòng)力并列的新經(jīng)濟(jì)元素.〞—TheEconomist,2021“信息將成為21世紀(jì)的石油〞.—Gartner,20213速度Velocity數(shù)據(jù)量Volume多樣化Variety傳統(tǒng)數(shù)據(jù)大數(shù)據(jù)GB->TBTB->PB以上數(shù)據(jù)量穩(wěn)定，增長不快繼續(xù)實(shí)時(shí)產(chǎn)生數(shù)據(jù)，年增長率超越60％主要為構(gòu)造化數(shù)據(jù)半構(gòu)造化，非構(gòu)造化，多維數(shù)據(jù)大數(shù)據(jù)技術(shù)將被設(shè)計(jì)用于在本錢可接受〔economically〕的條件下，經(jīng)過非常快速〔velocity〕的采集、發(fā)現(xiàn)和分析，從大數(shù)據(jù)量〔volumes〕、多類別〔variety〕的數(shù)據(jù)中提取價(jià)值〔value〕，但是傳統(tǒng)關(guān)系型數(shù)據(jù)庫存在性能、存儲(chǔ)、本錢、IO瓶頸、等等的緣由，無法支撐這4個(gè)V+1個(gè)E的要求，處理方法就是分布式技術(shù)、廉價(jià)的X86平臺(tái)、本地存儲(chǔ)，點(diǎn)出分布式技術(shù)是大數(shù)據(jù)處置的中心大數(shù)據(jù)在中國

大數(shù)據(jù)–四大區(qū)別于傳統(tǒng)數(shù)據(jù)的特征統(tǒng)計(jì)和報(bào)表價(jià)值Value數(shù)據(jù)發(fā)掘和預(yù)測性分析4CAP原理AAvailabilityCAP實(shí)際一個(gè)分布式系統(tǒng)不能夠滿足一致性、可用性和分區(qū)容錯(cuò)性這三個(gè)需求，最多只能同時(shí)滿足兩個(gè)——EricBrewerCConsistencyPPartitionToleranceConsistency一致性一切的用戶都可以看到一致的系統(tǒng)形狀A(yù)vailability可用性無論何時(shí),哪怕出現(xiàn)硬件缺點(diǎn),數(shù)據(jù)中心缺點(diǎn),系統(tǒng)也可提供效力,哪怕是降級(jí)的效力PartitionTolerance分區(qū)容忍性哪怕在網(wǎng)絡(luò)出現(xiàn)分割的情況下,各個(gè)獨(dú)立的子系統(tǒng)都可以繼續(xù)提供效力6RDBMS與Hadoop架構(gòu)對(duì)比 RDBMS RDBMS Connection(e.g.,FC,InfiniBand) Storage(e.g.,SAN,NAS, StorageCell,etc)?多個(gè)獨(dú)立的關(guān)系數(shù)據(jù)庫效力器，訪問共享的存儲(chǔ)資源池?優(yōu)勢： ?采用多個(gè)關(guān)系數(shù)據(jù)庫效力器，多個(gè)存儲(chǔ)，與原有的架構(gòu)相比，擴(kuò)展了存儲(chǔ)容量和計(jì)算才干；?優(yōu)勢： ?計(jì)算與存儲(chǔ)分別，數(shù)據(jù)訪問存在競爭和帶寬瓶頸； ?支持的關(guān)系數(shù)據(jù)庫效力器數(shù)量有限； ?只能向上擴(kuò)展(scale-up),不能橫向擴(kuò)展(not scaleout)?適宜復(fù)雜的需求事務(wù)處置的運(yùn)用 NewSQL與NoSQL Network(e.g.,GbE, 10GbE,Infiniband) E.g.,MPPDatabases(or MapReduceonRDBMS), BigDataframework(e.g., Hadoop,HBase)?由大量獨(dú)立的效力器經(jīng)過網(wǎng)絡(luò)互連構(gòu)成集群，每個(gè)服務(wù)器帶存儲(chǔ)。?優(yōu)勢：計(jì)算與存儲(chǔ)交融，支持橫向擴(kuò)展，更好的擴(kuò)展性?優(yōu)勢：處理數(shù)據(jù)沖突時(shí)需求節(jié)點(diǎn)間協(xié)作?適用范圍： ?數(shù)據(jù)倉庫和離線數(shù)據(jù)分析(MPP,Hadoop/HBase) ?大規(guī)模在線實(shí)時(shí)運(yùn)用〔單行事務(wù)處置能滿足的場景〕 (HBase)RDBMS：事物類處置行存儲(chǔ)關(guān)系型小型機(jī)為主NoSQL海量全局?jǐn)?shù)據(jù)處置Key-ValueMapReduceX86平臺(tái)NewSQL：分析類處置列存儲(chǔ)關(guān)系型X86平臺(tái)

大數(shù)據(jù)激發(fā)技術(shù)創(chuàng)新7NewSQL：嚴(yán)厲保證一致性、遵照關(guān)系模型，完好支持SQL92規(guī)范，一定程度上犧牲可用性和分區(qū)容錯(cuò)性。特點(diǎn)：列存、主要運(yùn)用場景：主要用于構(gòu)造化數(shù)據(jù)的統(tǒng)計(jì)分析Nosql數(shù)據(jù)庫：偏重分區(qū)容錯(cuò)性，一定程度上犧牲一致性和可用性，突破了關(guān)系模型，不一定支持SQL。特點(diǎn)：主要運(yùn)用場景：非構(gòu)造化數(shù)據(jù)的統(tǒng)計(jì)分析、實(shí)時(shí)查詢共性：采用廉價(jià)的X86平臺(tái)、本地硬盤、分布式架構(gòu)大數(shù)據(jù)推進(jìn)產(chǎn)品創(chuàng)新8大數(shù)據(jù)推進(jìn)了數(shù)據(jù)庫行業(yè)的產(chǎn)品創(chuàng)新。OldSQL陣營在根本架構(gòu)不變的根底上引入內(nèi)存計(jì)算和一體機(jī)技術(shù)以提升處置性能。NewSQL陣營在過去五年里構(gòu)成了近十個(gè)商用的產(chǎn)品，去年Google發(fā)表論文引見了F1/Spanner關(guān)系型數(shù)據(jù)庫〔未開源〕。NoSQL陣營的技術(shù)源于互聯(lián)網(wǎng)公司Google，Yahoo，Amazon,Facebook等。如今又出現(xiàn)了noSQL陣營和newSQL陣營交融的趨勢，例如hadoop經(jīng)過hive的擴(kuò)展實(shí)現(xiàn)了對(duì)構(gòu)造化數(shù)據(jù)的支持，greenplum等產(chǎn)品也經(jīng)過對(duì)和hadoop的交融實(shí)現(xiàn)了對(duì)非構(gòu)造化數(shù)據(jù)的支持。RDBMS：OracleExadataDB2-DPFSQLServer

NewSQL：GreenplumVerticaGBase8aF1/Spaner

NoSQL：HadoopHbaseBigtableCassandra9什么運(yùn)用適宜NoSQL數(shù)據(jù)庫方案支持PB級(jí)別數(shù)據(jù)BigData 支持非構(gòu)造化數(shù)據(jù) 支持構(gòu)造化數(shù)據(jù) 支持萬級(jí)每秒查詢 支持高可靠性系統(tǒng) 支持高效率統(tǒng)計(jì)分析大量的構(gòu)造化和非構(gòu)造化數(shù)據(jù)、要求可變的數(shù)據(jù)構(gòu)造和高效的數(shù)據(jù)導(dǎo)入、查詢、統(tǒng)計(jì)等大數(shù)據(jù)在中國

英特爾Hadoop發(fā)行版10Hive0.9.0交互式數(shù)據(jù)倉庫Sqoop1.4.1關(guān)系型數(shù)據(jù)庫同步工具Flume1.1.0日志搜集工具IntelHadoopManager2.2安裝、部署、配置、監(jiān)控、告警和訪問控制Zookeeper3.4.5分布式協(xié)作效力Pig0.9.2數(shù)據(jù)流處置言語Mahout0.6機(jī)器學(xué)習(xí)英特爾Hadoop發(fā)行版組件穩(wěn)定的企業(yè)級(jí)hadoop發(fā)行版利用硬件新技術(shù)進(jìn)行優(yōu)化HBase改進(jìn)和創(chuàng)新，為Hadoop提供實(shí)時(shí)數(shù)據(jù)處理能力針對(duì)行業(yè)的功能增強(qiáng)，應(yīng)對(duì)不同行業(yè)的大數(shù)據(jù)挑戰(zhàn)分布式、高維數(shù)據(jù)庫HbaseHBase0.94的改良和創(chuàng)新，提供即時(shí)數(shù)據(jù)處置Map/Reduce1.0.3穩(wěn)定高效的分布式計(jì)算框架HDFS1.0.3可靠的分布式文件系統(tǒng)R-statistics數(shù)據(jù)統(tǒng)計(jì)IntelligentSystemsArchitecture智慧城市電信零售終端設(shè)備HHNB/ULTCamerasPoSKioskDS大數(shù)據(jù)在中國

各行業(yè)大數(shù)據(jù)最正確實(shí)際制造醫(yī)療物聯(lián)網(wǎng)金融效力數(shù)據(jù)中心CPUSSD10GbEInfiniband……11TopFiveNomineesforthe2021USGovernmentBigDataSolutionsAward

VeteransHealthAdministration(退伍軍人安康管理):NewBigDataapproachesandframeworksprovidedataandtoolsfor20,000clinicianstotrackmedicaltrends,betteranticipateoutcomes.Thescopeofthedatasetisover80billiondatafiles.Focusedonserviceto25millionveterans.JudgesselectedVeteransHealthAdministrationbecauseoftheimpactandbestpracticesinBigDatasolutions.NASA〔星圖位置模擬計(jì)算〕:Multipleandextensiveactivities.OneofmanyexemplarswastheNASA

CenterforClimateSimulation(NCCS).TheirworkincludesscalableHadoopclustersforlargescaleclimatesimulations.BureauofEngravingandPrinting〔文檔電子化〕:Thisgovernmentagencyisthelargestproducerofsecuritydocumentsincountry.TheyhavefieldedanBigDatasolutionenhancedqualityandmissionsupport,reducedwaste.Judgescharacterizedthisasagoodmatchofrightbusinessprocessestoandamoderntechnicalapproach.AMSAA〔軍用物資活動(dòng)分析〕:ArmyMaterialSystemsAnalysisActivity.Vehicledataanalysisprograminstrumentsvehiclesintheatertocollectoperationalandenvironmentalparameterhistoricaldata.Massivedatapatternscreeningandanalysistoolsetsputinplace.Result:rapididentificationofissuesbeforemissionimpact.NationalCancerInstitute〔全國癌癥機(jī)構(gòu)〕:ExtensiveresearchandworkingprototypesofcuttingedgesystemsbasedonHadoopandtheBigData.Judgesnotedthesignificantpotentialimpactofthissolutionaswellasthestrengthofthetechnicalapproach.12挪動(dòng)用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)13智能交通的軟件架構(gòu)14HBaseMapReduceHive即時(shí)查詢(例如：路況信息)運(yùn)用程序視頻流處置(例如：實(shí)時(shí)路況)數(shù)據(jù)發(fā)掘(例如：車輛跟蹤)面臨挑戰(zhàn)數(shù)據(jù)源結(jié)構(gòu)化、半結(jié)構(gòu)化（病歷），非結(jié)構(gòu)化（PACS影像)數(shù)據(jù)格式標(biāo)準(zhǔn)難制定,或不斷變化數(shù)據(jù)量中型城市（1000萬人口）存放50年會(huì)達(dá)到10PB

醫(yī)療信息區(qū)域內(nèi)準(zhǔn)實(shí)時(shí)共享，醫(yī)生可快速調(diào)閱病人信息信息共享提升效率基于病史的自動(dòng)醫(yī)療、飲食等建議；針對(duì)病史和病癥的OTC藥物參考等個(gè)性化醫(yī)療疾病自動(dòng)分類和診斷計(jì)算機(jī)輔助診斷趨勢分析：例如，流行病擴(kuò)展情況分析、癌癥的歷年趨勢、藥物效果分析決策輔助系統(tǒng)區(qū)域醫(yī)療健康檔案系統(tǒng)解決問題居民電子病歷存儲(chǔ)、查詢解決方案HBase分布式數(shù)據(jù)庫存放健康檔案和PACS影像數(shù)據(jù)特點(diǎn)優(yōu)勢高速數(shù)據(jù)導(dǎo)入；實(shí)時(shí)數(shù)據(jù)查詢；關(guān)鍵字搜索；分布式統(tǒng)計(jì)智慧醫(yī)療與大數(shù)據(jù)1524數(shù)據(jù)中心根底設(shè)備建立綠色技術(shù)概述數(shù)據(jù)中心綠色目的：數(shù)據(jù)中心能源效率系數(shù)PUE PUE=[數(shù)據(jù)中心總用電耗費(fèi)]/[IT設(shè)備能源耗費(fèi)] 理想的企業(yè)數(shù)據(jù)中心PUE：1.35以下 理想的互聯(lián)網(wǎng)數(shù)據(jù)中心PUE：1.25以下常見的PUE：1.8to2.0甚至更高 Chiller33% Humidifier3% CRAC9%ITEquipment30% PDU5% UPS18% Lighting1% Mainswitchgear/Generator1%25Waste Heat OUTINDOOR DATACENTER HEATElectrical Power IN驗(yàn)收建立謀劃 運(yùn)維10-20年運(yùn)作壽命正在施工工程情況場地評(píng)價(jià)數(shù)據(jù)中心的戰(zhàn)略業(yè)務(wù)戰(zhàn)略和義務(wù)建立謀劃:數(shù)據(jù)中心建立的任務(wù)范圍,制定工程里程碑 設(shè)計(jì):土建和工程設(shè)計(jì)30%-60%-90%設(shè)計(jì)審核,工程有關(guān)的各種招標(biāo) 施工:根據(jù)設(shè)計(jì)規(guī)格進(jìn)展施工 驗(yàn)收:制定未來運(yùn)維的方式,擔(dān)任根底設(shè)備的驗(yàn)收 運(yùn)維:保證和維持根底設(shè)備的運(yùn)作29 采用 Intel數(shù)據(jù)中心規(guī)范 設(shè)計(jì)施工30/60/90方案設(shè)計(jì)/系統(tǒng)設(shè)計(jì)/施工圖設(shè)計(jì)數(shù)據(jù)中心退役處置大型數(shù)據(jù)中心根底設(shè)備建立全生命周期方法論 隱含的挑戰(zhàn)：在設(shè)計(jì)階段能否預(yù)見到運(yùn)維階段IT系統(tǒng)架構(gòu)的開展、變化！ Issuefor Construction 需求預(yù)測針對(duì)數(shù)據(jù)中心建立規(guī)范定義了四個(gè)級(jí)別：

19T1數(shù)據(jù)中心：根本型T1數(shù)據(jù)中心可以接受數(shù)據(jù)業(yè)務(wù)的方案性和非方案性中斷。要求提供計(jì)算機(jī)配電和冷卻系統(tǒng)，但不一定要求高架地板、UPS、或者發(fā)電機(jī)組。假設(shè)沒有UPS或發(fā)電機(jī)系統(tǒng)，那么這將是一個(gè)單回路系統(tǒng)并將產(chǎn)生多處單點(diǎn)缺點(diǎn)。在年度檢修和維護(hù)時(shí)，這類系統(tǒng)將完全宕機(jī)，遇緊急形狀時(shí)宕機(jī)的頻率會(huì)更高，同時(shí)操作缺點(diǎn)或設(shè)備本身缺點(diǎn)也會(huì)導(dǎo)致系統(tǒng)中斷。T2數(shù)據(jù)中心：組件冗余T2數(shù)據(jù)中心的設(shè)備具有組件冗余功能，以減少方案性和非方案性的系統(tǒng)中斷。這類數(shù)據(jù)中心要求提供高架地板，UPS和發(fā)電機(jī)組，同時(shí)設(shè)備容量設(shè)計(jì)應(yīng)滿足N+1備用要求，單路由配送。當(dāng)重要的電力設(shè)備或其他組件需求維護(hù)時(shí)，可以經(jīng)過設(shè)備切換來實(shí)現(xiàn)系統(tǒng)不中斷或短時(shí)中斷。T3數(shù)據(jù)中心：在線維護(hù)〔全冗余系統(tǒng)〕T3級(jí)別的數(shù)據(jù)中心允許支撐系統(tǒng)設(shè)備任何方案性的動(dòng)作而不會(huì)導(dǎo)致機(jī)房設(shè)備的任何效力中斷。方案性的動(dòng)作包括規(guī)劃好的定期的維護(hù)、保養(yǎng)、元器件改換、設(shè)備擴(kuò)容或減容、系統(tǒng)或設(shè)備測試等等。大型數(shù)據(jù)中心會(huì)安裝冷凍水系統(tǒng)，要求雙路或環(huán)路供水。當(dāng)其他路由執(zhí)行維護(hù)或測試動(dòng)作時(shí)，必需保證任務(wù)路由具有足夠的容量和才干支撐系統(tǒng)的正常運(yùn)轉(zhuǎn)。非方案性動(dòng)作諸如操作錯(cuò)誤，設(shè)備本身缺點(diǎn)等導(dǎo)致數(shù)據(jù)中心中斷是可以接受的。當(dāng)業(yè)主有商業(yè)需求或有充足的預(yù)算追加，T3機(jī)房應(yīng)可以方便晉級(jí)為T4機(jī)房。T4數(shù)據(jù)中心：容錯(cuò)系統(tǒng)T4級(jí)別的數(shù)據(jù)中心要求支撐系統(tǒng)有足夠的容量和才干躲避任何方案性動(dòng)作導(dǎo)致的重要負(fù)荷停機(jī)風(fēng)險(xiǎn)。同時(shí)容錯(cuò)功能要求支撐系統(tǒng)有才干防止至少1次非方案性的缺點(diǎn)或事件導(dǎo)致的重要負(fù)荷停機(jī)風(fēng)險(xiǎn)，這要求至少兩個(gè)實(shí)時(shí)有效地配送路由，N+N是典型的系統(tǒng)架構(gòu)。對(duì)于電氣系統(tǒng)，兩個(gè)獨(dú)立的〔N+1〕UPS是一定要設(shè)置的。但根據(jù)消防電氣規(guī)范的規(guī)定，火災(zāi)時(shí)允許消防電力系統(tǒng)強(qiáng)切。T4機(jī)房要求一切的機(jī)房設(shè)備雙路容錯(cuò)供電。同時(shí)應(yīng)留意T4機(jī)房支撐設(shè)備必需與機(jī)房IT設(shè)備的特性相匹配。3118.3C26.7C數(shù)據(jù)中心根底設(shè)備建立綠色