華為云計(jì)算與大數(shù)據(jù)

一、華為云計(jì)算

二、華為的大數(shù)據(jù)處理目錄華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第1頁(yè)!2022/12/152華為云戰(zhàn)略定位

華為云定位于運(yùn)營(yíng)商和企業(yè)的云服務(wù)市場(chǎng)，提供私有云、公有云和混合云解決方案，構(gòu)建華為“云管端”整體ICT（informationandmunicationstechnology）解決方案，面向企業(yè)、電信運(yùn)營(yíng)商和消費(fèi)者3大業(yè)務(wù)領(lǐng)域客戶。華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第2頁(yè)!云計(jì)算是商業(yè)模式和技術(shù)理念的統(tǒng)一2022/12/153云服務(wù)-“按需取用”的商業(yè)模式+

云平臺(tái)-分布式和并行軟件系統(tǒng)華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第3頁(yè)!華為云平臺(tái)IDC整體視圖2022/12/154云服務(wù)云平臺(tái)華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第4頁(yè)!華為提供端到端云解決方案2022/12/155華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第5頁(yè)!提供系列化云硬件平臺(tái)產(chǎn)品2022/12/156華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第6頁(yè)!華為桌面云即SingleCLOUD指“1個(gè)平臺(tái)+N種應(yīng)用”的安全解決方案。1個(gè)平臺(tái)即SingleCLOUD，將軟件與某一個(gè)具體的服務(wù)器分離，這樣，所有的軟件共享所有的硬件資源，實(shí)現(xiàn)“軟件與硬件的解耦”，實(shí)現(xiàn)真正的云計(jì)算。SingleCLOUD云平臺(tái)，支持“百萬(wàn)級(jí)服務(wù)器集群、百萬(wàn)T的存儲(chǔ)能力、百T級(jí)網(wǎng)絡(luò)互連能力”，支撐海量信息的計(jì)算和存儲(chǔ)，并通過(guò)“Zero-Touch的自動(dòng)管控”，大大降低運(yùn)維成本。采用業(yè)界主流高性能桌面協(xié)議(ICA)提供桌面云規(guī)劃設(shè)計(jì)、部署、驗(yàn)證等系列服務(wù)和工具。2022/12/157華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第7頁(yè)!2022/12/158華為認(rèn)為的大數(shù)據(jù)挑戰(zhàn)華為提出了大數(shù)據(jù)整體架構(gòu)，并總結(jié)出當(dāng)前面臨6方面挑戰(zhàn)：云存儲(chǔ)、大數(shù)據(jù)技術(shù)、E2E的媒體云、虛擬桌面、HTML5和高性能計(jì)算（HPC）。華為的大數(shù)據(jù)處理華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第8頁(yè)!大數(shù)據(jù)應(yīng)用領(lǐng)域視頻轉(zhuǎn)碼3D渲染金融領(lǐng)域計(jì)算天氣預(yù)測(cè)風(fēng)洞計(jì)算地質(zhì)模擬數(shù)據(jù)挖掘仿真…2022/12/159華為的大數(shù)據(jù)處理華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第9頁(yè)!華為為公有云和私有云市場(chǎng)構(gòu)建統(tǒng)一的云存儲(chǔ)解決方案(以分布式存儲(chǔ)為主，也可結(jié)合虛擬化存儲(chǔ))，由三個(gè)層面構(gòu)成：存儲(chǔ)硬件層、存儲(chǔ)平臺(tái)層和存儲(chǔ)服務(wù)層。存儲(chǔ)平臺(tái)層是一套基于DHT的分布式Key-Value存儲(chǔ)系統(tǒng)，將大規(guī)模的存儲(chǔ)設(shè)備資源聚合成一個(gè)具有統(tǒng)一視圖的、海量的存儲(chǔ)空間。存儲(chǔ)服務(wù)層基于平臺(tái)層提供的Key-Value接口，提供多種類型的存儲(chǔ)服務(wù)和接口協(xié)議，并提供存儲(chǔ)服務(wù)所需的訪問(wèn)安全機(jī)制。存儲(chǔ)硬件層可以是通用的存儲(chǔ)服務(wù)器，也可以是定制優(yōu)化的專用硬件。華為云存儲(chǔ)解決方案實(shí)現(xiàn)了多種存儲(chǔ)服務(wù)的融合和統(tǒng)一。多種存儲(chǔ)服務(wù)可以采用一致的接口訪問(wèn)存儲(chǔ)引擎，實(shí)現(xiàn)存儲(chǔ)容量、IO的共享，同時(shí)為各存儲(chǔ)服務(wù)提供不同的QoS。華為云存儲(chǔ)解決方案在架構(gòu)上考慮了如下要素：（1）海量的可擴(kuò)展性；（2）自組織自管理；（3）強(qiáng)一致性；（4）高性能的塊存儲(chǔ)服務(wù)；（5）定制優(yōu)化的低成本、高密度存儲(chǔ)硬件2022/12/1510華為云存儲(chǔ)解決方案華為的大數(shù)據(jù)處理-核心技術(shù)華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第10頁(yè)!華為大數(shù)據(jù)解決方案在大數(shù)據(jù)分析方面，華為大數(shù)據(jù)解決方案將電信領(lǐng)域在高可用、高性能、易運(yùn)維、易集成的積累，注入到ApacheHadoop系統(tǒng)中，形成企業(yè)級(jí)Hadoop產(chǎn)品，降低企業(yè)應(yīng)用Hadoop技術(shù)的難度。華為Hadoop方案已應(yīng)用于電信網(wǎng)監(jiān)測(cè)和IPTV內(nèi)容推薦，并取得良好效果。另外，在實(shí)時(shí)數(shù)據(jù)處理方面，華為大數(shù)據(jù)解決方案繼承電信極高流量處理能力，基于PC服務(wù)器能夠完成數(shù)百萬(wàn)每秒的事務(wù)過(guò)濾和處理，已用于云計(jì)算的物理和虛擬機(jī)集群監(jiān)控。2022/12/1511華為的大數(shù)據(jù)處理-核心技術(shù)華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第11頁(yè)!華為E2E媒體云解決方案華為UVI以統(tǒng)一的架構(gòu)，將媒體注入、處理、存儲(chǔ)、分發(fā)推流、分析、管理等關(guān)鍵能力集于一身，形成“云管端”協(xié)同的智能媒體云解決方案。針對(duì)內(nèi)容生產(chǎn)的多格式/多速率，華為媒體云采用內(nèi)容智能分片/合并、并行轉(zhuǎn)碼、資源動(dòng)態(tài)調(diào)度、硬件加速等技術(shù)，同時(shí)滿足離線與實(shí)時(shí)的媒體處理需求，為不同需求的用戶提供性價(jià)比最優(yōu)的解決方案；配合降噪與畫面增強(qiáng)等算法，使各種速率/格式的內(nèi)容達(dá)到視頻質(zhì)量最佳；支持內(nèi)容、語(yǔ)音識(shí)別等增值算法，為搜索推薦等業(yè)務(wù)提供強(qiáng)大的支撐。在內(nèi)容分發(fā)領(lǐng)域，華為媒體云以一套融合平臺(tái)改變煙囪狀的網(wǎng)絡(luò)現(xiàn)狀，同時(shí)支持OTT/IPTV/MBB等場(chǎng)景；高性能流化服務(wù)器，在功耗降低的同時(shí)，較傳統(tǒng)服務(wù)器性能提升5～10倍；高效文件系統(tǒng)結(jié)合統(tǒng)一緩存（cache）策略等技術(shù)，在提升命中率的同時(shí)，大幅縮減了存儲(chǔ)需求；多策略組合的智能內(nèi)容路由技術(shù)，使用戶的請(qǐng)求得到快速響應(yīng)；智能感知并動(dòng)態(tài)調(diào)整推流碼率，以確保畫面的流暢體驗(yàn)。2022/12/1512華為的大數(shù)據(jù)處理-核心技術(shù)華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第12頁(yè)!華為VDI解決方案華為VDI解決方案包括兩大類功能：（1）桌面協(xié)議功能，包括：桌面協(xié)議框架的服務(wù)器和客戶端，桌面顯示的服務(wù)器和客戶端，外設(shè)重定向的服務(wù)器和客戶端，語(yǔ)音重定向的服務(wù)器和客戶端，VOIP定制化的服務(wù)器和客戶端，鼠標(biāo)重定向到服務(wù)器和客戶端，鍵盤重定向的服務(wù)器和客戶端，以及多媒體重定向的服務(wù)器和客戶端。（2）桌面管理系統(tǒng)功能，包括：管理服務(wù)器，駐留在虛擬機(jī)中的桌面管理代理，駐留在客戶端上的終端管理代理，以及提供操作維護(hù)界面的管理控制臺(tái)。2022/12/1513華為的大數(shù)據(jù)處理-核心技術(shù)華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第13頁(yè)!華為云計(jì)算落地的兩個(gè)方面2022/12/1514云計(jì)算落地方案華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第14頁(yè)!華為提出的支持智能城市的云平臺(tái)架構(gòu)2022/12/1515華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第15頁(yè)!綠色高效的云機(jī)房建設(shè)2022/12/1516華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第16頁(yè)!提供云操作系統(tǒng)2022/12/1517華為云計(jì)算華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第17頁(yè)!一、華為云計(jì)算

二、華為的大數(shù)據(jù)處理目錄華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第18頁(yè)!華為大數(shù)據(jù)整體架構(gòu)2022/12/1519華為的大數(shù)據(jù)處理華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第19頁(yè)!云存儲(chǔ)-需求和挑戰(zhàn)存儲(chǔ)海量數(shù)據(jù)，并提供服務(wù)是云存儲(chǔ)的主要需求和挑戰(zhàn)。在公有云領(lǐng)域，云存儲(chǔ)的主要需求為：低成本和海量伸縮性、存儲(chǔ)的內(nèi)容為海量的結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。其存儲(chǔ)方案一般都采用廉價(jià)的x86存儲(chǔ)服務(wù)器和分布式存儲(chǔ)軟件（GFS、Dynamo）。在企業(yè)存儲(chǔ)市場(chǎng)，以SAN和NAS為主流的存儲(chǔ)方案，一般采用雙控制器的專用存儲(chǔ)硬件。公有云和企業(yè)存儲(chǔ)存在很大差異：現(xiàn)有公有云存儲(chǔ)雖然在系統(tǒng)的伸縮性方面取得突破，但卻犧牲一些傳統(tǒng)存儲(chǔ)的關(guān)鍵特性，如不支持POSIX接口、不適合大量隨機(jī)小IO、不適合強(qiáng)一致性等要求；企業(yè)存儲(chǔ)系統(tǒng)如果作為云存儲(chǔ)平臺(tái)，其容量、可靠性、性能將無(wú)法支撐。2022/12/1520華為的大數(shù)據(jù)處理-核心技術(shù)華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第20頁(yè)!大數(shù)據(jù)處理技術(shù)的趨勢(shì)與挑戰(zhàn)當(dāng)前大數(shù)據(jù)表現(xiàn)為如下兩方面主要特征：(1)大數(shù)據(jù)量十T級(jí)是入門，百T級(jí)PB級(jí)已非常常見(jiàn)；(2)響應(yīng)速度數(shù)據(jù)產(chǎn)生的速度越來(lái)越快，對(duì)于數(shù)據(jù)中蘊(yùn)含信息的提取，以及對(duì)于提取信息的反饋，要求越來(lái)越快。由于在數(shù)據(jù)量和響應(yīng)速度兩個(gè)維度的交織，給大數(shù)據(jù)的處理帶來(lái)很大的困難。在過(guò)去五到十年，兩類技術(shù)已經(jīng)發(fā)展起來(lái)，針對(duì)性地解決上述兩個(gè)的挑戰(zhàn)。發(fā)源于金融自動(dòng)交易系統(tǒng)的復(fù)雜事件處理（CEP）技術(shù)，經(jīng)過(guò)美國(guó)若干大學(xué)領(lǐng)先團(tuán)隊(duì)的研究及創(chuàng)業(yè)公司的工程優(yōu)化，已走向?qū)嵱?，?shù)百萬(wàn)每秒事件的處理，在工程上成為可能。隨著互聯(lián)網(wǎng)點(diǎn)擊流實(shí)時(shí)處理以及微博等業(yè)務(wù)的出現(xiàn)，流處理系統(tǒng)發(fā)展為分布式系統(tǒng)。雅虎和Twitter都開(kāi)源了其流處理系統(tǒng)，這進(jìn)一步推動(dòng)了大規(guī)模流處理系統(tǒng)的應(yīng)用。發(fā)源于谷歌的開(kāi)源系統(tǒng)Hadoop，隨著眾多公司的加入，已形成大數(shù)據(jù)處理的事實(shí)標(biāo)準(zhǔn)。來(lái)自數(shù)據(jù)源的原始數(shù)據(jù)，以及經(jīng)過(guò)流處理再生成的結(jié)果數(shù)據(jù)，一起再進(jìn)入Hadoop系統(tǒng)形成一個(gè)可供后處理的全量數(shù)據(jù)處理平臺(tái)，已形成經(jīng)典的大數(shù)據(jù)處理模式。2022/12/1521華為的大數(shù)據(jù)處理-核心技術(shù)華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第21頁(yè)!視頻媒體面臨的挑戰(zhàn)高清、3D以及超高清，將給視頻存儲(chǔ)與分發(fā)帶寬帶來(lái)十到百倍以上的增長(zhǎng)。為了適應(yīng)多終端以及網(wǎng)絡(luò)有效傳輸，視頻在碎片化的同時(shí)，需要被轉(zhuǎn)化為多種Codec以及上百種的格式/速率，傳統(tǒng)的存儲(chǔ)與計(jì)算方式難以應(yīng)對(duì)如此巨大的需求。用戶面對(duì)海量的視頻無(wú)從下手，大量存量?jī)?nèi)容亟待被挖掘。2022/12/1522華為的大數(shù)據(jù)處理-核心技術(shù)華為云計(jì)算與大數(shù)據(jù)共24頁(yè)，您現(xiàn)在瀏覽的是第22頁(yè)!虛擬桌面（前面提到的桌面云的關(guān)鍵技術(shù)）業(yè)界把虛擬桌面場(chǎng)景分為6大類，VDI是最常見(jiàn)的一類，其基本原理是將所有桌面虛擬機(jī)在數(shù)據(jù)中心進(jìn)行托管并統(tǒng)一管理，而用戶可以通過(guò)瘦客戶端，或移動(dòng)智能終端等類似設(shè)備，在局域網(wǎng)/廣域網(wǎng)訪問(wèn)，獲得與傳統(tǒng)PC一致的用戶體驗(yàn)。VDI方案中，用戶的桌面應(yīng)用邏輯及其存儲(chǔ)運(yùn)行在云端數(shù)據(jù)中心的虛擬機(jī)內(nèi)，本地只有瘦終端，處理顯示、鼠標(biāo)鍵盤事件和本地外設(shè)映射，通過(guò)遠(yuǎn)程桌面協(xié)議傳送顯示、事件、語(yǔ)音和視頻等內(nèi)容。VDI應(yīng)用場(chǎng)景非常廣泛，包括企業(yè)辦公、行業(yè)應(yīng)用、家庭娛樂(lè)、運(yùn)營(yíng)商營(yíng)業(yè)廳和呼叫中心等。VDI給用戶帶來(lái)的好處是（1）客戶端處理能力要求小，成本低；（2）客戶端功耗低，無(wú)噪音，符合節(jié)能減排要求；（3）客戶端無(wú)需升級(jí)維護(hù)，降低維護(hù)成本；（4）數(shù)據(jù)安全保