實(shí)驗(yàn)六 KV查詢(xún)實(shí)驗(yàn)手冊(cè)

KV查詢(xún)實(shí)驗(yàn)手冊(cè)

HUAWEI

華為技術(shù)有限公司

目錄

1大數(shù)據(jù)HBase-MRS實(shí)覽75

1.1實(shí)駛前導(dǎo)75

1.1.1關(guān)于MRS75

1.2實(shí)驗(yàn)介紹78

1.2.1關(guān)于本實(shí)驗(yàn)78

1.2.2準(zhǔn)備實(shí)驗(yàn)環(huán)境78

1.2.3實(shí)驗(yàn)流程79

1.3實(shí)驗(yàn)步驟79

1.3.1實(shí)驗(yàn)一:購(gòu)買(mǎi)MapReduce服務(wù)79

1.3.2實(shí)驗(yàn)二：遠(yuǎn)程登錄云服務(wù)器操作HBase88

1.3.3實(shí)驗(yàn)三：創(chuàng)建預(yù)分region表95

1.4實(shí)驗(yàn)小結(jié)98

2釋放華為云服務(wù)資源98

2.1釋放大數(shù)據(jù)服務(wù)MRS98

2.2釋放網(wǎng)絡(luò)資源VPC99

3附錄Linux常用命令100

3.1Is命令100

3.2cd命令101

3.3pwd命令101

3.4mkdir命令101

3.5rm命令102

3.6rmdir命令102

3.7mv命令102

3.8cp命令103

3.9cat命令103

3.10more命令104

3.11less命令104

3.12head命令105

3.13tail命令106

3.14vim命令106

3.14.1啟動(dòng)vim106

3.14.2vim的模式106

3.14.3插入命令107

3.14.4查找命令107

3.14.5替換命令107

3.14.6撤銷(xiāo)和重做107

3.14.7刪除命令107

3.14.8拷貝和粘貼108

3.14.9退出命令108

3.14.10幫助命令108

大數(shù)據(jù)HBase-MRS實(shí)驗(yàn)

1.1實(shí)驗(yàn)前導(dǎo)

1.1.1關(guān)于MRS

大數(shù)據(jù)是人類(lèi)進(jìn)入互聯(lián)網(wǎng)時(shí)代以來(lái)面臨的一個(gè)巨大問(wèn)題：社會(huì)生產(chǎn)生活產(chǎn)生的數(shù)據(jù)量越來(lái)越大

數(shù)據(jù)種類(lèi)越來(lái)越多，數(shù)據(jù)產(chǎn)生的速度越來(lái)越快。傳統(tǒng)的數(shù)據(jù)處理技術(shù)，比如說(shuō)單機(jī)存儲(chǔ)，關(guān)系

數(shù)據(jù)庫(kù)已經(jīng)無(wú)法解決這些新的大數(shù)據(jù)問(wèn)題。為解決以上大數(shù)據(jù)處理問(wèn)題，Apache基金會(huì)推出

了Hadoop大數(shù)據(jù)處理的開(kāi)源解決方案。Hadoop是一個(gè)開(kāi)源分布式計(jì)算平臺(tái),可以充分利用

集群的計(jì)算和存儲(chǔ)能力，完成海量數(shù)據(jù)的處理。企業(yè)自行部署Hadoop系統(tǒng)有成本高，周期

長(zhǎng)，難運(yùn)維和不愛(ài)活等問(wèn)題。針對(duì)上述問(wèn)題，華為云提供了大數(shù)據(jù)服務(wù)MapReduce(MRS),

MRS是一個(gè)在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，一鍵即可部署Hadoop集群。MRS

提供租戶(hù)完全可控的一站式企業(yè)級(jí)大數(shù)據(jù)集群云服務(wù)，完全兼容開(kāi)源接口，結(jié)合華為云計(jì)算、

存儲(chǔ)優(yōu)勢(shì)及大數(shù)據(jù)行業(yè)經(jīng)驗(yàn)，為客戶(hù)提供高性能、低成本、靈活易用的全棧大數(shù)據(jù)平臺(tái)，輕松

運(yùn)行Hadoop,Spark、HBase、Kafka、Storm等大數(shù)據(jù)組件，并具備在后續(xù)根據(jù)業(yè)務(wù)需要進(jìn)

行定制開(kāi)發(fā)的能力，幫助企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，并通過(guò)對(duì)海量信息數(shù)據(jù)實(shí)時(shí)與

HBase支持帶索引的數(shù)據(jù)存儲(chǔ)，適合高性能基于索引查詢(xún)的場(chǎng)景。數(shù)據(jù)計(jì)算

MRS提供多種主流計(jì)算引擎：MapReduce（批處理）、Tez（DAG模型）、Spark（內(nèi)存計(jì)算）、

SparkStreaming（微批流計(jì)算）、Storm（流計(jì)算）、Flink（流計(jì)算），滿(mǎn)足多種大數(shù)據(jù)應(yīng)用場(chǎng)景,將

數(shù)據(jù)進(jìn)行結(jié)構(gòu)和邏輯的轉(zhuǎn)換，轉(zhuǎn)化成滿(mǎn)足業(yè)務(wù)目標(biāo)的數(shù)據(jù)模型

數(shù)據(jù)分析

基于預(yù)設(shè)的數(shù)據(jù)模型,使用易用SQL的數(shù)據(jù)分析，用戶(hù)可以選擇Hive（數(shù)據(jù)倉(cāng)庫(kù)），SparkSQL

以及Presto交互式查詢(xún)引擎。

數(shù)據(jù)呈現(xiàn)調(diào)度

用于數(shù)據(jù)分析結(jié)果的呈現(xiàn)，并與數(shù)據(jù)湖工廠（DLF）集成，提供一站式的大數(shù)據(jù)協(xié)同開(kāi)發(fā)平臺(tái)，

幫助用戶(hù)輕松完成數(shù)據(jù)建模、數(shù)據(jù)集成、腳本開(kāi)發(fā)、作業(yè)調(diào)度、運(yùn)維監(jiān)控等多項(xiàng)任務(wù)，可以極

大降低用戶(hù)使用大數(shù)據(jù)的門(mén)檻，幫助用戶(hù)快速構(gòu)建大數(shù)據(jù)處理中心。

集群管理

以Hadoop為其礎(chǔ)的大數(shù)據(jù)生態(tài)的各種組件均是以分布式的方式進(jìn)行部署，苴部署、管理和運(yùn)

維復(fù)雜度較高。

MRS集群管理提供了統(tǒng)一的運(yùn)維管理平臺(tái)，包括一健式部署集群能力，并提供多版本選擇，

支持運(yùn)行過(guò)程中集群在無(wú)業(yè)務(wù)中斷條件下，進(jìn)行擴(kuò)縮容、彈性伸縮。同時(shí)MRS集群管理還提

供了作業(yè)管理、資源標(biāo)簽管理，以及對(duì)上述數(shù)據(jù)處理各層組件的運(yùn)維，并提供監(jiān)控、告警、配

置、補(bǔ)丁升級(jí)等一站式運(yùn)維能力。

產(chǎn)品優(yōu)勢(shì)

MRS服務(wù)擁有強(qiáng)大的Hadoop內(nèi)核團(tuán)隊(duì)，基于華為Fusioninsight大數(shù)據(jù)企業(yè)級(jí)平臺(tái)構(gòu)筑。歷

經(jīng)行業(yè)數(shù)萬(wàn)節(jié)點(diǎn)部署量的考驗(yàn)，提供多級(jí)用戶(hù)SLA保障。

MRS具有如下優(yōu)勢(shì)：

高性能MRS支持自研的CarbonData存儲(chǔ)技術(shù)。CarbonData是一種高性能大數(shù)據(jù)存儲(chǔ)方

案，以一份數(shù)據(jù)同時(shí)支持多種應(yīng)用場(chǎng)景，并通過(guò)多級(jí)索引、字典編碼、預(yù)聚合、動(dòng)態(tài)

Partition、準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢(xún)等特性提升了10掃描和計(jì)算性能，實(shí)現(xiàn)萬(wàn)億數(shù)據(jù)分析秒級(jí)響應(yīng)。

同時(shí)MRS支持自研增強(qiáng)型調(diào)度器Superior,突破單集群規(guī)模瓶頸，單集群調(diào)度能力超10000

節(jié)點(diǎn)。

低成本

基于多樣化的云基礎(chǔ)設(shè)施，提供了豐富的計(jì)算、存儲(chǔ)設(shè)施的選擇，同時(shí)計(jì)算存儲(chǔ)分離，提供了

低成本海量數(shù)據(jù)存儲(chǔ)方案。MRS可以按業(yè)務(wù)峰谷，自動(dòng)彈性伸縮，幫助客戶(hù)節(jié)省大數(shù)據(jù)平臺(tái)

閑時(shí)資源。MRS集群可以用時(shí)再創(chuàng)建、用時(shí)再擴(kuò)容，用完就可以銷(xiāo)毀、縮容，確保成本最

優(yōu)。

高安全MRS服務(wù)支持Kerberos安全認(rèn)證，實(shí)現(xiàn)了基于角色的安全控制及完善的審計(jì)功能。

MRS支持在華為云的公共資源區(qū)，資源專(zhuān)屬區(qū)、客戶(hù)機(jī)房的HCSOnline上為客戶(hù)不同物理

隔離方式的一站式大數(shù)據(jù)平臺(tái)。集群內(nèi)支持邏輯多租戶(hù)，通過(guò)權(quán)限隔離，對(duì)集群的計(jì)算、存

儲(chǔ)、表格等資源按租戶(hù)劃分。

易運(yùn)維

MRS提供可視化大數(shù)據(jù)集群管理平臺(tái)，提高運(yùn)維效率。并支持滾動(dòng)補(bǔ)丁升級(jí)，可視化補(bǔ)丁發(fā)

布信息，一鍵式補(bǔ)丁安裝，無(wú)需人工干預(yù)，不停業(yè)務(wù)，保障用戶(hù)集群長(zhǎng)期穩(wěn)定。

高可靠

MRS服務(wù)支持全節(jié)點(diǎn)高可用，實(shí)時(shí)短信油B件通知。

1.2實(shí)驗(yàn)介紹

1.2.1關(guān)于本實(shí)驗(yàn)

本課程為《大數(shù)據(jù)》實(shí)驗(yàn)課程，模擬高校學(xué)生系統(tǒng)，在華為MRS上進(jìn)行HBase操作，通過(guò)

創(chuàng)建表、對(duì)表進(jìn)行CURD操作、創(chuàng)建預(yù)分region表及Filter過(guò)濾器的使用，讓學(xué)員達(dá)到在

MRS上熟練掌握KV查詢(xún)，為了更好地掌握本書(shū)內(nèi)容，閱讀本書(shū)的讀者應(yīng)首先具備以下基本

條件：

具有基本的大數(shù)據(jù)常用概念。

熟悉HBase。有一定的邏輯性。

1.2.2準(zhǔn)備實(shí)驗(yàn)環(huán)境

為了滿(mǎn)足基于HBase-MRS實(shí)驗(yàn)需要，建議每位學(xué)員提前注冊(cè)華為云賬號(hào)并充值，確保通過(guò)

PUTTY訪問(wèn)外網(wǎng)暢通。

檢查設(shè)備

實(shí)驗(yàn)開(kāi)始之前請(qǐng)每位學(xué)員檢查自己的實(shí)驗(yàn)設(shè)備是否齊全，實(shí)驗(yàn)清單如下。

設(shè)備名稱(chēng)備注

MapReduce1個(gè)選擇“鯨鵬計(jì)算”

彈性公網(wǎng)IP1個(gè)需購(gòu)買(mǎi)彈性公網(wǎng)IP

每組檢查自己的設(shè)備列表如下：

購(gòu)買(mǎi)MapReduce1個(gè)購(gòu)買(mǎi)彈性IP1個(gè)

1.2.3實(shí)驗(yàn)流程

號(hào)放奏苕

1.3實(shí)驗(yàn)步驟

1.3.1實(shí)驗(yàn)一：購(gòu)買(mǎi)MapReduce服務(wù)

步驟1登錄華為云網(wǎng)站

點(diǎn)擊右上角登錄，輸入賬號(hào)和密碼

掃碼餐錄型碼登錄

<HDC.Cloud>

竽力開(kāi)發(fā),大會(huì)2021

每一個(gè)開(kāi)發(fā)者都了不起華為帳號(hào)登錄

I2021.4月24日-26日I中國(guó)?冰》（I

注冊(cè)E記名西

使用算《3?!t號(hào)登錄

IAM用戶(hù)華為官網(wǎng)帳號(hào)華力企業(yè)合作伙伴企業(yè)聯(lián)邦用戶(hù)

發(fā)，。萬(wàn)相*鍛塔力暢號(hào)覆務(wù)在登圣！程O(píng)合使用電如C帳號(hào)*agw4

■SMLXtfe,了幀更多

注意：華為云已統(tǒng)一登錄入口，若仍不能登錄則點(diǎn)擊下方華為云賬號(hào)進(jìn)行登錄。

點(diǎn)擊日企業(yè)智能'選擇"MapReduce服務(wù)”

最新活動(dòng)產(chǎn)品解決方冠EI企業(yè)若能定價(jià)云市場(chǎng)合作伙件開(kāi)發(fā)者支持與最好了解華為云

搜索EI企業(yè)普陵Q

精選推薦推薦產(chǎn)品

人工智能MapReduce服―MRSHOTAI開(kāi)發(fā)平臺(tái)ModelArtsHOT

企業(yè)級(jí)大數(shù)揖生群云8g芬面向Al開(kāi)發(fā)者的一站式開(kāi)發(fā)平臺(tái)

推薦系統(tǒng)RES數(shù)據(jù)湖探案DLI

自削腐根型并提供Res詼態(tài)的推薦按口濟(jì)處理、批處理的融合處理分析服務(wù)

云搜索服務(wù)css

點(diǎn)擊“立即購(gòu)買(mǎi)”

323企業(yè)上云節(jié)億元上云補(bǔ)貼|滿(mǎn)額送P40Pro了解詳情

(畛華為云搜索

MUAWtl

828關(guān)于華為云V最新活動(dòng)產(chǎn)品”解決方友vEI企業(yè)譬能-定價(jià)云市場(chǎng)”合作伙伴V

MapReduce服務(wù)0

MapReduce服務(wù)(MapReduceService)提供租戶(hù)完全可控的企業(yè)級(jí)大數(shù)據(jù)里群云服務(wù)，轉(zhuǎn)松運(yùn)行Hadoop、Spark.

HBase.Kafka、Storm等大數(shù)折殂件.

包年更優(yōu)思，買(mǎi)1年只需付10個(gè)月芟用

828X促限時(shí)5折IzfiPW^進(jìn)入控忠臺(tái)專(zhuān)屬云中購(gòu)買(mǎi)

選擇“自定義購(gòu)買(mǎi)”

點(diǎn)擊下一步，進(jìn)入硬件配置

選擇“按需計(jì)費(fèi)”，“可用區(qū)2”，點(diǎn)擊“彈性公網(wǎng)IP”，如下圖:

當(dāng)前配置

VRS192

■odoop“SandHX131

■n.^oh

3MT三

R?￡l

WMI

￡M?：-iura

WWZVK2

01611云?c-dMUx

干阿ubrwtddF5

點(diǎn)擊“購(gòu)買(mǎi)彈性公網(wǎng)IP”，選擇“按需計(jì)費(fèi)”，“按流量計(jì)費(fèi)”，“5M”,點(diǎn)擊“立即購(gòu)買(mǎi)”,如下圖:

點(diǎn)擊“提交”，如下圖：

產(chǎn)SB產(chǎn)超電8*?MKM

0?4tins

Rfi^eecF

Att汨P1￥002/<J't?

叭6tm停用

班

Mxh^h-ISe

SLlTOB

商E1V08Q

!Kah?窗

mt大小54E

血百海￥0.02,g+M^M冉維80小⑦

返回MapReduce服務(wù)自定義購(gòu)買(mǎi)界面綁定EIP

當(dāng)前配?

ttnu

MWMRS192

Hadoop2A3andHM1

?ttS埠mn_9w>h

KefbtrosaiE努?

冏絡(luò)髭?

5Ubnet-ddeS<19216B002.

ttlHK

E?如sms

BJ解可用X2

虐師”云tpc-deauh

用5Ux?-dde5

2y回t

Mastf點(diǎn)

選擇“鰥鵬計(jì)算”，關(guān)閉高可用，調(diào)整core節(jié)點(diǎn)數(shù)為1,如下圖：

BOIDOCSal

8290car

9

*io>ooG?11

Voxocaxi

*K>>00G8A1

點(diǎn)擊“下一步”

高級(jí)配置項(xiàng)參考如下:

①SWfi法②

你簽值

<5^1^010^2.

W1E請(qǐng)先返回上r設(shè)且TM節(jié)點(diǎn)愈幅再近且“性由閱應(yīng)

引導(dǎo)仍SWM節(jié)點(diǎn)Wim

胤0⑦

弓I號(hào)室偉必即工個(gè)被不田幻吟

委托⑦

制殘卸寇

KeftxfosUkSEES]?

ddmir

期

亶初二

用戶(hù)3

25

*A?6

點(diǎn)擊“確認(rèn)授權(quán)”

點(diǎn)擊“立即購(gòu)買(mǎi)”

點(diǎn)擊“返回集群列表”，如下圖：

＜的買(mǎi)集群

，蛔lmrs_9xoh已開(kāi)始創(chuàng)建.

進(jìn)入集群返叵集群列表

創(chuàng)建過(guò)程需要等待幾分鐘，待狀態(tài)變?yōu)椤斑\(yùn)行中”集群創(chuàng)建完成

現(xiàn)有集群c

步驟2點(diǎn)擊集群名稱(chēng)

MRS

皿長(zhǎng)裝

|

點(diǎn)擊"前往Managed

儂節(jié)點(diǎn)苜理矩件看理告警營(yíng)理沖丁昔理文件省理作業(yè)營(yíng)理相戶(hù)皆理前傷恢復(fù)引導(dǎo)涮反簽玄理

?本館患了務(wù)更多

|?gManayr|

”mn9xch2

eie5￡燈也集祥求本MRS1.92簸混,分第篋平

IAM用戶(hù)同步?東回步里壬何步?riD664。蘇7588<7s1)*僅72f534815眈時(shí)間2021/04/2115.56:54GMT<Oe.OO

可用區(qū)可尾區(qū)2之賴(lài)極方三vpc-dtMkKiASSt^Rsubnex-ddeS切班手網(wǎng)

斑一管明或處9pwmnsKerbennU證領(lǐng)

日多國(guó)齊后rws.mrs.^M^.sJbP?s^??⑦9

怛件版本

Hddoop版本283HBase版本1.3.1

參照下圖進(jìn)入Manager

補(bǔ)丁看理文隹理作業(yè)量理

斛雁本MRS192

wmoc364f756-7588-47cabbd(-f3e72f534815

西跑雨云\pc-deoult

公網(wǎng)IPme定

trr5_fT￥s_9xoh_sJbP

131

點(diǎn)擊“高級(jí)”，如下圖：

▲

您的連接不是私密連接

攻擊者可能會(huì)試圖從139.9.141.144竊取您的信息（例如：分碼、通訊內(nèi)各或信用卡信

忌）.了解評(píng)情

Nn：:ERR.CERT_AUTHORITYJNVALID

Q如果您想獲得Chrome最高級(jí)別的安全保護(hù)，請(qǐng)開(kāi)啟增兵取保護(hù)

返回安全連接

點(diǎn)擊“繼續(xù)向前”,如下圖：

A

您的連接不是私密連接

攻擊省可H2會(huì)試圖從44切取悠的傅思（例如：空碼、通訊內(nèi)容或＜8用卡（B

患）.了一耳怪

NCT::ERR.CERT^UTHORITY.INVAUD

9如果把屈存ChromeIB高級(jí)別的安全保P,請(qǐng)開(kāi)啟增強(qiáng)型國(guó)滬

MEN

此Jg務(wù)at^法證明它是1399141.144:包計(jì)舞機(jī)為提作系統(tǒng)不＜8任吟全證書(shū).出現(xiàn)此問(wèn)

SS的原因可辨是配■白誤或傷的連接被攔16了.

；￡金至往1399141.144f不定全）

輸入用戶(hù)名admin及密碼，點(diǎn)擊"登錄"，進(jìn)入MRSManager

114.116201.0:9022/mrscas/login?sefvice=https%3A%2F%2F%3A9022%2Fgateway%2Fmrsweb%2Fmrsmanagef%2Rassecuritycheckh...&

HUAWCI

用戶(hù)登錄

MRSManager

1.3.2實(shí)驗(yàn)二：遠(yuǎn)程登錄云服務(wù)器操作HBase

步驟1配置安全組

點(diǎn)擊集群名稱(chēng)

MRS現(xiàn)有集群?

MIWtW

|cwatt

?2F5：

選擇“節(jié)點(diǎn)管理”，點(diǎn)擊含有“master”的節(jié)點(diǎn)

在彈出頁(yè)面中選擇“安全組”，點(diǎn)擊“更改安全組規(guī)則”，如下圖所示：

選擇“入方向規(guī)則”，點(diǎn)擊“一鍵放通”，確認(rèn)即可。

步驟2

遠(yuǎn)程登錄master節(jié)點(diǎn)

在安全組配置項(xiàng)，點(diǎn)擊右上方“遠(yuǎn)程登錄"，選擇cloudshell登錄。

回

輸入密碼，點(diǎn)擊連接即可。

酶主機(jī)：192168055

?□：22

99^;root

KW:

會(huì)話(huà)咨廊:rool@192168055

■打EML￡儀M

??：

-中刺財(cái)—代r的tsm2HBWI口為22）已較允訐.

4raHM?2??-T?WWXPU.哂*?,itt義一一在:tgWtgE心口方WMI

?華壇QoudSMUT會(huì)的3W以遇班.

EXPLORERUNTTHED(WORKSPACE)6>.roolQ1921680$5x

01;(1001^192168OSS)

>tobinwelcometoHUMICICloudShell

>toboot

HCM:https://www.huaueicloud.coo/prodKt/cloudid?.htal

Support:https://support.huawcicloud.coa/jserBanualcloudldc/cloudshcll^index.htBl

Homing:Per?4nentlyadded'10.198.96.109*(ECOSA)tothelistofknownhosts.

lastlogin:ThuIs1es：ee：ie1976

[rootfnode-aasterlKXiK-]?口

設(shè)置環(huán)境變量執(zhí)行命令:

#sourceenvjile

#hbaseshell

CXPIORCRUNTITtEO(WOWCSPACtlG>-E?似168066x

▼?/gotai92168。56：..(root^noda-aastarliDuK*)?sourceenv_<il?

>bin[rootfnode"a85terl10M?-]?hb4seshell

INFO:Matchingflie:/opt/client/HBase/hbase/corf/log4).propertiesforchangeswithinterval:teeee

>Bboot

2621-64<?116:43:4，,583IMFO(aaiA);ooic<?*p?r.lUcov?rdble7ocKP*p?r:PeessIdentifler-lKonne<tion-6xa8$4*7ffconne<tii

>.CloudRfnafPwdDpdataA9Qnt

3481S.co?:2181,node-?^ter2wcir.c364f7S6-7S??-Oc?-bbd6-f3?72fSM?lS.co?:2181,node-M5t€rliA(k.c3?f7S^-7SM-47c?-bbd6

>BOoudrRttMlKvdAgfinl2621M-2116:43:41.6?7INFOzooko?p?r.ZooCo?por:Client?nvlrons?nt:xook?opcr.version-3.S.I-BTS-1.9.e.built

”213?2116:43:41,“7INFO3皿2ooke^per.Zooteeper：ClientEvircxwect:host?c.e?code?■asteriI(h<.c364f796-75S8

>

2?21842110:43:41.667