使用HttpFS網(wǎng)關(guān)從防火墻后訪問hdfs

主講：朱佳目錄0102HttpFS簡介HttpFS配置0302使用HttpFS訪問HDFS04WebHDFS和HttpFS的區(qū)別HttpFS簡介1HttpFS簡介什么是HttpFS？HttpFS是在ApacheTomcat上運行的Java應(yīng)用程序。HttpFS允許通過WebHDFSRESTAPI遠(yuǎn)程訪問HDFS文件系統(tǒng)。HttpFS使用映射到HDFS文件系統(tǒng)操作的HTTPREST調(diào)用。HttpFS簡介HttpFS可以做什么？HttpFS可用于在運行不同版本的Hadoop的集群之間傳輸數(shù)據(jù)（克服RPC版本控制問題），例如使用HadoopDistCP。HttpFS可用于訪問防火墻后面的集群上的HDFS中的數(shù)據(jù)（HttpFS服務(wù)器充當(dāng)網(wǎng)關(guān)，并且是唯一允許將防火墻穿過群集進(jìn)入集群的系統(tǒng)）。HttpFS可用于使用HTTP實用程序（例如curl和wget）和來自Java以外的其他語言的HTTP庫Perl來訪問HDFS中的數(shù)據(jù)。HttpFS配置2HttpFS配置1下載和解壓縮HttpFS二進(jìn)制文件$tar-xvzfhttpfs-2.5.1.tar.gz可以從下載二進(jìn)制文件。2.下載并解壓縮HttpFS二進(jìn)制文件后，按如下所示啟動HttpFS服務(wù)器:$bin/httpfs.shstart3.編輯Hadoopcore-site.xml文件,如下所示，定義運行HttpFS服務(wù)器的Linux用戶:HttpFS配置<property><name>xyuser。#HTTPFSUSER#.hosts</name><value>httpfs-host.</value></property><property><name>xyuser。#HTTPFSUSER#.groups</name><value>*</value></property>HttpFS配置4.重新啟動NameNode以激活配置的代理用戶?，F(xiàn)在可以啟動HttpFS服務(wù)器，如下所示：$sbin/httpfs.shstart使用HttpFS訪問HDFS3使用HttpFS訪問HDFS使用Linuxcurl命令通過HttpFS訪問HDFS：以下示例獲取/user/foo/README.txt文件的內(nèi)容$curlhttp://httpfs-host:14000/webhdfs/v1/user/foo/README.txt以下命令以JSON格式顯示/user/foo目錄的內(nèi)容:$curlhttp://httpfs-host:14000/webhdfs/v1/user/foo?op=list可以通過指定MKDIRS操作來創(chuàng)建目錄，如下所示:$curl-XPOSThttp://httpfs-host:14000/webhdfs/v1/user/foo/bar?op=mkdirs使用HttpFS訪問HDFS由于HttpFSRESTAPI返回JSON對象，因此可能會將這些對象傳遞給python-mjson.tool,以便將輸出轉(zhuǎn)換為易于讀取的格式，如下面的示例所示$curl-s"http://httpfs-host:14000/webhdfs/v1/\User/sam?op=LISTSTATUS&=sam"|python-mjson.tool這里的curl命令返回一個JSON對象，其顯示HDFS中/user/sam路徑下目錄的狀態(tài)。WebHDFS和HttpFS的區(qū)別4WebHDFS和HttpFS的區(qū)別WebHDFS和HttpFS之間的一個關(guān)鍵區(qū)別是，使用HttpFS，單個節(jié)點將充當(dāng)網(wǎng)關(guān)，并將數(shù)據(jù)的主傳輸管道發(fā)送到發(fā)出Htt