集群機概述及l(fā)inux系統(tǒng)使用

“探索100”集群機用戶培訓(1)

——集群機概述及l(fā)inux基本使用清華信息科學與技術國家實驗室（籌）

高性能計算平臺培訓內(nèi)容系統(tǒng)環(huán)境介紹Linux常用命令Vi編輯器的使用環(huán)境變量設置Shell腳本的簡介集群機的三大優(yōu)勢計算節(jié)點每個節(jié)點為一個獨立的工作站/服務器節(jié)點配置：兩顆

IntelXeonX5670六核處理器（2.93GHz，12MBCache）

370個節(jié)點32GB內(nèi)存，370個節(jié)點48GB內(nèi)存高速網(wǎng)絡：InfiniBandQDR通信網(wǎng)絡構成，理論帶寬40Gb超大容量存儲系統(tǒng)：存儲容量：1000PB的存儲容量文件系統(tǒng)讀寫效率:實測寫帶寬4GB/s系統(tǒng)部署示意圖“探索100”百萬億次集群機共有740個計算節(jié)點，8880個處理器核系統(tǒng)的理論峰值浮點計算性能達到104TFlops存儲總容量達1000TB“探索100”系統(tǒng)部署用戶登錄：校內(nèi)用戶訪問校外用戶訪問嚴禁用戶在登錄節(jié)點編譯及運行程序計算節(jié)點：

共計740個：分37個刀片箱。測試節(jié)點：c01b02、c01b03（用戶可以訪問）計算節(jié)點：c01b08~c01b20,c02bxx~c37bxx（用戶無法直接訪問）登錄方法：使用ssh相關協(xié)議軟件訪問機器sshc01b02/sshc01b03訪問測試節(jié)點培訓內(nèi)容系統(tǒng)環(huán)境介紹Linux常用命令Vi編輯器的使用環(huán)境變量設置Shell腳本的簡介目錄操作ls:顯示目錄下所有文件及目錄ls–al/ll(注意隱藏文件)在WORK目錄及其子目錄下，文件數(shù)較多時，請盡量不要使用ls，防止登錄節(jié)點死機cd:從當前目錄轉移到指定目錄cdWORKcd..cd~（~代表/home/username）pwd:顯示當前目錄的絕對路徑mkdir:創(chuàng)建子目錄mkdirtestrmdir:刪除子目錄rmdirtest/rm–rftest文件操作

touch:創(chuàng)建文件touchaacp:復制文件cpaaaa.bak(修改文件之前，養(yǎng)成備份的習慣)cpaaWORK/cp–rtestWORK(-r為目錄拷貝)cd/apps/course;cp-rcourse/~/mv:移動文件mvaa./WORK/mvaa.bakbbrm:刪除文件rmbb（不要在~使用rm–rf*,刪除自家目錄的隱藏文件）文件顯示先進入course目錄：cd~/linjiao/coursecat:顯示文件/合并文件catPOTCARcatlist1list2>list3more:分頁顯示文件morePOTCARhead:顯示文件頭部headPOTCARhead-n20POTCARtail:顯示文件尾部tailPOTCARtail–n20POTCAR其他冷文件酷相關令命令ln淋:創(chuàng)建帶連接毯文件(c蹦d丘WO瞞RK具/l怖in沸ji鏟ao綿)ln省-判s危~/康li勵nj悠ia基o/浪co負ur助se拜/r普un歉r妨unln友–睬s棗~/肌li妹nj搬ia矩o/恥co慮ur印se本/v財as匠p.領Hg余/承v冠as當p.欠Hgdi喝ff疤:比較遇文本擇文件(c野d兇~/拒li摘nj階ia田o/茂co憲ur哪se債)di果ff架j旬ob午j欲ob膊.b涌akgr老ep昨:文本險搜索維工具gr行ep貢m以pi衡*燒.cfi郊nd泥:遞歸搜索烤目錄駁下文性件fi州nd寇~虹-驚na傻me拋*未.t耕xtfi句nd橡~淚/居-n筍am達e畜*.伸tx酷t(yī)–擁ex驚ec怒r河m送{}身\橋;(注意rm與{}與\都有硬空格,以;為結尊尾)正則姑表達比式操矛作符名稱操作符使用舉例意義支持的工具析取|x|y|zx,y或者zawk,egrep任意字符./L..e/Love,Live,…所有工具字符串首字符^^x以字符x開始的串所有工具連接xyzxyz所有工具字符串尾字符$x$以字符x結束的串所有工具轉義字符\\**sed,vi組合()或\(\)(xy)+xy,xyxy,…所有工具可選?xy?x,xyawk,egrep重復(零次或更多)*xy*x,xy,xyy,xyyy,…所有工具重復(一次或更多)+xy+xy,xyy,xyyy,…所有工具集合[][^][Hh]ello[^A-KM-Z]ovehelloLove,HelloLove所有工具正則糧表達秩式舉趟例例四材：任出意一牧個字日元.與重菌復字歡元例*城：gr寫ep酬-丸n章'g倘..撒d'利r卵eg芹ul擠ar寇_e伸xp馬re掀ss圣.t購xtgr競ep晴-圍n塊'o惡oo艱*'恐r堵eg潔ul瓜ar掀_e罰xp從re米ss舍.t蜘xtgr納ep蜓-栽n萄'g英oo稠*g臭'鞠re些gu樣la軍r_白ex蹤蝶pr濫es示s.暈tx校tgr扒ep售-果n焦'g慈*g另'敏re甩gu波la絨r_謊ex螺pr袖es瀉s.識tx敢tgr定ep醒-值n腳'[核0-斬9]紗[0躺-9突]*楊'貴re葬gu嗎la濤r_槐ex啦pr混es貫s.夕tx望t例五謠：限渡定連廉續(xù)字姜符范捐圍{}gr嘗ep輔-嚷n末'o鐵\{柄2\罷}'胳r己eg候ul煤ar喪_e墨xp飽re臥ss抽.t牌xtgr合ep迷-墊n沿'g鐘o\頸{2該,5忙\}繩g'傻r愉eg培ul輔ar輔_e椅xp廚re著ss悲.t嶺xtgr蘿ep氏-膏n且'g筐o\蝴{2案,\偶}g痛'隊re那gu奪la稍r_唉ex鋪pr咸es鑒s.掩tx大t例一雜：搜深尋特秧定字詳串：gr供ep編-令n棒't逝he朵'偷re障gu畢la盯r_被ex以pr沒es芒s.浮tx揮tgr呢ep弓-包vn概'出th坑e'努r典eg功ul赴ar霉_e棚xp申re偉ss飼.t版xtgr倉ep轎-懲in肝'賓th守e'雙r棒eg迎ul炸ar嫌_e隱xp咽re反ss枕.t惰xt例二哭：利灶用[]來搜焦尋集框合字豪元gr炸ep傲-南n鋤't姐[a懼e]襖st溉'驢re走gu另la瞞r_斃ex拿pr冷es追s.襖tx侵tgr現(xiàn)ep泰-涉n奴'[扯^g相]o炊o'頑r炕eg歉ul行ar須_e益xp白re基ss她.t撞xtgr旬ep步-得n鼠'[便0-俯9]吼'員re局gu薯la折r_體ex求pr旦es組s.允tx噸t例三躍：行走首與護行尾爺字元^寄$：gr日ep疼-蔽n墨'^保th惹e'獻r撐eg疫ul肅ar曾_e氣xp唇re蠅ss配.t雁xtgr揪ep沉-授n絲式'^淡[^圓a-界zA寧-Z屬]'姓r方eg搶ul勿ar鋪_e欣xp負re似ss粉.t息xtgr竊ep麗-圾n寄'\銹.$炭'劍re挑gu泥l(xiāng)a表r_致ex雞pr沫es販s.后tx短t文件故壓縮衣與解為壓縮.t芬ar解包惑：ta病r擺xv寄f取Fi抄le票Na長me題.t約ar打包馳：ta支r標cv堅f恥Fi潛le碧Na繼me追.t脆ar噴D沒ir猶Na煉me.g砍z解壓1：gu趣nz棗ip喜F橫il壓eN似am層e.少gz解壓2：gz恭ip爆-稱d玩Fi醫(yī)le版Na掙me談.g宅z壓縮鏡：gz神ip道F違il垮eN角am穗e.t個ar課.g差z和.t勸gz解壓籃：ta鵲r梁zx艷vf院F津il似eN教am扒e.慶ta想r.仇gz壓縮誤：ta狹r時zc工vf樸F踏il勾eN撒am蹲e.玻ta拿r.扁gz府D艇ir彈Na約me.z愉ip解壓免：un港zi景p并Fi患le飽Na牢me急.z型ip壓縮森：zi番p量Fi避le斜Na結me咬.z棵ip嶼D調(diào)ir循Na車me.b迅z2解壓1：bz薯ip敬2歉-d芒F線il浸eN足am糞e.廊bz榴2解壓2：bu針nz蹤蝶ip何2毯Fi聞le景Na霜me草.b錘z2壓縮袖：bz召ip灘2詠-z社F棒il備eN證am搬e.t雪ar斤.b原z2解壓雖：ta弟r蕉jx頂vf粘F撒il雁eN叮am束e.副ta這r.見bz減2壓縮券：ta大r稻jc犯vf喘F濤il屆eN澤am與e.攀ta薯r.記bz僻2笑Di醉rN脈am薯e.Z解壓慎：un蜻co丑mp斃re抬ss沙F哨il儀eN新am孕e.蠻Z壓縮椒：co鐘mp默re穴ss低F使il敞eN摩am詞e.t禮ar羨.Z解壓筆：ta鄭r棚Zx硬vf幟F毀il丹eN口am滿e.狼ta畜r.丘Z壓縮朱：ta爹r者Zc幣vf畢F此il貧eN糾am智e.年ta徒r.填Z測Di葡rN帽am肯e重定蠶向及境管道礙符重定謊向:命令儲的輸究入、防輸出泄、錯唱誤信稻息可糞以利屠用文娃件的譜重定勤向功恰能重永定向綱到其瞎他文銀件<：標墻準輸?shù)腿隿a銹t約<銳ho樂st>:標準倆輸出ls增-研l(wèi)摔/督>涉aa>>躍:原有晶文件茶后面凳追加吳內(nèi)容ls鍵-瞎al恢>悼>a通a管道午：一帽條命碗令的曉標準衫輸出距成為某另外倘一條腦命令濫的標嚷準輸浙入ll仿|g摸re射p已jo易bhi爭st福or揀y|描mo刑re系統(tǒng)軌操作ec須ho彈:顯示瘦變量棋的值ec領ho互$暢PA遍THps刪:用于炎查看延當前桶系統(tǒng)渡中的驕活躍招進程ps近–炭ef丹|g堡re含p片-v蓋r氏oo免tki扁ll念:終止兼指定習進程ki軋ll揀1伴51抬1hi饞st趟or改y:顯示屯歷史盟指令童記錄尖內(nèi)容,下達沃歷史材紀錄參中的慈指令hi閘st理or受y薯10!3懷31wh址ic撥h:在環(huán)弊境變部量$P移AT蔬H設置隸的目律錄里韻查找昨命令wh拳ic涉h四lsdu：統(tǒng)挪計目候錄占須磁盤筍空間這大小答（文件瘡數(shù)多達的情姨況下導，使乘用du命令省易死雹機）du渡–俊sm舟h競./網(wǎng)絡烤操作扇及其僚他ss份h:登錄笨遠程返主機ss慘h裕c0吩1b果02ss飽h協(xié)li曲nj零ia鞋o@案c0熊1b巴03sc繡p:遠程毫拷貝奇數(shù)據(jù)sc襖p惠-勉r玩co漏ur書se栗l僵in瞎ji偶ao倚@c查01扎b0招2:刪~/ma繩n:幫助灶命令ma責n謠lsto練p：動悶態(tài)觀掃察程輛序的珠變化常用包快捷攻操作ct替rl兇+誼c泥:終止積當前徹命令Ta獄b鍵:命令肆補齊上下羊鍵培訓懷內(nèi)容系統(tǒng)般環(huán)境素介紹Li維nu兄x常用職命令Vi編輯臂器的眾使用環(huán)境感變量到設置Sh斃el仰l腳本億的簡滔介Vi簡要溝使用跟流程創(chuàng)建很文件jo裹b.相sh使用"v蓋i躺[選項]團[文件..嗓]"命令柏打開打要編責輯的斯文件vi桃j飯ob虛.s從h按下"i冠"進入書編輯岸模式編輯,輸入賽文檔#!供/b侄in執(zhí)/b你as芳hda蚊te再>宅>壘jo店b.雨tx傷t按"E顯sc使"鍵退策出編脖輯模酸式輸入":威w"回車淹保存精，再戚輸入":鍋q"回車未退出階?；蚶咧蓖督虞斎f入":滴wq符"回車盈，代趕表保初存并偶退出兩種緩操作找模式編輯脆模式既：對效文本碑進行窄編輯春處理i:進入柜編輯杏模式ls修–袍al荒>搜>j拔ob妹.t版xtEs陜c:退出屠編輯喬模式命令默模式:接收廢按鍵車指令太執(zhí)行贈操作元，如羊復制鋸、粘獸貼、貢搜索儉、替信換、像保存菊、另抖存為哄等移動橡光標搜索撐與替客換刪除(剪切)、復險制與曾粘貼管理俱命令命令肺模式規(guī)詳解搜索扯與替避換/w煉or偷d:從光春標處勸開始紋，向份后搜肉索文肯本中多出現(xiàn)wo鉗rd的字帖符串:n估1,患n2瞇s/皆wo檢rd匙1/驚wo帆rd查2/為g:在第n1行與屈第n2行之無間搜泡索wo刪rd笛1，并刷將其桐替換伙為wo蛋rd董2刪除(剪切)、復混制與妥粘貼x:科x為向飄后刪筍除一榜個字富符u:撤消隱上一倘操作yy協(xié):復制廚光標道所在稍行的汪內(nèi)容p:命p為將標復制濃或剪拒切的敞內(nèi)容澤粘貼口在光球標下汁一行dd鳳:刪除憲光標風所在善行管理稠命令:n親um岸:跳到隨文件小的某路一行:s督et灶n廳u:顯示所正文召的行蓬號。:s顆et常n紫on往u:取消躁行號精。:!喝[命令]：暫隙時離背開vi編輯飄器，飯并在sh重el模l中執(zhí)凝行命掏令培訓興內(nèi)容系統(tǒng)培環(huán)境號介紹Li荷nu漁x常用蘿命令Vi編輯火器的騙使用環(huán)境悔變量繞設置Sh五el探l腳本智的環(huán)境閃變量兩種幻玉變量:sh綿el配l環(huán)境拜變量用戶畏自定索義變腐量環(huán)境穿變量弓的顯屯示se俱t,蛇en惕v,盯de肆cl莊ar浴e,般ty遲pe聰se爛t:顯示委所有sh諒el著l變量環(huán)境挪變量筒設置寬位置/e淚tc丸/p改ro享fi刃l(wèi)e嬌:為每敞個用駛戶設竿置的影環(huán)境勿變量~/把.b贊as幟h_丹pr值of選il牙e:用戶忠登陸裕時讀建取的透環(huán)境擱變量~/跪.b殘as習hr火c:啟動ba羅sh時讀顏取環(huán)境事變量雄設置顯示裹環(huán)境址變量ec撒ho至$軟PA畢TH$含義捉：變魔量的縫值設置傅環(huán)境劃變量ex歸po塑rt成P匙AT討H=稱/a盞pp肯s/杠mp武i/更mv宇ap惕ic攪h-陷2.遙1.胡7a課-i皺nt拜el川11娛.1授/b普in胞:$氧PA騾TH使用日“:”分則割路禾徑，藍前后乖不要儲有空瞧格“雀$P姨AT程H”一定電要加曬，否頂則把規(guī)原有果環(huán)境熔覆蓋系統(tǒng)擁根據(jù)臨路徑甚設置活順序月查找鋼命令~/賤.b共as善hr柱c啟動ba邪sh時讀傲取該竭文件胃，設市置環(huán)豆境變渡量設置訪完成尿后，啟運行so蹄ur弄ce顆~/筋.b青as齊hr踩c或重反新啟護動ba簡sh才能罪使設畢置生某效應用發(fā)程序奶環(huán)境皂設置脊舉例Gr謙om巴ac無sex鬼po波rt里P況AT支H=售/a嶼pp器s/餐so割ft鄰/g手ro絕ma沙cs脂/g柄ro短ma甘cs掃-4蛋.5蠻.4京/b劣in據(jù):$仰PA略THPy川th時on勒2描.7菊(注意壟順序)ex啞po帥rt股P著AT竄H=忠/a筐pp牽s/艱li醋b/探py蠟th醉on烈/P郊yt誤ho隆n-驢2.騎7.倍2/五bi碑n:鴨$P青AT晴HG0邊9ex籍po肥rt瀉g揉09棕ro鎮(zhèn)ot月=/游ho蝕me逃/y朵ug碼an煌g/文G0欺9ex烘po綁rt離G結AU昏SS蜜_S晶CR拘DI策R=溜/s稻cr毫at圖chso桂ur罵ce暮$付g0粥9r勾oo宏t/膚g0步9/刷bs菜d/烤g0撤9.坡pr貢of太il難e培訓比內(nèi)容系統(tǒng)秒環(huán)境膊介紹Li手nu級x常用擦命令Vi編輯膠器的旗使用環(huán)境悔變量那設置Sh坡el郊l腳本話的簡葵介Sh神el聞l基本呀內(nèi)容Sh珍el斯l腳本：一騙種程器序設汁計語衣言組成撞要素變量:環(huán)境小變量抽和用英戶自輛定義缸變量命令哪：li疼nu績x基本博命令流程揮控制俗：決乓定語塵句執(zhí)些行順頑序函數(shù)國：幾相個地憤方使循用了言相同跌的代記碼，閱可使看用函誘數(shù)其他開頭北：#!億/b筋in羊/s翅h注釋魯：#開頭果的句且子表普示注敏釋練習建立姜腳本jo娛b.稈sh編輯殊運行比一個董腳本./欣jo旁b.持shba盆sh匆:朵./抽jo桑b.重sh扇:投Pe惱rm芹is嘆si籠on洗d產(chǎn)en斬ie汪d（沒必有可散執(zhí)行踏權限嶄）ch嚷mo沃d橫+x沒j可ob欲.s誘h./令jo棟b.時sh腳本毛格式勾：un盈ix胡2d宿os藥j承ob膝.s蒜h./介jo哥b.群sh-b斜as駛h:潤.嘴/j運ob合.s譽h:攔/段bi轎n/槍sh漆^M歉:哈ba純d丘in改te凳rp洪re唱te礙r:度N嚷o驢su域ch享f綢il齡e獎or言d煉ir侍ec圖to臂ryca艦t閃-v覽j意ob亞.s祖hdo驅s2呀un疼ix孩j懇ob掘.s憤h用戶泉盡量顏在li歲nu蔽x環(huán)境薯中撰修寫腳前本，虜避免鹽上傳遠作業(yè)姐產(chǎn)生亞的格初式錯諒誤#!仇/b趕in擇/s往hda萄te嬸>擋j捏ob逢.t貝xtls繁–宇al絕>紙>j橡ob研.t胞xt常用艱只讀片環(huán)境師變量參數(shù)理列表捐：$0程序的名字$1~$9命令行參數(shù)1~9(常用戶腳本傳遞參數(shù))$*所有命令行參數(shù)值$@所有命令行參數(shù)值$#命令行參數(shù)的總個數(shù)$$當前進程的ID$?最近一次命令的退出狀態(tài)$!最近一次后臺進程的ID號作業(yè)侮提交扁實例進入WO助RK目錄委：cd團~姻/W揭OR省K/淡li燥nj碰ia溝o;蛾m擦kd列ir貼l牧am遲mp除s;炊cd仁l和am臣mp堤s;框ln出-據(jù)s耗~/腸li鑄nj勉ia宣o/奶co潑ur政se債/r顛un用r港un建立ru突n腳本候，用埋于提稅交作擇業(yè)內(nèi)容幼如下先：#!班/b來in誰/b騰as暴hif刺[取$普#鑼-n蘋e狗2獸]th清enec倦ho往"廊us暢ag枕e侵$0址c單or叨en市um斬i獸np臥ut彈fi賊le堡"ex逃it昌0fibs驅ub翅-熔q攪hp沖c_綁li贈nu灶x笑-n庸$環(huán)1齡-o前o語ut挪pu萄t.在%J崇-補e循er夠ro墾r.填%J涼-負a技in蝦te白lm鼠pi睡m寸pi俘ru初n.進ls勿f蜓/a柳pp杠s/耐so乘ft排/l們am稱mp需s/標la蠅mm姓ps交-2叢3M霉ay仙11飲/s添rc嘉/l趕mp隆_m庸kl詞-蚊in艘$號2運行末方法淋：./輛ru檢n特1啦2牽~住/l勾in飲ji拔ao梁/c璃ou杏rs撇e/燈in桃.c丟ra孤ck自定法義變駛量變量硬由字衣符串偏組成語法:謠va追ri露ab猶le犧=v皇al啊ue(等號獵左右喚沒有驗空格)讀取蠅：使陸用$讀取室變量命令沃替換芬：:$疑(c駕om商ma通nd禾)或`c演om怕ma素nd撞`實例:#！/b均in踏/b桶as弦ha=尺“績he掀ll漸o倆wo腥rl趴d”ec科ho刮“冬A爪is黑:育$a征”nu神m=構2ec盲ho絮“剝th盲is愉i星s鑄th棚e東$n深um僵nd女”ec蝴ho拉“孝th眉is克i溝s憲th汪e奮${盼nu翅m}轎nd行”ec真ho諒“直pr晌in奪t羊th扛e痰jo電b.母tx消t文:嶼`c岸at木j散ob神.t成xt解`”數(shù)值巨運算舉例院：va待r=貼1淘v米ar葡=$飾va熱r+崇1欠ec昂ho遭$論va執(zhí)rle圾t命令祝：必粥須是戀完整董的算靜術表君達式注意平運算話符(=寒/+等)之間骨不使鴿用空述格與((洲))等同le樣t冒va毒r+暈=1((咱va乎r沈=栽va茶r巾+鑼1)物)ex書pr命令季：計毛算并堤將結唇果寫宏入到竭標準達輸出表達違式右竿側的耀內(nèi)容塊，等魚同于$[販ex暮pr茅es瞞si孔on向]注意補：參鏟數(shù)與漁運算寧符號俱中間國有空利格隔細開va料r薦=叨`e拉xp擱r躍$v應ar肚+桿1可`ec茅ho接$兄[v城ar膠+1融]流程吸控制二路奴跳轉if亞-t冶he尋n-曲el救if員-e即ls跑e-久fi語句循環(huán)奪執(zhí)行fo畜r語句wh慮il肚e語句un收ti豬l語句br鄙ea幕k和co剃nt勻in園ue命令多路會跳轉ca挽se語句Se晝le均ct語句條件軍判斷語法貨：te男st弓e戲xp蚊re竹ss污io濤n或[諸ex臘pr饒es碰si孫on戰(zhàn)]注意蘋：操機作數(shù)欲和操冬作符便或括洲號的斬前后孟都要唱至少御留一皺個空伴格if媽t柜es梳t(yī)逼-f博"襲$1疑"th霸enfi勝le哭na皺me辭="義$1傅"se毒t躬$(梯ls腳-取il呢$紐奉fi瞧le踩na訂me繡)si桿ze錦="渡$6厲"ec抓ho醫(yī)"渴Na辟me鉛S秀iz骨e"ec西ho嘉"府$f晃il森en渡am尊e伐$s屑iz甘e"fiCO虛UN療TE倉R=層0wh繳il怕e迎[畝$前CO阻UN