netapp學(xué)習(xí)筆記

1、netapp學(xué)習(xí)筆記data ontap 7.2 operating system：wafl : 文件系統(tǒng) write anywhere file layoutnvram: 非易失ram,由鋰電池供電clustering: 存儲的共享存儲系列:fas6000 /3000 series unified enterprise-class storage  - data center storage 數(shù)據(jù)中心fas200 remote and departmental storage  -  remote  dept s

2、torage 部門級存儲nearstore on fas    - near-line storage  近線存儲economicalsecondary storagev-series      -storage virtualization   虛擬帶庫dynamic virtualization for heterogeneous storage -可以兼容別的存儲,以raid0方式共享。數(shù)據(jù)中心和近線存儲的主要區(qū)別在與性能上,系統(tǒng)一樣,操作一樣net

3、app 存儲的與其他存儲的兼容: v-series 把其他廠商的存儲虛擬成netapp的存儲worm: write one read multipleilm: information lifecycle management 信息生命周期管理das:直連存儲fas 系列的存儲:series: fas6000         fas900             

4、60;   fas3000         fas2000   fas200：已經(jīng)停產(chǎn)了,只有一個光纖接口fas250: fc port 只對磁帶,不能建san,fas270:fc 建san 或?qū)Υ艓hecking disk shelf id numbers一個loop最多 7個shelf,可以有多個loopshelfid: 要設(shè)置每個loop的shelfid,近機頭的為 shelf 1nas vs sandirect-attached storage

5、: 直接的存儲san: storage area network   存儲網(wǎng)絡(luò)實現(xiàn)結(jié)構(gòu):user-application-file system-san-storagenas:network attached storage 在網(wǎng)絡(luò)上的附加存儲,如: nfs cifs   實現(xiàn)結(jié)構(gòu): user-application-lan-file system -storagenetapp的nas有自己的文件系統(tǒng): waflnetapp:存儲構(gòu)架        

6、60;     磁  盤                  |              wafl文件系統(tǒng)        

7、0;     |           |         filesystem   block server              |   

8、60;       |       nas-nfs-cifs  san blocks 虛擬的san啟動 ontap#cd /sim/node1/#./runsim.sh    啟動 filer- 就是netapp的存儲#halt  關(guān)閉filer#./setup.sh   保證關(guān)閉 ontap的情況下,重新配置 filer意外非正常退出 telne

9、t ,則需要運行# rsh ip -l 用戶名:密碼 logout telnet> priv set  advanced   進入高級模式*> priv set admin  進入管理模式   #man priv  查看幫助文件基本系統(tǒng)配置命令:> sysconfig -v   顯示詳細 i/o 設(shè)備信息> vol status -r   顯示系統(tǒng)raid的信息> sysconfig -

10、r 同上> sysconfig -c  檢查配置是否錯誤option  設(shè)置環(huán)境變量, 會改動/etc/registry 文件vol options> options 顯示出 option 環(huán)境變量> options  aut   把以aut開頭的列出來> options security   顯示安全規(guī)則> option telnet.enable on|off  options telnet.access legacy|*

11、| -l host=hostname           rsh.enable on|offoptions rsh.access host=host3options trusted.hosts -  關(guān)閉ie filerviewoptions trusted.hosts *  打開options ssh   查看 ssh 的現(xiàn)在狀態(tài)ontap:根目錄: /vol 類似 linux  /特殊: 存在

12、 /etc/rc,其實是 /vol/vol0/etc編輯文件:# rdfile  full_path     查看文件#wrfile full_path  回車首先清空該文件,再記錄寫下的內(nèi)容,最后回車結(jié)束,最后一行才能生效, ctl+c 退出并保存了所以編輯文件前首先 rdfile ,以方便把原內(nèi)容粘貼回去#wrfile -a /etc/rc  lkdsfsdjfj  在最后一行增加administrative access control  

13、管理 訪問控制# useradmin user            group            role> useradmin role list  顯示相關(guān)的角色 的信息和權(quán)限> passwd   修改密碼> useradmin user add  名字 -g&

14、#160; 組名用戶作用: 管理filer 訪問sim 的認證 *   autosupport   - 一個監(jiān)控存儲的服務(wù)進程,通過設(shè)置能觸發(fā) e-mail 到網(wǎng)絡(luò)技術(shù)支持中心   存儲系統(tǒng)沒有郵件服務(wù)器,需要郵件服務(wù)器,而且是匿名發(fā)送的觸發(fā)事件:low nvram lithium batterydisk fail郵件的內(nèi)容:命令的輸出結(jié)果:df 激活autosupport 及相關(guān)配置options autosupport.support.enable on|off  

15、60;                 .mailhost host1,.,host5                    .to adress1,.,address5     

16、               .from                    .content             

17、;       .noteto                    .doit                  -second day- 

18、;    raid0: 條帶化raid1:鏡像raid5: 條帶化,容量是 n-1塊盤raid4: 條帶化,一個固定盤做校驗,性能瓶頸在檢驗盤,校驗盤被頻繁讀寫,成為熱點盤擴容時,比較容易raid-dp: double parity 兩塊校驗盤采用兩種不同的校驗方式來做 奇偶校驗,raid-dp 的性能優(yōu)于raid5raid group sizenetapp對raid組磁盤個數(shù)的限制:raid-dp             m

19、inimum group size        max     defaultr200             3                  

20、0;  16         14r150             3                     16   

21、;      12r100             3                     12        &#

22、160;12all othe         3                     28         16raid4r200    2  7

23、   7r150    2  6   6r100    2  8   8fas250  2  14  7other   2  14  8spare 盤,是系統(tǒng)的一部分,不屬于 raid group,是全局的netapp是軟件raid,磁盤raid跟位置無關(guān),可

24、以插到任意位置也可以把一個機頭的整個raid 直接插到另一個機頭中查看那個磁盤壞的命令:#sysconfig -r#vol status -r#aggr status -rdegraded mode 降級模式 : 壞盤,而且有沒有 spare,默認系統(tǒng)可以工作 在降級模式 24個小時,沒有數(shù)據(jù)丟失,之后就關(guān)機可以修改時間,但最好不要修改:#options raid.timeout 24mixing and matching disks 磁盤混用hot-spare 和 parity 校驗盤用最大的推薦最好用 大小一樣的磁盤options.raid.reconstruct.perf_impact

25、value   重構(gòu)時的資源控制value: low ,medium (default),high#options.raid.scrub.enable on|off      對磁盤進行介質(zhì)掃描,排除錯誤,并修復(fù),延長磁盤壽命默認是開放的raid scrub to occur automatically at defualt time and day(1:00 a.m on sundays)#options.raid.scrub.perf_impact value#disk command:#disk s

26、crub start#disk fail disk_name#disk remove disk_name#disk replace start disk_name#disk sanitize start disk_name  start remove all disk data#disk sanitize abort disk_name  stop#disk zero spares             zero all n

27、on-zeroed raid spare disks,把non-zero盤,變?yōu)閦ero,spare盤才能馬上使用會占用系統(tǒng)資源#disk.auto.assign             default on  兩個控制器時,可以分配給那個控制器#disk_fw_update disk_listdisk磁盤命名:device id: 從右邊開始數(shù) ds14系列: shelf1:16-29  shelf2: 32-45 

28、; shelf3: 61-48   shelf4:77-64  fcx : 6-0   14-8  22-16  30-24 38-32 46-40 54-48fcport: 主板上的 0a,0b,  擴展槽 4 上的,則: 4a,4b,.diskid:4a.16   , 4a的光纖端口.deviceidaggregates 聚集:raid group: 多個磁盤組成plexes: 一個或多個 raid groupa

29、ggregate :一個或兩個 plexes ,假如raid level是鏡像時,會包含兩個 plexes 軟件sync-mirror,需要license ,raid4+1 或 raid-dp+1volume: depends on its aggregate for all of its physical storage這種是 plexes volume         邏輯的存儲實體創(chuàng)建aggregate ,格式: aggr command argument#aggr create aggrname

30、options   options: -t: 類型 raid4  raid-dp(default)  -r:raid size min:2  max:14 ,組成 raid 磁盤數(shù)量  -n: 多少個spare盤#aggr create aggr1 -t raid-dp  -r 4   7      做了一個 rg0:2+2  rg1:1+2#aggr ad

31、d aggrname 3                        向 aggrname 加 3塊盤,由于 -r 是 rg2: 1+2#aggr options aggrname raidsize 7         可以修該raid size 屬性,修改后只對以后

32、增加有效#aggr options aggrname raidtype raid-dp   可以把raid4改為raid_dp,此時應(yīng)該保證有spare盤存在,或raid_dp改為raid4#aggr status aggrname  -r  查看當(dāng)前aggr的狀態(tài),并列出raid 組的信息#aggr status -v          查看所有aggr的狀態(tài)#aggr  rename aggrname&

33、#160; newname#aggr offline#aggr online#aggr destroy aggrname#df -ah      a:aggregate   h:human readable  查看aggragate的容量#aggr add aggr1 -f -g rg0 -d v0.19 v0.20      -f 忽略錯誤  -g 指定raid組  -d 指

34、定增加的disk創(chuàng)建volume ,最小20m 最大 16t,#vol create volname aggrname  100m      :單位:m g t#vol size volname +100m                :volume的在線擴容,最小4k,也可以 -1g#vol create volname -s none aggrname

35、 maxsize    創(chuàng)建volume的最大空間,但暫時不占,也就是aggr的空間沒有減少#vol options volname guarantee none      #df -h   查看 vol的空間利用情況  netapp存儲 cluster , 兩個控制器 ative  active 是獨立的不能實現(xiàn)均衡兩個機頭,兩個機柜心跳線要      cpu-cp

36、u       |   / |         x /   ymetro-cluster 解決方案-高度冗余    cpu   cpu    |  |   /  |   |  &#

37、160; |  x  /   y   |    |  |  /   |   |    |x'/    y'|network1主機名解析method* /etc/hosts* network information service (nis) server 

38、0;  option dns* domain name system (dns)server              option nis#> rdfile  /etc/nsswitch.conf#auto-generated by setup mon sep  1 04:54:08 gmt 2008hosts: files     

39、60; nis     dnspasswd: files      nis     ldapnetgroup: files    nis  ldapgroup: files       nis     ldapshadow: files &

40、#160;    nisvitual interface (vif) 虛擬接口把多條物理鏈路虛擬成一個接口1sigle_mode trunkprovides failover capabilities ,提供一個 ativelink  和 inativelink ,當(dāng)active fail時,自動切換到 另一個 inactive link2multimode trunk需要 交換機的 etherchannel trunk 支持多條路經(jīng),均衡工作the vif commands:#vif create single | multi

41、60; -b rr | ip |mac #vif delete  interface_list#vif destroy#vif favor | nofavor #vif status #vif stat vif_name interval#ifconfig vif_name上面這些命令不會保持,除非寫到/etc/rc 文件中vlan優(yōu)勢: 能有效管理       安全性       網(wǎng)口缺少時用#vlan create -g

42、on  #valn delete -q  #vlan add  #vlan stat  #vlan modify -g on | off把vlan看做一個 獨立的 interface ,可以通過 ifconfig 命令配置 ip這些命令不會保持,除非學(xué)到/etc/rc文件中vlan 應(yīng)用在網(wǎng)口缺少時的情況,可以為一個網(wǎng)口設(shè)多個ip地址,把一個filer 虛擬成多份額filer,這樣就能在網(wǎng)絡(luò)上隔離存儲與license:-        

43、                the third day-cifs(common internet  file system)通用因特網(wǎng)文件系統(tǒng)微軟的windows中應(yīng)用before you can request resource from a server ,these function are required:* user authentication : 開始會話之前的認證,這樣可以訪問server*us

44、er authentication :permission to access to share認證: 1本地認證 基于 workgroup       2域控制器認證*license cifs *#license add license_code或 在filerview中 filer 菜單下有#cifs setup 在這之前應(yīng)該先停止cifs   #cifs terminatehiden share:看不見的,以$ 結(jié)束的admin share: 只允許管理組 administrator組的成

45、員訪問默認創(chuàng)建的幾個共享:c$    hiden admin 共享根目錄etc$  hiden admin 共享/etc目錄home  all can control 共享 /home#cifs shares  查看當(dāng)前共享#cifs shares -add sharename  path  -comment decriptions    sharename: 訪問時的名字   path

46、格式: /vol/vol2    -comment 可以不指定,此時為空#cifs shares -delete sharename#options cifs.enable_share_browsing on | off 目錄是否可見#useradmin user list  查看用戶,看那些用戶有權(quán)登陸cifs,這種認證適用于 windows workgroup#qtree security /vol/vol2 ntfs   非windows workgroup 訪問的認證,在/etc/passwd ,

47、/etc/group下認證在windows 下,運行:url=file:/ipsharenameipsharename/url在windows 下停止,cifs訪問: 運行 cmd#net use  查看當(dāng)前網(wǎng)絡(luò)使用#net use /delete *   刪除當(dāng)前網(wǎng)絡(luò)使用,再次運行時,會提示輸入用戶名和密碼ontap下修改用戶密碼:#passwd#cifs access sharename user  right 權(quán)限的控制#cifs access -delete sharename right  刪除

48、相關(guān)的權(quán)限#cifs sessions 查看連接信息#cifs terminate  停止cifs服務(wù)cifs認證的三步:1連接時,根據(jù)是否是workgroup 或 domain 采用那種認證,允許登陸2share 權(quán)限的認證,exportfs 出去的權(quán)限,也就是共享的權(quán)限3檢查文件的屬性,是否可以 rwx ,或可讀,可寫,這里需要usermapping在options walf.default 中可以看到默認的 mapping user 為 pcuser ,假如上面的文件為空,則采用默認的 pcuser默認值在:#options wafl 中wafl.default_nt

49、_user                    wafl.default_qtree_mode      0777      wafl.default_security_style  unix     

50、60;wafl.default_unix_user       pcuser     wafl.group_cp                off        wafl.inconsistent.buf_limit 

51、0;10         wafl.inconsistent.ino_limit  5         wafl.inconsistent.snap_limit 5         wafl.maxdirsize        &

52、#160;     1310      wafl.nt_admin_priv_map_to_root on         wafl.root_only_chown         on         wafl.wcc

53、_minutes_valid       20        nfs  - 編輯文件/etc/exports或命令 exportfsexports格式:/vol/vol0/pubs  -rw=host1:host2,root=host1/vol/vol0/pubs  -rw=host1:host2:-host3,root=host1    

54、0; -host3:代表排除host3,也可以定義網(wǎng)絡(luò)組/vol/vol0/home  -rw=host1:host2,ro-root=host1  host1掛載時,分配文件的權(quán)限是 owner,uid 為 0  ,ro          采用默認的 uid=65534   rw          

55、;同上anon=uid    掛載的所有主機分配給root用戶的 uid網(wǎng)絡(luò)組格式:-rw=子網(wǎng)/子網(wǎng)位數(shù)或-rw=netgroup#exportfs -a    從新加載 /etc/exports的內(nèi)容#exportfs -r    把內(nèi)存清空,再重新加載#exportfs      列出內(nèi)存中的輸出規(guī)則#exportfs -u  path    

56、0;     取消當(dāng)前路徑輸出#exportfs -i  -o  rw  /vol/vol1       i :忽略當(dāng)前的內(nèi)存中規(guī)則,只啟用本規(guī)則   ,-o  option 讀寫權(quán)限  #exportfs -p           

57、60;                 persistent,可以寫到文件中并能生效#exportfs -z path         內(nèi)存中取消,并在文件中注釋掉#options nfs.auto-update 默認on ,建議關(guān)閉 off#vol create vol3 aggr1 30m#exportfs#rdfile /etc/e

58、xports可以看到內(nèi)存和文件都有這個規(guī)則flex volume 在整個系統(tǒng)的數(shù)量限制是 500個qtree :vol1:是 ntfs(acl) or unix(rwxrwxrwx) udi gid 認證時,不同的系統(tǒng)訪問會出現(xiàn)問題 windows只能訪問 ntfs ,訪問不了 unix 的volqtree 就是目錄樹,它有一些屬性: 對于一個新建的vol 默認的權(quán)限是 777 root:root ,修改的應(yīng)該在options wafl 中#qtree  查看vol的style#qtree security path ntfs | unix   把vol

59、的style改為 :ntfs(cifs) or unix(nfs)#options wafl.default_security_style  value    value:為 unix 或 ntfs#qtree security /vol/vol2 ntfs     把一個vol的tyle改為 ntfs也可以做 usermapping,在文件:/etc/usermap.cfgntuser => unixuserntuser增加#cifs passwd admin123 

60、   密碼加密,用于給用戶添加密碼#cifs sessions  可以看到用戶是unix用戶-the fourth day-snapshot copies-snopshot copy  備份用在存儲上有一個 .snapshot 的隱含目錄  snapshot 的對象是vol,建一個vol 都會有預(yù)留有snapshot的空間snapshot copy is a read-only image of a volumesnapshot 備份和恢復(fù)幾乎是瞬時的snapshot technology is the

61、foundation for:snaprestore   snapmanagesnapdrive     snapmirrorflexclone     snapvault-snapshot and wafl文件系統(tǒng)walf uses 4kb blocks文件的:inode信息 ,存放在 一個4kb block中文件大小:level1:小于64b時inode      4032byte  

62、; inode信息            1b            data            1          

63、60; 2                        64level2:小于 64kb時inode         4032byte     inode信息pointer   

64、      4b  -  4kb                4b  -  4kb                4b 

65、0;-  4kb                4b  -  4kb             16 個4b         .   

66、;level3:小于 64mlevel4:小于 64g可以采用:#df -i  查看inode使用情況root> df -ifilesystem               iused      ifree  %iused  mounted on/vol/vol1/     

67、;            100        697     13%  /vol/vol1/vol/vol0/                7377 

68、60;    12613     37%  /vol/vol0/vol/vol2/                 101      34473      0%  /vol/vol

69、2/vol/vol3/                 100       1033      9%  /vol/vol3/#maxfiles 可以增加 inodesnapshot works 工作原理:對數(shù)據(jù)塊的使用的統(tǒng)計:最多可以 拍 255個快照+加一個active fil

70、e的使用情況,每 4kb 要用 32b來記錄,使用情況, 0 1 0 1     128:1的使用率應(yīng)用命令:aggrgate default snapshot reserve 5% of aggrgatevol default snapshot reserve 20% of volume修改的命令:#sanp reserve -a | -v volume_name percent預(yù)留空間的意思是:預(yù)留20% ,不能存儲數(shù)據(jù),拍快照命令:#snap create -a |- v volumename   snapshotna

71、me快照恢復(fù):1從快照中復(fù)制數(shù)據(jù)2使用 snaprestore實驗:新建一個共享 vol在windows下,進入vol,增加文件#snap create vol snapname在windows下修改文件在windows下,可以訪問 ipvolvol1.snapshot在里面看到快照的文件,可以在這里拷貝出來,進行恢復(fù),這些文件是只讀的snapshot的策略:#vol options volume nosnap on | off    不允許自動的快照#vol options volume nosnapdir on | off  &#

72、160;不允許訪問 .snapshot 路徑#options cifs.show_snapshot on | off#snap sched -a | -v weeks days hours默認: 1  2  6 8,12,16,20    weekly   nightly   hourly   星期天夜12:00 快照 1 命名 weekly.0晚上12點 快照留兩份,nightly.0  nightly.

73、1  每天 8 點 12點 16點 20 點 快照,最多六份,進行覆蓋 hourly.0是最新的快照策略中都為 0 的話,就不進行快照sanfcsanfc : hba卡,wwniscsi components:iscsi hba 卡,自動封裝:普通網(wǎng)卡,需要軟件進行封裝成 iscsi 包,進行傳送a hosts initiator is identify by wwpn搭建sanlicense san protocal在 qtree 和vol中都可以創(chuàng)建 lunigroup組在storage中,可以在lun中mapping到igroup,讓組中的用戶可以進行切換創(chuàng)建lun命

74、令:lun createlun setup   啟動創(chuàng)建lun的向?qū)ol的克隆,與快照的區(qū)別:vol的克隆能夠修改,snapshot 不能修改# lun  create -s 30m -t windows /vol/vol2/lun2#snap create vol2 clone#lun clone create /vol/vol2/lun2 -b /vol/vol2/lun3 clonequota 配額/etc/quotas 文件#quato onmirror鏡像1同步mirror     

75、1先拍快照,不斷地逼近快照異步傳輸?shù)竭h端,一直到同步     2同步后,client=> nvram  nvram    需要遠端的nvram 收到該操作,返回到近端 nvram ,再到client ,一個同步完成所以這個要求有很高的網(wǎng)絡(luò)帶寬  semi-sync  半同步: nvram  nvram 之間可以定義一個時間,比如 :15s ,則允許 15s 的傳輸 ,超過 15s 則失敗,進入快照傳輸?shù)谋平綄懖僮鞯倪^

76、程:client->ram  ->  nvram(nvlog記錄操作,并在此時返回用戶操作成功),寫滿則觸發(fā) cp,-> 把ram 內(nèi)容寫 到 wafl 進行磁盤2異步mirror先拍一個snapshot 再傳輸?shù)竭h端,不會影響source,source會增加,可以定義一個多少時間傳輸一次,時間到再拍一次snapshot,把不同的再傳輸過去-the fifth day   -administratering  backups#dump  命令可以備份,volume 或

77、 qtree 到磁帶上到 now網(wǎng)站上查找支持的磁帶機/etc/tape_config 目錄下存放著 磁帶機的驅(qū)動,也可以把不支持的磁帶機的驅(qū)動放在這里,那么就可以使用了#sysconfig -t   查看磁帶機,支持的磁帶文件tape drive (v8.0)  netapp  vt-100mb             rst0l  -  rewind d

78、evice,        format is: vt-100mb (100 mb)       磁帶文件類型    rst0l  l:代表壓縮率     rewind:自動倒帶    nrst0l -  no rewind device,   &#

79、160; format is: vt-100mb (100 mb)          urst0l -  unload/reload device, format is: vt-100mb (100 mb)          rst0m  -  rewind device,    

80、0;   format is: vt-100mb (100 mb)          nrst0m -  no rewind device,     format is: vt-100mb (100 mb)          urst0m -  unload/reload dev

81、ice, format is: vt-100mb (100 mb)          rst0h  -  rewind device,        format is: vt-100mb (100 mb)          nrst0h -  no rewi

82、nd device,     format is: vt-100mb (100 mb)          urst0h -  unload/reload device, format is: vt-100mb (100 mb)          rst0a  -  rewind devic

83、e,        format is: vt-100mb (w/compression)    nrst0a -  no rewind device,     format is: vt-100mb (w/compression)    urst0a -  unload/reload device, format is: vt-100mb (w/

84、compression)    tape drive (v8.1)  netapp  vt-100mb             rst1l  -  rewind device,        format is: vt-100mb (100 mb)  

85、;        nrst1l -  no rewind device,     format is: vt-100mb (100 mb)          urst1l -  unload/reload device, format is: vt-100mb (100 mb)    &#

86、160;     rst1m  -  rewind device,        format is: vt-100mb (100 mb)          nrst1m -  no rewind device,     format is: vt-100mb

87、 (100 mb)          urst1m -  unload/reload device, format is: vt-100mb (100 mb)          rst1h  -  rewind device,        format is

88、: vt-100mb (100 mb)          nrst1h -  no rewind device,     format is: vt-100mb (100 mb)          urst1h -  unload/reload device, format is: vt-100mb (100

89、 mb)          rst1a  -  rewind device,        format is: vt-100mb (w/compression)    nrst1a -  no rewind device,     format is: vt-100m

90、b (w/compression)    urst1a -  unload/reload device, format is: vt-100mb (w/compression)#dump option argument path   0ufb  rst0a   63 /vol/vol00:dump levelu: update /ect/dumpdatesf: specifies tape fileb :specifies blocking factor (這是磁帶上的bloc