醫(yī)療行業(yè)非結(jié)構(gòu)化數(shù)據(jù)混合云存儲及大數(shù)據(jù)分析解決方案

1、“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案目 錄1 摘要12 需求分析與建設(shè)目標(biāo)23 解決方案43.1技術(shù)分析43.1.1 塊文件對象幾種方式的對比43.1.2 對象簡介83.1.3 對象選型對比93.2 系統(tǒng)現(xiàn)狀103.3 BM GPFS解決方案113.3.1 GPFS Server集群123.3.2 GPFS系統(tǒng)基本結(jié)構(gòu)133.3.3 GPFS系統(tǒng)優(yōu)勢143.3.4 GPFS典型配置舉例153.4 BM C eversafe對象解決方案153.4.1 BM C eversafe對象.163.4.2 BM C eversafe對象與傳統(tǒng)高可用性對比173.4.3 BM C eversafe對象糾

2、刪（擦除）碼技術(shù)183.4.4 BM C eversafe對象軟硬件配置193.4.5 BM C eversafe對象擴(kuò)容213.4.6 C eversafe對象實現(xiàn)PACS系統(tǒng)的災(zāi)備建設(shè)213.5 大數(shù)據(jù)分析224 總結(jié)24采用C eversafe對象技術(shù)的新架構(gòu)用戶取得的.25I“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案1 摘要某市醫(yī)院（以下簡稱醫(yī)院）是集醫(yī)療、教學(xué)、科研、預(yù)防為 體的現(xiàn)代化三級甲等綜合醫(yī)院。醫(yī)院現(xiàn)有A、B、C三個主體院區(qū)，編制床位1500張，開放病床3000 張。在班子的帶領(lǐng)下，醫(yī)院全面實施“數(shù)字化醫(yī)院”建設(shè)，首創(chuàng)管理信息系統(tǒng)、建立城鄉(xiāng)協(xié)同醫(yī)療服務(wù)。醫(yī)院作為某市的龍頭醫(yī)院，業(yè)

3、務(wù)必其整體業(yè)務(wù)呈現(xiàn)快速增長的態(tài)勢，當(dāng)前醫(yī)院正在擴(kuò)建新的住院病區(qū)，隨著住院床位數(shù)的增加，醫(yī)院的然會有 個明顯的增長，而醫(yī)院的基礎(chǔ)架構(gòu)已經(jīng)相對老化，其現(xiàn)有的EMC系列已經(jīng)表現(xiàn)出性能瓶頸，醫(yī)院當(dāng)前的數(shù)據(jù)庫性能不均衡的情況，如果要求應(yīng)用軟件開發(fā)商進(jìn)行軟件和數(shù)據(jù)庫性能調(diào)優(yōu)，可能需要花費(fèi)大量人力物力，但卻不能保證調(diào)優(yōu)的效果。醫(yī)院業(yè)務(wù)量的增漲帶來了數(shù)據(jù)量的增張，PACS系統(tǒng)海量的非結(jié)構(gòu)化數(shù)據(jù)安全高效的是目前亟需解決的問題，在做好非結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)上，結(jié)合結(jié)構(gòu)化數(shù)據(jù)與Apache Spark數(shù)據(jù)分析處理引擎對接實現(xiàn)臨床操作和研發(fā)兩個方向的大數(shù)據(jù)分析，從而更好的服務(wù)于奠定基礎(chǔ)。并且促進(jìn)醫(yī)療行業(yè)從業(yè)專業(yè)技能的提升

4、，實現(xiàn)數(shù)字化醫(yī)院為全民健康綜合比較不同的傳統(tǒng)海量的非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)與云和容災(zāi)備份。技術(shù)后，選擇IBMGPFS+Cleversafe對象實現(xiàn)了PACS系統(tǒng)01“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案2 需求分析與建設(shè)目標(biāo)醫(yī)院的業(yè)務(wù)系統(tǒng)是醫(yī)院平臺（包括 PACS系統(tǒng)、HIS 系統(tǒng)、 RIS 系統(tǒng)、 LIS 系統(tǒng)等）。該系統(tǒng)具有以下特點(diǎn)：負(fù)載特點(diǎn)：業(yè)務(wù)峰值在上午9點(diǎn)至11點(diǎn)，并發(fā)用戶的量要求高，每天不定時大數(shù)據(jù)量分析負(fù)載，但產(chǎn)生分析負(fù)載的用戶數(shù)量不多。月末統(tǒng)計數(shù)據(jù)量增大，需要產(chǎn)生大量數(shù)據(jù)報表。數(shù)據(jù)特點(diǎn)：每天新增數(shù)據(jù)量 500G，數(shù)據(jù)類型復(fù)雜，有數(shù)字、文字等結(jié)構(gòu)化的數(shù)據(jù)還有大量的圖像和影像等非結(jié)構(gòu)化的

5、數(shù)據(jù) 總數(shù)據(jù)量 69%。總數(shù)據(jù)量 31%，系統(tǒng)痛點(diǎn)：02“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案1醫(yī)院保證業(yè)務(wù)科室的平臺用于匯總醫(yī)院各類信息應(yīng)用系統(tǒng)數(shù)據(jù)，子應(yīng)用程序接口復(fù)雜，數(shù)據(jù)量大，需要速度，對系統(tǒng)的穩(wěn)定性要求極高。2原有的NAS系統(tǒng)已經(jīng)長與業(yè)務(wù)發(fā)展的要求。數(shù)據(jù)增量的要求，需要提供切實的解決方案，滿足未來五年數(shù)據(jù)增3隨著數(shù)據(jù)量的增加，數(shù)據(jù)備份的周期在不斷增加，已經(jīng)影響到生產(chǎn)系統(tǒng)的業(yè)務(wù)響應(yīng)時間，業(yè)務(wù)連續(xù)性無法得到保障，因此要求提高業(yè)務(wù)系統(tǒng)的可靠性和可用性，保障業(yè)務(wù)連續(xù)性。4隨著數(shù)據(jù)量的增加，新的案需要降低運(yùn)維管理的復(fù)雜度。設(shè)備不斷上線，使運(yùn)維的工作越來越大，因此要求解決方建設(shè)目標(biāo)：醫(yī)院綜合各方面

6、因素，提出了構(gòu)建醫(yī)院“大數(shù)據(jù)云”平臺的建設(shè)目標(biāo)，具體如下：1構(gòu)建 套安全、穩(wěn)固的大數(shù)據(jù)云平臺，集中統(tǒng) 承載醫(yī)院所有業(yè)務(wù)數(shù)據(jù)；2為醫(yī)院平臺提供高性能、穩(wěn)定可霏，并具有足夠彈性的平臺；3為PACS影像類數(shù)據(jù)提供大量低成本的空間并具有足夠的擴(kuò)展能力；4未來擴(kuò)容應(yīng)該可以基本做到不停機(jī)（停機(jī)時間在可接受范圍內(nèi)）；5提高業(yè)務(wù)系統(tǒng)的可靠性和可用性，實現(xiàn)容災(zāi)備份，保障業(yè)務(wù)連續(xù)性。03“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案3 解決方案根據(jù)用戶的需求我公司提出以下解決方案：POWER小型機(jī)采用POWER VM虛擬化，X86服務(wù)器采用VMWARE虛擬化，采用IBM應(yīng)用系統(tǒng)在SVC對進(jìn)行整合，實現(xiàn)池，提高和管理和利用

7、效率，滿足的需求，建設(shè)同城數(shù)據(jù)中時段、日終、計息，年節(jié)時間段對主機(jī)心，兩中心通過SVC 的Hyperswap+MetroMirror實現(xiàn)，同時配置第三站點(diǎn)的硬盤級仲裁防止出現(xiàn)腦裂，采用IBM的云管平臺實現(xiàn)POWER和X86虛擬有任何性可言的系統(tǒng)遷到公有云平臺。的統(tǒng) 管理，把金融的，各種業(yè)務(wù)的咨詢等沒3.1技術(shù)分析3.1.1 塊、文件、對象幾種方式的對比塊指在 個RAID（磁盤冗余陣列）集中， 個器加入 組磁盤驅(qū)動器，然后提供固定大小的RAID塊作為LUN（邏輯單元號）的卷。接著塊會采用的方式將這幾個邏輯盤給主機(jī)，主機(jī)上面的操作系統(tǒng)會識別到有5塊硬盤，但是操作系統(tǒng)是區(qū)分不出到底是邏輯還是物理的，

8、它 概就認(rèn)為只是5塊 的物理硬盤而已，跟直接拿塊物理硬盤掛載到操作系統(tǒng)沒有區(qū)別的，至少操作系統(tǒng)感知上沒有區(qū)別。此種方式下，操作系統(tǒng)還需要對掛載的 硬盤進(jìn)行分區(qū)、格式化后，才能使用，與平常主機(jī)內(nèi)置硬盤的方式完全無異。優(yōu)點(diǎn)：1這種方式的好處當(dāng)然是因為通過了Raid與LVM等，對數(shù)據(jù)提供了保護(hù)。2另外也可以將多塊廉價的硬盤組合起來，成為 個大容量的邏輯盤對外提供服務(wù)，提高了容量。3寫入數(shù)據(jù)的時候，由于是多塊磁盤組合出來的邏輯盤，所以幾塊磁盤可以并行寫入的，提升了讀寫效率。04“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案4很多時候塊到提升。采用SAN架構(gòu)組網(wǎng)，傳輸速率以及封裝協(xié)議的，使得傳輸速度與讀寫速率得

9、缺點(diǎn)：1采用SAN架構(gòu)組網(wǎng)時，需要額外為主機(jī)光纖通道卡，還要買光纖交換機(jī)，造價成本高。2主機(jī)之間的數(shù)據(jù)無法共享，在服務(wù)器不做集群的情況下，塊盤給主機(jī)，再格式化使用后，對于主機(jī)來說相當(dāng)于本地盤，那么主機(jī)A的本地盤根本不能給主機(jī)B去使用，無法共享數(shù)據(jù)。3不利于不同操作系統(tǒng)主機(jī)間的數(shù)據(jù)共享：另外 個是因為操作系統(tǒng)使用不同的文件系統(tǒng)，格式化完之后，不同文件系統(tǒng)間的數(shù)據(jù)是共享不了的。例如 臺裝了 WIN7/XP，文件系統(tǒng)是FAT32/NTFS， 而Linux是EXT4，EXT4是無法識別NTFS的文件系統(tǒng)的。就像 只NTFS格式的U盤，插進(jìn)Linux的筆記本，根本無法識別出來。所以不利于文件共享。文件：

10、為了克服塊文件無法共享的問題，所以有了文件。文件也有軟硬 體化的設(shè)備，但是其實普通拿 臺服務(wù)器/筆記本，只要裝上合適的操作系統(tǒng)與軟件，就可以架設(shè) FTP與NFS 服務(wù)了，架上該類服務(wù)之后的服務(wù)器，就是文件的 種了。主機(jī)A可以直接對文件進(jìn)行文件的上傳，與塊搞定了。不同，主機(jī)A是不需要再對文件進(jìn)行格式化的，因為文件管理功能已經(jīng)由文件優(yōu)點(diǎn)：1造價交低：隨便 臺造價低。就可以了，另外普通以太網(wǎng)就可以，根本不需要的 SAN，所以2方便文件共享：例如主機(jī) A（WIN7，NTFS 文件系統(tǒng)），主機(jī)B（Linux，EXT4文件系統(tǒng)），想互拷 部，本來不行。加了個主機(jī)C（NFS服務(wù)器），然后可以先A拷到C，再C

11、拷到B就OK了。缺點(diǎn)：05“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案讀寫速率低，傳輸速率慢：以太網(wǎng)，上傳速度較慢，另外所有讀寫都要1臺服務(wù)器里面的硬盤來承擔(dān)，相比起磁盤陣列動不動就幾十上百塊硬盤同時讀寫，速率慢了許多。企業(yè)級的NAS采用RAID技術(shù)提升了數(shù)據(jù)的可靠性和讀寫速率，同時采用萬兆光纖接口提升了傳輸速率，適合于中小規(guī)模的醫(yī)院用于PACS系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)的存取，當(dāng)數(shù)據(jù)量達(dá)到PB級別時NAS機(jī)頭會出現(xiàn)瓶頸。下圖是塊與文件的對比圖：對象：內(nèi)置大容量硬盤的分布式服務(wù)器是對象的典型設(shè)備，對象最常用的方案，就是多臺服務(wù)器內(nèi)置大容量硬盤，再裝上對象軟件，然后再額外配置幾臺服務(wù)作為點(diǎn)，安裝上對象存儲管理軟

12、件。點(diǎn)可以管理其他服務(wù)器對外提供讀寫功能。之所以出現(xiàn)了對象這種東西，是為了克服塊與文件各自的缺點(diǎn)，發(fā)揚(yáng)它倆各自的優(yōu)點(diǎn)。簡單來說塊讀寫快，不利于共享，文件讀寫慢，利于共享。能否實現(xiàn)即讀寫快又利于共享的目的呢？于是就有了對象。06“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案首先， 個文件包含了屬性（術(shù)語叫 metadata，元數(shù)據(jù)，例如該文件的大小、修改時間、等）以及內(nèi)容（以下簡稱數(shù)據(jù)）。路徑以往像 FAT32 這種文件系統(tǒng)，是直接將 份文件的數(shù)據(jù)與metadata 起的，過程先將文件按照文件系統(tǒng)的最小塊大小來打散（如4M的文件，假設(shè)文件系統(tǒng)要求 個塊4K，那么就將文件打散成為1000個小塊），再寫進(jìn)硬

13、盤里面，過程中沒有區(qū)分?jǐn)?shù)據(jù)/metadata的。而每個塊最后會告知你下 個要讀取的塊的地址，然后 直這樣順序地按圖索驥，最后完成整份文件的所有塊的。這種情況下讀寫速率很慢，因為就算你有100個機(jī)械手臂在讀寫，但是由于你只有到第 個塊，才能知道下個塊在哪里，其實相當(dāng)于只能有1個機(jī)械手臂在實際工作。而對象主要負(fù)責(zé)則將元數(shù)據(jù)了出來，節(jié)點(diǎn)叫元數(shù)據(jù)服務(wù)器（服務(wù)器+對象管理軟件），里面對象的屬性（主要是對象的數(shù)據(jù)散存放到了分布式服務(wù)器中的信息），而其他負(fù)責(zé)數(shù)據(jù)的分布式服務(wù)器叫做OSD，主要負(fù)責(zé)文件的數(shù)據(jù)部分。當(dāng)用戶對象，會先元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)服務(wù)器只負(fù)責(zé)反饋對象在哪些OSD，假設(shè)反饋文件A數(shù)據(jù)。在B、C

14、、D三臺OSD，那么用戶就會再次直接3臺OSD服務(wù)器去這時候由于是3臺OSD同時對外傳輸數(shù)據(jù)，所以傳輸?shù)乃俣染图涌炝恕．?dāng)OSD服務(wù)器數(shù)量越多，這種讀寫速度的提升就越大，通過此種方式，實現(xiàn)了讀寫快的目的。另 方面，對象軟件是有專門的文件系統(tǒng)的，所以O(shè)SD對外又相當(dāng)于文件服務(wù)器，那么就不文件共享方面的了，也解決了文件共享方面的問題。所以對象的出現(xiàn)，很好地結(jié)合了塊與文件的優(yōu)點(diǎn)。為什么對象兼具塊與文件的好處，還要使用塊或文件呢？1有 類應(yīng)用是需要直接 盤的，例如數(shù)據(jù)庫。因為數(shù)據(jù)庫需要盤給后，再根據(jù)的數(shù)據(jù)庫文件系統(tǒng)來對 盤進(jìn)行格式化的，所以是不能夠采用其他已經(jīng)被格式化為某種文件系統(tǒng)的的。此類應(yīng)用更適合使

15、用塊。2對象的成本比起普通的文件還是較高，需要專門的對象軟件以及大容量硬盤。07“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案如果對數(shù)據(jù)量要求不是海量，只是為了做文件共享的時候，直接用文件的形式好了，性價比高。3.1.2 對象簡介對象的出現(xiàn)就是為解決了海量大數(shù)據(jù)的問題。比如萬億的、圖片，等。比如進(jìn)行海量的數(shù)據(jù)歸檔，數(shù)據(jù)備份等。對象可以海量非結(jié)構(gòu)化數(shù)據(jù)，然后進(jìn)行大數(shù)據(jù)分析。對象可以其采用key volume的扁平化架構(gòu)設(shè)計，使用簡單，調(diào)用API就能進(jìn)行數(shù)據(jù)和。海量數(shù)據(jù)，這點(diǎn)傳統(tǒng)和NAS就沒轍。在海量數(shù)據(jù)場景中你只能選擇對象。如果傳統(tǒng)SAN是跑車，NAS是貨車，那么對象就是萬億噸海上集裝箱大油輪。08“架

16、構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案3.1.3 對象選型對比企業(yè)自行開發(fā) 套對象行不行個人認(rèn)為，專業(yè)的事情交給專業(yè)的團(tuán)隊去做是最好的，對象技術(shù)雖然不算高科技，很多開源軟件也可以拿來借鑒，但是專業(yè)公司提供的對象除了能夠滿足穩(wěn)定性、高效性、靈活性要求之外，更重要的其實是后期的的對象技術(shù)支持。自研有 定的局限性，同時需要投入大量人力物力，有時候做出在安全性，穩(wěn)定性方面不 定能夠完全滿足生產(chǎn)的需求。如果公司想自研，得有相當(dāng)層次的開發(fā)團(tuán)隊，對大規(guī)模并，底層，操作系統(tǒng)都有點(diǎn)經(jīng)驗的，并且后續(xù)有二次開發(fā)的思想準(zhǔn)備，時間周期也或者漸行漸遠(yuǎn)的問題。太短，還要處理社區(qū)版本迭代和你自選分支的Ceph“對象”Ceph并不

17、是開源對象最好的選擇，Ceph是個統(tǒng)，有分布式塊，文件，對象三種接口，比較全，這是它比較受關(guān)注的著諸多問題。單獨(dú)來看底層的對象Rados，在開發(fā)者社區(qū)中口碑并不是很好，如果是選擇廠商的SDS方案，如果是基于Ceph做的（國內(nèi)不少廠商），其實這個階段成熟與否還不好說，畢竟這項目社區(qū)里參與 者很多，時間也不長，所謂成熟也就是有 部分坑能填上吧。前面說的社區(qū)版本迭代跟不跟的問題也還是 樣的。個開源項目能不能生產(chǎn)使用很多時候并不取決于項目本身，同時使用者對于整個生產(chǎn)系統(tǒng)和開源項目的理解 了相當(dāng)大比例。當(dāng)然，也跟項目的階段以及整個關(guān)。就使用Ceph而言，如果是 些無害環(huán)境，基本上也發(fā)現(xiàn)啥問題。當(dāng)只要是需

18、要保證性能和可用性的情況下，用戶通常都要經(jīng)歷長時間的運(yùn)維和解決問題的磨練。特別是眼下Ceph迭代較快，問題解決方式有限，很多時候都要依賴開發(fā)者才能解決。當(dāng)然，如果沒碰到問題當(dāng)然萬事大吉。好 些的做法是在 些開發(fā)測試環(huán)境先使用某 個版本至少半年以上，嘗試在保證 些性能以及數(shù)據(jù)可用性基礎(chǔ)上運(yùn)維。半年之后，自然會對這個問題有更深理解。09“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案我們?nèi)绻褜ο蟛渴鹪?個相對快的局域網(wǎng)環(huán)境內(nèi)，那么這個對象也就兼具了NAS的高速基因，這時， 個對象也就在某種程度上，可以演變?yōu)?個相對快速的，這也是為什么ceph可以兼具對象、塊、文件的。當(dāng)然，這種“變味”的對象也就不具備乃至

19、全球分布式帶來的超高可靠性了。3.2 系統(tǒng)現(xiàn)狀醫(yī)院年前按分級的原則重劃了 PACS系統(tǒng)，PACS數(shù)據(jù)除了少部分PACS索引、日志數(shù)據(jù)外，絕大部分為醫(yī)學(xué)影像圖片數(shù)據(jù)。通常采用三級模式：第 級為數(shù)據(jù)，保存最近半年的影像數(shù)據(jù)；第為近線數(shù)據(jù)，保存半年以上、2年以內(nèi)的影像數(shù)據(jù)（PACS系統(tǒng)軟件可以配置保存周期）；第三級為離線數(shù)據(jù)，保存15年內(nèi)的影像數(shù)據(jù)。同時，還有考慮異地容災(zāi)。對于 個三甲醫(yī)院，PACS 半年數(shù)據(jù)量約 35T，1 年數(shù)據(jù)量約為70T，因此：數(shù)據(jù)：35T近線數(shù)據(jù)：105T離線數(shù)據(jù)：1050T隨著醫(yī)院的業(yè)務(wù)量的增加，PACS系統(tǒng)的數(shù)據(jù)也在快速增漲，PACS系統(tǒng)的數(shù)據(jù)是圖像或影像的非結(jié)構(gòu)方式，

20、隨著數(shù)據(jù)量的增漲NAS已經(jīng)達(dá)到了性能的瓶頸，希望能找到種更好的化數(shù)據(jù)，采用NAS方式滿足未來五年的數(shù)據(jù)和業(yè)務(wù)發(fā)展需求。10“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案采用IBM GPFS實現(xiàn)原有NAS系統(tǒng)中的數(shù)據(jù)到IBM Cleversafe對象的遷移，最終實現(xiàn)PACS系統(tǒng)海量非結(jié)構(gòu)化數(shù)據(jù)的對象，滿足未來五年數(shù)據(jù)增長與業(yè)務(wù)發(fā)展的要求。3.3 IBM GPFS 解決方案隨著數(shù)據(jù)量的增加，通過NFS協(xié)議實現(xiàn)客戶端節(jié)點(diǎn)對的瓶頸，因此采用GPFS并行文件系統(tǒng)來實現(xiàn)客戶端對 升?？臻g的共享的NAS解決方案出現(xiàn)了性能上空間的共享，這樣對性能會有很大的提GPFS(General Parallel File Sys

21、tem ,GPFS) 是 IBM公司第 個共享文件系統(tǒng)，于 IBM SP 系統(tǒng)上使用的虛擬共享磁盤技術(shù)( VSD )。作為這項技術(shù)的， GPFS 是 個并行的磁盤文件系統(tǒng)，它保證在組內(nèi)的所有節(jié)點(diǎn)可以并行整個文件系統(tǒng)；而且此文件系統(tǒng)的服務(wù)操作，可以同時在使用此文件系統(tǒng) 的多個節(jié)點(diǎn)上實現(xiàn)。 GPFS客戶共享文件，而這些文件可能分布在不同節(jié)點(diǎn)的不同硬盤上；它提供了許多標(biāo)準(zhǔn)的 UNIX 文件系統(tǒng)接口，應(yīng)用不需修改或者重新編輯就可以在其上運(yùn)行。11“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案3.3.1 GPFS Server 集 群從架構(gòu)上GPFSServer是底層通過連接識別了后端NAS的服務(wù)器，在這些服務(wù)

22、器上創(chuàng)建了GPFS集群，并構(gòu)建了不同的GPFS文件系統(tǒng)，形成了統(tǒng) 的GPFS平臺，可以為前端應(yīng)用提供統(tǒng) 的并行共享的文件系統(tǒng)空間，實現(xiàn)數(shù)據(jù)的共享；因為GPFS Server統(tǒng) 為前端所有應(yīng)用提供I/O數(shù)據(jù)訪問，在設(shè)備選型上建議使用計算能力較好的Unix Power服務(wù)器，是因為GPFS與AIX操作系統(tǒng)的集成度相比較對其他系統(tǒng)平臺更好，同時也可以充分利用Power小機(jī)的計算能力。12“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案3.3.2 系統(tǒng)基本結(jié)構(gòu)磁盤GPFS 文件系統(tǒng)最底層的是物理磁盤設(shè)備。原則上可以采用系統(tǒng)上任何塊設(shè)備，包括磁盤，磁盤分區(qū)，邏輯卷。從物理連接上來看，GPFS 支持使用所有方式連接

23、的磁盤。包括本地 IDE 磁盤，本地SCSI 磁盤，光纖 SAN 磁盤，iSCSI 磁盤，等等。共享磁盤（NSD）對應(yīng)的關(guān)系。NSD 被標(biāo)記了不同屬性來區(qū)分NSD 是由磁盤出來的虛擬設(shè)備，NSD 與磁盤是其用途，我們可以將磁盤標(biāo)記為 4 種用途：13“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案DescOnly：只GPFS 文件系統(tǒng)描述信息的磁盤。DataOnly：只文件系統(tǒng)中的數(shù)據(jù)信息。Meta data only: 只文件系統(tǒng)中的目錄結(jié)構(gòu)inode信息。Meta and data:所有信息（默認(rèn)）。GPFS 文件設(shè)備GPFS 設(shè)備是 個可被系統(tǒng)掛載的文件設(shè)備，由 NSD 創(chuàng)建而成，可以并行的同時掛

24、載在多個節(jié)點(diǎn)上。3.3.3 GPFS 系統(tǒng)優(yōu)勢高性能：GPFS在同 節(jié)點(diǎn)內(nèi)的多進(jìn)程或者應(yīng)用使用標(biāo)準(zhǔn)文件系統(tǒng)調(diào)用，同時（并發(fā)，讀寫）同 個文件。通過將節(jié)點(diǎn)內(nèi)讀寫操作分布到多個磁盤上，大大增加了文件系統(tǒng)的帶寬，通過整個系統(tǒng)的負(fù)載均衡避免了某個磁盤過大的讀寫。跨平臺設(shè)計：GPFS支持在個集群內(nèi)加入異構(gòu)的平臺，支持異構(gòu)的硬件環(huán)境：System p, System x，支持異構(gòu)的操作系統(tǒng)：AIX,Linux。數(shù)據(jù) 致性：GPFS通過 套復(fù)雜的信令管理機(jī)制提供數(shù)據(jù) 致性。通過這套機(jī)制任意節(jié)點(diǎn)通過各自的路徑到達(dá)同 個文件。即使節(jié)點(diǎn)無法正常工作， GPFS 也可以找到其它的路徑。數(shù)據(jù)安全性：GPFS 是 種日

25、志文件系統(tǒng)，為不同節(jié)點(diǎn)建立各自的日志。日志中分布， 旦節(jié)點(diǎn)發(fā)生故障后，可以保證快速恢復(fù)數(shù)據(jù)。metadata 的GPFS 的fail over 功能通過，將數(shù)據(jù)分布到不同 failure group 內(nèi)達(dá)到高可用性，減少單點(diǎn)故障的影響。為了保證數(shù)據(jù)可用性， GPFS 在多個 failure group 內(nèi)為每個數(shù)據(jù)實例做備份，即使創(chuàng)建文件系統(tǒng)時沒有要求， GPFS 也會自動在不同的 failure group 內(nèi)恢復(fù)日志。系統(tǒng)可擴(kuò)展性：通過 GPFS ，系統(tǒng)可以動態(tài)調(diào)整，可以在文件系統(tǒng)掛載情況下添加或者刪除硬14“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案盤。系統(tǒng)處于相對空閑時，用戶可以在已配置的硬

26、盤上重新均衡文件系統(tǒng)以提高吞吐量?？梢栽诓恢匦聠覩PFS 服務(wù)情況下添加新節(jié)點(diǎn)。管理簡單：GPFS 自動在各個節(jié)點(diǎn)間同步配置文件和文件系統(tǒng)信息，而且在同以在任 個節(jié)點(diǎn)上進(jìn)行。個節(jié)點(diǎn)內(nèi)，對GPFS的3.3.4 GPFS 典型配置舉例采用IBM GPFS 的AFM功能，可以有效遷移原有NAS系統(tǒng)中不影響應(yīng)用的正常運(yùn)行。的數(shù)據(jù)，在遷移過程中對應(yīng)用透明，3.4 IBM Cleversafe對象解決方案根據(jù)醫(yī)院 PACS 系統(tǒng)現(xiàn)在的問題和建設(shè)目標(biāo)，采用 IBMCleversafe對象技術(shù)實現(xiàn)海量的非結(jié)構(gòu)化數(shù)據(jù)的和容災(zāi)備份。15“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案3.4.1 IBM Cleversaf

27、e對象IBM Cleversafe對象由三部分組成，包括CS Manager點(diǎn)、Accesser節(jié)點(diǎn)和Silcestor存儲節(jié)點(diǎn)，其中外的用戶點(diǎn)安裝Cleversafe軟件實現(xiàn)對Cleversafe對象系統(tǒng)的和管理，節(jié)點(diǎn)提供對，節(jié)點(diǎn)用于代替原有的NAS系統(tǒng)保存海量的數(shù)據(jù)。IBM Cleversafe具有以下特性：1可擴(kuò)展性，多家100PB以上的客戶，擴(kuò)展至EB以上的無共享架構(gòu)。2安全性，零接觸、運(yùn)營商級別的安全性且內(nèi)置加密功能。16“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案3可管理性，每名管理員可管理25PB數(shù)據(jù)，零宕機(jī)時間。4可用性，提供9個9的可靠性，6個9的可用性。5上運(yùn)行。效益，消除、鏡像

28、和DR成本，成本降低80%，軟件解決方案可在任何供應(yīng)商的x86硬件3.4.2 IBM Cleversafe對象與傳統(tǒng)高可用性對比采用傳統(tǒng)的在RAID6架構(gòu)下1PB的原始數(shù)據(jù)要 用1.2PB的空間，為了實現(xiàn)數(shù)據(jù)安全做本地鏡像和同城復(fù)本后數(shù)據(jù)要 用3.6PB（1.2*3）的空間，那么膨脹因子就是3倍，采用IBMCleversafe對象1PB 的原始數(shù)據(jù)要 用 1.7PB 的空間，Cleversafe對象使用 1.7 倍的膨脹因子就可以實現(xiàn)建用更少的磁盤， 用更少的機(jī)架，設(shè)與RAID6相同或是還要高可靠的系統(tǒng)，Cleversafe對象節(jié)約機(jī)房空間，降低了運(yùn)營成本，降低了運(yùn)維管理的難度，無需其它軟件就

29、可以實現(xiàn)高可靠性用性。17“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案3.4.3 IBM Cleversafe對象糾刪（擦除）碼技術(shù)IBM Cleversafe對象使用糾刪碼技術(shù)實現(xiàn)系統(tǒng)的高可靠用，糾刪碼技術(shù)首先對原始數(shù)據(jù)進(jìn)行分段（每段4M），之后對 個分段進(jìn)行切片，例如 個分段切7片，之后通過ECC校驗算法變換為12片，這樣膨脹因子就是1.7，1PB的原始數(shù)據(jù)就 用了1.7PB的空間，這1.7PB的空間由12個切片組成，把這12個切片均勻的部署在多個站點(diǎn)的每 臺服務(wù)器中，例如在三個站點(diǎn)每個站點(diǎn)部署4臺服務(wù)器，這樣在這三個站點(diǎn)中只要有7臺服務(wù)器是正常運(yùn)行的，數(shù)據(jù)就是完好的可以正常，可以避免服務(wù)器硬件

30、故障或斷電，故障，甚至1個站點(diǎn)故障都影響數(shù)據(jù)的可靠性和可用性，任何 個站點(diǎn)的任意 臺服務(wù)器硬盤損壞后，只需塊新硬盤而無需做 RAID 就可以正常使用了。18“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案3.4.4 IBM Cleversafe對象軟硬件配置CSManager點(diǎn)和Accesser節(jié)點(diǎn)可以選用1U或是2U的X86服務(wù)器，配置大內(nèi)存如128GB，256GB，對其它硬件沒有特殊要求。Silcestor節(jié)點(diǎn)服務(wù)器可以選用4U高密度x86服務(wù)器，該服務(wù)器滿配48塊硬盤，每塊硬盤配置8Tb，這樣 臺服務(wù)器的祼容量就是384Tb，12臺服務(wù)器可以提供4.5Pb的祼容量，冗余系數(shù)是1.7，那么可用容量有

31、 2.6Pb。19“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案下圖是硬件配置建議：下圖是Cleversafe的管理界面：20“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案通過Cleversafe管理界面可以實現(xiàn)對Accesser護(hù)管理。節(jié)點(diǎn)和Silcestor節(jié)點(diǎn)的運(yùn)行狀態(tài)進(jìn)行和維3.4.5 IBM Cleversafe對象擴(kuò)容當(dāng)用戶的量很大時無需關(guān)心節(jié)點(diǎn)，只需關(guān)心節(jié)點(diǎn)就可以了，增加節(jié)點(diǎn)的數(shù)量就可以提升用戶的速度。當(dāng)節(jié)點(diǎn)的容量不足時，去除并加電服務(wù)器的時間只需要十幾分鐘就可以實現(xiàn)的擴(kuò)容。Cleversafe對象有如下三種方式：3.4.6 Cleversafe對象實現(xiàn)PACS 系統(tǒng)的災(zāi)備建設(shè)災(zāi)備建設(shè)正是Cle

32、versafe的強(qiáng)項所在，對比傳統(tǒng)，因為糾刪碼的算法，從而無需副本、RAID方式，就能夠在配置合理的情況下，對應(yīng)40%的節(jié)點(diǎn)失效，這40%的節(jié)點(diǎn)數(shù)會大于我個站點(diǎn)所包含的節(jié)點(diǎn)，這樣的失效場景也影響業(yè)務(wù)系統(tǒng)的正常工作。同時，可以做到糾刪碼算法后的切片能夠分發(fā)到21“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案異地，因此Cleversafe如果多站點(diǎn)的部署情況下，不需要做任何數(shù)據(jù)同步備份即可實現(xiàn)災(zāi)備系統(tǒng)的建設(shè)，（多站點(diǎn)的部署可以根據(jù)醫(yī)院的實際情況選擇是同城多站點(diǎn)還是異地多站點(diǎn)的部署）災(zāi)備架構(gòu)圖如下：3.5 大數(shù)據(jù)分析醫(yī)療行業(yè)大數(shù)據(jù)分析包括臨床操作和研發(fā)兩個大方向，臨床操作包括醫(yī)療數(shù)據(jù)的、監(jiān)控、臨床決策支持系

33、統(tǒng)，比較效果研究等；研究方面包括的統(tǒng)計工具和算法等。建模、疾病模式的分析和提高臨床試驗設(shè)計本方案在做好非結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)上，結(jié)合結(jié)構(gòu)化數(shù)據(jù)與Apache Spark數(shù)據(jù)分析處理引擎對接實現(xiàn)臨床操作和研發(fā)兩個方向的大數(shù)據(jù)分析，Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式外，它還可以優(yōu)化迭代工作負(fù)載，Spark的運(yùn)行速度是Hadoop MapReduce的100倍，而且它還結(jié)合了SQL、流處理和復(fù)雜情況分析。使用Stocator和 OpenStack功能。Stocator利用了對象Keystone，前者是 個用作驅(qū)動程序的開源軟件，后者提供了驗證語義，而且與以前專為處理文件系統(tǒng)而設(shè)計的 Spark連接器相比，Stocator顯著提高了性能。Stocator采用 JOSS（ 個開源 Java 客戶端）生成 HTTP REST 命令，這些命22“架構(gòu)之美”軟件定義擂臺賽優(yōu)秀解決方案下圖是 IBMCleversafe、Stocator與 OpenStack Keystone 之間的關(guān)系圖：首先，安裝和配置Spark，可以將 Spark 配置為立，或者在集群上使用YARN、Mesos或Spark 的集群管理器。其次，安裝和配置 IBM Cleversafe，為 IBM Cleversafe設(shè)置了 Keystone驗證。最后，安裝和配置Stocator，為了從SparkIBMCle