科學(xué)計(jì)算可視化及虛擬現(xiàn)實(shí)的醫(yī)學(xué)應(yīng)用.課件

1、科學(xué)計(jì)算可視化及虛擬現(xiàn)實(shí)的醫(yī)學(xué)應(yīng)用清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系 唐 澤 聖7/28/20221內(nèi)容提綱1.國(guó)外動(dòng)態(tài)簡(jiǎn)介-CARS2000會(huì)議側(cè)記2. 一個(gè)計(jì)算機(jī)及機(jī)器人輔助的立體定向神經(jīng)外科手術(shù)系統(tǒng)3.問題和挑戰(zhàn)7/28/20222國(guó)外動(dòng)態(tài)簡(jiǎn)介-CARS2000會(huì)議側(cè)記 這一會(huì)議是由四個(gè)會(huì)議聯(lián)合召開的：第4屆計(jì)算機(jī)輔助外科手術(shù)會(huì)議(ISCAS）第14屆計(jì)算機(jī)輔助放射治療會(huì)議(CAR）第2屆計(jì)算機(jī)輔助診斷會(huì)議（CAD）第6屆計(jì)算機(jī)輔助頜面圖象處理會(huì)議（CMI） 7/28/20223基于虛擬現(xiàn)實(shí)的手術(shù)訓(xùn)練和學(xué)習(xí)傳統(tǒng)的醫(yī)療手術(shù)訓(xùn)練和學(xué)習(xí)是按照“師傅帶徒弟”的方式進(jìn)行的，手術(shù)室就是教室，也是特殊的實(shí)驗(yàn)室

2、。有經(jīng)驗(yàn)的醫(yī)生通過“作一個(gè)，看一個(gè)，學(xué)一個(gè)”的方式訓(xùn)練初學(xué)者。教學(xué)內(nèi)容隨機(jī)的依賴于病人的出現(xiàn)，有很大的不可預(yù)見性，難于進(jìn)行系統(tǒng)的教學(xué)。上述訓(xùn)練方法將延長(zhǎng)手術(shù)時(shí)間，增加手術(shù)成本，甚至影響手術(shù)質(zhì)量，因而常常遭到病人的抵制。7/28/20224可視化和虛擬現(xiàn)實(shí)技術(shù)的出現(xiàn)為外科手術(shù)的訓(xùn)練和學(xué)習(xí)開辟了全新的途徑?？梢愿鶕?jù)CT或MRI數(shù)據(jù)在計(jì)算機(jī)內(nèi)建立人體組織結(jié)構(gòu)的三維模型，賦予相應(yīng)的紋理以提高真實(shí)感，并可實(shí)現(xiàn)該組織結(jié)構(gòu)的三維動(dòng)態(tài)顯示。虛擬環(huán)境還為操作者提供了方便的三維交互工具，可以模擬手術(shù)的定位與操作。7/28/20225在高性能的計(jì)算機(jī)環(huán)境下，還可以對(duì)手術(shù) 者的操作給出實(shí)時(shí)的響應(yīng)，如在外力作用下的軟組

3、織形變，撕裂，縫合等。這樣的虛擬現(xiàn)實(shí)環(huán)境將為初學(xué)者提供一個(gè)具有真實(shí)感的，高效的，可重復(fù)使用的外科手術(shù)訓(xùn)練和教學(xué)環(huán)境，極大地提高訓(xùn)練質(zhì)量，降低訓(xùn)練成本，具有廣闊的應(yīng)用前景。7/28/20226目前，國(guó)際上已經(jīng)有不少基于虛擬現(xiàn)實(shí)的手術(shù)訓(xùn)練和模擬系統(tǒng)出現(xiàn)。例如;CS Tseng 等開發(fā)的基于微機(jī)的具有力反饋功能的腹部手術(shù)模擬器S. Cotin等開發(fā)的介入式心臟外科手術(shù)訓(xùn)練系統(tǒng)C.Baur等人的基于虛擬現(xiàn)實(shí)和力反饋的內(nèi)窺手術(shù)模擬器M.Downes等人的用于訓(xùn)練腹部 手術(shù)關(guān)鍵技術(shù)的虛擬環(huán)境A.D. McCarthy等人用于膝關(guān)節(jié)手術(shù)訓(xùn)練的虛擬環(huán)境等。7/28/20227“可見人體”計(jì)劃的新發(fā)展 （VIS

4、IBLE HUMAN）1989年，美國(guó)國(guó)家醫(yī)學(xué)圖書館根據(jù)專家的建議，提出了一項(xiàng)被稱為“可見人體”（VISIBLE HUMAN）的計(jì)劃。構(gòu)造一個(gè)由體數(shù)據(jù)表示的健康成人男性和女性的數(shù)字圖象庫(kù)。它包括冷凍尸體斷層切片數(shù)字圖象， CT掃描和MRI數(shù)字圖象。1994年11月由科羅拉多大學(xué)醫(yī)學(xué)院完成了男性數(shù)字圖象庫(kù)的制作，它包括間隔為1。0毫米的1971片數(shù)字圖象（共15GB）。1995年11月完成了女性數(shù)字圖象庫(kù)的制作，它包括間隔為0。33毫米的5189片數(shù)字圖象（共39GB）。7/28/20228這些數(shù)據(jù)可以在簽定協(xié)議后通過因特網(wǎng)或DAT磁帶無(wú)償提供。迄今為止，美國(guó)國(guó)家醫(yī)學(xué)圖書館已經(jīng)和43個(gè)國(guó)家的用戶

5、簽定了1400多個(gè)協(xié)議，并且，已經(jīng)召開了兩次有關(guān)“可見人體”的國(guó)際學(xué)術(shù)會(huì)議。目前, 專家們已經(jīng)發(fā)現(xiàn)它的一些缺點(diǎn)影響著人體特定部位的解剖教學(xué)。1998年2月，美國(guó)國(guó)家醫(yī)學(xué)圖書館和美國(guó)牙科和頜面外科學(xué)會(huì)聯(lián)合召開的一次會(huì)議上，探討了醫(yī)學(xué)教育和研究對(duì)更高精度人體解剖模型和更強(qiáng)有力的數(shù)字圖象處理工具的需求，并建議在原有基礎(chǔ)上作如下三個(gè)方面的擴(kuò)展：7/28/202291網(wǎng)絡(luò)環(huán)境下頭部和頸部的解剖結(jié)構(gòu)圖開發(fā)公用的美國(guó)國(guó)家醫(yī)學(xué)圖書館（NLM）網(wǎng)站，用以提供基于現(xiàn)有“可見人體”數(shù)據(jù)的人體解剖結(jié)構(gòu)。其目的是構(gòu)造人體頭部和頸部的解剖結(jié)構(gòu)和功能圖譜，它是將“可見人體”數(shù)據(jù)和其它輔助數(shù)據(jù)用于教學(xué)的一個(gè)原型系統(tǒng)。這項(xiàng)開發(fā)

6、中應(yīng)用于教學(xué)的功能模塊可以表示面部表情，及咀嚼，吞嚥，發(fā)音等過程，使用戶可以通過交互操作觀察到具有旋轉(zhuǎn)功能的三維圖象，例如，在咀嚼過程中，肌肉控制上，下頜骨運(yùn)動(dòng)的過程等。7/28/2022102. 減少“可見人體”數(shù)據(jù)的人為誤差，提高組織結(jié)構(gòu)之間的對(duì)比度解決尸體樣本準(zhǔn)備過程中所引入的人為誤差，并提高神經(jīng)結(jié)構(gòu)的對(duì)比度。構(gòu)造新的，無(wú)引入誤差的，且具有神經(jīng)結(jié)構(gòu)的“可見人體”數(shù)據(jù)集，但目前只包括頭部和頸部的特定區(qū)域。7/28/2022113. 用于“可見人體”數(shù)據(jù)的圖象處理軟件工具目的是開發(fā)用于醫(yī)學(xué)圖象分割，分類，形變和對(duì)準(zhǔn)的圖象處理軟件，并可作為進(jìn)一步研究醫(yī)學(xué)圖象理解的基礎(chǔ)。目前的這一計(jì)劃不包括醫(yī)學(xué)

7、圖象的可視化，但該軟件工具將支持多種多樣的可視化和繪制平臺(tái)。由于人機(jī)交互部分也不是此項(xiàng)目的內(nèi)容，因此，該軟件將易于與現(xiàn)有的可視化和繪制系統(tǒng)集成在一起, 形成一個(gè)公用的軟件資源，與“可見人體”數(shù)據(jù)一樣，通過簽發(fā)無(wú)需付款的許可證，可以對(duì)這一軟件的源代碼和圖象處理工具進(jìn)行訪問。7/28/202212虛擬內(nèi)窺技術(shù)及應(yīng)用 虛擬內(nèi)窺是三年來(lái)剛剛出現(xiàn)的一項(xiàng)新技術(shù)。 它從一系列的CT或MRI圖象獲取醫(yī)療數(shù)據(jù),重構(gòu)出體內(nèi)組織結(jié)構(gòu)的三維虛擬模型， 通過交互方式在該三維虛擬模型內(nèi)部進(jìn)行漫游，實(shí)現(xiàn)虛擬內(nèi)窺。7/28/202213虛擬內(nèi)窺的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)可以觀察到真實(shí)內(nèi)窺觀察不到的部位?？梢栽诓粨p傷人體組織的情況下進(jìn)行觀

8、察，因而不給病人帶來(lái)痛苦。體內(nèi)組織表皮后面 的信息也可以看到。虛擬模型的幾何尺寸可以度量。由于上述優(yōu)點(diǎn), 虛擬內(nèi)窺在近年來(lái)發(fā)展很快。7/28/202214缺點(diǎn)虛擬模型不具有真實(shí)的顏色屬性，體內(nèi)結(jié)構(gòu)的真實(shí)顏色屬性是有利于疾病診斷的。因此，虛擬內(nèi)窺尚不能在所有情況下代替真實(shí)內(nèi)窺，但是，它的確是醫(yī)生進(jìn)行診斷的一個(gè)有力工具，也可以應(yīng)用于手術(shù)規(guī)劃和模擬，醫(yī)學(xué)教育和訓(xùn)練等。7/28/202215醫(yī)學(xué)圖象檔案管理和通信系統(tǒng)（PACS）收集，存儲(chǔ)，分配和顯示醫(yī)學(xué)圖象的系統(tǒng)。當(dāng)前，PACS有兩種系統(tǒng)結(jié)構(gòu)。集中式的存儲(chǔ)結(jié)構(gòu)分布式存儲(chǔ)結(jié)構(gòu)兩者各有其優(yōu)缺點(diǎn)當(dāng)前，推動(dòng)PACS系統(tǒng)每年以30%的速度增長(zhǎng)的因素有：7/28

9、/202216降低成本：膠片和膠片庫(kù)的減少，可以抵消系統(tǒng)安裝，服務(wù)和管理所需的費(fèi)用。減少膠片的“遺失”：這并非膠片真正地“遺失”了，只是在醫(yī)生需要使用時(shí)找不到了。 改進(jìn)對(duì)病人的治療：基于醫(yī)學(xué)圖象的預(yù)先研究和比較，可及時(shí)得到醫(yī)療報(bào)告，並直接送到醫(yī)生的辦公桌上, 將顯著的改進(jìn)治療過程，縮短病人的等候時(shí)間。提高病例研究的質(zhì)量：當(dāng)前圖象處理技術(shù)的進(jìn)步；使得對(duì)多于1000幅的CT或MRI圖象的對(duì)比研究成為可能。而這對(duì)于膠片圖象是不可能實(shí)現(xiàn)的。7/28/202217當(dāng)前，PACS系統(tǒng)的發(fā)展已經(jīng)可以構(gòu)造一個(gè)完全數(shù)字式化的影像部門.盡管PACS系統(tǒng)有許多優(yōu)點(diǎn)，但是，目前尚不可能實(shí)現(xiàn)無(wú)膠片醫(yī)院。因?yàn)楫?dāng)前的PAC

10、S系統(tǒng)雖然可以滿足影像工作者的需要，但是還不能滿足醫(yī)生和他們的病人的需求。許多醫(yī)生不滿足于僅僅閱讀放射科醫(yī)生的報(bào)告，而不審視 實(shí)際的影視圖象。如果，技術(shù)的發(fā)展尚不能使得向每一個(gè)醫(yī)生提供高分辨率的終端在經(jīng)濟(jì)上是合算的，那么，醫(yī)生們就會(huì)要求繼續(xù)使用膠片。7/28/202218一個(gè)計(jì)算機(jī)及機(jī)器人輔助的立體定向神經(jīng)外科手術(shù)系統(tǒng)優(yōu)點(diǎn)不需開顱不用笨重的金屬框架定位病人的損傷小,恢復(fù)快7/28/202219一個(gè)計(jì)算機(jī)及機(jī)器人輔助的立體定向神經(jīng)外科手術(shù)系統(tǒng)技術(shù)特點(diǎn)由CT或MRI圖像提取顱骨及病灶部位輪廓線由輪廓線重構(gòu)三維模型機(jī)械臂是交互定位工具,也是手術(shù)器械支撐平臺(tái)用標(biāo)誌點(diǎn)實(shí)現(xiàn)病人物體空間,模型空間和機(jī)械臂空間三者的轉(zhuǎn)換和匹配7/28/2022207/28/2022217/28/202222應(yīng)用情況中國(guó)人民解放軍海軍總醫(yī)院已經(jīng)利用這一 系統(tǒng)施行神經(jīng)外科手術(shù)100餘例,全部獲得成功. 且已在瀋陽(yáng)等地