基于時(shí)空深度神經(jīng)網(wǎng)絡(luò)的多視角手術(shù)流程識(shí)別

1、基于時(shí)空深度神經(jīng)網(wǎng)絡(luò)的多視角手術(shù)流程識(shí)別技術(shù)創(chuàng)新，變革未來(lái)AI時(shí)代，打造智能化手術(shù)室已成為醫(yī) 院信息化建設(shè)中尤為重要的一個(gè)環(huán)節(jié)。術(shù) 中信息集成手術(shù)管理智能中控手勢(shì)識(shí)別 語(yǔ)音識(shí)別 流程識(shí)別目標(biāo)：立足情景感知，探索手術(shù)流程智能識(shí)別， 降低手術(shù)過(guò)程中醫(yī)生信息量過(guò)載情況下的術(shù)中錯(cuò) 誤和損傷發(fā)生幾率，提高手術(shù)效率和安全性。重點(diǎn)研發(fā)計(jì)劃:云端融合的多模態(tài)數(shù)據(jù)交互意圖理解背景數(shù)據(jù)和算力的迅猛增長(zhǎng)，AI迎來(lái)了爆發(fā)期， 為醫(yī)療模式的變革帶來(lái)了契機(jī)。采用多視角方式，結(jié)合深度神經(jīng)網(wǎng)絡(luò)的主流訓(xùn)練方法。整合CNN、RNN等空間和時(shí)序行為分析技術(shù)，建立手術(shù)流程識(shí)別模型；利用具有三元組損失的深度殘差網(wǎng)絡(luò)生成的時(shí)空特征嵌入進(jìn)

2、行訓(xùn)練。Step 1手術(shù)流程知識(shí)獲取與建模Step 2多角度手術(shù)流程視頻數(shù)據(jù)庫(kù)構(gòu)建Step 3多視角手術(shù)流程檢測(cè)算法設(shè)計(jì)對(duì)同一時(shí)間點(diǎn)不同視點(diǎn)的兩個(gè)幀進(jìn)行聚合，而對(duì)相鄰時(shí)間點(diǎn)且視點(diǎn)相似的幀進(jìn)行移除。方法Result 1：構(gòu)建手術(shù)流程視頻數(shù)據(jù)集采集甲狀腺手術(shù)視頻42部；采集腹部腔鏡手術(shù)視頻17部。Result 2：通過(guò)甲狀腺手術(shù)，對(duì)該方法進(jìn)行 了實(shí)驗(yàn)。Result 3：從多視角視頻幀中進(jìn)行手術(shù)活動(dòng) 識(shí)別的方法在幀精度方面比現(xiàn)有的方法具有 同等的性能，對(duì)開發(fā)智能手術(shù)流程多視圖自 動(dòng)識(shí)別系統(tǒng)具有應(yīng)用價(jià)值。成效展望通過(guò)對(duì)多視角手術(shù)流程識(shí)別的探索， 結(jié)合語(yǔ)音與手勢(shì)，能否對(duì)醫(yī)生術(shù)中實(shí) 時(shí)手術(shù)器械需求進(jìn)行判斷，規(guī)劃安全 高效的手術(shù)器械傳遞路徑，實(shí)現(xiàn)手術(shù) 器械準(zhǔn)確傳遞與收納管理，協(xié)