中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院賈福倉(cāng)教授課題組提出了一種多任務(wù)細(xì)粒度時(shí)空模型，可以有效識(shí)別腹腔鏡膽囊切除手術(shù)視頻中的動(dòng)作三聯(lián)體。
該研究于 7 月 27 日發(fā)表在IEEE Journal of Biomedical and Health Informatics上。
在腹腔鏡手術(shù)視頻中，單個(gè)幀可能包含由手術(shù)器械、手術(shù)動(dòng)作、手術(shù)目標(biāo)組成的多個(gè)三元組。這些三元組在不同類別中表現(xiàn)出時(shí)間依賴性和高度相似性，對(duì)深度學(xué)習(xí)模型的識(shí)別提出了重大挑戰(zhàn)。
在這項(xiàng)研究中，研究人員開(kāi)發(fā)了一種用于手術(shù)動(dòng)作三聯(lián)體識(shí)別的新模型。該模型由兩個(gè)關(guān)鍵組件組成：能夠在手術(shù)視頻中同時(shí)處理多個(gè)任務(wù)的框架，以及為多個(gè)相似標(biāo)簽設(shè)計(jì)的損失函數(shù)。“我們的框架考慮了手術(shù)視頻中的空間和時(shí)間特征，這與之前主要只關(guān)注空間特征的方法不同，”賈教授說(shuō)。
所提出的模型優(yōu)于現(xiàn)有方法，包括 Triplet、Attention Triplet 和 Rendezvous 方法。與最先進(jìn)的 Rendezvous 方法相比，該模型在儀器、動(dòng)作和器官識(shí)別任務(wù)中平均精度提高了 4.6%、4.0% 和 7.8%，分別達(dá)到 82.1%、51.5% 和 45.5%，分別。在整體三胞胎識(shí)別任務(wù)中，該模型的平均精度也提高了3.1%，達(dá)到35.8%。他們通過(guò)消融實(shí)驗(yàn)進(jìn)一步證明了不同模塊的有效性。
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！