3D深層神經(jīng)網(wǎng)絡可精確重建自由行為的動物動作

動物不斷響應大腦的指令而運動。但是，盡管有先進的技術可以根據(jù)神經(jīng)活動來測量這些指令，但仍缺乏用于量化自由移動動物自身行為的技術。這種無法測量大腦關鍵輸出的能力限制了我們對神經(jīng)系統(tǒng)及其在疾病中的變化的理解。

杜克大學和哈佛大學研究人員的一項新研究引入了一種自動化工具，該工具可以輕松捕獲行為自由的動物的行為，并通過單個攝像機精確地重建其三維(3D)姿態(tài)，而無需標記。

杜克大學助理教授蒂莫西·鄧恩(Timothy W. Dunn)和哈佛大學博士后研究員杰西·馬歇爾(Jesse D.Marshall)在4月19日進行的《自然方法》研究中，描述了一種新的3D深層神經(jīng)網(wǎng)絡DANNCE(3維對齊神經(jīng)網(wǎng)絡，用于計算民族學)。該研究是該團隊于2020年在Neuron中進行的研究的結果，該研究揭示了突破性的行為監(jiān)控系統(tǒng)CAPTURE(使用后向反射器嵌入的連續(xù)附錄和姿勢跟蹤)，該系統(tǒng)使用運動捕捉和深度學習來連續(xù)跟蹤自由行為動物的3D運動。捕捉對動物的行為產(chǎn)生了前所未有的詳細描述。但是，它需要使用專門的硬件并將標記物附加到動物上，這給使用帶來了挑戰(zhàn)。

Dunn說：“有了DANNCE，我們可以減輕這一要求。”“ DANNCE即使在看不見的情況下也可以學會跟蹤身體部位，這增加了可以使用該技術的環(huán)境的類型。我們需要這種不和靈活性來測量自然環(huán)境中的運動，以更有可能激發(fā)出完整的感覺。以及這些動物的行為舉止復雜。”

DANNCE可在廣泛的物種中工作，并且可在實驗室和環(huán)境中重現(xiàn)，從而確保其對動物乃至人類的行為研究具有廣泛的影響。它具有專門的神經(jīng)網(wǎng)絡，專門用于從視頻進行3D姿勢跟蹤。一個關鍵方面是其3D特征空間以物理單位(米)而不是相機像素為單位。這使該工具可以更容易地在不同的相機布置和實驗室之間進行歸納。相反，以前的3D姿態(tài)跟蹤方法使用的是經(jīng)過量身定制的二維(2D)姿態(tài)檢測神經(jīng)網(wǎng)絡，該網(wǎng)絡難以適應新的3D視點。

標簽： 3D深層神經(jīng)網(wǎng)絡