深度學(xué)習(xí)是人工智能的一種形式，它通過教導(dǎo)計(jì)算機(jī)使用模仿人腦的人工神經(jīng)網(wǎng)絡(luò)來處理信息，從而改變社會(huì)。它現(xiàn)在被用于面部識(shí)別、自動(dòng)駕駛汽車，甚至用于玩圍棋等復(fù)雜游戲。一般來說，深度學(xué)習(xí)的成功取決于使用大型標(biāo)記圖像數(shù)據(jù)集進(jìn)行訓(xùn)練。
科學(xué)文獻(xiàn)中蘊(yùn)藏著潛在的標(biāo)記圖像金礦，每年發(fā)表超過一百萬篇文章。大多數(shù)文本中都融入了許多圖形。迄今為止，這些數(shù)字尚不適合深度學(xué)習(xí)模型。這在一定程度上是由于其復(fù)雜的布局造成的。每個(gè)圖形通常包含多個(gè)嵌入的圖像、圖表和插圖。還缺乏在文獻(xiàn)中搜索與特定內(nèi)容匹配的圖像的適當(dāng)方法。
為了應(yīng)對(duì)這一挑戰(zhàn)，美國(guó)能源部 (DOE) 阿貢國(guó)家實(shí)驗(yàn)室和西北大學(xué)的研究人員創(chuàng)建了 EXSCLAIM!軟件工具。該名稱代表圖像的提取、分離和基于標(biāo)題的自然語言注釋。
研究結(jié)果發(fā)表在《模式》雜志上。
“電子顯微鏡產(chǎn)生的十億分之一米的圖像是材料科學(xué)文獻(xiàn)中最重要的圖像之一，”阿貢納米材料中心(美國(guó)能源部科學(xué)辦公室用戶設(shè)施)的科學(xué)家瑪麗亞·陳(Maria Chan)說。 “這些圖像對(duì)于理解和開發(fā)許多不同領(lǐng)域的新材料至關(guān)重要。我們 EXSCLAIM! 的目標(biāo)是釋放這些成像數(shù)據(jù)的未開發(fā)潛力。”
什么設(shè)置 EXSCLAIM!其獨(dú)特之處在于它對(duì)數(shù)據(jù)集查詢方法的獨(dú)特關(guān)注，類似于 ChatGPT 和 DALL-E 等生成式 AI 工具中提示的使用方式。因此，它能夠從圖形中提取具有非常具體內(nèi)容的單個(gè)圖像，因?yàn)樗瓤梢詫?duì)圖像內(nèi)容進(jìn)行分類，又可以識(shí)別放大程度。然后它可以為每個(gè)圖像創(chuàng)建描述性標(biāo)簽。這種創(chuàng)新的軟件工具有望成為研究納米級(jí)新材料的科學(xué)家的寶貴資產(chǎn)。
“雖然現(xiàn)有的方法常常難以解決復(fù)合布局問題，但 EXSCLAIM! 采用了一種新方法來克服這個(gè)問題，”主要作者、前阿貢國(guó)家實(shí)驗(yàn)室研究生 Eric Sc??hwenker 說。 “我們的軟件能夠有效識(shí)別清晰的圖像邊界，并且擅長(zhǎng)捕捉不規(guī)則的圖像排列。”
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！