大型語(yǔ)言模型(例如為 ChatGPT 等流行人工智能聊天機(jī)器人提供支持的語(yǔ)言模型)非常復(fù)雜。盡管這些模型在許多領(lǐng)域被用作工具，例如客戶支持、代碼生成和語(yǔ)言翻譯，但科學(xué)家們?nèi)匀粵]有完全掌握它們的工作原理。
為了更好地了解幕后發(fā)生的事情，麻省理工學(xué)院和其他地方的研究人員研究了這些巨大的機(jī)器學(xué)習(xí)模型檢索存儲(chǔ)的知識(shí)時(shí)的工作機(jī)制。
他們發(fā)現(xiàn)了一個(gè)令人驚訝的結(jié)果：大型語(yǔ)言模型(LLM)通常使用非常簡(jiǎn)單的線性函數(shù)來恢復(fù)和解碼存儲(chǔ)的事實(shí)。此外，該模型對(duì)相似類型的事實(shí)使用相同的解碼函數(shù)。線性函數(shù)是只有兩個(gè)變量且沒有指數(shù)的方程，捕獲兩個(gè)變量之間簡(jiǎn)單的直線關(guān)系。
研究人員表明，通過識(shí)別不同事實(shí)的線性函數(shù)，他們可以探索模型以了解它對(duì)新主題的了解，以及知識(shí)存儲(chǔ)在模型中的位置。
研究人員使用他們開發(fā)的技術(shù)來估計(jì)這些簡(jiǎn)單的函數(shù)，發(fā)現(xiàn)即使模型錯(cuò)誤地回答了提示，它通常也存儲(chǔ)了正確的信息。將來，科學(xué)家可以使用這種方法來查找并糾正模型內(nèi)部的錯(cuò)誤，這可以減少模型有時(shí)給出錯(cuò)誤或無意義答案的傾向。
“盡管這些模型非常復(fù)雜，非線性函數(shù)需要接受大量數(shù)據(jù)的訓(xùn)練，并且很難理解，但有時(shí)它們內(nèi)部的工作機(jī)制非常簡(jiǎn)單。這就是一個(gè)例子，”電氣工程師埃文·埃爾南德斯 (Evan Hernandez) 說計(jì)算機(jī)科學(xué) (EECS) 研究生，也是論文的共同主要作者，該論文詳細(xì)介紹了發(fā)布到arXiv預(yù)印本服務(wù)器上的這些發(fā)現(xiàn)。
埃爾南德斯與東北大學(xué)計(jì)算機(jī)科學(xué)研究生 Arnab Sharma 共同撰寫了這篇論文。他的導(dǎo)師 Jacob Andreas，EECS 副教授，計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室 (CSAIL) 成員;資深作者 David Bau，東北大學(xué)計(jì)算機(jī)科學(xué)助理教授;以及麻省理工學(xué)院、哈佛大學(xué)和以色列理工學(xué)院的其他人。該研究將于 5 月 7 日至 11 日在維也納舉行的國(guó)際學(xué)習(xí)表征會(huì)議 ( ICLR 2024)上發(fā)表。
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！