大型語言模型(例如為 ChatGPT 等流行人工智能聊天機器人提供支持的語言模型)非常復雜。盡管這些模型在許多領域被用作工具，例如客戶支持、代碼生成和語言翻譯，但科學家們?nèi)匀粵]有完全掌握它們的工作原理。
為了更好地了解幕后發(fā)生的事情，麻省理工學院和其他地方的研究人員研究了這些巨大的機器學習模型檢索存儲的知識時的工作機制。
他們發(fā)現(xiàn)了一個令人驚訝的結(jié)果：大型語言模型(LLM)通常使用非常簡單的線性函數(shù)來恢復和解碼存儲的事實。此外，該模型對相似類型的事實使用相同的解碼函數(shù)。線性函數(shù)是只有兩個變量且沒有指數(shù)的方程，捕獲兩個變量之間簡單的直線關系。
研究人員表明，通過識別不同事實的線性函數(shù)，他們可以探索模型以了解它對新主題的了解，以及知識存儲在模型中的位置。
研究人員使用他們開發(fā)的技術來估計這些簡單的函數(shù)，發(fā)現(xiàn)即使模型錯誤地回答了提示，它通常也存儲了正確的信息。將來，科學家可以使用這種方法來查找并糾正模型內(nèi)部的錯誤，這可以減少模型有時給出錯誤或無意義答案的傾向。
“盡管這些模型非常復雜，非線性函數(shù)需要接受大量數(shù)據(jù)的訓練，并且很難理解，但有時它們內(nèi)部的工作機制非常簡單。這就是一個例子，”電氣工程師埃文·埃爾南德斯 (Evan Hernandez) 說計算機科學 (EECS) 研究生，也是論文的共同主要作者，該論文詳細介紹了發(fā)布到arXiv預印本服務器上的這些發(fā)現(xiàn)。
埃爾南德斯與東北大學計算機科學研究生 Arnab Sharma 共同撰寫了這篇論文。他的導師 Jacob Andreas，EECS 副教授，計算機科學與人工智能實驗室 (CSAIL) 成員;資深作者 David Bau，東北大學計算機科學助理教授;以及麻省理工學院、哈佛大學和以色列理工學院的其他人。該研究將于 5 月 7 日至 11 日在維也納舉行的國際學習表征會議 ( ICLR 2024)上發(fā)表。
標簽：
免責聲明：本文由用戶上傳，如有侵權請聯(lián)系刪除！