研究人員開發(fā)了一種人工智能模型，以幫助計算機更有效地使用更廣泛的語言。
非洲語言很少受到計算機科學(xué)家的關(guān)注，因此非洲的大片地區(qū)幾乎沒有自然語言處理能力?；F盧大學(xué) David R. Cheriton 計算機科學(xué)學(xué)院的研究人員開發(fā)的新語言模型開始填補這一空白，使計算機能夠分析非洲語言文本以執(zhí)行許多有用的任務(wù)。
研究人員稱之為 AfriBERTa 的新神經(jīng)網(wǎng)絡(luò)模型使用深度學(xué)習(xí)技術(shù)為低資源語言實現(xiàn)了最先進的結(jié)果。
該神經(jīng)語言模型專門用于 11 種非洲語言，例如阿姆哈拉語、豪薩語和斯瓦希里語，這些語言的總?cè)藬?shù)超過 4 億。盡管僅從 1 GB 的文本中學(xué)習(xí)，但它實現(xiàn)了與現(xiàn)有最??佳模型相媲美的輸出質(zhì)量，而其他模型需要數(shù)千倍的數(shù)據(jù)。
滑鐵盧大學(xué)計算機科學(xué)碩士生 Kelechi Ogueji 說：“預(yù)訓(xùn)練的語言模型已經(jīng)改變了計算機處理和分析從機器翻譯到問答等任務(wù)的文本數(shù)據(jù)的方式。”“可悲的是，非洲語言幾乎沒有受到研究界的關(guān)注。”
“其中一個挑戰(zhàn)是神經(jīng)網(wǎng)絡(luò)的構(gòu)建需要大量的文本和計算機。與擁有大量可用文本的英語不同，全世界使用的大約 7,000 種語言中的大多數(shù)都可以歸為資源匱乏的特征，因為缺乏可用的數(shù)據(jù)來饋送數(shù)據(jù)饑渴的神經(jīng)網(wǎng)絡(luò)。”
大多數(shù)這些模型使用稱為預(yù)訓(xùn)練的技術(shù)工作。為了實現(xiàn)這一點，研究人員向模型展示了一些文字被掩蓋或掩蓋的文本。然后模型必須猜測被屏蔽的詞。通過重復(fù)這個過程數(shù)十億次，該模型學(xué)習(xí)了單詞之間的統(tǒng)計關(guān)聯(lián)，這模仿了人類的語言知識。
“能夠?qū)δ承┫掠稳蝿?wù)同樣準(zhǔn)確的模型進行預(yù)訓(xùn)練，但使用極少的數(shù)據(jù)有很多優(yōu)勢，”計算機科學(xué) Cheriton 主席兼 Ogueji 的顧問 Jimmy Lin 說。“需要更少的數(shù)據(jù)來訓(xùn)練語言模型意味著需要更少的計算，從而降低與運營海量數(shù)據(jù)中心相關(guān)的碳排放。較小的數(shù)據(jù)集也使數(shù)據(jù)管理更實用，這是減少模型中存在的偏差的一種方法。”
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請聯(lián)系刪除！