2月21日基于尖端神經(jīng)網(wǎng)絡(luò)理論的新型人工智能處理器可降低計(jì)算功耗

東京理工大學(xué)的研究人員現(xiàn)已開(kāi)發(fā)出一種名為“Hiddenite”的新型加速器芯片，該芯片可以在計(jì)算稀疏“隱藏神經(jīng)網(wǎng)絡(luò)”時(shí)實(shí)現(xiàn)最先進(jìn)的精度，并且計(jì)算負(fù)擔(dān)較低。通過(guò)采用建議的片上模型構(gòu)造，即權(quán)重生成和“超級(jí)掩碼”擴(kuò)展的組合，Hiddenite 芯片大大減少了外部存儲(chǔ)器訪問(wèn)，從而提高了計(jì)算效率。

深度神經(jīng)網(wǎng)絡(luò) (DNN) 是用于 AI(人工學(xué)習(xí))的復(fù)雜機(jī)器學(xué)習(xí)架構(gòu)，需要大量參數(shù)來(lái)學(xué)習(xí)預(yù)測(cè)輸出。然而，DNN 可以被“修剪”，從而減少計(jì)算負(fù)擔(dān)和模型大小。幾年前，“彩票假說(shuō)”席卷了機(jī)器學(xué)習(xí)世界。該假設(shè)指出，隨機(jī)初始化的 DNN 包含在訓(xùn)練后達(dá)到與原始 DNN 相當(dāng)?shù)木鹊淖泳W(wǎng)絡(luò)。網(wǎng)絡(luò)越大，成功優(yōu)化的“彩票”就越多。因此，這些彩票允許“修剪”的稀疏神經(jīng)網(wǎng)絡(luò)達(dá)到與更復(fù)雜、“密集”網(wǎng)絡(luò)相當(dāng)?shù)木?，從而減少整體計(jì)算負(fù)擔(dān)和功耗。

找到此類(lèi)子網(wǎng)絡(luò)的一種技術(shù)是隱藏神經(jīng)網(wǎng)絡(luò) (HNN) 算法，該算法在初始化的隨機(jī)權(quán)重和稱(chēng)為“超級(jí)掩碼”的“二進(jìn)制掩碼”上使用 AND 邏輯(僅當(dāng)所有輸入都為高時(shí)輸出才高) (圖。1)。由 top-k% 最高分?jǐn)?shù)定義的超級(jí)掩碼分別表示未選擇和選擇的連接為 0 和 1。HNN 有助于從軟件方面降低計(jì)算效率。然而，神經(jīng)網(wǎng)絡(luò)的計(jì)算也需要硬件組件的改進(jìn)。

傳統(tǒng)的 DNN 加速器提供高性能，但沒(méi)有考慮外部?jī)?nèi)存訪問(wèn)帶來(lái)的功耗?，F(xiàn)在，由 Jaehoon Yu 和 Masato Motomura 教授領(lǐng)導(dǎo)的東京工業(yè)大學(xué) (Tokyo Tech) 的研究人員開(kāi)發(fā)了一種名為“Hiddenite”的新型加速器芯片，該芯片可以計(jì)算隱藏的神經(jīng)網(wǎng)絡(luò)，并大大降低了功耗。“減少外部存儲(chǔ)器訪問(wèn)是降低功耗的關(guān)鍵。目前，實(shí)現(xiàn)高推理精度需要大型模型。但這增加了對(duì)加載模型參數(shù)的外部存儲(chǔ)器訪問(wèn)。我們開(kāi)發(fā) Hiddenite 的主要?jiǎng)訖C(jī)是減少這種外部存儲(chǔ)器訪問(wèn)，”Motomura 教授解釋說(shuō)。他們的研究將在即將到來(lái)的2022年國(guó)際固態(tài)電路會(huì)議 (ISSCC)是一個(gè)著名的國(guó)際會(huì)議，展示了集成電路成就的巔峰。

“Hiddenite”代表 Hidden Neural Network Inference Tensor Engine，是第一款 HNN 推理芯片。Hiddenite 架構(gòu)(圖 2)在減少外部存儲(chǔ)器訪問(wèn)和實(shí)現(xiàn)高能效方面具有三重優(yōu)勢(shì)。首先是它提供了片上權(quán)重生成，用于通過(guò)使用隨機(jī)數(shù)生成器重新生成權(quán)重。這消除了訪問(wèn)外部存儲(chǔ)器和存儲(chǔ)權(quán)重的需要。第二個(gè)好處是提供“片上超級(jí)掩膜擴(kuò)展”，它減少了需要由加速器加載的超級(jí)掩膜數(shù)量。Hiddenite 芯片提供的第三項(xiàng)改進(jìn)是高密度四維 (4D) 并行處理器，可在計(jì)算過(guò)程中最大限度地重復(fù)利用數(shù)據(jù)，從而提高效率。

“前兩個(gè)因素使 Hiddenite 芯片有別于現(xiàn)有的 DNN 推理加速器，”Motomura 教授透露。“此外，我們還引入了一種新的隱藏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，稱(chēng)為‘分?jǐn)?shù)蒸餾’，其中傳統(tǒng)的知識(shí)蒸餾權(quán)重被蒸餾到分?jǐn)?shù)中，因?yàn)殡[藏神經(jīng)網(wǎng)絡(luò)從不更新權(quán)重。使用分?jǐn)?shù)蒸餾的準(zhǔn)確性與二元模型相當(dāng)，而大小只有二元模型的一半。”

標(biāo)簽：