NeuRRAM在邊緣計算領域的新突破。

近日清華大學團隊參與的一個國際研究團隊設計并制造了一種芯片——NeuRRAM，該芯片可以直接在內(nèi)存中運行計算，并且可以運行各種 AI 應用程序。

NeuRRAM 神經(jīng)形態(tài)芯片使人工智能更接近于在廣泛的邊緣設備上運行，與云斷開連接，它們可以隨時隨地執(zhí)行復雜的認知任務，而無需依賴與中央服務器的網(wǎng)絡連接。應用遍及世界的每一個角落和我們生活的方方面面，從智能手表到 VR 耳機、工廠中的智能傳感器和用于太空探索的漫游車。 NeuRRAM 芯片的能效不僅是最先進的“內(nèi)存計算”芯片的兩倍，這種在內(nèi)存中運行計算的創(chuàng)新混合芯片，它還提供與傳統(tǒng)數(shù)字芯片一樣準確的結果。傳統(tǒng)的人工智能平臺體積更大，通常受限于使用在云中運行的大型數(shù)據(jù)服務器。 NeuRRAM芯片用途廣泛，支持多種不同的神經(jīng)網(wǎng)絡模型和架構。因此，該芯片可用于許多不同的應用，包括圖像識別和重建以及語音識別。

NeuRRAM在邊緣計算上的潛能

傳統(tǒng)觀點認為，內(nèi)存計算的更高效率是以多功能性為代價的，但 NeuRRAM 芯片在不犧牲多功能性的情況下獲得了效率。

目前，人工智能計算既耗電又昂貴。邊緣設備上的大多數(shù)人工智能應用程序都涉及將數(shù)據(jù)從設備移動到云端，人工智能在云端對其進行處理和分析。然后將結果移回設備。這是因為大多數(shù)邊緣設備都是電池供電的，因此只能用于計算的電量有限。

通過降低邊緣 AI 推理所需的功耗，這款 NeuRRAM 芯片可以帶來更強大、更智能、更易于訪問的邊緣設備和更智能的制造。它還可以帶來更好的數(shù)據(jù)隱私，因為將數(shù)據(jù)從設備傳輸?shù)皆茣砀叩陌踩L險。

在 AI 芯片上，將數(shù)據(jù)從內(nèi)存轉(zhuǎn)移到計算單元是一大瓶頸。研究人員表示“這相當于每天兩個小時的通勤時間為八小時。”

為了解決這個數(shù)據(jù)傳輸問題，研究人員使用了電阻式隨機存取存儲器，這是一種非易失性存儲器，允許直接在存儲器內(nèi)而不是在單獨的計算單元中進行計算。使用 RRAM 芯片進行計算不一定是新事物，但通常會導致在芯片上執(zhí)行的計算的準確性降低，并且芯片架構缺乏靈活性。

NeuRRAM 的新特點是，現(xiàn)在極高的效率與各種 AI 應用的極大靈活性相結合，與標準數(shù)字通用計算平臺相比，準確性幾乎沒有損失。精心設計的方法是在硬件和軟件的抽象層上進行多層次“協(xié)同優(yōu)化”的關鍵，團隊需要考慮從芯片的設計到運行各種 AI 任務的配置。

NeuRRAM芯片性能

研究人員通過一種稱為能量延遲積或 EDP 的方法來測量芯片的能量效率。EDP結合了每次操作消耗的能量和完成操作所需的時間。通過這一措施，與最先進的芯片相比，NeuRRAM 芯片的 EDP 低 1.6 到 2.3 倍（越低越好），計算密度高 7 到 13 倍。

研究人員在芯片上運行各種 AI 任務。它在手寫數(shù)字識別任務上達到了 99%的準確率；85.7%的圖像分類任務；84.7%的谷歌語音命令識別任務。此外，該芯片還在圖像恢復任務中實現(xiàn)了 70%的圖像重建誤差降低。這些結果可與現(xiàn)有的數(shù)字芯片相媲美，這些芯片在相同的位精度下執(zhí)行計算，但大大節(jié)省了能源。

研究人員指出，該論文的一個關鍵貢獻是所有特色結果都是直接在硬件上獲得的。在之前的許多內(nèi)存計算芯片工作中，AI 基準測試結果通常部分通過軟件模擬獲得。

下一步包括改進架構和電路，并將設計擴展到更先進的技術節(jié)點。研究人員還計劃解決其他應用，例如脈沖神經(jīng)網(wǎng)絡。研究人員說：“我們可以在設備層面做得更好，改進電路設計以實現(xiàn)附加功能并解決各種應用。”

NeuRRAM新架構

NeuRRAM 能源效率的關鍵是一種創(chuàng)新的方法來檢測內(nèi)存中的輸出。傳統(tǒng)方法使用電壓作為輸入并測量電流作為結果。但這導致需要更復雜和更耗電的電路。在 NeuRRAM 中，該團隊設計了一種神經(jīng)元電路，可以感應電壓并以節(jié)能的方式執(zhí)行模數(shù)轉(zhuǎn)換。這種電壓模式感測可以在單個計算周期內(nèi)激活 RRAM 陣列的所有行和所有列，從而實現(xiàn)更高的并行度。

在 NeuRRAM 架構中，CMOS 神經(jīng)元電路與 RRAM 權重物理交錯。它不同于傳統(tǒng)的設計，其中 CMOS 電路通常位于 RRAM 權重的外圍。神經(jīng)元與 RRAM 陣列的連接可以配置為用作神經(jīng)元的輸入或輸出。這允許在各種數(shù)據(jù)流方向上進行神經(jīng)網(wǎng)絡推理，而不會產(chǎn)生面積或功耗方面的開銷。這反過來又使架構更易于重新配置。

為了確保人工智能計算的準確性可以在各種神經(jīng)網(wǎng)絡架構中保持不變，研究人員開發(fā)了一套硬件算法協(xié)同優(yōu)化技術。這些技術在各種神經(jīng)網(wǎng)絡上得到了驗證，包括卷積神經(jīng)網(wǎng)絡、長短期記憶和受限玻爾茲曼機。

作為神經(jīng)形態(tài) AI 芯片，NeuroRRAM 跨 48 個神經(jīng)突觸核心執(zhí)行并行分布式處理。為了同時實現(xiàn)高通用性和高效率，NeuRRAM 通過將神經(jīng)網(wǎng)絡模型中的層映射到多個核上以對多個數(shù)據(jù)進行并行推理來支持數(shù)據(jù)并行。此外，NeuRRAM 通過將模型的不同層映射到不同的內(nèi)核并以流水線方式執(zhí)行推理來提供模型并行性。

審核編輯：劉清