人工智能行業(yè)所圍繞的是一個受技術進步、社會需求和監(jiān)管政策影響的動態(tài)環(huán)境。機器學習、自然語言處理和計算機視覺方面的技術進步，加速了人工智能的發(fā)展和應用。包括醫(yī)療保健、金融和制造業(yè)在內的各個行業(yè)對自動化、個性化和效率的社會需求，又進一步推動了人工智能技術的集成。此外，不斷發(fā)展的監(jiān)管體系，則強調了合乎倫理道德的人工智能、數(shù)據(jù)隱私和算法透明度的重要性，進而指導人工智能系統(tǒng)的負責任開發(fā)和應用。人工智能行業(yè)將訓練和推理過程結合起來，有效地創(chuàng)建和部署人工智能解決方案。推理和訓練都是人工智能整個生命周期的組成部分，其意義取決于具體的環(huán)境和應用。對于通過學習模式和從數(shù)據(jù)中提取見解來開發(fā)和優(yōu)化模型而言，雖然訓練極為重要，但推理在利用這些訓練模型進行實時預測和決策方面，卻發(fā)揮著極為重要的作用。人工智能推理(占當今人工智能任務的80%以上)的重要性越來越大，在于它在推動數(shù)據(jù)驅動的決策、個性化用戶體驗和不同行業(yè)的運營效率方面發(fā)揮著關鍵作用。

高效的人工智能推理實現(xiàn)，則面臨著數(shù)據(jù)可用性、計算資源、算法復雜性、可解釋性和法規(guī)符合性方面的挑戰(zhàn)。而在控制成本的同時，適應動態(tài)環(huán)境和管理可擴展性，還又帶來額外的挑戰(zhàn)?？朔@些挑戰(zhàn)需要全面的戰(zhàn)略，包括穩(wěn)健的數(shù)據(jù)管理實踐、硬件功能的進步和算法的改進。開發(fā)可解釋的人工智能模型，并遵守道德和監(jiān)管準則，對于建立用戶信任和確保合規(guī)性至關重要。此外，通過高效的運營實踐與技術創(chuàng)新來平衡資源分配與成本管理，對于在不同行業(yè)部門實現(xiàn)可持續(xù)有效的人工智能推理解決方案也極為重要。

人工智能推理的關鍵作用

通過自動化任務、增強預測性維護和啟用高級分析，人工智能推理優(yōu)化了流程，減少了錯誤，改善了資源分配。對于自然語言處理，人工智能推理提供了動力，改善了人與機器之間的溝通與理解。而在制造業(yè)領域，其影響包括預測性維護、質量控制和供應鏈管理、提高效率、減少浪費和提高產(chǎn)品質量，對行業(yè)運營具有變革性影響。

可持續(xù)人工智能推理的行業(yè)挑戰(zhàn)

人工智能推理面臨著高能耗、密集的計算需求和實時處理限制等挑戰(zhàn)，導致運營成本增加，還加劇了對環(huán)境的影響。人工智能總功耗的60%以上來自推理，隨著推理需求的增加，導致數(shù)據(jù)中心容量在兩年內增加了2.5倍(GAFA數(shù)據(jù))。對于服務器來說，密集計算過程中產(chǎn)生熱量，還需要復雜的冷卻系統(tǒng)，這又進一步增加了人工智能過程的總體能耗。此外，在服務器、高級駕駛員輔助系統(tǒng)(ADAS)或制造應用中，必須在滿足高效實時處理需求與低延遲要求之間取得平衡，這也是一個重大挑戰(zhàn)，需要先進的硬件設計和優(yōu)化的計算策略。在不影響準確性的情況下，優(yōu)先考慮可再生能源和環(huán)保舉措的節(jié)能解決方案，對于減輕環(huán)境影響而言，是非常重要的。

由于人工智能算法的復雜性和特殊性，利用CPU或GPU的經(jīng)典人工智能推理硬件設計，在實現(xiàn)能效方面面臨限制，導致高功耗(服務器每個多核單元功耗高達數(shù)百瓦)。處理單元與存儲器之間低效的數(shù)據(jù)移動，進一步影響了能源效率和吞吐量。例如，相對于訪問本地寄存器，訪問外部DRAM會消耗200倍的能量。最終，由于更高的計算需求，到2025年，利用CPU和GPU的下一代服務器，可能會消耗高達上千瓦的功率。而在資源受限、電池供電的設備上部署人工智能推理更具挑戰(zhàn)性，因為最高效的基于CPU和GPU的低功耗設計(10毫瓦到幾瓦)受到吞吐量的極大限制，從而限制了人工智能的復雜性和最終的用戶體驗。平衡能源效率與性能/精度要求，在設計過程中需要仔細權衡，并采用全面的優(yōu)化策略。對復雜人工智能工作負載的硬件支持不足，可能會阻礙其能效和性能。

尋找節(jié)能解決方案

行業(yè)對節(jié)能人工智能推理解決方案的需求不斷增長，這是由可持續(xù)發(fā)展目標、成本降低目標和新用途共同驅動的。企業(yè)尋求可擴展和高性能解決方案，來管理復雜的人工智能工作負載，而不會產(chǎn)生過高的能源成本。另一方面，節(jié)能的人工智能推理，使得移動設備或資源受限的設備能夠在不快速消耗電量的情況下執(zhí)行復雜任務，同時減少對云處理的依賴，最大限度地減少數(shù)據(jù)傳輸和延遲問題。通過高級新功能，如實時語言翻譯、個性化推薦和準確的圖像識別，有助于增強用戶體驗，提高用戶參與度和滿意度。

人工智能推理領域里的創(chuàng)新貢獻

為了克服CPU和GPU的限制，為人工智能推理工作負載專門設計了創(chuàng)新型硬件加速器，實現(xiàn)高效和優(yōu)化的處理，同時最大限度地減少能耗。人工智能應用中，此類加速器通過采用專用運算符(池化、激活功能、規(guī)范化等)來實現(xiàn)優(yōu)化的數(shù)據(jù)流。數(shù)據(jù)流引擎是矩陣乘法單元，這是一個大型處理元件陣列，能夠有效地處理大型矩陣向量乘法、卷積和許多更復雜運算。大多數(shù)神經(jīng)網(wǎng)絡都是基于矩陣乘法運算的。為了進一步優(yōu)化能源效率，人工智能加速器已經(jīng)實現(xiàn)了一些新技術，如近內存計算。近內存計算將處理單元集成在內存子系統(tǒng)中，從而實現(xiàn)更快的近內存數(shù)據(jù)處理，從而減少與數(shù)據(jù)傳輸相關的能耗。最近，又出現(xiàn)了采用“非標準”技術的一些新解決方案，如存內計算或尖峰神經(jīng)網(wǎng)絡(SNN)。要實現(xiàn)高效能人工智能推理，這些都是最具吸引力的解決方案。

存內計算直接在內存中進行電路級計算，免去了數(shù)據(jù)傳輸，提高了處理速度。處理可以以模擬或數(shù)字方式進行，可利用不同的存儲技術，如SRAM、閃存或新的NVM(RRAM、MRAM、PCRAM、FeFET等)。這種方案特別有利于涉及大型數(shù)據(jù)集的復雜人工智能任務。SNN還代表了人工智能推理的一種創(chuàng)新解決方案：它們通常由通過尖峰進行通信的互連節(jié)點組成，能夠模擬復雜的時間過程和基于事件的計算，這對于處理時間敏感數(shù)據(jù)或模擬人腦行為等任務很有用。

塑造人工智能推理的未來

利用近內存/存內計算或SNN的人工智能加速器對人工智能行業(yè)產(chǎn)生了重大影響，包括提高能源效率、提高處理速度和先進的模式識別能力。這些加速器推動硬件設計的優(yōu)化，從而為特定的人工智能工作負載創(chuàng)建專門的架構。此外，它們還促進了邊緣計算的進步，促進了直接在邊緣設備上進行高效的人工智能處理，并減少了延遲。這些技術的變革潛力，凸顯了其在從醫(yī)療保健、制造業(yè)、汽車到消費電子等不同行業(yè)的革命性變革中的關鍵作用。高能效人工智能推理在醫(yī)療保健和汽車行業(yè)的集成產(chǎn)生了變革性的影響。在醫(yī)療保健領域，通過快速數(shù)據(jù)分析促進了更快的診斷和個性化的患者護理，從而改善了治療效果和量身定制的醫(yī)療干預措施。此外，它還賦能開發(fā)遠程患者監(jiān)測系統(tǒng)，確保對慢性病患者進行持續(xù)的健康跟蹤和積極干預。還有，在藥物研發(fā)領域，高效人工智能推理加快了潛在候選藥物的識別，加速了藥物研發(fā)過程，促進了醫(yī)療和療法的創(chuàng)新。

在汽車行業(yè)，節(jié)能的人工智能推理在提升安全功能和自動駕駛能力方面也發(fā)揮著至關重要的作用。它為車輛提供ADAS和實時碰撞檢測功能，增強整體道路安全。此外，它有助于自動駕駛技術的發(fā)展，使車輛能夠根據(jù)實時數(shù)據(jù)分析做出明智決策，從而改進導航系統(tǒng)和自動駕駛功能。此外，基于人工智能推理的預測性維護解決方案，能夠早期檢測潛在的車輛問題、優(yōu)化性能、減少停機時間并延長車輛壽命。

結論行業(yè)對節(jié)能人工智能推理解決方案的主要需求，是由促進可持續(xù)運營、優(yōu)化資源利用和延長設備電池壽命的需求驅動的。這些解決方案在促進環(huán)保實踐、降低運營成本和增強競爭優(yōu)勢方面發(fā)揮著關鍵作用。節(jié)能人工智能推理解決方案中，通過促進邊緣計算應用，并最大限度地減少能源消耗，使企業(yè)能夠提高盈利能力、簡化流程、并確保移動和物聯(lián)網(wǎng)設備功能的不間斷。要滿足這些需求，就必須開發(fā)大量基于智能近內存/存內計算技術的節(jié)能算法，并優(yōu)化硬件架構。許多新公司帶著創(chuàng)新的計算解決方案進入市場，并承諾在從傳感器到數(shù)據(jù)中心的任何地方運行人工智能，以提供全新的用戶體驗。

(原文刊登于EE Times歐洲版，參考鏈接：Revolutionizing AI Inference: Unveiling the Future of Neural Processing，由Franklin Zhao編譯。)