電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）要說跟上AI時代的進(jìn)程，RISC-V相對其他架構(gòu)來說也一點(diǎn)不慢。從各個初創(chuàng)公司的產(chǎn)品或者路線圖也可以看出，AI計(jì)算是他們最為重視的一環(huán)，甚至重要性要超過通用計(jì)算。畢竟這是RISC-V可以后發(fā)制人的一大領(lǐng)域，甚至不會有太多架構(gòu)設(shè)計(jì)上的歷史桎梏。為此，不少廠商也都從AI出發(fā)，設(shè)計(jì)出了定位不一的RISC-V產(chǎn)品。

高性能AI計(jì)算

Esperanto作為為數(shù)不多的幾家沖擊高性能AI計(jì)算的公司，如今也開始察覺到了AI市場的風(fēng)向變動，于是決定將重心從過去的推薦加速改為大語言模型和HPC。Esperanto走進(jìn)大眾視野的方式相當(dāng)特別，他們的第一款產(chǎn)品就是千核RISC-V芯片ET-SOC-1。

ET-SOC-1基于臺積電7nm工藝打造，集成了1088個64位ET-Minion RISC-V核心和4個ET-Maxion核心，提供了超高的單線程性能。雖說ET-SOC-1對ML進(jìn)行了優(yōu)化，是一個理想的推理芯片選擇，但Esperanto為其打造的軟件棧主要還是以推薦場景打造。直到他們近期推出了新的AI軟件開發(fā)工具包，并專門針對LLM進(jìn)行了優(yōu)化，并展示了運(yùn)行300億參數(shù)的OPT模型。

據(jù)Esperanto表示，目前他們的生成式AI應(yīng)用已經(jīng)可以運(yùn)行最新的LLM和圖片生成模型，比如LLaMA2、Vicuma和Stable Diffusion等等。不過在千變?nèi)f化的AI市場下，單個模型往往難以維持長時間的熱度，所以Esperanto的計(jì)劃是持續(xù)跟進(jìn)最流行的開源模型。

IP廠商也不例外，除了SiFive、平頭哥、Tenstorrent等已經(jīng)推出高性能AI IP或?qū)ΜF(xiàn)有產(chǎn)品線進(jìn)行AI升級的公司外，Semidynamics也發(fā)布了最新完全可定制的矢量單元，用于配合其Atrevido CPU核心。該矢量單元有多個矢量內(nèi)核構(gòu)成，每個內(nèi)核都有算數(shù)單元，可以執(zhí)行加減、乘加等數(shù)字與邏輯運(yùn)算。

這個矢量單元的最大特色在于全定制性，與其他廠商只有部分配置選項(xiàng)不同，為了應(yīng)對未來各種AI模型的精度要求，Semidynamics的矢量單元在定制化后，可以支持FP64、FP32、FP16、BF16、INT64、INT32、INT16或INT8的數(shù)據(jù)類型。

盡管ASIC、GPU和FPGA常被視為最合適進(jìn)行AI計(jì)算的三大硬件，但在如今的市場環(huán)境下，無論是服務(wù)器還是消費(fèi)終端，CPU也都需要一些可觀的AI計(jì)算特性。所以開源社區(qū)推出了LLaMA.cpp這一模型，該模型是基于Meta的LLaMA模型打造而成，無需PyTorch等庫的外部依賴，僅靠C/C++編譯即可生成執(zhí)行文件，且無需GPU，只靠CPU就可以運(yùn)行。

曠視科技參考并借鑒了LLaMA.cpp項(xiàng)目，推出了InferLLM這一輕量級的LLM模型推理管家，且除了常見的Arm、x86和CUDA外，他們也針對RISCV-Vector做了專門的優(yōu)化，目前已經(jīng)可以部署在群芯閃耀科技發(fā)布的Milk-V Pioneer RISC-V主板上，而該主板用到的64位CPU正是算能科技的算豐SG2042。

算豐SG2042采用了單芯片64個RISC-V內(nèi)核的設(shè)計(jì)，支持雙路CPU互聯(lián)、4通道DDR4和32通道PCIe 4.0，典型功耗為120W，可以說是典型的服務(wù)器芯片設(shè)計(jì)。但很明顯，即便是高性能CPU，在一些非重型AI負(fù)載下，也能有可觀的表現(xiàn)。

低功耗的邊緣端

盡管云端的生成式AI已經(jīng)變得越來越普及，企業(yè)在花了大成本購置硬件資源后也能在本地運(yùn)行更多的AI計(jì)算負(fù)載降低效率提高安全性。但對于消費(fèi)者而言，似乎真正部署在端側(cè)的生成式AI才更加值得關(guān)注，在實(shí)用性上也剛強(qiáng)一些，而且不只是手機(jī)這種使用高端芯片的產(chǎn)品，不少IoT產(chǎn)品也在規(guī)劃著如何接入生成式AI，因此大算力的邊緣AI芯片就成了首選。

云天勵飛作為國內(nèi)首批闖入AI賽道的廠商，此前一直在主攻AI算法領(lǐng)域，但單靠算法的泛化能力相對較弱，于是云天勵飛也就開始加入芯片設(shè)計(jì)賽道，比如2018年推出的DeepEye 1000等。

而在今年舉辦的第三屆滴水湖中國RISC-V論壇上，云天勵飛展示了去年成功流片，如今已經(jīng)接近量產(chǎn)的邊緣AP級SoC Deep Edge10V。從芯片結(jié)構(gòu)上看，Edge10V采用了Chiplet設(shè)計(jì)，滿足國產(chǎn)Chiplet UCIE標(biāo)準(zhǔn)。CPU部分采用了1.2GHz的雙核C920，還集成了一個500MHz的NNP400T NPU，算力高達(dá)12TOPS@INT8。在視頻處理能力上，Edge10V也配備了支持H265/H264視頻編解碼的多媒體子系統(tǒng)。

另外值得一提的是，Edge10V僅僅是Edge10系列中的一環(huán)，由于Chiplet設(shè)計(jì)支持多die擴(kuò)展，所以也可以在Edge10Max這一產(chǎn)品上實(shí)現(xiàn)高達(dá)64Tops的算力。云天勵飛芯片BD總監(jiān)張福林表示，Edge10V主要應(yīng)用于邊緣計(jì)算，而Edge10Max則應(yīng)用于邊緣CV大模型，比如Pytorch、Caffe、Tensorflow等框架下的模型。從應(yīng)用上來看，Edge10V的主要應(yīng)用場景還是云天勵飛擅長的機(jī)器視覺領(lǐng)域，比如機(jī)器人、智能安防之類的邊緣端。

本屆滴水湖論壇上，普林芯馳也展示了他們的智能離線語音交互MCU SPV20系列芯片。該系列的特色在于，除了基于SiFive E21RISC-V核心打造的CPU外，還有基于CEVA TL420核心的DSP與集成普林芯馳自有算法的NPU。該NPU支持CNN、DS-CNN等深度壓縮語音識別模型，可用于家電的智能語音控制。

嘉楠科技的第二代AI推理芯片，勘智K510，同樣是針對邊緣側(cè)AI開發(fā)的產(chǎn)品。這一芯片采用了雙核RISC-V 64位CPU，主頻最高達(dá)到800MHz。勘智K510支持INT8和BF16雙數(shù)據(jù)類型，且具備2.5TFLOPS的算力，還支持Tensorflow、Pytorch和ONNX等多種框架的算子庫。

用生成式AI設(shè)計(jì)RISC-V芯片

隨著生成式AI在代碼生成上日益精進(jìn)的表現(xiàn)，如今利用生成式AI來設(shè)計(jì)芯片也成了可能。近日，開源硬件平臺Efabless就舉辦了一屆生成式開源芯片設(shè)計(jì)挑戰(zhàn)賽，其中清華RIOS Lab團(tuán)隊(duì)的RISC-V芯片，CyberRio獲得了亞軍。

據(jù)其Github頁面所示，該芯片的大部分Verilog代碼都是使用GPT-4生成的，從而基于一個經(jīng)典的5級流水線設(shè)計(jì)出了CyberRio。CyberRio也在Skywater提供的130nm的工藝平臺上得到了流片驗(yàn)證，這也意味著全球第一個由LLM完成主要涉及的CPU被成功制造出來。

不過開放團(tuán)隊(duì)也表示，GPT-4對硬件語言的理解并不算完整，無論是對設(shè)計(jì)語言本身的理解，還是對握手或并行處理等設(shè)計(jì)概念。這很可能是GPT-4訓(xùn)練過程本身的缺陷，不過開發(fā)團(tuán)隊(duì)也提出了Langchain之類的替代方案或許可以解決GPT-4信息缺失造成的問題。

寫在最后

盡管RISC-V社區(qū)針對AI計(jì)算的開發(fā)熱情空前高漲，但同樣需要來自架構(gòu)上的各種支持，比如矢量、虛擬化擴(kuò)展等也需要不斷地優(yōu)化，給到開發(fā)者一個優(yōu)秀的通用方案，而不僅僅只有各大廠商獨(dú)立開發(fā)的AI技術(shù)棧。與此同時，RISC-V硬件廠商應(yīng)該吸引更多的軟件框架開發(fā)者為RISC-V做一定的適配或移植工作，這樣也能讓已經(jīng)成熟的生成式AI社區(qū)盡快融入RISC-V生態(tài)。