【核芯觀察】是電子發(fā)燒友編輯部出品的深度系列專欄，目的是用最直觀的方式令讀者盡快理解電子產(chǎn)業(yè)架構(gòu)，理清上、中、下游的各個環(huán)節(jié)，同時迅速了解各大細分環(huán)節(jié)中的行業(yè)現(xiàn)狀。以ChatGPT為首的AI大模型在今年以來可以說是最熱的賽道，而AI大模型對算力的需求爆發(fā)，也帶動了AI服務器中各種類型的芯片需求，所以本期核芯觀察將關(guān)注ChatGPT背后所用到的算力芯片產(chǎn)業(yè)鏈，梳理目前主流類型的AI算力芯片產(chǎn)業(yè)上下游企業(yè)以及運作模式。

接上期ChatGPT背后的算力芯片（二）

AI服務器中的主要算力芯片之FPGA

市場現(xiàn)狀

FPGA的最大特點就是，在芯片被設(shè)計、制造完成之后，用戶依然可以通過修改其邏輯單元和開關(guān)陣列編程，來進行功能配置，實現(xiàn)所需要的功能。在AI算法快速迭代的過程中，用戶可以通過持續(xù)優(yōu)化FPGA的功能配置，來提高運算效率。這也是FPGA與CPU、GPU、ASIC等芯片最大的不同。

所以最初FPGA被大量用于通信領(lǐng)域，可以靈活更改高速通信協(xié)議的處理方式，適配不同場景。根據(jù)Frost&Sullivan的預測數(shù)據(jù)，2022年中國FPGA下游應用中，通信占比最高為41.52%，工業(yè)應用其次，占比31.23%。數(shù)據(jù)中心、汽車、消費電子、AI分別占比10.54%、6.94%、5.89%、3.88%。

從全球市場來看，根據(jù)Frost&Sullivan數(shù)據(jù)，估算2021年全球FPGA市場規(guī)模為68.6億美元，2022年預計為79.4億美元，同比增長15.7%；到2025年市場規(guī)模將增長至125.8億美元，2021年到2025年年均復合增長率約16.4%。

中國市場上，2021年FPGA市場規(guī)模為176.8億元，到2025年 FPGA芯片銷售額將達到332.2億元，2021至2025年年均復合增長率將達到17.1%。出貨量方面，中國市場FPGA芯片出貨量在2020年約為1.6億顆，預計到2025年將達到3.3億顆，2021至2025年年均復合增長率將達到15.0%。

其中數(shù)據(jù)中心、AI領(lǐng)域市場增長迅速，F(xiàn)PGA能夠使數(shù)據(jù)中心的不同器件更加有效地協(xié)同，最大程度發(fā)揮每個器件的硬件優(yōu)勢避免數(shù)據(jù)轉(zhuǎn)換導致的算力空耗；在運算加速領(lǐng)域，F(xiàn)PGA 在矩陣運算、圖像處理、機器學習、非對稱加密、搜索排序等領(lǐng)域有著很廣闊的應用前景。

在中國數(shù)據(jù)中心細分市場，F(xiàn)rost&Sullivan預計該市場規(guī)模在2021年為18.7億元，到2025年會達到34.6億元，其間年均復合增長率將為16.6%。

不過自去年年底以來，由OpenAI掀起的AI熱潮，有望推動FPGA市場以遠超出此前預期的速度增長。

近年沒有新的FPGA市場份額數(shù)據(jù)，按照Frost&Sullivan 2019年的數(shù)據(jù)，中國市場上AMD（賽靈思）、英特爾（Altera）兩家占到FPGA市場銷售額的九成以上，分別為55.1%和36%。而按照FPGA出貨量來看，同期AMD占36.6%、英特爾占25.3%、萊迪思占23.2%、安路科技占6%。

FPGA的核心參數(shù)是邏輯單元容量，按照邏輯單元容量來分，2019年中國FPGA市場中需求量最大的是100K以下和100K—500K邏輯單元容量的FPGA，份額分別占市場的38.2%和31.7%，更高端的500K-1KK以及1KK以上邏輯單元容量的FPGA則分別占24.4%和5.7%的份額。

全球范圍來看，F(xiàn)PGA市場目前由AMD和英特爾雙寡頭壟斷，占整個市場份額近90%，第二梯隊的海外廠商有萊迪思、Microsemi等，各占5%左右。國內(nèi)FPGA廠商主要有復旦微電子、紫光國微（紫光同創(chuàng)）、安路科技、高云半導體、華微電子、智多晶、京微齊力等等，不過從邏輯單元容量來看，國內(nèi)廠商主要集中在500K以下，更多產(chǎn)品線的邏輯單元容量在200K以下，中低端市場布局較為完善，但中高端領(lǐng)域目前國產(chǎn)FPGA仍未有大規(guī)模涉足。

復旦微電子在2018年推出了億門級FPGA系列，邏輯單元容量可達700K，據(jù)了解，其新一代十億門級的大容量FPGA有望在2023年內(nèi)推出。而2019年英特爾推出的 Stratix 10 GX 10M FPGA邏輯單元已經(jīng)高達10KK，相比之下國產(chǎn)FPGA在高端市場目前缺口還是較大的，但目前重要的是在中低端市場站穩(wěn)，奪得更多的國內(nèi)市場份額。

AI服務器FPGA的趨勢

衡量FPGA的容量，有兩個階段，在2000年以前，F(xiàn)PGA廠商用門級數(shù)量規(guī)模來衡量FPGA的容量，因為ASIC的最小功能單元是“門”，而本質(zhì)上FPGA與ASIC都可以同樣功能，甚至在ASIC設(shè)計過程中都會使用到FPGA進行驗證，所以“門”可以間接體現(xiàn)FPGA的容量。

后來2000年后，F(xiàn)PGA廠商逐漸開始轉(zhuǎn)用統(tǒng)一的邏輯單元來表示FPGA容量，這主要是由于FPGA性能需求的升級，芯片內(nèi)部的LUT結(jié)構(gòu)和集成度不斷改變，用門級數(shù)來表示FPGA容量越來越難。

如今FPGA不僅是單純的FPGA，而是將RAM、DSP、收發(fā)器、DDR接口、CPU、GPU等許多功能嵌入到 FPGA 中，所以對于FPGA的評價指標，也變得更加復雜，需要根據(jù)不同應用去衡量參數(shù)。

在AI服務器中，F(xiàn)PGA往往起到加速計算的作用，F(xiàn)PGA的特性可以令其在深度學習中異構(gòu)計算、并行計算方面有一定優(yōu)勢，且其具備低延時的特性，在AI服務器中FPGA還可以實現(xiàn)數(shù)據(jù)高速收發(fā)、交換等功能。同時，相比于CPU和GPU，F(xiàn)PGA單位能耗比還更低，特別在深度學習領(lǐng)域，近年來微軟、百度、亞馬遜等已經(jīng)在數(shù)據(jù)中心大規(guī)模部署FPGA。

有數(shù)據(jù)顯示，在保持相同神經(jīng)網(wǎng)絡模型計算結(jié)果的同時，F(xiàn)PGA平臺的16位定點計算性能普遍是CPU的2到3倍，計算資源利用率更是CPU的接近20倍；與GPU相比，盡管計算性能沒有明顯領(lǐng)先，但功耗顯著降低，所以FPGA在AI服務器中用于計算加速是有明顯優(yōu)勢的。

在AI服務器中，F(xiàn)PGA的一些重要指標包括邏輯單元數(shù)、DSP的數(shù)量、收發(fā)器的傳輸速率等。另一方面，F(xiàn)PGA的制程工藝也是考量FPGA的一個重要標準，目前高端FPGA的制程基本是20nm以下，AMD目前最高端的產(chǎn)品線就采用臺積電16nm制程。

同時邏輯單元數(shù)大于700K，基本在1KK以上的水平；DSP的數(shù)量較多，比如超過10000的DSP；較高的Bloch RAM容量，比如1000Mb以上；收發(fā)器速率高于50GB/s，還集成CPU等的處理單元和PCIe 5等先進接口。

總而言之，高端的FPGA往往以SoC的形式呈現(xiàn)。而為了更加便于數(shù)據(jù)中心、AI服務器等應用的導入，F(xiàn)PGA廠商也提供了比如數(shù)據(jù)中心加速卡的解決方案，比如AMD Alveo系列。

AI服務器中的主要算力芯片之ASIC

市場現(xiàn)狀

近年來，TPU、NPU、VPU、DPU、BPU等各種名詞層出不窮，其實這些從廣義的概念看都屬于ASIC。

ASIC其實與前面提到的FPGA有密切的關(guān)系，在ASIC開發(fā)的過程中，往往要用到FPGA驗證。理論上一些芯片功能如果能用FPGA做出來，那么ASIC就同樣可以做到，本質(zhì)上是用兩種不同的設(shè)計理念來讓芯片實現(xiàn)部分相同的功能。

當然，F(xiàn)PGA的靈活程度是ASIC不可比擬的，ASIC自設(shè)計之初就被限定了功能，無法像FPGA一樣在實際使用中還可以隨時重新配置芯片功能。

雖然ASIC的設(shè)計流程漫長，但ASIC相比FPGA由于進行了完整的定制，專為特定程序優(yōu)化電路，在進行特定任務時性能會更加穩(wěn)定，并且運行效率、能效比都會優(yōu)于FPGA。

根據(jù)Bob Broderson數(shù)據(jù)，F(xiàn)PGA的能效比集中在1-10MOPS/mW之間。ASIC的能效比處于專用硬件水平，超過100MOPS/mW，是FPGA的10倍以上。

目前來看，在AI服務器場景中，ASIC主要用于推理服務器，針對已經(jīng)訓練完成的模型來設(shè)計高效的運算硬件。但當前AI大模型領(lǐng)域正處于爆發(fā)初期，ASIC在AI服務器上的份額或許會呈現(xiàn)后發(fā)趨勢，在相關(guān)應用的AI模型成熟后，未來在云端推理方面將有較大的市場空間。正如地平線CEO余凱曾說的，“一旦軟件算法固定下來，專用集成電路ASIC一定是未來的方向”。

KBVResearch報告數(shù)據(jù)顯示，到2025年，全球ASIC芯片市場規(guī)模預計將達到247億美元，在2019到2025年間的復合年增長率為8.2%。

也正因為目前應用方面的一些難點，暫時來看，全球ASIC市場還未出現(xiàn)明顯的領(lǐng)先者，海內(nèi)外廠商都在高速發(fā)展的過程中。

海外的主要玩家有谷歌、Habana（英特爾收購）等，谷歌目前已經(jīng)推出了四代 TPU產(chǎn)品，TPU v5據(jù)稱即將在今年內(nèi)面世；英特爾在2019年收購了Habana，隨后在2022年推出了Gaudi 2；云服務器巨頭亞馬遜也在持續(xù)布局開發(fā)ASIC，此前亞馬遜計劃在Alexa語音助手運算上采用ASIC，以降低對英偉達的依賴；微軟近幾年都有消息傳出，正在開發(fā)一款名為Athena的AI訓練專用ASIC，據(jù)稱還將采用臺積電5nm制程，不過還未有這款芯片的具體消息。

國內(nèi)玩家有海思、寒武紀、燧原科技、百度、阿里等，其中海思、百度、阿里由于其公司業(yè)務場景對ASIC存在天然需求，因此選擇ASIC能降低其服務器建設(shè)成本。海思在2019年推出了昇騰910，百度也在同年推出了昆侖芯片、阿里也在2019年推出了含光800。

其中華為通過ASIC部署了端到端的完整生態(tài)，比如使用昇騰910時，需要搭配華為的大模型支持框架MindSpore和盤古大模型等；阿里則將含光800用于自家業(yè)務平臺的加速，比如為淘寶等平臺提供算力支持；百度的昆侖芯則主要在自身服務器、算力集群等應用，對政企客戶等提供算力。

以公開的算力數(shù)據(jù)來算，海思的昇騰910在BF16浮點算力為320Tflops，已經(jīng)超越谷歌最新一代產(chǎn)品TPUv4的275Tflops，在INT8定點算力上同樣大幅領(lǐng)先。同時遂原科技和寒武紀的產(chǎn)品在整體性能上也與谷歌的TPUv4相差不遠，當然，由于應用上的區(qū)別，可能是設(shè)計上有不同傾向，比如TPUv4互聯(lián)帶寬較高，1000GB/s遠遠領(lǐng)先于遂原科技和寒武紀的產(chǎn)品。

燧原科技在2021年推出了邃思2.0，采用12nm制程，單精度 FP32 算力為 40TFLOPS，單精度張量 TF32 算力為 160TFLOPS，整數(shù)精度 INT8 算力為 320TOPS，可用于云端AI訓練；同期寒武紀也推出了思元370芯片，采用7nm先進制程，算力最高可達 256TOPS (INT8)，可靈活應用于云端推理、訓練等領(lǐng)域。

AI服務器上ASIC的發(fā)展趨勢

ASIC作為一種專用的集成電路，它的發(fā)展永遠是跟隨算法需求而定，這種表現(xiàn)在谷歌、百度、阿里、華為等云服務廠商中可能尤為明顯。

不過在2020年，英特爾發(fā)布了全新可定制解決方案，同時也將“結(jié)構(gòu)化ASIC”的概念帶火。從上文我們也了解到，F(xiàn)PGA與ASIC關(guān)系密切，同時又各有優(yōu)勢，英特爾提出的“結(jié)構(gòu)化ASIC”，就是一種各項特性上介于FPGA和ASIC之間的芯片。

這種結(jié)構(gòu)化ASIC在量產(chǎn)成本、邏輯門利用率、能耗、效能速度等表現(xiàn)上優(yōu)于FPGA，但又不如純ASIC表現(xiàn)得優(yōu)異，同時也具有FPGA的可編程化邏輯功效，以及加速芯片的研發(fā)設(shè)計速度與修改彈性，使芯片能更快完成并投入市場。

簡單來說，結(jié)構(gòu)化ASIC是一種“半成品”的ASIC，它的性能和功耗接近標準單元ASIC，同時能夠節(jié)省一半的一次性工程費用和設(shè)計時間。但也有所損失，因為密度只有標準單元ASIC的50%到75%，所以結(jié)構(gòu)化ASIC的成本會是標準單元ASIC的1.5-2倍。

按照英特爾的說法，采用結(jié)構(gòu)化ASIC后，芯片編程不能像FPGA一樣可以在現(xiàn)場修改，而是需要在芯片工廠完成對芯片的編程。盡管成本仍然高達數(shù)十萬美元，但只需要幾個月時間就可以完成，傳統(tǒng)ASIC則至少需要兩年。

所以目前ASIC的一個最大痛點是，設(shè)計時間和資源消耗，這在如今快速迭代的AI大模型和AI算法中，是難以成為主流的。而從結(jié)構(gòu)化ASIC的發(fā)展來看，事實上這個概念并非英特爾首創(chuàng)，但過去由于半導體工藝制程的高速發(fā)展，使得制程帶來的性能紅利要遠遠大于ASIC的帶來的能效提升，因此結(jié)構(gòu)化ASIC沒有受到市場重視。

而近年來摩爾定律逐漸放緩，芯片制程工藝也已經(jīng)邁入一個較為穩(wěn)定的階段，因此現(xiàn)階段ASIC應用的主要限制就在于設(shè)計周期和流片等工程費用投入?；蛟S結(jié)構(gòu)化ASIC能夠成為下一階段ASIC的一個重要發(fā)展方向，加速ASIC在AI服務器上的部署。

值得一提的是，電子發(fā)燒友網(wǎng)主辦的第七屆人工智能大會將在2023年8月23日正式召開，

在過去的三屆大會中，我們舉辦的“中國人工智能卓越創(chuàng)新獎”評選活動得到了業(yè)界的普遍認可和廣泛好評。2023年我們將繼續(xù)這一殊榮的評選，舉辦“2023第四屆中國人工智能卓越創(chuàng)新獎”評選活動，旨在發(fā)掘和表彰人工智能領(lǐng)域優(yōu)秀人才、企業(yè)、技術(shù)以及產(chǎn)品。

“2023第四屆中國人工智能卓越創(chuàng)新獎”獎項提名于即日起到6月30日截至，提名詳情可掃描下方二維碼了解。