從 Hot Chips 32 看最新 AI 產(chǎn)品趨勢

Hot Chips，全球高性能芯片領域最負盛名的業(yè)界盛會！雖受疫情影響，本屆 Hot Chips 會議報告質量依然非常之高，涵蓋范圍也非常之廣。在 Tutorial 部分，有來自于 Google TPU 團隊、Cerebras、百度的機器學習訓練專題，也有來自于 Google、IBM 等的量子計算專題。會議正式內(nèi)容分為 8 個 Section，包括服務器處理器、移動處理器、邊緣計算和傳感、GPU 和游戲架構、FPGA 和可重構架構、網(wǎng)絡和分布式系統(tǒng)、機器學習訓練，以及機器學習推理。受限于文章篇幅，本文將主要討論和機器學習相關部分的產(chǎn)品與趨勢。

趨勢一

互聯(lián)網(wǎng)公司自行開發(fā)的芯片明顯增多。百度有昆侖，阿里有含光。未來自己的客戶到底在哪里，公司出路在哪里？留給創(chuàng)業(yè)公司的空間還有多少？

百度是 Hot Chips 的?？停涸谥魅渭軜嫀煔W陽劍的帶領下，其基于 FPGA 開發(fā)的 Software-Defined Accelerator（SDA，軟件定義加速器）、面向于多種實際應用的 XPU 都已經(jīng)在 Hot Chips 進行過報告。本次百度展示了去年在三星使用 14nm 工藝流片的昆侖芯片。

阿里巴巴在最近幾年也在基礎架構、芯片開發(fā)上投入巨大。去年阿里巴巴達摩院團隊的張健松博士在 Hot Chips 發(fā)布了基于 FPGA 的新一代語音合成芯片 Ouroboros，今年阿里更是有兩個報告入選，其中就包括由焦陽（驕旸）領導開發(fā)的含光 800 NPU。

同是互聯(lián)網(wǎng)公司開發(fā)的 AI 芯片，百度昆侖和阿里含光 800 差異非常大，但各有優(yōu)勢。百度昆侖重點強調(diào)通用性，其峰值性能 256 INT8 TOPS/150W 的指標雖然不那么突出，但是能夠支持搜索引擎、計算機視覺、NLP、語音識別等多種模型。含光 800 性能指標非常突出，使用臺積電 12nm 工藝，實現(xiàn)了 825 INT8 TOPS/280W 的能效比，但是因為沒有外接存儲，其所能使用的模型有限，目前披露的數(shù)據(jù)基本都是針對 ResNet-50 的。

無論兩顆芯片的差異如何，值得注意的是，阿里與百度，包括很多互聯(lián)網(wǎng)公司都有在布局云端 AI 芯片：

騰訊一方面戰(zhàn)略投資了由曾在 AMD 任職多年、也曾在銳迪科（RDA）擔任 CEO 的趙立東師兄創(chuàng)立的燧原科技；而另一邊，騰訊也在悄悄招兵買馬，布局自己的 AI 芯片；

字節(jié)跳動極其低調(diào)地戰(zhàn)略投資了一家 AI 芯片公司，該公司也于今年初獲得了紅杉中國的 A 輪融資。至此老互聯(lián)網(wǎng)三巨頭 BAT 和新興互聯(lián)網(wǎng)公司中最大的字節(jié)跳動，都已經(jīng)有了自己的 AI 芯片嫡系部隊。而這其中任何一家自身對 AI 芯片的需求，成本和收益之比都不足以支撐一顆 7nm 芯片的開發(fā)。

在云端 AI 芯片市場，除了英偉達這樣的壟斷者，也有英特爾、賽靈思這樣的資深巨頭玩家加入。國內(nèi)除了上述提到的互聯(lián)網(wǎng)公司自研或關系緊密的企業(yè)之外，還有寒武紀、壁仞、登臨等企業(yè)參與到競爭之中。盡管快手、拼多多、美團、滴滴這樣在近些年快速上升的互聯(lián)網(wǎng)企業(yè)還沒有看到公開的 AI 芯片布局，但是也不排除他們在未來通過戰(zhàn)略投資等方式進行布局。中國云端 AI 芯片的市場正在被快速瓜分，在未來，即便存在有第三方獨立 AI 芯片企業(yè)的機會，整個市場也可能只能支撐一家這樣的公司——所有相關的企業(yè)都必須思考，未來自己的客戶到底在哪里，公司出路在哪里？

趨勢二

下一代計算技術得到更多關注。單純架構上的變化，很難實現(xiàn)簡單、便捷、低成本。模擬計算，存內(nèi)計算，量子計算，光子計算， 誰將成為“破壞性創(chuàng)新”的源泉？

在2018年之后，基于傳統(tǒng)數(shù)字集成電路的 AI 芯片研發(fā)進展開始變得緩慢，已經(jīng)很難見到特別新鮮的想法和前所未有的微架構了。一方面，這是因為面向視覺和語音識別等領域的深度算法迭代幅度開始變小，沒有那么多新的問題需要去解決。另一方面，AI 芯片也無非是一個特殊領域的 ASIC，很多解決過往問題的思路都可以遷移過來，好的金礦也率先都被挖出來了。因此，在過去兩年，我們看到數(shù)字 AI 芯片的進步更多是和業(yè)務結合（如互聯(lián)網(wǎng)公司造芯、特斯拉的自動駕駛芯片），或者利用一些新的平臺型技術（如 HBM、Chiplet、Wafer-Scale Chip），微架構也在升級，但沒有特別突出的大變化。

而更本質的問題在于，大家原本寄希望于 AI 芯片領域誕生“破壞性創(chuàng)新”或者“顛覆式創(chuàng)新”的機會，目前看起來很難實現(xiàn)。如圖 1 所示，破壞性創(chuàng)新是指一種簡單、便捷、成本低的新型技術，雖然早期達不到客戶需求的性能，但其會逐步提升，直到滿足客戶需求、形成對傳統(tǒng)技術的顛覆。而芯片領域，流片成本越來越高，在 7nm 節(jié)點達到了 1 億美金以上，如果沒有大量訂單支撐攤薄成本一般企業(yè)根本無法承受。因此，在 AI 芯片領域變成了：公司越大，芯片賣得越多，芯片越便宜。單純架構上的變化，很難實現(xiàn)簡單、便捷、低成本，難以成為“破壞性創(chuàng)新”的源泉。

圖 1. 破壞性創(chuàng)新模型（圖源：《創(chuàng)新者的解答》）

在這種情況下，越來越多的新技術路線得到關注，比如模擬計算，存內(nèi)計算（in-memory computing），光計算等等。在去年的 Hot Chips，來自于一家法國創(chuàng)業(yè)公司 Upmem 和普林斯頓大學賈弘洋博士的兩篇存內(nèi)計算報告被錄用就是有力的佐證。

本次 Hot Chips 的 Tutorial 選擇了一條未來極其重要的計算路線：量子計算。4 個報告其中有兩個來自于去年實現(xiàn)了“量子霸權（Quantum Supremacy）”的 Google 量子計算團隊，還有兩個報告分別來自 IBM 團隊和 Intel 團隊。但盡管量子計算得到很大的關注，但距離實用還非常遙遠，個人認為至少在 10 年以上。如圖 2，來自于 Intel 量子計算團隊的 James S. Clarke 所言，實現(xiàn)了 50 個 qubit，只是完成了概念驗證，未來要實現(xiàn)商用，如進行密碼破解，需要實現(xiàn)超過 100 萬個 qubit，這里還有很長的路要走。

圖 2. 解決不同問題需要的量子計算系統(tǒng)規(guī)模 （圖源：James S. Clarke）

孵化自 MIT 的 Lightmatter 團隊介紹的光子計算方案，相比而言更加接近實用。利用一種 MEMS 工藝制造的 Mach Zehnder 干涉儀（簡稱 MZI），光子計算將傳統(tǒng)的乘法轉化為光路的相位調(diào)制與干涉，可以在幾乎不耗能的情況下完成計算。但是，MZI 本來還是會對信號有一定的損耗，因為如果光路經(jīng)過多個級聯(lián)的 MZI，光路損耗的程度可能使得最終結果出錯，也因此沒法做到特別大的計算陣列。同時，光子計算還存在的一個問題是，仍然需要去解決 memory wall，因為 MZI 只是代替了乘法器。

值得一提的是，MIT 光子計算團隊實際上孵化了兩家創(chuàng)業(yè)企業(yè)，除了 Lightmatter，還有其中的華人團隊創(chuàng)立的 Lightelligence（也被稱為 LightAI，曦智科技）。在這里也希望 Lightelligence 能夠越做越好。

趨勢三

Keynote 再次回到 AI 算法與應用。AI 開始進入大規(guī)模應用的下一步究竟是什么，機器人，AR，亦或是腦機接口？

Hot Chips 作為芯片行業(yè)最巔峰的盛會，其 Keynote 的選擇，也代表了行業(yè)里大家當前最關注的方向。

2017 年的 Hot Chips，Google 著名的架構師，有諸多傳奇和段子的“程序員之神”Jeff Dean，在大會做了“Recent Advances in Artificial Intelligence via Machine Learning and the Implications for Computer System Design （基于機器學習的人工智能最新進展及其對計算機系統(tǒng)設計的影響）”，足夠說明 AI 真正地進入了主流應用，大家都開始關注 AI 最新的進展以及如何去針對性進行系統(tǒng)設計。

2018 到 2019 年的幾個 Keynote 都和 AI 沒有什么關系。2018年芯片行業(yè)重大的新聞是 Intel CPU 被發(fā)現(xiàn)了 Spectre 和 Meltdown 兩個重大的漏洞，因此 Keynote 邀請了 John Hennessy 教授專門講解兩個漏洞以及處理器的安全性問題；同年，賽靈思新任總裁兼 CEO Victor Peng 就任，推出了 ACAP （Adaptive Computing Acceleration Platform， 自適應計算加速平臺） 架構，也受到極大關注，因此也受邀到大會做 Keynote。2019 年，大家最關心的問題是摩爾定律是否還能延續(xù)，也因此邀請了 AMD CEO Lisa Su 與斯坦福大學教授、時任臺積電研究 VP 的黃漢森教授分別介紹他們的觀點。

今年的 Keynote，Hot Chips 邀請了 DeepMind 的杰出工程師 Dan Belov 做了題為”AI Research at Scale - Opportunities on the Road Ahead （ 大規(guī)模的人工智能研究——未來的機遇 ）”的報告，為大家介紹未來 AI 研究可能帶來的新機會。Dan Belov 的報告，完全沒有提計算機視覺、語音識別等已經(jīng)進入規(guī)模應用階段的算法，而重點給大家介紹了強化學習及其在機器人領域、圍棋、圖形學等領域應用的進展。Dan 指出，從 2012 年的 AlexNet 到現(xiàn)在，算法效率提升了 44 倍（即達到同樣精度的計算量），而算法的總計算量規(guī)模提升了 30 萬倍，我們還有很多工作要做才能填補這近 10000 倍的差距，因此我們還需要關注全系統(tǒng)設計、考慮經(jīng)濟性問題、在軟件架構領域應用更多機器學習的最新技術。

圖 3. 黃漢森教授在 Hot Chips 2019的 Keynote 報告 （圖源：姚頌）

回到一個更本質的問題，如黃漢森教授在去年的 Hot Chips Keynote 中所說（見圖 3），半導體技術的發(fā)展很大程度上由重要的應用驅動，因為我們需要去理解和預測未來的新應用——這也是為什么會邀請做算法的企業(yè) DeepMind 來一個芯片的行業(yè)峰會做 Keynote 的原因。從 20 世紀 40 年代的無線電，到 70 年代的計算機，到 90 年代的 PC 和互聯(lián)網(wǎng)，到 21 世紀前 20 年的手機與移動設備，再在現(xiàn)在這個時間點，移動的市場趨于飽和，AI 開始進入大規(guī)模應用，理所當然大家也都在思考，下一步究竟是什么？是機器人，是 AR，亦或是腦機接口？

結語

AI 芯片不是技術游戲。

曾經(jīng)創(chuàng)業(yè)的經(jīng)歷讓我有機會接觸到各行各業(yè)的創(chuàng)業(yè)者與投資人。曾經(jīng)聽過一位投資人分享互聯(lián)網(wǎng)交易平臺的邏輯和壁壘：對于這類平臺，一方連接的是供給方，一方連接的是需求方，當經(jīng)過發(fā)展，供需雙方的數(shù)量達到了一定的臨界值之后，平臺就不需要再付出特別大的成本而可以獲得用戶規(guī)模的自然增長，如圖4所示。平臺幾乎可以說是模式最牢固、收益最高的商業(yè)模型了，如大家熟知的淘寶、微信、大眾點評、美團外賣、拼多多、抖音、快手，都是這一類。

圖 4. 供給和需求側達到一定規(guī)模，互聯(lián)網(wǎng)應用開始自然增長 （圖源：姚頌）

而對于 AI 芯片，大家總是討論技術，但實際上要做的遠遠不止技術。從 2017年起，我在所有公眾報告中就在強調(diào)軟件的重要性，強調(diào)不止要讓芯片性能很好，還要讓用戶可以極其簡單的用起來新的芯片。而我也經(jīng)常引述有贊創(chuàng)始人白鴉對于產(chǎn)品的金字塔模型，提到對于 AI 芯片產(chǎn)品來說，要讓用戶“離不開”，最重要的是開源生態(tài)、是社區(qū)。到現(xiàn)在，我越來越感覺到，AI 芯片的競爭，最根本的，就是類似于互聯(lián)網(wǎng)平臺的生態(tài)競爭，如圖 5 所示，當有了足夠多的開源項目，在用戶初次接觸 AI 芯片時，就有更高的幾率使用你的芯片，而之后他又可能繼續(xù)貢獻更多的開源項目，實現(xiàn)正循環(huán)。也因為此，賽靈思越來越重視軟件生態(tài)，越來越重視開發(fā)者，推出了 Vitis 這樣面向所有類型開發(fā)者的軟件平臺，并且把開發(fā)者生態(tài)作為重點領域持續(xù)推進。

圖 5.AI 芯片生態(tài)開拓與互聯(lián)網(wǎng)平臺的類似性（圖源：姚頌）

目前，AI 芯片領域開發(fā)者生態(tài)的領導者是英偉達：據(jù)最新一次發(fā)布會上英偉達創(chuàng)始人、CEO 黃仁勛披露，已經(jīng)有 180 萬 AI 開發(fā)者使用英偉達 GPU；而AI的初學者，我相信 99% 以上都會選擇買一塊 GPU、下載開源代碼進行嘗試。那 AI 芯片的初創(chuàng)企業(yè)，其他的大型芯片企業(yè)還有機會嗎？我腦海中蹦出來兩個點：

第一，在鋼琴推廣上，聽過一句話叫“一個郎朗勝過一萬名鋼琴老師”。第二，同是平臺，不同平臺的穩(wěn)固程度是不一樣的：如淘寶，每個商家都有自己的供應鏈、有自己在營銷上的投入成本，因而會更為穩(wěn)固；而滴滴，接入的個人司機，在切換平臺上沒有太多成本，因此哪里補貼高，司機就去哪個平臺接單。

賽靈思也仍在 AI 開發(fā)者生態(tài)領域努力，歡迎大家加入，也歡迎大家一起討論。

THE END

關于作者

姚頌：現(xiàn)任賽靈思人工智能業(yè)務高級總監(jiān)，負責公司在全球領域的人工智能業(yè)務拓展和生態(tài)建設。加入賽靈思之前，姚頌為深鑒科技（ 2018 年 7 月并入賽靈思公司）聯(lián)合創(chuàng)始人、首席執(zhí)行官，帶領團隊自主研發(fā)了高效的深度學習平臺，致力于為智能安防與數(shù)據(jù)中心等行業(yè)提供集算法、軟件、芯片為一體的人工智能方案。