AI 模型復雜性的指數(shù)級增長驅動參數(shù)規(guī)模從數(shù)百萬迅速擴展到數(shù)萬億，對計算資源提出了前所未有的需求，必須依賴大規(guī)模 GPU 集群才能滿足?；旌蠈＜遥∕oE）架構的廣泛應用以及測試時擴展（test-time scaling）在推理階段的引入，進一步加劇了計算負載。為實現(xiàn)高效的推理部署，AI 系統(tǒng)已發(fā)展出大規(guī)模并行化策略，包括張量并行、流水線并行和專家并行等技術。這些需求推動了支持內存語義的縱向擴展（Scale-up）計算網(wǎng)絡向更大的 GPU 域演進，構建統(tǒng)一的計算與內存資源池，實現(xiàn)高效協(xié)同。

本文詳細闡述了NVIDIA NVLink Fusion如何借助高效可擴展的 NVIDIA NVLink scale-up 架構技術，滿足日益復雜的 AI 模型不斷增長的需求。

圖 1：模型規(guī)模與復雜性的提升推動了 scale-up 域的擴展

NVLink 如何持續(xù)演進以滿足不斷增長的 scale-up 需求

NVIDIA 于 2016 年首次推出 NVLink，旨在克服 PCIe 在高性能計算和人工智能工作負載中的局限性。該技術實現(xiàn)了更快的 GPU 間通信，并構建了統(tǒng)一的內存空間。

2018年，NVIDIA 推出了 NVLink Switch 技術，實現(xiàn)了在 8 個 GPU 的網(wǎng)絡拓撲中每對 GPU 之間高達 300 GB/s 的 all-to-all 帶寬，為多 GPU 計算時代的 scale-up 網(wǎng)絡奠定了基礎。隨后，在第三代 NVLink Switch 中引入了 NVIDIA 可擴展分層聚合與歸約協(xié)議（SHARP）技術，進一步提升了性能，有效優(yōu)化了帶寬性能并降低了集合操作的延遲。

隨著 2024 年第五代 NVLink 的發(fā)布，進一步增強的 NVLink Switch 支持 72 個 GPU 實現(xiàn)全互聯(lián)通信，通信速率達 1800 GB/s，聚合總帶寬高達 130 TB/s，較第一代產(chǎn)品提升了 800 倍。

盡管 NVIDIA 已大規(guī)模部署 NVLink 近十年，但仍在不斷突破技術極限，對未來三代的 NVLink 產(chǎn)品，會保持每年推出一代的節(jié)奏。這一迭代策略推動了持續(xù)的技術進步，有效滿足了 AI 模型在復雜性和計算需求方面的指數(shù)級增長。

NVLink 的性能取決于硬件和通信庫，尤其是 NVIDIA 集群通信庫（NCCL）。

NCCL 作為一個開源庫，專為加速單節(jié)點和多節(jié)點拓撲中 GPU 之間的通信而設計，能夠實現(xiàn)接近理論帶寬的 GPU 到 GPU 通信性能。它無縫支持橫向和縱向擴展，具備自動拓撲感知與優(yōu)化能力。NCCL 已集成到所有主流深度學習框架中，歷經(jīng) 10 年的開發(fā)與 10 年的生產(chǎn)環(huán)境部署，技術成熟且廣泛應用。

圖 2：NCCL 支持縱向擴展和橫向擴展，在所有主流框架中均受支持

最大化 AI 工廠收入

NVIDIA 在 NVLink 硬件和軟件庫方面積累了豐富的經(jīng)驗，配合大規(guī)模的計算域，能夠有效滿足當前 AI 推理計算的需求。其中，72-GPU 機架架構在多種應用場景中實現(xiàn)了卓越的推理性能，發(fā)揮了關鍵作用。在評估大語言模型（LLM）推理性能時，前沿帕累托（Frontier Pareto）曲線清晰地展現(xiàn)了每瓦吞吐量與延遲之間的權衡關系。

AI 工廠的生產(chǎn)和收入目標是最大化曲線下的面積。影響該曲線動態(tài)的因素眾多，包括原始算力、內存容量與吞吐量，以及 scale-up 技術，通過高速通信優(yōu)化實現(xiàn)張量并行、流水線并行和專家并行等技術。

在檢查各類 scale-up 配置的性能時，我們發(fā)現(xiàn)存在顯著差異，即使是使用相同的 NVLink 速度。

在 4 個 GPU 的 NVLink mesh 拓撲（無交換機）中，由于每對 GPU 之間只能分到有限帶寬，曲線會呈現(xiàn)下降趨勢。

采用 NVLink Switch 的 8 GPU 網(wǎng)絡拓撲能顯著提升性能，因為每對 GPU 之間均實現(xiàn)完全帶寬。

通過 NVLink Switch 擴展至 72 個 GPU 的域，可最大限度地提升性能和收益。

NVLink Fusion 實現(xiàn)對NVLink scale-up 技術的定制化使用

NVIDIA 推出了 NVLink Fusion，使超大規(guī)模數(shù)據(jù)中心能夠采用經(jīng)過生產(chǎn)驗證的 NVLink scale-up 技術。該技術可讓定制芯片（包括 CPU 和 XPU）與 NVIDIA 的 NVLink scale-up 網(wǎng)絡技術以及機架級擴展架構相集成，從而實現(xiàn)半定制化的 AI 基礎設施部署。

NVLink scale-up 技術涵蓋 NVLink SERDES、NVLink chiplets、NVLink 交換機以及機架級擴展架構的整體方案。高密度機架級擴展架構包括 NVLink spine、銅纜系統(tǒng)、創(chuàng)新的機械結構、先進的供電與液冷技術，以及供應鏈就緒的完整生態(tài)系統(tǒng)。

NVLink Fusion 為定制 CPU、定制 XPU 或兩者的組合配置提供了靈活的解決方案。作為模塊化開放計算項目（OCP）MGX 機架架構的一部分，NVLink Fusion 可與任何網(wǎng)卡（NIC）、數(shù)據(jù)處理器（DPU）或橫向擴展交換機集成，使客戶能夠根據(jù)需求靈活構建理想的系統(tǒng)。

對于自定義 XPU 配置，NVLink 通過通用芯粒互連（Universal Chiplet Interconnect Express, UCIe）IP 與接口實現(xiàn)集成。NVIDIA 提供支持 UCIe 的 NVLink 橋接芯片，既能實現(xiàn)極高性能，又便于集成，使客戶能夠像 NVIDIA 一樣充分利用 NVLink 的功能。UCIe 作為一項開放標準，采用該接口進行 NVLink 集成可讓客戶為其 XPU 靈活選擇當前或未來平臺的多種方案。

對于自定義 CPU 配置，建議集成 NVIDIA NVLink-C2C IP，以連接 NVIDIA GPU，從而實現(xiàn)最佳性能。采用定制 CPU 與 NVIDIA GPU 的系統(tǒng)可平滑訪問 CUDA 平臺的數(shù)百個 NVIDIA CUDA-X 庫，充分發(fā)揮加速計算的高性能優(yōu)勢。

由廣泛的生產(chǎn)就緒合作伙伴生態(tài)系統(tǒng)提供有力支持

NVLink Fusion 擁有一個強大的芯片生態(tài)系統(tǒng)，涵蓋定制芯片、CPU 以及 IP 技術合作伙伴，不僅確保了廣泛的技術支持和快速的設計實現(xiàn)，還持續(xù)推動著技術創(chuàng)新。

對于機架產(chǎn)品，用戶可受益于我們的系統(tǒng)合作伙伴網(wǎng)絡以及數(shù)據(jù)中心基礎設施組件供應商。這些合作伙伴和供應商已實現(xiàn) NVIDIA Blackwell NVL72 系統(tǒng)的大規(guī)模生產(chǎn)。通過整合生態(tài)系統(tǒng)與供應鏈資源，用戶能夠加快產(chǎn)品上市速度，并顯著縮短機架級擴展系統(tǒng)，以及 scale-up 網(wǎng)絡的生產(chǎn)部署時間。

提升 AI 推理性能

NVLink 代表了滿足 AI 推理時代計算需求的重大飛躍。NVLink Fusion 充分融合了 NVIDIA 在 NVLink scale-up 技術領域長達十年的深厚積累，結合 OCP MGX 機架架構及生態(tài)系統(tǒng)開放的生產(chǎn)部署標準，為超大規(guī)模數(shù)據(jù)中心提供了卓越的性能與全面的定制化選項。