隨著汽車行業(yè)的飛速發(fā)展，當(dāng)乘用車從交通工具向智能移動終端不斷進(jìn)化，艙駕智能化水平已成為衡量整車廠競爭力的核心標(biāo)尺，而其中車載平臺算力更是端側(cè)艙駕 AI 進(jìn)化的核心燃料。

其中，以智駕視角來看，從 L2 級輔助駕駛，到 L2+ 高級輔助駕駛，再到 L3/ L4 級自動駕駛，車載計(jì)算平臺的算力需求正以指數(shù)級增長，這種增長不僅源于傳感器數(shù)量與分辨率的提升，更來自 AI 算法復(fù)雜度帶來的能力上限的爆炸式演進(jìn)。

NVIDIA DRIVE AGX 系列芯片以領(lǐng)先行業(yè)的算力規(guī)模，架構(gòu)創(chuàng)新以及豐富數(shù)字生態(tài)，已成為定義智能駕駛時代的“數(shù)字算力引擎”，其構(gòu)建的從云端訓(xùn)練到車端推理的完整算力體系，正在逐步重塑汽車產(chǎn)業(yè)的技術(shù)發(fā)展格局。

而以智艙角度來看，隨著生成式 AI 技術(shù)的迅猛發(fā)展，艙內(nèi) AI 端側(cè)部署正從簡單的語音助手交互向多模態(tài)甚至全模態(tài)智能座艙體驗(yàn)躍遷。端側(cè)大模型憑借本地實(shí)時推理能力，可實(shí)現(xiàn)極低延遲的自然語言交互，個性化的主動式 AI 服務(wù)以及艙內(nèi)外環(huán)境感知應(yīng)用。開發(fā)者可通過 CUDA 生態(tài)復(fù)用云端大模型開發(fā)優(yōu)化經(jīng)驗(yàn)，大幅縮短端側(cè)開發(fā)周期同時極大提高推理速度和用戶體驗(yàn)。

目前已有頭部車企基于 NVIDIA DRIVE AGX 系列芯片部署端到端艙內(nèi) AI Agent，從而實(shí)現(xiàn)被動響應(yīng)到主動服務(wù)的體驗(yàn)升級。

自動駕駛技術(shù)的每一次技術(shù)跨越與性能體驗(yàn)升級，都伴隨著算力需求的幾何級增長。L2 級輔助駕駛僅需 10TOPS 以下算力，即可完成車道保持、自適應(yīng)巡航等基礎(chǔ)功能；而 L2+ 級高級輔助駕駛對算力的需求驟升至 100TOPS 以上，以應(yīng)對復(fù)雜城市道路的多目標(biāo)檢測與決策規(guī)劃；當(dāng)邁向 L3/L4 級自動駕駛，系統(tǒng)需要同時處理數(shù)十路傳感器的多并發(fā)數(shù)據(jù)流量，所需算力已突破 1000TOPS 大關(guān)。

那么， 從技術(shù)發(fā)展和落地的角度來看，究竟該如何進(jìn)一步應(yīng)對汽車智能化發(fā)展帶來的 AI 算力部署的挑戰(zhàn)？

DRIVE AGX SoC 系列

從硬件的角度來看，為了應(yīng)對汽車在快速演變?yōu)橹悄芙K端的過程中對于 AI 算力的飛速增加的需求，NVIDIA 先后推出了 DRIVE AGX SoC 系列的 DRIVE AGX Orin SoC 和 DRIVE AGX Thor SoC。

NVIDIA DRIVE AGX Orin SoC 可提供高達(dá) 254 TOPS（每秒萬億次運(yùn)算）的性能，是智能車輛的中央計(jì)算平臺。它為輔助駕駛功能、置信視圖以及 AI 座艙提供高算力支持。

NVIDIA DRIVE AGX Thor SoC 是 NVIDIA 最新一代，專為汽車行業(yè)日益重要的生成式 AI 應(yīng)用而打造的集中式車載計(jì)算機(jī)。作為 NVIDIA DRIVE AGX Orin SoC 的后續(xù)產(chǎn)品，DRIVE AGX Thor SoC 采用了 NVIDIA 最新的 CPU 和 GPU 技術(shù)，包括 NVIDIA Blackwell GPU 架構(gòu)，用于 Transformer 和生成式 AI 功 能。DRIVE AGX Thor SoC 支持 4 位浮點(diǎn)數(shù)（FP4）和 8 位浮點(diǎn)數(shù)（FP8），可提供前所未有的 2,000 FP4 TOPS/1,000 INT8 TOPS/1,000 FP8 TFLOPS/500 FP16 TFLOPS 性能。這一平臺不僅提供豐富的座艙功能、安全可靠的輔助駕駛功能，還能夠?qū)⑺泄δ苷现镣粋€集中式平臺上，極大地提高了系統(tǒng)的運(yùn)行效率和可靠性，并降低了整體系統(tǒng)成本。

高算力平臺為 AI 上車奠定基礎(chǔ)，為算法迭代預(yù)留了充足空間。新一代集中式車載計(jì)算平臺將賦能整車廠的高階智能駕駛方案，發(fā)揮其在硬件、軟件算法和算力優(yōu)化方面的優(yōu)勢，推動輔助駕駛技術(shù)的全面升級，并覆蓋高速、城市、泊車等全場景的高階輔助駕駛功能，助力其向高端算力輔助駕駛轉(zhuǎn)型，共同探索大模型、世界模型的路徑，持續(xù)優(yōu)化和提升高速領(lǐng)航、城市記憶領(lǐng)航及更高的旗艦級城市領(lǐng)航功能。

DriveOS 軟件架構(gòu)和軟件開發(fā)包

當(dāng)然，在基于硬件層面推出上述高算力平臺的基礎(chǔ)上，NVIDIA 也在軟件層面推出了一系列適用于這些高算力平臺的軟件架構(gòu)和軟件開發(fā)包，從而形成了一整套軟硬結(jié)合的車端系統(tǒng)級 AI 開發(fā)方案，更好地滿足客戶在大語言模型時代的需求。

1. DriveOS 軟件架構(gòu)

DriveOS 是 NVIDIA 提供的軟件板級支持包，包括 NVIDIA 自研的 Type-1 虛擬機(jī)，虛擬機(jī)之上不同的操作系統(tǒng)（Linux 或者 QNX），操作系統(tǒng)上的豐富的 SDK。這些 SDK 包括大家熟悉的 CUDA，TensorRT，Vulkan，還有特意為支持大語言模型的軟件開發(fā)包 DriveOS LLM SDK。這些 SDK 可以使開發(fā)者更容易的訪問 SOC 中的各種硬件加速引擎，快速的部署應(yīng)用在 NVIDIA 的平臺。

2. DriveOS LLM SDK 介紹

DriveOS LLM SDK 是 NVIDIA 為嵌入式端特別推出的大語言模型軟件開發(fā)包，包含多個專為高效 LLM 推理而設(shè)計(jì)的關(guān)鍵組件。這些組件可確保在汽車平臺上高效部署 LLM，包括：

插件庫：LLMs 需要專用插件來實(shí)現(xiàn)高級功能和優(yōu)化性能。DriveOS LLM SDK 包含這些自定義插件，以及一組用于處理上下文相關(guān)組件的內(nèi)核，例如旋轉(zhuǎn)位置嵌入、multihead attention 和 KV-cache 管理。AttentionPlugin 還支持動態(tài)批量大小和動態(tài)輸入序列長度。

標(biāo)記器/detokenizer：該 SDK 為 LLM 推理提供高效的標(biāo)記器 /detokenizer，遵循 Llama 式字節(jié)對編碼（BPE）標(biāo)記器，并帶有正則表達(dá)式匹配。此模塊將多模態(tài)用戶輸入（例如文本或圖像）轉(zhuǎn)換為令牌流，從而實(shí)現(xiàn)不同數(shù)據(jù)類型之間的無縫集成。

采樣器：采樣器對于文本生成、翻譯和對話等任務(wù)至關(guān)重要，因?yàn)樗刂浦Ｐ驮谕评磉^程中如何生成文本和選擇標(biāo)記。DriveOS LLM SDK 實(shí)現(xiàn)了基于 CUDA 的采樣器來優(yōu)化此過程。為了平衡推理效率和輸出多樣性，采樣器使用單束采樣方法和 Top-K 選項(xiàng)。這種方法可提供快速且合理多樣化的輸出，而不會產(chǎn)生探索多個束所需的計(jì)算成本。這對于汽車應(yīng)用非常重要，因?yàn)樾枰紤]延遲和效率。

解碼器：在 LLM 推理期間，解碼器模塊根據(jù)模型的預(yù)測迭代生成 token，從而生成文本或序列。DriveOS LLM SDK 提供靈活的解碼循環(huán)，支持靜態(tài)批量大小、填充輸入序列，以及生成批量中最長的序列。

這些組件共同支持在多個 NVIDIA DRIVE 平臺上實(shí)現(xiàn)靈活、輕量級的高性能 LLM 部署和定制（圖 1）。

圖 1. DriveOS LLM SDK 主要組件和架構(gòu)計(jì)劃

a）支持的模型、精度格式和平臺

DriveOS LLM SDK 在 DRIVE 平臺上支持一系列先進(jìn)的 LLM，包括 NVIDIA DRIVE AGX Orin 和 NVIDIA DRIVE AGX Thor。作為預(yù)覽功能，該 SDK 還可以在 x86 系統(tǒng)上運(yùn)行，這對于開發(fā)非常有用。目前支持的模型包括以下內(nèi)容，未來預(yù)計(jì)還會有其他模型：

Llama 3 8B Instruct

Llama 3.1 8B

Llama 3.2 3B

Qwen2.5 7B Instruct

Qwen2 7B Instruct

Qwen2 VL

Intern3 VL

Phi4 VL

該 SDK 支持多種精度格式，可在不同平臺（包括 FP16、FP8、NVFP4 和 INT4）上解鎖大型 LLM。對于 INT4（W4A16）精度，使用 AWQ recipe 將模型權(quán)重量化為 INT4，并在 FP16 中執(zhí)行計(jì)算。這種方法可顯著減少內(nèi)存占用。該 SDK 還在 NVIDIA DRIVE AGX Thor 平臺上支持 TensorRT 版本大于 10.4 的 FP8（W8A8）精度，以及 TensorRT 版本大于 10.8 的 NVFP4 精度。

這些精度可以進(jìn)一步減少 LLM 推理期間的內(nèi)存占用，同時增強(qiáng)內(nèi)核性能。在此配置中，權(quán)重和 GEMM 運(yùn)算采用 FP8 或 NVFP4 格式，而 LayerNorm、KV 緩存、LM 頭和注意力層保留在 FP16 中。總體而言，DriveOS LLM SDK 旨在高效支持各種 LLM，包括多模態(tài)輸入和跨多個平臺的各種精度格式。

b）DriveOS LLM SDK 的關(guān)鍵 feature

c）LLM 部署工作流

LLM 部署通常是一個復(fù)雜的過程，需要大量的工程工作，尤其是在邊緣設(shè)備上。DriveOS LLM SDK 為在 DRIVE 平臺上部署 LLM 提供了簡化的解決方案。所提議的 SDK 將部署工作流程簡化為兩個簡單的步驟：導(dǎo)出 ONNX 模型和構(gòu)建引擎（圖 2）。此過程與使用 TensorRT 部署深度學(xué)習(xí)模型的標(biāo)準(zhǔn)程序十分相似。

圖 2.使用 DriveOS LLM SDK 部署 LLM 的步驟

量化在優(yōu)化 LLM 部署方面發(fā)揮著至關(guān)重要的作用，尤其是對于資源受限的平臺而言。它可以顯著提高 LLM 的效率和可擴(kuò)展性。DriveOS LLM SDK 通過在 ONNX 模型導(dǎo)出階段提供多個量化選項(xiàng)來滿足這一需求，您可以通過一條命令輕松調(diào)用這些量化選項(xiàng)：

python3llm_export.py --torch_dir$TORCH_DIR--dtype [fp16|fp8|int4] --output_dir$ONNX_DIR

此命令可將 Hugging Face 格式的 LLM 轉(zhuǎn)換為具有指定量化精度的 ONNX 模型。建議在 x86 數(shù)據(jù)中心 GPU 上執(zhí)行此步驟，以避免內(nèi)存不足（OOM）問題。

將模型導(dǎo)出到 ONNX 后，可以使用 llm_build 二進(jìn)制文件來創(chuàng)建相應(yīng)的 TensorRT 引擎。構(gòu)建過程與特定模型或精度無關(guān)，因?yàn)?IO 接口在所有 ONNX 模型中保持標(biāo)準(zhǔn)化。應(yīng)使用以下命令在 DRIVE 平臺上構(gòu)建引擎：

./build/examples/llm/llm_build --onnxPath=model.onnx --enginePath=model.engine --batchSize=B --maxInputLen=N --maxSeqLen=M

該 SDK 還包括交叉編譯構(gòu)建系統(tǒng)，支持在 x86 機(jī)器上編譯 AArch64 目標(biāo)。此功能可加速部署并簡化邊緣計(jì)算平臺上的特征驗(yàn)證。

除了其用戶友好型部署流程外，DriveOS LLM SDK 還提供各種 C++ 代碼示例，用于端到端 LLM 推理、性能基準(zhǔn)測試和實(shí)時聊天實(shí)現(xiàn)。這些示例使開發(fā)者能夠使用靜態(tài)批量大小和輸入/輸出序列長度來評估 DRIVE 平臺上不同模型的準(zhǔn)確性和性能，或自定義自己的應(yīng)用程序。

要使用 SDK 提供的 C++ 代碼來啟用 LLM 聊天機(jī)器人，請使用以下示例命令：

./build/examples/llm/llm_chat --tokenizerPath=llama-v3-8b-instruct-hf/--enginePath=llama3_fp16.engine--maxLength=64

此命令的整個推理工作流如圖 3 所示，其中與 DriveOS LLM SDK 相關(guān)的組件以藍(lán)色塊表示。

圖 3.使用 DriveOS LLM SDK 進(jìn)行推理的管道

d）多模態(tài) LLM 部署的性能

總結(jié)

當(dāng)前，整個汽車行業(yè)在持續(xù)追求輔助駕駛快速發(fā)展的同時，也在不斷推進(jìn)大語言模型在車端的落地，這就對車端 AI 算力的多樣化部署，尤其是對大語言模型的部署和適配能力，提出了更加復(fù)雜和多樣化的要求。

NVIDIA DriveOS LLM SDK 簡化了 LLM 和 VLM 在 DRIVE 平臺上的部署。通過利用強(qiáng)大的 NVIDIA TensorRT 推理引擎以及 LLM 特定優(yōu)化技術(shù)，如量化，先進(jìn)的 LLM 和 VLM 可以在 DRIVE 平臺上輕松的部署，并取得此 SDK 為在生產(chǎn)環(huán)境中部署強(qiáng)大的 LLM 奠定了基礎(chǔ)，最終提高了 AI 驅(qū)動的應(yīng)用的性能。

對于 NVIDIA 來說，通過軟硬件結(jié)合的方式來持續(xù)推進(jìn)并引領(lǐng)最新的技術(shù)進(jìn)展，一直是 NVIDIA 面向汽車行業(yè)進(jìn)行技術(shù)賦能的核心邏輯——由此，面對大語言模型快速上車的大趨勢，DRIVE 平臺更好地支持 LLM 的部署，成為這一邏輯落地的關(guān)鍵一環(huán)。

從長遠(yuǎn)的視角來看，伴隨著智能駕駛和智能座艙在大模型時代的不斷演進(jìn)，二者之間也正在呈現(xiàn)出相互融合和相互賦能的發(fā)展態(tài)勢，這將會使得汽車終端在持續(xù)擁抱大算力的同時，也將會越來越意識到相應(yīng)的軟件適配能力的重要性。

由此，更加緊密和深層次的軟硬結(jié)合，已經(jīng)成為 AI 在車端進(jìn)一步落地的必由之路。