NVIDIA 宣布使用 NVIDIA TensorRT-LLM 加速微軟最新的 Phi-3 Mini 開源語言模型。TensorRT-LLM 是一個(gè)開源庫，用于優(yōu)化從 PC 到云端的 NVIDIA GPU 上運(yùn)行的大語言模型推理。

Phi-3 Mini 與 10 倍之于其大小的模型能力不相上下。不同于僅用于研究的 Phi-2，Phi-3 Mini 不僅可以用于研究，同時(shí)還可以用于多種商業(yè)用途。搭載 NVIDIA RTX GPU 的工作站或搭載 GeForce RTX GPU 的 PC 可以使用 Windows DirectML 或 TensorRT-LLM 在本地運(yùn)行該模型。

該模型有 38 億個(gè)參數(shù)，在 512 個(gè) NVIDIA Tensor Core GPU 上使用 3.3 萬億個(gè) token 訓(xùn)練而成，僅耗時(shí)七天時(shí)間。

Phi-3 Mini 有兩個(gè)版本，一個(gè)版本支持 4K token，另一個(gè)版本支持 128K token，是同類模型中第一個(gè)支持超長上下文的模型。因此，開發(fā)者在向該模型提問時(shí)，可以使用 128,000 個(gè) token（模型能夠處理的最小語言單位），使模型能夠做出更加符合現(xiàn)實(shí)的回答。

開發(fā)者可以在 ai.nvidia.com上試用帶有 128K 上下文窗口的 Phi-3 Mini。該模型被打包成 NVIDIA NIM，這是一項(xiàng)帶有標(biāo)準(zhǔn)應(yīng)用編程接口的微服務(wù)，可以部署在任何位置。

在邊緣高效運(yùn)行

自主機(jī)器人和嵌入式設(shè)備開發(fā)者可以通過社區(qū)教程（如 Jetson AI Lab）學(xué)習(xí)創(chuàng)建和部署生成式 AI，并在 NVIDIA Jetson 上部署 Phi-3。

Phi-3 Mini 模型只有 38 億個(gè)參數(shù)，非常小巧緊湊，可以在邊緣設(shè)備上高效運(yùn)行。參數(shù)就像內(nèi)存中的旋鈕，可在模型訓(xùn)練過程中進(jìn)行精確的調(diào)整，使模型能夠?qū)斎氲奶崾咀龀龈叨葴?zhǔn)確的響應(yīng)。

Phi-3 可以在成本和資源受限的用例中提供幫助，尤其是較簡單的任務(wù)。該模型在關(guān)鍵語言基準(zhǔn)測試中的表現(xiàn)優(yōu)于一些較大的模型，同時(shí)在滿足延遲要求的情況下給出結(jié)果。

TensorRT-LLM 將支持 Phi-3 Mini 的長上下文窗口，并使用 LongRoPE、FP8/飛行批處理等眾多優(yōu)化措施和內(nèi)核來提高推理吞吐量，減少延遲。TensorRT-LLM 的應(yīng)用很快將在 GitHub 上的示例文件夾中提供。

開發(fā)者可以轉(zhuǎn)換為 TensorRT-LLM 檢查點(diǎn)格式，該格式針對(duì)推理進(jìn)行了優(yōu)化，可以輕松地與 NVIDIA Triton 推理服務(wù)器一起部署。

開發(fā)開放式系統(tǒng)

NVIDIA 是開源生態(tài)系統(tǒng)的積極貢獻(xiàn)者，已經(jīng)發(fā)布了 500 多個(gè)帶有開源許可證的項(xiàng)目。

NVIDIA 為 JAX、Kubernetes、OpenUSD、PyTorch 和 Linux 內(nèi)核等眾多外部項(xiàng)目做出了貢獻(xiàn)，還為各種開源基金會(huì)和標(biāo)準(zhǔn)機(jī)構(gòu)提供支持。

此次發(fā)布建立在 NVIDIA 與微軟深厚的合作基礎(chǔ)上，雙方的合作為加速 DirectML、Azure 云、生成式 AI 研究以及醫(yī)療和生命科學(xué)等領(lǐng)域的創(chuàng)新鋪平了道路。

審核編輯：劉清