很多使用 NVIDIA GPU 的開發(fā)者、科研人員或者圖形工作者都會遇到這樣的情況：

每次運(yùn)行nvidia-smi，等待時(shí)間都比正常設(shè)備慢幾秒；

PyTorch、TensorFlow 的第一行代碼執(zhí)行慢，GPU 初始化明顯滯后；

小腳本測試、命令行推理等場景中，每次調(diào)用都像“冷啟動”。

難道是驅(qū)動老舊？資源不足？系統(tǒng)問題？都不是——真相藏在一個(gè)容易被忽略的小設(shè)置里：Persistence Mode（持久模式）。

Persistence Mode（持久模式）：

GPU 驅(qū)動遲緩的幕后“真兇”

NVIDIA 為了降低系統(tǒng)資源占用，在 Linux 系統(tǒng)中默認(rèn)開啟了一項(xiàng)節(jié)能機(jī)制——GPU Idle Unloading（空閑卸載）。

這意味著：

如果當(dāng)前沒有活躍的程序（如圖形界面 X11、CUDA 應(yīng)用、ML 框架等）調(diào)用 GPU，驅(qū)動就會主動退出內(nèi)存。

當(dāng)你再次發(fā)起調(diào)用（哪怕只是一條命令），系統(tǒng)需要重新加載驅(qū)動、初始化設(shè)備、建立通信?！@個(gè)過程在老舊平臺上甚至要數(shù)秒。

而 Persistence Mode 就是這個(gè)行為的“開關(guān)”。開啟后，GPU 驅(qū)動常駐內(nèi)存，即使系統(tǒng)暫時(shí)未使用顯卡，也不會釋放資源，從而避免每次調(diào)用都要“重新開機(jī)”。

官方定義如下：

Persistence Mode: A flag that indicates whether persistence mode is enabled for the GPU. Value is either "Enabled" or "Disabled". When enabled, the NVIDIA driver remains loaded even when no active clients exist.

為什么 Persistence Mode

對科研和 AI 場景尤其重要？

在 AI 相關(guān)工作流中，下述 GPU 的調(diào)用特性依賴 Persistence Mode：

2025 麗臺（上海）信息科技有限公司

本圖表由麗臺科技制作，如果您有任何疑問或需要使用，

請聯(lián)系麗臺科技

舉例：一個(gè)常用模型在 PyTorch 中冷啟動約需 25 秒，熱啟動只需 20.5 秒，累計(jì)數(shù)十次，每天浪費(fèi)時(shí)間可達(dá)數(shù)分鐘。

開啟 Persistence Mode 后則可實(shí)現(xiàn)：

nvidia-smi 秒開無延遲；

PyTorch、TensorFlow 初次調(diào)用時(shí)間大幅縮短；

多個(gè) CUDA 腳本反復(fù)測試也無需重新初始化 GPU；

整體工作流更流暢，節(jié)省大量等待時(shí)間。

在 Linux 系統(tǒng)開啟 Persistence Mode

執(zhí)行下面的命令即可開啟臨時(shí) Persistence Mode：

sudonvidia-smi -pm1

每次開機(jī)都得手動輸入？開機(jī)自動開啟才是正解。在 Linux 系統(tǒng)中采用.run包方式安裝 NVIDIA GPU 驅(qū)動，可通過以下方式啟用 Persistence Mode：

cd/usr/share/doC/NVIDIA GLX-1.0/samples
sudo tar jxvf nvidia-persistenced-init.tar.bz2
cd./nvidia-persistenced-init
sudo ./install.sh
systemctl status nvidia-persistenced.service

執(zhí)行完成后，以后每次啟動系統(tǒng)，NVIDIA GPU 持久模式會自動啟用，無需再次配置。

性能進(jìn)階之選：

LEADTEK WS3008 AI 一體機(jī)

現(xiàn)代 AI 開發(fā)中，“響應(yīng)時(shí)間”就是效率，“系統(tǒng)阻力”就是成本。通過開啟 Persistence Mode，便能將 GPU 從“冷啟動拖延”中解放出來，讓每一次調(diào)用都即時(shí)響應(yīng)，為你的工作流加速。

如果你渴望的不僅是優(yōu)化，而是全面性能飛躍，不妨考慮LEADTEK WS3008 AI 一體機(jī)，讓它成為算力系統(tǒng)的高效大腦。

▲ LEADTEK WS3008 AI 一體機(jī)參數(shù)

麗臺科技為工作站/服務(wù)器預(yù)裝LeadOS 操作系統(tǒng)（定制版 Ubuntu Linux），為運(yùn)行 AI 和分析工作負(fù)載提供一站式解決方案。LeadOS 包含系統(tǒng)專屬優(yōu)化和配置、附加驅(qū)動程序。它是一款穩(wěn)定、經(jīng)過全面測試且受支持的操作系統(tǒng)，可在麗臺工作站/服務(wù)器上運(yùn)行 AI、機(jī)器學(xué)習(xí)和分析應(yīng)用程序。

LeadOS 系統(tǒng)特性

基于 Ubuntu 22.04，配備最新的長期 Linux 內(nèi)核版本 5.15，用于最新的硬件和安全更新以及軟件包更新，例如 Python 和 GCC。

包含針對 NVIDIA 優(yōu)化的 Linux 內(nèi)核，無需額外補(bǔ)丁即可支持 GPU 直接存儲（GDS）。

提供對所有 NVIDIA GPU 驅(qū)動程序分支和 CUDA 工具包版本的訪問。

默認(rèn)使用 Ubuntu OFED，并可選擇安裝 NVIDIA OFED 以獲得附加功能。

支持安全啟動。

適配多種 NVIDIA GPU 型號。

從 Ubuntu Universe 存儲庫提供 Ubuntu Pro Client 的擴(kuò)展安全維護(hù)（ESM）訂閱。