構建一套可靠的視覺檢測流程來實現(xiàn)缺陷檢測和質量控制面臨諸多挑戰(zhàn)，例如針對特定領域定制通用視覺 AI 模型、在算力受限的邊緣設備上優(yōu)化模型規(guī)模，以及高效實時部署以實現(xiàn)最大的推理吞吐量。

NVIDIA Metropolis是一個面向視覺 AI 智能體與應用的開發(fā)平臺，旨在幫助解決上述挑戰(zhàn)。NVIDIA Metropolis 提供了一個統(tǒng)一的框架，包含用于訓練和優(yōu)化視覺 AI 基礎模型的NVIDIA TAO 6，以及端到端流分析工具套件NVIDIA DeepStream 8。

DeepStream 8.0 為開發(fā)者提供推理構建器等強大工具，簡化工作流的創(chuàng)建，并提升復雜環(huán)境中的跟蹤準確性。TAO 6 通過領域適應性、自監(jiān)督微調和知識蒸餾，充分釋放基礎模型的潛力。借助 NVIDIA DeepStream 和 NVIDIA TAO，開發(fā)者正在推動視覺 AI 從快速原型設計到大規(guī)模部署的演進。

本文將為您介紹如何利用 NVIDIA TAO 和 NVIDIA DeepStream 構建端到端的實時視覺檢測工作流，具體步驟如下：

使用 TAO 進行自監(jiān)督式微調，實現(xiàn)對領域特定未標注數據的高效利用；

使用 TAO 知識蒸餾優(yōu)化基礎模型，以提高吞吐量和效率；

使用 DeepStream Inference Builder 進行部署。

利用 NVIDIA TAO 規(guī)?；_發(fā)基于視覺基礎模型的自定義模型：

NVIDIA TAO 支持端到端工作流程，可用于訓練、調整和優(yōu)化面向特定領域用例的大型視覺基礎模型。該框架可依托微調微服務對視覺基礎模型進行自定義，助力實現(xiàn)高精度和高性能。

使用 NVIDIA TAO 創(chuàng)建高精度、定制化的企業(yè)可直接使用的 AI 模型，為視覺 AI 應用提供支持

TAO 提供一系列強大的基礎骨干和任務頭，可針對工業(yè)視覺檢測等關鍵工作負載對模型進行微調。在 TAO 6 中，兩個關鍵的基礎骨干是 C-RADIOv2（開箱即用，精度領先）和 NV-DINOv2。TAO 同樣支持第三方模型，前提是其視覺骨干和任務頭架構與 TAO 兼容。

為提高模型準確性，TAO 支持多種模型自定義技術，例如監(jiān)督式微調（SFT）和自監(jiān)督式學習（SSL）。其次，利用 NVIDIA TAO 6，用戶可以利用自監(jiān)督學習技術，充分發(fā)掘未標記圖像的巨大潛力，從而在標記數據稀缺或采集成本高昂的情況下加速模型定制流程。

在實際場景中，此工作流意味著模型能夠從大量未標記圖像中學習缺陷的細微特征，再通過有針對性的監(jiān)督式微調來優(yōu)化決策能力，即使在自定義的真實數據集上也能實現(xiàn)卓越的性能。

優(yōu)化視覺基礎模型以提高吞吐量：

NVIDIA TAO 利用從大型基礎模型中獲得的知識，通過“知識蒸餾”（Knowledge Distillation）技術，將其優(yōu)化為更小的模型尺寸。知識蒸餾通常能夠在不犧牲準確性的前提下，將大型、高精度的教師模型壓縮為更小、更高效的學生模型。該過程的核心在于引導學生模型不僅模仿教師模型的最終預測，同時要學習其內部特征表示和決策邊界，從而在資源受限的硬件上實現(xiàn)實際部署，并支持可擴展的模型優(yōu)化。

NVIDIA TAO 進一步拓展了知識蒸餾的能力，能夠穩(wěn)定支持多種蒸餾形式，包括骨干、logit 以及空間或特征蒸餾。TAO 的一項顯著特性是其專為物體檢測設計的單級蒸餾方法。借助這一簡化流程，通常更小且更高效的學生模型能夠在統(tǒng)一的訓練階段，直接從教師模型學習骨干特征表示以及任務特定的預測結果。這種方法在不犧牲精度的前提下，顯著降低了推理延遲和模型尺寸。

使用 DeepStream 8 Inference Builder 打包和部署模型：

全新的 NVIDIA DeepStream 8 Inference Builder 是一款低代碼工具，可將模型設想快速轉化為獨立應用或可部署的微服務。

Inference Builder 的設計目標是根據用戶提供的模型和配置文件，自動生成推理服務代碼、API 層以及部署所需的構件。通過簡單的配置，即可處理與服務器、請求處理和數據流相關的復雜任務，而無需手動編寫大量重復性代碼。