本文來自“專用數據處理器(DPU)性能基準評測方法與實現(2022)”介紹 DPU 性能測試系統(tǒng)框架與測試流程，包括測試系統(tǒng)、測試要求、測試活動三部分。具體的，測試系統(tǒng)定義了三種搭建 DPU 測試系統(tǒng)的方法，測試要求闡述了組建 DPU 測試系統(tǒng)時需要滿足的要求，測試活動定義了DPU Benchmark 的選擇策略、執(zhí)行前準備、執(zhí)行過程及測試結果報告。

DPU 測試系統(tǒng)(SUT)

DPU 測試系統(tǒng)(System Under Test，SUT)是測試 DPU 性能的平臺，其結構在不同應用場景中，主要分為三類：單端型測試系統(tǒng)(Single-End)、端到端型測試系統(tǒng)(End-to-End)和多端型測試系統(tǒng)(Multi-End)。

單端型(Single-End)測試系統(tǒng)是主機與 DPU 通過總線互聯構成的封閉測試系統(tǒng)，主要用于模擬無網絡連接情況下，DPU 作為專用加速器執(zhí)行主機端特定業(yè)務的過程。在這種系統(tǒng)中，計算與數據傳輸僅在主機與 DPU 之間進行，DPU 不與其他設備通信，僅執(zhí)行特定計算業(yè)務。單端型測試系統(tǒng)主要測試 DPU 對特定計算任務的性能提升。

端到端型(End-to-End)測試系統(tǒng)將兩個單端型測試系統(tǒng)通過簡單網絡相連(網線直連)，其中一個為請求發(fā)起者(Initiator/Client)，另一個為請求接受者(Target/Server)。

端到端型測試系統(tǒng)主要模擬 DPU 作為網絡加速器執(zhí)行雙端操作的場景。在這種系統(tǒng)中，計算與數據傳輸不僅在主機與 DPU 之間進行，還通過網絡傳輸到其他系統(tǒng)。DPU 在Server 端接收主機端發(fā)起的網絡請求并通過網口轉發(fā)，或者在 Client 端接收網絡的請求并向作出響應。端到端型測試系統(tǒng)能夠屏蔽網絡性能(轉發(fā)次數、交換設備的性能、轉發(fā)設備的性能)對 DPU 性能的影響，主要測試 DPU 對網絡協議卸載、網絡數據包處理的峰值能力。

多端型(Multi-End)測試系統(tǒng)是多個單端型測試系統(tǒng)通過復雜的網絡拓撲相連的開放測試系統(tǒng)。該測試系統(tǒng)主要模擬 DPU 作為網絡加速器在復雜環(huán)境中處理網絡任務的場景。在這種系統(tǒng)中，網絡環(huán)境(網絡拓撲)與資源分布(相同或者不同類型的 DPU 系統(tǒng))情況復雜，DPU 不僅承擔一對一的網絡任務，還可能接收一/多個其他系統(tǒng)的請求(含背景流量甚至惡意攻擊)或響應一/多個其他系統(tǒng)的請求。

單端型(Single-End)測試系統(tǒng)

主機與 DPU 通過總線(通常為 PCIe)直接相連形成的可獨立工作的系統(tǒng)為單端型測試系統(tǒng)，系統(tǒng)包含支持 DPU 正常工作的軟件和硬件。在這種測試系統(tǒng)中，DPU 作為專用加速器執(zhí)行特點計算業(yè)務。

單端型測試系統(tǒng)模型的基本結構如圖2.1(a) 所示。運行時環(huán)境(Run Time Environ-ment，RTE)代表運行中的 DPU 測試程序，交換設備(Switch)為 DPU 與主機系統(tǒng)(Host System)的互連結構(通常為 PCIe)。在單端型測試系統(tǒng)中，DPU 作為專用加速器，主機使用 DPU 加速某些任務的處理，如數據庫查詢、AI 訓練等。任務數據首先從主機端搬運到 DPU，DPU 計算完成后，再將處理完的數據寫回主機。在這種工作模式中，DPU測試程序可以以數據處理時間、數據處理規(guī)模作為性能指標。

單端型測試系統(tǒng)具體由硬件和軟件兩部分構成，硬件主要有 DPU、CPU 以及其他

保證系統(tǒng)正常進行的硬件(內存、硬盤等)，軟件主要有操作系統(tǒng)、DPU 驅動、開源工具、DPU Benchmark，結構示意如圖。各部分組件要求如下：

1. DPU Benchmark，評測 DPU 系統(tǒng)性能的基準測試程序;

2. 開源工具(Open Source Tools)，一些廣泛使用的性能測試工具，保證測試結果可重復，在不同的用戶測試時可以獲得相近的結果;

3. DPU Benchmark 驅動(Benchmark Driver)，基于內核態(tài)的測試驅動或者基于用戶態(tài)的測試驅動;

4. DPU 驅動(DPU Driver)，包括 DPU 最底層的抽象，也包括 DPU 所提供給用戶程序使用的接口;

5. 操作系統(tǒng)(Operating System)，需要支持 DPU Benchmark 的版本，且相關信息需要在結果報告中明確寫出，如操作系統(tǒng)版本，內核版本等;

6. 計算設備(Computing Device)，通用 CPU，其上運行操作系統(tǒng);

7. 連接設備(Connected Device)，根據 DPU 板卡接口不同選擇不同，常見的有PCIe、CXL;

8. IO 硬件(I/O)，鼠標、鍵盤等保證系統(tǒng)執(zhí)行所必須的硬件設備;

9. 被測 DPU 產品(DPU);

10. 其他硬件資源(Hardware Resources)，如內存、硬盤。

端到端型(End-to-End)測試系統(tǒng)

端到端型測試系統(tǒng)是由兩個單端型測試系統(tǒng)通過網線直連的方式組成的測試系統(tǒng)。在這種測試系統(tǒng)中，屏蔽了復雜的網絡拓撲與其他系統(tǒng)流量的影響，可以測試 DPU 網絡加速的峰值性能。

端到端型測試系統(tǒng)由兩個單端型測試模型直接相連(如圖所示)，每個單端測試系統(tǒng)分別運行 DPU Benchmark 測試程序，一般其中一個運行發(fā)起者程序 (Initiator/-Client)，另一個運行接收者程序 (Target/Server)。通過發(fā)起者發(fā)送請求，接收者響應請求，測量基于網絡的端到端操作，例如 RDMA Send/Receive 操作，NVMe-oF 遠程訪問。在這種測試模型中，根據從一端 DPU 系統(tǒng)到另一端 DPU 系統(tǒng)的請求時間和流量等測試DPU 的延遲、吞吐量等性能。

端對端型測試系統(tǒng)在單端型測試系統(tǒng)的基礎上，增加網絡基礎設備(通常為網線)

用于直接連接兩個單端測試系統(tǒng)，其結構如圖2.3所示。根據 DPU 所支持的網口速率不同，可采取不同的網絡連接設備，缺省值為 100Gbs 連接。

多端型(Multi-End)測試系統(tǒng)

多端型測試系統(tǒng)是由多個單端型測試系統(tǒng)經由復雜網絡(復雜的網絡拓撲)連接形

成的測試系統(tǒng)。在這種測試系統(tǒng)中，可以模擬 DPU 所處的真實網絡環(huán)境，測試 DPU 網絡處理的實際性能。

多端型測試系統(tǒng)模型主要用于模擬基于 DPU 構建的數據中心，通過復雜的網絡將

眾多 DPU 系統(tǒng) (功能相同或者不同) 互連起來，從而測試基于 DPU 系統(tǒng)實現的網絡、存儲或安全加速應用的真實性能，如NVMe-oF 讀取不同結點存儲系統(tǒng)的存儲資源、RDMA訪問不同結點的資源。在這種測試模型中，根據請求與響應時間、請求的數據量及并發(fā)的請求數等可以測試延時、吞吐量、連接能力等指標。

多端型測試系統(tǒng)在單端型測試系統(tǒng)的基礎上，需要增加更復雜的網絡基礎設備用于連接不同節(jié)點的 DPU 系統(tǒng)。這些網絡基礎設施包括但不限于集線器、交換機、路由器等。

在 DPU Benchmark 執(zhí)行時，為了保證測試結果的準確性與可重復性，對于同一種測試用例執(zhí)行兩輪(特殊的情況在具體的測試用例說明)。每一輪分為三個部分：預熱 (Warmup Run) 部分排除初始化干擾;負載執(zhí)行 (Measured Run) 部分為真正的指標測試;結果檢查 (Result Check) 部分檢查結果的正確性 (數據傳輸的完整性，計算結果的正確性等)。每執(zhí)行完一輪需要恢復至初始狀態(tài) (Clear up)。在預熱部分與負載執(zhí)行之間不允許執(zhí)行其他任務。每一輪執(zhí)行的過程中，DPU 測試系統(tǒng)配置不可以發(fā)生變化。

在 DPU Benchmark 執(zhí)行過程中，DPU 測試系統(tǒng)不可以重啟或者重新開始。如果 DPU系統(tǒng)測試應用、操作系統(tǒng)或者硬件發(fā)生不可恢復的錯誤時，這一輪的執(zhí)行應作無效;如果 DPU 系統(tǒng)測試應用、操作系統(tǒng)或者硬件檢測到可恢復的錯誤，并且錯誤糾正并恢復正常，那么這一輪的執(zhí)行應作有效。在錯誤發(fā)生處理期間，測試者不能人工干預，否則，這一輪執(zhí)行應作無效。

測試報告中除了給出不同測試用例的性能指標，還需要給出測試過程中的全部配置信息，包括：配置參數，包括服務器、存儲、網絡等其他硬件設施;安裝的操作系統(tǒng)、文件系統(tǒng)、測試工具等軟件版本;在測試過程中使用到的其他軟件程序;程序編譯優(yōu)化選項。在執(zhí)行 DPU Benchmark 時如果系統(tǒng)發(fā)送異?；蛘咂渌闆r，需要在報告附錄中指出。

本文來自“專用數據處理器(DPU)性能基準評測方法與實現(2022)”介紹 DPU性能測試系統(tǒng)框架與測試流程，包括測試系統(tǒng)、測試要求、測試活動三部分。完整內容請參看原報告。

審核編輯：湯梓紅