超級(jí)計(jì)算機(jī)是一項(xiàng)重要的投資，對(duì)于研究人員和科學(xué)家來(lái)說(shuō)，它們是必不可少的寶貴工具。為了有效和安全地共享這些數(shù)據(jù)中心的計(jì)算能力， NVIDIA 引入了云原生超級(jí)計(jì)算架構(gòu)。它結(jié)合了裸機(jī)性能、多租戶和性能隔離統(tǒng)一為超級(jí)計(jì)算服務(wù)。

Magnum IO 是數(shù)據(jù)中心的 I / O 子系統(tǒng)，它引入了新的增強(qiáng)功能，以加速多租戶數(shù)據(jù)中心的 I / O 和通信。我們將這些增強(qiáng)功能稱(chēng)為 Magnum IO ，用于云原生超級(jí)計(jì)算架構(gòu)。

它由 NVIDIA Quantum-2 InfiniBand 平臺(tái)提供，該平臺(tái)包括 NVIDIA Quantum-2 交換機(jī)系列、BlueField-3 DPU 和 ConnectX-7 網(wǎng)卡。

這種進(jìn)化環(huán)境的挑戰(zhàn)是什么？

基于 GPU 的高性能計(jì)算已經(jīng)通過(guò)機(jī)器學(xué)習(xí)和模擬計(jì)算大幅改變了科學(xué)和實(shí)驗(yàn)。在GPU 上運(yùn)行的這些深度學(xué)習(xí)框架和模擬工具可能會(huì)消耗 PB 級(jí)的數(shù)據(jù)，并在整個(gè)數(shù)據(jù)中心內(nèi)造成擁塞和瓶頸。更復(fù)雜的是，這些應(yīng)用程序的多個(gè)實(shí)例在共享的超級(jí)計(jì)算設(shè)施上常常同時(shí)運(yùn)行并互相影響，因而造成運(yùn)行性能的抖動(dòng)，從而導(dǎo)致無(wú)法預(yù)測(cè)的運(yùn)行時(shí)間。

面向云原生超級(jí)計(jì)算體系結(jié)構(gòu)設(shè)計(jì)的 Magnum IO 帶來(lái)新的增強(qiáng)功能，以減輕最終用戶在多租戶環(huán)境中運(yùn)行應(yīng)用帶來(lái)的性能負(fù)面影響。它提供確定性的性能，就好像它們的應(yīng)用程序是獨(dú)占網(wǎng)絡(luò)運(yùn)行。

第三代 NVIDIA SHARP

（可擴(kuò)展分層聚合和規(guī)約協(xié)議）

通過(guò)將集合操作從主機(jī) CPU 卸載到交換機(jī)網(wǎng)絡(luò)，SHARP 技術(shù)有效消除了端點(diǎn)之間多次發(fā)送數(shù)據(jù)的需求，從而提高了 MPI 操作的性能。這種方法大幅減少了到達(dá)聚合節(jié)點(diǎn)的網(wǎng)絡(luò)流量，并顯著減少了 MPI 操作時(shí)間。

在網(wǎng)絡(luò)中實(shí)現(xiàn)集合通信算法還有其他好處，例如釋放寶貴的 CPU 資源用于計(jì)算，而不是使用它們來(lái)處理通信。

最近發(fā)布的 NVIDIA Quantum-2 InfiniBand 交換機(jī)為大型數(shù)據(jù)聚合提供了強(qiáng)大的可擴(kuò)展性。由于每個(gè)交換機(jī)支持幾乎無(wú)限的小消息聚合和多個(gè)大消息聚合流，在共享系統(tǒng)上運(yùn)行多租戶應(yīng)用程序可以充分利用 SHARP 的優(yōu)勢(shì)。

性能隔離

多租戶超級(jí)計(jì)算實(shí)現(xiàn)在共享資源上運(yùn)行很多用戶的應(yīng)用程序，可能造成物理服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)以及I / O流量模型的復(fù)用 。

NVIDIA Quantum InfiniBand 一直以來(lái)支持擁塞控制管理，當(dāng)檢測(cè)到網(wǎng)絡(luò)擁塞時(shí)在源端實(shí)施控制以緩解擁塞。但在多租戶場(chǎng)景，用戶應(yīng)用可能無(wú)意識(shí)地與相鄰用戶流量產(chǎn)生干擾，因此需要隔離以提供可預(yù)期的性能級(jí)別。

借助最新的 NVIDIA Quantum-2 InfiniBand 平臺(tái)和 Magnum IO ，創(chuàng)新的主動(dòng)監(jiān)控和擁塞管理提供了良好的流量隔離。這幾乎完全消除了性能抖動(dòng)，并確保了預(yù)期的性能，就像應(yīng)用程序運(yùn)行在專(zhuān)用系統(tǒng)上一樣。

專(zhuān)為安全、多租戶、裸機(jī)性能而打造

NVIDIA Cloud-Native Supercomputing 體系結(jié)構(gòu)使用 Magnum IO 在多租戶環(huán)境中實(shí)現(xiàn)最高的性能、安全性和編排。

此外，實(shí)現(xiàn)這種架構(gòu)轉(zhuǎn)換的另一個(gè)核心元素是數(shù)據(jù)處理器（ DPU ），也即 BlueField 。作為一個(gè)完全集成的片上數(shù)據(jù)中心平臺(tái)， BlueField 從主機(jī)處理器卸載和管理數(shù)據(jù)中心基礎(chǔ)設(shè)施，實(shí)現(xiàn)超級(jí)計(jì)算機(jī)的安全和編排。

它還能夠提供額外的通信框架卸載，可達(dá)到 100% 的通信計(jì)算重疊，實(shí)現(xiàn) MPI _ Alltoall 44% 的性能提升和 MPI _ iAllgather 36% 的性能提升。當(dāng)結(jié)合最新的 NVIDIA Quantum-2 平臺(tái)時(shí)，該體系結(jié)構(gòu)在安全的多節(jié)點(diǎn)體系結(jié)構(gòu)中展示性能隔離實(shí)現(xiàn)裸金屬性能。

Magnum IO 消除了 I / O 瓶頸，拓展了硬件級(jí)加速引擎、網(wǎng)絡(luò)計(jì)算和擁塞控制等最新技術(shù)，成為支持當(dāng)今高性能裸金屬多租戶數(shù)據(jù)中心的必備利器。

責(zé)任編輯：haq