超級計算機遍布世界各地，以解決人類面臨的一些最大挑戰(zhàn)。這些機房大小的大型機比任何筆記本電腦都強大幾百萬倍，具有令人眼花繚亂的快速計算能力。這些大型機曾經(jīng)專門供大型政府實驗室、美國國家航空航天局（NASA）和制造、金融、石油和天然氣，以及航空航天等垂直行業(yè)的頂級參與者使用。但是現(xiàn)在，超級計算機的設(shè)計和構(gòu)建方式正在發(fā)生變化，將它們應(yīng)用于新的用例范圍。得益于新一代的處理能力和超高速網(wǎng)絡(luò)，我們正進入一個新的、或許更民主化的高性能計算（HPC）時代。

圖形處理單元（GPU）取代了中央處理單元（CPU）進行處理，從而顯著提高了計算吞吐量。與傳統(tǒng)的高性能計算（HPC）系統(tǒng)相比，基于GPU的系統(tǒng)占用的空間較小，并且它們的運行效率更高且運營成本更低。

但是隨著計算能力的提高，對最大數(shù)據(jù)吞吐量的需求也在增加。InfiniBand（HPC世界中常用的一種網(wǎng)絡(luò)標(biāo)準(zhǔn)）可以滿足對高吞吐量和極低延遲的需求。

強有力的支持生態(tài)系統(tǒng)是必須被視為民主化的明確標(biāo)志的另一個因素。現(xiàn)在有600多個HPC應(yīng)用程序利用GPU和InfiniBand網(wǎng)絡(luò)來提高性能，因此在商業(yè)和研究領(lǐng)域的采用率一直很強。

引領(lǐng)下一代人工智能

這種日益可訪問的處理能力的另一個新興用途是實現(xiàn)人工智能。使用大規(guī)模人工智能模型的趨勢正在改變，這正在改變?nèi)斯ぶ悄艿臉?gòu)建方式。

例如，微軟公司是人工智能的行業(yè)先驅(qū)，并同時使用GPU和InfiniBand。通過在其Azure平臺中利用最新的超級計算技術(shù)來支持一類新型的大規(guī)模模型，Microsoft正在實現(xiàn)新一代的人工智能。通過使用大量數(shù)據(jù)，這些大規(guī)模模型僅需訓(xùn)練一次。然后，可以使用更小的數(shù)據(jù)集和資源針對不同的任務(wù)和領(lǐng)域?qū)δＰ瓦M行微調(diào)。

衡量績效的重要性

隨著高性能計算（HPC）用例的擴展，越來越多的超級計算機被構(gòu)建為更快，更強大的規(guī)格。了解不同的高性能計算（HPC）機器之間如何進行比較仍然與以往一樣重要。因此，TOP500項目的意義在于對世界上500個最強大的非分布式計算機系統(tǒng)進行排名和詳細(xì)說明。該項目始于1993年，至今仍每年兩次發(fā)布更新的超級計算機列表，現(xiàn)在所包含的機器范圍比早期的要多得多。

TOP500項目的價值在于為跟蹤和檢測高性能計算的趨勢提供可靠的基礎(chǔ)。但是考慮一下用于量化HPC的基準(zhǔn)。

從歷史上看，最重要的是長期的HPL基準(zhǔn)。HPL是高性能Linpack Benchmark的便攜式實現(xiàn)。它用作提供TOP500數(shù)據(jù)的參考，并且是全球超級計算機排名中的關(guān)鍵工具。但是，它僅以觸發(fā)器的形式測量計算能力。

HPCG基準(zhǔn)（高性能共軛梯度）是作為替代方案而創(chuàng)建的，它提供了另一個對HPC系統(tǒng)進行排名的指標(biāo)，并旨在作為HPL的補充。盡管它尚未納入TOP500排名。

正如人們已經(jīng)看到的那樣，人工智能現(xiàn)在已經(jīng)成為高性能計算領(lǐng)域的關(guān)鍵部分，因此有人認(rèn)為新的，更合適的基準(zhǔn)是對這一趨勢的必要認(rèn)識。

現(xiàn)代HPC系統(tǒng)的新指標(biāo)

MLPerf是一種新型的基準(zhǔn)測試組織。與人工智能超級計算的時代相吻合，其使命是建立公平，有用的基準(zhǔn)，以衡量機器學(xué)習(xí)（ML）硬件，軟件和服務(wù)的訓(xùn)練和推理性能。它日益受到人們的認(rèn)可，正使其成為研究人員、開發(fā)人員、硬件制造商、機器學(xué)習(xí)框架的構(gòu)建者、云服務(wù)提供商、應(yīng)用程序提供商以及最終用戶的有用工具。

它的目標(biāo)圍繞通過公平和有用的衡量來加速機器學(xué)習(xí)的進步，從而為商業(yè)和研究社區(qū)提供服務(wù)。它還旨在為競爭系統(tǒng)的比較提供更公平的基礎(chǔ)，同時鼓勵創(chuàng)新。它的精神風(fēng)貌可能使它在其他HPC基準(zhǔn)測試中脫穎而出，這是它致力于保持基準(zhǔn)測試負(fù)擔(dān)得起，以便所有人都能參與的承諾。MLPerf得到了包括亞馬遜、百度、Facebook、谷歌、哈佛、英特爾、微軟和斯坦福等組織的支持，并且隨著人工智能自身的發(fā)展而不斷發(fā)展，以保持相關(guān)性。

當(dāng)今最大的HPC和人工智能系統(tǒng)不僅通過具有InfiniBand網(wǎng)絡(luò)的GPU來解決傳統(tǒng)HPC工作負(fù)載的新方法，而且還推動了新一輪的推薦系統(tǒng)和對話式人工智能應(yīng)用程序的發(fā)展，而其他系統(tǒng)則推動了對個性化和精準(zhǔn)醫(yī)學(xué)的追求。
責(zé)任編輯:tzh