MLPerf權威發榜 兩AI服務器宣稱性能第一 挖掘機技術到底哪家強

深度圍觀頻道

科技達人，優質創作者

此次MLPerf的AI推理基准測試有全球23家公司和單位參與，在數據中心及邊緣等場景進行AI計算產品的性能比試。該基准測試包括可代表生產級別的測試用例，測試結果在行業內具有較高權威性。

美國東部時間10月21日，全球備受矚目的權威AI基准測試MLPerf公布今年的推理測試榜單。

01

兩品牌AI服務器均為世界第一

10月22日，浪潮AI服務器NF5488A5宣稱一舉創造18項性能紀錄，在數據中心AI推理性能上遙遙領先其他廠商產品。

同日，寧暢AI服務器X640宣稱： 首登MLPerf，斬獲30項AI性能世界第一，同配置測試獲16項世界第一。

寧暢工程師介紹，參加MLPerf Inference（推理）基准測試的X640 G30 AI服務器，最高可支持10張NVIDIA A100 PCIe卡或21張NVIDIA T4 PCIe卡，堪稱“性能猛獸”
。

在此次基准測試中，浪潮AI服務器NF5488A5在開放優化(Open)和固定任務(Closed)的ResNet50基准性能測試中，均表現優異，相比2019年MLPerf推理榜單的服務器最好性能提升高達3倍
。

NF5488A5是浪潮自研的新一代AI服務器，是此次MLPerf全球競賽中唯一可以在4U空間內支持8塊安培架構A100芯片實現NVLink高速互聯的AI服務器。

浪潮NF5488A5在系統拓撲上采用了超低延遲設計，支持PCIe 4.0全鏈路極致優化，高頻通信單元采用一級拓撲最近連接，最大限度提升處理器到AI芯片間的通信性能。

同時，通過配置NUMA節點，確保每顆處理器與其直連的GPU之間通信性能最優，最大限度降低通信延遲。此外，NF5488A5通過深度優化系統結構設計，確保設備可在高溫環境下穩定運行。

而對比行業同配置AI服務器，寧暢X640 G30搭配四張A100 GPU卡的情況下，在Resnet50、SSD、RNN-T、BERT、DLRM等10項測試中分數值取得世界第一；搭配16張T4 GPU卡配置的情況下，X640 G30打破六項世界紀錄，性能一騎絕塵。

寧暢X640強調，相同配置下取得第一的MLPerf分數，意味著X640 G30 在圖像分類、目標檢測、醫學影像、翻譯、推薦、自然語言處理等AI應用場景中有更好性能表現，可為用戶帶來多高價值。

浪潮AI服務器NF5488A5和寧暢AI服務器X640均宣稱打破多項世界紀錄，挖掘機技術到底哪家強？

02

浪潮NF5488A5獲數據中心AI性能絕對優勢

NF5488A5是浪潮於今年5月推出，是一款新的AI服務器，由8個NVIDIA A100 GPU驅動，與第3代NVLink完全互連，外加2個支持PCIe4.0的最新AMD CPU。它為用戶提供終極的AI性能和超高速帶寬，同時為各種AI場景提供強大的計算支持，例如智能客戶服務，財務分析，智能城市和智能語言處理。

此次浪潮NF5488A5一舉創造18項MLPerf推理性能記錄，成為創紀錄最多的AI服務器。今年的測試中，數據中心AI性能最受關注，全部參與機構提交了507項性能測試數據。

浪潮NF5488A5創下了數據中心22個賽項中的13項性能記錄以絕對優勢領先，NVIDIA DGX取得了5項數據中心性能記錄。而在此前的MLPerf訓練榜單中，NF5488A5在最核心的Resnet50訓練任務中也創下了性能記錄，單機性能高居榜首。

Resnet50是評估AI計算系統和AI芯片性能的全球最廣泛接受的標准。在此基准的Resnet50培訓任務中，浪潮使用了NF5488A5服務器，該服務器配備了8個NVIDIA A100 GPU和2個AMD EPYC 7742處理器。僅用33.37分鐘即可完成ResNet50模型培訓，該服務器在單服務器性能方面排名第一。

本次基准測試中，浪潮展示出了卓越的AI計算軟硬件協同優化能力。在硬件層面，通過對CPU、GPU硬件性能的精細校准和全面優化，使CPU性能、GPU性能、CPU與GPU之間的數據通路均處於對AI推理最優狀態。

在軟件層面，結合GPU硬件拓撲對多GPU的輪詢調度優化使單卡至多卡性能達到了近似線性擴展；在深度學習算法層面，結合GPU Tensor Core 單元的計算特征，通過自研通道壓縮算法成功實現了模型的極致性能優化，在精度無損的情況下性能提升近2倍。

各服務器MLPerf AI推理性能對比（以浪潮NF5488A5為基准，越高越好）▲

03

寧暢X640將多卡性能發揮到極致

AI服務器所能支持異構計算GPU卡數量，是決定其AI吞吐量的首要因素。依托團隊10餘年行業經驗，寧暢在全國率先在4U標准機箱中實現21張GPU卡配置，將多GPU卡性能優勢發揮到極致。

搭配21張T4 GPU卡的X640 G30，在圖像分類、語義識別等眾多AI基准測試中，超越搭配20張T4 GPU卡配置的服務器，測試分數斬獲14項世界第一。

不僅多GPU卡的性能優越，在單GPU卡平均性能方面（單卡平均性能=整機測試結果/搭載GPU卡個數），橫向比較13家服務器廠商提交MLPerf 的53個配置測試結果顯示，X640 G30服務器平均單卡性能獲得11項第一。

04

結語

寧暢工程師表示，寧暢服務器不僅在MLPerf平台取得多項世界第一成績，今年早先時候寧暢雙路服務器R620 G30，曾在反映服務器性能的SPEC CPU2017測試中，刷新24項世界紀錄。世界紀錄的背後，是寧暢工程師為用戶提供更優性價比產品，將CPU、GPU等服務器核心部件性能發揮到極致，所做的不懈努力。通過提供硬件、軟件等定制化服務，寧暢服務器將有效降低用戶TCO

浪潮是全球領先的AI計算領導廠商，其AI服務器在中國的市場份額已連續三年保持在50%以上。浪潮致力於AI計算平台、資源平台和算法平台的研發創新，並通過元腦生態與AI領先企業共同推進AI產業化和產業AI化進程。