燧原科技進軍AI邊緣領域，攜手浪潮推出邊緣AI推理服務器

36氪

鯤鵬計劃獲獎作者,36氪官方帳號

搭載雲燧i10的浪潮邊緣計算服務器NE5260M5

雲燧i10是一款面向雲端數據中心的高性能推理卡，單槽位標准卡，支持PCIe 4.0，FP32算力達到17.6TFLOPS，BF16/FP16算力70.4TFLOPS。雲燧i10實現多用戶支持，最大可支持4個設備實例，具備計算與存儲資源的獨享性，多用戶間安全隔離；單顆芯片上可同時部署不同的業務與負載，實現多任務並行，提高利用率；支持KVM、Xen等系統虛擬化平台。

浪潮邊緣計算服務器NE5260M5高度2U，深度只有430毫米，可部署在通信機房或直接懸掛在牆壁上。盡管該服務器體積小巧，但NE5260M5支持多種異構加速卡，並且各個模塊具有良好的散熱效果，能夠適應邊緣惡劣的高溫濕環境。基於高度適配的軟硬件組合，浪潮NE5260M5可搭載2-4張雲燧i10，可提供高達每秒70萬億次的單精度算力和280萬億次的半精度算力，高精度主流推理模型的性能位居業界前列，為邊緣環境提供更加靈活的加速選擇。

· 在計算機視覺領域中，可實時高速圖像視覺處理，廣泛應用於工廠AI質檢、場景識別、智能交通等應用，在圖像識別場景中，基於ImageNet圖像數據集，超過75.9%准確率，推斷性能超過3000FPS，在業界公認的基准測試模型ResNet-50上，性能是一般產品的1.7倍。在視頻增強場景中，可實時進行視頻分辨率增強，服務器處理性能可達240FPS，性能達到業界一般產品的2倍。

· 在自然語言處理領域中，可應用於文本分類、輿情監管、智能客服等場景，在業界公認的測試模型Bert-Base上，同時兼顧性能和精度，在FP32高精度下性能是業界一般產品的1.5倍。

· 在電商、短視頻推薦場景中，可實現精准、高效、實時的目標內容投放，在業界流行的主流推薦模型xDeepFM上，性能是業界一般產品的2倍，因為采用FP32高精度的推理，推薦內容更准確。

燧原科技創始人兼COO張亞林表示：“日益豐富的邊緣AI推理應用，要求在邊緣實現低延遲、高吞吐量的人工智能，諸如基於不同地點之間連續的數據流實現實時感知、理解和執行。搭載了雲燧i10的浪潮邊緣計算服務器NE5260M5，可以為企業客戶提供強大的邊緣計算能力，以處理來自客戶和設施交互中產生的海量原始數據，從而快速制定人工智能決策以驅動業務的更好發展。”

浪潮邊緣計算事業部總經理孫波表示：“AI和5G的拉動下，AI不斷向邊緣場景滲透。浪潮作為全球領先的計算力提供商，目前已面向工業互聯網、智能網聯汽車、城市治理、工業互聯網、產業+AI等七大邊緣計算場景打造豐富的邊緣計算產品形態及方案，基於雲燧i10的浪潮邊緣NE5260M5，將進一步推動AI向邊緣場景的產業化落地，驅動各行業的數字化、智慧化轉型。”