最新基準測試顯示，搭載 NVIDIA B200 的 Supermicro 系統(tǒng)性能優(yōu)于上一代系統(tǒng)，每秒令牌（Token）生成量是上一代系統(tǒng)的 3 倍
加利福尼亞州圣何塞2025年4月3日 /美通社/ -- Super Micro Computer, Inc. (SMCI)，是一家為 AI/ML、HPC、云端、存儲和 5G/Edge 提供全面 IT 解決方案的供應商，該公司宣布使用 NVIDIA HGX? B200 8-GPU 在多個 MLPerf Inference v5.0 基準測試中率先實現(xiàn)了業(yè)界領先的性能。在特定基準測試中，4U 液冷和 10U 風冷系統(tǒng)實現(xiàn)了最佳性能。與 H200 8-GPU 系統(tǒng)相比，Supermicro 在 Llama2-70B 和 Llama3.1-405B 基準測試中展示了每秒生成令牌數(shù) (Token/s) 超過 3 倍的效果。
"Supermicro 依然是人工智能行業(yè)的領先者，MLCommons 于 2025 年發(fā)布的首批新基準測試就證明了這一點。"Supermicro 總裁兼首席執(zhí)行官梁見后（Charles Liang）表示說，"我們的構(gòu)建塊架構(gòu)使我們能夠率先向市場推出針對各種工作負載進行優(yōu)化的多種系統(tǒng)。我們將繼續(xù)與 NVIDIA 密切合作，以微調(diào)我們的系統(tǒng)，并確保在 AI 工作負載方面的領先地位。"
要了解有關(guān)新 mlPerf v5.0 推理基準測試的更多信息，請訪問：https://mlcommons.org/benchmarks/inference-datacenter/
Supermicro 是唯一一家發(fā)布風冷和液冷 NVIDIA HGX? B200 8-GPU 系統(tǒng) MLPerf 推理性能記錄（在特定基準上）的系統(tǒng)供應商。在 MLCommons 基準測試開始日期之前，風冷和液冷系統(tǒng)均已投入運行。Supermicro 工程師對系統(tǒng)和軟件進行了優(yōu)化，以展示其令人印象深刻的性能。在營業(yè)利潤率范圍內(nèi)，Supermicro 風冷 B200 系統(tǒng)表現(xiàn)出與液冷 B200 系統(tǒng)相同的性能水平。在我們進行基準測試的同時，Supermicro 一直在向客戶交付這些系統(tǒng)。
MLCommons 強調(diào)所有結(jié)果均可重現(xiàn)，產(chǎn)品可用，并且結(jié)果可以由其他 MLCommons 成員審計。Supermicro 工程師根據(jù) MLCommons 規(guī)則對系統(tǒng)和軟件進行了優(yōu)化。
SYS-421GE-NBRT-LCC（8x NVIDIA B200-SXM-180GB）和 SYS-A21GE-NBRT（8x NVIDIA B200-SXM-180GB）在運行 Mixtral 8x7B 推理、混合專家基準測試時表現(xiàn)出性能領先優(yōu)勢，速度為 129,000 個 token/秒。基于 Supermicro 風冷和液冷 NVIDIA B200 的系統(tǒng)為大型 Llama3.1-405b 型號提供了超過 1,000 個 token /秒的推理，而前幾代 GPU 系統(tǒng)的結(jié)果要小得多。對于較小的推理任務，使用 LLAMA2-70b 基準，安裝了 NVIDIA B200 SXM-180GB 的 Supermicro 系統(tǒng)展現(xiàn)出一級系統(tǒng)供應商的最高性能。
具體的內(nèi)容包括：
Stable Diffusion XL（服務器）
SYS-A21GE-NBRT（8x B200-SXM-180GB）
#1 queries/s，28.92
llama2-70b-interactive-99（服務器）
SYS-A21GE-NBRT（8x B200-SXM-180GB）
#1 tokens/s，62,265.70
llama3.1-405B（脫機）
SYS-421GE-NBRT-LCC (8xb200-sxm-180GB)
#1 tokens/s 1521.74
llama3.1-405b（服務器）
SYS-A21GE-NBRT（8x B200-SXNM-180GB）
#1 tokens/s，1080.31（適用于 8 個 GPU 節(jié)點）
mixtral-8x7b（服務器）
SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
#1 tokens/s，129,047.00
mixtral-8x7b（離線）
SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
#1 tokens/s，128,795.00
"MLCommons 祝賀 Supermicro 提交了 MLPerf Inference v5.0 基準測試。我們很高興看到他們的結(jié)果與前幾代系統(tǒng)相比顯示出顯著的性能提升，"MLCommons MLPerf 負責人 David Kanter 表示說，"客戶會對所實現(xiàn)的性能改進感到滿意，這些改進已得到中立、代表性和可重復的 MLPerf 結(jié)果得到驗證。"
Supermicro 提供全面的 AI 產(chǎn)品組合，其中包括 100 多個針對 GPU 優(yōu)化的系統(tǒng)，包括風冷和液冷選項，以及多種 CPU 選擇，從單插槽優(yōu)化系統(tǒng)到 8 路多處理器系統(tǒng)。Supermicro 機柜級系統(tǒng)包括計算、存儲和網(wǎng)絡組件，從而減少了交付到客戶現(xiàn)場后安裝所需的時間。
Supermicro 的 NVIDIA HGX B200 8-GPU 系統(tǒng)，采用下一代液體冷卻和空氣冷卻技術(shù)。在相同的 4U 外形尺寸下，新開發(fā)的冷板和新型 250 千瓦冷卻劑分配單元（CDU）的冷卻能力，比上一代產(chǎn)品提高了一倍多。采用全新立式冷卻劑分配歧管 (CDM) 的機柜級設計有 42U、48U 或 52U 配置可供選擇，不再占用寶貴的機架單元。這樣便可實現(xiàn) 8 個系統(tǒng)（42U 機架中配備 64 個 NVIDIA Blackwell GPU）和 12 個系統(tǒng)（52U 機架中配備 96 個 NVIDIA Blackwell GPU）。
新型風冷 10U NVIDIA HGX B200 系統(tǒng)采用重新設計的機箱，具有更大的散熱空間，可容納 8 個 1000W TDP Blackwell GPU。最多 4 個全新 10U 風冷系統(tǒng)可以安裝并完全集成到機架中，其密度與上一代相同，同時提供高達 15 倍的推理和 3 倍的訓練性能。
關(guān)于Super Micro Computer, Inc.
Supermicro（納斯達克股票代碼：SMCI）是應用優(yōu)化整體IT解決方案的全球領軍企業(yè)。Supermicro在加利福尼亞州圣何塞成立并運營，致力于為企業(yè)、云、 AI和5G Telco/Edge IT基礎設施提供率先進入市場的創(chuàng)新技術(shù)。我們是一家提供服務器、人工智能、存儲、物聯(lián)網(wǎng)、交換機系統(tǒng)、軟件和支持服務的整體IT解決方案提供商。Supermicro的主板、電源和機箱設計專業(yè)知識進一步推動了我們的開發(fā)和生產(chǎn)，為我們的全球客戶實現(xiàn)了從云到邊緣的下一代創(chuàng)新。我們的產(chǎn)品均在公司內(nèi)部（包括美國、亞洲和荷蘭）完成設計和制造，通過全球運營實現(xiàn)規(guī)模和效益，從而優(yōu)化總體擁有成本（TCO），并能夠（通過綠色計算）減少對環(huán)境的影響。屢獲殊榮的Server Building Block Solutions®產(chǎn)品組合通過我們靈活可重復使用的構(gòu)建塊，為客戶提供了豐富的可選系統(tǒng)產(chǎn)品系列，用于優(yōu)化其確切的工作負載和應用。這些構(gòu)建塊支持全系列外形規(guī)格、處理器、內(nèi)存、GPU、存儲、網(wǎng)絡、電源和冷卻解決方案（空調(diào)、自然空氣冷卻或液體冷卻）。
Supermicro、Server Building Block Solutions和We Keep IT Green是Super Micro Computer, Inc.的商標和/或注冊商標。
