榜單發(fā)布人、清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘翟季冬教授介紹說(shuō)，AIPerf是面向智能算力評(píng)估的國(guó)際性排行榜，其于2020年首次在中國(guó)超級(jí)算力大會(huì)上發(fā)布榜單。相比傳統(tǒng)超算性能排行榜，AIPerf榜單是對(duì)智能算力評(píng)測(cè)領(lǐng)域的有效補(bǔ)充。

清華大學(xué)翟季冬教授發(fā)布AIPerf榜單

“中國(guó)的智算、超算等算力發(fā)展非常迅速，許多省市都建設(shè)了智算中心。”翟季冬說(shuō)，對(duì)于公眾而言，人們需要一個(gè)簡(jiǎn)單明晰的指標(biāo)來(lái)了解“哪個(gè)智算中心的算力更強(qiáng)”“智算中心的算力到底如何”等問(wèn)題，AIPerf就是在此背景下誕生的。

今年的AIPerf延續(xù)了2024年的做法，包含三部分：采用經(jīng)典卷積模型評(píng)價(jià)智能算力訓(xùn)練性能的AIPerf、以大語(yǔ)言模型訓(xùn)練效果評(píng)價(jià)智能算力性能的AIPerf-LLM、以大模型推理效能評(píng)價(jià)智能算力性能的AIPerf-Inference。

據(jù)介紹，AIPerf測(cè)試程序具有“提供一個(gè)分?jǐn)?shù)”“可變計(jì)算規(guī)模”“計(jì)算有人工智能意義”“多機(jī)通信可以少但不能沒(méi)有”等特點(diǎn)，其得分結(jié)果對(duì)于可測(cè)評(píng)系統(tǒng)的訓(xùn)練性能有直觀反映。

在今年的排行榜上，北京超級(jí)云計(jì)算中心提交的兩臺(tái)新機(jī)器榜上有名，分別位列該榜單第一、第三位。作為，位于榜首的“新面孔”，北京超級(jí)云計(jì)算中心以NVIDIA RTX5090打造的系統(tǒng)，共有1194個(gè)節(jié)點(diǎn)，總卡數(shù)近萬(wàn)張；此前的榜首、由鵬城實(shí)驗(yàn)室與華為公司聯(lián)合打造的AI計(jì)算系統(tǒng)——“鵬城云腦II”屈居次席。

基于AIPerf-LLM，翟季冬發(fā)布了以“大模型訓(xùn)練能力”作為區(qū)分的算力排行榜。在可測(cè)的若干智能計(jì)算系統(tǒng)中，北京超級(jí)云計(jì)算中心、阿里云部署在復(fù)旦大學(xué)的智算集群等位列前茅。

AIPerf-Inference有兩個(gè)榜單，分別為“吞吐榜”和“延遲榜”，以適應(yīng)不同推理任務(wù)的不同特征需要。其中，在“吞吐榜”上，北京超級(jí)云計(jì)算中心2臺(tái)智算系統(tǒng)、新疆?dāng)?shù)算電科技技術(shù)有限責(zé)任公司和北京清程極智科技有限公司共同開(kāi)發(fā)的系統(tǒng)位列榜單 Top3。

張?jiān)迫芯繂T和翟季冬教授為上榜單位（部分）頒發(fā)證書

隨著AI的發(fā)展，我們計(jì)劃增加一個(gè)以大模型Tokens調(diào)用性能為評(píng)測(cè)基準(zhǔn)的榜單AIPing (aiping.cn)，評(píng)測(cè)不同MaaS平臺(tái)的服務(wù)性能。現(xiàn)在還在籌劃階段，希望征求一下同行領(lǐng)域?qū)＜业慕ㄗh。翟季冬說(shuō)，目前團(tuán)隊(duì)已經(jīng)在這方面做了一些準(zhǔn)備和測(cè)試工作，“今年只是拋一個(gè)磚，未來(lái)希望有更多的MaaS（模型作為服務(wù)）平臺(tái)開(kāi)展性能測(cè)試”。