大模型基準測試有了 ITU 國際標準，中國信通院牽頭制定

IT之家 4 月 11 日消息，據(jù)中國信通院今日消息，國際電信聯(lián)盟電信標準分局（ITU-T）于 2025 年 3 月正式發(fā)布 ITU-T F.748.44 基礎(chǔ)模型的評估標準：基準測試 / Assessment criteria for foundation models: Benchmark。

該項國際標準由中國信息通信研究院（簡稱“中國信通院”）牽頭制定，規(guī)范了大模型基準測試的指標要求和測試方法。該標準旨在推動大模型基準測試體系架構(gòu)形成國際共識，為大模型技術(shù)提供方和應(yīng)用方提供高質(zhì)量的能力評估依據(jù)，引導(dǎo)大模型技術(shù)及產(chǎn)業(yè)健康有序發(fā)展。

近些年來，如何客觀、全面地衡量大模型能力并且充分挖掘大模型潛在缺陷得到產(chǎn)學(xué)研各界的廣泛關(guān)注。模型基準測試（Benchmark）通過設(shè)計合理的測試任務(wù)和評價數(shù)據(jù)集來客觀、公正、量化的評估模型的性能，是目前產(chǎn)業(yè)界和學(xué)術(shù)界最為認可的模型能力評估方法。

當前已有數(shù)百個基準測試方法和數(shù)據(jù)集用于衡量大模型的能力，例如 MMLU、C-Eval、AGIEval、GSM8K 等。但當前產(chǎn)學(xué)研各界對大基礎(chǔ)模型基準測試的體系、指標、數(shù)據(jù)集、方法、平臺工具等仍未達成一致，缺乏統(tǒng)一的標準，導(dǎo)致大模型評測的結(jié)果公正性受到質(zhì)疑。為進一步推動大模型基準測評的技術(shù)發(fā)展與實際應(yīng)用，充分釋放基準測試在人工智能領(lǐng)域的價值，特聯(lián)合相關(guān)單位開展標準的編制工作。

本次發(fā)布的國際標準基于當前產(chǎn)學(xué)研界 500 余項基準測試系統(tǒng)性研究，一方面確立了大模型基準測試的 4 項核心要素，包括測試維度（測試場景、測試能力、測試任務(wù)和測試指標）、測試數(shù)據(jù)集、測試方法和測試工具。另一方面，針對通用場景的基礎(chǔ)模型，提供了標準化的測試用例和范例流程，以支持企業(yè)規(guī)范開展大模型能力評估。

IT之家從中國信通院官方獲悉，中國信通院人工智能研究所于 2023 年開始布局大模型基準測試研究，并于 2023 年底發(fā)布“方升”大模型基準測試體系，推出自適應(yīng)動態(tài)測試方法，積累 600 萬條數(shù)據(jù)集，構(gòu)建 FactTeting 測試工具，支撐整個大模型測試過程的自動化實施。

自 2024 年以來，參照已發(fā)布的 ITU 大模型基準測試國際標準，對國內(nèi)外標桿大模型以兩個月為周期開展持續(xù)監(jiān)測工作，包括 OpenAI o1、DeepSeek R1、Gemini 2.5 Pro、Claude 3.7 Sonnet、Qwen2.5-Max、百度文心大模型 X1 等上百個測試模型，目前已發(fā)布大語言通用能力、推理能力、代碼能力，多模態(tài)理解能力、文生圖能力、文生視頻能力等多個輪次的評測結(jié)果。國際標準 ITU-T F.748.44 的發(fā)布是大模型測試領(lǐng)域的重要標準化成果，對推動技術(shù)創(chuàng)新和發(fā)展、引領(lǐng)行業(yè)發(fā)展趨勢、促進國際合作與交流等方面具有重要意義。