近幾年,大模型推動(dòng)人工智能技術(shù)迅猛發(fā)展,極大地拓展了機(jī)器 智能的邊界,展現(xiàn)出通用人工智能的“曙光”。如何準(zhǔn)確、客觀、全 面衡量當(dāng)前大模型能力,成為產(chǎn)學(xué)研用各界關(guān)注的重要問題。設(shè)計(jì)合 理的任務(wù)、數(shù)據(jù)集和指標(biāo),對大模型進(jìn)行基準(zhǔn)測試,是定量評價(jià)大模 型技術(shù)水平的主要方式。大模型基準(zhǔn)測試不僅可以評估當(dāng)前技術(shù)水平, 指引未來學(xué)術(shù)研究,牽引產(chǎn)品研發(fā)、支撐行業(yè)應(yīng)用,還可以輔助監(jiān)管 治理,也有利于增進(jìn)社會公眾對人工智能的正確認(rèn)知,是促進(jìn)人工智 能技術(shù)產(chǎn)業(yè)發(fā)展的重要抓手。全球主要學(xué)術(shù)機(jī)構(gòu)和頭部企業(yè)都十分重 視大模型基準(zhǔn)測試,陸續(xù)發(fā)布了一系列評測數(shù)據(jù)集、框架和結(jié)果榜單, 對于推動(dòng)大模型技術(shù)發(fā)展產(chǎn)生了積極作用。然而,隨著大模型能力不 斷增強(qiáng)和行業(yè)賦能逐漸深入,大模型基準(zhǔn)測試體系還需要與時(shí)俱進(jìn), 不斷完善。
本研究報(bào)告首先回顧了大模型基準(zhǔn)測試的發(fā)展現(xiàn)狀,對已發(fā)布的 主要大模型評測數(shù)據(jù)集、體系和方法進(jìn)行了梳理,分析了當(dāng)前基準(zhǔn)測試存在的問題和挑戰(zhàn),提出了一套系統(tǒng)化構(gòu)建大模型基準(zhǔn)測試的框架 —— “方升”大模型基準(zhǔn)測試體系,介紹了基于“方升”體系初步開 展的大模型評測情況,并對未來大模型基準(zhǔn)測試的發(fā)展趨勢進(jìn)行展望。 面向未來,大模型基準(zhǔn)測試仍存在諸多開放性的問題,還需要產(chǎn)學(xué)研 各界緊密合作,共同建設(shè)大模型基準(zhǔn)測試標(biāo)準(zhǔn),為大模型行業(yè)健康有 序發(fā)展提供有力支撐
人工智能技術(shù)發(fā)展迅速,大模型、RAG、AGENT、 具身智能、 AGI等新概念和新技術(shù)層出不窮。大模型基準(zhǔn)測試作為研究較為深入 的領(lǐng)域,將帶動(dòng)其他新技術(shù)的研究。當(dāng)前雖然 AGI 仍未有明確的定 義,但針對 AGI 的探索性評測研究已有初步成果。例如微軟發(fā)布論 文《通用人工智能的火花:GPT-4 的早期實(shí)驗(yàn)》,通過數(shù)學(xué)、編程、 視覺、醫(yī)學(xué)、法律、心理學(xué)等復(fù)雜度較高的任務(wù)證明GPT-4已經(jīng)進(jìn)入 AGI 的早期階段。北京通用人工智能研究院發(fā)布《通智測試:通用人 工智能具身物理與社會測試評級系統(tǒng)》,提出一種基于能力和價(jià)值維 度的 AGI 的評測方法。中國科學(xué)院和美國俄亥俄州立大學(xué)等先后推 出AGIBench 和MMMU 評測數(shù)據(jù)集,從多模態(tài)、多學(xué)科、多粒度等 維度衡量大模型距離AGI 的差距。雖然當(dāng)前AGI 的發(fā)展仍然處于初 期階段,但通過基準(zhǔn)測試的研究,可以為未來 AGI 的發(fā)展方向提供 思路,并對AGI 的能力進(jìn)行監(jiān)控以指引其正向發(fā)展。
商用機(jī)器人 Disinfection Robot 展廳機(jī)器人 智能垃圾站 輪式機(jī)器人底盤 迎賓機(jī)器人 移動(dòng)機(jī)器人底盤 講解機(jī)器人 紫外線消毒機(jī)器人 大屏機(jī)器人 霧化消毒機(jī)器人 服務(wù)機(jī)器人底盤 智能送餐機(jī)器人 霧化消毒機(jī) 機(jī)器人OEM代工廠 消毒機(jī)器人排名 智能配送機(jī)器人 圖書館機(jī)器人 導(dǎo)引機(jī)器人 移動(dòng)消毒機(jī)器人 導(dǎo)診機(jī)器人 迎賓接待機(jī)器人 前臺機(jī)器人 導(dǎo)覽機(jī)器人 酒店送物機(jī)器人 云跡科技潤機(jī)器人 云跡酒店機(jī)器人 智能導(dǎo)診機(jī)器人 |