6月12日消息,,近日,復(fù)旦大學(xué)NLP(自然語(yǔ)言處理)實(shí)驗(yàn)室LLMEVAL團(tuán)隊(duì)發(fā)布了2024年高考數(shù)學(xué)大模型評(píng)測(cè)的結(jié)果,。
在這次評(píng)測(cè)中,阿里千問(wèn)和訊飛星火分別獲得了2024高考數(shù)學(xué)新I卷的第一名和第二名,,以及高考數(shù)學(xué)新II卷的第二名和第一名,,兩份考卷的評(píng)測(cè)中,GPT-4o均列第三名,。
復(fù)旦NLP團(tuán)隊(duì)認(rèn)為,,全新出爐的高考試題具備高度的獨(dú)創(chuàng)性和保密性,是用來(lái)評(píng)測(cè)大模型的絕好評(píng)測(cè)集合,。在新Ⅰ卷中,,阿里千問(wèn)和訊飛星火對(duì)14道數(shù)學(xué)客觀題的準(zhǔn)確率達(dá)到70%以上,大幅領(lǐng)先GPT-4o的57%,,字節(jié)豆包,、智譜清言、百川等大模型緊隨其后,,準(zhǔn)確率超過(guò)50%,,百度文心一言,、騰訊元寶、Kimi等大模型準(zhǔn)確率較低,。
而在在新Ⅱ卷的評(píng)測(cè)中,,訊飛星火、阿里千問(wèn),、GPT-4o準(zhǔn)確率均超過(guò)60%,,其他大模型的差距較小,除百川,、DeepSeek和海螺之外,,準(zhǔn)確率均在50%以上。
數(shù)學(xué)能力是GPT-4o一直以來(lái)引以為傲的能力模塊,,OpenAI在5月14日的發(fā)布會(huì)上推出大語(yǔ)言模型GPT-4o時(shí),,曾重點(diǎn)演示其數(shù)學(xué)能力。
在現(xiàn)場(chǎng)演示中,,GPT-4o利用其實(shí)時(shí)的圖像識(shí)別和語(yǔ)音能力進(jìn)行在線教學(xué),。從評(píng)測(cè)結(jié)果可以看出,阿里千問(wèn)和訊飛星火對(duì)數(shù)學(xué)問(wèn)題的深入理解和分析能力已經(jīng)超過(guò)GPT-4o,,使其在高考數(shù)學(xué)試題的解答上具有更高的準(zhǔn)確率,。有網(wǎng)友表示,做數(shù)學(xué)題畢竟還是咱中國(guó)人的特長(zhǎng),。
以阿里千問(wèn)和訊飛星火為代表,,國(guó)產(chǎn)人工智能大模型在數(shù)學(xué)領(lǐng)域的出色能力,為未來(lái)人工智能技術(shù)在教育領(lǐng)域的應(yīng)用提供了有力支持,。