2 月 5 日消息,,1 月 29 日新年之際,阿里云公布了其全新的通義千問(wèn) Qwen 2.5-Max 超大規(guī)模 MoE 模型,,號(hào)稱(chēng)在多個(gè)基準(zhǔn)測(cè)試中超越 DeepSeek V3 等競(jìng)爭(zhēng)對(duì)手,。
阿里云今日宣布,Qwen2.5-Max 在 Chatbot Arena 大模型盲測(cè)中超越 DeepSeek-V3,、Open AI o1-mini 和 Claude-3.5-Sonnet 等模型,,以 1332 分位列全球第七名,也是非推理類(lèi)的中國(guó)大模型冠軍,。
同時(shí),,Qwen2.5-Max 在數(shù)學(xué)和編程等單項(xiàng)能力上排名第一,在硬提示(Hard prompts)方面排名第二,。
查詢(xún)公開(kāi)資料獲悉,,Chatbot Arena 是由 LMSYS Org 推出的大模型性能測(cè)試平臺(tái),目前集成了 190 多種模型,。
該榜單采用匿名方式將大模型兩兩組隊(duì),,交給用戶(hù)進(jìn)行盲測(cè),用戶(hù)根據(jù)真實(shí)對(duì)話(huà)體驗(yàn)對(duì)模型能力進(jìn)行投票,。因此,,Chatbot Arena LLM Leaderboard 成為業(yè)界公認(rèn)的最公正、最權(quán)威榜單之一,,也是全球頂級(jí)大模型的最重要競(jìng)技場(chǎng),。
阿里云表示,在 Arena-Hard,、LiveBench,、LiveCodeBench、GPQA-Diamond 及 MMLU-Pro 等主流基準(zhǔn)測(cè)試中,,Qwen2.5-Max 比肩 Claude-3.5-Sonnet,,并幾乎全面超越了 GPT-4o、DeepSeek-V3 及 Llama-3.1-405B,。