《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > OpenAI宣布開源SimpleQA新基準(zhǔn)

OpenAI宣布開源SimpleQA新基準(zhǔn)

專治大模型“胡言亂語”
2024-10-31
來源:IT之家
關(guān)鍵詞: OpenAI SimpleQA 大模型

當(dāng)?shù)貢r(shí)間 30 日,,OpenAI 宣布,為了衡量語言模型的準(zhǔn)確性,,將開源一個(gè)名為 SimpleQA 的新基準(zhǔn),,可衡量語言模型回答簡短的事實(shí)尋求(fact-seeking)問題的能力,。

AI 領(lǐng)域中的一個(gè)開放性難題是如何訓(xùn)練模型生成事實(shí)正確的回答,。當(dāng)前的語言模型有時(shí)會產(chǎn)生錯(cuò)誤輸出或未經(jīng)證實(shí)的答案,,這一問題被稱為“幻覺”。能夠生成更準(zhǔn)確,、更少幻覺的回答的語言模型更為可靠,,可以用于更廣泛的應(yīng)用領(lǐng)域。

0.jpg

OpenAI 表示,,目標(biāo)是使用 SimpleQA 創(chuàng)建一個(gè)具備以下特點(diǎn)的數(shù)據(jù)集:

高正確性:問題的參考答案由兩名獨(dú)立的 AI 訓(xùn)練師驗(yàn)證,,以確保評分的公正性,。

多樣性:SimpleQA 涵蓋廣泛主題,,從科學(xué)技術(shù)到電視節(jié)目與電子游戲應(yīng)有盡有,。

前沿挑戰(zhàn)性:與 TriviaQA(2017 年)或 NQ(2019 年)等早期基準(zhǔn)相比,,SimpleQA 更具挑戰(zhàn)性,,尤其針對如 GPT-4o 等前沿模型(例如,,GPT-4o 的得分不足 40%)。

高效用戶體驗(yàn):SimpleQA 問題與答案簡潔明了,,使操作快速高效,,并可通過 OpenAI API 等進(jìn)行快速評分,。此外,包含 4326 道問題的 SimpleQA 在評估中應(yīng)具有較低的方差,。

SimpleQA 將是一個(gè)簡單但具有挑戰(zhàn)性的基準(zhǔn),用于評估前沿模型的事實(shí)準(zhǔn)確性,。SimpleQA 的主要限制在于其范圍 —— 盡管 SimpleQA 準(zhǔn)確,但它只在短查詢的受限設(shè)置中測量事實(shí)準(zhǔn)確性,,這些查詢是事實(shí)導(dǎo)向的,并且有一個(gè)可驗(yàn)證的答案,。

OpenAI 表示,模型在短回答中表現(xiàn)出的事實(shí)性是否與其在長篇,、多事實(shí)內(nèi)容中的表現(xiàn)相關(guān),,這仍是個(gè)懸而未決的研究課題。其希望 SimpleQA 的開源能夠進(jìn)一步推動 AI 研究的發(fā)展,,使模型更加可信并富有可靠性,。 


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容,、版權(quán)和其它問題,請及時(shí)通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118,;郵箱:[email protected],。