《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > 信通院公布AI代碼大模型評估

信通院公布AI代碼大模型評估

阿里云、華為,、商湯等首批通過
2024-06-12
來源:IT之家

6月11日消息,,中國信息通信研究院公布了可信 AI 代碼大模型評估的首輪評估名單,阿里云通義靈碼,、華為云盤古,、智譜 codegeex 等國產(chǎn) AI 大模型均入選并首批通過。

此次大模型評估以《智能化軟件工程技術和應用要求 第 1 部分:代碼大模型》標準為依據(jù),,圍繞通用能力,、專用場景能力、應用成熟度,,為模型能力提升和企業(yè)選型提供規(guī)范性參考。

1.png

注:《智能化軟件工程技術和應用要求 第 1 部分:代碼大模型》(標準編號 AIIA / PG 0110-2023)標準于 2024 年 1 月 25 日正式發(fā)布,,該標準由中國信通院與中國工商銀行聯(lián)合牽頭發(fā)起,,涵蓋通用能力、專用場景能力和應用成熟度三大部分,包括 100 多個能力要求,。

此次驗證,,依據(jù)標準開展,評價指標覆蓋 6 大通用能力場景,、7 大專用能力場景,、3 大服務成熟度,多維度驗證研發(fā)大模型在研發(fā)場景能力和人效優(yōu)化效果方面的場景豐富度,,重點考察研發(fā)大模型在代碼理解,、代碼生成和補全、研發(fā)問答,、單元測試用例生成等方面的能力支持度,,全方位評估研發(fā)大模型在數(shù)據(jù)合規(guī)性、模型成熟度,、服務成熟度方面的應用成熟度,。

2.png

目前,華為云盤古大模型,、智譜 CodeGeeX 代碼大模型,、阿里云 AI 編程助手通義靈碼、中國電信星辰政務大模型等首批通過評估,,并在全部 100 多個能力評估中表現(xiàn)優(yōu)秀,,獲得 4 + 評級。

3.png

4.png

以阿里云通義靈碼為例,,信通院評測結(jié)果顯示:

在通用能力方面,,通義靈碼在代碼轉(zhuǎn)換、代碼檢查及修復,、代碼優(yōu)化等方面表現(xiàn)突出,;

在專用場景方面,通義靈碼提供網(wǎng)站開發(fā),、數(shù)據(jù)庫開發(fā),、大數(shù)據(jù)開發(fā)、嵌入式開發(fā)等多個場景支持能力,;

在應用成熟度方面,,通義靈碼具備較完善的數(shù)據(jù)合規(guī)及數(shù)據(jù)分類分級機制,且模型穩(wěn)定性及可維護性表現(xiàn)優(yōu)異,,在模型推理性能,、模型服務風險可控性等方面均表現(xiàn)優(yōu)秀。

公開資料顯示,,AI 代碼大模型首輪評估于今年 3 月啟動,,主要面向適用于金融,、科技、互聯(lián)網(wǎng),、電信,、軟件等各行業(yè),生產(chǎn),、使用或計劃使用代碼大模型的企業(yè),,評估結(jié)果旨在為模型廠商提供代碼大模型能力的評價和指導標準,以及為模型應用方提供有效衡量其能力水平的標準依據(jù),。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點,。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問題,,請及時通過電子郵件或電話通知我們,,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected]