《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 人工智能 > 業(yè)界動(dòng)態(tài) > 中國(guó)信息通信研究院開展醫(yī)療健康大模型效能評(píng)估工作

中國(guó)信息通信研究院開展醫(yī)療健康大模型效能評(píng)估工作

2024-10-11
來(lái)源:C114通信網(wǎng)

近年來(lái),黨中央,、國(guó)務(wù)院高度重視以大模型為代表的人工智能技術(shù),,《2024年政府工作報(bào)告》中強(qiáng)調(diào)要積極推動(dòng)人工智能在各行各業(yè)深度賦能,培育新質(zhì)生產(chǎn)力,,促進(jìn)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型和智能化升級(jí),。為促進(jìn)人工智能與醫(yī)療健康的跨界融合,中國(guó)信息通信研究院在行業(yè)主管部門指導(dǎo)下,,按照“標(biāo)準(zhǔn)先行”的工作路徑,,聯(lián)合產(chǎn)學(xué)研用醫(yī)各方,共同搭建醫(yī)療健康行業(yè)大模型標(biāo)準(zhǔn)體系,,已形成技術(shù)要求,、測(cè)試方法及成熟度評(píng)估三大系列。

1.png

·技術(shù)要求系列:包含總體技術(shù)要求,、應(yīng)用技術(shù)要求,、合成服務(wù)治理總體要求、安全能力總體要求四個(gè)方面,。重點(diǎn)關(guān)注大模型的基礎(chǔ)設(shè)施,、數(shù)據(jù)處理、安全治理等通用技術(shù)規(guī)范,;同時(shí)聚焦醫(yī)療健康領(lǐng)域的特定需求,,如醫(yī)院測(cè)醫(yī)療服務(wù)、患者側(cè)醫(yī)療服務(wù),、智慧醫(yī)保,、公共衛(wèi)生,、臨床科研、醫(yī)學(xué)教育,、健康管理,、傳統(tǒng)中醫(yī)等;

·測(cè)試方法系列:制定大模型性能評(píng)估和應(yīng)用效果驗(yàn)證的標(biāo)準(zhǔn)方法,;

·成熟度評(píng)估系列:研究面向不同用戶提供特定服務(wù)的醫(yī)療健康行業(yè)大模型成熟度模型架構(gòu),,包含咨詢、預(yù)防,、診斷,、治療、康復(fù)等場(chǎng)景,。

同時(shí),,中國(guó)信通院依托系列標(biāo)準(zhǔn),為多家技術(shù)廠商提供醫(yī)療健康大模型的能力符合性驗(yàn)證,,持續(xù)完善評(píng)價(jià)細(xì)則,,提升標(biāo)準(zhǔn)實(shí)用性和適用性,助力行業(yè)大模型規(guī)范化,、集約化發(fā)展,。

2024年6月起,中國(guó)信通院選取GPT4,、GPT-4O等國(guó)外通用大模型,,文心一言、通義千問,、混元和智譜清言ChatGLM等國(guó)內(nèi)通用大模型,,靈醫(yī)Bot、夸克健康助手,、訊飛星火醫(yī)療大模型和華佗GPT II等醫(yī)療健康行業(yè)大模型展開效能評(píng)估,。通過(guò)構(gòu)建測(cè)試數(shù)據(jù)集、開展符合性驗(yàn)證和模擬實(shí)際應(yīng)用場(chǎng)景,,邀請(qǐng)醫(yī)療健康,、人工智能領(lǐng)域十余位專家形成評(píng)估小組,對(duì)參測(cè)大模型的多輪問詢結(jié)果進(jìn)行準(zhǔn)確性,、完整性,、流暢性、可解釋性等維度的綜合評(píng)分,,考察大模型在多學(xué)科知識(shí)問答,、多形式語(yǔ)言理解、多場(chǎng)景文書生成,、多環(huán)節(jié)輔助診療,、多輪對(duì)話交互,、多模態(tài)支持等六大方向的實(shí)際應(yīng)用效能,助力醫(yī)療健康行業(yè)大模型的規(guī)范化發(fā)展,,支持醫(yī)療機(jī)構(gòu)選取可信大模型產(chǎn)品,,協(xié)助技術(shù)廠商加快能力提升。

2.png

結(jié)果顯示,,通用大模型在醫(yī)學(xué)知識(shí)廣度方面具有一定優(yōu)勢(shì),,醫(yī)療健康行業(yè)大模型在特定醫(yī)療任務(wù)上表現(xiàn)優(yōu)異。

以訊飛星火醫(yī)療大模型為例,,在個(gè)人畫像,、健康干預(yù)方案、病歷文書生成及質(zhì)控,、檢驗(yàn)檢查報(bào)告解讀,、體檢報(bào)告單解讀、藥盒解讀等細(xì)分任務(wù)中表現(xiàn)均處于領(lǐng)先,,在健康常識(shí),、疾病百科、用藥知識(shí),、電子病歷結(jié)構(gòu)化,、專業(yè)知識(shí)生活化、考試輔助智能化,、導(dǎo)醫(yī)導(dǎo)診便民化、輔助首診及推薦檢驗(yàn)檢查,、輔助確診,、疾病輔助診斷、用藥安全指導(dǎo)等方向上均展現(xiàn)高度專業(yè)性,。

3.png

下一步,,中國(guó)信通院將繼續(xù)聯(lián)合醫(yī)療機(jī)構(gòu)、科研院所,、技術(shù)廠商等各界力量,,結(jié)合動(dòng)態(tài)效能評(píng)價(jià)工作經(jīng)驗(yàn),持續(xù)推進(jìn)醫(yī)療健康行業(yè)大模型成熟度系列標(biāo)準(zhǔn)研制,,建立針對(duì)不同醫(yī)療任務(wù)的大模型成熟度評(píng)價(jià)細(xì)則,,確保標(biāo)準(zhǔn)貼合實(shí)際應(yīng)用需求,促進(jìn)能力提升和應(yīng)用落地,。通過(guò)優(yōu)化評(píng)估數(shù)據(jù)集,、構(gòu)建自動(dòng)化測(cè)試平臺(tái),打造可信,、互信的產(chǎn)業(yè)生態(tài),,樹立產(chǎn)業(yè)發(fā)展風(fēng)向標(biāo),,加強(qiáng)人工智能在醫(yī)療健康領(lǐng)域創(chuàng)新應(yīng)用,釋放數(shù)字健康經(jīng)濟(jì)新動(dòng)能,。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問題,,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected]