近日，上海市人工智能實(shí)驗(yàn)室發(fā)布中文醫(yī)療大模型權(quán)威評(píng)測(cè)平臺(tái)MedBench 4.0，這是國(guó)內(nèi)首個(gè)面向垂直大模型、專用大模型、應(yīng)用場(chǎng)景的醫(yī)療大模型評(píng)測(cè)與驗(yàn)證體系。業(yè)內(nèi)人士介紹，MedBench 4.0為衡量醫(yī)學(xué)AI產(chǎn)品性能與可靠性提供了科學(xué)標(biāo)尺，保障了醫(yī)療人工智能產(chǎn)品質(zhì)量的提升與行業(yè)良性競(jìng)爭(zhēng)。

據(jù)悉，中文醫(yī)療大模型權(quán)威評(píng)測(cè)平臺(tái)MedBench首發(fā)于2023年年中，目前更新至第四版。上海人工智能實(shí)驗(yàn)室醫(yī)療和評(píng)測(cè)中心負(fù)責(zé)人徐捷介紹，本次升級(jí)包含大語言模型、多模態(tài)大模型及智能體三大技術(shù)范式，深度對(duì)齊國(guó)家《衛(wèi)生健康行業(yè)人工智能應(yīng)用場(chǎng)景參考指引》，覆蓋60個(gè)全自主構(gòu)建評(píng)測(cè)集，共70萬余專業(yè)評(píng)測(cè)題。

記者從上海市人工智能實(shí)驗(yàn)室了解到，針對(duì)大語言模型評(píng)測(cè)，平臺(tái)圍繞醫(yī)學(xué)知識(shí)問答、語言理解、生成、復(fù)雜推理及安全倫理等維度構(gòu)建了評(píng)測(cè)集，并創(chuàng)新引入科學(xué)指標(biāo)體系，以緩解模型信息遺漏或幻覺生成等問題對(duì)評(píng)測(cè)結(jié)果的影響；針對(duì)多模態(tài)大模型評(píng)測(cè)，瞄準(zhǔn)醫(yī)療影像、檢測(cè)報(bào)告等臨床核心場(chǎng)景，平臺(tái)可覆蓋目標(biāo)檢測(cè)、圖像分類、多模態(tài)報(bào)告質(zhì)控、序列影像理解、病程動(dòng)態(tài)追蹤等10項(xiàng)細(xì)分任務(wù)，填補(bǔ)了中文醫(yī)療多模態(tài)評(píng)測(cè)領(lǐng)域的技術(shù)缺口；針對(duì)智能體評(píng)測(cè)，平臺(tái)則重點(diǎn)解決智能體執(zhí)行斷層的問題，推動(dòng)醫(yī)療智能體從“能對(duì)話”向“能執(zhí)行、能協(xié)作”演進(jìn)。

對(duì)于醫(yī)療大模型評(píng)測(cè)的意義，徐捷告訴記者，評(píng)測(cè)首先可以驗(yàn)證醫(yī)療大模型的合規(guī)性，其次是驗(yàn)證其專業(yè)性，比如會(huì)不會(huì)誤診、漏診或者開錯(cuò)藥，最終幫助市場(chǎng)更好地訓(xùn)練出優(yōu)質(zhì)的醫(yī)療大模型。

記者注意到，目前，不少通用大模型如深度求索、千問等都可以分析體檢報(bào)告和檢查報(bào)告。那么，醫(yī)療大模型的價(jià)值何在呢？

對(duì)此，徐捷介紹稱，主流通用大模型可以滿足日常健康咨詢。評(píng)測(cè)顯示，國(guó)內(nèi)頭部通用大模型的醫(yī)學(xué)能力已經(jīng)超過國(guó)外同類產(chǎn)品。但對(duì)于需要給出專業(yè)判斷的醫(yī)療場(chǎng)景，例如要做哪些檢查、如何解讀報(bào)告、應(yīng)開什么藥或者中醫(yī)方劑等，大模型還需整合大量醫(yī)學(xué)數(shù)據(jù)、專家醫(yī)案和臨床經(jīng)驗(yàn)等語料。醫(yī)療大模型能高效處理海量信息，提供循證參考，有助于提升醫(yī)生診療水平、補(bǔ)足基層醫(yī)療短板，進(jìn)而實(shí)現(xiàn)醫(yī)學(xué)普惠。

除推出權(quán)威評(píng)測(cè)平臺(tái)，上海人工智能實(shí)驗(yàn)室還聯(lián)合專業(yè)醫(yī)療機(jī)構(gòu)和相關(guān)企業(yè)，推出了兒童眼病智能篩查與精準(zhǔn)干預(yù)系統(tǒng)、胃腸多模態(tài)輔助診療大模型等醫(yī)療人工智能應(yīng)用。