由企業(yè)大模型專(zhuān)家、AI算法工程師、醫(yī)院信息部門(mén)和臨床醫(yī)生組建聯(lián)合研發(fā)團(tuán)隊(duì)，在醫(yī)院場(chǎng)景中直接開(kāi)發(fā)、測(cè)試和應(yīng)用大模型，實(shí)施研發(fā)應(yīng)用一體化策略，加速大模型落地應(yīng)用�；�于多模態(tài)影像、通用文本、病歷文書(shū)等語(yǔ)料，構(gòu)建醫(yī)療影像-文本大模型和醫(yī)療文本大模型。前者突破傳統(tǒng)AI影像的單病種、單器官的研發(fā)范式，充分利用大語(yǔ)言模型的文本理解能力，自動(dòng)挖掘醫(yī)學(xué)影像和診斷報(bào)告的相關(guān)性，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)快速標(biāo)注，融合語(yǔ)言生成和圖像處理兩種技術(shù)，構(gòu)建圖文混合模態(tài)的生成大模型，從醫(yī)學(xué)影像直接生成診斷報(bào)告，實(shí)現(xiàn)一掃多查。后者通過(guò)學(xué)習(xí)大量專(zhuān)業(yè)語(yǔ)料和臨床病歷，輔助醫(yī)生書(shū)寫(xiě)病歷和進(jìn)行質(zhì)控，減輕醫(yī)生工作量，提升書(shū)寫(xiě)質(zhì)量和效率。

當(dāng)前，醫(yī)學(xué)影像AI已有不少落地場(chǎng)景，但大部分長(zhǎng)于計(jì)算分析，尚不能直接產(chǎn)生報(bào)告，且對(duì)每個(gè)應(yīng)用都要訓(xùn)練特定模型，訓(xùn)練時(shí)需要人工/半人工標(biāo)注數(shù)據(jù)，標(biāo)注工作耗時(shí)費(fèi)力。因此，能夠快速自動(dòng)標(biāo)注數(shù)據(jù)、實(shí)現(xiàn)多病同查、直接生成最終報(bào)告的影像AI更為符合臨床需要。

結(jié)構(gòu)化、內(nèi)容完整、數(shù)據(jù)準(zhǔn)確、撰寫(xiě)及時(shí)的高質(zhì)量病歷是醫(yī)療安全和質(zhì)量的重要保證，涉及醫(yī)保支付和醫(yī)院評(píng)價(jià)。完整病歷包括入院記錄、首程記錄、鑒別診斷、手術(shù)計(jì)劃、執(zhí)行手術(shù)、手術(shù)記錄、出院記錄、術(shù)后隨訪等豐富內(nèi)容，需要醫(yī)生記錄客觀數(shù)據(jù)并進(jìn)行大量推理，大大增加了醫(yī)生負(fù)擔(dān)。病歷質(zhì)控、結(jié)構(gòu)化和輔助信息推斷臨床需求較大。

本項(xiàng)目主要基于自研的影智醫(yī)療大模型，直接采用“研發(fā)應(yīng)用一體化”策略，組建由大模型專(zhuān)家、信息部門(mén)、算法工程師和臨床專(zhuān)家的混合團(tuán)隊(duì)，在復(fù)旦大學(xué)附屬中山醫(yī)院內(nèi)開(kāi)展模型的訓(xùn)練、測(cè)試和應(yīng)用。一是在影像科，開(kāi)發(fā)落地醫(yī)療影像-文本大模型產(chǎn)品，突破傳統(tǒng)的醫(yī)療影像AI模型的研發(fā)范式，實(shí)現(xiàn)從影像到完整報(bào)告的自動(dòng)生成。二是在臨床科室（心外和呼吸內(nèi)科），開(kāi)發(fā)落地醫(yī)療文本大模型產(chǎn)品，實(shí)現(xiàn)臨床輔助診斷和電子病歷輔助結(jié)構(gòu)化書(shū)寫(xiě)。

醫(yī)生根據(jù)影像書(shū)寫(xiě)報(bào)告的過(guò)程本質(zhì)就是對(duì)影像進(jìn)行專(zhuān)業(yè)的文本描述，我們基于這一點(diǎn)設(shè)計(jì)“圖像-文本大模型”�！皥D像-文本大模型”具有顯著的優(yōu)勢(shì)，不僅可以充分利用大語(yǔ)言模型LLM的語(yǔ)言理解能力，自動(dòng)挖掘文本報(bào)告和醫(yī)學(xué)影像內(nèi)容的相關(guān)性，跳過(guò)繁瑣的精細(xì)標(biāo)注步驟，還可以打破單病種/單器官逐一攻克的研發(fā)范式，同時(shí)學(xué)習(xí)到多種器官、病灶的影像特征。

在中山醫(yī)院影像科的開(kāi)發(fā)工作中，我們重點(diǎn)針對(duì)冠狀動(dòng)脈CT血管造影 (CCTA)、乳腺鉬靶（FFDM)、胸部CT、腦部MR等多模態(tài)影像數(shù)據(jù)進(jìn)行自動(dòng)分析，目標(biāo)是基于病人信息和醫(yī)學(xué)影像快速生成放射影像報(bào)告。目前已經(jīng)實(shí)現(xiàn)第一步目標(biāo)——開(kāi)發(fā)出一種通用的醫(yī)學(xué)圖像分割大模型gMIS，該大模型可以只使用少量新樣本，就能快速拓展到新的器官或者病灶，如在大模型學(xué)習(xí)腎動(dòng)脈血管分割任務(wù)時(shí)，僅需10個(gè)腎動(dòng)脈訓(xùn)練數(shù)據(jù)就可以達(dá)到傳統(tǒng)小模型需要使用200+個(gè)數(shù)據(jù)才能達(dá)到的性能水平，顯著提升了醫(yī)療AI的研發(fā)效率。

影智文本大模型是基于100B token的中英文醫(yī)學(xué)語(yǔ)料庫(kù)訓(xùn)練而成，涵蓋醫(yī)學(xué)論文、教科書(shū)和診斷指南，確保了模型的專(zhuān)業(yè)性和準(zhǔn)確性。該模型能根據(jù)住院病人的病歷記錄和醫(yī)患對(duì)話信息，自動(dòng)生成患者住院期間全流程不同階段的結(jié)構(gòu)化病歷，如首次病程錄、手術(shù)記錄、單病種上報(bào)文件及出院小結(jié)等。同時(shí)，模型還能根據(jù)病史輔助生成診斷建議，供醫(yī)生選擇使用。此外，醫(yī)生可利用本模型輕松完成臨床文本數(shù)據(jù)的導(dǎo)入與管理。該產(chǎn)品在嚴(yán)格標(biāo)準(zhǔn)下的診斷準(zhǔn)確率已達(dá)80%以上。在推理階段，模型的處理速度高達(dá)50 token/s，USMLE 考試分?jǐn)?shù)為74分（超過(guò)ChatGPT3.5得分），表明其專(zhuān)業(yè)水平符合醫(yī)療執(zhí)業(yè)標(biāo)準(zhǔn)。此外，我們整合了RAG（檢索增強(qiáng)的生成）技術(shù)，使模型在生成文本時(shí)能進(jìn)行動(dòng)態(tài)檢索，提高生成內(nèi)容的準(zhǔn)確性和相關(guān)性，進(jìn)一步提升醫(yī)療文本處理的效率和質(zhì)量。

我們的模型能夠在影像分析中自動(dòng)完成復(fù)雜的數(shù)據(jù)處理，顯著提升工作效率，減輕醫(yī)務(wù)人員負(fù)擔(dān)。此外，通過(guò)提供輔助診斷功能，模型能夠?yàn)獒t(yī)生提供準(zhǔn)確的診斷建議，幫助他們更快更精準(zhǔn)地作出決策，從而提高醫(yī)療服務(wù)質(zhì)量。

目前影智大模型已經(jīng)在中山醫(yī)院的幾個(gè)科室落地使用。未來(lái)將通過(guò)知識(shí)服務(wù)收費(fèi)和個(gè)人知識(shí)庫(kù)嵌入為醫(yī)生提供一個(gè)平臺(tái)，使其能夠根據(jù)個(gè)人需求進(jìn)行自主創(chuàng)新，同時(shí)利用用戶反饋進(jìn)行模型的持續(xù)迭代。除了通過(guò)入院模式與醫(yī)院進(jìn)行合作外，也基于移動(dòng)APP平臺(tái)，吸引普通用戶和醫(yī)生用戶參與。此外，我們也在構(gòu)建算力生態(tài)和語(yǔ)料生態(tài)，以支持模型的廣泛應(yīng)用和持續(xù)發(fā)展。

本項(xiàng)目形成的技術(shù)可以平移到其他醫(yī)院，從而構(gòu)建一個(gè)開(kāi)放和持續(xù)進(jìn)步的商業(yè)模式。