医联MedGPT AI医生与真人医生一致性评测结果揭晓!专家给出这些意见

6月30日,医联于成都举行了国内首次AI医生与真人医生一致性评测。

作者: 本站编辑 来源: 大健康派 2023-07-06 15:26:17

6月30日,医联于成都举行了国内首次AI医生与真人医生一致性评测。120多位真实患者及10位来自四川大学华西医院的主治医师共同参与了这场评测研究。

据医联方面介绍,在8个小时内,MedGPT 与来自四川大学华西医院的心内科、消化内科、呼吸内科、内分泌科、肾脏内科、骨科、泌尿外科的10位主治及以上医师共同对100余名患者进行问诊。

此次测试的问诊环节设计:

患者进入诊室后,将与医助沟通自身病情,医助通过线上文字输入的方式将患者主诉传达给真人医生与AI医生病协助医患完成多轮沟通,在收集足够的决策因子后,真人医生与 AI 医生为患者开具检查单或诊断,患者直接在成都高新海尔森医院完成检查;在获得检查结果后,患者进行复诊,并由AI医生及真人医生提供临床诊断及治疗方案。

通过以上流程,可以在条件基本一致的情况下,让真人医生与AI医生进行互不干涉的独立诊断。

来自北大人民医院、中日友好医院、阜外医院和友谊医院的7位专家教授针对评测形成的91份有效病例进行了审核,并且针对AI医生的问诊准确性、诊断准确性、治疗建议准确性、辅助检查方案准确性、数据分析准确性、提供可解释信息、自然语言问诊与交互这7个评价维度的打分之后,最终,真人医生综合得分为 7.5分,AI 医生综合得分为 7.2分。AI医生与三甲主治医生在比分结果上的一致性达到了96%。

一.png

二.png

三.png

据介绍,在场评审团专家普遍认为,MedGPT而是通过多轮询问收集足够信息,以确保医疗准确性为前提推进问诊流程,所以出现误诊、漏诊的概率就比较小。

医联介绍,不同于专科医生,MedGPT诊断出了不属于就诊科室的疾病,给出其他具备可能性的判断,这在常规的专科问诊中是很难做到的。专家评审团认为,它的知识覆盖面是超过一些经验并不是很充足的真人医生的。

另附评审专家意见及具体评分:

微信图片_20230706151812.png

王磊:“MedGPT 不会漏掉患者提供的重要信息,询问病史非常全面,避免出现漏诊的情况。知识面也比较丰富,会给患者解答其他科室的问题。但缺乏临床医生的察言观色,无法为病人提供情绪上的照顾。此外就是数据准确性上需要提升。”

微信图片_20230706151851.png

任景怡教授:“我可能是唯一一个给MedGPT打分超过真人医生的,尽管MedGPT还有很多的问题,但我觉得迈出了这一步,算是里程碑的结果。MedGPT它可能有更完善的知识储备,它可以关注到全科的情况。它在诊断不明的时候一直坚持没有给患者以治疗手段,这点我认为值得鼓励,在诊断不明的时候,随便给出治疗手段会犯更大的错误,坚持很重要。有时候 MedGPT 会给出过度治疗的建议,这点需要调整。”

微信图片_20230706151923.png

刘国梁教授:“MedGPT在包括药物过敏预警、处方开具等安全性方面做得好,能够弥补人的不足。但开检查的时候会存在重复推荐的情况。MedGPT可以提前筛选一些患者和提示真人医生没有问到的地方,大大提高诊疗效率,这是我觉得非常重要的一个发展方向。”

微信图片_20230706151958.png

杨跃进教授:“问诊比较详细,它对于每个细节都很注重,作为临床医生的补充是非常有帮助的。但详细有时候意味着重点不突出,有些问题,就需要一查到底,未来还需要继续凝练。”

微信图片_20230706152028.png

宗晔教授:“我给真人医生打分较高,我认为真人医生还是能够抓住重点的,而对MedGPT我要求的还是要更高一些。MedGPT会围绕这个核心的症状,包括诱因、伴随症状,包括胃里面报警症状进行问诊,比较详细。缺点是有些检查选择的比较,这部分还是要加强基础储备。”

微信图片_20230706152059.png

蔡美顺教授:“从病史和检查方面做的都比较全面,但是某些概念的表述准确性上需要优化。总体来说,人工智能还是对我们以后的工作有帮助。”

微信图片_20230706152130.png

薛峰:“超出预期,问诊很详细,可以不知疲倦的和患者耐心沟通,在常见病领域还能起到对患者科普的作用;但是现阶段的AI医生无法实现查体,未来在医学多模态能力上还有突破才有更大的应用价值。”

微信图片_20230706152202.png

AI医生 医联medGPT

关注大健康Pai 官方微信:djkpai我们将定期推送医健科技产业最新资讯