全球首个糖尿病诊疗多模态大模型发布!

近日,全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统——DeepDR-LLM发布。

作者: 北京清华长庚医院、生物世界 来源: 北京清华长庚医院、生物世界 2024-08-12 15:28:52

近日,清华大学、北京清华长庚医院眼科知名专家黄天荫教授团队、上海交通大学电院计算机系/教育部人工智能重点实验室盛斌教授团队、上海交通大学医学院附属第六人民医院贾伟平教授和李华婷教授团队、新加坡国立大学覃宇宗教授团队研究团队通过医工交叉合作研究,构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统——DeepDR-LLM。

微信图片_20240812152536.png

糖尿病诊疗多模态大模型系统概览

据悉,该系统利用37.2万条基层慢病诊疗和管理数据、超50万张眼底图像进行训练优化,可实现基于临床信息的糖尿病管理意见推荐、基于眼底图像精准预测糖尿病视网膜病变进展,进而生成临床诊疗意见,帮助基层医生更好地诊断糖尿病及糖尿病视网膜病变,给患者提出个性化的诊疗意见。

DeepDR-LLM系统自去年研制成功后,研究团队对该系统开展了安全性、可靠性、可控性、公平性等多维度的评估,在覆盖亚非欧三大区域七个国家的多中心队列中进行了回顾性验证,以及针对中国基层医疗实际开展了前瞻性真实世界验证。

据介绍,研究团队邀请了10位糖尿病相关学科的著名学者组成国际多学科专家委员会,以专家对每个病例形成的诊疗共识为标准答案,对糖尿病诊疗多模态大模型和基层医生给出的诊疗意见进行盲法评分,发现这一系统产出的糖尿病诊疗意见的质量达到或强于基层医生的水平。

来自北京、上海、广州、武汉及香港等中国城市和新加坡、泰国、英国、乌兹别克斯坦等6个国家的眼底图像对该模型进行外部测试,结果显示其糖尿病视网膜病变诊断能力达到专业眼科医生水平。

此外,团队还开展了随访769名中国基层糖尿病患者的前瞻性研究,证实该系统纳入糖尿病诊疗流程后,可有效提升基层医生的诊疗水平、为患者提供个性化的建议,显著改善新发糖尿病患者的自我管理行为,提高糖尿病视网膜病变患者的转诊依从性。相关成果于近日发表在《自然·医学》。

糖尿病是全球上升最快的主要慢性病,可造成失明、肾功能衰竭、截肢、脑卒中、心肌梗死等。全球糖尿病患者超5亿人,其中80%生活在中低收入国家。我国现有糖尿病人数约1.4亿,居全球之首,糖尿病防治形势更为严峻,尤其在基层和偏远地区缺乏糖尿病管理适宜技术,基层医生的数量和经验远不能满足糖尿病管理的实际需求。糖尿病的患病率不断上升对中国及全球的公共卫生构成重大挑战,亟需构建糖尿病一体化管理的适宜性数字解决方案,赋能基层医疗。

微信图片_20240812152548.png

糖尿病诊疗多模态大模型系统纳入基层糖尿病管理诊疗流程的愿景

黄天荫教授表示:“糖尿病诊疗多模态大模型具备的辅助诊断及意见推荐功能,有望大幅改善中低收入国家的基层糖尿病管理和治疗水平,进而改善糖尿病患者预后,为未来全球糖尿病管理提供了革命性的数字解决方案。”

糖尿病诊疗 多模态大模型 DeepDR-LLM

关注大健康Pai 官方微信:djkpai我们将定期推送医健科技产业最新资讯