11月22日，中国科学院香港创新研究院人工智能与机器人创新中心发布CARES Copilot具身智能手术AI大模型2.0版本，可为临床诊断和决策提供支持。今年3月，1.0版本在香港推出，可以在手术阶段自动识别病灶和解剖结构，实现了图像、文本、语音、视频、MRI、CT、超声等多模态的手术数据理解，并在多家医院的不同科室进行了内部测试和迭代优化。

据介绍，2.0版本经过深度研发、广泛结合临床需求和前沿技术，实现了四大核心升级：

一是MedSearch：提供高效医学搜索与内容生成功能，结合自然语言处理与推荐系统技术，帮助医疗专业人士快速检索与生成结构化医学报告，提升临床决策效率，确保医生能掌握最新的医学知识；

二是MedKnow：整合智能用药建议与知识图谱，提供药物相互作用、适应症与禁忌症等多层次查询，并支持拍照上传药品包装或说明书，利用AI技术自动解析并生成精准用药建议，提升用药安全性；

三是手术报告自动生成系统：专注于呼吸系统诊断，能快速生成详细且专业的手术报告，无缝整合至医院信息系统，优化临床工作流程，减轻医务人员负担；

四是具身应用：基于大语言模型技术，集成数字人定位、机器人运动控制与三维重建，实现全自动超声检查，提升检查准确性与稳定性。

中科院香港创新研究院人工智能与机器人创新中心主任刘宏斌介绍，从整体架构来看，为了保证回答的安全性、可解释性和可追溯性，2.0版本在整体技术设计上做了全面升级。另外是多模态能力，大模型可以理解核磁共振、CT、超声影像，并进行图像转换。此外，2.0版本相较于1.0的数据大幅增加，“1.0只有神经外科一个科室的数据，2.0增加了呼吸科、超声科、麻醉科等科室数据。”

CARES Copilot 1.0推出后，医生多用来进行手术规划，2.0版本则聚焦术中的人机交互，基于多科室的数据训练，进一步完善手术指导功能，能够在手术过程中跟医生进行互动，进行手术导航，实时给医生提示和指导，进行任务的规划和执行。

据悉，中科院香港创新研究院正在打造人工智能体（Embodied AI）手术室，包括微创手术机器人、AI大模型、内窥镜、手术室监控摄像头、超声等实时影像设备，机器臂目前可以帮助医生拿工具，现已完成了四次的尸体实验，刘宏斌表示，手术室可能会在CARES Copilot 3.0时发布。