近日，中国信通院发布《可信人工智能产业生态发展报告（2022年）》。中国信通院曾提出可信人工智能的基本内涵，即“‘可信’反映了人工智能系统、产品和服务在安全性、可靠性、可解释、可问责等一系列内在属性的可信赖程度。”

报告指出，全球可信人工智能发展态势向好，可信人工智能产业生态加快形成。在应用场景方面，已经涌现出面向隐私安全保护、风险识别与控制、数据传输与共享等的诸多案例，并已在医药、制造等领域实现商业化应用。产品设备方面，已经逐步渗透至医疗设备与器械、智能终端、智能驾驶、智能机器人、虚拟现实设备等领域。

在智慧医疗场景下，人工智能作为一种“通用”技术，几乎渗透医疗系统所有领域，从临床决策到生物医学研究和卫生系统管理等，将临床医生从非临床事务中解放出来，在影像诊断、药物发现、肿瘤诊治等行医过程中甚至具有更高的效率。

如何在人工智能可信框架内规范智慧医疗，高效发挥人工智能技术作用至关重要。可信治理框架强调透明度、信任的重要性，可信人工智能在医疗领域的推广能够在保护数据隐私的同时打通数据群岛、实现数据价值、提升医疗算法的可解释性，从而提高社会整体医疗水平与效率。目前，医疗行业内存在数据共享难、分析难的困境，并伴随着医疗数据异构、类型复杂等问题。

智慧医疗领域的典型可信需求与实践

可信人工智能在医疗领域的运用主要体现在医疗辅助诊断、药物发现与罕见病治疗方面。

医疗辅助诊断方面，可信人工智能能够实现高质量医疗服务的标准化，缓解地区医疗水平发展不平衡的问题。通过数字化、标准化的专家经验和知识图谱，可将高质量医疗服务复制并输出，增加医疗资源的总体供给，快速提升基层医院的医疗水平，使得患者无论是在发达地区或是偏远地区，均可就近就医，享受到基本同质的医疗服务，促进医疗卫生资源均衡化发展。

药物研发和罕见病研究方面，以联邦学习协同各机构合作，提高精度和成功率，保护病人隐私。单个机构罕见病数据量偏少且高度有偏，共享存在高壁垒、高成本、高机密性等困难，在联邦学习框架下，机构之间仅通过共享模型权重即可协同训练，彼此增强模型效果，还可通过蒸馏学习解决参与聚合的模型参数量过大的问题，维护系统稳定性。

此外，将随机对照试验（RCT）作为检验医疗人工智能创新的金标准，保证泛化性和可靠性（随机对照试验通常被认为是医学临床试验的黄金标准，2021年Nature Review Cancer的一篇研究显示，3578项与深度学习相关的癌症诊断技术研究中，符合三期临床RCT标准的仅有3项）。目前，结肠镜计算机辅助诊断、冠脉CTA等领域已经开展了符合医学标准的科学验证，从而保证医疗人工智能的准确度和可靠性。

在发达国家和地区，医疗设备和器械产品水平总体领先，通用电气、飞利浦、西门子等企业垄断了医疗器械行业的主要份额，尽管我国企业也抓紧机遇快速发展，但中高端诊疗设备仍主要依赖进口。

医疗设备和器械的可信能力是监管机构重点关注的能力之一，国家药监局器审中心《医疗器械网络安全注册审查指导原则（2022年修订版）》要求医疗器械对于网络安全威胁应具备必要的识别、保护能力和适当的探测、响应、恢复能力，保密性、完整性等方面的风险在全生命周期应处于可接受水平。

未经授权的泄密已经成为医疗行业数据安全的首要风险，多类型、多型号的IoMT设备分布在多科室，且设备厂商的远程运维方式多样，这导致了风险暴露面积的增加，原有安全防护手段难以应对。

当前，医用级智能可穿戴设备可能将代表性不足的群体排除在医学研究之外。美国国立卫生研究院的一项研究表明，由于设备价格太高，大多数使用智能手表和其他可以追踪健康状况的可穿戴设备的人都是受过良好教育的富有白人，低收入群体和少数种族群体被排除在使用可穿戴数据的研究之外。

通过政府、行业和企业的共同努力，医疗设备与器械领域的可信实践正在加快落地。

从政策标准来看，实践中，医疗设备和器械行业需要遵循法律法规和相关标准的要求，其中既有《网络安全法》《数据安全法》等法律法规，也有相关标准予以规范。此外，监督管理部门根据申请，按照相应的法定程序，对拟上市医疗器械进行系统评价，其中安全性是重要的指标之一。

从产品角度看，由于可解释性差、医疗数据无法完全代表临床决策要素等原因，企业结合应用场景需求和产品特点，运用多种不同的技术手段提升产品可信能力。

报告指出，未来，可信人工智能向着形成产业共识、突出理念落地、优化技术布局、注重动态平衡、强化多元主体发展。报告建议，从加强要素协同、前瞻布局研究、健全标准体系、强化可信流程管理、推动产业交流合作等方面推动深入落地。