2022年末ChatGPT的推出，不仅成为生成式人AI发展的重要里程碑，也预示着医疗领域可能即将迎来一场技术革新。生成式AI技术被寄予厚望，能够提高医疗安全和质量、降低成本，并改善患者和临床医生的体验。然而，随之而来的是，生成式AI可能会给患者安全带来新的威胁。

医疗保健改进研究所 (IHI) 下属智库 IHI Lucian Leape召集了一个专家组编写了一份报告。该专家组由亚马逊、谷歌和微软等大型科技公司以及哈佛医学院、Leapfrog Group 和 Kaiser Permanente 等的领导者组成。研究目标是，共同确定生成式AI的实际应用领域，指出潜在的威胁，并就如何最大限度地提高效益和减少伤害提出建议。

IHI 总裁兼首席执行官 Kedar Mate指出，关于生成式AI将如何在我们的环境中部署，还有很多问题尚未解决。他也表示，在这项技术全面应用之前，应当确保大家所关切的问题得到充分考虑。

从生成式AI在医疗领域的数百种潜在用途中，专家组选择了“文档支持”、“临床决策支持”和“面向患者的聊天机器人”这三个用例进行审查和研究，并且在报告中指出，这三个用例广泛代表了未来几年人工智能的预期临床用途。

围绕这三种用例，专家组讨论了临床中实施生成式AI的的潜在好处、风险和挑战，对缓解和监测这些风险的策略进行了详细审查，并对生成式AI对于患者安全的影响展开了评估。

然而，生成式AI工具的引入也可能带来新的工作量，例如，如果有些核对工作需要人工审核，那么将会给临床医生带来更多工作量。此外，医疗系统可能将效率提升转化为更高的生产率期望（例如看更多的病人、阅读更多的X光片或病理切片），这反而可能增加临床医生的工作负担。

对生成式AI输出的内容进行人工监督这一点也可能给患者带来重大挑战。专家组成员认为，AI输出的内容可能在很多时候有一定的准确度，但并不完美，因此最终的签核将由人类操作员执行，这样的“技术”与“人工”的二元组合被广泛采用，反而可能会由于人类在审查中的偏差，导致更复杂的风险。

专家组也针对这样的问题提出了一些潜在的解决方案，例如：对AI系统进行编程，增强输出的可信度；采用各种策略，以确保负责验证AI结果的人员能保持警惕，并顺利找出AI结果的漏洞；审核临床医生更改AI生成内容的频率，给予“提示”；在设计人工智能系统时，应要求临床医生首先进行评估等等。

此外，专家组成员还表达了对患者自主权的担忧，特别是普通公众是否能在真正知情的情况下同意使用AI，包括他们的数据是否会被共享或出售。

然而，临床医生对这些工具的准确性和可信度仍持保留态度。历史上，类似工具的评估并未显示出预期的临床医生行为改进效果，且存在“垃圾进垃圾出”的问题，即输入数据的不准确性直接影响输出结果的可靠性。此外，基于人工智能的CDSS的可信度因“黑箱”问题——缺乏透明度而受到质疑。

AI本身的弱点，AI领域监管的缺乏、以及人们对于医疗记录本身的不准确的担忧等等，多种因素都会导致生成式AI准确性降低。 虽然基于 生成式AI 的 CDSS 可能会比以前版本的 CDSS 产生更可靠的结果，但一些困扰 CDSS 在实际临床中使用的核心问题不太可能仅仅通过采用更好的算法来解决。

然而，聊天机器人的使用也带来了一系列挑战，包括可能削弱患者与临床医生之间的信任关系；如果不进行适当的开发和监控，AI聊天机器人可能会进行误导甚至有害的对话；此外，AI聊天机器人需要证明有管理复杂医疗病例的能力、要考虑并发症以及协调相互冲突的信息和利益；信息流和分流也是关键问题，如果没有得到适当校准，聊天机器人的应用可能会导致患者在及时获得救治的问题上带来损害。

专家组成员强调，医疗系统必须向患者披露AI聊天机器人的使用情况，以减少任何混淆，并在患者和使用该技术的医疗系统之间建立信任。

在报告中，专家组成员也对生成式AI在改善患者安全方面的潜力进行了肯定。例如，生成式AI能够帮助汇总并检查事故报告、护理事件和根本原因分析数据；利用数据实时识别和解决安全问题；找出长期导致安全问题的诱因；改进审计跟踪；协助重新设计工作流程；培训安全和质量专业人员；以及将患者体验和反馈纳入安全工作等。

另一方面，专家组也强调，生成式AI也可能造成伤害，需要以谨慎和怀疑的态度来看待这项技术，并对信任、透明度、准确性以及以人为本的设计和实施展开呼吁。无论监管层面采取什么样的措施，在医疗环节中，这些工具提供给患者，就将会有成千上万的使用案例和数以万计的算法得到实施。这意味着，生成式AI是改善还是损害安全，可能更多取决于医院、医疗系统和患者家中发生的情况，而不仅仅是关注监管层面的动向。