澳大利亚领先的 AI 伦理学家 Stefan Harrer 博士发表的一篇 新论文 首次提出了一个全面的伦理框架，用于在医疗保健和医学领域负责任地使用、设计和治理生成 AI 应用程序。

发表在《柳叶刀》eBioMedicine 杂志上的同行评审研究 详细介绍了大型语言模型 (LLM) 如何有可能从根本上改变医疗保健和医学中的信息管理、教育和通信工作流程，但同样仍然是最危险和最容易被误解的类型之一人工智能。

“LLM 过去既无聊又安全。它们变得令人兴奋和危险，”Harrer 博士说，他也是澳大利亚数字健康研究和开发的主要资助者、数字 健康合作研究中心(DHCRC) 的首席创新官和健康 AI 联盟 (CHAI) 的成员 .

“这项研究呼吁对医疗保健和医学领域的生成人工智能技术进行监管，并为数字健康生态系统的所有利益相关者(开发人员、用户和监管机构)提供技术和治理指导。因为生成式人工智能应该既令人兴奋又安全。”

LLM 是生成式 AI 应用程序的关键组成部分，用于创建新内容，包括响应文本指令的文本、图像、音频、代码和视频。在针对道德设计、发布和使用原则和性能的研究中仔细审查的突出例子包括 OpenAI 的聊天机器人 ChatGPT、谷歌的聊天机器人 Med-PALM、Stability AI 的图像生成器 Stable Diffusion 和微软的 BioGPT 机器人。

该研究强调并解释了医疗保健的许多关键应用：

协助临床医生生成医疗报告或预授权信;

帮助医学生更有效地学习;

简化临床医患沟通中的医学术语;

提高临床试验设计的效率;

帮助克服 EHR 挖掘中的互操作性和标准化障碍;

使药物发现和设计过程更加高效。

然而，该论文还强调，LLM 以前所未有的规模权威和令人信服地制作和传播虚假、不适当和危险内容的能力所产生的 LLM 驱动的生成 AI 的固有危险，在最近围绕发布了最新一代强大的 LLM 聊天机器人。

减轻医疗保健中 AI 风险的框架

作为研究的一部分，Harrer 博士确定了一组全面的风险因素，这些因素与使用 LLM 技术作为健康和医学领域的生成人工智能系统的一部分特别相关，并为每个因素提出了风险缓解途径。该研究强调并分析了 LLM 技术的道德和不道德发展的现实生活用例。

“优秀的参与者选择遵循道德路径来构建安全的生成式 AI 应用程序。然而，不良行为者却反其道而行之：仓促地将 LLM 驱动的生成式 AI 工具产品化并发布到快速增长的商业市场，他们拿用户的福祉以及 AI 和知识数据库的完整性进行大规模。这种动态需要改变，”Harrer 博士说。

Harrer 博士认为，LLM 的局限性是系统性的，其根源在于他们缺乏语言理解能力。

“有效的知识检索的本质是提出正确的问题，而批判性思维的艺术取决于一个人通过评估其对世界模型的有效性来探究反应的能力。法学硕士不能执行这些任务。它们是中间人，可以将对提示的所有可能反应的范围缩小到最有可能的反应，但无法评估提示或反应是否有意义或是否适合上下文，”Harrer 博士说。

因此，他建议增加训练数据量和构建更复杂的 LLM 不会减轻风险，反而会放大风险。该研究提出了替代方法，以符合伦理(重新)设计生成人工智能应用程序，塑造监管框架，并指导技术研究努力探索伦理设计和使用原则的实施和执行方法。

Harrer 博士提出了一个监管框架，其中包含 10 条原则，用于减轻生成人工智能在健康方面的风险：

将人工智能设计为增强人类决策者能力的辅助工具，而不是取代他们;

设计 AI 以产生性能、使用和影响指标，解释 AI 何时以及如何用于协助决策制定和扫描潜在偏见，

研究目标用户群体的价值体系并设计 AI 以遵循这些价值体系;

在任何概念或开发工作开始时声明设计和使用 AI 的目的，

公开所有训练数据来源和数据特征;

设计 AI 系统以清晰透明地标记任何 AI 生成的内容;

根据数据隐私、安全和性能标准持续审核 AI;

维护用于记录和共享 AI 审计结果的数据库，就模型功能、局限性和风险对用户进行教育，并通过重新训练和重新部署更新的算法来提高 AI 系统的性能和可信度;

在雇用人类开发人员时应用公平工作和安全工作标准;

建立法律优先权来定义在什么情况下可以使用数据来训练人工智能，并建立版权、责任和问责制框架来管理训练数据的法律依赖性、人工智能生成的内容以及人类使用这些数据做出的决定的影响。

Harrer 博士说：“如果没有人为监督、指导和负责任的设计和操作，LLM 驱动的生成式 AI 应用程序将仍然是一种派对把戏，具有以前所未有的规模制造和传播错误信息或有害和不准确内容的巨大潜力。”

他预测，该领域将从目前竞争激烈的 LLM 军备竞赛转变为更加细致和风险意识更强的实验阶段，在健康、医学和生物技术领域进行研究级生成人工智能应用，这将为数字领域的利基应用提供首批商业产品。未来 2 年内的健康数据管理。

“思考生成式 AI 和 LLM 有朝一日可能在医疗保健和医学领域发挥变革性作用，我受到了启发，但我也敏锐地意识到，我们还远未到那一步，尽管大肆宣传，LLM 驱动的生成式 AI如果研究和开发社区在将这种变革性技术推向市场成熟的过程中旨在实现同等水平的道德和技术完整性，则可能只会获得临床医生和患者的信任和认可。”

对这项研究的评论

“DHCRC 在将有道德的人工智能转化为实践方面发挥着关键作用，”DHCRC 首席执行官 Annette Schmiede 说。“人们对生成人工智能在医疗保健转型中的作用产生了新的热情，我们正处于一个转折点，人工智能将开始越来越多地融入数字健康生态系统。我们处于前线，像本文概述的框架将成为确保合乎道德和安全地使用人工智能的关键。”

“有道德的人工智能需要一种生命周期方法，从数据管理到模型测试，再到持续监控。只有采用正确的指导方针和护栏，我们才能确保我们的患者从新兴技术中受益，同时最大限度地减少偏见和意外后果，”Mayo Clinic Platform 总裁兼 CHAI 联合创始人、医学博士、理学硕士 John Halamka 说。

“这项研究为生成人工智能的用户、开发人员、提供者和监管者提供了重要的道德和技术指导，并激励他们负责任地共同为这项技术在健康和医学中可能发挥的变革性作用做准备，”首席医学博士 Brian Anderson 说。 MITRE 的数字健康医师。