ChatGPT等人工智能系统可能看起来非常聪明，但西奈山医院主导的一项新研究表明，它们可能会以惊人的类人方式出错——尤其是在进行道德推理时。
通过微妙地调整经典的医学难题，研究人员发现，即使大型语言模型的答案与事实相悖，它们也往往倾向于给出熟悉或直观的答案。这些“快速思考”的失败暴露出了令人担忧的盲点，而这些盲点可能会在临床决策中产生实际影响。
人工智能模型可能在复杂的医学伦理问题上栽跟头
西奈山伊坎医学院（Icahn School of Medicine at Mount Sinai）的研究人员与以色列拉宾医学中心（Rabin Medical Center）及其他机构的研究人员合作开展的一项最新研究发现，即便是当今最先进的人工智能（AI）模型，在处理复杂的医学伦理问题时，也会犯一些令人惊讶的基础性错误。
7月22日，研究结果在线发表于《自然-合作伙伴期刊·数字医学》（NPJ Digital Medicine），引发了人们对在医疗保健环境中使用ChatGPT等大型语言模型（LLM）时应给予多大信任度的担忧。
受卡尼曼启发：快思考与慢思考
本研究借鉴了丹尼尔·卡内曼（Daniel Kahneman）的著作《思考，快与慢》中的概念，该书探讨了本能、快速的决策与缓慢、更审慎的推理之间的对比。先前的观察表明，当对著名的横向思维谜题稍作修改时，大型语言模型可能会陷入困境。基于这一观点，本研究评估了这些人工智能系统在应对经过故意修改的医学伦理场景时，能够在快速推理和缓慢推理之间切换的有效性。
“人工智能可以非常强大且高效，但我们的研究表明，它可能会默认选择最熟悉或最直观的答案，即使这个答案忽略了关键细节，”论文的共同资深作者、伊坎医学院西奈山分校温德赖希人工智能与人类健康系主任、医学博士埃亚尔·克兰格说。“在日常生活中，这种思维方式可能不会引起注意。但在医疗保健领域，决策往往会产生严重的伦理和临床影响，忽视这些细微差别可能会对患者造成真正的不良后果。”
性别偏见难题暴露人工智能局限性
为了探究这一趋势，研究团队结合创造性横向思维谜题和稍作修改的知名医学伦理案例，测试了几种市售大型语言模型（LLM）。例如，他们改编了经典的“医生的困境”，这是20世纪70年代一个被广泛引用的谜题，凸显了隐性的性别偏见。在原版故事中，一个男孩和他父亲遭遇车祸受伤，被紧急送往医院，外科医生大喊：“我不能给这个男孩做手术——他是我儿子！”故事的转折在于，这位外科医生其实是男孩的母亲，但很多人由于性别偏见而没有考虑到这种可能性。在研究人员改编的版本中，他们明确指出男孩的父亲就是那位外科医生，消除了歧义。即便如此，一些人工智能模型仍然认为外科医生必须是男孩的母亲。这一错误表明，即使新信息与大型语言模型所熟悉的模式相矛盾，它们仍然会坚持这些模式。
道德情境会引发常规模式错误
在另一个测试大型语言模型是否依赖熟悉模式的例子中，研究人员借鉴了一个经典的道德困境：一对宗教父母拒绝为孩子接受挽救生命的输血。即使研究人员改变了情境，说明父母已经同意，但许多模型仍然建议推翻一个已不存在的拒绝决定。
“我们的研究结果并不表明人工智能在医疗实践中没有一席之地，但它们确实强调了深思熟虑的人类监督的必要性，特别是在需要道德敏感性、细致入微的判断或情绪智力的情境中，”联合资深通讯作者、医学博士、公共卫生硕士、Windreich人工智能与人类健康系主任、哈索·普拉特纳数字健康研究所所长、西奈山伊坎医学院艾琳与亚瑟·M·费斯伯格医学教授、西奈山卫生系统首席人工智能官吉里什·N·纳德卡尼表示。“当然，这些工具可能非常有用，但它们并非万无一失。医生和患者都应该明白，人工智能最好是作为增强临床专业知识的补充手段，而非替代手段，特别是在做出复杂或高风险决策时。最终目标是构建更加可靠且符合伦理的方法，将人工智能融入患者护理。”
人工智能的盲点需警惕
“对熟悉病例的简单调整就暴露出了临床医生无法承受的盲点，”该论文第一作者、拉宾医学中心大卫多夫癌症中心血液学研究所研究员谢利·索弗医学博士表示。“这凸显了我们在患者护理中部署人工智能时，人工监督为何必须占据核心地位。”
接下来，研究团队计划通过测试更广泛的临床案例来拓展他们的工作。他们还在开发一个“人工智能保障实验室”，以系统评估不同模型处理现实世界医学复杂性的能力。
这篇论文的标题是《大型语言模型在医学伦理推理中的陷阱》。
根据期刊所列，本研究的作者为 Shelly Soffer 医学博士、Vera Sorin 医学博士、Girish N. Nadkarni 医学博士，公共卫生硕士以及 Eyal Klang 医学博士。
参考文献：《大型语言模型在医学伦理推理中的陷阱》，作者：谢莉·索弗、薇拉·索林、吉里什·N·纳德卡尼、艾亚尔·克兰格，发表于《npj数字医学》2025年7月22日，数字对象标识符：10.1038/s41746-025-01792-y。
不要错过任何一项突破：订阅SciTechDaily新闻通讯。
