Anthropic 是一家美国的人工智能初创企业和公益公司，由 OpenAI 的前成员创立。Anthropic 专注于开发通用 AI 系统和语言模型，并秉持负责任的 AI 使用理念。Anthropic 开发的 Claude 2 于 2023 年七月推出。
根据 Anthropic AI团队的一项研究，建立在最常见学习范式之一的人工智能（AI）大型语言模型（LLMs）倾向于告诉人们他们想听到的东西，而不是生成包含真实信息的输出。
这是首批深入探讨 LLMs 心理学的研究之一，Anthropic 的研究人员发现，人类和 AI 都倾向于在一些时候选择所谓的奉承性回应，而非真实信息的输出。
根据该团队的研究论文:
本质上，这篇论文表明，即使是最强大的 AI 模型的回应也有些犹豫不决。在团队的研究中，他们能够通过使用倾向于奉承的语言编写提示，微妙地影响 AI 的输出。
在一个示例中，来自 X（前身为 Twitter）的帖子显示，一个提示表明用户（错误地）认为从太空中看太阳是黄色的。可能是由于提示的措辞方式，AI 在明显的奉承情况下产生了不真实的答案。
论文中的另一个示例显示，表明用户不同意 AI 的输出可能会导致立即出现奉承现象，因为模型在最小的提示下将其正确答案更改为错误答案。
最终，Anthropic 团队得出结论，这个问题可能是由于 LLMs 的训练方式。由于它们使用了充满不同准确性信息的数据集，例如社交媒体和互联网论坛帖子，通常通过一种名为「来自人类反馈的强化学习」（RLHF）的技术来实现对齐。
在 RLHF 范式中，人类与模型互动以调整其偏好。例如，在调整机器对可能引起个人识别信息或危险误信息的提示的响应时，这是有用的。
不幸的是，正如 Anthropic 的研究实证显示的，为调整用户偏好而构建的人类和 AI 模型倾向于选择奉承性答案而非真实答案，至少在「不可忽略」的一部分时间里是这样。
目前，似乎还没有解决这个问题的解决办法。Anthropic 建议，这项工作应激励「开发超越使用无辅助、非专家人类评级的训练方法」。
