GPT-4、PaLM 和 Llama 等大型语言模型 (LLM) 在自然语言生成能力方面取得了显着进步。然而，限制其可靠性和安全部署的一个持续挑战是它们倾向于产生幻觉——生成看似连贯但实际上不正确或与输入上下文无关的内容。
随着法学硕士在现实世界的应用中不断变得更加强大和普遍，解决幻觉变得势在必行。本文全面概述了研究人员引入的用于检测、量化和减轻法学硕士幻觉的最新技术。
了解法学硕士中的幻觉
幻觉是指法学硕士产生的事实不准确或捏造，不以现实或所提供的背景为基础。一些例子包括：
- 在生成有关某人的文本时，发明源材料中未证实的传记细节或事件。
- 通过捏造药物副作用或治疗程序来提供错误的医疗建议。
- 炮制不存在的数据、研究或来源来支持主张。
这种现象的出现是因为法学硕士接受了大量在线文本数据的培训。虽然这使他们能够获得强大的语言建模能力，但这也意味着他们学会推断信息，进行逻辑跳跃，并以看似令人信服但可能具有误导性或错误的方式填补空白。
导致幻觉的一些关键因素包括：
- 模式概括 – 法学硕士识别并扩展训练数据中可能无法很好概括的模式。
- 过时的知识 – 静态预训练会阻碍新信息的整合。
- 歧义 – 模糊的提示为错误的假设提供了空间。
- 偏见 – 模型延续并放大了扭曲的观点。
- 接地不足 – 缺乏理解和推理意味着模型生成他们不完全理解的内容。
解决幻觉对于在医学、法律、金融和教育等敏感领域进行值得信赖的部署至关重要，在这些领域产生错误信息可能会造成伤害。
幻觉缓解技术的分类
研究人员引入了多种技术来对抗法学硕士的幻觉，这些技术可分为：
1. 快速工程
这涉及精心设计提示以提供背景信息并指导法学硕士做出事实、扎实的回答。
- 检索增强 – 检索外部证据以了解基础内容。
- 反馈回路 – 迭代地提供反馈以完善响应。
- 及时调整 – 在微调过程中调整提示以获得所需的行为。
2.模型开发
创建模型本质上不太容易通过架构变化产生幻觉。
- 解码策略 – 以增加忠实度的方式生成文本。
- 知识基础 – 纳入外部知识库。
- 新颖的损失函数 – 优化训练期间的忠诚度。
- 监督微调 – 使用人工标记的数据来增强真实性。
接下来，我们调查每种方法下的突出技术。
著名的幻觉缓解技术
检索增强生成
检索增强生成通过检索和调节外部证据文档的文本生成来增强法学硕士，而不是仅仅依赖于模型的隐性知识。这将内容建立在最新的、可验证的信息的基础上，减少了幻觉。
突出的技术包括：
- 鲁尔 – 使用检索器模块为生成 seq2seq 模型提供相关段落。这两个组件都经过端到端训练。
- RARR – 聘请法学硕士研究生成文本中未归属的主张，并对其进行修改以与检索到的证据保持一致。
- 知识检索 – 在生成文本之前使用检索到的知识验证不确定的世代。
- LLM-增强器 – 迭代搜索知识以构建 LLM 提示的证据链。
反馈与推理
利用迭代的自然语言反馈或自我推理，法学硕士可以改进和改进他们的初始输出，减少幻觉。
冠状病毒 采用验证链技术。法学硕士首先起草对用户询问的答复。然后，它会根据对各种声明的信心，生成潜在的验证问题，以对自己的响应进行事实核查。例如，对于描述新的医疗方法的响应，CoVe 可能会产生诸如“该治疗的有效率是多少？”、“它是否已获得监管部门批准？”、“潜在的副作用是什么？”等问题。至关重要的是，法学硕士随后尝试独立回答这些验证问题，而不会因其最初的回答而产生偏见。如果验证问题的答案与原始响应中的陈述相矛盾或不能支持原始响应中的陈述，系统会将其识别为可能的幻觉，并在将其呈现给用户之前完善响应。
连衣裙 专注于通过自然语言反馈调整法学硕士以更好地符合人类偏好。该方法允许非专家用户对模型生成提供自由形式的批评，例如“提到的副作用似乎被夸大了”或细化指令，例如“还请讨论成本效益”。 DRESS 使用强化学习来训练模型，以根据此类反馈生成更符合人类偏好的响应。这增强了交互性，同时减少了不切实际或不受支持的陈述。
混合对齐 处理用户提出与系统检索的证据段落不直接对应的问题的情况。例如，用户可能会问“中国的污染会变得更糟吗？”而检索到的段落讨论了全球污染趋势。为了避免在上下文不足的情况下产生幻觉，当用户不确定如何将他们的问题与检索到的信息联系起来时，MixAlign 会明确向用户进行澄清。这种人机交互机制可以获取反馈，以正确地根据证据并将证据置于背景中，从而防止做出无根据的反应。
自我反省 该技术训练法学硕士使用多任务方法评估、提供反馈并迭代完善自己的回答。例如，给定针对医疗查询生成的响应，模型学习对其事实准确性进行评分，识别任何矛盾或不受支持的陈述，并通过检索相关知识来编辑这些陈述。通过教导法学硕士这种检查、批评和迭代改进自己产出的反馈循环，该方法减少了盲目的幻觉。
及时调整
提示调整允许在微调所需行为期间调整向法学硕士提供的指导提示。
合成特拉 方法在将模型转移到真实的摘要数据集之前采用合成摘要任务来最大限度地减少幻觉。综合任务提供输入段落，并要求模型仅通过检索来总结它们，而不进行抽象。这训练模型完全依赖来源内容，而不是在摘要过程中产生新信息的幻觉。当在目标任务上部署微调模型时，SynTra 可以减少幻觉问题。
起义 训练一个通用提示检索器，为看不见的下游任务的小样本学习提供最佳的软提示。通过检索针对不同任务集的有效提示，该模型可以学习泛化并适应缺乏训练示例的新任务。这可以增强性能，而无需针对特定任务进行调整。
新颖的模型架构
弗莱克 是一个专注于协助人类事实检查者和验证者的系统。它自动识别给定文本中提出的可能可验证的事实主张。 FLEEK 将这些值得检查的语句转换为查询，从知识库中检索相关证据，并将这些上下文信息提供给人类验证者，以有效验证文档的准确性和修订需求。
CAD 解码方法通过上下文感知解码减少语言生成中的幻觉。具体来说，CAD 放大了法学硕士在以上下文为条件时的输出分布与无条件生成时的输出分布之间的差异。这可以防止相互矛盾的背景证据，从而将模型引向脚踏实地的世代。
多拉 通过对比变压器网络不同层的逻辑来减轻事实幻觉。由于事实知识往往局限于某些中间层，因此通过 DoLA 的 logit 对比放大来自这些事实层的信号可以减少不正确的事实生成。
泰姆 框架在训练期间引入了正则化项，以最大限度地减少输入和幻觉输出之间的相互信息。这有助于增加模型对给定输入上下文的依赖，而不是不受束缚的想象力，从而减少盲目的幻觉。
知识基础
让法学硕士一代以结构化知识为基础，防止无节制的猜测和捏造。
rho 扩展 模型识别会话上下文中的实体并将它们链接到知识图（KG）。从知识图谱中检索有关这些实体的相关事实和关系，并将其融合到提供给法学硕士的上下文表示中。这种知识丰富的上下文引导通过将响应与有关所提到的实体/事件的基础事实联系起来来减少对话中的幻觉。
HAVE 创建包含模型生成的幻觉的反事实训练数据集，以更好地教授基础知识。给定一个事实段落，模型会被提示引入幻觉或扭曲，从而产生改变的反事实版本。对这些数据进行微调可以迫使模型更好地了解原始事实来源的内容，从而减少即兴发挥。
监督微调
- Coach – 交互式框架，它回答用户的疑问，但也要求纠正以改进。
- R-调整 – 拒绝感知调整拒绝通过训练数据知识差距识别出的不受支持的问题。
- 调整 – 根据假设支持输入事实的程度对代进行排名的解码方法。
挑战与局限
尽管取得了可喜的进展，但在减轻幻觉方面仍然存在一些关键挑战：
- 技术通常会牺牲质量、连贯性和创造力来换取准确性。
- 难以超出有限领域进行严格评估。指标并不能捕捉所有细微差别。
- 许多方法的计算成本很高，需要大量检索或自我推理。
- 很大程度上依赖于训练数据质量和外部知识源。
- 很难保证跨领域和模式的通用性。
- 过度外推等幻觉的根本根源仍未解决。
解决这些挑战可能需要采用多层方法，结合训练数据增强、模型架构改进、保真度增强损失和推理时间技术。
前方的路
法学硕士的幻觉缓解仍然是一个悬而未决的研究问题，并取得了积极进展。一些有希望的未来方向包括：
- 混合技术：结合检索、知识基础和反馈等互补方法。
- 因果关系建模：增强理解力和推理能力。
- 在线知识整合：保持世界知识更新。
- 正式验证：为模型行为提供数学保证。
- 可解释性：建立缓解技术的透明度。
随着法学硕士在高风险领域的不断激增，开发强大的解决方案来减少幻觉将是确保其安全、道德和可靠部署的关键。本文调查的技术概述了迄今为止提出的技术，其中仍然存在更多开放的研究挑战。总体而言，增强模型真实性存在积极趋势，但持续进步需要解决局限性并探索因果关系、验证和混合方法等新方向。通过跨学科研究人员的不懈努力，强大而值得信赖的法学硕士的梦想可以转化为现实。