清华大年夜学天然说话处理实验室(THUNLP)与 OpenBMB 团队的研究人员宣布了题为《H-Neurons:>

论文地址:https://arxiv.org/pdf/2512.01797

在辨认方面,研究证实 LLMs 中存在一个比例极低的稀少神经元子集(占总神经元数量不到 0.1% ),这些 H-Neurons 可以或许靠得住地猜测幻觉的产生。官方数据显示,该猜测才能在从通用常识到生物医学等不合范畴和场景中展示出极强的泛化性。

在行动影响方面,经由过程受控干涉实验,研究揭示了 H-Neurons 与模型的“过度服从”(Over-compliance)行动之间存在因果接洽。干涉实验证实,这些神经元会强迫模型优先推敲知足用户 Prompt 的需求,即便 Prompt 中包含缺点的前提,模型也会选择逢迎用户而非保持事实本相,这被认为是幻觉产生的核心物理来源。

在来源追溯方面,研究人员将这些神经元定位到了预练习(Pre-trained)基本模型阶段。研究发明,这些神经元在预练习时代就已经具备了对幻觉检测的猜测性,注解幻觉偏向并非产生于后期微调,而是深植于基本模型的“下一个 Token 猜测”这一练习目标中。

该研究成果将 LLMs 的宏不雅行动模式与微不雅神经机制连接起来,为解决 LLMs 事实精确性问题以及开辟更靠得住的模型供给了看法。今朝,该研究论文已提交至 arXiv。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部