通过"视觉神经增强"机制，径直放大模子中的视觉关节堤防力头输出万博客户端app下载，显赫镌汰模子的幻觉风景。
中科院自动化所和谐新加坡国立大学、东南大学等团队建议大模子幻觉的一种高效的惩办决议 VHR。
此前的主流方法主要通过对王人践诺或输出层散播修正来缓解 LVLMs 的幻觉问题，但这些方法仅作用于模子的最终输出阶段，未能深入干扰其里面表征和生成机制，因此难以收场高效且精确的幻觉约束。
01 小序
大型视觉言语模子（LVLMs）或者献媚视觉和言语信息生成带领的文本申诉，但其输出常因过度依赖言语先验学问而非图像真实实质，导致事实性诞妄。
在图 1 中，通过对委果验揭示言语先验与幻觉风景之间的研究。当给定图像并教导模子「请督察形容该图像」时，模子生成的形容中诞妄地包含「椅子」和「杯子」这类图像中未出现的实体，呈现出典型的幻觉阐发。
为了考据这种幻觉是否源于言语偏好，移除原始图像，再行教导模子根据此前生成的正确形容「图中有一张木桌，桌上有一个花瓶」进行补全。落幕久了，模子补全的实质与之前的幻觉部分显赫重复，这标明模子并非基于视觉依据进行推理，而是系统性地依赖言语共现时势来生成实质。
这一风景阐述了 LVLMs 产生的幻觉并非马上诞妄，而是受到其里面言语建模偏好的系统性影响。
图 1. 揭示 LVLMs 中幻觉风景与言语偏好研究的示例。当幻觉发生时（对话 1），移除图像输入并教导模子补全形容（对话 2）。其输出实质与幻觉生成部分高度通常。
现时主流惩办决议（如对王人践诺、解码优化）主要通过对输出层的落幕进行干扰来缓解幻觉问题。这类"终局干扰"方法固然肤浅灵验，但未能波及模子产生幻觉的根柢原因——即堤防力机制里面的对抗衡性。最新斟酌发现：
在多头堤防力模块中，部分堤防力头会优先处理输入高下文信息（如图像特征）
而另一些头则更倾向于激活模子讲求中的言语行径（如"桌子 - 椅子"共现研究）
这种功能分化造成了潜在的风险，可能导致模子过度依赖参数化学问而刻薄视觉字据。
为量化这一风景，建议视觉感知头散度（VHD）——该目的能测量每个堤防力头对视觉输入的反馈强度。通过 VHD 分析发现模子中的少数堤防力头对视觉信息阐发出显有名锐性，而大大都头则更依赖于言语行径。这很可能是多模态模子平凡产生幻觉的关节原因之一。
基于此设立了视觉感知头增强（VHR）时代。该方法通过识别并强化对视觉信息明锐的堤防力头的输出，灵验减少了模子对言语先验的依赖，从而显赫镌汰了幻觉风景。实考据明，VHR 在多个基准测试中均优于现存方法，同期保抓了高效性，简直不增多特等的时期支拨。
02 VHR
视觉感知头的识别
团队领先建议 VHD 目的，用于量化堤防力头对视觉信息的明锐度。VHD 旨在猜度每个堤防力头在生成历程中对视觉高下文的依赖进度。具体而言，关于第 层的第 个堤防力头，其 VHD 得分蓄意如下：
其中，为欧式距离，示意堤防力头的输出， 和 隔离代表视觉和文本输入。VHD 通过对比有无图像输入时堤防力头输出的互异，量化其对视觉信息的明锐度。实验发现，仅有少数堤防力头阐发出高 VHD 值，标明模子里面存在视觉感知与言语偏好头的显赫分化。
进一步，咱们建议 Token-VHD（T-VHD）目的，团员每层中 VHD 得分最高的 个头，以评估生成每个词时模子对视觉信息的依赖进度：
统计标明，幻觉词平凡对应较低的 T-VHD 值，考据了言语偏好是幻觉的主要诱因之一。
视觉感知头的增强
基于 VHD 的分析，VHR 通过以下体式动态强化视觉明锐的堤防力头：
1. 相配 VHD 过滤：为避将就化因视觉缺失而相配激活的堤防力头，对知足以下要求的 VHD 得分置零：
其中 猜度无视觉输入时堤防力头的激活强度。
2. 堤防力头取舍与强化：每层取舍 VHD 得分前 50% 的堤防力头，将其输出缩放 $alpha$ 倍。
其中 为高 VHD 堤防力头集会。此操作通过重定向堤防力模块的输出见地，增强视觉高下文的孝顺。
3. 分层渐进式增强：为幸免层间干扰，取舍逐层强化政策，并在首步生成时笃定每层的关节堤防力头。
为了评估 VHR 方法的灵验性，在 CHAIR、POPE 和 LLaVABench 三个基准及多个大模子上与基线方法对比了后果。部分定量的实验落幕如下表所示。更多落幕烦请移步论文或代码。
△表 1. MSCOCO 数据集上的 CHAIR 评估落幕
△表 2. POPE 数据集上的 F1 分责怪幕；图 6. 不同方法的推理时期对比 03 SSL
此外，SSL 方法从语义引导的角度启程，通过分析模子里面表征空间来缓解 LVLMs 的幻觉问题。
该方法受到疏淡自编码器（SAEs）在 LLMs 语义表征斟酌中见效应用的启发，将其拓展到 LVLMs 界限：领先期骗 SAE 识别出"幻觉"和"真实"两种语义见地，然后在模子特定层进行针对性干扰。具体而言，关于视觉信息交融阶段，注入真实语义见地以增强视觉示意的诚挚性；关于言语生成阶段，则通过落幕约束模子在幻觉语义方朝上的投影，减少幻觉实质的产生。
值得堤防的是，固然本斟酌使用在 LLaVA-Next-8b 模子上践诺的 SAE，但其识别的语义见地在其他架构的 LVLMs（如 LLaVA1.5-7b，InstructBLIP-7b）中也起到了缓解幻觉的作用，展现出细腻的跨模子移动智商。这一发现不仅考据了 SAE 在 LVLM 语义知道中的普适性价值，更为跨模子幻觉缓解斟酌拓荒了新旅途。
图 3. SSL 方法框架图：通过 SAE 识别 LVLM 里面表征空间中的幻觉语义见地和真实语义见地，并在特定层通过转念残差流引导生成历程，莳植事实一致性。
VHR 论文和谐： https://arxiv.org/abs/2412.13949
代码和谐： https://github.com/jinghan1he/VHR
SSL 论文和谐： https://arxiv.org/abs/2505.16146
一键三连「点赞」「转发」「小心心」
接待在批驳区留住你的思法！
— 完 —
� � 点亮星标 � �
科技前沿进展逐日见万博客户端app下载