Words That Make Language Models Perceive¶

会议: NeurIPS 2026
arXiv: 2510.02425
代码: https://github.com/sophicle/sensory
领域: 语音与音频处理
关键词: 感官提示词, 生成式表征, 相互kNN对齐, 跨模态表征几何, 符号接地

一句话总结¶

通过在提示词中加入轻量级感官引导词（如“see”或“hear”）并提取自回归生成过程的隐藏状态均值，纯文本训练的大语言模型能够在无需任何多模态微调的情况下，将其内部表征几何显著对齐到专用视觉（DINOv2）与音频（BEATs）编码器。

研究背景与动机¶

纯文本训练的大语言模型（LLM）是否具备对物理世界感知经验的深层理解，长期以来饱受“符号接地难题”（Symbol Grounding Problem）的拷问。主流观点往往认为文本仅包含对感官现象的次生描述，而缺乏直接的感知经验信号，模型仅仅是在拟合词表共现的表面统计规律。近期柏拉图表征假说（Platonic Representation Hypothesis）指出，随着单模态模型规模扩大，不同模态编码器在表征核结构（Kernel Structure）上展现出自发收敛趋势，暗示存在独立于模态的潜空间结构。

然而，现有研究普遍将这种跨模态表征对齐视为预训练后固定的静态属性，并且几乎全部基于单次前向传播的静态嵌入（Single-pass Embedding）进行度量。这种评估方式面临一个深层矛盾：单次前向嵌入无法捕捉模型在自回归展开过程中动态激活的感知假定；模型在阅读文本描述时，其内部其实维护着关于“何种潜性感官证据促成了该文本”的不确定性分布。若无法在推理时显式激活这一潜性结构，就会系统性低估纯文本模型内部蕴含的感知接地程度。

本文的切入视角是：表征并非单次前向锁定的僵化矢量，而是可以通过自回归推理逐步具象化的动态轨迹。核心 idea：通过引入极简的感官提示词（如“see”或“hear”）引导模型进行自回归生成，并提取横跨全层与生成步的“生成式表征”，能够在推理阶段主动引导文本模型在几何上对齐专用视觉和音频感知编码器。

方法详解¶

整体框架¶

本文构建了一套用于提取与量化语言模型动态感官表征的评估框架。对于给定的文本输入（图像或音频的文本描述），首先拼接感官提示词前缀，随后令冻结的大语言模型自回归生成固定长度的连续文本。在生成过程中，抽取各层注意力与残差流的隐藏状态构建“生成式表征”（Generative Representation），最后基于余弦相似度构建样本核矩阵，利用相互近邻对齐（Mutual $k$-NN Alignment）度量其与冻结的专用感知编码器（如图像领域的 DINOv2、音频领域的 BEATs）之间的几何相似度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入描述 c + 感官提示词 p<br/>（如 SEE 或 HEAR 提示）"] --> B["自回归解码展开<br/>生成长度为 T 的后续文本标记"]
    B --> C["生成式表征提取<br/>跨全层 L 与生成步 T 均值池化"]
    C --> D["构建样本间核相似度矩阵<br/>K_ij = cos(z_i, z_j)"]
    D --> E["相互 k-NN 对齐度量<br/>与专用视觉/音频编码器核对比"]
    E --> F["下游感知决策验证<br/>文本空间 VQA / 扩散生成保真度"]

关键设计¶

1. 生成式表征抽取：打破单次前向嵌入的静态局限 传统表征相似度研究通常直接截取提示词或输入文本最后一个 token 的末层隐藏状态，或者对初始输入的 token 做单次均值池化，记为单次嵌入 $z_e^{(p)}(c) = \frac{1}{Lt}\sum_{\ell=1}^{L}\sum_{i=0}^{t}h_i^{(\ell)}$。本文指出，大语言模型的表征能力在自回归推演时才被充分展开，每一个新生成的 token 都依赖于前序所有步的注意力聚合。为此，设计了跨步长与跨网络层的“生成式表征” $z_g^{(p)}(c, T)$： $$z_g^{(p)}(c, T) = \frac{1}{L(t+T)}\sum_{\ell=1}^{L}\sum_{i=t}^{t+T}h_i^{(\ell)}$$ 其中 $L$ 为模型总层数，$t$ 为前缀长度，$T$ 为生成 token 数量，$h_i^{(\ell)}$ 为第 $\ell$ 层在位置 $i$ 的隐藏状态。残差连接的存在确保了各层隐藏状态的线性均值能够有效汇总模型在整个生成轨迹上的内部表征演进。

2. 相互近邻对齐度量：刻画非参数化的表征空间几何重合度 为衡量文本模型表征空间与专用感知编码器（视觉 DINOv2、音频 BEATs）表征几何的契合度，采用非参数化的相互 $k$ 近邻对齐指标（Mutual $k$-NN Alignment）。给定由余弦相似度导出的核矩阵 $K_{ij}=\cos(z_i, z_j)$，设 $N_k^K(i)$ 表示样本 $i$ 在核 $K$ 下的前 $k$ 个最近邻样本集合。两个模型核 $K$ 与 $K'$ 的对齐度定义为近邻交集比例的经验均值： $$\text{Align}(K, K') = \frac{1}{n}\sum_{i=1}^{n}\frac{|N_k^K(i) \cap N_k^{K'}(i)|}{k}$$ 该指标仅关注几何邻域的拓扑结构与相对排布，不受单模态特征维度不同或旋转偏移的影响，直接衡量两个模型在概念聚类关系上的一致性。

3. 感官提示词引导与双重分离机制：定向激发模态先验 大语言模型对一段中性文本存在潜性模态归因的多义性。通过在前缀注入极简指令（例如“imagine what it would be like to see...”或“imagine what it would be like to hear...”），诱导模型进入特定感官视角。实验发现显著的“双重分离”（Double Dissociation）现象：SEE 提示词会大幅提升 LLM 与视觉编码器 DINOv2 的对齐度，同时抑制其与音频编码器 BEATs 的对齐度；相反，HEAR 提示词则特异性增强与 BEATs 的对齐，降低与 DINOv2 的对齐。更重要的是，单次前向嵌入 $z_e$ 在加入感官提示词后对齐度反而下降，证明感官引导的有效性完全依赖于生成式展开过程中的语义聚焦与细化。

4. 感官词消融与幻觉控制：验证真实结构而非词汇投毒 针对感官对齐是否仅由输出中泛滥的模态高频词汇造成的质疑，设计了两组严密对照。其一是感官词消融实验：在保留生成文本语义主干的前提下，将所有特定模态的感官修饰语替换为中性词汇，结果显示对齐度断崖式下跌；其二是随机视觉词幻觉控制：从 Visual Genome 中随机抽取 10 个无关视觉属性词拼接到原始描述后，相互 $k$-NN 对齐度同样显著恶化。这确证了对齐度提升源于语言模型在感官引导下自发推断出符合场景具体细节的关系结构，而非单纯堆砌词汇。

一个完整示例¶

以 WiT 数据集中的食物描述“Nasi goreng Pattaya (芭提雅炒饭，泰国芭提雅的风味美食，用蛋皮包裹炒饭)”为例： 1. 中性无提示条件（No cue）：LLM 自由续写侧重于百科背景与地理信息（如提及邻近国家流行度、泰式文化背景），此时模型在嵌入空间中的最近邻混合了无关地理词条与爬行动物（如“Lankascincus gansi 斯里兰卡石龙子”、“仁川韩中文化馆”）； 2. 视觉感官提示条件（SEE cue）：模型被引导想象视觉外观，续写内容聚焦于具体外观构件（如“金黄色的煎蛋包裹着炒饭，表面淋着深红色的酱汁，配料包括虾仁、鸡肉块与鲜绿蔬菜”）。其最近邻迅速收敛至“黑莓奶酪薄饼”、“番茄肉酱意面”等高度视觉相似的食物图像样本； 3. 核重合度提升：与 DINOv2 提取的对应图片特征的前 $k=10$ 近邻重合数显著增加，准确捕捉到了场景的外观级相似拓扑。

损失函数 / 训练策略¶

本文的所有核心实验均在完全冻结参数的前提下进行，评估模型涵盖 Qwen3 系列（0.6B、1.7B、4B、8B、14B、32B）、Llama 3/3.1 系列以及 Phi-4。专用感知编码器保持冻结（DINOv2-Base 为 ViT-B/14 768维；BEATs-Iter3 训练于 AudioSet）。推理时采用固定贪心或标准采样解码，生成步长 $T$ 探索了 32、64、128、256 至 512 tokens。全程无需任何微调梯度或辅助多模态损失。

实验关键数据¶

主实验¶

在 MME 多模态基准评测上，采用“无视觉输入 VQA”（VQA without V）设定：先由 Qwen2.5-VL-3B-Instruct 将图像转换为纯文本细节描述，再由 Qwen3-14B 仅依靠文本描述回答布尔判断问题。对比中性提示词（No cue）与视觉感官提示词（SEE cue）的准确率表现。

评估子项	样本量 $n$	中性基线 (No cue)	视觉感官引导 (SEE)	表现差异 ($\Delta$)
艺术品 (artwork)	400	60.50	61.50	+1.00
名人 (celebrity)	340	50.29	51.76	+1.47
代码推理 (code_reasoning)	40	95.00	97.50	+2.50
颜色识别 (color)	60	81.67	81.67	+0.00
常识推理 (commonsense)	140	81.43	82.86	+1.43
物体计数 (count)	60	70.00	75.00	+5.00
存在性判断 (existence)	60	85.00	90.00	+5.00
地标建筑 (landmark)	400	53.50	54.75	+1.25
空间位置 (position)	60	51.67	55.00	+3.33
海报识别 (posters)	294	70.07	78.91	+8.84
场景识别 (scene)	400	70.75	72.25	+1.50
数值计算 (numerical)	40	80.00	80.00	+0.00
文本翻译 (text_translation)	40	97.50	92.50	-5.00
全集总体 (Overall)	2334	64.78	67.14	+2.36

消融与分析实验¶

为了量化模型在视觉与听觉表征维度上的解耦能力，在表征空间构建视觉-听觉差异判别轴向 $v = \frac{\mu_{\text{SEE}} - \mu_{\text{HEAR}}}{\|\mu_{\text{SEE}} - \mu_{\text{HEAR}}\|}$，并计算投影分离度统计量（$\Delta\mu$ 表示均值差异，Cohen's $d$ 表示效应量，AUROC 表示单阈值分类区分度）。

评测数据集	模型规格	均值位移 $\Delta\mu$	效应量 Cohen's $d$	区分度 AUROC
WiT (图像-文本)	Qwen3-4B	6.6	1.95	0.92
WiT (图像-文本)	Qwen3-8B	13.3	2.13	0.94
WiT (图像-文本)	Qwen3-14B	19.0	2.34	0.96
WiT (图像-文本)	Qwen3-32B	21.0	2.65	0.97
AudioCaps (音频-文本)	Qwen3-4B	10.6	3.14	0.98
AudioCaps (音频-文本)	Qwen3-8B	19.4	3.10	0.98
AudioCaps (音频-文本)	Qwen3-14B	28.8	4.11	0.99
AudioCaps (音频-文本)	Qwen3-32B	32.4	4.52	1.00

关键发现¶

生成步长呈现倒 U 型趋势：自回归生成从 32 步延长至 256 步时，表征对齐度单调递增，短生成步往往仅输出复述提示词的废话，而充分的生成能让模型展开具体物理细节；但当步长延长至 512 步时，对齐度出现回落，这主要是由于过长生成引发了发散性幻觉与语义漂移（Semantic Drift）。
模型规模放大显著强化模态解耦：随着模型规模从 4B 跃升至 32B，视觉与听觉投影轴的 AUROC 达到 0.97 至 1.00，且中性提示下的偏置从“默认偏向视觉”逐步转变为模态中立。
全层表征均值优于孤立末层：逐层探测表明感官引导并非局限于输出投影头的浅层偏置，而是贯穿深浅层残差流；所有网络层的均值聚合相比单层能更稳定地滤除特定层噪声。

亮点与洞察¶

从静态对齐走向推理时可控对齐：揭示了文本模型内部潜藏着丰富的多模态结构，无需额外对齐训练，仅凭单个感官动词即可将其表征几何动态引导至感知专用模型空间。
生成即表征构建：颠覆了“嵌入即单次前向输出”的传统范式，证明自回归生成的推演过程本身即是特征表征的递进式精炼与几何重构。
跨模态特征蒸馏与检索新范式：提供了一种完全解耦且极度轻量的方案，未来可用于直接从只懂文本的 LLM 中提取专用视觉或音频紧凑向量，服务于零样本跨模态检索或合成监督。

局限与展望¶

音频维度的对齐度天然低于视觉：纯自监督的 BEATs 编码器侧重频域、节律、音色等底层物理声学特征，在无语义微调时与文本自然对齐度较低；而加入监督标签的 BEATs+ 对齐度则显著提高。
对指令用词与生成漂移敏感：实验发现“describe”指令比“imagine”更为中立和高效，且长文本生成易诱发未经输入的过度幻觉，高精度事实推理场景需谨慎防范细节失真。
未来方向：可进一步将感官引导推广到触觉、空间几何拓扑或具身动力学等物理属性的激活，探索推理时表征引导的统一框架。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了单次前向静态表征评估的固有思路，首次提出感官提示自回归表征对齐机制。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖视觉与音频双模态、多尺度模型（0.6B-32B）、严格的消融与幻觉对照，论证周密。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，哲学背景与经验实验交融紧密，论述极具说服力。
价值: ⭐⭐⭐⭐⭐ 为理解 LLM 隐式多模态世界模型以及推理时表征引导提供了全新理论与实用工具。