ORBIT: Overcoming Hallucination Risks via Bi-manifold Interaction and Traction¶
会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 多模态VLM
关键词: 大视觉语言模型, 幻觉缓解, 表示几何, 双子空间假设, 语义湍流监测
一句话总结¶
针对现有基于视觉注意力的检测机制易陷入“锚定陷阱”导致幻觉漏检的问题，本文从表示几何视角建立双子空间假设，提出基于地语义湍流指标（GSTI）动态触发的正交残差干预机制（ORBIT），在无需微调的前提下通过闭环残差重锚定与等范数注入显著抑制多模态大模型幻觉。
研究背景与动机¶
大视觉语言模型（LVLMs）通过视觉编码器与模态连接器将大型语言模型基座与视觉上下文对齐，展现出了强大的跨模态理解与多步推理潜力。然而，模型普遍存在的“幻觉”现象——即生成与输入图像事实相违背的文本内容——严重限制了其在医疗诊断、自动驾驶等高风险现实场景中的落地部署。为抑制幻觉，早期研究主要采用数据驱动的重训策略，包括构建高保真指令微调数据集或借助多模态偏好优化（如 RLHF / DPO）引入负反馈。然而，重训练不仅计算开销极其高昂，且往往因微调数据的分布偏移破坏语言模型原本稳健的通用语言先验，导致模型在通用任务上发生灾难性遗忘或退化。这促使学术界将研究重心转向更为轻量、即插即用的推理期干预（Inference-time Intervention）。
在现存的推理期干预方案中，研究者逐步从黑盒式的 logits 启发式扰动演进为基于内部注意力的诊断机制，普遍假设幻觉源于视觉注意力的分散或缺失。然而，深入分析表明视觉注意力并非可靠的诊断代理，模型常常陷入“锚定陷阱”（Anchoring Trap）：即便模型的交叉注意力已经高强度且精准地聚焦在与目标完全一致的图像区域（例如准确聚焦在桌上的单个苹果），模型底层的参数化语言先验依然会在深层计算中强势压制视觉证据，自回归生成出虚假描述（如输出“两只苹果”）。因此，单纯依靠注意力权重无法察觉潜伏在表征演化内部的失真。
为了突破这一瓶颈，本文另辟蹊径，首次从表示几何（Representation Geometry）的视角审视大视觉语言模型推理过程中隐状态的跨层演化轨迹。研究发现，当幻觉发生时，隐状态序列会在几何结构上发生突兀的解耦与漂移：表征脱离提供客观感官锚定的静态视觉子空间，坠入受统计共现主导的动态语言子空间。核心 idea：通过构建静态视觉子空间与动态语言子空间对隐状态施加双重几何约束，利用地语义湍流指标（GSTI）在线捕捉隐状态的结构性脱轨，并在检测到异常时通过正交残差提取、视觉重锚定与等范数注入实施即插即用的闭环校准。
方法详解¶
整体框架¶
ORBIT 的核心逻辑是将 LVLM 隐状态的演化形式化为高维欧氏空间 \(\mathcal{H} = \mathbb{R}^d\) 内的离散动力学序列，并在推理期将其解耦为两套几何约束结构：一是预填充阶段构建的层特定静态视觉子空间 \(\mathcal{S}_{vis}^{(l)}\)，二是自回归解码阶段根据局部生成上下文动态提取的语言子空间 \(\mathcal{S}_{lang}^{(t,l)}\)。整个推理框架分为两个核心环节：语义湍流监测与正交残差干预。在常规生成阶段，模型正常自回归演化并实时计算地语义湍流指标（GSTI）；一旦指标突破统计异常门槛（\(3\sigma\) 准则），系统判定表征发生了视觉解耦并立即激活闭环干预，对当前层的隐状态进行正交残差剥离、视觉基底重锚定与保持模长的自适应注入，随后将校准后的隐状态传回主干网络继续前向传播。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态输入与隐状态演化<br/>图像补丁与自回归文本序列"] --> B["双子空间谱分解与投影构建<br/>预填充缓存静态视觉子空间 + 解码提取动态语言子空间"]
B --> C["地语义湍流指标监测<br/>计算视觉偏离度与语义易变性，评估湍流指数 GSTI"]
C -->|GSTI 超过 3σ 异常阈值| D["闭环几何干预协议<br/>正交残差提取 → 视觉检索重锚定 → 自适应等范数注入"]
C -->|未触发异常| E["保持原始隐状态<br/>继续正常自回归计算"]
D --> F["校准后隐状态<br/>恢复视觉锚定并输入后续网络层"]
E --> F关键设计¶
1. 双子空间谱分解与投影构建：解耦静态视觉基底与动态语言流
传统方法将多模态隐状态视为单一混合表征，无法量化视觉感知与语言先验的博弈。本文提出双子空间假设，将隐状态的约束空间解耦为静态视觉子空间与动态语言子空间。在预填充（Prefill）阶段，虽然输入图像是静态的，但其表征随网络层深呈现出分层的语义抽象。因此，针对每一层 \(l\)，提取视觉 patch 激活矩阵 \(\mathbf{V}^{(l)} = \mathbf{H}^{(l)}[\mathcal{I}_{img}] \in \mathbb{R}^{N_v \times d}\)，并对其去中心化特征执行随机奇异值分解（Randomized SVD）： $\((\mathbf{V}^{(l)} - \boldsymbol{\mu}_{vis}^{(l)})^\top \approx \mathbf{U}^{(l)} \mathbf{\Sigma}^{(l)} (\mathbf{Q}^{(l)})^\top\)$ 选取累积解释方差达到阈值 \(\eta = 0.95\) 的最小主成分数 \(k\)，构建该层的正交投影算子 \(\mathbf{P}_{vis}^{(l)} = \mathbf{U}_{1:k}^{(l)} (\mathbf{U}_{1:k}^{(l)})^\top\)。该投影矩阵在预填充期一次性计算并全局缓存，在解码期间完全零延迟复用。而在解码（Decoding）阶段，语言上下文是动态非平稳的，本文使用大小为 \(K=5\) 的滑动窗口拦截最近生成的纯文本隐状态 \(\mathbf{H}_{ctx}^{(t,l)} = [\mathbf{h}_{t-K}^{(l)}, \dots, \mathbf{h}_{t-1}^{(l)}]^\top \in \mathbb{R}^{K \times d}\)（严格剔除视觉与 prompt 标记），经薄奇异值分解（Thin SVD）提取前 \(k_{lang}\) 个左奇异向量，构建捕获瞬时句法惯性的动态语言投影算子 \(\mathbf{P}_{lang}^{(t,l)} = \mathbf{U}_{lang, 1:k_{lang}}^{(t,l)} (\mathbf{U}_{lang, 1:k_{lang}}^{(t,l)})^\top\)。
2. 地语义湍流指标监测：视觉偏离度与语义易变性的自适应门控
注意力图无法察觉隐状态的深层异变，且单纯监测表征偏离可能误伤本就无需强视觉对齐的纯虚词或抽象语义 token。本文观察到，忠实视觉 token 紧贴视觉子空间演化，纯语言 token 保持稳定的高偏离层级演化，而幻觉 token 的本质特征是在较深层突然与视觉子空间脱轨并伴随方向上的剧烈震荡。为此，本文设计了地语义湍流指标（Geo-Semantic Turbulence Index, GSTI, \(\Omega_t^{(l)}\)），通过两项几何统计量联合诊断： 第一项为视觉偏离度 \(\delta_t^{(l)}\)，通过正交补空间能量比衡量隐状态脱离视觉子空间的程度： $\(\delta_t^{(l)} = \frac{\|(\mathbf{I} - \mathbf{P}_{vis}^{(l)}) \mathbf{h}_t^{(l)}\|_2}{\|\mathbf{h}_t^{(l)}\|_2} \in [0, 1]\)$ 第二项为语义易变性 \(\kappa_t^{(l)}\)，通过相邻层间演化速度向量 \(\mathbf{v}_t^{(l)} = \mathbf{h}_t^{(l)} - \mathbf{h}_t^{(l-1)}\) 的余弦距离捕捉表征流向的不稳定性： $\(\kappa_t^{(l)} = 1 - \frac{\langle \mathbf{v}_t^{(l)}, \mathbf{v}_t^{(l-1)} \rangle}{\|\mathbf{v}_t^{(l)}\|_2 \|\mathbf{v}_t^{(l-1)}\|_2}\)$ 最终将两者通过 Sigmoid 门控函数融合： $\(\Omega_t^{(l)} = \sigma\left(1.702 \cdot \frac{\delta_t^{(l)} - \mu_\delta}{\sigma_\delta}\right) \cdot \kappa_t^{(l)}\)$ 其中常数 1.702 使 Sigmoid 曲线高度近似标准正态分布的累积分布函数（CDF）。当视觉偏离度在均值附近时门控收缩，压制易变性波动；一旦偏离度远超统计均值，门控饱和，将剧烈震荡敏锐定性为幻觉异常。在线部署时维护 \(\Omega\) 的运行均值与方差，仅当 \(\Omega_t^{(l)} > \mu_\Omega^{(l)} + 3\sigma_\Omega^{(l)}\) 时触发异常警报，将复杂语言表述时的误报率降至最低。
3. 闭环几何干预协议：正交残差提取、视觉重锚定与自适应等范数注入
单纯向隐状态中强行相加原始视觉特征会破坏深层 Transformer 的注意力分布与 LayerNorm 统计量，造成语言流畅度崩溃。ORBIT 设计了一套包含三步严密约束的闭环几何干预协议： - 步骤一：正交残差提取。将当前隐状态投影到局部语言子空间的正交补上：\(\mathbf{r}_{ortho}^{(t,l)} = (\mathbf{I} - \mathbf{P}_{lang}^{(t,l)}) \mathbf{h}_t^{(l)}\)，剥离主导的语言惯性，提纯被抑制的视觉信号残差。 - 步骤二：视觉重锚定。将正交残差作为检索 query，与缓存的视觉特征矩阵各 patch \(\mathbf{v}_i^{(l)}\) 计算点积注意力得分 \(s_i = \langle \mathbf{r}_{ortho}^{(t,l)}, \mathbf{v}_i^{(l)} \rangle / \sqrt{d}\)，经 Softmax 归一化为权重 \(\boldsymbol{\beta}\)。随后采用 Nucleus Sampling（阈值 \(\rho=0.9\)）滤除高频噪声，并将提取的高置信视觉加权和再次投影回静态视觉子空间，得到纯净的校准视觉质心： $\(\tilde{\mathbf{c}}_{vis}^{(t,l)} = \mathbf{P}_{vis}^{(l)} \left( \sum_{i \in \mathcal{S}_{vis}^{(t,l)}} \beta_i \mathbf{v}_i^{(l)} \right)\)$ - 步骤三：自适应等范数注入。在将校准质心与原始隐状态融合时，强制保持原始欧氏范数不变，仅调整语义方向而不冲击表征能量尺度： $\(\hat{\mathbf{h}}_t^{(l)} = \|\mathbf{h}_t^{(l)}\|_2 \cdot \frac{(1 - \lambda_t) \mathbf{h}_t^{(l)} + \lambda_t \tilde{\mathbf{c}}_{vis}^{(t,l)}}{\|(1 - \lambda_t) \mathbf{h}_t^{(l)} + \lambda_t \tilde{\mathbf{c}}_{vis}^{(t,l)}\|_2}\)$ 注入强度 \(\lambda_t\) 自适应关联湍流烈度与注意力熵：\(\lambda_t = (1 - H(\boldsymbol{\beta}) / \log |\mathcal{S}_{vis}^{(t,l)}|) \cdot \tanh(\Omega_t^{(l)})\)。当视觉对应关系模糊发散或湍流较弱时自动弱化干预，仅在严重偏离且视觉指向明确时实施强纠偏，实现幻觉消除与生成连贯性的完美兼顾。
一个完整示例¶
以论文中的经典实测案例“消火栓颜色判断”为例，对比有无 ORBIT 的表征流动： - 输入画面与提问：画面中为一个黄蓝相间的消火栓，提问为“What color is the fire hydrant?”。 - Vanilla 基准模型：在自回归生成颜色描述 token 时，视觉编码器与浅层交叉注意力准确聚焦于黄色与蓝色漆面区域。然而在第 18 层之后，隐状态受语言模型中“消火栓通常是红色”的强参数化语料先验驱动，逐渐向语言先验子空间漂移，偏离度指标 \(\delta_t^{(l)}\) 从 0.21 陡增至 0.88，且层间向量夹角震荡（\(\kappa_t^{(l)} = 0.74\)）。基准模型陷入锚定陷阱，最终自回归输出了与视觉事实完全相反的“Red”。 - ORBIT 介入过程：在深层计算中，GSTI 指标突增并超过 \(3\sigma\) 动态阈值，触发警报。ORBIT 立即计算瞬时语言正交残差 \(\mathbf{r}_{ortho}\)，通过点积检索准确锁定了对应消火栓主体的黄色与蓝色 patch 集合，生成重锚定视觉质心 \(\tilde{\mathbf{c}}_{vis}\)；随后以自适应强度 \(\lambda_t\) 严格在原隐状态范数约束下实施方向校正。纠偏后的隐状态重新拉回视觉子空间约束范围，模型最终顺畅输出符合事实的“Yellow and Blue”。
实验关键数据¶
主实验¶
评估涵盖幻觉基准（POPE、CHAIR）以及通用视觉问答与细粒度感知基准（MME、MMBench、CV-Bench、CLEVR）。
幻觉抑制基准评估（POPE 与 CHAIR）¶
在两类典型多模态基座（LLaVA-v1.5-7B 与 Qwen2.5-VL-7B）上，ORBIT 与当前主流的 logits 对比干预和注意力干预方法进行了全面评测：
| 模型基座 | 方法 | POPE F1 ↑ | POPE Acc ↑ | CHAIR CS ↓ | CHAIR CI ↓ | 平均生成长度 Len |
|---|---|---|---|---|---|---|
| LLaVA-v1.5-7B | Baseline | 85.3 | 84.1 | 51.2 | 15.3 | 102.0 |
| LLaVA-v1.5-7B | DoLa | 80.4 | 83.0 | 56.8 | 15.1 | 97.4 |
| LLaVA-v1.5-7B | VCD | 85.2 | 85.1 | 50.8 | 14.8 | 102.1 |
| LLaVA-v1.5-7B | OPERA | 84.1 | 85.3 | 47.2 | 14.5 | 95.5 |
| LLaVA-v1.5-7B | HALC | 84.0 | 83.9 | 50.4 | 12.3 | 97.0 |
| LLaVA-v1.5-7B | RITUAL | 85.1 | 84.2 | 45.4 | 13.1 | 99.1 |
| LLaVA-v1.5-7B | SID | 85.7 | 85.9 | 44.0 | 12.1 | 99.5 |
| LLaVA-v1.5-7B | VAR | 86.1 | 86.4 | 44.2 | 14.6 | 103.2 |
| LLaVA-v1.5-7B | DeGF | 85.2 | 84.6 | 46.5 | 12.9 | 97.3 |
| LLaVA-v1.5-7B | AGLA | 84.7 | 85.4 | 43.2 | 14.0 | 98.6 |
| LLaVA-v1.5-7B | ORBIT (本文) | 87.5 | 88.0 | 38.1 | 8.5 | 100.3 |
| Qwen2.5-VL-7B | Baseline | 88.4 | 89.0 | 26.5 | 7.2 | 98.4 |
| Qwen2.5-VL-7B | DoLa | 86.8 | 87.5 | 29.1 | 8.5 | 95.2 |
| Qwen2.5-VL-7B | VCD | 88.5 | 89.0 | 26.8 | 7.4 | 100.1 |
| Qwen2.5-VL-7B | OPERA | 88.5 | 88.9 | 26.2 | 7.3 | 94.8 |
| Qwen2.5-VL-7B | HALC | 87.5 | 87.8 | 28.7 | 8.0 | 96.5 |
| Qwen2.5-VL-7B | RITUAL | 88.6 | 89.1 | 26.4 | 7.2 | 98.2 |
| Qwen2.5-VL-7B | SID | 88.9 | 89.3 | 26.1 | 7.8 | 98.8 |
| Qwen2.5-VL-7B | VAR | 89.1 | 89.5 | 25.5 | 7.5 | 101.5 |
| Qwen2.5-VL-7B | DeGF | 88.4 | 88.9 | 26.8 | 8.1 | 96.9 |
| Qwen2.5-VL-7B | AGLA | 87.7 | 88.1 | 28.9 | 8.3 | 97.5 |
| Qwen2.5-VL-7B | ORBIT (本文) | 90.3 | 90.8 | 18.4 | 5.3 | 98.5 |
通用 VQA 与细粒度感知综合对比¶
跨越 4 种不同规模基座（LLaVA-1.5-7B/13B, Qwen2.5-VL-7B/32B），ORBIT 不仅显著降幻觉，更全面提振通用与细粒度感知指标：
| 基座模型 | 方法 | POPE ↑ | CHAIR CS ↓ | CHAIR CI ↓ | MME ↑ | MMBench ↑ | CV-Bench ↑ | CLEVR ↑ |
|---|---|---|---|---|---|---|---|---|
| LLaVA-v1.5-7B | Baseline | 85.3 | 51.2 | 15.3 | 1495.5 | 64.2 | 56.6 | 43.6 |
| LLaVA-v1.5-7B | AGLA | 84.7 | 43.2 | 14.0 | 1491.0 | 64.0 | 56.5 | 43.4 |
| LLaVA-v1.5-7B | SID | 85.7 | 44.0 | 12.1 | 1505.5 | 64.9 | 56.9 | 44.2 |
| LLaVA-v1.5-7B | VAR | 86.1 | 44.2 | 14.6 | 1512.2 | 65.1 | 56.8 | 44.6 |
| LLaVA-v1.5-7B | ORBIT (本文) | 87.5 | 38.1 | 8.5 | 1525.8 | 66.2 | 58.0 | 46.4 |
| LLaVA-v1.5-13B | Baseline | 85.8 | 24.6 | 8.2 | 1501.2 | 67.7 | 58.2 | 68.0 |
| LLaVA-v1.5-13B | ORBIT (本文) | 88.2 | 16.4 | 6.1 | 1542.5 | 69.1 | 60.2 | 70.1 |
| Qwen2.5-VL-7B | Baseline | 88.4 | 26.5 | 7.2 | 1973.3 | 82.1 | 73.5 | 74.3 |
| Qwen2.5-VL-7B | ORBIT (本文) | 90.3 | 18.4 | 5.3 | 1988.2 | 83.8 | 74.6 | 75.5 |
| Qwen2.5-VL-32B | Baseline | 90.5 | 18.5 | 4.5 | 2046.5 | 83.5 | 77.0 | 78.2 |
| Qwen2.5-VL-32B | ORBIT (本文) | 91.2 | 15.2 | 4.1 | 2080.4 | 84.5 | 78.1 | 79.4 |
消融实验¶
在 LLaVA-v1.5-7B 上对 GSTI 监测指标各组成项及 ORBIT 干预各步骤进行系统性剥离，结果如下表：
| 变体配置 | 视觉偏离 \(\delta\) | 语义易变 \(\kappa\) | 残差提取 | 视觉重锚定 | 等范数注入 | POPE F1 ↑ | CHAIR CS ↓ | CHAIR CI ↓ | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| Baseline | – | – | – | – | – | 85.3 | 51.2 | 15.3 | 原始基准模型 |
| 无 GSTI 触发 | – | – | ✓ | ✓ | ✓ | 86.9 | 41.3 | 10.1 | 每步盲目干预，过度修正导致性能次优 |
| 无视觉偏离度 \(\delta\) | – | ✓ | ✓ | ✓ | ✓ | 87.0 | 40.7 | 9.8 | 丢失几何脱轨距离，误伤纯语言波动 |
| 无语义易变性 \(\kappa\) | ✓ | – | ✓ | ✓ | ✓ | 87.2 | 39.8 | 9.4 | 丢失表征演化瞬时速度不稳定性信号 |
| 无正交残差提取 | ✓ | ✓ | – | ✓ | ✓ | 86.0 | 45.8 | 12.4 | 未剥离语言惯性，视觉注入受语言污染 |
| 无视觉重锚定 | ✓ | ✓ | ✓ | – | ✓ | 86.3 | 44.2 | 11.6 | 残差高频噪声未滤除，重锚定失效 |
| 无等范数约束 | ✓ | ✓ | ✓ | ✓ | – | 86.6 | 42.7 | 10.8 | 改变隐藏层模长，破坏 LayerNorm 稳定性 |
| 完整 ORBIT | ✓ | ✓ | ✓ | ✓ | ✓ | 87.5 | 38.1 | 8.5 | 所有组件协同达到最优低幻觉性能 |
推理耗时与效率对比¶
在维持极低幻觉率的同时，ORBIT 的计算延迟显著优于重度依赖贪心回溯或密集注意力重算的方案：
| 方法 | CHAIR CS ↓ | 单样本生成延迟 ↓ | 相对基线开销 | 说明 |
|---|---|---|---|---|
| Baseline | 51.2 | 4.21s | ×1.0 | 原始推理无干预 |
| VCD | 50.8 | 8.88s | ×2.1 | 双向 logits 对比采样 |
| OPERA | 47.2 | 29.2s | ×6.9 | 回溯机制引起反复前向重算 |
| HALC | 50.4 | 26.6s | ×6.3 | 局部焦点对比解码 |
| SID | 44.0 | 6.40s | ×1.5 | 启发式内省解码 |
| VAR | 44.2 | 7.11s | ×1.7 | 注意力重汇聚干预 |
| DeGF | 46.5 | 18.2s | ×4.3 | 解耦反馈引导 |
| AGLA | 43.2 | 11.2s | ×2.6 | 全局与局部注意力汇聚 |
| ORBIT (本文) | 38.1 | 7.73s | ×1.8 | 预填充阶段一次 SVD 缓存，仅异常层轻量投影 |
关键发现¶
- 残差提取与等范数约束至关重要：消融数据显示，去掉正交残差提取导致 CHAIR CS 恶化最为严重（从 38.1 飙升至 45.8），表明直接注入视觉特征而不剥离当前语言惯性，无法解决语言先验压制问题；而缺失等范数约束导致 CHAIR CS 恶化至 42.7，证明保持深层 Transformer 状态尺度是保持语言连贯性的基石。
- 避免“拒绝陷阱”（Refusal Trap）：部分基线（如 OPERA）通过缩短生成长度（95.5 tokens）来规避幻觉惩罚，而 ORBIT 平均生成长度（100.3 / 98.5 tokens）与基线基本一致，证明其是通过精准纠正语义而非采取防御性简短回答降低幻觉。
- 强模型上的“逆势提升”：在更强大的 Qwen2.5-VL-7B 上，以往许多注意力干预方法（如 AGLA）因启发式阈值冲突导致 POPE F1 出现负向掉点（88.4 跌至 87.7），而 ORBIT 在 Qwen2.5-VL-7B 上仍将 POPE F1 提至 90.3，CHAIR CS 相对下降 30.5%（26.5 \(\to\) 18.4），展现出对复杂基座几何表征的优秀自适应性。
亮点与洞察¶
- 解开“注意力在场却依然幻觉”的认知迷思：明确指出并形式化了“锚定陷阱”（Anchoring Trap），证明注意力仅是视觉接地的必要条件而非充分条件，隐状态的几何演化方向才是决定生成是否失真的根本分水岭。
- 静态子空间缓存与动态异常门控的高效结合：利用图像语义在预填充阶段的确定性，将高开销的视觉 SVD 提前完成并缓存，解码期仅需做 \(\mathcal{O}(dk)\) 的内积与投影，以极其轻微的推理代价（仅 1.8 倍基线耗时）实现了超越重度回溯机制的干预效果。
- 从单纯“惩罚抑制”跃迁至“几何构造增强”：与传统对比解码对 logits 的负向惩罚不同，ORBIT 借由正交残差与检索加权，将缺失的客观视觉证据显式“牵引”回表征主干，不仅抑制了幻觉，还在计数、空间关系和细粒度属性感知等纯视觉任务（CLEVR / CV-Bench）上取得了正向增益。
局限与展望¶
- 视觉子空间线性假设的近似性：尽管采用分层奇异值分解，静态视觉子空间在本质上仍建立在局部线性流形假设上；对于高度复杂的非线性跨模态纠缠表征，线性子空间投影可能存在一定程度的高阶几何信息丢失。
- 依赖预填充视觉 Patch 的质量：视觉重锚定高度依赖视觉编码器对图像 patch 的表征质量；若图像存在极其严重的传感器退化、运动模糊或超高分辨率细节被降采样抹除，缓存的视觉基底本身信息不足，可能限制校准上限。
- 未来方向：探索黎曼流形或非线性投影算子在隐状态校准中的适用性，并将双子空间几何轨迹分析拓展至视频大模型（Video-LLM）的时序长程幻觉检测与实时纠错。
相关工作与启发¶
- vs OPERA / VAR 等注意力机制干预：OPERA 和 VAR 假定幻觉源于注意力分配不均，通过惩罚过度信任模式或回溯放大视觉注意力。然而当模型陷入锚定陷阱时，注意力已然准确聚焦，注意力干预失效。ORBIT 深入隐藏层内部，通过几何子空间分离直接纠正被语言先验压制的表征方向。
- vs VCD / DoLa 等 Logits 对比解码：VCD 与 DoLa 依赖构造退化的辅助输入或不同层间的启发式概率对比，易受分布偏移影响且缺乏几何可解释性，容易误伤正常生成连贯性。ORBIT 属于内部表征级的目标精确制导，在等范数约束下只改方向不改能量，鲁棒性与保真度显著更高。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从表示几何双子空间视角揭示“锚定陷阱”与幻觉成因，理论视角独特且数学形式优美。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种基座规模、幻觉/通用/细粒度/OOD（高分辨率与遥感）四大评测维度及完整的模块消融。
- 写作质量: ⭐⭐⭐⭐⭐ 概念阐释清晰透彻，图表严谨规范，理论推导与工程落地设计环环相扣。
- 价值: ⭐⭐⭐⭐⭐ 免微调即插即用，极低推理开销即可稳健提升顶级开源多模态大模型的真实性与细粒度感知能力。