跳转至

Rep2Text: Decoding Full Text from a Single LLM Token Representation

会议: NeurIPS 2026
arXiv: 2511.06571
代码: https://github.com/hy-zhao23/Rep2Text
领域: 可解释性
关键词: 词元表示逆向, 信息瓶颈, 大语言模型可解释性, 跨模型隐空间对齐, 隐私泄露风险

一句话总结

Rep2Text 提出了一种通过轻量门控残差适配器将大语言模型单一边界末尾词元（last-token）隐状态投影到解码 LLM 嵌入空间的端到端文本逆向重构框架，证明了单 token 压缩表示不仅保留了宏观语义，还能以非迭代方式精确恢复原始序列中约半数的词元。

研究背景与动机

在大语言模型（LLM）的可解释性与安全审计研究中，剖析模型内部表示所编码的信息一直是核心课题。现有的表示分析方法主要集中在线性探针（linear probes）、稀疏自编码器（SAE）或 Logit Lens / Tuned Lens 等将隐藏特征投射至词表空间的局部观测手段。而在输入逆向重构（representation decoding / inversion）领域，经典方案通常针对整个句子的密集语义嵌入（如 BERT 或通用文本检索模型），或者要求获取模型某一深度下全部 token 的激活状态集合，且往往依赖高延迟的迭代假设-修正优化循环（例如 Vec2Text），这不仅计算代价高昂，也未能触及因果自回归模型最关键的隐层机制。

因果自注意力解码器（decoder-only Transformer）的训练目标天然遵循自回归下一个词元预测（next-token prediction），序列末尾的词元表示（last-token representation）理论上承担着极致的“信息瓶颈”（information bottleneck）角色。直观上，该向量只需沉淀指导生成下一个 token 所必需的信息，模型理应在多层计算中逐渐压缩并剪除先前的表面词汇、短语搭配与具体语法细节。然而，学术界长期缺乏明确量化：自回归模型的单个 last-token 激活值到底还能逆向泄露多少输入文本的信息？在不借助原始文本片段、先验关键词或迭代优化的严苛黑盒设定下，单 token 激活能否完整还原出整段历史句子？

针对上述盲区，本文借鉴大型视觉语言模型（LVLM，如 LLaVA 使用投影层桥接视觉编码与文本嵌入）的设计思想，将单向量文本逆向转化为跨模型隐空间对齐与自回归生成任务。核心 idea：将单 token 隐状态反演问题转化为跨隐空间投影与自回归生成任务，通过带门控残差的轻量适配器直接将单个末尾激活向量解耦为多个解码输入词元嵌入，无需任何迭代优化即可在常数时间内高效重构出保留约半数精确词元与高度语义一致性的原始序列。

方法详解

整体框架

Rep2Text 的核心架构包含两个关键组件：一个可训练的轻量级投影适配器（Adapter），以及一个负责接收投影向量并自回归生成反向重构文本的解码大语言模型 \(\mathcal{M}'\)。整个重构流程分为三个阶段：首先，给定长度为 \(n\) 的输入序列 \(S = \langle s_1, \dots, s_n \rangle\)，目标因果 LLM \(\mathcal{M}\) 进行前向计算，提取指定中间层 \(\ell\) 处最后一个词元在残差流（residual stream）中的激活表示 \(\boldsymbol{h}^\ell \in \mathbb{R}^d\)；随后，投影适配器通过两层非线性变换与门控残差连接，将 \(d\) 维激活向量映射并重塑为 \(k\) 个对应解码模型嵌入维度的虚拟词元嵌入 \(\boldsymbol{X}_e = [\boldsymbol{x}_1; \dots; \boldsymbol{x}_k] \in \mathbb{R}^{k \times d'}\)；最后，将 \(\boldsymbol{X}_e\) 与系统提示嵌入 \(\boldsymbol{X}_{\text{sys}}\)、用户提示嵌入 \(\boldsymbol{X}_u\) 拼接，直接旁路送入解码模型 \(\mathcal{M}'\) 的第一层 Transformer Block（跳过其词表嵌入查找层），由解码器以因果自回归的方式贪心或核采样生成重构序列 \(\hat{S}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列 S<br/>经目标模型 M 前向计算"] --> B["提取目标层末尾词元激活<br/>残差流向量 h^ℓ ∈ R^d"]
    B --> C["门控残差适配器映射<br/>两层 MLP 展开与动态残差门控"]
    C --> D["虚拟词元槽位重塑<br/>展开为 k 个嵌入向量 Xe ∈ R^{k×d'}"]
    D --> E["前缀拼接并注入解码模型<br/>拼接 [Xe; Xsys; Xu] 绕过嵌入层"]
    E --> F["因果自回归文本生成<br/>单步前向解码出逆向序列 S^"]

关键设计

1. 门控残差适配器：平衡高维非线性解耦与底层激活保真

直接使用单层线性矩阵将单一隐藏向量映射到语言模型的输入嵌入空间，极易因表达容量不足导致词义塌陷；而过深的非线性网络又会在训练初期破坏原始特征中的线性几何属性与关键实体信号。Rep2Text 设计了一个两层 MLP 结构，并引入了动态门控标量残差分支。第一层利用层归一化与 GELU 激活函数将输入维度从 \(d\) 映射到隐层维度 \(d^{\text{hid}} = f \cdot d\)（其中 \(f\) 为扩展因子，消融实验证实 \(f=0.5\) 足以胜任）；第二层将特征维度扩展至 \(k \cdot d'\) 并重塑为 \(k\) 个候选向量 \(\tilde{\boldsymbol{x}}_i\)。为防止梯度弥散并最大程度锚定目标模型的原始表示，适配器在重塑后的每个词元位置引入了可学习的门控标量 \(g_i\) 以及线性跨层残差映射 \(\boldsymbol{W}_s \in \mathbb{R}^{d \times d'}\)：

\[\boldsymbol{x}_i = \text{LN}\left(\boldsymbol{W}_s \cdot \boldsymbol{h}^\ell + g_i \cdot \tilde{\boldsymbol{x}}_i\right), \quad i=1,\dots,k\]

当目标模型与解码模型的隐藏维度一致（\(d = d'\)）时，\(\boldsymbol{W}_s\) 蜕化为恒等矩阵，形成真正的跨层跳跃连接；当两模型规格不同（\(d \neq d'\)）时，\(\boldsymbol{W}_s\) 作为可学习的投影层完成维度对齐。动态门控机制使得模型能够自主调节深层非线性语义增益与底层激活基底的比例，从而显著提升了跨模型特征对齐的鲁棒性。

2. 维度重塑与虚拟词元扩展：多槽位解耦信息瓶颈

自回归解码模型依赖序列长度来逐层分配注意力并积累句法状态，单一输入向量在自注意力第一步所能承载的键值对（KV）缓存极度受限。如果仅将 \(\boldsymbol{h}^\ell\) 投影为一个单一词元向量，解码器必须在首个生成步承担全部解压负担，极易陷入幻觉或生成高频套话。Rep2Text 将 MLP 的第二层权重输出维度显式设计为 \(k \cdot d'\)，并在空间维度将其重塑（reshape）为矩阵形式 \(\boldsymbol{X}_e \in \mathbb{R}^{k \times d'}\)，构造出 \(k\) 个虚拟连续词元（soft tokens）。消融实验表明，当虚拟词元数量 \(k\) 设定为与待逆向的目标文本真实长度一致（如 16 词元）时，重构效果达到最优峰值；若 \(k\) 进一步盲目扩大（例如增至 32），则会引入噪声与冗余自由度，反而导致生成质量下滑。

3. 旁路嵌入层的无搜索端到端自回归：摆脱高延迟迭代假设

与 Vec2Text 等传统嵌入反演方法不同，后者必须在推断阶段部署编码器-解码器生成假说文本，再将假说送回目标模型计算特征距离，并在隐空间迭代优化 50 步以上；Rep2Text 彻底摒弃了推断期的迭代优化流程。适配器生成的 \(\boldsymbol{X}_e\) 与离散提示词的嵌入向量拼合后，直接作为序列前缀注入冻结解码模型的第一层注意力网络。由于解码模型内部蕴含丰富的通用语言先验与条件概率分布建模能力，一旦前置的软嵌入槽位锁定了原始文本的核心实体与句法骨架，解码模型即可像正常处理多轮对话一样，单次前向传递中自回归展开出整段原始输入，将逆向时间开销降至与常规生成相同的线性时间复杂度。

一个完整示例

以一段源自维基百科人物生平的 16 词元测试样本为例，输入真实文本为： "Phil LaMarr\nPhillip LaMarr (born January 24, 1967) is an American actor, voice actor, comedian and writer."

  1. 激活提取：该序列输入至目标模型 Llama-3.1-8B，提取其第 10 层在句尾标点处的 residual stream 向量 \(\boldsymbol{h}^{10} \in \mathbb{R}^{4096}\)。
  2. 适配器映射：向量 \(\boldsymbol{h}^{10}\) 输入适配器，经扩展维度 \(d^{\text{hid}} = 2048\) 的 MLP 变换并与广播的残差向量融合，输出 \(k=16\) 个维度为 \(d'=4096\) 的软嵌入 \(\boldsymbol{X}_e\)。
  3. 前缀拼接与自回归重构：\(\boldsymbol{X}_e\) 与固定提示词拼接后送入冻结的 Llama-3.1-8B 解码器，模型单趟自回归生成序列： "Phil LaMarr\nPhilip LaMarr (born January 24, 1967) is an American actor, voice actor, comedian and writer." 重构文本仅在拼写细节上存在细微出入（如 "Phillip" 还原为 "Philip"），但人名主干、完整出生年月日（January 24, 1967）、国籍与全部职业身份列表（actor, voice actor, comedian and writer）均被字面级精准复现，其实测 Token F1 达到 0.94，BLEU 达到 0.89，直观印证了单 token 隐状态中高密度的实体与关系残留。

损失函数 / 训练策略

Rep2Text 采用标准的教师强制（teacher forcing）自回归语言建模损失。给定真实前缀序列 \(S_{<t}\)，模型在时间步 \(t\) 预测真实词元 \(s_t\) 的条件概率。为防止适配器在有限的维基百科数据上过度自信拟合特定离散词元，训练阶段引入了平滑系数 \(\epsilon = 0.075\) 的标签平滑（Label Smoothing）交叉熵损失：

\[q_t(v_i) = (1 - \epsilon) \mathbf{1}[v_i = s_t] + \frac{\epsilon}{|V|}\]
\[\mathcal{L}_t = - \sum_{i=1}^{|V|} q_t(v_i) \log p_\theta(v_i \mid \boldsymbol{X}_e, \boldsymbol{X}_{\text{sys}}, \boldsymbol{X}_u, S_{<t}), \qquad \mathcal{L}_{\text{LS}} = \frac{1}{T} \sum_{t=1}^T \mathcal{L}_t\]

在优化策略上，作者对比了两种模式：仅微调适配器（Adapter-only tuning，保持解码器冻结）与全量联合微调（Full fine-tuning，适配器收敛后再结合 LoRA 微调解码模型）。实验发现，结合 LoRA 虽能将 ROUGE-1 和 ROUGE-2 略微推升 0.03 与 0.05，但对 BERTScore 及 LLM-as-a-judge 评估的语义/实体得分几乎没有显著影响，反而大幅增加了显存开销与训练时间。这证明特征对齐与逆向能力本质上完全由轻量适配器学得，因此基准设定统一采用冻结解码器的适配器微调策略。

实验关键数据

主实验

在 16-token 维基百科序列的主实验中，作者系统评测了不同目标模型（Target）与解码模型（Decoder）搭配下的逆向效果。评测维度覆盖词元级恢复（ROUGE-1/2/L）、语义嵌入相似度（BERTScore）以及 GPT-4.1-mini 打分的句式结构（Structure）、实体信息（Entity）和主题连贯性（Topic）：

Target Model Decoding Model Target Layer ROUGE-1 ROUGE-2 ROUGE-L BERTScore Structure Entity Topic
(A) 目标可逆性（固定 Llama-3.1-8B 为解码器，取各模型最佳层）
Gemma-7B Llama-3.1-8B L26 0.64 (0.24) 0.42 (0.30) 0.61 (0.25) 0.80 (0.14) 0.71 (0.22) 0.64 (0.27) 0.86 (0.22)
Mistral-7B-v0.1 Llama-3.1-8B L15 0.55 (0.25) 0.35 (0.28) 0.53 (0.25) 0.81 (0.13) 0.70 (0.23) 0.75 (0.25) 0.92 (0.17)
Llama-3.1-8B Llama-3.1-8B L10 0.48 (0.23) 0.28 (0.24) 0.47 (0.22) 0.78 (0.11) 0.66 (0.22) 0.74 (0.23) 0.91 (0.14)
Llama-3.2-3B Llama-3.1-8B L9 0.46 (0.22) 0.25 (0.22) 0.44 (0.21) 0.76 (0.11) 0.64 (0.22) 0.72 (0.24) 0.89 (0.16)
(B) 自解码 vs 跨模型解码（统一固定 Layer 10 激活）
Llama-3.2-3B Llama-3.2-3B L10 0.46 (0.22) 0.26 (0.23) 0.45 (0.21) 0.76 (0.11) 0.64 (0.22) 0.69 (0.24) 0.88 (0.16)
Llama-3.2-3B Llama-3.1-8B L10 0.45 (0.22) 0.25 (0.22) 0.43 (0.22) 0.76 (0.11) 0.64 (0.22) 0.72 (0.23) 0.88 (0.16)
(C) 解码器参数规模与家族扩展（目标统一固定 Mistral-7B-v0.1 Layer 10）
Mistral-7B-v0.1 Llama-3.2-3B L10 0.52 (0.23) 0.32 (0.26) 0.50 (0.23) 0.80 (0.12) 0.70 (0.21) 0.73 (0.25) 0.90 (0.17)
Mistral-7B-v0.1 Llama-3.1-8B L10 0.52 (0.23) 0.32 (0.26) 0.51 (0.23) 0.81 (0.11) 0.71 (0.21) 0.75 (0.23) 0.90 (0.18)
Mistral-7B-v0.1 Qwen-2.5-14B L10 0.48 (0.21) 0.27 (0.23) 0.47 (0.21) 0.78 (0.11) 0.65 (0.23) 0.67 (0.25) 0.89 (0.18)
Mistral-7B-v0.1 Qwen-2.5-32B L10 0.47 (0.21) 0.25 (0.23) 0.45 (0.21) 0.76 (0.12) 0.65 (0.24) 0.65 (0.26) 0.88 (0.19)
Mistral-7B-v0.1 Qwen-2.5-72B L10 0.51 (0.23) 0.30 (0.25) 0.49 (0.23) 0.78 (0.12) 0.68 (0.23) 0.74 (0.25) 0.91 (0.17)

消融实验

在域内（Wiki）与分布外临床病历数据（Clinical OOD，序列长度 \(\le 32\) 词元）上，作者将 Rep2Text 与经典强基线 Vec2Text（及其 50 步迭代修正器）进行了端到端对比：

目标模型 / 解码模型 评测数据集 反演方法 ROUGE-1 ROUGE-2 ROUGE-L Token F1 BLEU BERTScore 结构分 (SS) 实体分 (ES) 主题分 (TS)
Mistral-7B / Qwen-2.5-14B Wiki (域内) Rep2Text (本文) 0.41 0.19 0.38 0.42 0.15 0.73 0.57 0.66 0.86
Mistral-7B / Qwen-2.5-14B Wiki (域内) Vec2Text Base 0.38 0.17 0.35 0.31 0.15 0.71 0.53 0.53 0.80
Mistral-7B / Qwen-2.5-14B Wiki (域内) Vec2Text + Corrector (50步) 0.38 0.17 0.35 0.31 0.15 0.71 0.53 0.55 0.79
Mistral-7B / Qwen-2.5-14B Clinical (OOD) Rep2Text (本文) 0.37 0.15 0.34 0.26 0.10 0.74 0.59 0.48 0.64
Mistral-7B / Qwen-2.5-14B Clinical (OOD) Vec2Text Base 0.14 0.02 0.13 0.13 0.04 0.53 0.17 0.16 0.21
Mistral-7B / Qwen-2.5-14B Clinical (OOD) Vec2Text + Corrector (50步) 0.13 0.01 0.12 0.11 0.03 0.52 0.14 0.13 0.20
Llama-3.1-8B / Qwen-2.5-14B Wiki (域内) Rep2Text (本文) 0.36 0.15 0.32 0.39 0.12 0.70 0.53 0.63 0.85
Llama-3.1-8B / Qwen-2.5-14B Wiki (域内) Vec2Text Base 0.37 0.16 0.34 0.29 0.14 0.70 0.54 0.51 0.78
Llama-3.1-8B / Qwen-2.5-14B Wiki (域内) Vec2Text + Corrector (50步) 0.35 0.15 0.31 0.27 0.12 0.68 0.50 0.49 0.76
Llama-3.1-8B / Qwen-2.5-14B Clinical (OOD) Rep2Text (本文) 0.34 0.12 0.31 0.24 0.08 0.71 0.50 0.47 0.56
Llama-3.1-8B / Qwen-2.5-14B Clinical (OOD) Vec2Text Base 0.13 0.01 0.12 0.12 0.03 0.55 0.23 0.18 0.25
Llama-3.1-8B / Qwen-2.5-14B Clinical (OOD) Vec2Text + Corrector (50步) 0.12 0.01 0.11 0.11 0.03 0.51 0.17 0.14 0.22

为量化输入长度对信息瓶颈效应的侵蚀程度，作者进一步测试了 8 至 256 词元下的重构衰减规律（Table G.1）：

输入词元长度 评测模型 (Target=Decoder) ROUGE-1 ROUGE-2 ROUGE-L BERTScore Structure Entity Topic
8 tokens Llama-3.1-8B 0.62 0.42 0.59 0.83 0.78 0.77 0.93
16 tokens Llama-3.1-8B 0.48 0.28 0.47 0.78 0.66 0.74 0.91
32 tokens Llama-3.1-8B 0.40 0.18 0.36 0.72 0.57 0.68 0.86
64 tokens Llama-3.1-8B 0.36 0.13 0.28 0.68 0.49 0.60 0.82
16 tokens Llama-3.2-3B 0.46 0.26 0.45 0.76 0.64 0.69 0.88
128 tokens Llama-3.2-3B 0.30 0.08 0.22 0.63 0.37 0.41 0.72
256 tokens Llama-3.2-3B 0.30 0.07 0.20 0.63 0.36 0.39 0.68

关键发现

  • 末尾词元保留了远超预期的文本存量：在 16-token 序列设置下，各主流模型的单 token 表示均可还原出 45% 至 64% 的原始词元，ROUGE-2 维持在 0.25~0.42，表明局部短语与句式结构均被扎实保留；同时 BERTScore 达到 0.76~0.81，主题得分达到 0.86~0.92，打破了“单 token 只承载局部预测特征”的固有认知。
  • 不同模型架构的可逆性（Invertibility）存在鲜明异质性：Gemma-7B 的深层表示对字面与语法结构的暴露最为严重（L26 处 ROUGE-1 达到 0.64，结构分达到 0.71）；Mistral-7B 在中层暴露了最强的语义与实体线索（L15 处 Entity 0.75，Topic 0.92）；相比之下，Llama 系列模型的表示反演难度最高（ROUGE-1 仅约 0.46~0.48），表明其内部表示对输入表层细节的遗忘与抽象压缩更彻底。
  • 解码器家族对齐性远比参数规模关键：以 Mistral-7B 为目标反演时，Llama-3.2-3B 与 Llama-3.1-8B 的 ROUGE-1 均达到 0.52；而当切换到 Qwen 家族时，即使模型规模从 14B 跃升至 32B 和 72B，ROUGE-1 依然徘徊在 0.47~0.51，未展现出对小规模 Llama 解码器的优势，说明 cross-model 隐空间几何分布的家族兼容性起主导作用。
  • 层级特征随网络深度呈现功能解耦：语法结构与局部短语（ROUGE-L、Structure Score）在模型的浅层至中层（如 Llama 的 L10）达到峰值；而实体信息与高级语义（Entity Score、Topic Score）则在更深的中后层（L15~L20）表现最为饱满；而在接近输出端的最后数层，各维度指标均出现剧烈下跌，反映出表征在最后阶段被全力重塑为针对单一预测词元的 logits 准备态。
  • 信息瓶颈展现出“词汇剧烈衰减、宏观语义平缓保留”的双轨特征：随着输入从 8 词元扩展至 256 词元，精确词元恢复率 ROUGE-1 从 0.62 跌落至 0.30，而语义与主题指标衰减极为迟缓（256 词元下 Topic Score 仍有 0.68，BERTScore 0.63，显著高于随机噪声对照组的 0.40）。
  • 分布外泛化与无迭代优势压倒 Vec2Text：在 OOD 临床病历评估中，Vec2Text 发生严重崩溃（ROUGE-1 跌至 0.13~0.14，主题分仅 0.21），其迭代修正器在非连续编码表征上完全失效；而 Rep2Text 凭借直接的隐空间条件自回归，保持了 0.34~0.37 的 ROUGE-1 以及 0.56~0.64 的主题分，展现了稳健的泛化迁移能力。

亮点与洞察

  • 多槽位连续虚拟词元重塑机制：通过两层带门控残差的 MLP 将单一固定向量直接解包为匹配目标序列长度的矩阵槽位，巧妙解决了自回归解码器单步注意力承载力有限的架构失配问题。
  • 非迭代自回归架构的常数级推断效率：彻底颠覆了以往基于优化求解器或迭代修正（iterative editing）的反演范式，使得反向重构能够以标准 Transformer 前向生成的常数级时间成本完成。
  • 负对照实验严谨剥离解码器语言先验：通过精心设计的随机配对（Random control，指标全线暴跌至接近零）与逆序重构（Reverse control，依然维持相对高位），决定性地证实了重构质量源自末尾向量中真实锁定的信息，而非解码 LLM 自言自语的概率幻觉。
  • 重大安全与隐私审计启示：这一发现敲响了企业级 AI 系统与安全中间件的警钟——缓存、传输或共享仅包含“最后一个 token”的隐藏状态或 KV 缓存快照，并不能作为安全的脱敏手段，攻击者完全能够借助轻量适配器重构出患者病历或私有对话的核心内容。

局限与展望

  • 长文本事实细节恢复仍受制于硬信息瓶颈：当序列长度超出 32 词元后，尽管模型能捕捉大致主题，但具体的实体数值、罕见专有名词与精确句式往往发生失真或幻觉（例如在临床病历重构中给出荒谬的 BMI 数值）。
  • 可反演性评估受限于 LLM-as-a-judge 的评测固有偏差：人工评测一致性核对显示，GPT-4.1-mini 在评价语法结构时偏向严苛，而在评价实体与主题时存在轻微偏高打分，未来需要更鲁棒的非参考无偏评估指标。
  • 缺乏有效的抗反演表征防御机制：论文主要专注于攻击视角的可能性论证，尚未给出在不破坏下游任务推理性能的前提下、主动对末尾激活进行差分隐私加噪或子空间混淆的具体防御方案。

相关工作与启发

  • vs Vec2Text (Morris et al., 2023)：Vec2Text 针对静态双向文本嵌入（text embedding），依赖训练 T5 假说器并在推断期执行 50 步以上基于相似度反馈的迭代梯度/文本修正；Rep2Text 则直面因果自回归末尾激活（last-token activation），采用轻量适配器与冻结自回归 LLM 进行单趟端到端重构，在分布外数据上表现出极强的抗退化鲁棒性且推理速度快数个数量级。
  • vs LLM 内部状态反演 (Dong et al., 2025; Nikolaou et al., 2026)：现有内部状态重构工作大多基于整层所有 token 的激活矩阵，或者仅停留在理论可逆性证明（injective mapping）；Rep2Text 首次在经验上探索了单个 token 的极限压缩激活在无额外提示下的全序列可逆性边界。
  • vs 局部激活释义 (SelfIE / Patchscopes / LIT)：此类工作通常通过隐藏状态修补（activation patching）或概念探针来生成关于该激活属性的自然语言解释（如“这段文本与体育相关”）；Rep2Text 则直接致力于 verbatim / semantic 级别的全输入序列逆向复原。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性论证并实现了从单一大模型末尾词元表示直接逆向重构完整输入序列，打破了关于自回归信息瓶颈的传统认知。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种主流开源架构、层级逐层扫描、8 至 256 词元长度消融、反转/打乱因果控制组、人类主观双盲核验以及临床跨域 OOD 评测，设计极为扎实严密。
  • 写作质量: ⭐⭐⭐⭐⭐ 实验假说与评测维度清晰立体，图表表达精准，深入透彻地揭示了大语言模型深层表示的保留与退化机理。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型内部表示的信息流演化提供了极其鲜活的实证洞察，同时对模型中间状态共享、隐私泄露与越狱审计具有重大的安全预警价值。

相关论文