CAVEWOMAN: How Large Language Models Behave Under Extreme Context Degradation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/danielle34/cavewoman
领域: LLM Agent
关键词: 语言输入与输出压缩, 成本不对称性, 语义保真度, 双向NLI蕴涵, 上下文退化
一句话总结¶
CAVEWOMAN 提出了首个贯通输入剪枝与输出受限的双通道极端语言压缩评测基准,揭示了压缩提示词反致推理总成本激增达 96% 且精度全线暴跌、而压缩输出可无损提速降本达 3 倍却导致超半数正确答案与模型原本推理脱节的深刻不对称规律。
研究背景与动机¶
在大语言模型推理成本居高不下的工业背景下,“精简说话、省略语法、节省 token”常被奉为立竿见影的成本节约法则。随着模型 API 定价机制普遍确立了输出 token 费用显著高于输入 token(通常高出 4 至 6 倍)的梯次费率,开发者与研究界广泛尝试采用各种硬剪枝、启发式提示过滤或紧凑格式指令来压缩交互数据。然而,当前提示词压缩与输出响应压缩的研究长期处于孤立分割状态,学术界大多仅在单一侧面考察压缩算法,完全忽视了两端在实际调用中相互耦合的代际成本效应。
更为严重的评估盲区在于,既有压缩工作几乎唯一依赖下游任务的最终正确率(Task Accuracy)作为评判模型是否受损的度量标准。这种粗粒度评估存在两处致命盲点:其一,当提示词被大幅删减时,模型往往因语境线索模糊而倾向于生成更加冗长繁复的解答,导致原本微弱的输入 token 削减完全被昂贵的额外输出消耗吞没,最终实际扣费反而不降反升;其二,二元对错指标无法衡量模型的内部推理一致性,即即使模型最终输出了正确的答案符号,其输出内容是否依然传达了该模型在未受限自由状态下所秉持的证据与逻辑链条。在涉及转录记录、审计追踪和可解释安全监管等依赖推理轨迹的智能体决策系统中,推理轨迹的漂移将带来极其隐蔽的安全风险。
针对上述核心矛盾,迫切需要一种能够贯通输入与输出双通道、同步核算真实美元支出与语义保真度的系统性审计体系。核心 idea:构建 CAVEWOMAN 双通道评测协议,在严格嵌套的五级语法剥离阶梯下,不仅端到端核算真实 API 美元成本变动与校准任务准确率,更引入双向 NLI 语义蕴涵等 12 维一致性指标,建立划分“正确且一致”与“正确但脱节”的四象限结果矩阵,彻底揭示极端上下文退化下成本不对称与推理隐性崩塌的本质规律。
方法详解¶
整体框架¶
CAVEWOMAN 协议在固定的模型与测试样本集上,统一构建输入压缩(Condition A)与输出压缩(Condition B)两条评估通道。评测管线端到端包含四个主要阶段:基于词性标注的严格语法退化阶梯生成、双通道受控推理部署、融合多级裁决的真实答案校准抽取、以及跨通道的真实美元成本核算与双向语义蕴涵评估。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原始问答样本与系统设定"] --> B["五级嵌套语法退化阶梯<br/>L0无约束到L4极限15-token预算"]
B --> C["双通道受控推理部署<br/>Condition A输入过滤 vs Condition B输出约束"]
C --> D["三级渐进式答案校准抽取<br/>Regex正则初筛 + LLM仲裁 + 人工抽样校验"]
D --> E["双向NLI语义一致性与成本核算<br/>四象限结果判定(C1-C4)与真实美元账单对账"]
关键设计¶
1. 五级嵌套语法退化阶梯:消除跨等级分布跳变 现有文本压缩评估往往缺乏形式化、可复现的难度阶梯,导致不同压缩比下的模型退化难以精确归因。CAVEWOMAN 采用 spaCy 的 Penn Treebank 词性标注体系,构建了数学上完全嵌套的降级算子 \(\phi_0\) 至 \(\phi_4\),确保高阶降级严格为低阶输出的子序列: - \(L_0\)(无约束基准):保留全量单词,输入输出均处于自然语言状态。 - \(L_1\)(电报式 Telegraphic):确定性剔除闭类功能词集合 \(\text{g}(w) \in \{\text{DT, IN, CC, RP, TO, MD}\}\)(冠词、介词、连词、虚词、不定式符号及情态动词)。 - \(L_2\)(纯关键词 Keyword-Only):仅保留名词、动词与基数词集合 \(\text{NN}^* \cup \text{VB}^* \cup \{\text{CD}\}\)。 - \(L_3\)(名词短语骨架 Noun-Phrase Skeleton):完全剔除所有动词,仅保留名词与基数词 \(\text{NN}^* \cup \{\text{CD}\}\)。 - \(L_4\)(15-token 极限界限):在 \(L_3\) 骨架基础上强行截断至前 15 个 token,且推理生成上限严控在 20 token。 这种设计消除了传统启发式 prompt 带来的随机语义漂移,使每一级性能衰减均可精确映射到特定句法成分的缺失。
2. 双通道受控推理部署:对齐因果干扰源 为了消除指令复杂度的干扰,评测在输入与输出两侧施加完全对偶的约束通道。Condition A(输入压缩通道)将中立系统提示词保持绝对固定,仅将输入问题替换为降级序列 \(\phi_\ell(x)\),直接测量模型在破损语法提示下的稳健性;Condition B(输出压缩通道)保持原始自然语言问题不变,通过系统提示词命令模型必须严格遵循 \(\phi_\ell\) 所定义的语法形态输出每一步推导与最终答案。针对基线控制,Condition B 同时设置了包含思维链指令的 \(L_0\) 步步推理基准,与删除了“step by step”要求的 \(L_0\text{-neutral}\) 中立基准,使语法约束与思考指令的剥离得以完全解耦。
3. 三级渐进式答案校准抽取:纠正格式退化带来的误判 在极端压缩或无格式中立提示下,模型回答极为简略或不再遵守预设标记,导致传统正则表达式提取失败率极高(如在未约束基准下 Sonnet 在 CommonsenseQA 上的正则解析率仅 4%),极易假造“压缩使模型性能暴涨”的虚假繁荣。CAVEWOMAN 设计了三步纠错阶梯:首先运行 0.01 浮点容差的严格正则抽取;对未解析样本引入 Qwen3.5-9B 担任仲裁裁判,针对 90,695 个边界样本判别其最终立场是否支持标准答案;最后由独立人类专家对 180 个跨法官争议与高危样本实施盲审(与 LLM 法官一致性达 71.9%),保证了所有精度统计皆为排除了抽取器偏见后的真实验证精度。
4. 双向 NLI 语义一致性与四象限审计:量化正确背后的推理脱节 为打破“正确即完好”的单一评估范式,协议采用 DeBERTa-v3 交叉编码器计算压缩回答与未受限原始回答之间的双向蕴涵关系(Bidirectional Entailment),并配合 11 种辅助语义指标(涵盖 MiniCheck、BART-MNLI、QA 检验等)。据此将所有样本投影至四象限状态空间:\(C_1\)(正确且蕴涵原始推理)、\(C_2\)(正确但推理脱节/未蕴涵)、\(C_3\)(错误但蕴涵原始推理)、\(C_4\)(错误且未蕴涵)。其中 \(C_2\) 明确捕获了“答案正确但推导变质或证据缺失”的隐性退化现象,为涉及推理审计的业务场景提供了关键的安全量化切面。
评估基准与实验设计¶
CAVEWOMAN 涵盖 9 大前沿主流模型:涵盖通用闭源商业旗舰与轻量模型(GPT-4o、GPT-5.4、Claude Haiku 4.5、Claude Sonnet 4.6)、开源通用与多模态模型(Qwen2.5-VL-7B、Qwen3.5-9B、Gemma-4-E4B)、开源推理蒸馏模型(DeepSeek-R1-Distill-Qwen-7B)以及长文本模型 Kimi-K2.6。评测基准横跨五大多样化短文本问答数据集:GSM8K(多步数学)、BoolQ(篇章判断)、ARC-Easy(科学选择)、CommonsenseQA(常识推理)以及 MMLU-STEM(20个理工科子集),每模型在单一条件下评测 11,465 道题目。此外,评测向外延展至涵盖 10 种跨语系语言的 MGSM 数学数据集,以及 XSum、CNN/DailyMail 两大长文本摘要基准。
实验关键数据¶
主实验:两通道在 5 大基准上的成本与精度不对称规律¶
在 2026 年 5 月公布的真实 API 官方牌价核算下,输入端与输出端压缩展现出截然相反的成本变化方向。
| 评估通道 | 维度 / 基准 | L1 (电报式) 成本变化 | L2 (关键词) 成本变化 | L3 (名词骨架) 成本变化 | L4 (15-token) 成本变化 | 核心表现特征 |
|---|---|---|---|---|---|---|
| 输入压缩 (Condition A) | GSM8K 算术推理 | +5% | -2% | -14% | -83% | 提示削减导致生成拉长,净支出增加 |
| 输入压缩 (Condition A) | BoolQ 篇章判断 | +6% | +12% | +11% | -77% | 模型频繁迷失方向,低级压缩全面赔本 |
| 输入压缩 (Condition A) | ARC-Easy 科学选择 | +15% | +22% | +22% | -71% | 语义破损引发解释性补偿性多输出 |
| 输入压缩 (Condition A) | CommonsenseQA 常识 | +36% | +82% | +78% | -53% | 极端情况下美元成本近乎翻倍 (+96%) |
| 输入压缩 (Condition A) | MMLU-STEM 理工综合 | -3% | -21% | -34% | -87% | 仅在少数理科上勉强打平,但精度剧降 |
| 输出压缩 (Condition B) | GSM8K 算术推理 | -29% | -34% | -30% | -76% | 保持精度的同时压缩输出,显著省钱 |
| 输出压缩 (Condition B) | BoolQ 篇章判断 | -19% | -21% | -19% | -59% | 输出短文本自然缩编,稳定降低成本 |
| 输出压缩 (Condition B) | ARC-Easy 科学选择 | -41% | -44% | -42% | -78% | 选项直出大幅压减废话,节省可达3.1倍 |
| 输出压缩 (Condition B) | CommonsenseQA 常识 | -38% | -42% | -42% | -78% | 大幅裁剪冗余叙述,降费效果拔群 |
| 输出压缩 (Condition B) | MMLU-STEM 理工综合 | -39% | -47% | -47% | -83% | 结构化输出极其紧凑,成本平均缩减近半 |
各模型在输入压缩 \(L_1\) 阶段,GPT-5.4 净成本增加 +18.4%,Claude Sonnet 4.6 增加 +5.1%,Claude Haiku 4.5 增加 +3.1%,仅 GPT-4o 依靠强制极短回答微降 -2.6%。而在输出端 \(L_1\) 压缩下,GPT-4o 成本暴跌 57%(降至原成本 0.43 倍),Sonnet 4.6 暴跌 41%,Haiku 4.5 降低 31%,GPT-5.4 降低 11%。
语义一致性审计:非推理模型的输出一致性崩塌¶
在 \(L_1\) 输出压缩下,考察模型生成正确答案时是否仍与无约束基准输出保持语义一致性。
| 模型类型 / 模型名称 | 正确且蕴涵 L0 (C1) | 正确但脱节/不蕴涵 (C2) | 错误且蕴涵 (C3) | 错误且脱节 (C4) | 脱节率占正确总数比重 | 关键成因与行为分析 |
|---|---|---|---|---|---|---|
| GPT-4o | 26% | 56% | 2% | 16% | 68.3% | 极其顺从约束,推理过程全丢,仅剩孤立断言 |
| GPT-5.4 | 35% | 42% | 6% | 17% | 54.5% | 内部隐式推理消耗 token,表层输出高度浓缩 |
| Claude Haiku 4.5 | 36% | 46% | 6% | 12% | 56.1% | 推理路径改道,跳过中间变量直奔答案 |
| Claude Sonnet 4.6 | 36% | 48% | 7% | 9% | 57.1% | 丰富阐释被压制,逻辑演进结构彻底重构 |
| Qwen2.5-VL-7B | 32% | 55% | 3% | 10% | 63.2% | 语法合规度较低,易发生推理步骤实质性省略 |
| Gemma-4-E4B | 18% | 53% | 9% | 20% | 74.6% | 未受限时长文本频繁超限,压缩后反获意外增益 |
| DeepSeek-R1-Distill-7B | 45% | 18% | 27% | 10% | 28.6% | 显式推理链独占预算,呈现反向截断崩塌 |
| Qwen3.5-9B (Think模式) | 43% | 20% | 27% | 10% | 31.7% | 思考轨迹挤压可见生成空间,C3 显著激增 |
| Qwen3.5-9B (非Think模式) | 10% | 56% | 18% | 16% | 84.8% | 剥离思维链后行为完全退化至普通非推理模型 |
关键发现¶
- 输入输出的逆向成本剪刀差:提示词硬剪枝(如删除虚词)在每个 API 模型上虽能节省 15–16 个输入 token,却诱发模型产生更长的解释性废话;鉴于输出 token 单价高出 4–6 倍,直接导致输入压缩在 90% 的场景下不省钱甚至巨额增费(平均增费 12%,极值达 96%)。相反,输出端压缩平均降低账单 1.7 倍,最高节省 3.1 倍。
- “正确但不诚实”的普遍性:在所有 6 个非推理模型中,平均有超过 50.1% 的输出属于 \(C_2\) 状态(正确但脱节)。当人类尝试审查压缩后的日志时,超过 80% 的步骤证据已无法支撑起原初判据。
- 推理模型与非推理模型的两极分化:拥有显式思维链(DeepSeek-R1、Qwen3.5 开启思考)或隐式内置思考(GPT-5.4)的模型,由于推理过程共享了输出 token 配额,强行实施严格长度限制会导致思考被腰斩,准确率瞬间归零;而关闭思考后,Qwen3.5 精度在 \(L_1\) 暴涨 10.7 个百分点,却换来了 56% 的语义严重脱离。
- 模型规模与多语言敏感性差异:在同家族 Qwen2.5 系列中,模型从 3B 扩增至 32B 时,输出压缩带来的精度惩罚从 -15 点收敛至轻微正向增益,然而 \(C_2\) 脱节现象并未随参数规模扩大而消解(蕴涵率始终在 41% 徘徊)。在跨语言 MGSM 评测中,针对泰语、泰卢固语等高分词代价语言,由于 token 膨胀严重,压缩输出带来的相对降费幅度显著低于中英文。
亮点与洞察¶
- 颠覆工程经验的端到端经济学视角:敏锐指出了当前业界盲目跟风“Caveman 提示词缩减”导致的隐形财务反噬,从输入/输出费率不对称的物理现实出发,彻底终结了“简写输入必省钱”的工程幻觉。
- 构建了解耦格式影响的多重基准对齐:引入 \(L_0\text{-neutral}\) 纯答案基准,精准剥离了“删除 step-by-step 思考要求”与“纯粹句法降级”对成本降低的独立贡献(单纯删掉 step-by-step 即可为 GPT-4o 斩获 46% 降费且毫无精度受损)。
- 可复用的可解释性审计范式:提出的四象限划分(\(C_1\) 至 \(C_4\))超越了传统二元准确率,为评估 RAG、长流程 Agent 决策回溯及高安全级合规审计提供了标准化度量工具。
局限与展望¶
- 作者承认的局限:基于 DeBERTa 的双向 NLI 判别器对表面表达敏感度过高,在极度精简的 \(L_2\) 及更高等级下容易产生假阴性误判;此外,答案抽取修正器所依赖的 Qwen3.5-9B 本身属于受评模型之一,存在潜在法官自利偏差。
- 评估边界约束:输入端过滤依赖确定的规则化词性标注,无法完全拟合人类在真实打字场景下的不合语法拼写与口语化退化;同时核心基准大多为答案简短的问答任务,在长文档生成与多轮 Agent 对话中,句法约束往往诱发模型通过列表式穷举反而拉长篇幅。
- 未来演进方向:需要开发不依赖语言学先验标签的语义保持型自适应编解码器,并将该评估框架推广至长期记忆调用与工具交互协议的极端退化压测中。
相关工作与启发¶
- vs LLMLingua / LLMLingua-2:LLMLingua 侧重通过自信息熵或小模型蒸馏剔除输入 token,但在单句问答场景下易直接削掉单字母选项(如 A/B/C/D 标签),导致 ARC-Easy 精度从 80% 暴跌至 6%;CAVEWOMAN 证明了基于词性保全的名词/动词过滤能以近乎无损方式保持 99.7% 的选项完备率。
- vs TokenSkip / Hansel / Countdown 等输出控长方法:已有方法多从底层解码修改或位置编码强行切断生成,缺乏对生成语义逻辑连贯性的后验审计;CAVEWOMAN 补足了语义流失维度的全景度量。
- 启发:在多 Agent 协同和高频生产管线中,应当坚决停止在用户输入端做粗暴的语法过滤;若要压降推理成本,最安全高效的手段是制定严密的结构化输出 Schema,并配合中立提示词剥离冗余 CoT,同时警惕压缩日志不可直接充当安全审计凭据。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将提示词与回复压缩放在同一经济学与语义保真度天平上审视,提出极具洞察力的双通道不对称评估体系。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大模型、5 大基准、10 种跨语系语言及长文本拓展,总计超 11 万次推理调用与完整的全量人工双盲审计,实证极其扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密严整,概念界定清晰,数据图表呈现高度凝练直观,分析鞭辟入里。
- 价值: ⭐⭐⭐⭐⭐ 直接击中大模型落地应用中的核心成本痛点与可解释性安全隐患,对工程实践具有立竿见影的指导意义。