Diagnosing and Repairing Citation Failures in Generative Engine Optimization¶

会议: NeurIPS 2026
arXiv: 2603.09296
代码: https://github.com/zhihuat/agentgeo
领域: 信息检索/RAG
关键词: 生成式引擎优化, 引用归因, 智能体系统, 失败归因分类, 结构化基准

一句话总结¶

本文将生成式引擎优化（GEO）从通用重写转向“失败诊断与靶向修复”，提出涵盖抓取、解析与生成全链路的引用失败分类法与 AgentGEO 智能体系统，仅修改 5% 的页面内容即可实现超过 40% 的相对引用率提升。

研究背景与动机¶

生成式引擎（如 Google AI Overview、Perplexity、ChatGPT 搜索模式）的兴起从根本上重塑了网络流量分配格局，AI 综合生成的直接答案大幅削减了传统自然搜索的点击率。尽管研究表明来自 AI 综合摘要的受众点击率不足 1%（远低于传统搜索的 15%），但其带来的访客转化率却比传统有机流量高出多达 23 倍。在这一机制下，答案中附带的引用链接（Citations）成为了内容创作者获取高价值回流的唯一生命线，使得“能否被引用”成为决定网站生存的关键门槛。

然而，现有的生成式引擎优化（GEO）研究普遍存在两大盲区：其一是在目标设定上，现有方案多沿袭词数占比、覆盖位置等连续性“贡献度（Contribution）”指标，掩盖了更本质的二元门槛——实验表明有 43% 的相关网页在基线条件下根本未获得任何引用，对创作者而言无引用即零曝光；其二是在优化手段上，现有基线（如 AutoGEO、GEO-Bench 规则）机械地采用全局重写策略，通篇注入统计数据、权威措辞或填充高频词。这种“一刀切”的盲目优化不仅会引发严重的语义漂移（内容修改比例平均达 25%），更忽视了引用失败是发生在引擎流水线不同层级的异质性缺陷——若网页因 HTML 噪声过大、JavaScript 渲染失败或核心答案被截断于上下文窗口之外而落选，纯文本层面的润色完全无济于事，甚至会反噬长尾冷门领域的原有信息密度。

面对上述困境，本文不再盲目推测哪些通用技巧能提升模型偏好，而是将核心切入点转向针对性因果诊断：“该网页在此查询下为何被竞争对手击败而未能被引用？”本文的核心 idea 是建立一套涵盖获取、解析与生成的全流程引用失败分类体系，并构建智能体框架 AgentGEO，通过对比获引竞品定位根本缺陷、调用细粒度靶向修复工具并经由批次聚合将查询特定的单点修改提炼为泛化稳健的局部块级更新。

方法详解¶

整体框架¶

AgentGEO 的优化流程分为三大阶段：首先在单个训练查询上执行“对比诊断-靶向修复”自适应闭环（Diagnose-then-Repair Loop），通过与最高排名的被引用竞品进行因果归因比对，结合记忆机制调用工具库生成候选编辑；随后进入跨查询批次聚合阶段（Cross-Query Batch Aggregation），将同一批次内不同查询激发的编辑建议映射至冻结的 DOM 块索引空间，通过置信度与严重度仲裁解决编辑冲突；最后执行保真度局部编辑（Localized Chunk-Level Editing），仅在目标结构块上应用补丁，实现对整体页面布局与语义完整性的最大化保留。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入目标网页与训练查询集"] --> B["阶段1：多维度引用失败分类与对比诊断<br/>比对未获引网页与获引竞品差异"]
    B --> C["阶段2：带记忆约束的层级工具选择与闭环修复<br/>多轮迭代生成块级局部 HTML 修改建议"]
    C --> D["阶段3：跨查询候选编辑批次聚合与冲突仲裁<br/>基于冻结 DOM 块映射过滤并遴选最优编辑"]
    D --> E["阶段4：面向语义保真的块级局部渲染与更新<br/>仅替换目标块并保留原始结构与长文本"]
    E --> F["输出高稳健度优化网页"]

关键设计¶

1. 引用失败分类法与对比式归因：全链路因果漏洞定位 传统文本重写方法无法识别底层引擎抓取与解析层面的系统性缺陷。为系统化指导优化，本文基于涵盖 10 个主流领域的 949 组未获引与获引对照对，首次提出贯穿生成式引擎端到端管线的四层失败分类体系：技术完整性失败（Technical Integrity，占比 10.1%，涵盖反爬拦截、JS 动态渲染缺失、解析崩溃、模板噪声超标）；语义对齐失败（Semantic Alignment，占比 62.2%，包括意图偏离、实体术语缺口、时效过期与地域冲突）；内容质量欠缺（Content Quality，占比 27.1%，包含信息稀缺、大段文本缺乏结构排版）；系统性排斥（Systemic Exclusion，占比 0.6%，指维基百科等高权重权威源竞争冗余，或关键信息深埋导致的窗口截断）。在单个查询 $q$ 下，AgentGEO 模拟生成引擎 $\mathcal{G}$ 生成答案并判定是否被引用 $\mathcal{V}(q, d, \mathcal{G}) \in \{0, 1\}$；若未获引，诊断模块抽取当前网页与胜出竞品的特征差异，将其归因于具体的脆弱性标签 $v_q^{(t)}$。

2. 带历史记忆的层级化工具选择策略：防震荡与策略升级 面对诊断出的具体缺陷，盲目尝试相同工具容易陷入无效死循环或造成内容过度漂移。系统构建了包含 9 种靶向操作符的专用工具库 $\Omega$，细分为信息扩充（entity_injection 句子级微插入实体并加 <strong> 标记、data_serialization 将叙述性数字解析为 HTML 标准表格）、结构增强（structure_optimization 将密集成墙的文本插入 <h3> 标头与列表、noise_isolation 用 <aside> 或专用样式类隔离冗余噪点）、内容定位（bluf_optimization 将核心结论提取至顶端摘要框、content_relocation 浮现深埋内容、intent_realignment 首句改写直接回答）以及说服力精修（persuasive_rewriting 强化权威口吻与反方反驳、historical_redteam 建立时间线锚定）。工具选择策略 $\pi(v_q^{(t)}, \mathcal{M}_q, \Omega)$ 维护查询专属记忆轨迹 $\mathcal{M}_q = \{(v_q^{(k)}, \omega^{(k)})\}_{k=1}^{t-1}$，引入三大防御性约束： - 幂等性拦截（Idempotency Guard）：若历史尝试中操作符 $\omega$ 曾引发相同漏洞 $v_q$，则在当前候选集中强制屏蔽； - 预算上限（Budget Threshold）：单个查询轨迹内任一操作符调用次数严格限制在 3 次以内； - 失败修剪（Stability Pruning）：若某操作符在跨两个连续优化周期中持续失败，则在当前路径中全局剔除。当浅层修复无法解决问题时，系统触发升级协议（例如事实注入未果则升级为权威说服力重写，排版调整无效则升级为强制置顶 BLUF 摘要框）。

3. 跨查询块级批次聚合与冲突仲裁：防止单查询过拟合 内容创作者无法预测用户的具体查询表述，直接针对单一查询修改网页极易导致“对特定 prompt 过拟合”，在其他查询上引用率反而崩溃。AgentGEO 在当前训练批次 $B_k$（大小为 $B$）中，为每个查询 $q \in B_k$ 在网页副本上独立运行诊断-修复循环，每个成功触发引用的查询至多产出一个候选编辑建议 $s_q = (v_q, i, \Delta h)$，其中 $i$ 为目标结构块索引，$\Delta h$ 为替换 HTML 片段。在批次开始前，原始网页的 DOM 树依据语义标签被划分为冻结的块索引空间。聚合阶段将所有建议按目标块归类为集合 $\mathcal{E}_i \subseteq \mathcal{E}_{batch}$。若同一块 $i$ 面临多个相互冲突的修改提议，仲裁器依据缺陷严重度等级与置信度评分进行优先级排序，为每个块选出全局最优解 $edit^*$ 并单次应用到主干页面中： $$edit^* = \arg\max_{e \in \mathcal{E}_i} \text{Score}(e)$$ 该机制将离散查询上的成功经验蒸馏为查询不变量（Query-Invariant）改进，有效平滑了个体查询的特异性扰动。

4. 结构感知保真度局部编辑：严格控制内容修改范围 现有方法将长页面整体输入大语言模型进行“洗稿式”全局重写，不仅极易引发事实幻觉和长尾信息丢失，还会破坏网站的 CSS 框架与元数据。AgentGEO 采用基于 HTML 标签的结构感知切分，将页面划分为段落、列表、元数据和表格等独立语义块。在整个优化过程中，未被标记有缺陷的结构块完全保持字节级不变；所有由工具生成的替换片段严格限制在其所属的块级容器内。这种局部外科手术式的修改使得 AgentGEO 仅变动页面约 5% 的原始内容，即可将 TF-IDF 相似度维持在 94% 以上、Jaccard 词袋重叠度超过 82%，彻底杜绝了大模型在长上下文重写中的灾难性遗忘。

损失函数 / 训练策略¶

优化目标定义为在语义保真度约束下最大化查询分布 $\mathcal{Q}$ 上的期望引用指示函数： $$d^* = \arg\max_{d'} \mathbb{E}_{q \sim \mathcal{Q}} \left[ \mathcal{V}(q, d', \mathcal{G}) \right] \quad \text{s.t.} \quad \text{Sim}(d, d') \geq \tau$$ 在具体实现中，算法 1 采用迭代批次贪心优化：设置最大单查询内层循环步数 $T_{max}$ 与外层批次大小 $B=5$。当网页在某查询下已获引（$\mathcal{V}=1$）时跳过诊断，仅处理未获引案例。

实验关键数据¶

主实验¶

实验在全新构建的文档级基准 MIMIQ（204 个网页、每个网页 20 个训练查询与 40 个测试查询，共 12,240 个查询）上开展，涵盖 In-context 与 Attribute-first-then-generate 两种引擎生成模式，对比了 Vanilla、GEO-Bench 规则基线及自动规则挖掘模型 AutoGEO。

评估维度与方法	In-context 引用率(CR %)	In-context 贡献度(Word %)	In-context 保真度(Jaccard %)	Pre-hoc 引用率(CR %)	Pre-hoc 贡献度(Word %)	Pre-hoc 保真度(Jaccard %)
Vanilla（未优化基线）	56.58	16.28	-	60.20	23.69	-
Technical Terms	55.84	14.78	21.37	57.33	22.25	21.98
Keyword Stuffing	62.44	17.83	30.04	65.62	28.09	28.39
Authoritative	59.14	17.45	25.15	63.46	26.86	26.02
Easy-to-Understand	71.11	19.73	30.26	65.34	28.44	30.41
Statistics Addition	60.52	17.41	69.31	59.46	24.15	69.38
Fluency Optimization	60.60	16.52	48.98	62.22	25.44	49.21
AutoGEO	68.80	17.87	17.97	65.97	33.96	19.77
AgentGEO（本文）	79.52	20.29	82.40	70.00	34.18	82.66

消融实验¶

在 MIMIQ 上针对记忆引导机制与批次大小（Batch Size）配置开展消融分析，评估其对引用率与页面保真度的影响：

配置说明	引用率(CR %)	贡献度(Word %)	文本保真度(TF-IDF %)	词集重叠度(Jaccard %)	说明
Vanilla	56.58	16.28	-	-	原始网页基线
w/o Memory（无记忆随机/无约束选择）	75.94	22.21	96.89	84.51	缺少历史尝试屏蔽与升级机制
w/ Memory（完整记忆引导机制）	79.32	22.69	96.95	84.86	规避无效死循环，提升 3.38% 引用率
Batch 1（单查询连续序列修改）	74.53	25.56	93.41	77.05	易过拟合单一查询，全局泛化较差
Batch 5（批次聚合推荐配置）	80.86	23.39	96.87	83.35	泛化性与特异性最优平衡点
Batch 10（大批次聚合）	75.84	22.69	96.57	83.76	稀释了单网页关键特征，引用率回落
Batch 20（超大批次聚合）	75.38	22.58	97.77	86.19	修改趋向过度保守，引用提升减弱

关键发现¶

靶向修复超越全局改写且保真度极高：AgentGEO 在 In-context 模式下达到 79.52% 的引用率，比 AutoGEO 提高 10.72%，比 Vanilla 提升 22.94%（相对提升超 40%）；同时 Jaccard 相似度高达 82.40%，而全局重写的 AutoGEO Jaccard 仅为 17.97%（改动了超过 80% 的词汇），表明引用失败是局部缺陷而非全局质量问题。
通用规则会严重反噬长尾领域内容：在不同主题的细分分析中，对于原始引用率已达约 80% 的健康（Health）类网页，通用优化基线（如 AutoGEO）盲目重写删除了关键专业细节，导致引用率不升反降；而 AgentGEO 条件化触发诊断，规避了全局重写的负面偏见。
跨引擎迁移与 OOD 泛化能力优异：在分布外测试（MIMIQ-OOD，测试集包含完全未见的用户 Persona）上，AgentGEO 取得 70.62% 的引用率，优于 AutoGEO 的 64.18%；在解析混乱的 MIMIQ-HTML 场景下，AgentGEO 达到 67.19% 引用率，远超基线。
不可恢复的系统性引用失败（边界与天花板）：在对 50 篇网页未获引案例分析中，有 163 个查询即使优化后仍未获引。例如大学开设的机器学习课程页面，即便被优化增加了详尽清晰的课程描述，生成引擎依旧坚决引用 Coursera、edX 等权威聚合平台，证明引擎内部存在独立于网页正文的域名级权威偏差。

亮点与洞察¶

将 GEO 从“盲目文本迎合”重塑为“因果缺陷诊断与靶向修复”，指出了引用（Citation）与贡献度（Contribution）在流量经济中的本质差异。
提出了涵盖获取、解析、排版、语义到系统排斥的全流程引用失败分类体系，填补了以往研究仅关注正文词汇而忽略 HTML 结构与窗口截断的空白。
引入文档中心型（Document-Centric）泛化评测基准 MIMIQ 与多查询测试协议，破除了传统单查询过拟合评测的幻象。

局限与展望¶

实验评估主要基于可控的大语言模型检索增强仿真环境（GPT-4.1-mini 与 Claude-Haiku-4-5），尚未直接在商用闭源黑盒引擎（如真实环境下的 Google AI Overview）内部进行流量反向归因验证。
诊断与多轮修复闭环依赖大模型的多步推理，推理与优化成本相比单次提示重写较高；未来需要通过模型蒸馏构建专用紧凑诊断器以提升优化吞吐。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出因果诊断型 GEO 框架与全链路引用失败分类法，范式转移清晰。
实验充分度: ⭐⭐⭐⭐⭐ 构建了多意图大样本文档级基准 MIMIQ，包含 OOD、HTML 扰动与完备消融。
写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，实验设计动机鲜明，图表信息量极其丰富。
价值: ⭐⭐⭐⭐⭐ 对内容创作者的 AI 时代生存及生成式引擎的可信流量分发具有极高的实用与指导意义。