TRACE: Tourism Recommendation with Accountable Citation Evidence¶

会议: NeurIPS 2026
arXiv: 2605.07677
代码: https://anonymous.4open.science/r/TRACE-benchmark
领域: 推荐系统
关键词: 对话式推荐系统, 旅游POI推荐, 引文证据归因, 拒识恢复, 基准评测

一句话总结¶

提出了首个将偏好推荐、逐句评论引文凭据与中途拒识恢复联合评测的旅游对话推荐基准 TRACE，包含 10,000 轮多轮对话与 25 项系统指标，揭示了主流大模型与传统检索器在准确率、引文忠实度与动态纠错之间的三能力鸿沟。

研究背景与动机¶

在旅游这种高试错成本的应用场景下，对话式推荐系统（CRS）如果给出一个看似合理实则不合心意的错误景点或餐厅建议，将直接浪费游客真金白银与不可挽回的出行时间。游客对专业导游型 AI 系统的期待天然具备多维苛刻性：既需要系统能精准理解包含菜系、价位、空间距离、环境氛围等多维度偏好并推荐正确的兴趣点（POI），又要求系统对每个推荐主张给出源自真实游客历史评价的逐句逐字引文佐证（而不是依靠模型平滑流利的臆造），并且在游客中途明确拒绝首选建议并追加新约束时能够平滑自适应纠错。

然而现有的对话式推荐与旅游问答评测基准存在四个明显的结构性缺陷。首先是指标过于单一，如 ReDial、TG-ReDial、INSPIRED 等传统通用领域基准，绝大多数只以实体提及上的召回率（Recall@k）作为单一排行榜依据，完全无视了解释的真实质量；其次是缺乏证据审计，只关注推荐命中率的机制导致大语言模型即便给出严重幻觉的虚假推荐理由也不会受到惩罚；再次是脱离旅游现实，现存的旅游资源如 DTCRSKG、TourismQA 或 RETAIL 虽引入了空间距离或知识图谱，但要么属于单轮问答，要么无法将推荐主张绑定到字面评论证据；最后是缺失动态对话修复机制，几乎没有基准系统性测试过当用户在对话中途抛出“太吵了，换一家安静点的”这种明确拒识指令时系统能否合理调整候选并自适应恢复。

针对这些评测盲区，本文将可信对话式推荐解构为一个协同优化的三元目标。核心 idea：构建包含评论片段凭据与显式拒识轮次的旅游对话推荐基准 TRACE，并引入覆盖准确率、引文扎根度与拒识恢复力的全套评测协议，以终结单一维度的粗放排名并系统性揭示现有模型的能力断层。

方法详解¶

整体框架¶

TRACE 的核心在于建立一个包含 10,000 轮多轮对话的高质量可审计评测基准，并配套全方位的评估流水线。数据底座来源于 Yelp 学术数据集覆盖全美 8 个城市的 2,400 个 POI（餐馆、酒店、景点各 800 个，共计 34,208 条真实评论）。对话构建通过五阶段生成验证流水线实现：采样 47 种画像原型、多约束 POI 候选池抽样、基于 DSPy 与 gpt-5.4-mini 生成包含显式拒识与 [Rn] 评论引文标签的对话结构、严格的字符级模糊匹配质量检验、以及自动化难度分级。整个基准包含 25 个系统评测指标，归整于准确率（Accuracy）、扎根度（Grounding）与恢复力（Recovery）三大核心能力轴。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["Yelp 知识库<br/>8座城市 × 3类POI × 34,208条评论"] --> B["五阶段对话生成管线<br/>画像采样 → 候选抽取 → DSPy生成 → 质检 → 难度分级"]
    B --> C["TRACE 评测数据集<br/>10,000轮对话 / 29.4%含中途拒识 / 逐轮附带评论片段引用"]
    C --> D["三能力联合评测体系"]
    D --> E["C1: 偏好匹配准确率<br/>Closed/Open-set Recall@k, MRR"]
    D --> F["C2: 评论引文扎根度<br/>复合指标 CGS, NLI蕴含度, 溯源覆盖率 PC"]
    D --> G["C3: 对话动态恢复力<br/>拒识修复率 Rejection Recovery, T2R, TSR"]

关键设计¶

1. 五阶段对话生成与多参考候选池机制：兼顾受控难度与开集评测灵活性

传统的对话式推荐数据往往受限于固定候选集且缺乏拒识交互。TRACE 采用模块化的五阶段数据生成管线，首先从 47 种旅行者画像（如无障碍需求者、红酒爱好者、家庭亲子、红眼转机等）中抽样，并在知识库中按照星级与类别分层采样出 8 个候选 POI。随后通过受控提示词生成包含严格用户-系统轮换、至少 3 个独特推荐、至少 1 次对比以及明确 reject_and_refine 拒识轮次的对话。生成过程中要求模型引述评论时必须插入 [Rn] 标签并保持字面引述。数据经过严格的多轮质检（检查动作覆盖、评论引用有效性以及针对真实引文片段维持 \(\ge 0.80\) 的模糊匹配率），并划分为 Easy、Medium、Hard、Expert 四个内在生成难度层。除了默认的单一真实 POI 标注，每轮推荐还配有多参考候选池（记录 8 个候选中同样能满足该偏好的其他 POI）以及同城市同类型的开集候选池（50–100 个候选项），支持评测系统在闭集与开集场景间无缝切换。

2. 复合引文扎根度指标（CGS）与 NLI 蕴含度检验：堵住无引文放行与字面搬运漏洞

在传统的文本扎根度评测中，纯模糊匹配的 Grounding Score（GS）存在致命盲区：当系统回答中完全不提供任何引文时，GS 会因为没有不匹配引文而判定为“真空成立”输出满分 1.0；此外，仅靠字面片段拷贝虽然模糊匹配得分极高，却往往脱离真实语义支持。为此，TRACE 提出了复合引文扎根度指标（Composite Grounding Score, CGS）：

\[\text{CGS} = \text{GS} \times \min\left(1, \frac{\text{CD}}{0.05}\right) \times (0.5 + 0.5 \times \text{PC})\]

其中 \(\text{GS}\) 为字面模糊匹配率（匹配度 \(\ge 80\%\) 的引用比例），\(\text{CD}\) 为引文密度（引文 Token 占回答总 Token 的比例），而 \(\text{PC}\)（Provenance Coverage）为关键属性溯源覆盖率，用于检测回答中涉及菜系、氛围、设施等 41 种特定属性词的上下文 80 字符邻域内是否附有对应引文标记。如果回答缺少引文（\(\text{CD} < 0.05\)），CGS 会对其严厉截断打压。此外，为进一步穿透表面字面引用的假象，TRACE 引入基于 DeBERTa-v3-base（阈值 0.5）的 NLI 自然语言推理蕴含度指标，对模型生成的自由陈述句在语义层面是否被源评论直接蕴含进行严格打分。

3. 对话动态拒识修复与空间一致性度量：从静态推荐走向真实交互可用性

真实旅行场景中，用户往往会对不契合隐性偏好的初次推荐提出异议。TRACE 首次将交互修复行为量化为拒识修复率（Rejection Recovery Rate），即在用户触发 reject_and_refine 动作后，系统紧接着给出的下一轮推荐命中黄金满足项的比例；配合首个正确推荐所需轮数（Turns-to-First-Correct, T2R）以及全局任务成功率（TSR），刻画系统的在线纠偏韧性。此外，TRACE 关注物理世界的真实落地价值，提出了空间一致性（Spatial Coherence）指标，度量单轮对比或成套推荐中 POI 之间在 2 公里可步行范围内的配对比例，以及价格预算对齐率（Price Alignment），确保推荐结果不仅逻辑闭环，而且在地理与经济维度上真实可行。

实验关键数据¶

主实验¶

在包含 10,000 轮完整测试的封闭集（8 个候选）下，论文横向对比了 13 个会话隔离基准（分为非 LLM 检索器与规划器、LLM 基础与增强模型两大阵营）。实验清晰暴露了三能力之间的互斥性：

模型类型	基线模型	R@1 ↑	MRR ↑	CGS ↑	引文密度 (CD) ↑	拒识修复率 ↑	T2R ↓
Non-LLM	Popularity	0.140	0.164	0.802	0.411	0.626	5.57
Non-LLM	TF-IDF	0.257	0.289	0.776	0.377	0.891	4.02
Non-LLM	Aspect	0.179	0.206	0.750	0.391	0.715	4.96
Non-LLM	Dense	0.243	0.274	0.864	0.393	0.821	4.17
Non-LLM	Spatial	0.257	0.288	0.727	0.437	0.893	4.02
Non-LLM	Hybrid-RRF	0.254	0.286	0.775	0.412	0.854	4.01
Non-LLM	Itinerary	0.257	0.289	0.684	0.310	0.891	4.02
Non-LLM	Knowledge-Enh.	0.206	0.234	0.708	0.375	0.842	4.70
Non-LLM	Persona-Ground.	0.191	0.218	0.706	0.354	0.828	4.83
LLM	LLM Zero-Shot	0.533	0.638	0.636	0.162	0.988	3.00
LLM	DST	0.442	0.508	0.634	0.194	0.895	3.38
LLM	RAG-Citation	0.381	0.409	0.658	0.388	0.863	3.69
LLM	Multi-Rev. Synth.	0.281	0.289	0.008	0.001	0.263	4.55

跨模型家族验证（1,000 轮子集测试）：Claude Haiku 4.5 取得 R@1=0.485, CGS=0.541, 修复率=0.957；Qwen3.5-Flash 取得 R@1=0.477, CGS=0.505, 修复率=0.986，证实上述性能分布模式在不同 LLM 系列中高度一致。

消融与压力测试实验¶

论文进一步在开集检索（50–100 个候选）、语义蕴含度（NLI）以及多候选池大小维度进行了全方位压力测试：

基线模型	闭集 R@1 (8项)	开集 R@1 (50-100项)	表面GS	NLI 蕴含度	属性覆盖率 PC	拒识修复率
TF-IDF	0.257	0.099	0.998	0.193	0.555	0.891
Dense	0.243	0.033	0.997	0.168	0.733	0.821
LLM Zero-Shot	0.533	0.132	0.981	0.038	0.297	0.988
DST	0.442	0.125	0.982	0.044	0.291	0.895
RAG-Citation	0.381	0.093	0.994	0.033	0.324	0.863
Multi-Rev. Synth.	0.281	0.100	0.996	0.050	0.980	0.263

此外，在人工评测校准实验中（5 位标注员，90 组样本）： - CGS、GS 与人工标注的引文精确度呈显著正相关（Spearman 相关系数分别为 \(\rho = +0.47\) 与 \(\rho = +0.80\), \(p < 10^{-5}\)），验证了自动化扎根指标的可靠性。 - 人工自然度与信息量评分中，LLM Zero-Shot（信息量 3.55 / 自然度 3.97）大幅领先 TF-IDF（1.55 / 2.33），但其人工引文精确度（0.774）却显著落后于 RAG-Citation（0.969）和 TF-IDF（0.909）。

关键发现¶

三能力无法兼得的断层鸿沟（Three-Competency Gap）：没有单一模型能同时统领三轴。LLM Zero-Shot 凭强大的上下文跟随能力赢得了闭集准确率（0.533）与拒识修复（0.988），但其引文密度极低（0.162），CGS 垫底；传统检索器（Dense / TF-IDF）靠硬套模板实现了极高的表面扎根度（CGS 高达 0.864），但准确率低下（\(\le 0.257\)）；基于评论聚类合成的多篇综述方法（Multi-Review Synthesis）在用户拒识时则彻底崩溃（修复率仅 0.263）。
开集场景下所有基准断崖式跌落：将候选池从闭集 8 项扩大到开集 50–100 项时，所有模型准确率剧烈滑坡。LLM Zero-Shot 的 R@1 暴跌 75% 降至 0.132，稠密检索器 Dense 更是跌至 0.033。而在前置检索器消融中，使用 Dense 替换 TF-IDF 前置粗筛反而导致 LLM 准确率下降（0.144 降至 0.088），反映出旅行对话中用户对菜系、氛围等词法特征的高敏感性。
高模糊扎根度背后的语义虚胖：所有非 LLM 基线的模糊匹配 GS 均高达 0.997 以上，但基于 NLI 的真实语义蕴含度仅有 0.110–0.193；LLM 基线在自由生成下 NLI 蕴含度更是跌至 0.03–0.05，表明大模型在给出流利解释时普遍夹杂了评论中未曾提及的臆测信息。
空间感知缺乏自发推理力：单纯将距离邻近图（Proximity Graph）作为上下文注入大模型并不能提升地理准确率（R@1 仅从 0.533 变为 0.538），唯有像 Itinerary 基线显式执行贪婪 TSP 路径求解才能将空间一致性从 0.19 提升至 0.64，显示出当前架构在空间拓扑推理上的硬伤。

亮点与洞察¶

从单一 Leaderboard 转向三维综合评价：首次将准确推荐、可审计引文证据与中途自适应纠偏联合作为核心准出条件，彻底打破了传统 CRS 仅看 Recall@k 的虚假繁荣。
精心设计的 CGS 门控指标：通过引文密度截断与属性溯源覆盖加权，巧妙解决了生成模型通过“不引注从而不犯错”来钻模糊匹配空子的作弊行为，且与人工评测相关性高达 \(\rho=+0.80\)。
极具说服力的跨范式失效画像：清晰描绘了大模型的“流利臆造”、传统检索器的“呆板照抄”以及特征合成方案在“动态拒识下的惯性失灵”，为后续混合架构的开发指明了清晰的方向。

局限与展望¶

知识库的地域与时效局限：目前数据集受限于 Yelp 英语公开学术数据，仅覆盖美国 8 座城市，且缺乏实时营业状态与动态价格追踪。
NLI 评测工具的领域迁移误差：用于计算蕴含度的 DeBERTa-v3 模型预训练于正式文本语料（SNLI/MNLI），面对口语化、俚语丰富的真实游客评论时判定偏保守，存在整体绝对分值系统性偏低的现象。
未来方向：探索端到端的“检索-引注-修复”联合强化学习架构；研发能够结合地图拓扑的地理原生 CRS 模型；并向多语言与真实游客互动场景拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出融合评论证据归因与拒识修复的旅游对话推荐基准，问题定义兼具实用性与评测严谨度。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 14 个基准、25 项指标、10,000 轮全量对话，并辅以跨模型验证、开集消融与严谨的人工一致性标注。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，核心洞察提炼深刻，附录对指标敏感性与防作弊机制的论证极为扎实。
价值: ⭐⭐⭐⭐⭐ 为解决高风险消费决策领域对话式 AI 的幻觉与归因痛点提供了极具标杆意义的评测范式。