Dual-Prompt-Driven Textual Knowledge Graph Generation With Heterogeneous Information Embedding for CTR Prediction¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/fxl9/TKE4CTR
领域: 图学习
关键词: 点击率预测, 知识图谱生成, 大语言模型提示工程, 跨注意力门控融合, 异构信息嵌入
一句话总结¶
针对传统 CTR 模型离散特征编码语义缺失及多模态融合粗糙的问题,本文提出 TKE4CTR 框架,通过双提示模板将多领域表格数据转换为统一语义文本块与任务自适应异构知识子图,结合两阶段幻觉抑制策略抽取三元组,并利用双向跨注意力门控网络与特征门控 MLP 实现了结构与语义的高效协同对齐,在五大真实电商场景中大幅超越现有基线。
研究背景与动机¶
点击率(Click-Through Rate, CTR)预测作为在线广告推荐系统和电商平台的核心基石,直接决定了平台的商业收益与最终用户体验。传统 CTR 预测方法长期依赖离散特征工程,将多领域分类特征映射为稀疏 One-Hot 向量,随后通过因子分解机(如 FM、FwFM)捕获低阶交互,或借助深度交互网络(如 PNN、DCN、DeepFM、xDeepFM、AutoInt)建模高阶非线性关联。然而,基于纯离散 ID 和独热编码的范式存在天然缺陷:分类值被孤立表征,类别之间固有的语义关联(例如不同品牌、类目层级或属性描述之间的内在关联)被完全隐匿,不仅导致特征空间维度高企、对人工特征工程依赖过重,且在冷启动与数据稀疏场景下面临泛化瓶颈。
随着预训练语言模型(PLM)与大语言模型(LLM)的兴起,文本增强型 CTR 模型(如 CTR-BERT、ClickPrompt、Uni-CTR)尝试将表格数据转化为自然语言文本以挖掘深层语义;与此同时,图增强型 CTR 模型(如 DKN、CKAN、MCCLK)则通过知识图谱中的实体和关系多跳聚合来缓解稀疏性。然而,现有范式面临两难困境:文本模型擅长捕获非结构化的用户评论与上下文描述,但难以显式表达跨实体的严格依赖关系与逻辑路径;知识图谱模型虽然拥有结构化先验,却严重依赖昂贵的外部先验知识库或人工 Schema,无法自适应不同领域的灵活语义。更关键的是,若直接利用 LLM 抽取三元组构建图,模型极易产生严重的隐式事实幻觉与 Schema 偏离;而在融合阶段,现有多模态方法往往简单采用向量拼接或加权求和,缺乏细粒度的特征对齐机制,难以动态权衡结构知识与文本上下文。
这一技术矛盾的核心在于:离散多领域表格数据如何在无需外部手工图谱的前提下,低成本且高保真地重塑为互补的结构化知识与自然语言表征,并在特征空间中实现跨模态依赖的精准对齐。核心 idea:提出双提示驱动的文本-知识图谱生成与异构融合框架 TKE4CTR,设计结构化文本块模板与带少样本约束校验的三元组抽取提示,将表格数据端到端重构成文本与局部知识子图,并通过双向跨注意力门控网络与特征门控预测头实现结构关系与非结构化语义的深度协同与自适应推断。
方法详解¶
整体框架¶
TKE4CTR 整体架构包含四个紧密协作的子阶段:首先是双提示驱动的模态转换阶段,将清洗后的多领域表格属性与交互记录转化为标准化文本块,并利用 LLM 抽取结构化三元组,在本地构建针对样本的异构知识子图;其次是异构双模态特征编码阶段,分别采用图注意力网络(GAT)对局部子图进行邻域加权聚合,并利用冻结的大规模预训练语言模型(如 Qwen3-4B)抽取文本语义全局表征;第三阶段是跨注意力门控模态融合阶段,将图嵌入与文本嵌入映射至共享隐空间,通过 8 头双向跨注意力交互与自适应门控单元动态平衡原始模态与跨模态交互信息;最终通过特征门控自适应预测头完成点击概率推断。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:多领域表格特征与交互评论数据"] --> B["双提示驱动模态转换与幻觉抑制<br/>标准化文本块生成 + SCFP少样本抽取与二次校验建图"]
B --> C["异构双模态特征独立编码<br/>两层GAT子图邻域聚合 + 冻结PLM全局语义提取"]
C --> D["跨注意力双向门控模态融合<br/>共享空间投影 + 双向8头跨注意力 + 动态门控融合"]
D --> E["特征门控自适应预测头<br/>门控元素级特征调制 + 多层MLP点击率推断"]
E --> F["输出:用户-商品点击概率预测值 ŷ"]
关键设计¶
1. 双提示驱动模态转换与幻觉抑制:离散表意缺失与三元组生成幻觉 -> 标准化文本块模板与两阶段约束校验 -> 构建高保真互补图文数据
传统表格离散特征缺乏直接表达属性语义的能力,而盲目调用 LLM 生成图谱极易出现关系随意命名、事实过度推断等严重幻觉。针对这一痛点,作者设计了双提示协同范式。首先,设计标准化槽位填充模板将领域名称、用户信息、商品静态属性及评论统一聚合为结构化文本块 \(x_{text}\),确保后续语言模型获得结构一致的上下文。其次,在知识图谱三元组生成中,作者提出了结构化约束少样本提示(SCFP)配合两阶段幻觉抑制流程:在生成阶段,通过指定固定的候选关系集合(如用户的 has_username、expresses_sentiment,商品的 has_price、has_brand、compares_to 等)以及标准示例约束输出格式为纯 JSON 数组;在校验阶段,引入独立的 Secondary Validation 提示模板,从实体文本真实性、关系 Schema 合规性及上下文蕴含度进行三重逻辑校验,对不合规输出进行最多 3 次迭代重新生成,仍失败则启用规则兜底过滤。最终为每个样本生成包含核心节点与关联属性边的局部知识子图 \(g_{u,p}\),不仅相比全局图谱大幅节省计算资源,且彻底消除了荒谬的幻觉边。
2. 异构双模态特征独立编码:单模态信息表征能力片面 -> GAT局部图聚合与冻结PLM语义编码解耦 -> 协同捕获拓扑拓扑关系与深层上下文
针对单模态编码器无法兼顾拓扑跳数推断与精细自然语言情感语义的难题,TKE4CTR 针对性地设计了专职的双模态编码器。在图分支中,子图中的核心节点(目标商品实体)和属性节点首先经过异构特征拼接初始化:
$\(x_v^{(0)} = \text{L2Norm}\left(x_v^{type} \parallel x_v^{id} \parallel x_v^{bert} \cdot \mathbb{I}[v \in \mathcal{V}_{core}] \parallel x_v^{struct}\right)\)$
其中 \(x_v^{type}\) 为节点类型嵌入,\(x_v^{id}\) 为哈希唯一性嵌入,\(x_v^{struct}\) 编码度数与聚类系数等拓扑统计特征,且仅对核心预测节点注入 BERT 初始语义向量以抑制噪声传递。随后通过两层 GAT 进行特征传播:第一层采用 8 头注意力机制计算邻居相关度系数 \(\alpha_{vu}^k\) 并拼接输出,第二层采用单头注意力与均值聚合提取最终的核心节点子图表征 \(h_G \in \mathbb{R}^{d_G}\)。在文本分支中,输入文本块 \(t_{u,p}\) 直接输入到参数完全冻结的预训练语言模型(如 Qwen3-4B),获取最后一层隐状态后经过平均池化与 L2 归一化输出稠密向量 \(h_T \in \mathbb{R}^{d_T}\)。冻结 PLM 既锁定了大模型通用的丰富语义世界知识,又避免了大规模微调带来的灾难性遗忘与计算不可承受开销。
3. 跨注意力双向门控模态融合:多模态异质分布失配与简单拼接冗余 -> 共享投影空间双向注意力与自适应门控 -> 精准对齐异构特征并动态调节模态贡献
结构图嵌入 \(h_G\) 与自由文本嵌入 \(h_T\) 处于异构特征空间,简单的相加或拼接无法实现细粒度概念对齐。为此,系统首先利用带 Swish 激活与 LayerNorm 的映射层将两者变换至统一维度隐藏空间,得到 \(\tilde{h}_G, \tilde{h}_T \in \mathbb{R}^{N \times d_h}\)。随后,构建 8 头双向跨注意力矩阵,分别以图特征查询文本语义、以文本特征查询图拓扑事实:
$\(A_{GT} = \text{Softmax}\left(\frac{\tilde{h}_G \tilde{h}_T^\top}{\sqrt{d_h}}\right), \quad H'_G = A_{GT}\tilde{h}_T\)$
$\(A_{TG} = \text{Softmax}\left(\frac{\tilde{h}_T \tilde{h}_G^\top}{\sqrt{d_h}}\right), \quad H'_T = A_{TG}\tilde{h}_G\)$
获得交叉增强表征后,引入自适应门控向量 \(g = \sigma\left(W_g [\tilde{h}_G \parallel H'_G \parallel \tilde{h}_T \parallel H'_T] + b_g\right)\),按元素动态加权原模态表征与跨模态交互表征:\(h_G^f = g \odot H'_G + (1-g) \odot \tilde{h}_G\),\(h_T^f = g \odot H'_T + (1-g) \odot \tilde{h}_T\)。最后,将两路门控特征求均值并通过带残差连接的前馈网络:
$\(z_f = \text{FFN}\left(\frac{h_G^f + h_T^f}{2} + \text{LN}\left(W_r [h_G^f \parallel h_T^f]\right)\right)\)$
实现了结构先验知识与上下文语义的深层次平滑互补。
4. 特征门控自适应预测头:融合特征各维度信息冗余与重要性差异 -> 实例级特征门控调制 -> 强化有效判别信号并提升推断鲁棒性
即使经过深度融合,特征向量 \(z_f\) 中不同通道对特定样本的点击判定贡献依然存在差异。为了避免无关通道噪声对最终打分的干扰,预测模块在送入分类多层感知机前设置了轻量级自适应门控机制:
$\(g_f = \sigma(W_p z_f + b_p), \quad \tilde{z}_{u,p} = g_f \odot z_f\)$
门控网络动态产生维度注意力权重,强化与当前点击意图强相关的语义通道,抑制冗余与冲突信号。调制后的向量 \(\tilde{z}_{u,p}\) 经过包含单隐层(256 单元、ReLU 激活及 LayerNorm)、Dropout(0.3)的 MLP 映射,最终由 Sigmoid 激活函数输出点击概率预测值:
$\(\hat{y}_{u,p} = \sigma\left(w_o^\top \tilde{z}_{u,p} + b_o\right)\)$
损失函数 / 训练策略¶
模型采用标准的二值交叉熵(Binary Cross-Entropy, BCE)作为端到端训练目标函数: $\(\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \left[ y_i \log \hat{y}_i + (1 - y_i) \log (1 - \hat{y}_i) \right]\)$ 在训练策略与优化细节上: - 无数据泄漏设计:训练阶段抽取包含历史点击与评论文本的丰富三元组,以注入细粒度用户偏好;在验证与测试阶段,完全剥离评论文本与交互特征,仅依据静态基础属性构造图文输入,杜绝点击后信息反向泄漏。 - 优化器与学习率调度:采用 AdamW 优化器,学习率设为 \(1 \times 10^{-5}\),权重衰减(weight decay)为 \(1 \times 10^{-4}\),配合带 Warm-up 的余弦退火学习率调度策略。 - 训练生命周期:最大训练 50 个 Epoch,当验证集 AUC 连续 25 个 Epoch 无提升时触发早停机制(Early Stopping)。全部实验在单张 NVIDIA A100-40GB GPU 上基于 PyTorch 开展,随机种子严格固定为 42。
实验关键数据¶
主实验¶
评估采用 2018 年 Amazon Review 数据集下的五个代表性业务子域(涵盖 1996–2008 年共 12 年跨度,按时间顺序 80%/10%/10% 严格切分),以 AUC 和相对提升度 RelaImpr(\(RI = \frac{\text{AUC}_{target} - 0.5}{\text{AUC}_{baseline} - 0.5} - 1\))为评测标准(在 CTR 领域,AUC 在 0.001 级别的提升即代表显著进步)。
下表展示了 TKE4CTR 与十种代表性强基线模型在五个领域的预测性能对比:
| 模型 | All Beauty (AUC / RI) | Amazon Fashion (AUC / RI) | Digital Music (AUC / RI) | Gift Cards (AUC / RI) | Mus. Instruments (AUC / RI) |
|---|---|---|---|---|---|
| PNN (ICDM 2016) | 0.6000 / 161.6% | 0.6979 / 56.7% | 0.5904 / 266.0% | 0.5959 / 240.0% | 0.6859 / 55.3% |
| DCN (ADKDD 2017) | 0.6200 / 118.0% | 0.6985 / 56.3% | 0.5919 / 260.0% | 0.6126 / 190.0% | 0.6893 / 52.5% |
| DeepFM (IJCAI 2017) | 0.6050 / 150.0% | 0.6982 / 56.5% | 0.5917 / 261.0% | 0.5937 / 248.0% | 0.6880 / 53.5% |
| xDeepFM (KDD 2018) | 0.6220 / 114.4% | 0.7031 / 52.7% | 0.5957 / 246.0% | 0.6121 / 191.0% | 0.6892 / 52.6% |
| DIEN (AAAI 2019) | 0.6180 / 121.7% | 0.6995 / 55.5% | 0.5900 / 267.7% | 0.6105 / 195.0% | 0.6881 / 53.4% |
| AutoInt (CIKM 2019) | 0.6080 / 142.2% | 0.7003 / 54.9% | 0.5913 / 262.4% | 0.5976 / 234.0% | 0.6888 / 52.9% |
| FiBiNET (RecSys 2019) | 0.6200 / 118.0% | 0.6770 / 75.3% | 0.5832 / 297.7% | 0.6120 / 191.0% | 0.6878 / 53.7% |
| IntTower (CIKM 2022) | 0.6180 / 121.7% | 0.6988 / 56.0% | 0.5920 / 259.7% | 0.6100 / 196.0% | 0.6888 / 52.9% |
| FinalMLP (AAAI 2023) | 0.6130 / 131.5% | 0.6907 / 62.7% | 0.5947 / 249.4% | 0.6082 / 201.0% | 0.6884 / 53.2% |
| Uni-CTR (TOIS 2025) | 0.7250 / 16.27% | 0.7523 / 23.0% | 0.6140 / 190.3% | 0.7246 / 45.2% | 0.7569 / 12.3% |
| TKE4CTR (本文) | 0.7616 / — | 0.8102 / — | 0.8309 / — | 0.8261 / — | 0.7886 / — |
注:下划线表示各数据集最强基线,粗体表示全局最优。
消融实验¶
1. 输入模态消融(五大领域全局表现,来自表 3 与附录表 12):
| 输入模态组合 | All Beauty (AUC) | Amazon Fashion (AUC) | Digital Music (AUC) | Gift Cards (AUC) | Mus. Instruments (AUC) | 说明 |
|---|---|---|---|---|---|---|
| Text-KG (完整模型) | 0.7616 (0.7769) | 0.8102 | 0.8309 | 0.8261 | 0.7886 | 双模态协同融合 |
| w/o KG (纯文本 Text) | 0.7411 | 0.7305 | 0.7878 | 0.7834 | 0.7240 | 缺失结构化关系先验 |
| w/o Text (纯图谱 KG) | 0.6624 | 0.7470 | 0.7955 | 0.7808 | 0.7545 | 缺失深层富文本上下文 |
| 仅离散 ID (only ID) | 0.5985 | 0.6518 | 0.6340 | 0.5837 | 0.6511 | 仅传统离散编码 |
2. 核心架构组件消融(表 4 与附录表 13):
| 模型变体 | All Beauty (AUC) | Amazon Fashion (AUC) | Digital Music (AUC) | Gift Cards (AUC) | Mus. Instruments (AUC) | 性能影响解析 |
|---|---|---|---|---|---|---|
| TKE4CTR (完整方案) | 0.7616 | 0.8102 | 0.8309 | 0.8316 | 0.7886 | 具备完备对齐与门控 |
| w/o Cross-Attn Gate | 0.7593 | 0.8021 | 0.8228 | 0.8161 | 0.7801 | 去除双向跨注意力门控,退化为简单融合 |
| w/o Feat-Gated Head | 0.7585 | 0.8082 | 0.8261 | 0.8212 | 0.7853 | 去除预测头特征门控调制,抗噪能力减弱 |
3. 三元组抽取提示策略与二次校验对幻觉抑制的影响(表 6 与表 7):
| 提示策略 / 检验条件 | 抽取样本数 | 提取三元组数 | NLI 事实忠实度 (NLI-F) ↑ | 规则合规度 (R-F) ↑ | 幻觉率 (HR) ↓ |
|---|---|---|---|---|---|
| 基线自由提示 (BP) | 100 | 1128 | 15.41% | 14.76% | 84.92% |
| 结构约束零样本 (SCZP) | 100 | 896 | 58.37% | 61.42% | 59.16% |
| 结构约束少样本 (SCFP, 无二次校验) | 100 | 835 | 72.15% | 80.34% | 36.28% |
| SCFP + 引入二次校验 (w/ Valid.) | 100 | 779 | 77.53% | 85.67% | 33.42% |
关键发现¶
- 双模态互补贡献具有明显的领域特异性:在 All Beauty 领域,纯文本模态(0.7411)显著高于纯图模态(0.6624),说明化妆品类商品对于文本修饰词和主观描述更加敏感;而在 Amazon Fashion 领域,纯图模态(0.7470)则大幅超过纯文本(0.7305),证明服装类目中品牌层级、搭配相似度等结构化实体关系对用户购买意图起到了决定性支撑。两者结合后双双突破至 0.7616 与 0.8102,证实了跨模态协同的必要性。
- 约束提示与二次检验对控制 LLM 幻觉至关重要:自由提示下的幻觉率高达 84.92%,表明直接让通用 LLM 抽三元组是完全不可信的。通过 SCFP 施加模式与少样本约束,幻觉率迅速降至 36.28%;进一步加入二次校验循环过滤后,虽然有效三元组数量从 835 略微筛减至 779,但事实忠实度(NLI-F)由 72.15% 攀升至 77.53%,规则合规度(R-F)达到 85.67%,确保输入下游 GAT 的知识图谱具备极高置信度。
- 跨注意力头数存在边际收益饱和点:注意力头数从 2 增至 8 时,各领域的 AUC 持续稳定上扬(如 Amazon Fashion 从 0.7820 提升至 0.8102,单样本延迟仅增加至 ~0.15ms);然而进一步将头数翻倍至 16 时,AUC 不升反降(微降至 0.8100),延迟却剧增至 ~0.32ms/sample。8 头配置成功平衡了跨模态特征捕捉粒度与推理开销。
亮点与洞察¶
- 解耦式文本-子图双模态重构范式:不依赖全网统一的大型知识图谱或人工本体,仅通过大模型提示驱动即时为每个样本生成语义文本块与闭环局部异构子图,将繁重的人工特征工程转换为端到端的语义提取问题。
- 两阶段防幻觉与评估闭环机制:在三元组生成中构建了 SCFP 提示规约与二次校验流水线,结合 NLI-F、R-F 和 HR 三维指标进行量化评估,为大模型介入推荐系统图谱构建提供了标准化的质量防线。
- 评估期交互信息严格隔离的防泄漏策略:在训练阶段借助评论和历史交互挖掘细粒度偏好注入图谱,但在测试验证阶段严格仅保留静态属性,彻底规避了同类文本推荐论文常见的“点击后评论泄漏”弊病。
局限与展望¶
- LLM 抽取与图构建开销过大:离线生成三元组和调用大模型耗费大量算力与时间,限制了其在超高吞吐、毫秒级响应的实时在线工业召回/精排系统中的直接落地。未来探索高效轻量化生成模型或基于蒸馏的小型抽取器是必然方向。
- 图结构静态化:当前的局部知识子图依然基于单次快照构建,尚未考虑用户在长周期交互中的动态兴趣转移轨迹与会话级图拓扑演化。未来可结合动态图神经网络(DGNN)或扩散模型进行时序建模。
- 依然依赖启发式提示工程:提示词模板与 Schema 约束仍由人工预先固定,跨全新未知垂直行业时需要少量人工迁移成本。
相关工作与启发¶
- vs Uni-CTR (TOIS 2025): Uni-CTR 是面向多域 CTR 预测的纯大语言模型框架,主要利用 LLM 统一表征跨域文本;本文证明了单一文本模态在表达复杂多跳实体关联时存在天然缺陷,引入图神经网络的显式拓扑结构能够带来高达 12.3%~190.3% 的相对提升。
- vs CKAN / KGCAN 等 GNN 推荐模型: 传统图神经网络推荐模型高度依赖预设的静态外部知识库(如 Freebase 或 Wikidata),实体对齐代价高昂且难以覆盖长尾电商商品;本文通过 LLM 提示工程按需动态“无中生有”构建高质量样本级子图,摆脱了外部图谱束缚。
- vs ClickPrompt / FLIP: 此类方法聚焦于 ID 模型与预训练语言模型的特征对齐,但未将文本提炼为图结构;本文将对齐提升到了“图拓扑结构 ↔ 自由语义”的双向跨注意力交互层面,信息表达维度更丰富。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ (双提示重构与结合 LLM 校验的局部子图生成思路巧妙,摆脱了外部静态知识库的桎梏)
- 实验充分度: ⭐⭐⭐⭐⭐ (五大真实电商业务领域全面横跨,包含系统的主流基线对比、模态与模块消融、幻觉指标评测以及注意力敏感性分析)
- 写作质量: ⭐⭐⭐⭐⭐ (架构图与案例分析详实,逻辑链条严密自洽,数学符号与流程定义清晰)
- 价值: ⭐⭐⭐⭐☆ (为大语言模型与知识图谱在推荐系统 CTR 任务中的有机融合提供了极具参考价值的工业落地雏形)