Enhancing LLMs in Predictive Political QA with Semi-Structured Data¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/zhouzihan-liu/PSL
领域: 计算社会学
关键词: 预测性政治问答, 半结构化数据, 政治立场推断, 图卷积网络, 协同过滤
一句话总结¶
针对预测性政治问答无法通过直接事实检索求解的瓶颈,PSL提出语义视角与向量视角的双视图框架,分别从半结构化政治记录中提取细粒度议题立场,并在行动者交互图上聚合高阶依赖表征,通过协同过滤对齐与轻量LoRA调优显著增强大语言模型的决策预测能力。
研究背景与动机¶
政治问答系统面临着从单纯的事实性查询向预测性政治问答(Predictive Political QA)演进的关键转折。在现实政治分析与决策评估中,核心需求往往不是回溯历史事件已确定的时间或地点,而是预测某一特定政治行动者(如立法议员或外交代表)在未来事件或具体法案上的决策倾向,例如在点名表决中投赞成票还是反对票。大语言模型虽然具备丰富的通识推理能力,但在长尾专业政治场景下参数知识往往不完整甚至产生幻觉。现有的外部资源增强方法主要分为两类:一类是基于行动者人物画像(Actor Profile)的角色扮演模拟方法(如PAA),将历史履历拼装为纯文本档案;另一类是基于知识图谱(KG)的三元组检索注入方法(如PEG、KAPING),将实体关系扁平化输入大模型。
然而,这两类范式均将外部资源简单视为“基于知识的事实性证据”(Knowledge-based Evidence),导致其在面向未来的预测性任务中出现严重水土不服。预测性政治问答的核心矛盾在于:目标预测行为尚未发生,外部数据中绝不存在直接答案,所有历史记录仅仅充当间接事实线索。纯文本画像方法将离散事实平铺直叙,极难捕获政治行动者之间跨组织、跨党派的群体隐式政治影响力与决策协同关系;而知识图谱方法强行将丰富的立法条文和外交背景压缩为离散的关系三元组(Head, Relation, Tail),抽离了法案修正案条款、政策背景等细粒度上下文,造成关键语义信息的灾难性丢失。
为了打破“纯文本描述冗余噪声”与“图谱三元组过度压缩”的双重困境,本文从半结构化政治数据(如LegiScan立法表决档案与ICEWS外交事件记录)中发掘出两类互补的强预测信号:一是反映行动者在特定议题上价值取向和意识形态倾向的“行动者立场信号”(Actor Stance Signals);二是刻画政治网络中群体影响与间接依赖关系的“高阶结构信号”(High-Order Structure Signals)。半结构化JSON格式既保留了法案文本摘要等细粒度语义,又通过明确的字段天然提供了构建交互图的结构关联。核心 idea:构建双视图增强框架PSL,在语义视图下通过阶梯检索与模型蒸馏提炼行动者议题立场,在向量视图下沿交互图卷积聚合高阶结构特征,并通过协同过滤机制实现行动者向量与问题焦点的深度融合与LoRA增强推理。
方法详解¶
整体框架¶
PSL(Predictive Stance and Structure Learning)的总体架构建立在半结构化政治行为档案基础之上,输入为预测性问题 \(q\)(例如询问某议员对特定法案的表决结果),输出为离散预测答案(如 Yea 或 Nay)。整体流水线通过双视图机制解耦并协同处理两类互补证据:首先,在语义视图中,通过大模型将输入问题解析为主行动者与问题焦点,利用阶梯检索从半结构化档案中层层过滤出相关记录,并通过经过专门任务蒸馏的小语言模型(SLM)生成精准、可读的议题立场描述;其次,在向量视图中,基于行动者与历史记录之间的表决与互动关系构建交互图,采用轻量图卷积网络迭代聚合多跳邻居的高阶依赖,生成融合群体影响的行动者嵌入;最后,借鉴推荐系统中的协同过滤思想,利用多层感知机(MLP)将行动者嵌入与问题焦点嵌入联合映射到协同表征空间,并设计混合提示模板注入轻量LoRA微调后的大模型中,实现端到端的高置信度政治预测。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["预测性政治问题输入<br/>分解行动者与问题焦点"] --> B["半结构化档案与阶梯检索<br/>多属性逐层缩小相关候选记录集"]
B --> C["任务蒸馏语义立场推断<br/>SLM快速提炼议题倾向与连贯立场"]
A --> D["行为交互图高阶表征聚合<br/>图卷积传递多跳群体依赖表征"]
D --> E["协同过滤隐式滤波与LoRA调优<br/>MLP协同空间映射与指令微调适配"]
C --> F["双视图混合提示融合推理<br/>注入微调LLM输出最终预测结论"]
E --> F
关键设计¶
1. 半结构化档案与阶梯检索:多属性结构化文本难以单步稠密检索 -> 阶梯式逐层递进匹配 -> 降低检索噪声并保留细粒度上下文
针对传统稠密向量检索(DPR、ColBERT)在面对包含法案标题、详细条款、摘要和表决投票等多属性复杂记录时容易被无关文本干扰的问题,PSL构建了以人为中心的半结构化政治行为档案 \(\text{file}(P)\)。每个行动者的档案 \(\text{file}(p)\) 均由若干记录对象 \(r_p\) 组成,每个对象包含具体的属性键值对 \(a_{r_p}\)(例如立法数据利用BART进行摘要后的要点说明)。面对输入问题 \(q\),PSL首先利用大语言模型将其分解为主政治行动者 \(p^*\) 和表征核心意图的问题焦点 \(q^*\)(如具体法案内容或外交议题描述)。随后,系统采用受多属性排序启发的阶梯检索机制(Ladder Retrieval, LR)。该机制不进行单次粗放比对,而是进行 \(n\) 轮迭代过滤:以行动者完整记录集为初始集合 \(R^{(0)}\),在第 \(i\) 轮迭代中,依据问题焦点 \(q^*\) 与当前属性集合的语义相似度,从候选池 \(R^{(i-1)}\) 中筛选出前 \(k_i\) 条高置信记录生成新的子集 \(R^{(i)}\):
$\(R^{(i)} = \text{LR}(R^{(i-1)}, q^*, k_i)\)$
经过 \(n\) 轮严格收敛,最终获得规模紧凑且语义高度相关的候选记录集 \(R^{(n)}\)(论文中设 \(n=3, k_n=5\)),有效消除了跨属性文本拼接引入的高频噪声。
2. 任务蒸馏语义立场推断:离散历史事实缺乏推理倾向且大模型提示开销高昂 -> 教师大模型提炼知识向轻量学生模型蒸馏 -> 极速生成一致性立场证据
针对原始历史记录中仅包含离散客观事实(如曾经投过某项议案)、无法直观反映行动者主观价值取向与意识形态倾向的问题,PSL引入显式立场推断模块,将零散事实转化为连续、连贯的自然语言立场证据 \(S\)。直接调用超大闭源模型(如GPT-4o-mini)对每次检索结果进行立场推断会导致严重的端到端推理延迟与API经济成本。为此,PSL设计了针对政治立场的知识蒸馏策略:利用包含大量真实历史记录的行动者档案,将记录重构为历史推断问题,提示强教师模型提取记录背后的意识形态一致性、政策偏好及决策惯性逻辑,构建高质量伪监督微调数据集;随后,以紧凑的小语言模型(Flan-T5-Small)作为学生模型,通过交叉熵损失严格对齐教师模型输出的 token 概率分布。在推理阶段,仅需调用参数量极小的学生模型即可在毫秒级时间内将检索集 \(R^{(n)}\) 与问题 \(q\) 映射为结构严整的立场摘要 \(S\):
$\(R^{(n)}, q \xrightarrow{\text{SLM}} S\)$
该设计既保留了跨议题行为一致性的深度语义线索,又使系统具备极高的运行效率。
3. 行为交互图高阶表征聚合:孤立档案割裂了行动者之间的群体关系 -> 构建符号交互二部图并执行对称归一化图卷积 -> 捕获多跳隐式网络协同影响
针对纯文本画像忽视政治行动者在立法机构与国际舞台上拉帮结派、利益结盟等网络化影响力的缺陷,PSL利用半结构化档案中跨行动者共享的记录构建全局政治交互图 \(G_I = \{(p, e_{pr}, r)\} \subseteq P \times E \times R\)。在图中,节点分为政治行动者节点 \(P\) 和事件记录节点 \(R\) 两类。边权重 \(e_{pr}\) 被显式符号化定义:在立法表决场景下,若议员 \(p\) 在表决 \(r\) 中投赞成票(Yea)则权重赋予 \(+1\),若投反对票(Nay)则赋予 \(-1\);在外交场景下,发生实际互动的行动者与记录赋予权重 \(+1\),无交互则不连边。为了在避免复杂非线性激活引入过平滑的前提下充分捕获高阶邻居依赖,PSL采用类似于LightGCN的无参加权求和图卷积聚合器:
$\(e_p^{(i+1)} = \sum_{r \in \mathcal{N}_p} \frac{e_{pr}}{\sqrt{|\mathcal{N}_p||\mathcal{N}_r|}} e_r^{(i)}, \quad e_r^{(i+1)} = \sum_{p \in \mathcal{N}_r} \frac{e_{pr}}{\sqrt{|\mathcal{N}_p||\mathcal{N}_r|}} e_p^{(i)}\)$
节点初始表征 \(e_r\) 通过预训练的冻结Sentence-BERT获取,行动者初始表征 \(e_p^{(0)}\) 由其一阶邻居记录加权聚合求得。在完成 \(l\) 层图卷积传播后,借鉴Jumping Knowledge机制,将初始嵌入与最终高阶嵌入进行拼接,形成行动者综合表征 \(\hat{e}_p = e_p^{(0)} \parallel e_p^{(l)}\),兼顾局部独特性与全局网络结构。
4. 协同过滤隐式滤波与LoRA调优:图嵌入超出大模型语言空间且存在结构噪声 -> 协同过滤双塔映射配合BPR排序损失与指令调优 -> 赋予LLM解析连续协同信号能力
针对图神经网络输出的稠密连续向量无法直接被冻结大语言模型的自注意力机制理解、且无条件结构表征包含大量与当前问题无关噪声的问题,PSL创新性地将行动者视为推荐系统中的“用户(User)”,将问题焦点视为“物品(Item)”。为了对齐维度,系统首先将问题焦点向量复制拼接为 \(\hat{e}_{q^*} = e_{q^*} \parallel e_{q^*}\),随后将其与行动者表征 \(\hat{e}_{p_s}\) 分别输入共享的多层感知机(MLP,架构为 \(1536 \to 1024 \to 512 \to 256 \to 64 \to 32\)),映射为任务相关的协同向量:
$\(\hat{e}_{p_s}^*, \hat{e}_{q^*}^* = \text{MLP}(\hat{e}_{p_s}, \hat{e}_{q^*})\)$
MLP通过贝叶斯个性化排序损失(BPR Loss)进行无监督/弱监督预训练,使得行动者与其历史上发生过正向交互的记录计算的内积 \(y_{pr^+} = (\hat{e}_p^*)^T \hat{e}_{r^+}^*\) 显著高于负向或未观测记录的内积 \(y_{pr^-}\):
$\(\mathcal{L} = -\sum_{p \in P} \sum_{r^+ \in \mathcal{N}_p^+} \sum_{r^- \in \mathcal{N}_p^-} \ln \sigma(y_{pr^+} - y_{pr^-}) + \lambda \|\Theta\|_2^2\)$
最后,利用训练好的MLP生成800个代表性正负样本对,将其表征以自然语言提示拼装后,采用LoRA低秩自适应算法对大语言模型(如Llama-3.1-8B)进行轻量微调,从而使模型学会将协同向量作为隐式结构过滤器,重点关注高相关邻居并抑制网络噪声。
检索增强与预测策略¶
在端到端推理阶段,PSL将语义视图与向量视图的产物统一整合进结构化的混合提示(Hybrid Prompt)中。对于给定的待预测问题 \(q\),整个推断执行链条如下: 1. 语义证据生成:从半结构化档案库中执行阶梯检索获得相关记录 \(R^{(n)}\),输入蒸馏后的 Flan-T5-Small 得到关于该议员以往在此类议题上的连贯立场陈述 \(S\)(详细罗列出其历史投票的一致性、立法关切点与潜在党派影响)。 2. 向量证据生成:在预构建的交互图上进行2跳卷积,将该议员节点表征与待预测法案文本的问题焦点表征送入预训练MLP,提取紧凑的协同嵌入 \(\hat{e}_{p_s}^*\) 与 \(\hat{e}_{q^*}^*\)。 3. 混合指令拼装与解码:构建提示模板 \(T(q, S, \hat{e}_{p_s}^*, \hat{e}_{q^*}^*)\)。模板中清晰呈现问题上下文、候选决策选项、归纳后的核心立场文本以及嵌入的协同关系描述,微调后的大模型 \(\text{LLM}_{\Phi + \Phi'}\) 在自回归解码中综合显式语义论据与隐式群体倾向,直接生成最终预测标签: $\(\text{Answer} = \text{LLM}_{\Phi + \Phi'}(T(q, S, \hat{e}_{p_s}^*, \hat{e}_{q^*}^*))\)$ 若模型输出包含附加阐述,系统利用后处理正则匹配机制提取目标选项,确保决策判断的高准确率与确定性。
实验关键数据¶
主实验¶
论文在三个覆盖不同政治场景的公开基准数据集上进行了全面评估:RCVP(美国国会点名表决预测,评估指标为 Macro F1)、ICEWS(国际危机早期预警外交事件四分类,评估指标为 Accuracy)以及 StaId(美国州级政治立场二分类预测,评估指标为 Macro F1)。下表对比了以主流开源大语言模型为基座时,PSL与现有主流基线方法的实测表现:
| 方法 | RCVP (Llama-8B) | RCVP (Mistral-7B) | RCVP (Deepseek-7B) | ICEWS (Llama-8B) | ICEWS (Mistral-7B) | ICEWS (Deepseek-7B) | StaId (Llama-8B) | StaId (Mistral-7B) | StaId (Deepseek-7B) |
|---|---|---|---|---|---|---|---|---|---|
| Vanilla | 27.36 | 27.33 | 28.03 | 18.42 | 19.18 | 19.67 | 35.00 | 33.36 | 29.59 |
| GKP (ACL'22) | 23.07 | 26.29 | 24.28 | 7.09 | 14.37 | 9.65 | 38.26 | 33.04 | 34.76 |
| RECITE (ICLR'23) | 25.08 | 23.38 | 14.90 | 14.89 | 16.95 | 11.81 | 31.88 | 29.47 | 27.49 |
| LangChain | 31.10 | 35.52 | 24.37 | 8.06 | 18.06 | 19.06 | 27.71 | 29.51 | 30.07 |
| InstructRAG (ICLR'25) | 29.84 | 21.64 | 26.81 | 11.57 | 7.71 | 18.21 | 31.53 | 28.30 | 32.97 |
| KAPING (ACL'23) | 23.15 | 23.96 | 23.59 | 20.52 | 22.52 | 15.36 | 36.20 | 30.28 | 34.22 |
| MindMap (ACL'24) | 18.66 | 23.02 | 21.54 | 12.70 | 22.01 | 21.70 | 34.72 | 31.97 | 31.51 |
| PAA (AAAI'25) | 44.35 | 41.78 | 42.35 | 31.35 | 18.99 | 24.53 | 36.34 | 27.41 | 39.89 |
| PSL (本文) | 55.92 | 50.30 | 43.59 | 57.81 | 54.69 | 53.42 | 48.50 | 48.83 | 50.58 |
在以 GPT-3.5-Turbo 作为推理骨干的统一对比中,PSL 同样显著刷新了先前的最高记录:在 RCVP 上达到 50.23(相较于最佳基准 PEGexp_GTR 的 41.21 提升了 +9.02),在 ICEWS 上达到 45.89(相较于 PEGexp_GTR 的 28.60 提升了 +17.29),在 StaId 上达到 49.90(相较于 PEGexp_GTR 的 46.21 提升了 +3.69)。
消融实验¶
为了严格检验语义立场证据与高阶向量结构特征的独立效用,论文在 Llama-3.1-8B-Instruct 骨干模型上进行了细致的模块剥离实验(结果如下表所示):
| 配置变体 | RCVP (Macro F1) | ICEWS (Accuracy) | StaId (Macro F1) | 说明与相对降幅 |
|---|---|---|---|---|
| PSL 完整模型 | 55.92 | 57.81 | 48.50 | 双视图协同,结合立场文本与协同向量 |
| w/o 行动者立场获取 (w/o Stance) | 46.15 | 39.07 | 46.17 | 移除语义立场,在 ICEWS 上暴跌 -18.74,RCVP 下降 -9.77 |
| w/o 高阶结构信号获取 (w/o Structure) | 39.35 | 49.02 | 46.35 | 移除协同向量与图聚合,在 RCVP 上暴跌 -16.57,ICEWS 下降 -8.79 |
| PSL_TF-IDF (无立场推断) | 52.07 | 56.70 | 46.45 | 仅用词频统计检索原始档案文本直接注入 |
| PSL_BM25 (无立场推断) | 51.87 | 57.22 | 45.94 | 经典字面检索,缺乏跨属性语义继承 |
| PSL_Embedding (无立场推断) | 52.96 | 57.16 | 46.69 | 传统单次向量检索,忽略多属性层级结构 |
| PSL_LR (无立场推断) | 53.81 | 57.34 | 47.10 | 阶梯检索直接注入档案文本,优于其他检索但弱于完整版 |
关键发现¶
- 双视图互补性极高:在点名表决数据集 RCVP 上,移除高阶结构信号导致性能发生最剧烈下滑(Macro F1 从 55.92 跌至 39.35,跌幅达 16.57 个点),证明立法投票高度受制于党派结盟与间接政治势力网络;而在外交事件预测数据集 ICEWS 上,去除行动者立场推断则导致准确率从 57.81 断崖式下滑至 39.07(跌幅达 18.74 个点),说明国际危机应对更加依赖于政治实体长期贯彻的政策导向与主观立场惯性。
- 阶梯检索优于字面与单步稠密检索:在未进行立场提炼的直接文本注入对比中,阶梯检索(PSL_LR)在所有数据集上均优于 TF-IDF、BM25 和常规 Sentence-BERT 嵌入检索,证明了根据问题焦点沿属性路径递进缩小候选集的必要性。
- 图卷积层数存在清晰的收益边界:参数敏感度分析表明,图卷积传播在 2 层(RCVP 和 ICEWS)或 3 层(StaId)时达到性能峰值。进一步增加跳数会导致严重的过平滑问题,使不同阵营政治行动者的表征趋于同质化,损害模型的判别能力。
- 文本形式表达高阶关系引发灾难性噪声:在探索性实验中,如果将邻居节点的历史关系用自然语言叙述列举给大模型(如列出类似行动者的一系列历史投票),所有数据集的预测表现均显著劣化(RCVP 跌至 37-38 左右,远低于向量协同建模的 55.92)。这直接验证了复杂高阶图依赖若强行转译为自然语言会导致上下文过载与严重的信息干扰。
亮点与洞察¶
- 从“事实知识注入”到“推断导向证据”的范式跃迁:针对预测性问题无直接答案的本质,跳出盲目扩充外部知识库的误区,将原始半结构化数据重塑为“主观议题立场”与“网络依赖表征”两大推理支柱,为大模型提供了极具决策解释力的因果导向证据。
- 推荐系统协同过滤与语言模型的巧妙跨界:将政治行动者抽象为“用户”、待预测法案焦点抽象为“物品”,借助 BPR 排序目标约束轻量 MLP 映射,不仅实现了连续拓扑表征与自回归文本空间的平滑过渡,更充当了动态的隐式结构过滤器。
- 轻量学生模型蒸馏大幅削减系统开销:通过让紧凑型模型(Flan-T5-Small)学习大模型在特定任务上的立场归纳逻辑,在仅增加约 2.48 倍于纯模型推理耗时的极低计算成本下(远快于 MindMap 的 13.9 倍),兼顾了实时性与高准确度。
局限与展望¶
- 数据源局限于特定地缘政治体系:论文核心实验与行为档案主要构建在美国国会点名表决及特定外交危机公开记录上,针对多党联合政府、议会民主制或不同法律文化下的泛化表现尚未得到系统性实证检验。
- 两电视图融合缺乏动态自适应机制:当前框架采用静态的混合提示注入机制,无法根据具体问题的语义属性(如意识形态分歧明显的法案 vs 具有高度党内纪律约束的程序性投票)动态调节立场文本与协同向量的置信权重。
- 未来方向:探索引入强化学习或门控网络实现双视图信号的实例级动态权衡,并将行为档案拓展至法案联合提案(Co-sponsorship)、政治捐款网络以及听证会发言等更丰富的多源异构政治数据中。
相关工作与启发¶
- vs PAA (AAAI 2025):PAA 依赖大模型基于纯文本行动者档案进行角色扮演模拟,虽然在 RCVP 上取得了 44.35 的不错成绩,但纯文本机制无法有效编码行动者在网络中错综复杂的群体互助与间接制约关系。PSL 通过向量视图引入图卷积与协同过滤,在 RCVP 上以 55.92 实现大幅反超(+11.57)。
- vs PEG / KAPING (WWW 2024 / ACL 2023):知识图谱增强方法将背景知识强制抽象为离散实体三元组,在应对具有连续法案文本或复杂背景的现实情境时严重丢失上下文细节。PSL 坚持采用半结构化数据源,既保留了法案总结等细粒度叙述,又保留了拓扑连边,在 ICEWS 外交预测上准确率较最强 KG 基准 PEGexp_GTR 实现了 57.81 vs 28.60 的近乎翻倍提升。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性辨析预测性政治问答的推断导向特性,提出的双视图架构及协同过滤向量映射极具原创性。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大代表性数据集与四大主流模型骨干,包含完整的基线对比、模块消融、参数分析与运行效率审计。
- 写作质量: ⭐⭐⭐⭐⭐ 论文逻辑清晰严密,数学符号表述标准,动机阐述切中要害。
- 价值: ⭐⭐⭐⭐⭐ 为计算社会学、政策智能推演以及大语言模型复杂结构化推理提供了极具实操价值的高水平范式。