FinReasoning: A Hierarchical Benchmark for Reliable Financial Research Reporting¶

会议: NeurIPS 2026
arXiv: 2603.19254
OpenReview: https://openreview.net/forum?id=TusKbhDbmk
代码: https://github.com/TongjiFinLab/FinReasoning
领域: LLM评测
关键词: 金融大模型、分层评测基准、幻觉纠错、数据对齐、深度洞察

一句话总结¶

本文提出针对金融研究报告可靠生成的层次化基准 FinReasoning，将金融分析工作流拆解为语义一致性、数据对齐与深度洞察三个能力阶段，并构建含 4,800 个真实校验样本的评测集，揭示了主流大模型在审计纠错与高阶推理能力上的显著分层。

研究背景与动机¶

金融领域的大语言模型（LLM）应用正从初期的单模型交互助手，演化为多智能体（Multi-Agent）自主协同系统，涵盖宏观研报撰写、量化策略发现、投资风险审计与决策合成等复杂全流程。然而，真实产业落地中大模型常暴露出严重的事实错误、数值前后矛盾、伪造引用以及分析浮于表面的缺陷，例如德勤向政府机构提交的咨询报告曾被曝出由生成式 AI 幻觉导致的伪造引用。在对数值精度、时序因果与信义义务要求极为严苛的金融研究中，基础阶段的事实或逻辑漂移极易被链式放大，进而导致基本面误判和潜在的重大资本损失。

现有金融评测基准主要存在两类局限：一方面，诸多基准（如 PHANTOM、FAITH 等）往往将幻觉判定为静态的二元分类标签，既缺乏长文本跨段落的精准错误定位与纠偏能力评估，也无法衡量模型在长程叙事中的语义连续性；另一方面，偏向研报问答生成的基准多采用端到端汇总准确率，将数值计算、表格对齐、规则推理与宏观归纳等高度异构的复合能力压缩进单一分数。这种一刀切的评估方式不仅掩盖了大模型在具体推理阶段的能力短板，也使得多智能体系统在进行角色分工（如数据验证者 vs 策略分析师）时缺乏细粒度的选型依据。

人类资深证券分析师的培养与考核天然遵循由浅入深的阶梯式认知流程：首先是在长文阅读中识别术语与事实漏洞并严密校正；其次是熟练操作数据库完成时序与复合指标规则对齐；最后是基于确凿证据提炼出多维因果机制与风险对冲分析。核心 idea：将金融研究报告生成的全流程认知能力严格解耦为语义一致性、数据对齐与深度洞察三个渐进阶段，构建兼具细粒度幻觉纠错诊断、结构化数据库可执行规则与12维度专家研报评分准则的分层基准 FinReasoning。

方法详解¶

整体框架¶

FinReasoning 紧密贴合人类金融分析师的日常研报工作流（阅读审计 $\rightarrow$ 数据核验 $\rightarrow$ 逻辑推理 $\rightarrow$ 报告撰写），依托真实金融语料（677份专业文献、10,000+条财经新闻、901份持牌分析师深度研报）与 2023–2025 年 A 股超 350 万条多维行情/财报结构化数据库，构建了总计 4,800 个评测样本，平均分布在三大核心轨道中。

整个评测框架自底向上分为语义一致性（Semantic Consistency, SC）、数据对齐（Data Alignment, DA）和深度洞察（Deep Insight, DI）三个并列且递进的评测轨道，分别对应文本层面的纠错审计、结构化数据库层面的精确交互计算以及宏观研报层面的开放式深度逻辑推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实金融输入<br/>研报/新闻/行业文献 + A股结构化数据库"] --> B["语义一致性轨道 (SC)<br/>9类可控扰动注入与定位纠错"]
    A --> C["数据对齐轨道 (DA)<br/>指标计算/模式检索/61项规则推理"]
    A --> D["深度洞察轨道 (DI)<br/>开放式机制推演与12维专家细则评估"]
    B --> E["双模型加权融合评测 (LLM-as-a-Judge)<br/>DeepSeek-V3与Qwen3-235B动态融合"]
    C --> E
    D --> E
    E --> F["多阶段能力分层诊断与智能体角色适配"]

关键设计¶

1. 语义一致性轨道：基于真实幻觉分布的9类可控注入与四维纠错评估

传统基准常采用合成或随机文本替换，无法精准映射大模型在金融语境下的典型幻觉模式。本文首先对 DeepSeek-V3、Qwen3-235B、GPT-5、Intern-S1 和 Fin-R1 在 200 篇真实长文本中生成的回答进行专家归因归纳，提炼出三大类共 9 种高频错误机制（术语层：不当使用、术语不一致、术语混淆；事实层：实体错误、关系错误、上下文属性错误；逻辑层：推理链断裂、篇章时序矛盾、前后文冲突）。据此设计可控扰动机制，在长文本（平均长度 8,783 字符）中注入 1–3 处不破坏语言流畅度的精细错误。

在评测端，该轨道不仅要求模型定位错误句（Sentence-level Precision/Recall/F1），更要求模型分别输出错误解释与修复文本。除利用 BERTScore 和 SimCSE 进行文本语义相似度比对之外，引入大模型裁判针对解释与修正的 4 个核心维度打分：正确性（Correctness）、论证严谨性（Reasoning Rigor）、相关性（Relevance）与完整性（Completeness），以诊断模型究竟是停留在表面挑错，还是具备专业重构能力。

2. 数据对齐轨道：过程正确与结果正确解耦的可执行金融规则系统

金融研报严禁“蒙对答案但逻辑荒谬”。为此，数据对齐轨道依托 2023–2025 年真实的 A 股数据库构建可执行环境，细分为简单对齐核验（数值修改、单位量级错乱、增减比较关系篡改、同义词映射）、复合指标计算（单日多指标、跨期单指标、跨期多指标、跨公司横向排序对比）以及规则驱动推理（涵盖 61 项专业量化规则与行业经验启发式逻辑）。所有规则均拆解为原子步骤并经统一计算器执行产出绝对标准答案。

为防止大模型通过非法的中间检索路径巧合命中答案，该轨道严格区分过程正确性与结果正确性： - 检索准确率（Retrieval Accuracy）：使用预测数据记录行 ID 与字段集合的 F1-Score： $$\text{F1}_{\text{retrieval}} = \frac{2 \cdot P \cdot R}{P + R}$$ - 最终答案准确率（Answer Accuracy）：验证数值计算或逻辑真假的精确匹配度； - 任务执行成功率（Success Rate）：统计模型在格式约束与 SQL/查询调用阶段的合规率，综合得分由执行成功率与各项准确率的乘积决定，直观暴露复杂长链下的格式崩塌。

3. 深度洞察轨道：基于三步因果链与反事实平衡的12指标专家量表

深度研报的价值核心在于提炼商业驱动机制与揭示潜在风险，而非简单陈述既定事实。深度洞察轨道精选分析师研报中的核心事件或前沿行业逻辑段落作为上下文，设计高阶开放式分析试题。其参考黄金答案严格遵循顶级金融投研规范：开头单句框架立论，中间必须形成显式三步因果链： $$\text{事件驱动} \longrightarrow \text{传导中介机制} \longrightarrow \text{终局多维影响}$$ 同时必须包含至少一个维度的对冲反思（如执行风险、外部宏观约束、技术落地瓶颈或反向证伪情景）。

评测采用 LLM-as-a-Judge 专家细化量表，系统化覆盖 4 大维度与 12 项精细指标： - 论证与因果深度（JCD）：因果链完整性、因果解释必要性、专业分析范式契合度； - 事实性与语境化（F&C）：事实信息密度、数值计算严密性、动态语境推演； - 完备性与比较分析（C&A）：批判性审视与风险揭示、跨维度横向对比、正反论据平衡； - 框架丰富度与严谨性（ARS）：分析架构完整度、层级逻辑严密性、表述粒度细致度。

4. 动态双裁判网格搜索加权与多阶段可信校验机制

针对单一 LLM 作为裁判可能引发的模型族群偏置、过度严苛或过度宽松的问题，本文采用 DeepSeek-V3 与 Qwen3-235B 作为双裁判模型。基于两名具备 5–10 年一线证券分析经验的金融专家对 20% 样本的独立盲审打分（专家间 Cohen's Kappa 一致性系数达 $\kappa_{\text{SC}}=0.7891$、$\kappa_{\text{DI}}=0.7646$），通过步长为 0.02 的网格搜索优化融合权重 $\alpha$： $$s_{\text{fused}} = \alpha \cdot s_{\text{DeepSeek}} + (1 - \alpha) \cdot s_{\text{Qwen}}$$ 最终在 SC 轨道确定最优权重为 0.58 : 0.42，在 DI 轨道为 0.60 : 0.40。双裁判与专家评分的皮尔逊相关系数高达 0.94，在提示词扰动敏感性测试中维持平均 0.95 的斯皮尔曼秩相关（Spearman's $\rho$），确保了大规模机器评分与真实专家标准的高保真对齐。

实验关键数据¶

主实验¶

评测涵盖 19 个代表性大模型，包含 8 款主流闭源模型（GPT-5、Claude-3.7-Sonnet / Claude-sonnet-4.5、Gemini-3-pro、Doubao-Seed-1.8、Kimi-K2、GLM-4.6、Qwen3-Max、GPT-4o）、8 款通用开源模型（DeepSeek-V3/R1、Qwen3 系列、Llama-3.1 系列、Intern-S1）以及 3 款金融领域微调模型（Fin-R1、TouchstoneGPT、DianJin-R1-7B）。各分项经 Z-Score 与 Min-Max 双重标准化后形成综合总分。

模型类别	模型名称	语义一致性 (SC) Avg.	数据对齐 (DA) Avg.	深度洞察 (DI) Avg.	综合归一化得分 (Overall)
闭源前沿	Doubao-Seed-1.8	67.2	71.9	90.6	96.8
闭源前沿	GPT-5	64.4	76.5	86.4	95.4
闭源前沿	Kimi-K2	58.2	74.2	91.6	93.3
闭源前沿	Claude-sonnet-4.5	58.6	70.9	90.0	90.7
闭源前沿	GLM-4.6	65.0	59.4	91.0	88.6
闭源前沿	Gemini-3-pro	61.5	73.7	79.6	88.1
闭源前沿	Qwen3-Max	59.4	75.2	80.1	88.0
闭源前沿	GPT-4o	42.4	71.5	77.3	74.1
开源通用	DeepSeek-V3	52.9	72.0	81.8	83.2
开源通用	Intern-S1	44.0	68.5	84.0	77.1
开源通用	Qwen3-235B	43.7	69.1	67.6	68.0
开源通用	DeepSeek-R1	55.0	39.1	85.6	67.9
开源通用	Qwen3-32B	42.4	70.8	65.3	66.8
开源通用	Qwen3-8B	38.7	63.2	57.9	56.1
开源通用	Llama-3.1-70B	23.0	70.3	37.7	39.2
开源通用	Llama-3.1-8B	19.2	56.7	33.3	26.6
金融微调	Fin-R1 (Qwen2.5-7B)	22.8	48.2	73.7	46.9
金融微调	DianJin-R1-7B	20.7	30.9	70.8	34.1
金融微调	TouchstoneGPT	11.8	18.1	33.0	0.0
基准均值	Benchmark Average	44.8	62.1	72.5	67.4

数据对齐子任务与推理链表现¶

数据对齐细分为简单核验（Ver.）、复合计算（Cal.）与规则驱动推理（Reason.）。下表展示代表性模型在最复杂的推理子任务中的执行成功率（Success Rate）、答案准确率（Answer Acc.）、检索 F1 表现与综合得分。

模型	成功率 (Success R. %)	答案准确率 (Ans. Acc. %)	记录ID F1 (%)	字段提取 F1 (%)	任务综合得分
GPT-5	100.0	63.0	64.7	77.8	68.5
Qwen3-Max	99.5	60.8	63.0	76.1	66.3
DeepSeek-R1	38.8	60.6	49.0	64.6	22.5
Fin-R1	59.8	60.7	80.4	53.0	38.6
DianJin-R1-7B	16.0	51.6	44.0	34.0	6.9

关键发现¶

模型普遍“能挑错但改不对”：在语义一致性轨道中，所有模型的“错误解释得分”均显著高于“内容修正得分”，术语类差距达 20.2 分，逻辑类差距高达 24.3 分。大模型往往能敏锐捕获表层线索指出矛盾，但在专业语境下重写时却缺乏严谨重构长程推演链的能力。
推理性模型在简单检索上发生“过度推理（Over-reasoning）”：DeepSeek-R1 在需要长步数计算的 Cal. 上得分达 68.9，但在极其简单的单步查询 Ver. 上骤降至 25.7。错误诊断显示其具有 100% 的格式成功率，但答案准确率仅 23.5%、记录 ID F1 仅 28.1%，证明其在基础检索时引入了多余的无谓推演，反而偏离了查询目标。
长链推理下开源与垂直模型格式稳定性断崖式下跌：从核验到规则推理，数据对齐任务均分由 79.8 降至 50.9（下降 36.6%）。闭源模型凭借指令遵循强度维持了稳定输出，而 DianJin-R1-7B 的成功率从 65.9% 跌至 16.0%，得分暴跌 89.5%，暴露了中小规模模型在复杂长链下的结构崩塌脆弱性。
因果论证（JCD）是拉开前沿与普通模型的唯一护城河：在深度洞察中，绝大部分模型均能组织出完备的行文架构（ARS 均分 76.8），但在论证因果深度（JCD）上出现两极分化：仅 Kimi-K2 (96.3)、Claude-sonnet-4.5 (96.2)、GLM-4.6 (96.1) 与 Doubao-Seed-1.8 (95.7) 突破 95 分，其余模型在脱离文本复述后均无法维持因果链的一致性。
金融垂直微调模型的“能力虚假繁荣”：现存基于 Qwen2.5-7B 微调的金融模型（Fin-R1、DianJin-R1）在 SC 和 DA 上显著落后于通用基础底模 Qwen3-8B（SC 落后 15–18 分）。微调过度强化了金融风格黑话和表面事件总结（DI 达 70+），却损伤了底层严密的数据对齐与事实纠错基础。

亮点与洞察¶

认知解耦与多智能体角色分配基石：该基准证明了金融智能不是单一整体能力，模型在不同认知阶梯上展现出强烈不对称性。这为多智能体金融系统提供了明确的架构指导：闭源强算力模型（如 GPT-5、Doubao-Seed）适合担任调度与核心归因决策者，而开源模型用于数据检索与纠错时必须辅以确定性的外部执行沙箱。
揭示“能挑错但不能纠错”的认知盲区：量化论证了大模型在专业领域的纠错短板主要受制于逻辑链重构能力，而非简单的专业词汇量缺失，指明了金融模型强化学习与监督微调应重点构建纠偏轨迹。
过程合规优先于数值命中：在数据对齐中开创性引入字段与实体 ID 的检索精确度校验，有效遏制了大模型通过虚构推导碰运气得出正确数字的评测漏洞。

局限与展望¶

缺乏跨阶段错误级联传导的端到端评测：当前三个轨道是独立并行的模块化评估，尚未模拟真实多智能体系统中前序语义或数据层面的微小幻觉如何在后续深度研报撰写中逐级放大并改变最终投资评级的动态影响。
本地数据库沙箱操作受限：数据对齐目前运行在预先定义的安全只读查询与规则匹配框架内，尚未提供支持多表 JOIN、并发复杂 SQL 更新与复杂外部 API 联动的真实沙箱交互环境。
模型裁判的潜在风格偏置：尽管采用了双模型融合与专家校验（$\kappa > 0.76$），但参考答案部分来源于 DeepSeek-V3 的生成，评估机制对具有特定结构偏好和排版风格的生成输出可能仍存细微倾向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将金融研报生成拆解为渐进式认知分层，构建了系统化的真实金融幻觉注入与双重检验规则]
实验充分度: ⭐⭐⭐⭐⭐ [详尽评测19款主流前沿、开源及领域微调模型，覆盖4800个样本并完成大规模专家盲审双重校验]
写作质量: ⭐⭐⭐⭐⭐ [概念阐述极具层次，实验发现深入透彻，直击多智能体系统与垂直大模型的真实架构痛点]
价值: ⭐⭐⭐⭐⭐ [为金融投研智能化落地提供了扎实的诊断工具与选型指南，深刻揭示了垂直微调在底层能力上的潜在代偿风险]