Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models¶

会议: ICLR 2026
arXiv: 2503.22165
代码: GitHub
领域: 模型压缩
关键词: LLM推理可视化, 推理轨迹分析, t-SNE, 测试时扩展, 轻量验证器

一句话总结¶

提出 Landscape of Thoughts (LoT)，首个将LLM推理轨迹可视化为二维地形图的工具，通过困惑度特征和t-SNE投影揭示推理行为模式，并可适配为轻量验证器提升推理准确率和测试时扩展效果。

LLM的逐步推理能力被广泛应用于智能体等场景，但推理行为本身仍然难以理解。现有的分析方法要么依赖特定解码器/任务，要么需要人工逐条阅读推理轨迹——这既不可扩展（100条轨迹需50分钟）又难以做数据集级别的聚合总结。这阻碍了模型开发、推理研究和安全监控。

核心矛盾在于：缺少一个通用的、自动化的、可扩展的工具，能从单个样本到整个数据集层面分析LLM推理轨迹。LoT的核心idea是：将推理过程中每个中间状态表示为相对于各个候选答案的"距离"特征向量，然后用t-SNE投影到二维空间形成"思维地形图"，直观展示推理收敛模式。

LoT作为后分析工具，不干预模型推理过程。给定多选题数据集，LLM生成推理轨迹后，LoT将文本状态编码为数值特征，通过定性可视化（地形图）和定量度量（一致性、不确定性、困惑度）分析推理行为。

状态特征化:
- 功能：将推理轨迹中每个中间状态编码为k维特征向量
- 核心思路：用LLM自身估计状态到各候选答案的距离。对状态 \(s_i\)，计算其到每个选项 \(c_j\) 的困惑度 \(d(s_i, c_j) = \text{PPL}(c_j | s_i)\)，归一化后得到特征 \(\bm{f}_i\)
- 设计动机：困惑度天然反映模型对某答案的置信度，且通过token长度归一化确保不同选项可比
地形图可视化:
- 功能：将所有状态特征和选项地标投影到2D空间
- 核心思路：构建特征矩阵 \(\bm{F} \in \mathbb{R}^{k \times (rn+k)}\)，包含所有轨迹的状态特征和选项地标特征，通过t-SNE投影到二维。按正确/错误分类用颜色区分，用密度图展示各推理阶段的状态分布
- 设计动机：t-SNE擅长保持局部邻域结构，使推理轨迹在距离空间中的收敛趋势可视化
定量度量体系:
- 一致性（Consistency）：中间状态的最优选择是否与最终状态一致，\(\text{Consistency}(s_i) = \mathbb{1}(\arg\min \bm{f}_i = \arg\min \bm{f}_n)\)
- 不确定性（Uncertainty）：特征向量的熵，反映模型在中间步骤的置信度
- 困惑度（Perplexity）：思维级别的困惑度，衡量模型对生成的思维的信心

基于观察到的收敛速度和一致性差异，训练随机森林分类器 \(g\) 预测轨迹正确性。输入为状态特征和一致性度量，输出正确/错误标签。用加权多数投票代替简单投票来选择最终答案。

模型/方法	AQuA (Acc%)	MMLU	CommonsensQA	StrategyQA
Llama-1B (CoT, 无验证器)	15.8	-	-	-
Llama-3B (CoT, 无验证器)	42.0	-	-	-
Llama-70B (CoT, 无验证器)	84.4	80.2	75.8	64.8
加验证器 (10条轨迹)	提升一致	提升一致	提升一致	提升一致
验证器 (50条轨迹)	>65%	-	-	-