ICLR 2026 学习理论表征几何认知科学泛化-辨识权衡语义分辨率 Pareto 前沿表征容量绑定问题多目标处理

Bound by Semanticity: Universal Laws Governing the Generalization-Identification Tradeoff¶

会议: ICLR 2026
OpenReview: https://openreview.net/forum?id=ZF0xRAdsuY
代码: https://github.com/nplresearch/generalization
领域: 学习理论 / 表征几何 / 认知科学
关键词: 泛化-辨识权衡, 语义分辨率, Pareto 前沿, 表征容量, 绑定问题, 多目标处理

一句话总结¶

本文证明了「广泛泛化」与「精确辨识」是一对根本矛盾：任何相似度计算具有有限语义分辨率 \(\varepsilon\) 的系统（从 ReLU 小网络到 VLM 再到大脑）都必然落在一条普适的 Pareto 前沿上，并随同时处理对象数 \(n\) 出现 \(1/n\) 的辨识能力坍缩。

研究背景与动机¶

领域现状：神经网络用分布式表征实现泛化（靠组合性、相似性结构），认知科学的 Shepard 普适泛化律也指出表征应在「心理空间」中按真实结构排布。可解释性工作进一步发现大模型隐空间里的特征向量常组织成丰富的几何结构。
现有痛点：与此同时，无论是人类工作记忆还是大型网络，在同时处理多个对象时都表现出惊人的容量瓶颈——典型如「绑定问题」(binding problem)，即无法在多输入并行时维持特征间的正确关联。Campbell 等人观察到即使是 SOTA VLM 也在多目标推理上栽跟头。
核心矛盾：Frankland 等 (2021) 提出泛化能力与辨识能力本质上互相牵制，并称之为 "Miller's Law"——但这一直停留在经验观察与定性论断层面，缺少可证明的闭式刻画，也不清楚它是模型缺陷还是普适规律。
本文目标：把这个权衡从经验现象上升为信息论层面的普适定律，给出 \(p_S\)（泛化成功率）与 \(p_I\)（辨识成功率）之间精确的闭式关系，并验证它跨越从玩具网络到 VLM 的所有尺度。
核心 idea：【分辨率即一切】 把模型相似度计算的精度抽象成一个分辨率参数 \(\varepsilon\)——超过距离 \(\varepsilon\) 的相似度退化为噪声 \(\Delta\)。\(\varepsilon\) 同时决定了泛化与辨识，于是两者被锁死在一条仅由 \(\varepsilon\) 参数化、与具体空间/分布无关的「普适曲线」上。

方法详解¶

整体框架¶

本文是一篇纯理论驱动 + 多尺度实证验证的工作。先把「刺激空间 \(S\) → 心理空间 \(M\) → 相似度函数 \(g\)」的处理链条形式化，用一个简化的「常数相似度函数」推导出 \(p_S, p_I\) 的闭式表达，揭示三个区间的 Pareto 前沿；再扩展到含噪声、多输入 \(n\) 两种情形得到 \(1/n\) 坍缩律；最后从 ReLU 玩具网络一路验证到 CNN、LLM、VLM。

flowchart LR
    A["刺激空间 S<br/>(色相/年份/空间位置)"] -->|双射 Φ| B["心理空间 M<br/>诱导距离 d"]
    B --> C["相似度函数 g(d)<br/>分辨率 ε / 噪声 Δ"]
    C --> D["决策函数<br/>D_i = g_i / Σ g_k"]
    D --> E1["相似度任务 → p_S 泛化"]
    D --> E2["辨识任务 → p_I 辨识"]
    E1 & E2 --> F["普适 Pareto 前沿<br/>由 ε 单参数化"]

关键设计¶

1. 有限分辨率的常数相似度模型：把「精度损失」压成一个旋钮。 模型把刺激映射进心理空间 \(M\) 后，用只依赖距离的相似度 \(g(x,y)=g(d(x,y))\) 来比较表征，决策遵循 Luce 选择规则 \(D_i = g(x_i,p)/\sum_k g(x_k,p)\)。本文的核心抽象是把任何精度损失（计算噪声、有限精度、ReLU 把负相关截断为零、远距离关系编码不准）统一刻画为一个分辨率 \(\varepsilon\)：定义常数相似度函数 \(g_{\varepsilon;\Delta}(x,y)=\mathbb{1}_{B_\varepsilon(x)}(y)+\Delta\,\mathbb{1}_{M\setminus B_\varepsilon(x)}(y)\)，即在半径 \(\varepsilon\) 的球内判定为「相似=1」，球外一律塌缩到噪声值 \(\Delta\)。这里 \(\varepsilon\) 扮演的角色就像核方法里的带宽、或 softmax 里的温度——\(\varepsilon\) 越小相似度边界越锐利（像 Dirac delta），越大则越「弥散」、能反映远程结构但也制造干扰。

2. 两项测试的闭式 Pareto 前沿：泛化与辨识被同一个量锁死。 记 \(b_p(\varepsilon)=\nu(B_\varepsilon(p))\) 为以 \(p\) 为心、半径 \(\varepsilon\) 的球的概率测度，\(\langle b(\varepsilon)\rangle\) 是其空间平均。定理 1 给出无噪声情形的闭式解：

\[p_S(\varepsilon)=\tfrac{1}{2}+\langle b(\varepsilon)\rangle-\langle b(\varepsilon)\rangle^2-\mathrm{Var}(b(\varepsilon)),\qquad p_I(\varepsilon)=1-\tfrac{1}{2}\langle b(\varepsilon)\rangle.\]

关键洞察有两点。其一，方差项 \(\mathrm{Var}(b(\varepsilon))\) 单独压低 \(p_S\)，它度量刺激空间的异质性（不同区域「拥挤程度」的差异）——所以模型在均匀流形（如旋转）上比在密度不均的流形（如自然图像）上更容易做相似性判断。其二，当 \(\mathrm{Var}=0\) 时 \(p_S, p_I\) 都只由 \(\langle b(\varepsilon)\rangle\) 单参数化，于是在 \((p_S,p_I)\) 平面上存在一条与 \(M\)、\(\nu\) 都无关的普适 Pareto 曲线，呈现三个区间：低 \(\varepsilon\) 下相似度近似 Dirac delta，辨识完美 \(p_I\approx1\) 但泛化只有随机水平 \(p_S\approx0.5\)；中 \(\varepsilon\) 下权衡显现，\(p_S\) 在 \(\langle b(\varepsilon)\rangle=1/2\)（球覆盖半个空间）时达到峰值；高 \(\varepsilon\) 下干扰主导，两者齐跌。定理 2 进一步把噪声 \(\Delta\) 纳入，结论是 \(\Delta\) 让 \(p_S, p_I\) 单调同步下降。

3. 多输入的 \(1/n\) 坍缩律：为什么大模型也数不清多个物体。 定理 3 把分析推广到 \(n\) 项测试，在齐次假设 \(b_p(\varepsilon)=b(\varepsilon)\) 下给出多项式形式的闭式解：

\[p_I^n(\varepsilon)=\mathbb{E}_{p\sim\nu}\!\left[\frac{1-(1-b_p(\varepsilon))^n}{n\,b_p(\varepsilon)}\right].\]

当 \(n\) 较大时 \(p_I^n(\varepsilon)\approx (b(\varepsilon)\,n)^{-1}\)——辨识成功率随对象数 \(n\) 以 \(1/n\) 衰减，衰减速率由 \(b(\varepsilon)\) 决定。这意味着：一个为泛化而优化（\(b(\varepsilon)\approx1/2\)）的模型，其同时精确处理多个表征的能力会被严重限制，从而解释了人类工作记忆容量极限与大模型多目标推理失败的同源性。一个有趣的副产物是：当 \(b(\varepsilon)\) 很小时 \(p_S\) 关于 \(n\) 非单调——对象数很多时模型反而该选低分辨率，代价是少对象时误差骤增。

4. ReLU 玩具网络：分辨率边界是学出来的，不是手设的。 沿用 Elhage 等 (2022) 的 \(f(x)=\sigma(W^\top W x)\) 架构，把刺激编码成 one-hot，则 \(f(x_i)_j=\sigma(w_j^\top w_i)\) 恰好就是学到的相似度 \(g(x_i,x_j)\)。纯重构损失训练会触发 superposition——特征尽量正交以最小化干扰，即追求高辨识；而改用圆环/线段上的相似性任务损失训练时，\((p_S,p_I)\) 轨迹会自发地从左下角爬向 Pareto 边界再回落，且学到的 \(g(x,\cdot)\) 随训练逐渐收窄（ReLU 把超过阈值的负内积截零，自发涌现出有限分辨率）。由于网络学到的近似是线性衰减而非常数相似度，作者在命题 1 中针对圆环上线性衰减 \(g(x,y)=\max(0,1-d/\varepsilon)\) 单独推导出 \(p_S, p_I\) 的闭式（\(b(\varepsilon)=2\varepsilon\)），与实测轨迹高度吻合。

实验关键数据¶

主实验：跨尺度验证¶

系统	任务	关键现象
ReLU 玩具网络 (l=50, m=10)	圆环/线段 3-项相似性	训练轨迹沿 Pareto 边界演化；分辨率边界自发涌现；线段因两端点异质性导致 \(p_S\) 整体偏低
ResNet-50 (微调)	鸟类系统发育距离 vs 物种辨识	加权损失 \(L=(1-\alpha)L_{id}+\alpha L_{sim}\)，增大 \(\alpha\) 提升泛化、降低辨识，符合理论曲线
LLM (gemma-2b / Llama-3.2-3B / Qwen2.5-7B)	「谁出生年份离 \(p\) 最近」	决策随探针年份远离参照而下降，呈现涌现的有限分辨率（约 70–80 年），匹配带噪指数衰减相似度
VLM (gemma-3-12b / Qwen2.5-VL-7B)	四角形状里哪个离红叉最近	超过模型特定分辨率尺度后准确率下降，与年份任务同构

关键发现¶

普适性：从 10 维隐层小网络到 120 亿参数 VLM，全部落在同一族 Pareto 前沿上，证明有限语义分辨率是信息论约束而非实现 artifact。
最优分辨率：泛化的最佳点出现在相似度函数「铺满约一半表征空间」(\(\langle b(\varepsilon)\rangle=1/2\)) 时，与 Sorscher 等的发现呼应。
异质性代价：刺激空间越不均匀（\(\mathrm{Var}(b(\varepsilon))\) 越大），实测点离 Pareto 前沿越远——这把「数据流形几何」量化进了泛化难度。

亮点与洞察¶

把经验论断升级为可证明定律：Frankland 的 "Miller's Law" 此前是定性观察，本文给出闭式 Pareto 前沿和 \(1/n\) 坍缩律，且与具体空间/分布无关，是真正的「普适律」。
统一了认知科学与深度学习：Shepard 泛化律、工作记忆容量、绑定问题、superposition、神经群体编码的「神经词库」结构，被同一个分辨率框架串起来，解释了人脑与大模型在多目标处理上为何同源失败。
分辨率是连续旋钮：通过损失权重 \(\alpha\) 或阈值 \(\varepsilon\) 可以在 Pareto 前沿上滑动，为「按任务需求调泛化-辨识平衡」提供了可操作的诊断维度。

局限与展望¶

仅限非组合式表征：当前模型不覆盖层级句法、类比推理、算术等由简单部件系统组合而成的表征，组合编码方案下的权衡仍待扩展（SI 给了初步思路）。
大模型的权衡是间接证据：在玩具网络和 CNN 上能直接展示权衡，但在 LLM/VLM 上目前只验证了「有限分辨率存在」，尚未直接展示完整的 \(p_S\)-\(p_I\) 权衡曲线。
未来方向：用协同-冗余分解研究多刺激联合编码；用机制可解释性从内部表征直接蒸馏相似度函数；做基于分辨率的架构诊断工具；用 fMRI/电生理检验神经流形是否也服从分辨率界，把语义分辨率确立为「神经几何 ↔ 行为泛化」的可测桥梁。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 把长期停留在经验层面的泛化-辨识权衡提升为含闭式 Pareto 前沿与 \(1/n\) 坍缩律的普适定律，理论原创性高。
实验充分度: ⭐⭐⭐⭐ 从玩具网络到 CNN、LLM、VLM 的跨尺度验证链条完整且自洽，唯大模型上只验证了分辨率存在、未直接展示完整权衡曲线。
写作质量: ⭐⭐⭐⭐ 理论推导清晰、与认知科学的连接叙事漂亮，但定理密集对非理论背景读者门槛偏高。
价值: ⭐⭐⭐⭐⭐ 同时解释人脑与大模型的容量瓶颈，为架构设计与表征诊断提供了可操作的分辨率维度，跨 AI/认知科学/神经科学的基础性贡献。