UrbanAlign: Post-hoc Semantic Calibration for VLM-Human Preference Alignment¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 人类偏好对齐、城市感知、概念瓶颈、多智能体评分、局部加权岭回归

一句话总结¶

UrbanAlign 不微调视觉语言模型，而是让它提取可解释的城市视觉概念，再借助有人类标注的相似图像对做局部校准，在 Place Pulse 2.0 上取得 70.8% 的六类平均准确率，比零样本 GPT-4o 高 14.1 个百分点。

研究背景与动机¶

判断一条街道是否显得安全、富裕或美观，不等于识别画面里有没有建筑、树木和车辆。视觉语言模型（VLM）往往能描述这些元素，却未必知道当地人会如何把它们组合成偏好判断。例如，识别出较多绿植是感知问题，而决定绿植是否足以抵消照明不足，则涉及依赖场景的评价权重。直接询问两张街景哪张更好，会把观察、权衡和离散决策压进同一次生成，模型的位置偏差、锚定效应和不稳定判断也会一并进入标签。已有孪生网络或回归模型可以利用人类比较数据学习偏好，但通常缺少能让人检查的中间概念。微调与 RLHF 则把问题转为修改模型参数，需要额外训练流程，也不直接解决判断依据难以审查的问题。

本文选择保留 VLM 的感知知识，只替换它把观察结果变成人类偏好标签的最后一段决策过程。困难在于，概念集合不能只是随意列出的“整洁、绿化、照明”：这些概念必须可观察、可评分，并能解释目标类别的人类比较结果。而且同一个概念的作用会随街景环境变化，用一套全局固定权重可能抹平这些差别。作者因此借鉴概念瓶颈模型，把语义维度作为中间表示，再在相似图像对构成的局部邻域中学习决策权重。这里的“冻结”只表示不修改 VLM 权重，绝不等于无需人类数据：参考集提供校准监督，验证集负责概念与超参数选择。

研究的重点也不是让多智能体直接投出更准确的胜者，而是让它们提供更适合后续回归的连续概念分数。这个区别解释了为什么原始判断略差的评分链，经过校准后反而可能最好。 核心 idea：将冻结 VLM 用作可解释的概念测量器，以混合视觉—语义特征检索相似比较，再用局部语义权重把测量结果校准到人类偏好。

方法详解¶

整体框架¶

输入是一对街景图像以及待评估的感知类别，输出为左图胜、右图胜或相近，而不是城市客观安全程度的测量值。完整流程包含概念挖掘、多智能体结构化评分、局部流形校准三个设计。准备阶段从参考数据中提取可靠示例，定义可评分维度，并建立带有人类评分差的参考图像对集合。推理阶段沿用选定的维度，对新图像对评分、检索邻居，再求解该查询自己的局部回归。概念与参数搜索只使用验证结果，测试集用于最终评估；这一流程不是通过反向传播联合训练三个阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Reference["参考比较与<br/>TrueSkill 评分"] --> Mining["概念挖掘"]
        Mining --> Scoring["多智能体结构化评分"]
        Images["图像对与感知类别"] --> Scoring
        Images --> CLIP["冻结 CLIP 编码"]
        Scoring --> Calibration["局部流形校准"]
        CLIP --> Calibration
        Reference -->|人类评分差监督| Calibration
        Calibration --> Output["偏好标签与<br/>局部概念贡献"]
        Calibration -.->|仅验证集反馈| Mining

关键设计¶

1. 概念挖掘：从可靠的人类比较中找到可测量的评价维度

作者先用 TrueSkill 把离散的成对比较转成每张图像的连续评分，同时保留评分不确定性。高评分示例的均值超过第 75 百分位，低评分示例低于第 25 百分位，两组还都要求不确定性低于中位数。因此，抽取的不是任意极端图片，而是相对高置信的两端示例，减少由稀疏投票带来的偶然性。默认每组取 5 张，共 10 张；提示提供这些示例、TrueSkill 分数以及经 PCA 压至 8 维的 CLIP 嵌入。 VLM 以 JSON 输出 5–10 个维度，每个包括名称、描述以及高分和低分的视觉指征。以富裕感为例，建筑立面质量、植被维护、路面完整性、车辆质量等维度把抽象类别拆成能从街景中观察的证据。这些维度后续采用 1–10 的连续分数，所以它们必须既有语义解释，又能成为数值特征，而不是泛泛的美学形容词。

生成一次概念集合并不保证最优，作者还设计了按类别独立的验证搜索。探索阶段用较高生成温度尝试不同维度组合，收敛阶段保留当前较优组合，只定向替换 1–2 个维度。每个候选都要经过评分和校准，按验证准确率评价，而不是仅凭维度听起来是否合理。不同类别可以在不同试次达到最优，最终组合各类别各自的最佳集合。这意味着“端到端优化”在这里是外部搜索循环，不是对冻结 VLM 进行梯度更新。尤其要区分搜索机制与主结果：论文的 70.8% 使用初始维度及优化后的校准超参数，维度搜索版本报告的是 69.3%。

2. 多智能体结构化评分：把直接判胜改为连续证据提取

默认使用 GPT-4o，按观察者、辩论者、裁判的顺序执行三个角色，每个图像对对应三次 VLM 调用。观察者只描述各维度的可见证据，避免一开始就决定谁更好后再寻找支持理由。辩论者针对每个维度分别提出支持高分和低分的论据，不是简单扮演另一名投票者。裁判综合描述和正反论据，为两张图分别给出语义维度分数。这样得到的是两组可比较的概念测量，而不是只能统计投票次数的离散答案。成对上下文让两个场景共享比较参照，也使辩论能够针对实际差异展开。

作者把该设计解释为降低维度评分方差，而不是保证原始胜者判断始终优于单次提示。这个解释与实验相符：多智能体原始准确率为 60.9%，略低于成对单次评分的 61.7%，但其校准后结果更好。对后续回归而言，稳定的输入特征比一次性正确的投票更有价值，因为回归需要学习概念差与人类评分差的关系。论文另外把所有维度的绝对分差求和作为比较强度，低于阈值的图像对在原始评分阶段可标为相近。这一步与后面的统计重判不同，不能把原始强度阈值当作最终校准模型的全部决策规则。有关三角色方差下降上界的证明仅指向补充材料；角色共享骨干且串行依赖，因此不能把独立估计器假设当作已验证事实。

3. 局部流形校准：用混合特征找邻居，只用语义差分解释偏好

首先对一对图像分别计算 CLIP 嵌入与概念分数，再构造两者的有向差分。 CLIP 使用 ViT-L/14 的 768 维特征，提供通用视觉相似性；语义分数提供目标类别相关的差异。式（4）的混合差分结构如下，横线表示原文采用的尺度处理，\(\alpha\) 控制两部分的相对贡献。

\[ \Delta_{\mathrm{hybrid}}(A,B)=\bigl[\alpha\,\overline{\Delta}_{\mathrm{CLIP}}(A,B),\;(1-\alpha)\,\overline{\Delta}_{\mathrm{Sem}}(A,B)\bigr]. \]

CLIP 嵌入先做 L2 归一化，语义差分则除以 10，防止不同尺度主导邻居选择。原文把后一操作称作归一化到 \([0,1]\)，但有向的 \(S(A)-S(B)\) 除以 10 仍可能为负；这里保留操作含义，不照抄这个区间断言。参考集中每对图像还会交换顺序并把人类评分差取负，形成镜像增强，使比较方向与监督符号保持一致。针对查询图像对，在混合空间按余弦相似度检索 \(K\) 个参考邻居，默认 \(K=20\)。邻居相似度经指数核转成权重，相似度越高，对当前局部拟合的影响越大，默认核温度为 1.0。重要的是，混合特征决定“向谁借经验”，并不直接作为最后回归的全部输入。

局部回归的设计矩阵 \(X\) 只堆叠邻居的语义差分，\(y\) 是相应的 TrueSkill 评分差，\(W\) 是邻居核权重对角矩阵。岭正则抑制小邻域拟合时的权重不稳定；原文式（5）旁清晰给出的闭式解为：

\[ \hat{\mathbf w}=(X^{\top}WX+\lambda I)^{-1}X^{\top}Wy. \]

随后将查询自身的语义差分与这组局部权重做内积，得到校准后的偏好分差。同一维度在不同查询邻域可以有不同权重，因而不必假定整洁、现代化或绿化在所有街景比较中都同样重要。每个维度的局部权重乘以该维度分差，可以作为该次预测的贡献解释，但不是该因素影响真实社会结果的因果效应。原文还结合预测分差阈值和邻域“相近”标签比例做统计重判，默认阈值分别为 0.8 和 0.6。缓存中的式（6）逻辑连接符损坏，无法确认两个条件的精确布尔组合，因此这里不补写看似精确的分段决策公式。同理，式（5）的目标函数排版损坏，但上述闭式解完整；本笔记只保留能从原文明确核验的表达。

一个完整示例¶

原文图 3（第 12 页）的美观类别展示了校准翻转原始结论的案例。图像 A 的原始概念总分为 36，图像 B 为 41，直接累计时会选 B。局部模型不是给总分统一加一个偏置，而是利用邻域的人类比较重新权衡不同概念差分。图中校准分差为 +10.0，最终改选 A，与人类胜者一致。这个案例说明有些概念差异可以抵消其他差异，但不能把该图的局部权重移植成适用于所有城市的固定规则。

损失函数 / 训练策略¶

监督来自参考集的 TrueSkill 评分差，拟合的是查询邻域中的岭回归权重；VLM 与 CLIP 的骨干权重保持冻结。默认观察者、辩论者、裁判温度分别为 0.3、0.5、0.1，单次评分模式温度为 0.0。默认校准设置为 \(K=20\)、\(\lambda=1.0\)、\(\alpha=0.3\)，但不能把这些默认值当成表 1 所有类别的最终配置。主结果从 50,000 个配置构成的网格中随机抽取 1,000 个，在验证集上分别选各类别参数，最优 \(K\) 跨越 10–50，\(\alpha\) 跨越 0.2–0.7。概念搜索最多 15 次，连续 5 次不改善时提前停止；报告的搜索运行完成了 12/15 次。部署时仍要付出多次 VLM 推理、参考检索和局部求解的成本，“无需微调”并不是“没有适配成本”。

实验关键数据¶

主实验¶

数据来自 Place Pulse 2.0，原始规模为 110,688 张街景和 1.17M 次比较，涵盖安全、美观、活力、富裕、无聊、压抑六类感知。主实验选取至少有 2 次独立投票的比较，每类抽样 449 对，按 60%/20%/20% 划分参考、验证、测试集，随机种子为 42。删除人类“相近”标签后，每类测试集剩余 75–78 对；模型自己预测“相近”仍按错误计。以下摘录原文表 1（第 11 页），均为 excl-equal 准确率；平均行来自正文第 4.2 节，\(\kappa\) 为 Cohen's kappa，一致性越高越好。

感知类别	GPT-4o 零样本准确率（%）	同语义特征 Global Ridge 准确率（%）	UrbanAlign 准确率（%）	UrbanAlign \(\kappa\)
安全	61.9	66.7	81.6	0.63
美观	62.9	61.4	72.4	0.45
活力	49.4	58.0	64.5	0.28
富裕	60.2	69.9	74.4	0.47
无聊	48.7	54.1	65.3	0.30
压抑	57.3	57.3	66.7	0.33
六类平均	56.7	61.2	70.8	0.41

UrbanAlign 与零样本基线使用相同 GPT-4o 骨干，Global Ridge 使用 UrbanAlign 的语义差分及参考标签，所以后者更能检验局部校准是否超出了特征本身的收益。结果支持局部适配有用，但不意味着所有比较都相对各类别最强基线提升同样幅度，也不代表客观城市安全预测。

消融实验¶

下表摘录原文表 3（第 13 页），使用相同 LWRR 超参数，仅改变评分方式；数值为 excl-equal 准确率。其中重复单次评分的第三次压抑类别运行未完成，因此该行只有 5 类平均，其他行为 6 类平均。

评分方式	每对 API 调用数	原始准确率（%）	加 LWRR 后准确率（%）	统计范围
Mode 2：成对单次评分	1	61.7	63.6	6 类
Mode 2：重复评分并多数投票	3	62.3	64.6	5 类
Mode 4：观察者—辩论者—裁判	3	60.9	70.8	6 类

多智能体相对单次评分的校准后优势为 7.2 个百分点，而原始准确率并未更高，说明评分特征与最终分类能力应分开评价。三次重复的结果只能作为补充证据；由于少了一类，不能把 64.6% 与完整六类平均当成严格配平的同预算比较。原文表 4（第 14 页）却把成对单次模式的校准后准确率列为 51.9%，与表 3 的 63.6% 不同，当前正文未清楚解释口径差异。因此，本笔记不合并两表，也不据此复述其所有因子交互增益。

关键发现¶

原文表 5（第 14 页）报告 Mode 4 校准前后平均准确率为 60.9% 和 70.8%，安全类别为 63.5% 和 81.6%，对应 +18.1 个百分点。
70.8% 与概念搜索的 69.3% 是不同设置；不能宣称维度搜索把主结果继续提高到了 70.8%。
第 4.5 节的骨干替换实验采用至少 3 票数据且分别重调校准参数：Qwen2.5-VL-72B 为 72.5%，GPT-4o 为 72.2%，不能直接与主表至少 2 票设置比较。
第 15 页还报告 SPECS 平均 67.5%，AVA 为 76.7%，其零样本对照为 72.6%；这里只引用正文报告，未读取补充材料的完整分组结果。

亮点与洞察¶

将“概念测量”与“偏好决策”分离很有价值。同一冻结模型的输出经过外部校准即可更贴近人类，而无需把所有适配能力都塞进模型参数。
混合空间负责检索、语义空间负责回归，是可复用的分工。它允许视觉外观帮助选择上下文，同时保留概念级的预测解释。
多智能体的收益应在最终使用方式下评估。只比较原始投票准确率，会漏掉其作为数值特征提取器的潜在优势。

局限与展望¶

作者明确指出城市感知标注可能携带社会偏见。可解释权重只是暴露偏见的工具，不会自动消除偏见，更不能把“看起来安全”当成犯罪风险证据。
测试规模较小且验证搜索较大，仍需更大独立测试集和跨城市验证。正文的集合隔离描述不能单独证明所有拆分在图像或城市层面也完全隔离。
第 4.5 节给出的活力类别 95% bootstrap 区间为 [53.9, 73.7]%，其下界低于总体零样本 56.7%；第 4.2 节“所有下界超过 56.7%”的说法与此不一致。
当前缓存缺少被多次引用的补充材料，部分公式和图中文字抽取损坏，具体重判逻辑与理论条件需回原始排版核验；不能把未读取的证明视作已验证。
论文报告实验 API 成本约 68 美元、4,819 对、耗时约 2–4 小时，本地替代骨干使用 4 张 RTX 4090。成本规模与主实验每类 449 对的统计并非同一口径，不宜自行推算完整部署单价。
后续值得检验跨人群的参考集选择、邻域样本不足时的退化策略，以及概念分数扰动是否使解释发生剧烈变化。这些是读者建议，并非论文已完成实验。

评分¶

新颖性: 4/5。将概念挖掘、结构化评分与局部回归连接得较清楚，基础组成各有既有来源。
实验充分度: 3/5。同特征对照和跨骨干结果有价值，但测试规模、消融口径冲突与缺失补充材料限制证据强度。
写作质量: 3/5。主线易理解，但部分统计陈述不自洽，缓存公式损坏也影响精确复现。
价值: 4/5。为低成本、可解释的冻结 VLM 领域适配提供了具体方案，适合进一步做跨文化与稳健性验证。