SynDORBench: Evaluating LVLM Perceptual Robustness Under Physically Constrained Visibility Conditions¶

会议: NeurIPS 2026
arXiv: 2609.31823
OpenReview: https://openreview.net/forum?id=eJbJ4kjbfA
代码: https://github.com/JeremyStephenYee/SynDORBench
领域: 多模态 VLM
关键词: 大视觉语言模型、感知鲁棒性、物理约束成像、DORI标准、合成基准评测

一句话总结¶

提出了首个基于欧洲安防标准 BS EN 62676-4 DORI 物理成像约束标定的大视觉语言模型感知鲁棒性基准 SynDORBench，构建了包含 54k 问答对的受控单人场景合成评测管线，并引入基于掩码条件统计特征与 RF+XGBoost 集成的可辨识度自动标注机制，系统揭示了 LVLM 在长距离、低照度极端条件下的感知失效机理与尺度律边界。

研究背景与动机¶

近年来大视觉语言模型（LVLMs）在各类多模态推理与理解评测基准（如 MMBench、MMMU、SEED-Bench 等）上展现出了令人惊叹的语义推理能力。然而，现有主流评测基准几乎普遍建立在高度理想化的视觉输入之上——目标主体在画面中心、光照充足均匀、分辨率充沛且背景干扰极小。而在现实机器人导航、自动驾驶、边端安防以及智能基础设施等真实落地场景中，成像过程时刻受制于物理环境与传感器光学规律：相机距离、环境照度、传感器尺寸、焦距孔径与视点角度的物理变化，会连续且非线性地压缩有效像素密度，从根本上削弱语义信息的物理可恢复性。

现有视觉鲁棒性评测往往依赖自然采集图像中的随机扰动（如自然天气、未标定模糊），这种非受控的数据集相对难度无法将距离衰减与多人遮挡、人群密度等干扰因素剥离，导致研究者无法量化感知能力到底在何种物理成像阈值下发生灾难性崩溃。更严重的是，工业安防领域早已普及基于人眼视觉可辨识度阈值的物理标准（如欧洲 BS EN 62676-4:2015 DORI 标准，严格规定了探测、观察、识别、确认所需的最小像素密度），但在多模态基础模型领域，模型推理能力与真实物理成像约束之间的定量映射关系却始终处于空白。

本文的切入角度是打破传统基于“语义理解正确性”的黑盒评测范式，将经典相机成像几何物理模型与安防 DORI 视觉辨识标准直接引入 LVLM 评测，通过全参数受控的合成生成管线因子化解耦各项物理退化因子。核心 idea：构建首个由 DORI 物理像素密度标定的多模态感知鲁棒性基准 SynDORBench，通过解耦距离、光照、视点与姿态的受控物理渲染，并结合基于掩码感知特征与集成学习的人类视觉可辨识度标签传播模型，建立 LVLM 物理极限评测新范式。

方法详解¶

整体框架¶

SynDORBench 构建了一套从物理光学建模、高保真三维渲染、人类视觉可辨识度标定到统一多模态问答评测的端到端因子化评估体系。系统首先基于工业界监控摄像机主流硬件规格（1080p、1/2.8" 传感器、2.8mm 焦距、f/1.4 光圈）建立针孔相机物理几何模型，严格依据 DORI 标准中的探测（Detection）、观察（Observation）和识别（Recognition）区间采样像素密度并精确推导物理拍摄距离（5.4m、10.8m、23.0m）。随后在 Blender 引擎中控制三维室外场景几何、方位角/仰角视点、4 种典型天候光照、SMPL-X 人体异常动作姿态与 SMPLitex 纹理，生成受控单人图像与对应真值分割掩码。针对极低照度夜间与夜视增强图像，提出基于掩码感知统计特征的分类器自动传播人类可辨识度标签。最终，统一构建 54,864 个涵盖人类存在性二分类（HPC）与开放式动作识别（Action Recognition）的任务问答对，输入各类 LVLM 与检测模型进行鲁棒性测评。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["物理成像约束设定<br/>1/2.8英寸传感器 + 2.8mm镜头 + DORI像素密度标定"] --> B["1. DORI标定与受控单人场景合成渲染<br/>解耦距离5.4/10.8/23m、4种光照、8方位×4仰角及异常动作姿态"]
    B --> C["2. 掩码条件人类感知可辨识度标签建模<br/>提取Lab色度距离/KS亮度散度/Sobel边界IoU + RF+XGBoost集成"]
    C --> D["3. 统一多模态QA感知任务评估体系<br/>54k QA对：单帧存在性分类(HPC)与开放式动作识别(E5Score)"]
    D --> E["跨模型多尺度鲁棒性评测与物理机理分析<br/>16个开源LVLM + GPT-4o-mini + YOLO11x 基线对比"]

关键设计¶

1. DORI标定与受控单人场景合成渲染：解耦成像退化与场景混淆

针对现有真实数据集将距离退化、视角形变与多人遮挡/人群密度混杂在一起而无法归因的问题，本文在 Blender 环境中建立单人受控渲染管线，排除人群遮挡的混淆变量。首先根据工业安防监控市场调研，选定主流固定相机的硬件配置（1080p 分辨率、1/2.8" 传感器尺寸 \(h_{\mathrm{sensor}}\)、2.8mm 焦距 \(f\)），基于针孔相机几何模型推导出垂直视场角（VFOV）以及特定像素密度需求下对应的严格物理距离：

\[\theta_{\mathrm{VFOV}} = 2 \tan^{-1}\left(\frac{h_{\mathrm{sensor}}}{2f}\right)\]

\[D = \frac{h_{\mathrm{res}}}{\mathrm{PPM}_{\mathrm{req}} \cdot 2 \tan\left(\frac{\theta_{\mathrm{VFOV}}}{2}\right)}\]

式中 \(h_{\mathrm{res}}=1080\)，\(\mathrm{PPM}_{\mathrm{req}}\) 为 DORI 规定的目标像素密度阈值中点。计算分别得到 \(187.5\,\mathrm{px/m} \rightarrow 5.4\,\mathrm{m}\)（高像素密度近距离）、\(93.8\,\mathrm{px/m} \rightarrow 10.8\,\mathrm{m}\)（中距离观察）以及 \(43.8\,\mathrm{px/m} \rightarrow 23.0\,\mathrm{m}\)（远距离微弱像素探测）。在此几何框架下，以半球形相机轨迹采样 8 个方位角与 4 种仰角高度；同时搭配早晨、正午、傍晚与子夜 4 类太阳高度/方位光照，并在子夜场景应用中立 ISP 管线（线性化、自动增益控制 AGC、BM3D 去噪、CLAHE 局部对比度增强与色调映射）生成夜视（Night-Vision）图像。场景选用沙漠、原野与码头等大范围开阔环境，人体姿态从 AMASS/BABEL 中经文本嵌入与大模型两阶段打分筛选出的异常动作姿态（如潜行、踢、躲避、掩面等），并绑定 SMPLitex 多样材质纹理，实现了全因子独立分层采样。

2. 掩码条件人类感知可辨识度标签建模：解决微弱信号下的真值语义断裂

在物理成像约束下，“几何上存在目标”绝不等于“感知上肉眼可见”。如果仅凭仿真引擎中放置了人体模型就将标签强行设为“有人”，极暗或远距离模糊场景下将造成标签与视觉事实相违背的评测偏差。为此，本文设计了基于人类视觉阈值的可辨识度自动标注框架。基于 Cochran 抽样公式在 95% 置信区间与 5% 误差裕度下抽样 2,000 张渲染图像进行人类感知标注（其中 400 张作为独立测试集）。依托三维渲染自带的高精度 Ground-Truth 分割掩码，提取了四组专门表征前背景感知对比度的判别特征： 1. 未遮挡面积比率（Unblocked Area Ratio）：人体有效投影视网膜尺寸占全图比例； 2. 亮度散度（Luminance Divergence）：在 CIE Lab 颜色空间下计算人体区域与周围背景像素亮度分布的 Kolmogorov-Smirnov (K-S) 双样本统计量； 3. 色度分布距离（Chromatic Distribution Distance）：利用切片 Wasserstein 距离（Sliced Wasserstein Distance）量化色相与饱和度的分布差异； 4. 边缘可辨识度（Edge Discernibility）：计算掩码内部 Sobel 边缘梯度响应与外扩轮廓边界区域之间的 IoU 交叉比。

所有特征在原始图像与夜视增强图像上双向提取。基于 5 折交叉验证调优，采用 Random Forest 与 XGBoost 的集成模型进行二分类判别，宏 F1 达到 83.55%（准确率 90.50%），成功将可靠的人类视觉感知阈值泛化传播至全量 54k 数据集的子夜及夜视子集。

3. 统一多模态QA感知任务评估体系：兼顾存在性判别与高阶语义理解

为了在消除不同 LVLM 聊天模板、解码差异和输出格式影响的前提下完成公平对比，SynDORBench 设计了统一的单轮单图 QA 交互协议，涵盖两大代表性任务： - 人类存在性分类（Human-Presence Classification, HPC）：设计确定性指令 "Respond only with 1 or 0. Respond with 1 if a person is visible in the image, and 0 if not. Is there a person visible in the image?"。此任务聚焦纯粹的低层视觉检测感知能力，剔除了空间定位坐标框（Bounding Box）解析误差对感知测量的污染，采用 Accuracy 与 Macro-F1 作为核心指标，并引入安防实际部署的 80% 准确率工业可用性阈值； - 开放式动作识别（Action Recognition）：设计指令 "Respond only with the name of the action. What action is the person performing in the image?"，要求输出极短的 1-3 个动作词。针对短文本场景下 ROUGE-L 等字面重合指标严重失真的问题，采用基于文本嵌入模型的 E5Score 衡量预测动作与真值之间的语义相似度，并转换为各距离区间的归一化 z-score，彻底杜绝了使用视觉编码器（如 CLIP/SigLIP）直接打分所造成的对被测多模态模型内部视觉先验的评估偏置。

实验关键数据¶

主实验¶

在 SynDORBench 上系统评估了 18 种主流模型，包括 16 款开源 LVLM（涵盖小规模 SVLM \(\le 5\text{B}\) 与中等规模 MVLM 6-8B）、商业闭源模型 GPT-4o-mini 以及强判别式目标检测基线 YOLO11x。表 1 展示了模型在不同 DORI 物理距离下的 HPC 任务整体准确率与 Macro-F1 表现。

模型	规模 / 类别	5.4m (187.5 px/m) Acc / F1 (%)	10.8m (93.8 px/m) Acc / F1 (%)	23.0m (43.8 px/m) Acc / F1 (%)
YOLO11x	56.9M (检测基线)	73.92 / 50.17	65.38 / 50.36	50.29 / 42.98
SmolVLM2-256M-Video-Instruct	256M (SVLM)	10.02 / 9.63	13.47 / 12.68	22.70 / 18.69
SmolVLM2-500M-Video-Instruct	500M (SVLM)	23.20 / 20.23	26.51 / 24.04	27.19 / 22.08
InternVL3-1B-hf	1B (SVLM)	87.77 / 59.63	85.69 / 64.58	83.97 / 68.13
Perception-LM-1B	1B (SVLM)	69.77 / 48.21	62.64 / 49.11	45.94 / 39.89
SmolVLM2-2.2B-Instruct	2.2B (SVLM)	80.84 / 55.07	75.89 / 57.64	66.51 / 56.22
Perception-LM-3B	3B (SVLM)	75.76 / 50.83	71.76 / 53.77	58.80 / 48.37
Qwen2.5-VL-3B-Instruct	3B (SVLM)	66.70 / 45.49	64.00 / 48.86	54.75 / 45.16
gemma-3-4b-it	4B (SVLM)	94.66 / 50.44	92.91 / 54.04	85.66 / 67.68
gemma-3n-E2B-it	2B (SVLM)	87.10 / 75.78	86.29 / 65.27	88.87 / 72.12
SVLM 组平均	\(\le 5\text{B}\)	66.20 / 46.14	64.35 / 47.78	59.38 / 48.71
Phi-4-multimodal-instruct	6B (MVLM)	84.97 / 56.59	83.42 / 62.74	79.53 / 65.76
LLaVAction-7B	7B (MVLM)	81.80 / 55.96	74.70 / 57.33	57.88 / 50.01
LLaVA-NeXT-Video-7B-hf	7B (MVLM)	81.99 / 54.84	73.15 / 54.76	54.90 / 47.17
Molmo-7B-D-0924	7B (MVLM)	84.63 / 57.68	80.61 / 60.82	70.76 / 59.06
Qwen2.5-VL-7B-Instruct	7B (MVLM)	86.13 / 58.41	84.75 / 63.86	80.24 / 64.99
gemma-3n-E4B-it	4B (MVLM)	87.77 / 59.08	86.73 / 65.05	87.76 / 70.40
InternVL3-8B-hf	8B (MVLM)	85.45 / 58.08	83.13 / 62.67	71.66 / 59.84
MVLM 组平均	6-8B	84.68 / 57.24	80.93 / 61.03	71.82 / 59.61
gpt-4o-mini-2024-07-18	\(\sim\)8B (闭源商业)	82.72 / 55.79	77.87 / 58.72	69.60 / 59.03

消融实验与照度分层分析¶

下表系统展示了在不同光照条件（白天、子夜、夜视增强）与距离交叠下各典型模型的平均准确率变化，以及人类感知可辨识度分类模型的消融验证。

照度条件 / 模块配置	5.4m 平均 Acc (%)	10.8m 平均 Acc (%)	23.0m 平均 Acc (%)	全局平均 Acc (%)	核心表现与说明
白天 (Day - 良好照度)
YOLO11x	95.06	85.42	53.49	77.99	距离增加至23m时急剧崩溃，远低于80%可用门槛
InternVL3-1B-hf	99.95	99.77	95.09	98.27	小体量在充足光照下保持优异检测准确率
gemma-3-4b-it	99.98	99.95	100.00	99.97	全距离白天近乎完美，准确率逼近 100%
gemma-3n-E2B-it	100.00	99.72	98.75	99.49	轻量端侧模型表现极佳
gpt-4o-mini	98.97	95.82	73.84	89.54	商业模型在23m长距离发生明显衰退
子夜 (Night - 极度低光)
YOLO11x	62.80	54.29	47.00	54.70	完全丧失可靠判别能力，逼近随机猜测
InternVL3-1B-hf	78.20	74.94	71.96	75.03	保持一定辨识度，平均 F1 达 67.10%
gemma-3n-E2B-it	75.08	76.42	79.49	77.00	在极暗条件下展现出较强抗噪鲁棒性
Qwen2.5-VL-7B-Instruct	81.24	79.15	75.66	78.68	中体量模型依靠上下文先验在暗光下保持稳定
夜视 (Night-Vision ISP增强)
YOLO11x	63.90	56.43	50.39	56.91	经典检测器对 ISP 处理后的伪影与噪声极其脆弱
InternVL3-1B-hf	85.17	82.35	84.87	84.13	ISP 带来显著精度恢复，全距离恢复至 80% 以上
gemma-3n-E2B-it	86.22	82.74	88.38	85.78	准确率大幅反弹，超过原未增强夜间近 9 个百分点
可辨识度模型消融 (5-Fold CV)	Macro F1 (%)	Accuracy (%)	-	-	-
决策树 (Decision Tree)	82.41	90.25	-	-	单一树模型容易在复杂背景对比度下过拟合
RF + XGBoost 集成 (本文)	83.55	90.50	-	-	显著提升多维感知特征融合判别的泛化能力

关键发现¶

物理像素密度决定性能天花板，打破单纯参数尺度律：随着距离由 5.4m 延伸到 23.0m（像素密度下降为原来的四分之一），无论开源还是商业大模型，均呈现普遍的性能下滑。然而，模型鲁棒性与参数量并不呈单调递增关系。例如 2B 参数的 gemma-3n-E2B-it 在 23m 处的 HPC 准确率达 88.87%（F1 为 72.12%），超越了 8B 规模的 InternVL3-8B（71.66%）与 GPT-4o-mini（69.60%），表明视觉编码器架构设计（如专门针对小尺寸移动端优化的轻量卷积/混合视觉特征提取）在低信息密度恢复中起到决定性作用。
LVLM 对恶劣物理成像环境的鲁棒性大幅超越经典目标检测器：作为通用目标检测代表的 YOLO11x 在近距离 5.4m 白天即已表现不佳（全要素平均准确率仅 73.92%），在 23m 处甚至跌至 50.29%，彻底丧失实用价值。相比之下，主流 LVLM（如 InternVL3-1B、Gemma-3 系列）在长距离及夜间条件下展现出显著更高的鲁棒性，证实了多模态大模型能够有效结合全局场景语义先验与隐式语义上下文补偿局部像素的缺失。
夜间照度造成全域崩溃，ISP 算法增强具有明确代偿效应：在子夜低照度场景下，所有评测模型无一达到 80% 的工业可用 F1-Score 阈值；而在引入中立 ISP 夜视增强流水线后，绝大部分 LVLM 均出现立竿见影的性能反弹（如 InternVL3-1B 从 75.03% 恢复至 84.13%），表明结合前端成像信号处理是弥合多模态物理感知断崖的必要手段。
动作识别能力对远距离极度敏感，且模型仍显著落后于人类：在开阔单帧动作识别任务中，非专家人类基线在 5.4m、10.8m、23m 下的语义评分分别为 0.94、0.91 和 0.83；而最顶尖的 LVLM（Gemma-3n-E2B-it 和 Phi-4-multimodal）在 23m 处仅达到 0.83 的 E5Score，且低于 1B 的小模型在动作理解上几乎全面失效，揭示了微弱肢体运动姿态在低分辨率下的语义解析仍是当前模型的巨大瓶颈。

亮点与洞察¶

将安防 DORI 物理标准转化为多模态评测基石：首次打破常规基准将数据集随意缩放或人工加噪的随意性，严格将相机的焦距、感光元件尺寸及视场几何转化为毫米级可解释的物理距离与像素密度梯度，使人工智能感知边界可与真实世界的工程物理标准直接对齐。
创新的掩码条件人类感知可辨识度建模：通过提取 Lab 空间 K-S 亮度散度、切片 Wasserstein 色度距离与 Sobel 边缘 IoU，把“几何存在”与“感知可见”区分开来，巧妙规避了极暗环境下由于不可见标注导致的模型幻觉误判陷阱。
轻量化视觉语言模型展现出反向超车潜力：实验揭示并非参数量越大的通用多模态模型抗物理退化能力就越强，紧凑型模型（如 2B-4B 级架构）在特定感知任务上展现出超越 8B 商业模型的韧性，为具身智能与边缘安防终端提供了轻量化部署的有力选型支撑。

局限与展望¶

单人无遮挡假设与复杂现实场景存在差距：作者在文中明确指出，为严格因子化解耦距离与光照物理退化，当前 SynDORBench 采用单人受控渲染，未引入复杂的人群遮挡、杂乱多目标互动以及动态运动模糊，未来需逐步向多人密集拥挤场景拓展。
单一静态帧评估未能充分释放时序先验：动作识别任务当前仅在单帧图像上进行评测，无法反映视频 LVLM 利用多帧时序冗余在极低分辨率下平滑噪声与恢复动作轨迹的动态鲁棒性。
合成图像到真实物理成像的 Domain Gap 仍待实测闭环：虽然渲染基于高精 Blender 与真实材质，但实际安防摄像机的镜头畸变、脏污、传感器热噪声与非理想 ISP 仍比合成管线更为复杂，未来可结合受控物理暗室与真实长焦安防摄像机进行跨域标定验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将安防行业 DORI 物理标准与相机光学几何模型引入大视觉语言模型感知鲁棒性评估，构思独特且物理意义明确。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 18 种代表性模型（开源/闭源/检测器）、5.4万评测问答对、全因子分层抽样及严谨的人类感知可辨识度模型消融，论据翔实。
写作质量: ⭐⭐⭐⭐⭐ 物理推导严谨自洽，实验分析层层深入，逻辑框架极其清晰。
价值: ⭐⭐⭐⭐⭐ 为智能安防、具身智能及机器人长距离感知系统的模型选型与鲁棒性优化提供了极具现实指导意义的物理标尺。