Constrained Rotation Optimization: Revisiting Crop-Based Gaze Estimation¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4912
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/7982.pdf
作者: Riccardo Santambrogio, Jiawei Qin, Matteo Matteucci, Yusuke Sugano
领域: 人体理解
关键词: 视线估计、受约束旋转、人脸裁剪、头部姿态、多任务学习

一句话总结¶

CROp 将人脸裁剪引起的视线坐标变化建模为受约束的近似旋转，并通过联合头部姿态监督补充几何信息，在检测器预处理下将 ETH-XGaze 域内角度误差从 6.45° 降至 5.55°，但并非在所有准确标注或强框噪声条件下都优于归一化。

研究背景与动机¶

基于外观的视线估计从人脸图像预测三维注视方向，但同一视线在不同相机、头部位置和姿态下可以有很不同的图像表现。标准做法先定位人脸关键点、估计头部姿态，再将图像归一化到一个虚拟相机视角；网络在较统一的外观分布上预测，最后把方向旋回原相机坐标。这不只是裁掉背景，而是把图像处理和标签坐标一起变换，因此关键点与姿态误差会直接影响后续输入。

直接输入人脸裁剪能够避开关键点检测和图像重投影，却留下一个容易被忽略的问题：网络看到的是以裁剪中心为参考的脸，其预测角度未必适合直接解释为原相机坐标中的角度。已有 Gaze360 等工作使用局部参考系，但裁剪与归一化究竟有哪些几何差异、何时该选哪一种，缺少受控比较。本文并不主张用更大网络消除所有误差，而是先把裁剪式预测的参考系说清楚，再检验减少预处理是否真的值得。

另一个差别是，归一化本来就要估计头部姿态，裁剪则没有这项显式输入；若直接删掉整个过程，可能也丢掉对视线有帮助的头眼耦合信息。核心思路：用检测框与相机内参构造有明确约束的裁剪坐标旋转，再让同一网络联合预测视线和头部姿态，以较少预处理代价保留可解释的相机坐标输出。

方法详解¶

整体框架¶

输入为原始相机图像、人脸检测框与相机内参，输出为原相机坐标中的视线方向及头部旋转。几何支路通过“受约束旋转映射”计算裁剪参考系；外观支路直接裁出人脸送入“视线与头姿联合预测”，不先做人脸归一化或旋转重采样。训练标签和预测结果通过同一个旋转在裁剪与相机坐标间转换。

这里的关键区分是：旋转用于定义方向的转换规则，不用于生成一张真正转动相机后拍到的图像。作者明确承认，二维裁剪一般不是三维刚体旋转，因此 CROp 求的是有约束的最佳近似，而非证明两个图像视角完全等价。网络依然需要从未校正的人脸外观中学习头部姿态和视线变化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原图、检测框与内参"] --> B["受约束旋转映射"]
    A --> C["人脸裁剪"]
    C --> D["视线与头姿联合预测"]
    B -->|训练标签坐标转换| D
    B --> E["逆旋转回相机坐标"]
    D --> E
    E --> F["视线方向与头部旋转"]

关键设计¶

1. 受约束旋转映射：先对准裁剪中心，再尽量对齐四角

给定人脸框，作者在原图像素坐标中定义两套内参：一套保持原相机主点，另一套把主点放到框中心，焦距仍取原相机值。这样构造的裁剪参考系强调“脸位于画面何处”对方向解释的影响，而不是把一张被切下来的图像当成完全独立、没有相机几何来源的输入。几何量在原始分辨率下计算，之后才把人脸裁剪缩放到网络输入尺寸，避免把缩放后像素与原内参混用。

接着取框中心和四个角点，分别用两套内参反投影为单位射线。中心射线规定虚拟光轴应当朝向哪里，角点射线则提供视野周边的方向约束；由于两组射线通常不能被同一个旋转精确重合，算法强制中心射线对齐，再让四角的残差尽量小。下面按正文含义整理目标，缓存中的原公式排版损坏，系数及原始符号以论文 PDF 为准：

\[ R^* = \underset{R\in SO(3)}{\arg\min}\;\sum_{i=1}^{4}\left\|R\hat p_{\mathrm{cam},i}-\hat p_{\mathrm{crop},i}\right\|_2^2, \qquad R\hat c_{\mathrm{cam}}=\hat c_{\mathrm{crop}}. \]

其中带帽向量表示单位射线，中心用 \(\hat c\) 表示，四角用 \(\hat p_i\) 表示，\(SO(3)\) 要求结果是真正的三维旋转。求解时先找出对齐中心的旋转，再优化绕目标中心射线的剩余旋转自由度；论文说明可用 Kabsch 对齐算法完成。这比简单规定人脸必须竖直更一般，同时保留“必须正对框中心”的优先级，避免让角点拟合牺牲网络参考轴的位置。

训练时用 \(g_{\mathrm{crop}}=R^*g_{\mathrm{cam}}\) 把相机坐标中的视线标签转到裁剪坐标。测试时网络输出裁剪坐标中的俯仰角和偏航角，转换成方向后再用 \(g_{\mathrm{cam}}=(R^*)^{-1}g_{\mathrm{crop}}\) 恢复原相机方向。标签转换与结果恢复必须配套；只裁脸而把预测角度直接当作原相机角度，会重新引入本文试图明确处理的坐标问题。

2. 视线与头姿联合预测：把被删掉的姿态预处理变成可学习的辅助任务

裁剪保留了头部朝向变化，不再依靠归一化显式调整它。作者因此让同一个人脸网络既预测视线，也预测三自由度头部旋转：共享外观特征需要同时解释眼睛与头的方向关系，而非仅凭眼部局部纹理回归一个角度。这里不是先运行一个头姿检测器再把结果交给视线网络，也没有恢复关键点检测链；头姿是联合网络的另一个输出。

头部旋转使用 SVDO+ 的连续九维表示，使网络输出能够通过可微的 SVD 正交化得到有效旋转，避免直接回归欧拉角时的表示不连续与万向节锁问题。头姿同样在裁剪坐标中学习，预测后通过左乘逆旋转转换到相机坐标，即 \(\hat H_{\mathrm{cam}}=(R^*)^{-1}\hat H_{\mathrm{crop}}\)。因此视线与头姿共享同一套几何约定，而不是两个各自定义参考轴的结果。

联合监督的收益应理解为任务相关性带来的经验改善，而非几何保证。它补回了裁剪流程缺少的姿态信息，也提供可供下游使用的姿态输出；但不同数据集的头姿分布不同，辅助任务可能改变共享特征的取舍。本文消融中既有明显改善，也有视线误差增大的组合，所以不能把多任务学习写成无条件有效的组件。

一个完整示例¶

设人脸出现在原图右侧。首先检测框决定取哪些像素，人脸裁剪直接送入网络；与此同时，受约束旋转映射在原图坐标中用框中心和四角构造射线，得到相机到裁剪参考系的旋转。这一步不会把脸扭正，也不需要先知道眼角或鼻尖的位置。

训练时，相机坐标中的视线和头姿标签先转到裁剪参考系，网络学习这一参考系下的两个任务。测试时，即使网络在裁剪图上预测出接近中心轴的视线，也不能据此认定它沿原相机光轴；还必须执行逆旋转。若检测框发生移动，输入脸的位置与几何参考轴都会改变，因此框噪声既影响外观又影响坐标，这也解释了为什么强框扰动仍会伤害 CROp。

损失函数 / 训练策略¶

视线训练使用预测方向与真实方向之间的夹角损失，头姿训练使用预测旋转与真实旋转之间的测地距离损失，联合目标结合两项监督。前者衡量注视方向偏差，后者衡量相对三维旋转的角度，不把三个欧拉角误差简单相加。缓存中总损失公式的符号缺失，因此这里不声称已核实具体权重。

主实验骨干为 ResNet18，常规输入为 \(256\times256\)，训练 25 个 epoch，采用 Adam，学习率 \(1\times10^{-4}\)，每 10 个 epoch 乘以 0.1。MPIIFaceGaze 域内评测改用 \(448\times448\) 输入，并采用 15 折交叉验证；ETH-XGaze 域内按前 60 名受试者训练、其余 20 名测试。域内训练加入不超过框尺寸 20% 的缩放和平移增强，不能把这项设置混同于额外强噪声测试。

实验关键数据¶

主实验¶

指标均为在原相机坐标中计算的平均视线角度误差，单位为度，越低越好。GT 表示使用数据集提供的关键点或姿态标注进行预处理；Det 表示统一使用 InsightFace，Norm 还需关键点与 PnP 头姿估计，CROp 只用检测框。下面的“本文”是 CROp 加头姿联合监督，不是单独旋转映射；Norm 是受控基线，不应称为统一的历史最优结果。

评测设置	预处理	Norm 误差 ↓	本文误差 ↓	误差减少量（度）
跨数据集 MPII → XG	GT	31.23	29.37	1.86
跨数据集 XG → MPII	GT	7.19	7.41	-0.22
跨数据集 EVE → XG	Det	39.13	36.01	3.12
跨数据集 EVE → MPII	Det	9.53	8.51	1.02
域内 MPII	GT	4.93	5.02	-0.09
域内 MPII	Det	5.32	4.98	0.34
域内 XG	Det	6.45	5.55	0.90
域内 EVE Test	GT	4.99	4.51	0.48

MPII 指 MPIIFaceGaze，XG 指 ETH-XGaze。表中最后一列是基线减去本文的绝对角度差，不是百分比或百分点；负值表示本文更差。跨域 XG 结果虽有改善，误差仍很大，不能仅凭相对优势宣称可精确落地。

在 RTX A6000 上，原文将端到端延迟从 20.74 ms 降到 15.97 ms，约减少 23%。这主要来自去掉 2.79 ms 的关键点检测，以及用 0.69 ms 的 CROp 替代 2.67 ms 的归一化；两者人脸检测均为 10.88 ms，模型均为 4.40 ms。这里“更快”指这一软硬件配置下的流水线延迟，而非所有平台上相同的加速比。

消融实验¶

下表选取原文表 4 中排版清晰的 Det 结果。头姿监督用“有/无”区分，所有数值都是视线角度误差，越低越好。

训练 → 测试	输入与坐标处理	头姿监督	误差 ↓
MPII → XG	Norm	无	30.55
MPII → XG	Norm	有	29.56
MPII → XG	CROp	无	28.29
MPII → XG	CROp	有	29.56
EVE → ED	Norm	无	20.47
EVE → ED	Norm	有	20.76
EVE → ED	CROp	无	21.13
EVE → ED	CROp	有	18.47

ED 指 EYEDIAP。EVE → ED 中，CROp 加入头姿监督改善 2.66°；但 MPII → XG 中同样操作反而增加 1.27° 误差。单独 CROp 也不是处处胜过 Norm，例如 EVE → ED 的 21.13° 高于 20.47°，因此本文文字中较概括的“所有场景有优势”应以逐项表格为准。

关键发现¶

框噪声有明确边界。 EVE → MPII 测试中，20% 框扰动下本文为 8.92°、Norm 为 9.53°；30% 时双方均为 9.54°；50% 时本文为 10.83°、Norm 为 9.63°。关键点细化能帮助归一化纠正初始框偏差，不能把 CROp 描述成更耐任意强度框噪声。
遮挡结论与框噪声不同。 同一迁移设置下，50% 框面积的随机黑块遮挡使本文从 8.51° 变为 9.90°，Norm 从 9.53° 变为 11.17°。这支持减少关键点依赖的价值，但仅覆盖该合成遮挡协议。
大骨干不改变所有边界。 附加 ResNet50 与 GazeTR-Hybrid 实验在 MPII 或 EVE 训练时总体支持裁剪方案，但 XG 训练的组合仍有 Norm 更优的结果；作者将其与头姿辅助任务的学习取舍联系起来。

亮点与洞察¶

把预处理也当成标签几何的一部分。 CROp 的主要价值不是简单删掉归一化，而是明确删掉后预测方向如何解释。裁剪、网络输出和原相机评测因而有了一致的转换链。
把昂贵前置估计改成共享特征上的辅助输出。 头姿不再是运行视线网络之前必须先求出的变量，而是与视线共同学习的结果。消融同时展示收益与负迁移，比把辅助监督视为免费增益更有参考价值。
给出选择条件而非宣布替代。 检测噪声、遮挡、强框偏移和准确标注产生不同结论。工程上应根据输入质量与延迟预算选择预处理，而不是只看一项平均误差。

局限与展望¶

旋转只是裁剪的近似。 离轴角和透视畸变增大时，单一旋转不能消除全部差异；论文也承认视线原点近似为框中心，而非真实解剖学原点，更准确的原点建模仍待解决。
不等于无标定、无监督。 方法仍需相机内参、人脸框以及训练用头姿标签；本文主要使用同时具备这些信息的数据集，没有证明在内参未知或头姿标注缺失时同样有效。
多任务收益存在条件。 部分迁移组合中头姿监督降低视线精度，准确关键点或强框扰动下 Norm 也可能更好。部署前应保留对应目标域的受控比较。
缓存可核实程度有限。 正文公式和部分并排表格存在文本提取损坏，本笔记只使用可明确对应的实验单元，约束目标已标为依据文字整理；精确公式排版与未清晰展开的损失权重应查 PDF。

评分¶

新颖性: 4/5 — 对已有裁剪范式做清晰的受约束几何形式化，网络组件本身较常规。
实验充分度: 4/5 — 覆盖跨域、域内、噪声、遮挡、速度和骨干，但联合监督并非全面获益。
写作质量: 4/5 — 问题与选择条件清楚，个别概括性结论强于表格支持范围。
价值: 4/5 — 为真实相机视线流水线提供可操作的预处理取舍依据。