跳转至

🧑 人体理解

🎞️ ECCV2026 · 172 篇论文解读

📌 同领域跨会议浏览: 🧠 NeurIPS2026 (9) · 📷 CVPR2026 (218) · 🔬 ICLR2026 (55) · 🧪 ICML2026 (7) · 🤖 AAAI2026 (24) · 🧠 NeurIPS2025 (28)

🔥 高频主题: 人脸/视线 ×20 · 虚拟人 ×20 · 人体姿态 ×19 · 扩散模型 ×15 · 翻译 ×7

Forge4D: Feed-Forward 4D Human Reconstruction and Interpolation from Uncalibrated Sparse-View Videos

Forge4D将动态人体与交互物体的重建拆成尺度一致的流式3D高斯预测和双向稠密运动匹配,再通过遮挡感知融合生成中间时刻;在DNA-Rendering的新时刻与新视角联合评测中达到29.0378 dB PSNR,无需输入相机标定参数。

VersatileMotion: A Unified Framework for Motion Synthesis and Comprehension

VersatileMotion 通过保留世界坐标的因果人体分词器 VerMoVQ,把文本、音频和多人动作组织为统一的下一 token 预测问题,在同一个模型中覆盖九项动作任务,并在作者评测协议下取得有竞争力的生成与理解结果。

GRAFT: Geometric Refinement and Fitting Transformer for Human Scene Reconstruction

GRAFT 是一个学习到的"人体-场景交互先验",它将基于优化的物理合理性拟合过程"摊销"进一个前馈 Transformer 中——通过几何探针将人体-场景的相对关系编码为 24 个紧凑 token,在循环迭代中预测"交互梯度"纠正漂浮和穿透,最终以 0.2s 的前馈速度达到优化方法级别的交互质量,且可作为即插即用先验提升任何前馈方法。

BackTranslation2.0 -- A Linguistically Motivated Metric to Assess Sign Language Production

提出 BackTranslation2.0,一个语言学驱动的文本到手语翻译评估指标,通过两阶段智能体框架(10 个专用工具提取证据 + 4 个 LLM 交叉比对模块)在语法正确性、音系准确性、运动流畅度和生成保真度四个维度上给出确定性评分,在已知损坏和合成数据上与人类判断达到 Pearson r=1.00 / Spearman ρ=1.00,远超现有反向翻译和运动相似度基线。

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

DETRPose 把 D-FINE 的实时检测架构搬到多人 2D 姿态估计上,用基于关键点相似度(KS,即 COCO 的 OKS)的去噪关键点策略、KSVF 损失和轻量 Pose-LQE 分类头改造 GroupPose 解码器,得到首个端到端实时 Transformer 姿态模型:COCO val 上 DETRPose-X 达 73.3 AP,DETRPose-L 在 test-dev 上 71.2 AP / 4.66 ms,比 GroupPose-R50 快一个数量级以上且少 37% 参数。

Face Anything: 4D Face Reconstruction from Any Image Sequence

本文提出Face Anything,将4D人脸重建与跟踪统一为规范坐标预测问题——网络从任意图像序列中同时估计深度和规范人脸坐标,稠密对应关系直接通过在规范空间做最近邻搜索获得,无需显式建模帧间运动,在深度估计(RMSE降低16%)、对应关系精度(3倍提升)和推理效率(32倍加速)上全面超越现有方法。

Revisiting Avatar-As-Image: High-Fidelity Registration is All You Need

AvaImg 先把裸体模型可靠地放进衣服内部,再逐步拟合衣物表面并展开为统一 UV 图像,在主比较中达到 2.62 mm 表面 Chamfer 和 34.48 dB 纹理渲染 PSNR,并验证冻结 FLUX VAE 往返仅增加 0.76 mm 几何误差。

ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video

ReViV 提出了首个基于单目第一人称 RGB 视频联合重建观察者与场景的统一 4D 生成框架,通过离散多模态标记化与掩码生成 Transformer(MGET),在无需外部 SLAM 轨迹或辅助传感器的前提下实现了观察者身体、手部、视线与场景深度、相机轨迹的高精度实时前向推理。

StreamTalk: Streaming Co-Speech Gesture Generation with Key-Pose Anchoring

StreamTalk 将流式手势生成改成“粗生成、检索尾部关键姿态、重新细化”的片段级闭环,在 BEAT2 上取得单说话人 FGD 0.383、全说话人 FGD 0.293,并以稀疏目标姿态约束减轻分钟级动作漂移。

CoMind: Understanding Collaborative Human Activity from Multiple Minds and Views

提出了一个包含 81 小时双目第一人称与第三人称多视角视频、精确眼动追踪、密集 3D 场景与物体网格扫描的大规模多人协同数据集 CoMind,并系统构建了共同注意力估计、社交条件动作预测和协作式交接预测三大递进式心智理论基准任务。

DAP: Doppler-aware Point Network for Heterogeneous mmWave Action Recognition

针对毫米波雷达人体动作识别中因硬件设备与频段差异导致的异构多源域偏移,本文构建了首个大规模多源基准 UniMM-HAR,并提出了双空间多普勒重参数化网络 DAP-Net,结合几何增密、特征重校准与文本语义锚定实现了卓越的跨源泛化性能。

DiffProxy: Multi-View Human Mesh Recovery via Diffusion-Generated Dense Proxies

DiffProxy 先用扩散模型从多视角图像生成身体分割与 UV 稠密对应,再通过手部细化、随机采样不确定性和 SMPL-X 重投影拟合恢复人体网格,仅用合成图像训练就在 RICH 上达到 35.1 mm MPVPE,但并非每个数据集的所有指标均最优。

Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

Dress-ED 构建了首个统一 VTON(虚拟试穿)、VTOFF(虚拟试脱)和文本指令驱动服装编辑的大规模基准数据集(146k 已验证四元组),并提出一套基于 MLLM + 双路径连接器 + DiT 的统一多模态扩散基线模型 Dress-EM,在指令驱动的服装编辑任务上全面超越通用编辑模型和领域专用 VTON 模型。

GenLCA: 3D Diffusion for Full-Body Avatars from In-the-Wild Videos

GenLCA 将真实视频编码成结构化 3D 高斯令牌,只用可见区域监督扩散模型,在百万级身份数据上学习可由文本和图像控制的全身数字人,兼顾生成质量、编辑能力与面部和身体动画。

Head Avatars with Dynamic Explicit Hair

DynHair 提出了一种结合显式发丝几何与 3D 高斯泼溅的动态头部数字人模型,通过以头部角速度、角加速度和相对重力为条件的 LSTM-FiLM 时序网络预测发丝非刚性形变,并引入弹性保持等物理约束,实现了逼真且时序连贯的发丝级动力学渲染。

Human Mesh Modeling for Anny Body

Anny 将 MakeHuman 的人工形变资产改造为可微、无需扫描数据学习体型空间的人体模型,再用 WHO 统计校准采样并生成 780k 张 Anny-One 图像,在保持成人扫描毫米级拟合能力的同时改善儿童人体网格恢复。

IRG-MotionLLM: Interleaving Motion Generation, Assessment and Refinement for Text-to-Motion Generation

IRG-MotionLLM 将生成动作本身纳入“生成、评估、修正”的交错推理闭环,以三阶段训练改善文本动作对齐,在 HumanML3D 上将所用 MotionLLM 基线的 R-Precision Top-1 从 0.496 提升至 0.535,但最终强化学习模型的 FID 并非同步改善。

SICAGE: Speaker-Independent Culture-Aware Gesture Generation using TED4C-L Dataset

SICAGE 将文化感知的共语手势生成建模为领域泛化问题:把每位说话人视为一个域,用 Fishr 正则化或对抗学习从音视频和文本中提取说话人无关的文化表征,再以此条件一个实时扩散生成器 ALaDiT,在自建的 106 小时四文化 TED4C-L 数据集上显著提升手势的真实性、多样性、节拍同步和文化一致性。

SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning

SignSparK 把「稀疏关键帧」当作训练时的硬锚点——先用超轻量分割器 FAST 自动挖出每个手语的起始/中段/结束三帧,再让条件流匹配模型在这些锚点约束下重建整段 3D 手语动作(SMPL-X 上身 + MANO 双手 + FLAME 面部),既压住了逐帧回归的均值化效应,又把推理压到 10 步、比 SOKE 快约 100 倍,并在德、中、美、英四种手语上刷新 SOTA。

Silhouette-based Gait Foundation Model

FoundationGait 将多源轮廓序列与编码前的部位独立处理结合,使步态模型扩大后仍保留局部互补信息,在 Gait3D 和 OU-MVLP 上分别达到 48.0% 和 64.5% 自监督 Rank-1,并支持健康相关任务的线性探测与微调。

WebEyeTrack: Scalable Eye-Tracking for the Browser via On-Device Few-Shot Personalization

WebEyeTrack 将单目度量头姿、轻量眼部编码器 BlazeGaze 和端侧少样本个性化结合,以初始 9 点校准支持浏览器眼动追踪,在 GazeCapture 上达到 2.32 cm 注视点误差,但其主要优势是部署效率与抗漂移能力,而非所有数据集上的最高精度。

3D Scene-Adaptive Trajectory-Controllable Human Image Animation with Camera Movement

3STC-HIA 在统一三维场景中沿用户路径修正人体高度与朝向,再以可见场景点云指导预训练视频模型,实现免训练的人物运动与相机联合控制,在 Trajectory100 上将平移误差从 RealisMotion 的 1.305 m 降至 0.478 m,但朝向误差并未同步改善。

3D-LENS: A 3D Lifting-based Elevated Novel-view Synthesis method for Single-View Aerial-Ground Re-Identification

3D-LENS把单一真实视角的图像提升为固定纹理网格,渲染缺失的空中或地面视角,再用外观对齐和稳健混合训练学习重识别表示,在不使用真实目标视角训练样本的条件下,将AG-ReID.v2航拍训练、CCTV到航拍检索的mAP提升到37.8%,比该列最强既有方法PASS高21.2个百分点。

ActionPlan: Future-Aware Streaming Motion Synthesis via Frame-Level Action Planning

ActionPlan 先生成与时间轴对齐的动作语义计划,再通过逐潜变量噪声调度重叠生成 3D 人体动作,使同一模型兼顾离线质量与流式输出,在 HumanML3D-272 测试集上将流式 FID 从 MotionStreamer 的 11.790 降至 5.735。

ANFI: Rethinking Neighbor Feature Interaction in Person Re-ID

ANFI 为行人重识别同时学习邻居的亲和关系与差异关系,并通过噪声关系监督训练逐样本融合机制,在相同骨干特征的 CUHK03 对比中达到 88.1% mAP,比该组最强基线高 1.2 个百分点。

CLIP-AUTT: Test-Time Personalization with Action Unit Prompting for Fine-Grained Video Emotion Recognition

CLIP-AUTT 先用动作单元文本与视频的相似度学习表情分类,再在未见受试者的视频中选取最低预测熵的连续片段、仅更新动作单元提示嵌入,使 BioVid 的 WAR 从不做个性化的 CLIP-AU 的 78.0 提升到 81.5。

ClusterStyle: Modeling Intra-Style Diversity with Prototypical Clustering for Stylized Motion Generation

ClusterStyle 把一种动作风格拆成多个全局与局部原型,再以独立的风格注意力分支控制预训练动作扩散模型,使同一风格能有不同表现,并在风格化生成中取得 0.708 的文本检索 Top-3 准确率与 78.101% 的风格识别准确率。

CMCC-ReID: Cross-Modality Clothing-Change Person Re-Identification

本文构建同时包含模态差异和换装变化的 SYSU-CMCC 基准,并用渐进式身份对齐网络 PIA 先解耦身份与服装、再进行双向原型对齐,在可见光到红外检索中取得 57.0% Rank-1 和 46.5% mAP。

CoDePose: Multi-View 3D Human Pose Estimation via Coupled 2D-3D Denoising Diffusion

CoDePose 不再把二维检测当作只能接受的固定观测,而是在保留检测条件的同时联合去噪二维与三维姿态,配合跨视角信息融合和稳定化训练,在 Human3.6M 的 ViTPose、四视角、27 帧设置下将 MPJPE 从 FusionFormer 的 15.1 mm 降至 12.1 mm。

Constrained Rotation Optimization: Revisiting Crop-Based Gaze Estimation

CROp 将人脸裁剪引起的视线坐标变化建模为受约束的近似旋转,并通过联合头部姿态监督补充几何信息,在检测器预处理下将 ETH-XGaze 域内角度误差从 6.45° 降至 5.55°,但并非在所有准确标注或强框噪声条件下都优于归一化。

Conversational Human Audio-visual Talking Dialogue Generation

CHAT 把匿名场景提示依次变成对话脚本、带情绪和简短应答的双路语音、彼此响应且衔接平滑的人脸视频,在相关任务基线比较中取得 FID 17.33、LSE-C 6.89,并显示合成对话可改善面部反应模型的预训练。

COSY: Compositional 3DGS Synthesis for Disentangled Human Head Editing

COSY 提出了一种无需显式几何先验或精确分割掩码的组合式 3D 高斯泼溅(3DGS)生成对抗网络,将人头解耦为头发、皮肤、眼镜和躯干四个独立子生成器,并通过共享几何与光照上下文向量保持全局一致性,实现了高保真、零干扰的实时 3D 人头属性编辑。

Cross-Species Animal Re-Identification with Semantic Consistency Learning

针对跨物种动物重识别中解剖结构差异悬殊与野外环境多变导致的特征空间碎片化难题,提出语义一致性学习(SCL)框架,通过前景-背景解耦频谱归一化抑制环境样式并保全结构相位,结合基于动态特征记忆库的互易近邻建模对齐跨物种语义拓扑,在 11 个动物公开基准上显著刷新未见物种的零样本泛化性能。

CtrlCoMo: Controllable Co-Speech Motion Generation with Gesture–Action Disentanglement

针对语音驱动动作中手势与语义动作相互干扰的难题,CtrlCoMo 提出多尺度量化架构 Pyramid-VQ 与逐层衰减的 CLIP 语义正则,将高频局部手势与低频全局动作分层解耦,并结合 AdaLN 实现手势强度的显式连续可控生成。

D-Rex : Diffusion Rendering for Relightable Expressive Avatars

针对传统可重光照全身数字人依赖显式 3D 本征分解导致表情驱动能力受限的痛点,D-Rex 提出将重光照解耦为图像空间后处理,利用白光下训练的全身驱动化身生成类似反照率的渲染图,并借助轻量 LoRA 微调的视频扩散渲染先验实现任意 HDR 环境光下的真实感、视角与时序一致的重光照。

DETRAM: End-to-end DEtection, Tracking and Recovery of HumAn Meshes

DETRAM 提出了一种单阶段统一 Transformer 架构,通过在单一解码器中并行协同检测 Query、跨帧时序跟踪 Query 与用户提示 Query,实现了无需外部检测器与独立跟踪模块的视频多人 3D 人体网格联合检测、跟踪与恢复。

DiffUE: Enhancing Utility-Unlearnability Trade-off of Unlearnable Examples via Diffusion Autoencoders

DiffUE 借助预训练扩散自编码器(DiffAE)将不可学习样本(UE)的防御扰动从传统像素空间映射到解耦的语义隐空间,通过双层最小化优化与定向属性编辑引导,在保留真实图像流形结构与极高感知质量的同时,显著增强抵御对抗训练、频域滤波、强重学习攻击与有损压缩的防御鲁棒性。

DiGS-Avatar: Single-Image Animatable 3D Human Reconstruction via UV-Space Diffusion

DiGS-Avatar 将单视角可驱动 3D 人体重建重新表述为规范 UV 隐空间的扩散补全任务,借助多视角教师网络蒸馏几何一致的隐空间骨架,并通过跨注意力语义聚合模块注入高层外观特征,仅耗时 0.71 秒即可从单张图像生成高保真且天然支持骨骼驱动的 3D Gaussian 人体模型。

Discovering Geometric Biases in 3D Face Reconstruction: A Curvature-Aware Spectral Framework for Fairness Evaluation

针对传统欧氏距离指标对局部高频形态失真不敏感而掩盖算法偏见的问题,本文提出了基于局部二次拟合 Laplace-Beltrami 算子的曲率重建误差(CRE)与谱空间误差聚类框架,首次系统揭示并量化了 3D 变形模型及其重建算法中显著的年龄与族裔几何偏差。

Diversity-Aware View Partitioning for Scalable VGGT

针对视觉几何Transformer在长输入序列中因视点冗余导致注意力稀释与显存爆炸的瓶颈,提出一种免训练的即插即用视角划分框架,通过视觉相异度与软位姿传播驱动的均衡图优化构建高多样性子块,使1000帧超长序列在单卡A100上实现显存下降3.8倍、推理加速6.3倍且重建精度更优。

DSAR: Dual-Stream Autoregressive Modeling of Temporal Cloth Dynamics for Photorealistic Animatable Avatars

针对神经驱动数字人将服装形变简化为骨骼姿态映射而导致动态失真与泛化坍塌的问题,DSAR 提出双流自回归架构,显式结合几何流的前帧表面形变反馈与状态流的历史记忆检索,在仅需多视角图像监督下重建逼真的物理惯性与大幅度分布外动作。

ECHO: Ego-centric Modeling of Human-Object Interactions

ECHO 将人体动作、物体轨迹与接触作为相互约束的扩散变量,在已知物体几何的前提下从头部和双腕追踪恢复完整交互,并通过混合动作数据训练与平滑修补,在 BEHAVE 上实现 6.8±0.1 cm 的人体 MPJPE 和 33.5±0.5 cm 的物体顶点误差。

Ego-Human Motion Prediction with 3D-Aware LLM

Ego3DLM 将第一人称动作预测建模为显式 3D 场景感知的大语言模型推理过程,以单阶段自回归方式联合解码过去与未来的 3D 姿态及自然语言叙述,并借助跨模态对齐奖励的 GRPO 强化学习大幅提升运动物理可行性与语义保真度。

EgoGVAE: Ego-body Mesh Reconstruction via Guided Variational Autoencoder

针对第一人称仅凭头部轨迹重建全身人体网格时扩散模型采样缓慢的问题,EgoGVAE 提出用以全身姿态为输入的变分自编码器潜空间先验来引导头部到动作网络,实现高保真度全身网格的单步快速重建(推理速度提升 50 倍以上)。

EmbodiedHead: Real-Time Listening and Speaking Avatar for Conversational Agents

EmbodiedHead 用显式听说状态把单流音频转为连续的 FLAME 头部动作,并通过少步 Rectified-Flow DiT 与可微渲染器联合优化,在单张 RTX 3090 上实现包含渲染的 59 FPS,同时减少倾听时的错误张嘴。

Escaping the Low-Frequency Bias: Adversarial Frequency Perturbation for Generalisable Gaze Estimation

本文揭示了视线估计模型跨域性能骤降的主因在于对源域低频成分的过拟合,提出了无需目标域数据的对抗低频扰动框架(ALFP),通过 PGNet 生成实例级扰动图并在频域利用 AdaIN 混合振幅统计量,显著提升跨域泛化能力。

Event Stream-based Sign Language Translation: A High-Definition Benchmark Dataset and A Novel Baseline

针对传统可见光手语翻译易受运动模糊、光照变化及隐私泄露限制的问题,构建了首个 1280×720 高清、大规模真实事件流手语翻译基准数据集 Event-CSL(14,827 个视频),并提出了结合 Mamba 片段级空间记忆聚合与超图引导时空融合(GSTF)的免 Gloss 端到端翻译基线 EvSLT。

Every Dog Has Its Day, Probably: A Balanced Synthetic Benchmark and Probabilistic Modeling for 3D Dog Pose Estimation

针对现有3D狗姿态估计基准中视角偏置、姿态单一与对齐退化等核心瓶颈,本文构建了包含420万张像素级精准对齐图像的解耦均衡合成基准,并提出基于Rectified Flow与MMDiT的概率姿态估计框架,通过Mode-of-N聚合机制在严重自遮挡下生成多模态可信假设,纯合成数据训练即全面刷新多项真实世界基准SOTA。

FaceMoE: Mixture of Experts for Low-Resolution Face Recognition

FaceMoE 将 Transformer 中单一 FFN 替换为多个稀疏激活的 MoE 专家加 Top-k 路由器,使不同专家自动特化于人脸不同语义区域(高频纹理/低频平滑/关键点),实现分辨率感知的特征提取;在 BRIAR、IJB-S、TinyFace 三个低分辨率基准上全面超越 SOTA,同时几乎不损失 HR 预训练性能。

Fast Sam 3D Body: Accelerating SAM 3D Body for Real-Time Full-Body Human Mesh Recovery

Fast SAM 3D Body 在冻结 SAM 3D Body 权重的前提下重排身体与手部的计算依赖、精简解码,再用单独训练的 MLP 加速 MHR 到 SMPL 的转换,使人体重建更接近交互速度,但收益必须连同数据集、硬件和精度变化一起理解。

FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding

FEEL 把自制压阻手套与 Meta Aria 眼镜同步起来,采集了约 22 小时、约 200 万帧真实厨房场景中的第一人称「视频 + 音频 + 力」数据;作者进一步证明力信号有两重用法——既能量化地导出比人工标注更锐利的逐帧接触标签(据此训练的模型在三个接触 benchmark 上领先或接近全监督方法),也能当作视频主干的自监督预训练目标,在 EPIC-Kitchens、Something-Something V2、Ego-Exo4D、Meccano 上提升动作识别的迁移性能。

FitControler: Toward Fit-Aware Virtual Try-On

FitControler 先去除原衣轮廓暗示,再预测目标版型的人体与服装布局并将中间特征注入冻结的试衣模型,在 Fit4Men 上同时改善版型一致性和图像质量,但并不预测真实尺码或物理舒适度。

FlexiAvatar: Unified 3D Gaussian Human Avatars Under Arbitrary Body Visibility

针对现有单目人体数字人重建方法普遍假设全身可见而在局部视野下产生严重几何畸变与纹理漂移的问题,FlexiAvatar 提出首个面向任意身体可见度的统一 3D 高斯重建框架,通过光栅化可见性感知修剪抑制不可见区域的虚假梯度传播,结合遮挡鲁棒的 SMPL-X 跟踪、局部特异性残差细化与扩散旋转纹理补全,在全身、半身及纯头部场景下均显著超越现有专用与通用基线。

FlowerDance: MeanFlow for Efficient and Refined 3D Dance Generation

FlowerDance 将 MeanFlow(用区间平均速度替代瞬时速度预测的流匹配变体)与物理一致性约束、双向 Mamba 骨干和通道级跨模态融合相结合,仅需 5-20 步采样即可生成高质量的 3D 舞蹈,在 FineDance 和 AIST++ 上达到 SOTA 的同时推理速度(2008 FPS)远超此前最佳方法(MatchDance 345 FPS),为实时 3D 渲染留出充足算力空间。

FlowFace: Rectifying Identity Conditioning with Riemannian Geometry for Face Generation

FlowFace 针对现有免微调人脸定制方法在欧氏条件接口处属性耦合漂移与编辑次序敏感的问题,提出基于纤维丛解耦的双流流形编码器、基于截断 BCH 展开的李代数属性融合,并在训练期引入局部 SPD 度量约束测地线一致性,在完全不修改推理采样器的情况下显著提升了身份保持度、组合编辑稳定性与图像质量。

Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention

本文提出了首个生成式凝视到文本解码框架 Gazette,将传统受限于固定离散类别的视线意图推断拓展为开放词表自然语言生成,并通过 GPT-4 合成多被试跨视角不变的“有声思考记录”作为辅助任务,有效解耦个体行为噪声并精确还原人类自顶向下的认知意图。

Generative Relightable Avatars

提出混合式生成可重光照化身系统 GRA,将显式物理微表面渲染、UV 空间 RelightNet 姿态纹理细化与基于流匹配的时空视频扩散精炼有机解耦,在保障 3D 视角可控性的同时实现高保真物理光照与高频衣褶动态生成。

GenHOI: Generalized Hand-Object Pose Estimation with Occlusion Awareness

GenHOI 针对单目 RGB 手-物交互位姿估计中因遮挡与物体外形变化导致的泛化瓶颈,提出结合 InstructBLIP 分层语义文本提示、图像-点云-文本三模态掩码自编码重构以及手部隐式 SDF 与结构几何先验引导,在 DexYCB S3 未知物体测试上实现了 89.34% 的 ADD-0.5D 准确率。

Granular Semantic Cognition for Visible-Infrared Person Re-Identification

针对红外模态缺失颜色信息导致跨模态对齐困难的痛点,提出细粒度语义认知方法(GSC),通过层次化原型细化与语义引导通道自适应融合将文本颜色线索精准补偿到红外相应局部,并设计融合加权身份对比损失消除跨身份语义歧义。

HandSCS: Structural Coordinate Space for Animatable Hand Gaussian Splatting

HandSCS 为每个手部高斯建立相对骨架的结构坐标,再结合逐高斯残差嵌入和跨姿态匹配约束细节,使 InterHand2.6M 的 test/Capture0 新姿态渲染达到 32.91 dB PSNR、0.0291 LPIPS,同时保留了部分 SSIM 不及基线的例外。

HiReFF: High-Resolution Feedforward Human Reconstruction from Uncalibrated Sparse-View Video

HiReFF 以 VGGT 为骨干,加上高斯头、掩码头与一条高分辨率旁路,从四路相隔 90° 的无标定视频前馈重建人体 3D 高斯,在 2072×2072 分辨率下做 360° 动态人体的新视角合成,单张 RTX 4090 上流式重建速度 3.01 FPS。

HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching

HO-Flow 先把手部运动、物体轨迹和局部接触几何压入时序潜空间,再用带上下文的自回归流匹配生成连续动作,在 GRAB 上将 Phy 从 LatentHOI 的 96.16% 提升至 98.25%,同时将样本多样性 SD 从 0.13 提升至 0.31。

HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human–Scene Interactions

HSImul3R把仿真器作为重建监督器,用场景定向强化学习修正人体运动、用直接仿真奖励优化修正物体几何,在HSIBench上将简单交互的稳定率从HSfM的10.52%提高到53.68%,但困难交互仍只有13.92%。

Identity-Preserving Human Reconstruction from a Single Image via 3D Token Inference

本文提出身份保持的大型人体三维重建模型(IPRM),通过在基于 SMPL 的稀疏体素空间中利用基于可见性的交叉注意力显式冻结可见身份 token 并推断不可见区域,结合 3D 身份分支引导的 3D ID Adapter 消除解码漂移,在约 0.6 秒的前馈推理中实现了高几何保真度与强身份一致性的 3DGS 和 Mesh 重建。

InclusiveHuman-10K: Towards Inclusive Human Parsing Beyond the Intact-Limb Assumption

InclusiveHuman-10K(IH-10K)打破了传统人体解析中预设人人都具备完整健全肢体(intact-limb assumption)的认知盲区,构建了包含 10,555 张真实场景图像、14,939 个人体实例与 160,133 个高质量像素级掩码的人体解析基准,首次将残肢、三类假肢及行动辅助器具纳入标准语义体系并确立分组解耦评测协议。

Infinite Gaze Generation for Videos with Autoregressive Diffusion

本文首次把视频注视预测做成「任意长度视频上的原始注视轨迹生成」:给 UNISAL 加一个压缩瓶颈,把逐帧视频刺激压成低维显著性潜变量并每 5 帧注入一次扩散主干,再用最近 90 帧(3 秒)注视坐标当干净历史前缀、以滑动窗口方式自回归去噪未来 45 帧(每秒 30 个采样点的连续 x,y 坐标),在 DIEM 与 DHF1K 上的 Levenshtein、DTW、最大时序相关性均优于 6 个被适配到视频域的图像注视/扫描路径模型(离散 Fréchet 距离除外)。

InfiniteDance: Scalable 3D Dance Generation Towards in-the-wild Generalization

InfiniteDance 将互联网舞蹈视频转成经过物理与足部修复的 100.69 小时三维动作数据,再用连续嵌入、参考舞蹈检索和节奏混合专家训练 ChoreoLLaMA,在本数据集上将运动学 FID 从 Lodge 的 89.52 降至 30.54,但其真实场景泛化仍受慢音乐评价和长序列结构限制。

Instant Expressive Gaussian Head Avatars at Over 100 FPS

论文针对人像动画在推理速度、3D多视角一致性与面部表情表现力之间的“三难困境”,提出了一种解耦运动基向量的特征空间前馈高斯形变机制,辅以扩散先验蒸馏策略,在保持严格3D一致性与细腻微表情的同时实现了107.31 FPS的高速动画渲染。

Interaction-Aware 4D Gaussian Splatting for Dynamic Hand-Object Interaction Reconstruction

在不用任何物体形状/类别/位姿先验的前提下,本文把动态手物交互场景拆成手、物体、背景三套解耦的隐式场来驱动 4D 高斯泼溅,给高斯追加可学习的权重 \(w\) 与半径 \(o\) 来刻画遮挡与边缘锐度,把手部关键帧位置拼进物体变形场让物体形变由手条件化,再配合显式的手部/物体旋转/交互正则与五阶段渐进式优化,在 HOI4D 与 HO3D 上把视图合成指标推到超过 4DGS、Deform3DGS、SC-GS 以及专门的 HOLD/BIGS 的水平(HOI4D 平移场景 PSNR 30.32 dB,比最强基线高 3.99 dB)。

InterCMDM: Block-Causal Diffusion for Autoregressive Human Interaction Generation

提出基于块因果潜扩散的双人交互自回归生成框架 InterCMDM,通过双流因果 DiT、多任务块注意力掩码以及纯潜空间分块 Rollout,在无需真值动作前缀的前提下实现了高逼真度、强语义对齐且支持零样本控制交互模式的长时交互动作合成。

JacobianAvatar: Temporally Consistent Semi-rigid Avatar Reconstruction from a Monocular Video

针对单目视频中人体自遮挡与非刚性动态导致的伪影与几何失真,JacobianAvatar 提出分层神经雅可比场建模半刚性形变,并结合带屏蔽项的泊松求解器、SDF法向正则与形变引导残差光流损失,实现了时序高度连贯的高保真可驱动人体化身重建。

JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation

JointHOI 把"接触"当作与手物运动同源的内生模态,用一个单阶段扩散模型把双手 MANO 姿态、物体轨迹和左右手逐帧接触距离图拼进同一条序列联合去噪,再在推理时用自生成接触图与运动隐含几何之间的一致性梯度引导采样,从而在 GRAB / ARCTIC 上同时提升动作语义保真度(ARCTIC Top-1 0.948)与物理合理性(穿模体积比 Text2HOI 降一半以上)。

K-Mask: Kinematic-Aware Masked Modeling for Controllable Text-to-Motion Synthesis

K-Mask 提出了一种运动学感知的文本动作合成框架,通过将动作隐空间解耦映射到解剖学分组残差矢量量化(KG-RVQ),结合抗跨组泄漏的潜空间运动学丢弃损失(LAKD)与时空轴向分解掩码 Transformer,在无需独立分肢编码器的前提下实现了 SOTA 生成质量与精准的肢体级局部控制。

Kirin: Animal Motion Generation from In-the-Wild Video

Kirin 将野外视频变成可训练的四足动物三维运动数据,用参考图像补充文本缺失的形态信息,再将生成骨架动作应用于网格动画;在 AiM3D 上,加入图像条件使 FID 从文本版的 11.889 降至 6.248,但运动多样性指标有所下降。

Language-Guided Transformer Tokenizer for Human Motion Generation

本文提出 LG-Tok,把自然语言引导从生成阶段前移到分词阶段:用一组可学习隐 token 配合纯 Transformer 分词器/反分词器,在量化之前就把文本语义注入动作表示,并用随机丢弃文本(language-drop)的训练方案避免捷径学习、顺带在动作空间实现无语言引导解码,在 HumanML3D 上把 FID 从 MARDM 的 0.114 降到 0.057。

Large-Scale High-Quality 3D Gaussian Head Reconstruction from Multi-View Captures

HeadsUp 提出一种可扩展的前馈式方法,将多相机捕捉的多视图图像通过跨注意力 Transformer 压缩为紧凑 2D 潜变量,再解码到锚定于中性头部模板的 UV 参数化 3D 高斯上,从而将输出高斯数量与输入图像分辨率和视角数解耦,在 10,000+ 人的内部数据集上达到 SOTA 重建质量,且无需测试时优化。

LaxMotion: Rethinking Supervision Granularity for 3D Human Motion Generation

LaxMotion 针对文本驱动 3D 动作生成中刚性 3D 坐标回归导致的过拟合与多样性受限痛点,提出一种解耦全局轨迹与局部肢体矢量的宽松监督框架,仅借助单视角 2D 运动学线索与重投影、跨视角先验正则化,即可在无需密集 3D 姿态坐标损失的前提下生成多样且高逼真度的 3D 人体动作。

Learning Generatable Mutual Distance for Scene-Aware Human Motion Generation

针对相互距离在随机动作生成中因缺少绝对坐标参考而产生的歧义性,本文提出两阶段扩散框架 MDNet,引入大语言视觉模型(VLM)推理语义空间锚点消除几何歧义,并在频域中建模平滑互距轨迹以引导物理真实且时序连贯的场景人体动作生成。

Learning to Attract and Repel: Dual Quality Margin Learning for Face Recognition (DQM-Face)

针对传统质量感知人脸识别仅凭特征模长度量质量容易受无身份噪声干扰且缺乏类间显式排斥的瓶颈,DQM-Face 提出融合特征模长与 SE 语义注意力的双质量估计来动态缩放目标类吸引裕度,并引入课程递进的显式负类排斥裕度,在扩大类间清晰间隔(Clearance Zone)的同时实现了 SOTA 识别精度与内在高质量的 FIQA 评估能力。

LUNA: Learning Universal 3D Human Animation Beyond Skinning

LUNA 提出首个完全抛弃线性混合蒙皮 (LBS) 的端到端 3D 人体动画框架,通过解耦的 Transformer 动画器将 2D 驱动信号(RGB 图像、关键点、手绘草图甚至未知角色图像)直接映射为 3D 高斯变形;在训练中利用 LBS 蒸馏提供结构性先验防止几何坍缩,推理时彻底摆脱 LBS 约束,实现了零样本跨身份、跨模态的 3D 人体动画。

Mind-to-Face: Neural-Driven Photorealistic Avatar Synthesis via EEG Decoding

Mind-to-Face 首次把非侵入式 16 通道 EEG 直接解码成 256×256 的稠密 3D 位置图(约 6.5 万顶点),再驱动绑定在网格面上的 3D 高斯泼溅渲染出保留被试身份与情绪强度的写实面部头像,为此搭建了一套 EEG 与 16 路多视角高速相机帧级同步的双模态采集系统。

Monocular Avatar Reconstruction via Cascaded Diffusion Priors and UV-Space Differentiable Shading

用一个统一的预训练扩散骨干串联「纹理补全 → 光照均质化 → 材质分解」三个子任务、每个子任务只挂一个 LoRA,再配合 UV 空间可微 BRDF 渲染损失,仅用不到 100 个真实 3D 扫描就从单张野外照片重建出 4K 分辨率、可重打光的高保真人脸 PBR 数字人。

Monocular Models are Strong Learners for Multi-View Human Mesh Recovery

本文提出一种完全免多视角训练(training-free)的多视角人体网格恢复框架 MonoMV,通过将预训练单视角 HMR 模型的特征与预测聚合为虚拟视角(Virtual View),并利用解剖地标重投影、跨视角一致性与单视角先验正则化进行轻量化测试时自适应(TTA),在无需多视角训练数据和无相机标定条件下均达到 SOTA 性能。

MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation

MTVDiff 针对热红外到可见光人脸转换中的几何断裂、语义失配与身份退化难题,提出了一种冻结 Stable Diffusion 主干的多模态隐扩散框架,通过双分支跨注意力融合模块动态对齐热红外与深度特征、门控机制注入文本语义先验,并利用空间特征变换将多尺度几何与语义特征注入扩散残差块,在保持高保真面部拓扑的同时大幅提升了跨模态人脸识别性能。

Multi-scale Object-Aware Gaze Estimation via Geometric Reasoning

将视线目标估计从像素级回归重新建模为层次化推理问题,先用目标级语义表征建立候选注意对象,再用视线方向构造视场锥几何先验约束空间,最后通过多尺度残差融合精确定位,在 GazeFollow/VideoAttentionTarget/ChildPlay/GOO-Real 上以 7.1M 参数取得 SOTA。

Multi-THuMBS: Multi-person Tracking of 3D Human Meshes Beyond Video Shots

针对真实多镜头视频中视角突变导致的身份丢失与人体网格漂移难题,Multi-THuMBS 利用几何基础模型在镜头切换边界构建共享 3D 场景锚点,结合三维距离、表观与姿态重识别及全局时空平滑,实现了跨镜头多人动作与身份的一致性重建。

NaP-Control: Navigating Diffusion Prior for Versatile and Fast Character Control

NaP-Control 冻结扩散动作先验与动作解码器,只训练一个选择初始噪声的强化学习策略,在物理仿真中兼顾任务完成与动作平滑性,平地远目标成功率达到 98.4%,推理速度为 22.5 FPS。

Noise-Robust Facial Expression Recognition via Mamba-driven Neighbor Weight Refinement

针对野外人脸表情识别中众包主观标注模糊与标签噪声难题,提出 Mamba 驱动的邻域权重细化框架(Mamba-NWR),结合交叉注意力路由初始化与状态空间迭代优化,动态平衡历史状态并聚合高质量邻域标签分布。

Odoriko: A Shape-Aware Multimodal Diffusion Framework for Human Motion

Odoriko 提出首个统一的多模态人体运动生成框架,通过将性别和 SMPL 体形参数作为显式条件信号分层注入扩散骨干网络,使生成的运动能够反映主体的生物形态学特征,同时在文本到运动、音乐到舞蹈、视频到运动估计三个任务上以极少的参数量达到甚至超越当前专用方法的性能。

OmniFall: From Staged Through Synthetic to Wild, A Unified Multi-Domain Dataset for Robust Fall Detection

OmniFall 把 8 个公开的演播室(staged)跌倒数据集按一套临床动机的 16 类 taxonomy 逐帧重标注统一(OF-Staged),再补上 12k 段可控合成视频(OF-Syn)与 818 段真实事故视频(OF-ItW),合成约 15k 段 / 33 小时单视角(含同步多视角相机约 82 小时)的三域 benchmark,首次给出标准化的 staged→wild 评测协议;实验发现微调小模型与零样本 MLLM 在真实跌倒事件上表现相当,但零样本模型会把临床最关键的 fallen(长卧)状态系统性误判为 lying。

OmniFit: Multi-modal 3D Body Fitting via Scale-agnostic Dense Landmark Prediction

OmniFit 先从穿衣人体点云直接预测固定语义的稠密身体标志点,再优化 SMPL-X,并用可选 RGB 适配器和尺度预测处理外观补充与尺度歧义,在 4D-DRESS 点云评测中将 V2V 从 ETCH 的 2.408 cm 降至 0.589 cm。

One-Shot Feed-Forward 360° Animatable Avatar via Inpainted UV-Space Gaussian Modeling

提出前向单张图像 360° 可驱动全头 3D 高斯头像重建框架 FHAvatar,通过预训练 3D GAN 提取全局全头先验,并在参数化人脸模型的对称 UV 空间中补全局部高分辨率外观特征,实现 246 FPS 的高保真自由视角动态头像驱动。

PartCHOI: Part-Aware Guidance for Clothed Human-Object Interaction Generation

将单视角穿衣人物交互(CHOI)场景建模为以人为中心、物体视作人体部件的生成任务,提出无须交互微调的 H-GPE 位姿估计与 O-GRM 雅可比接触形变机制,实现物理自洽且无穿模的高保真 3D 交互场景生成。

PHOSA: Photorealistic 3D Sign Avatar Modeling and Benchmark

针对手语生成中网格数字人缺乏真实感、通用人体身姿表示难以捕捉手部精细构型与面部微表情的问题,本文构建了首个由聋人专家联合设计的 16 视角高分辨率多视角手语基准 MVSign,并提出融合多先验的混合 SMPL-X 拟合管线以及部位解耦且具备局部运动学解耦的 3D 高斯手语化身表征。

PhysDrape: Learning Explicit Forces and Collision Constraints for Physically Realistic Garment Draping

针对传统物理仿真计算耗时以及深度学习回归缺乏物理保真度与穿模严重的问题,PhysDrape 以显式节点力为中间桥梁,将力驱动图神经网络(GNN)、可微分拉伸求解器与碰撞处理模块深度统一,实现了无需真实标注的端到端自监督物理级 3D 服装悬垂。

PIAvatar: Physically Interactive Avatars via Deformation Gradient Decoupling

PIAvatar 提出基于 MPM 的物理可交互 3D 人体化身框架,通过将用户定义的 kinematic velocity 从变形梯度更新中显式解耦,消除运动驱动时产生的非预期内部应力,并嵌入骨骼结构以闭式优化实现形变后姿态的实时追踪,首次在统一 MPM 仿真框架内同时支持人-人、人-物的双向物理交互与非刚性表面形变。

Pix2NPHM: Learning to Regress NPHM Reconstructions From a Single Image

Pix2NPHM 用一个几何预训练的人脸专用 ViT,把单张图像直接回归成 MonoNPHM 的解耦身份/表情隐码,靠自建的 102K 个 NPHM 配准数据和基于估计法向的二维自监督训练,在 NeRSemble SVFR 与 NoW 上超过所有公开的单图人脸重建方法,前馈推理在 RTX3080 上约 8fps。

PointSplat: Compact Gaussian Splatting via Human-Centric Prediction

PointSplat 提出了一种以人体为中心的 3D 高斯前馈预测框架,利用空间雕刻与光线投射构建紧凑表面点代理并建立显式 2D-3D 对应,再经点-图像 Transformer 直接在 3D 空间回归高斯属性,以仅约 1/3 的高斯球数量超越了现有视点中心基线的新视角渲染质量。

PriorPose: Reference-Guided Joint Deformation and Alignment for Category-Level Object Pose Estimation

针对类别级物体姿态估计中无先验方法易记忆类别朝向偏置、有先验串行方法易发生形变误差级联的双重痛点,PriorPose 引入显式平均形状先验并构建几何感知种子 Transformer,在统一特征空间中联合预测点级 NOCS 对应场与先验形变场,结合正则空间与相机空间双重形状一致性约束,在严格姿态阈值下实现 SOTA 精度与极强的跨域泛化能力。

PriSM: Parsing and Style-Mixed Consistency for Unsupervised Domain Adaptation in Facial Landmark Detection

PriSM 针对风格化人脸无监督域自适应中伪标签易自信犯错的问题,构建了由“点位转解析宏观结构对齐”与“StyleGAN 风格混合微观重构闭环”组成的双一致性验证框架,在 CariFace 与 ArtiFace 上大幅刷新 SOTA 且零样本泛化至动物与动漫脸。

Pro-Pose: Unpaired Full-Body Portrait Synthesis via Canonical UV Maps

Pro-Pose 提出了一种基于规范全人体 UV 纹理空间的无配对人像姿态重定与规范化合成框架,通过新颖的供体遮罩重姿态机制打破姿态与纹理边界泄漏,实现基于单一非受控图像生成保真度极高的可控人像化身,并为虚拟试衣等下游任务提供无遮挡的标准中介画布。

Prosthesis-Aware 3D Human Pose Estimation: A Dataset and Benchmark for RSP Users

针对跑步假肢(RSP)使用者缺乏专用 3D 姿态估计方案的困境,本文构建了首个包含 560 万帧多视角动捕标注的真实数据集 RSP3D,并提出将模型驱动的人体关节估计与无模型假肢几何重建对齐的混合基准方案。

Purify then Guide: Rethinking Domain Generalization for Multimodal Face Anti-Spoofing

本文把多模态领域泛化人脸活体检测(FAS)重新表述为「先纯化、再引导」:先用同域跨样本的差分注意力 MD2A 减掉融合特征里与域/模态相关的公共残差,再把纯化后的 RGB/IR/DEPTH 特征软对齐到 CLIP 文本定义的 real/spoof 子空间(RS2),并用 U 形双空间适配(U-DSA)在增强任务能力的同时保住预训练几何,在 WMCA/CeFA/PADISI/SURF 上把平均 HTER 从 13.63% 降到 4.00%。

Q-BridgeNet: A Quantization Network for Cross-Lingual Sign Language Translation

针对多语种手语翻译中跨语种视觉差异引发的表征冲突与语义边界切分错位问题,Q-BridgeNet 提出通过自适应时序分割与“共享基底-私有残差”分层矢量量化构建离散 Q-unit 语义基元,并结合多语言大语言模型实现统一的多对多跨语种手语翻译。

RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation

针对跨身份角色动画中尺度与体态不一致导致的结构错位问题,RASA提出解耦的空间-运动先验分层注入架构,在去噪初始步通过空间先验校准器(SPC)消除2D几何偏差,并在DiT中间层注入SMPL运动语义向量(IMG)保障3D解剖一致性。

RealDyadic: Synthesizing Realistic Dyadic 3D Dialogue with Neural Appearance Priors

针对双人3D对话数字人受限于3D追踪伪标签噪声导致的口型不准与闭合失效问题,RealDyadic提出了首个结合扩散运动生成与3D高斯泼溅渲染的两阶段框架,利用2D视频光度梯度在交替训练中反传校准3D运动先验,突破了追踪算法的性能上限。

Recognizing Co-Speech Gestures in-the-Wild

牛津大学 VGG 提出首个真实无约束场景下的大规模语义伴随手势数据集 GRW(14 万视频片段、155 个词汇词表),并基于手部先验骨干与长程运动上下文 Transformer 解决了伴随手势分类、词汇识别与精确帧级时序定位三大核心任务。

Reconstructing 3D Human-Object Interaction via a Unified Triplane Space

针对单目 3D 人-物交互重建中人体参数化模板与多样化物体的结构失衡痛点,提出统一三平面特征空间(Unified Triplane Space),结合 HOIT-VAE 隐式几何先验、相机感知 HOIT-T 图像到三平面转换与 SMPL-H 姿态拟合,实现了平衡且高精度的交互网格重建。

Reconstructing Humans and Objects in Interaction using Large Reconstruction Models

MILO将单目3D人-物交互重建问题重新表述为“解释大重建模型(LRM)生成的联合网格”,将LRM网格作为保留相对空间与邻近线索的非参数化几何脚手架,通过多视角关键点三角化两阶段拟合SMPL-H人体模型与分割对齐物体,在无需任何真实接触先验的情况下刷新了多个数据集的SOTA。

Reconstruction-Anchored Diffusion Model for Text-to-Motion Generation

针对文本驱动动作生成中预训练文本特征缺乏动态先验与迭代去噪误差累积两大难题,提出以动作重构分支锚定潜空间并引入自正则化与动作中心对齐,配合推理阶段的重构误差引导(REG),使扩散模型在仅 20 步采样下于 HumanML3D 取得 0.032 的前沿 FID。

RegHead: Non-Humanoid Head Blendshapes via Feed-Forward Registration

针对非人形态 3D 头部缺乏拓扑对应与表情标注数据的难题,RegHead 构建了约 2 万个涵盖统一定义表情词表的非人头像数据集,并提出拓扑无关的密集随机锚点运动表征与粗到细前向配准网络,无需真实对应标签即可单次前向输出语义一致的 Blendshapes 并实现人类面部驱动的实时表情重定向。

Reliability-Aware 3D Geometric Injection for Universal Person Re-identification

UniGeo 提出了一种运动学感知的单目 3D 姿态编码器与基于跨模态一致性的可靠性门控机制,将 3D 几何拓扑作为动态调节的结构残差注入表征空间,在大幅提升换衣与遮挡场景重识别性能的同时,有效避免了几何噪声在常规场景造成的负迁移。

ReMoMask: Retrieval-Augmented Masked Motion Generation

ReMoMask 让动作检索、训练掩码和生成时的证据融合共享身体结构,通过 HBM、TSM 与 SSTA 改善文本到动作生成,在 HumanML3D 主实验中取得 FID 0.026 和 R-Precision Top-1 0.566。

Revisiting the Volumetric Data of 4DME: Compression, Extension and Benchmarking for Micro-Expression Analysis

针对 4D 面部微表情动作单元(ME-AU)检测中体积数据量庞大、伪影噪声严重及基准缺失等瓶颈,本文系统清洗并扩充了 4DME 数据集(实现跨文化平衡),提出解耦外观与几何动态的双流网络 VoluME,并验证了利用 V-PCC 实现约 3000 倍数据压缩且仅损失约 1% F1 值的可行性。

RoboGesture: Real-Time Semantic-aligned Co-Speech Gestures Generation for Humanoid Interaction

针对人形机器人共语音手势生成中语义数据匮乏、动作惯性导致音频遮蔽及真实物理碰撞三大难题,本文提出协同数据合成、分层声学-语义对齐、抗惯性流匹配与在线MPC安全滤波的端到端框架,在宇树G1人形机器人上实现了超实时的安全双向交互。

RoboMirror: Understand Before You Imitate for Video to Humanoid Locomotion

RoboMirror 先把视频语义生成式地重建为运动潜变量,再通过经过物理仿真蒸馏的扩散策略输出机器人动作,在 Motion-X 的姿态驱动对比中将整条流程耗时从 9.22 秒降至 1.84 秒,同时将成功率从 0.94 提高到 0.95。

Rolling Shutter Relative Pose Estimation Made Practical

论文首次将仿射对应(AC)引入卷帘快门(RS)两视图相对位姿估计中,推导了计入行坐标扰动诱发本质矩阵变化的 RS 校正仿射约束,并构建了基于零空间消元与作用矩阵的 7-AC 极小代数求解器,将 RANSAC 采样点数从 20 锐减至 7,大幅降低迭代复杂度并有效消解了平移速度与基线间的退化耦合。

Rotate Your Character: Revisiting Video Diffusion Models for High-Quality 3D Character Generation

RCM 将复杂姿态的单张或多张角色图像转成规范 A/T 姿态的高分辨率环绕视频,利用视频先验、逐像素相机条件和三阶段训练改善新视角合成,再由独立的重建模型生成网格。

S2Gest: Split-Scan State Space Models for Dynamic Hand Gesture Recognition

针对智能座舱和穿戴设备等资源受限场景,S2Gest结合空间优先嵌入与自适应特征调制,并引入通道切分双向扫描机制(Split-Scan S2-Block),在保持线性复杂度和零额外参数的前提下捕获全局双向手势动态,以亚3M参数量匹敌数十倍体量的大模型并实现超100 clips/s的消费级GPU推理速度。

SCORE: SubDistribution-aware Collaborative Knowledge Reinforcing for Cloth-Hybrid Lifelong Person Re-Identification

针对换装与未换装数据交替出现时加剧的灾难性遗忘与知识冲突问题,SCORE 显式对身份内部的多样性建立可学习的高斯子分布,并结合子原型协同知识强化与实例结构对齐,实现了跨阶段衣着相关与衣着无关判别知识的高效兼顾与持续巩固。

Self-supervised Garment Dynamics with Persistent Wrinkles

提出首个自监督神经网络服装仿真器,通过动态静止弯曲能量和物理启发的课程学习,显式建模织物的弹塑性变形,首次在自监督框架下生成自然的持久褶皱,在多种服装、体形和动作上均优于现有方法。

SemGAN: A Semantic and Hierarchical Adversarial Network for 3D Human Pose Estimation

针对 2D 升 3D 姿态估计中显式位置损失忽略跨维度时序动作语义且缺乏人体运动学层次约束的问题,SemGAN 提出融合显式坐标监督与隐式语义判别的对抗框架,通过语义原型引导的分层生成器(SPH-Generator)解耦局部一致性与全局协调性,配合基于能量熵的跨频域判别器(ECF-Discriminator)在时频双域强化动态连贯性,在 Human3.6M 上达到 39.7mm MPJPE 的 SOTA 精度。

SemLight: Distilled Semantic–Geometric Fusion for Efficient Local Feature Matching

SemLight 针对弱纹理、重复结构与大光照变化下的特征匹配歧义,通过教师网络离线蒸馏将高层语义先验压缩入轻量主干,并在局部自适应结合表面法向与外观特征进行信噪比门控和跨模态注意力融合,在仅需 5.4 ms 的边缘推理耗时下将 MegaDepth AUC@5 较 XFeat 相对提升 17.8%。

SFM: Taming State Space Models for Text-to-Motion via Spatial-Frequency Modeling

针对传统 Transformer 复杂度高和 CNN 感受野有限的问题,本文提出 SFM 框架,在扩散 UNet 中解耦空间与频域状态空间建模,以线性复杂度实现高保真度与强文本对齐的动作生成。

SHINE-PPG: Non-Lambertian Intrinsic Decomposition for Illumination-Robust rPPG

针对非接触生理监测中环境光剧烈波动与面部皮肤油汗镜面高光导致的脉搏信号严重失真问题,SHINE-PPG 提出自监督非朗伯体本征分解框架,将面部视频解耦为漫反射率、环境照度与稀疏镜面高光,并在反射率表征上结合可学习 AdaIN 对抗光照增强,实现了极端与未见动态光照下的高保真 rPPG 信号提取。

SignBind-LLM: Multi-Stage Modality Fusion for Sign Language Translation

SignBind-LLM 把连续手语识别、指语识别与唇读拆成三路各自独立用 CTC 预训练的专家,用 Gumbel-Softmax 动态路由把视频片段分派给对应的手动专家,再以「门控聚合 + 交叉注意力」融合手动与唇读两条异步通道,最后交给一个只用文本对训练、与视觉管线完全解耦的 Flan-T5 解码成通顺英语,在 How2Sign、BOBSL、ChicagoFSWild+ 上分别取得 23.1 BLEU-4、7.0 BLEU-4 与 73.6% 字母准确率。

SIGNER: Temporally Grounded Sign Language Generation via Time-Resolved Conditioning

SIGNER 提出时序化解码条件(time-resolved conditioning)框架,通过构造时序化 Gloss 条件序列并在扩散去噪中以局部时序融合(LTF)将其注入,显式保留下游手语片段的时序对应关系(temporal grounding),从而解决现有手语生成方法中词序错乱和语义不准的核心问题,在 CSL-Daily 和 Phoenix-2014T 上大幅超越此前 SOTA。

SIGNET: Motion-Level Knowledge Transfer for Cross-Language Sign Language Translation

SIGNET 提出将多个在大型语料上预训练的手语骨架骨干网络视为冻结核运动视觉专家,通过手部先验驱动的注意力聚合与可学习门控融合实现跨语言运动级知识迁移,仅用 150 万可训练参数即在四个翻译基准和 WLASL 识别基准上取得 SOTA 或可比结果。

SignNet-1M: Large-Scale Multilingual Sign Language Video Dataset with Downstream Benchmarks

SignNet-1M 利用 3DGS 新视角渲染、扩散模型场景/身份编辑和后渲染增强,将 7 个公开手语语料库扩充为约 100 万条多语言手语视频片段(ASL/CSL/DGS),并配套一套统一评估协议(Orig/Zero-shot/Trained)揭示并弥补现有模型在视角、背景、身份变化下的鲁棒性漏洞。

SignRefine: Adapting Foundational Video Models for Sign Language Generation

针对通用视频扩散模型生成手语时手部和面部微小区域严重模糊失真的痛点,SignRefine 通过在冻结的 DiT 主干中引入带有 CoordConv 空间感知与注意力掩码机制的独立区域适配器,实现了高保真、可理解的手语视频生成。

Single-Query Person-Centric Bimanual Hand-Object Interaction Detection

针对传统以手为中心的 HOI 方法在多人复杂场景中割裂双手归属与目标语义的缺陷,本文提出一种以人体为中心的单查询 Transformer 检测架构,结合部位感知多参考点可变形注意力和手-查询关系矩阵,端到端统一预测人体框、人体姿态、双手及对应交互目标的类别与边界框。

SKEL-CF: Coarse-to-Fine Biomechanical Skeleton and Surface Mesh Recovery

SKEL-CF 提出了一种从单张 RGB 图像恢复生物力学骨骼和表面网格的粗到细框架:先用高质量 HMR-SKEL 数据集训练,再用显式相机内参建模消除深度歧义,最后通过编码器粗预测 + 解码器逐层迭代优化的策略,在 MOYO 等挑战性数据集上大幅超越此前 SKEL 方法 HSMR(MPJPE 降低 18.6%),同时达到与 SMPL 方法相当甚至更优的数值精度,且输出解剖学上更合理的姿态。

Social-Mamba: Socially-Aware Trajectory Forecasting with State-Space Models

Social-Mamba 将无序邻居关系组织成可扫描的社交网格,用 Cycle Mamba 支撑时间、自我和目标三路交互,在 NBA-Full 上以 1.9M 参数获得 0.72/0.92 米 ADE/FDE,但低计算量不等于所有场景下延迟最低。

Sound-based Multi-Person 3D Pose Estimation

首次探索仅利用主动声学信号实现多人3D人体姿态估计,提出SoundMHPE框架,通过多尺度声学编码器解耦时频混叠特征,并借助逐帧多查询时序姿态解码器建模个体时序演化与跨人体声学交互。

SPARC: Single-Pass Scaling for Motion Forecasting with Conformal Bayesian Last Layers

针对人体运动预测中点预测缺乏结构化不确定性且传统贝叶斯/集成方法推理开销大的困境,SPARC 提出了一种单遍前向的贝叶斯-共形不确定性框架,通过共轭贝叶斯最后一层解析计算时域特征杜杆度自适应放大图-时域结构化高斯协方差,并结合保形预测输出具备有限样本边际覆盖保证的三维时空预测管道。

SplatCtrlA: Generalizable Single Image to Fully Controllable 3D Avatar

针对单张图像生成可驱动 3D 人体化身时纹理模糊、肢体畸变与面部/手部失控等问题,SplatCtrlA 提出了基于 SMPL-X UV 高斯表征的前馈生成框架,结合 2.85 万个 3D 几何一致高斯数字人数据集、几何与色彩解耦的输入感知解码器以及高斯混合面部增强模块,实现了秒级生成支持 360 度全身姿态、细腻表情与逼真手势的高保真 3D 数字人。

Stitched Embeddings: A Unified Latent Space for 3D Garments and 2D Patterns

提出首个免物理仿真的端到端全可微双向隐空间表征 StEm-Net,利用 BoxMesh 桥接 3D 悬垂衣物与 2D 缝合裁剪图样,在实现 SOTA 版型逆向推断的同时支持基于梯度的测试时几何优化与免仿真实时 3D 交互编辑。

StyleFusion360: View-Consistent Head Stylization via Adaptive Style Modulation

针对现有3D人脸风格化难以兼顾精细几何保持与任意风格零样本泛化的难题,本文提出 StyleFusion360,依托3D感知扩散模型构建解耦的双分支外观模块,并通过创新的两阶段风格融合注意力与自适应键调制,实现了无需单风格重训练的360度多视角一致且身份保真的头像风格化。

SyncCache: Exploiting Asymmetric Dynamics for Fast Audio-Driven Portrait Animation

SyncCache 针对 DiT 架构的音频驱动肖像动画提出一种训练无关的特征缓存加速方案,通过空间非对称探测(SAP)在人脸区域优先触发重新计算、模态解耦缓存(MDC)跳过沉重视觉模块却逐时间步刷新轻量音频模块,以及记忆自适应的离线 DP 缓存规划,在 HunyuanVideo-Avatar 和 Wan-S2V 上分别实现 4.12x 和 3.75x 加速且视觉质量和唇音同步几乎无损。

TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction

TAIHRI 把"机器人第一人称相机下任务相关人体部位的三维定位"改写成视觉语言模型的下一 token 预测问题:把交互空间量化成体素 token、让模型先推理 2D 关键点再推深度、并用姿态感知奖励做 GRPO 强化微调,在 Harmony4D 与 EgoBody 的近距离设定下把上半身关键点的全局 MPJPE 从 124.91 mm 降到 93.83 mm。

TimeWalker: Personalized Neural Space for Lifelong Head Avatars

针对传统头部化身仅建模瞬时静态或短视频片段的局限,TimeWalker 提出个性化神经线性组合空间与动态 2D 高斯泼溅(DNA-2DGS),仅需网络非结构化跨年龄照片集合即可构建兼具跨年龄身份一致性与多维度显式解耦控制的终生 3D 头部化身。

Towards Flexible, Natural, Efficient Interaction for Conversational Talking Face Generation

提出 InterTalk 框架,通过响应式上下文编码器、解耦动作精炼生成器与多轮迭代生成策略,打破人数限制并支持任意多参与者的双向动作反馈,在单卡 30+ FPS 下实现高质量、高唇同步率与逼真非语言反馈的实时对话人脸合成。

Towards in-the-wild Egocentric 3D Hand-Object Pose Estimation

本文用「手上接触区 → 双射传到物体 → 优化拟合」的低成本标注流程造出首个野外第一人称手物接触数据集 EPIC-Contact,并提出把预训练手部先验通过 cross-attention 注入物体特征的端到端网络 HOPformer,一次前向同时回归双手与物体姿态,在 ARCTIC 上把成功率从 76.2% 提到 82.4%,在野外数据上成功率近乎翻倍、接触偏差降 75%。

Towards Real-World Wearable Motion Reconstruction

针对真实日常穿戴设备组合多变且稀疏的痛点,本文构建了包含日常手机、手表、头显与足压鞋垫并由 120 目动捕系统标定的多模态数据集,提出基于流匹配的生成模型 WHIP,实现了任意传感器子集下的高质量全身三维人体动作重建与系统级互补性量化。

TripVVT: A Large-Scale Triplet Dataset and a Coarse-Mask Baseline for In-the-Wild Video Virtual Try-On

TripVVT 将真实视频反向监督的 10,031 个换装三元组与粗人体掩码条件结合,在 100 例野外评测中达到 91% 的 Gemini-SR,同时暴露了整个人体重绘对非目标区域保持的代价。

UMO: Unified In-Context Learning Unlocks Motion Foundation Model Priors

UMO 用三种逐帧操作嵌入和输入级时间融合微调 HY-Motion,将单一文本到动作模型扩展为统一的补全、编辑、几何控制及反应生成模型,在 HumanML3D 文本到动作评测中达到 FID 9.460,同时仅增加 0.207M 条件注入参数。

Unified and Efficient Point-Line Local Features

提出统一高效的点线特征提取器 UPAL,基于轻量级 ALIKED 骨干网同时提取关键点、线段和描述符,结合多教师协同蒸馏与 GPU 加速的高效 LSD 算法,在参数量缩减一个数量级且提速 4 倍的同时达到甚至超越 SOTA 性能。

UniMotion: A Unified Framework for Motion-Text-Vision Understanding and Generation

UniMotion 把人体运动当作与 RGB 平权的连续模态塞进一个共享 LLM,用连续运动 VAE(CMA-VAE)+ 双路 embedder 替代离散 token,配合双后验 KL 对齐(DPA)注入视觉语义先验、潜空间重建对齐(LRA)解决运动通路冷启动,在 Motion-Text-RGB 三模态的理解、生成、编辑七个任务上做到统一并全面 SOTA。

URHead: A Unified UV-Space Representation for Joint Mesh–3DGS Optimization in Head Avatars

URHead 提出了一种在统一 UV 空间下联合参数化与优化网格和 3D 高斯泼溅(3DGS)的头部数字人表示方法,通过共享属性图与基于重构误差的自适应 UV 采样,既保留了参数化网格的拓扑控制力,又实现了高保真的微观细节重建与时序稳定的动画驱动。

Visible Yet Unrecognizable: Frequency-Selective Facial Privacy via Attention

针对传统人脸去标识化破坏视觉观感或彻底替换身份导致丧失社交可用性的矛盾,MIRAGE 利用离散小波变换将人脸分解为高低频子带,通过低频交叉注意力破坏身份特征、高频自注意力保留外观细节,结合频域感知一致性损失,在有效抵御9种主流深度识别模型的同时保持自然视觉质量。

WAPR: A Foundation Model for Wide-Angle Refinement in Unseen Object Pose Estimation

针对未知物体 6D 位姿估计中稀疏候选带来的大角度初始偏差难题,本文提出广角位姿精炼基础模型 WAPR,通过引入旋转对称先验规范化训练目标、角度平衡损失函数以及构建包含 200 万张合成 RGB-D 图像的 SA6D 数据集,实现了对高达 \(\pm 90^\circ\) 旋转偏差的迭代纠正,仅需 12 个候选位姿即可在 BOP 核心基准上实现亚秒级极速 SOTA 性能。

When Rubrics Fail: Error Enumeration as Reward for Reference-Free RL Post-Training

针对虚拟试衣等多解生成任务缺乏理想参考答案、基于准则(Rubrics)奖励易失效的难题,提出隐式错误计数(IEC)与组校准奖励机制,在流匹配模型 GRPO 后训练中以半数评测开销超越 SFT 及 Rubrics 基线。

WiFi-JEPA: Self-supervised Learning for WiFi-CSI 3D Human Pose Estimation

WiFi-JEPA 把 CSI 张量按 (信道 C、时间 T、链路 L) 结构保留下来做 CSI 专属 token 化,掩码整条 Tx–Rx 天线链路并让 JEPA 在潜空间预测被掩码链路的表征(而非重建含硬件伪影的原始信号),再用光线追踪仿真生成的几何基元场景(sim-object)补充预训练数据;在 PiW3D 上单人/多人 MPJPE 达 76.8/93.5 mm、超过全部 WiFi 基线,跨环境均值误差较基线降 48.2%,而 SimMIM/MAE/BYOL/MoCoV3 四个视觉原生 SSL 目标在相同骨干与协议下全部低于从头训练。

BiCE-HG: A Bi-Conditional Egocentric Hand Gesture Dataset for Intelligent Reality Systems

BiCE-HG 将三种移动状态与两种照明设置交叉采集,并提供空间照度记录和手部骨架数据;动态骨架基线达到 89.24% 验证准确率,但现有划分不是跨参与者测试,也不足以单独证明跨光照泛化。

EgoExoMoCap: Distributed Human Motion Capture via Ego- and Exocentric Body Tracking from Head-Mounted Devices

针对传统动捕依赖笨重多相机系统或穿戴式动捕服、而单视角穿戴设备难以准确估计下半身与全局运动的痛点,EgoExoMoCap 提出了一种仅需两人或多人佩戴头戴设备(如 Aria 智能眼镜)的分布式动捕框架,将第一人称连续惯导/SLAM 轨迹与第三人称间歇性图像的 3D 规范化射线相结合,并通过 DINOv3 上下文特征学习关键点置信度门控,在剧烈遮挡与出画场景下实现了高精度全身 3D 动作重建。

ETCH-X: Robustify Expressive Body Fitting to Clothed Humans with Composable Synthetic Data

ETCH-X 提出“先脱衣后稠密拟合”的两阶段解耦范式,结合局部 SE(3) 等变紧致度向量预测与隐式稠密神经场,并在可组合合成数据(CLOTH3D 模拟服装、AMASS 大规模动作与 InterHand2.6M 手势)上分别缩放训练,实现了对多变服装、复杂姿态与单视点残缺扫描的高鲁棒、高表现力 SMPL-X 人体拟合。

FFAvatar: Feed-Forward 4D Head Avatar Reconstruction from Arbitrary Images

FFAvatar 提出了一种基于 Transformer 与 3D 高斯泼溅的前馈 4D 头部头像增量重建框架,通过交替注意力解耦身份与视角/表情、结合“稀疏顶点到稠密 UV”的分层跨模态对齐以及运动感知细化模块,实现了从单张或多张任意人像快速生成高保真、可驱动且身份一致的动态头像。

HolisticSemGes: Semantic Grounding of Holistic Co-Speech Gesture Generation with Contrastive Flow-Matching

针对现有语音驱动全身手势生成模型缺乏跨肢体语义协调且易退化为单调节奏晃动的问题,HolisticSemGes 提出语义感知复合模块与对比流匹配框架,通过负样本排斥机制显式引导速度场朝语义相符的轨迹演化,生成与话语含义精确绑定的高拟真全身动作。

InterEdit: Navigating Text-Guided 3D Dyadic Human Motion Editing

InterEdit 提出了文本引导双人3D运动编辑(TMME)这一新任务,构建了首个大规模双人运动编辑数据集 InterEdit3D(5161组源-目标-文本三元组),并设计了基于条件扩散模型的 InterEdit 方法——通过语义感知计划令牌对齐捕获高层编辑意图、交互感知频率令牌对齐利用DCT频段能量约束交互节奏——在编辑忠实度和运动真实性上显著超越四种基线方法。

Kinematics-Agnostic 3D Human Motion Prediction via Equivariant Latent Diffusion

提出了首个运动学不可知(Kinematics-Agnostic)的随机人体动作预测架构 EquiFusion,通过显式将骨骼拓扑邻接矩阵作为输入并构建全流程关节置换等变潜空间扩散模型,彻底摆脱了传统方法对特定骨骼拓扑的硬编码绑定与有损重定向,实现了跨数据集联合训练以及未见骨骼结构与部分肢体遮挡下的零样本高保真动作预测。

LOOM: Weaving Geometry-Consistent Human-Object Interaction Videos via Progressive Curriculum Learning

针对人-物交互视频生成中多视角几何一致性差与重度依赖精细手部网格标注的双重瓶颈,ByteLOOM 提出 RCM-cache 机制将复杂新视角合成降维为空间纹理查找,并结合三阶段渐进式课程学习,在仅依赖简易 2D 骨架的条件下合成几何高度保真的 6-DoF 人-物交互视频。

MoScale: Autoregressive Next-Scale Prediction for Human Motion Generation and Editing

ScaleMoGen(MoScale)将文本驱动 3D 人体动作生成由传统沿时间轴单向 Next-Token 预测重构为粗到细的 Next-Scale 自回归预测,结合拓扑感知的骨骼-时序多尺度按位量化,在大幅压缩采样步数的同时刷新了 HumanML3D 与 SnapMoGen 的 SOTA,并天然支持高精度零样本动作编辑。

MuCHeR: Multi-Person Camera-Centric Human Detection, Mesh Recovery and Tracking

MuCHeR(Multi-HMR 2)提出了一个简单且鲁棒的单阶段 DETR 多人三维人体检测、网格恢复与跟踪框架,通过仅基于 2D 位置的二分图匹配实现轻量级高效训练并吸纳纯 2D 监督,结合垂直视场角预测在无真实相机内参下实现高精度相机坐标系绝对度量定位,并通过蒸馏 SAM2 记忆特征实现无需视频数据训练的在线人体网格跟踪。

Noise-Robust Face Recognition via Non-target Similarity Distribution Guided Sample Selection

发现被丢弃的误标注目标余弦相似度与干净样本的非目标余弦相似度在分布上高度对齐,提出无需噪声率先验的动态样本选择框架 DDLN,在仅引入 0.2%~0.3% 额外计算开销下实现 SOTA 降噪与人脸识别精度。

OrthoTailor: Geometric Orthogonalization for Conflict-Free Unified Fashion Generation

针对多任务时尚图像生成在共享 LoRA 中面临的严重梯度冲突与负迁移,本文提出通过瓶颈正交子空间投影(OSP)实现几何解耦,并结合推理时 Fisher 引导的负向引导(FNG),在单一模型下实现超越单任务专家的虚拟试衣、服装重建与姿态迁移效果。

PoseShield: Neural Collision Fields for Human Self-Collision Resolution

PoseShield 在 SMPL 姿态空间内学习一个带 Eikonal 正则化的神经碰撞场(近似姿态空间 SDF),将其作为可微约束函数嵌入 SLSQP 等梯度约束优化器中,实现从自穿透姿态到最近无碰撞姿态的后处理修正;该方法无需重训下游运动生成模型即可扩展到运动序列碰撞修正,在自建 HwC 数据集上达到 95.8% 的成功率,远超 COAP(44.6%)。

Practice Makes Perfect: From Explicit Decomposition to Reinforced Latent Planning in Text-to-Human Motion

针对显式思维链在动作生成中推理延迟过高的问题,LaCT-Motion 模拟人类“练习-内化-精通”的技能习得规律,通过渐进式课程将离散显式推理压缩为连续隐标记,并结合共享缓存的隐空间 GRPO 强化对齐,在彻底消除推理期文本开销的同时超越了显式 CoT 的生成质量。

Reference-Free Quality Assessment for Virtual Try-On via Human Feedback

针对真实电商试穿缺乏参考图且传统指标与人类审美脱节的难题,论文构建了包含 6.2 万张试穿图和 43 万条众包标注的最大虚拟试穿质量评估基准 VTON-QBench,并提出基于非对称交错交叉注意力(ICA)的无参考评估模型 VTON-IQA,实现了高度契合人类主观判定的试穿质量量化评测。

SWSL: Semantic-aware Weakly Supervised Learning for 3D Motion Generation using 2D Motion Data

针对配对文本-3D动作数据稀缺的问题,SWSL构建了文本-2D-3D统一语义对齐空间,利用单视角2D动作的语义向量增强3D伪标签,并通过语义级判别差距构建强化学习奖励直接端到端优化生成模型,在大幅降低3D数据依赖的同时显著改善生成动作的保真度与语义匹配度。

Text Dictates, Music Decorates: Energy-based Attention for Editable Dance Motion Generation

STREAM 提出双模态解耦的能量注意力机制 BEAM,让文本控制舞蹈动作的语义结构("做什么动作")、音乐仅装饰其时间节奏("何时做"),通过数学上保证的层次化无分类器引导解决文本-音乐联合生成中的模态坍塌问题,并在新标注的 Motorica++ 数据集上达到 SOTA。

TRAM: Fine-Tuning-Free Test-Time Adaptation with Few Bonafide Samples for Generalized Face Anti-Spoofing

针对跨域人脸防假体攻击(FAS)中目标域假体样本极其匮乏且重新微调开销大的痛点,TRAM 提出免微调测试时自适应框架,以目标域极少数真脸为锚点构建图像对,结合光度差异提示词学习与共识注意力正则化进行相对关系对比学习,实现即插即用的域偏移消除。

Video-Text Alignment Model for Sign Language Translation

针对无手语词注释(gloss-free)连续手语翻译中手语时序与口语词序倒错、跨模态对齐完全依赖自回归解码器隐式学习的难题,VTaMo 提出多粒度显式对齐框架,利用带可学习 Null Token 的局部最优传输重排视觉特征,并结合全局正交几何校准与位置对比学习,在四大主流基准刷新 SOTA。