跳转至

🧑 人体理解

🧠 NeurIPS2026 · 31 篇论文解读

📌 同领域跨会议浏览: 🎞️ ECCV2026 (172) · 📷 CVPR2026 (218) · 🔬 ICLR2026 (55) · 🧪 ICML2026 (7) · 🤖 AAAI2026 (24) · 🧠 NeurIPS2025 (28)

🔥 高频主题: 人脸/视线 ×5 · 扩散模型 ×4 · 人体姿态 ×3 · 语音 ×3 · 对抗鲁棒 ×2

AnyHand: A Large-Scale Synthetic Dataset for RGB(-D) Hand Pose Estimation

本文提出包含 250 万单手与 410 万手物交互样本的大规模合成 RGB-D 数据集 AnyHand,通过结合扩散姿态先验、物理抓握仿真、完整 3D 前臂上下文与对齐深度图,在不改动模型架构与训练超参的前提下全面提升 HaMeR 与 WiLoR 等主流模型的域内精度与零样本跨域泛化能力,并结合轻量级双向交叉注意力模块刷新 RGB-D 手部姿态估计 SOTA。

AnyMo: Geometry-Aware Setup-Agnostic Modeling of Human Motion in the Wild

本文提出几何感知且佩戴配置无关的人体动作理解框架 AnyMo,通过人体表面密集物理仿真、掩码跨视角预测对比预训练、全身乘积量化词元化以及多任务对比指令微调,在 14 个零样本人体动作识别基准上平均准确率、F1 和 R@2 分别相对提升 11.7%、11.6% 和 22.6%,并大幅刷新跨模态检索与动作描述生成性能。

Asymmetric Invertible Threat: Learning Reversible Privacy Defense for Face Recognition

本文揭示了现有输入空间人脸隐私伪装易被逆向重建或净化攻击破解的“非对称可逆威胁”,并提出集成密钥条件流形绑定(KMB)、对抗恢复感知训练(ARAT)与授权可逆恢复(ARR)的 ARFP 框架,在 LFW 跨模型黑盒评测中取得 95.91% 的平均保护成功率(PSR),在强配对逆向攻击 BINN 下仍保持 91.2% 的 PSR,同时支持正确密钥下的高保真恢复(PSNR 31.2 dB、SSIM 0.94)与基于随机数(Nonce)的篡改指示。

AVI-HT: Adaptive Vision-IMU Fusion for 3D Hand Tracking

AVI-HT 针对第一人称手物交互中手指严重遮挡的难题,提出两级分层跨传感器注意力机制与运动学先验掩码,自适应融合穿戴式手套的 12 路 6-DoF 惯性测量单元(IMU)信号与第一人称单目图像,在实拍数据集 DexGloveHOI 上将平均关键点误差降低 16.1%。

BiMoGen: Bidirectional Motion-Text Generation via Unified Masked Discrete Diffusion

BiMoGen 用统一运动文本词表和双向掩码扩散模型同时完成运动生成与运动描述,通过先对齐后条件生成的训练及生成感知自纠错,在 HumanML3D 上取得 T2M R@1 0.555、M2T CIDEr 60.2,但并非所有指标都优于已有统一模型。

Breaking the Group Size Barrier: Parameter-Efficient Group Dance Generation with Chain-of-Dancers

ChainDance 将音乐驱动的群体舞蹈生成重构为舞者间的条件链式生成(Chain-of-Dancers),依托冻结的单人舞蹈扩散模型与轻量级角色/动作编码器,在打破群体规模限制的同时从结构上杜绝身份混淆,参数量与训练时间减少 3 至 6 倍。

Complexity-guided Regularization for Generalizable Human Gaussian Splatting

针对通用人体高斯泼溅在高频复杂细节区域容易欠采样致糊的痛点,提出通过着衣人体网格的几何与纹理局部香农熵构建复杂度先验,结合成对单调排序正则化自适应分配高斯密度与重要性补丁采样,实现高质量且实时的未见人体新视角合成。

EgoForce: Robust Online Egocentric Motion Reconstruction via Diffusion Forcing

针对第一人称视角下头部与双手稀疏噪声输入导致的在线动作重建难题,EgoForce 借鉴 Diffusion Forcing 范式构建了随时间推移不确定性递增的时序非对称扩散机制,结合噪声鲁棒因果注入与流式温启动重采样,在严格因果约束下实现了长时程平滑且保真的在线全身人体动作重建。

ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation

本文提出了面向长时序人体动作生成的指代组合(Anaphoric Composition)新任务,构建了包含 13.2k 条 30 秒连续 3D 动作及跨片段依赖标注的 ELMA 数据集与 ELMABench 评测基准,并通过注入前序文本上下文的微调范式显著提升了现有模型在跨片段状态保持与语义对齐上的表现。

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

针对长程人体姿态驱动动画中出现的背景退化与身份漂移问题,EverAnimate 通过跨分块持久潜在记忆传播与带速度重调度的恢复流匹配,仅需轻量级 LoRA 微调即可实现分钟级稳定且高保真的人体视频生成。

FA-LAM: Focus-Aware Large Avatar Model for One-Shot 4D Animatable Gaussian Head

FA-LAM 针对前馈大头像模型(LAM)在不可见区域注意力发散、重建与驱动梯度冲突以及多帧流式输入显存爆炸三大瓶颈,提出融合人脸双侧对称先验的语义注意力正则化、先静态重建后局部残差驱动的双阶段解耦训练,以及可见性门控自回归特征融合,在单图/少样本可驱动全头头像生成与恒定显存 4D 流式重建上全面刷新 SOTA。

FactorizedHMR: A Hybrid Framework for Video Human Mesh Recovery

FactorizedHMR 先确定性估计躯干、体型与相机坐标轨迹,再固定这些结构,用掩码流匹配补全四肢、头部和世界运动;主要收益体现在严重遮挡与轨迹漂移,而不是所有常规指标均领先。

GazeFlow: From Human Gaze Behavior to Generative Egocentric Gaze Prediction

GazeFlow 用视频局部特征和全局任务 token 条件化整段视线轨迹的流匹配生成,在 EGTEA Gaze+ 上取得 F1 0.491、平均角度误差 9.01,同时改善轨迹位移统计,但其默认模型依赖未来帧,不能直接当作在线眼动追踪器。

GRASP: Learning to Ground Social Reasoning in Multi-Person Non-Verbal Interactions

论文提出了首个将高层社交问答与细粒度注视-手势事件联合建模的大规模视频社交推理数据集 GRASP(29 万问答对、4.6 万视频),并提出社交定位奖励(SGR)引导 MLLM 在强化学习思考链中精确对齐交互参与者,显著超越专有模型并消除无依据的思维幻觉。

GRASP: Learning to Ground Social Reasoning in Multi-Person Non-Verbal Interaction

本文提出了首个将高级社交问答与细粒度非言语线索(视线与指示性手势)严格对齐的大规模多主体视频社交推理数据集 GRASP(29万问答对/749小时视频),并设计了基于参与者身份对齐的社交定位奖励(SGR),引导多模态大语言模型克服语言捷径与过度思考,显著提升了细粒度社交推理能力与泛化性。

HOPE: Hand-Object Pressure Estimation from Monocular Videos

提出 HOPE 框架,将单目视频中的手物交互物理压力与接触表征为 MANO 手部网格上的连续顶点场,通过统一触觉手套、平面传感器与几何接触监督,并结合接触门控的顶点视频 Transformer,实现了无需触觉传感器即可估计物体交互压力与手部接触。

HumanScore: Benchmarking Human Motions in Generated Videos

本文提出了首个面向 AI 生成视频中人体运动生物力学合理性的系统化评测基准 HumanScore,基于解剖学、运动学和动力学三层架构定义了六项可解释定量指标,在 102 个标准化动作提示上评测了 13 个主流视频生成模型,揭示了当前视频生成模型在像素级视觉逼真度与真实人体生物力学规律之间的显著差距。

Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment

本文提出统一手语理解框架,结合轻量级解耦姿态与唇动骨干网络、聚合局部手语词汇语义的 Sliding Perceiver 映射网络,以及联合多任务学习与软解码微调,在 BOBSL 和 How2Sign 上同时刷新手语翻译(SLT)与手语-字幕时间对齐(SSA)的 SOTA。

OpenVTON-Bench: A Large-scale High-Resolution Benchmark for Controllable Virtual Try-on

针对虚拟试衣基准受限于影棚简单环境、低分辨率及传统标量指标缺乏语义感知的问题,本文构建了包含约 10 万对 1.5K 高清图像的 OpenVTON-Bench,并提出结合 VLM 五维语义评测与 SAM3 形态腐蚀多尺度表征的混合评测协议。

Past as State, Present as Attention: Persistent-State Blockwise Flow Matching for Long-Horizon Co-Speech Motion Generation

针对长程语音驱动动作生成中历史漂移与长上下文计算开销大的核心矛盾,提出“过去做状态、现在做注意力”(PASPA)架构,将历史姿态压缩至定长持续循环状态,结合块内双向自注意力与块流匹配框架,实现稳定风格保持与常数级步检索复杂度。

PoseBridge: Bridging the Skeletonization Gap for Zero-Shot Skeleton-Based Action Recognition

PoseBridge 不另加 RGB 动作识别分支,而是把姿态估计过程中尚未被关节坐标压缩掉的视觉语义保留下来,再用骨架条件桥接与语义原型适配完成零样本识别,在 Kinetics-200/400 的八个测试划分上比最强被比较基线提高 13.3–17.4 个百分点。

Re:Cognize: Open-Set Comic Character Re-Identification

Re:Cognize 用同一阅读顺序下的四种图库协议分离漫画角色的身份出现与身份维护,发现直接按预测标签扩充图库会损害随机种子下的识别,而 Re:Cast 通过角色均值、页内证据和跨页绑定,在明确条件下恢复部分正确标签更新的收益。

ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation

本文提出首个面向未分割长视频流的同声手语翻译统一框架 ReSCUE,通过推理感知训练适应残缺片段与非手语静默、利用带偏置搜索与尾部掩码的稳健重翻译抑制输出闪烁,并结合基于句末标点与词元到达时间的在线句子提交机制实现动态流式切分,在单句基准与新建长视频基准(How2Sign-Long、CSL-Story)上均以约 0.7–1.6 秒的低延迟逼近离线完整句子上界。

Seeing Speech: Learning Visible Articulatory Dynamics for Speech-Driven 3D Facial Animation

Seeing Speech 将面部运动按展宽、张口和前突三个坐标方向学习,通过语音—发音记忆检索局部运动特征,再用拓扑感知残差组合成三维网格动画,在 VOCASET 和 TFHP 上降低面部与嘴唇重建误差,但并未恢复真实发音器官的生理机制。

Semantic Motion Anchors: Bridging Motion and Meaning in Co-Speech Gestures

本文提出将 3D 伴随语音手势转化为兼顾物理形态与交际意图的自然语言“语义运动锚点”(Semantic Motion Anchors),并在训练阶段作为模态匹配的辅助对比监督信号,在 BEAT2 上将文本到手势检索的 R@1 相对直接对比基线提升 8.2%,并在下游检索增强手势生成用户研究中以 72.2% 对 27.8% 显著优于 RAG-Gesture。

SimpliHuMoN: Simplifying Human Motion Prediction

本文提出极简的纯自注意力架构 SimpliHuMoN,将历史运动上下文与可学习的未来查询拼接后直接进行双向自注意力交互并单次前向回归多个未来运动假设,在无需任何任务专用结构改动的情况下,同时在 3D 姿态预测、轨迹预测和联合预测三大任务上超越专用 SOTA 且推理速度提升至 1.8 倍。

ST-DiffEye: Diffusion-based Continuous Gaze Generation via Joint Scanpath-Trajectory Modeling

本文提出一种联合扫描路径与连续眼动轨迹的扩散模型框架 ST-DiffEye,通过构造连续注视点索引(fixation index)并作为额外输入通道与轨迹拼接,在零额外架构开销下实现跨尺度注意力信号协同学习,同时引入基于连续分级概率评分(CRPS)的分布感知评测准则,在任务驱动视觉搜索与自由观看基准上取得 SOTA 表现。

StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video

针对第一人称视频中双手长时间出画与交互遮挡导致的严重跟踪漂移,StableHand 提出了质量感知流匹配框架,通过四通道质量感知前向调度、速度目标调整、AdaLN 调制及质量感知 ODE 初始化,将可靠观测锚定与不可靠通道的动作先验生成无缝统一。

STRIDE: Automated Evaluation of Text-to-Trajectory Alignment across Diverse Contexts

STRIDE 将文本描述的人群情境预编译为行为问题、确定性测量函数和期望区间,再对生成轨迹逐项核验;其基准包含 936 个情境,Text-Crowd 的总体得分为 0.645,而人工对基准答案的同意率为 80%,但后者只来自有限的标注子集。

Towards Unified Dynamic Face Landmark Detection

本文用“人脸部位 + 归一化序列位置”描述关键点,再通过图像条件化查询与迭代解码,让同一模型联合学习不同标注格式并按需预测关键点;统一 ViT-B 在 WFLW、300W、AFLW-19 上的完整集 NME 分别为 4.05、2.80、1.02,优势是接口与训练统一,而非所有指标全面领先。

TrioPose: Native Triple-Stream Diffusion Transformers for Pose-Guided Text-to-Image Generation

针对多实例人体生成中的肢体畸变与特征串扰难题,本文提出基于原生三流扩散 Transformer(TSPA-DiT)的 TrioPose,通过零初始化双残差注入、五状态可学习关系偏置掩码以及姿态引导空间损失加权,在完整保留预训练潜空间先验的同时实现了精细抗遮挡的多人姿态生成。