跳转至

🧑 人体理解

📷 CVPR2025 · 109 篇论文解读

📌 同领域跨会议浏览: 🧠 NeurIPS2026 (9) · 🎞️ ECCV2026 (172) · 📷 CVPR2026 (218) · 🔬 ICLR2026 (55) · 🧪 ICML2026 (7) · 🤖 AAAI2026 (24)

🔥 高频主题: 人体姿态 ×19 · 虚拟人 ×16 · 人脸/视线 ×15 · 个性化生成 ×5 · 少样本学习 ×4

Any6D: Model-free 6D Pose Estimation of Novel Objects

提出 Any6D 框架,仅从单张 RGB-D 锚点图像即可估计未知物体的 6D 位姿和尺寸,通过 InstantMesh 3D 重建 + 朝向包围盒粗对齐 + 联合尺寸-位姿精细化,在 HO3D 上 ADD-S 达 98.7% 远超 GEDI 的 71.9%。

RGBAvatar: Reduced Gaussian Blendshapes for Online Modeling of Head Avatars

RGBAvatar提出"精简高斯混合形状"表示,仅用20个可学习基底即可高效表征可动画头部虚拟形象,配合批量并行渲染和颜色初始化策略,首次实现在线实时(边拍边建)的头部虚拟形象重建。

FSFM: A Generalizable Face Security Foundation Model via Self-Supervised Facial Representation Learning

FSFM 提出首个面向人脸安全任务的自监督预训练框架,通过 CRFR-P 面部掩码策略 + MIM/ID 双任务协同学习真实人脸的 3C 表示(区域内一致性、区域间连贯性、局部到全局对应性),在深伪检测、活体检测和扩散伪造检测三大任务上超越任务专用 SOTA。

VTON 360: High-Fidelity Virtual Try-On from Any Viewing Direction

提出 VTON 360,通过将 3D 虚拟试穿重新建模为多视角一致的 2D 虚拟试穿扩展问题,结合伪 3D 姿态表示、多视角空间注意力和多视角 CLIP 嵌入三项技术,实现从任意视角的高保真虚拟试穿。

Co-op: Correspondence-based Novel Object Pose Estimation

本文提出 Co-op,一个基于对应关系的新物体6DoF位姿估计框架,在粗估计阶段用混合表示(patch级分类+偏移回归)仅42个模板即可快速准确估计初始位姿,在精细化阶段用概率流回归+可微PnP端到端优化,在BOP Challenge七个核心数据集上大幅超越现有方法。

RePerformer: Immersive Human-centric Volumetric Videos from Playback to Photoreal Reperformance

提出 RePerformer,一种基于 3DGS 的体积视频表示方法,通过分层解耦运动高斯和外观高斯、Morton 编码参数化以及语义感知对齐模块,统一实现高保真回放和基于新动作的逼真再表演。

UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation

提出 UniHOPE,首个统一手部姿态估计(HPE)和手-物姿态估计(HOPE)的框架,通过物体开关器动态控制输出、抓握感知特征融合消除无关物体特征干扰,以及基于扩散模型的去遮挡生成+多层特征增强学习遮挡不变特征。

StickMotion: Generating 3D Human Motions by Drawing a Stickman

提出 StickMotion 框架,通过用户手绘的火柴人图作为细粒度动作控制条件,结合文本描述实现全局+局部的 3D 人体动作生成,并设计多条件模块(MCM)高效处理条件组合,节省用户 51.5% 的动作创意表达时间。

Analyzing the Synthetic-to-Real Domain Gap in 3D Hand Pose Estimation

首次系统研究3D手势估计中合成数据到真实数据的域差距,通过可控数据合成管线分解并分析了前臂、频谱统计、手势分布、物体遮挡四个关键因素的影响,证明合理整合这些因素后纯合成数据可达到与真实数据同等的精度。

FRESA: Feedforward Reconstruction of Personalized Skinned Avatars from Few Images

提出 FRESA,通过学习一个通用着装人体先验模型,从少量图像前馈式(18秒)联合推理个性化 canonical 形状、蒙皮权重和姿态依赖变形,实现零样本泛化到手机照片的高质量可动画化 3D 人体 Avatar 重建。

HumanMM: Global Human Motion Recovery from Multi-shot Videos

HumanMM首次提出从多镜头视频中恢复世界坐标系下3D人体运动的框架,通过镜头转换检测器、增强SLAM、基于立体标定的朝向对齐和运动积分器,实现了跨镜头的连续运动重建。

Learning Affine Correspondences by Integrating Geometric Constraints

提出一种融合稠密匹配与几何约束的仿射对应估计新框架(DenseAffine),采用两阶段解耦训练:先用 Sampson 距离损失训练稠密点匹配器,再冻结匹配器、用仿射 Sampson 距离损失训练局部仿射变换提取器,在 HPatches 匹配和 MegaDepth 位姿估计上均取得 SOTA。

PoseBH: Prototypical Multi-Dataset Training Beyond Human Pose Estimation

提出 PoseBH,通过非参数关键点原型(Sinkhorn-Knopp 在线聚类)和跨类型自监督(CSS)实现人/动物/手部等不同骨骼定义数据集的统一训练,在 APT-36K 动物视频数据集上比 ViTPose++ 提升 11.2 AP,证明跨类型知识迁移的有效性。

Design2GarmentCode: Turning Design Concepts to Tangible Garments Through Program Synthesis

提出 Design2GarmentCode,首个神经符号方法将多模态设计输入(文本/图像/草图)转化为参数化服装制版程序(GarmentCode DSL),实现 100% 仿真成功率和 88.67% 的用户满意度,且生成的程序可编辑、可参数化。

Structure-Aware Correspondence Learning for Relative Pose Estimation

提出结构感知对应学习方法(SAC-Pose),通过学习能代表物体结构的关键点,并基于图像间结构感知特征直接回归3D-3D对应关系(无需显式特征匹配),显著提升未见类别物体的相对位姿估计精度。

Human Motion Instruction Tuning

LLaMo 提出了一种保留运动原始表示(而非转化为语言 token)的多模态指令微调框架,通过同时处理视频、运动序列和文本输入来增强模型对复杂人体行为的理解和预测能力。

GCE-Pose: Global Context Enhancement for Category-Level Object Pose Estimation

GCE-Pose 提出一种"先补全再聚合"的策略,通过语义形状重建(SSR)模块将部分观测补全为完整的几何+语义 3D 表示,再通过全局上下文增强(GCE)特征融合模块将全局信息注入局部关键点特征,在 HouseCat6D 和 NOCS-REAL275 上显著超越现有方法。

MoEE: Mixture of Emotion Experts for Audio-Driven Portrait Animation

提出情绪混合专家(MoEE)模型,为 6 种基础情绪各训练一个专家网络并通过 Soft MoE 门控组合,配合 150 小时专业情绪数据集和多模态情绪条件模块,实现对单一及复合情绪的精确、自然控制。

Reference-Free Image Quality Assessment for Virtual Try-On via Human Feedback

提出 VTON-IQA,一个无参考的虚拟试穿图像质量评估框架,通过大规模人类标注基准 VTON-QBench(62,688 张试穿图 + 431,800 条标注)和 Interleaved Cross-Attention 模块实现与人类感知对齐的图像级质量预测。

Sonic: Shifting Focus to Global Audio Perception in Portrait Animation

提出 Sonic 框架,以全局音频感知为核心范式(而非依赖视觉运动帧),通过上下文增强音频学习、运动解耦控制器和时间感知位移融合三个模块,实现了高质量、时间一致的音频驱动肖像动画生成。

WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild

提出端到端的野外多手部重建管线 WiLoR,包含实时全卷积手部检测器和基于 Transformer 的高保真3D手部重建模型,通过多尺度精化模块实现图像对齐。

3D Face Reconstruction From Radar Images

首次从毫米波雷达图像进行3D人脸重建:用物理雷达渲染器生成合成数据集训练CNN编码器估计BFM参数,再通过学习一个可微分雷达渲染器构建model-based autoencoder,在合成数据上实现2.56mm平均点距精度,并可在推理时无监督优化参数。

3D Prior is All You Need: Cross-Task Few-shot 2D Gaze Estimation

提出跨任务少样本2D视线估计——利用预训练3D视线模型作为先验,通过基于物理的可微投影模块(6个可学习屏幕参数)将3D视线方向投影到2D屏幕坐标,仅需10张标注图像即可在未知设备上适配2D视线估计,在MPIIGaze/EVE/GazeCapture上比EFE和IVGaze提升超25%。

D3-Human: Dynamic Disentangled Digital Human from Monocular Video

D3-Human 提出了一种从单目视频重建解耦(服装+人体)数字人几何的方法,通过定义人体流形上的有符号距离场(hmSDF)在无需3D服装先验的条件下实现了可见区域的服装-人体精确分割,约20分钟生成解耦模板并支持换装和动画应用。

Efficient Video Face Enhancement with Enhanced Spatial-Temporal Consistency

本文提出一种基于 3D-VQGAN 的高效盲人脸视频增强框架,通过设计空间-时间双码本记录高质量肖像特征和运动残差信息,配合边际先验正则化缓解码本崩溃问题,在 BFVR 和去闪烁任务上实现了 SOTA 效果且推理速度提升 2-140 倍。

Ego4o: Egocentric Human Motion Capture and Understanding from Multi-Modal Input

提出Ego4o统一框架,从穿戴设备的多模态输入(1-3个IMU + 第一人称图像 + 运动描述)同时实现人体运动捕捉和运动描述生成,且两个任务可互相增强。

Enhancing 3D Gaze Estimation in the Wild Using Weak Supervision with Gaze Following Labels

提出一种两阶段自训练弱监督框架 ST-WSGE,利用 2D 注视跟随数据集(如 GazeFollow)生成 3D 伪标签来增强野外 3D 注视估计的泛化能力,同时设计了模态无关的 Gaze Transformer(GaT)统一处理图像和视频输入,在 Gaze360、GFIE、MPIIFaceGaze 等数据集上取得 SOTA。

ESC: Erasing Space Concept for Knowledge Deletion

提出 ESC(Erasing Space Concept),通过 SVD 分解待遗忘数据的特征空间并移除主成分方向,实现训练无关的特征级知识删除,首次定义了"知识删除"(Knowledge Deletion)任务并提出 Knowledge Retention Score 评估特征级遗忘效果。

Exploring Timeline Control for Facial Motion Generation

本文首次提出面部动作生成的时间线控制方式——用户指定多轨道时间轴上各面部动作的精确帧区间,通过TICC时序聚类实现省力的帧级面部动作标注,并设计base-branch扩散模型在解耦各面部区域的同时保留自然耦合,生成精确对齐时间线且自然流畅的面部动作。

FATE: Full-head Gaussian Avatar with Textural Editing from Monocular Video

提出 FATE,从单目视频重建可动画化的全头高斯化身,通过基于采样的密化策略(替代阈值分裂)、神经烘焙(将离散高斯转为连续UV纹理图以支持编辑)和通用补全框架(合成后脑外观),实现仅 49K 高斯即达到 28.37dB PSNR 的高效高质量重建。

Few-Shot Personalized Scanpath Prediction

提出少样本个性化扫视路径预测(FS-PSP)任务 和 Subject-Embedding Network(SE-Net),通过将主体嵌入学习与扫视路径预测解耦,仅需 1-10 张图像的注视数据即可适配新用户,在 OSIE、COCO-FreeView、COCO-Search18 三个数据集上 ScanMatch 指标超越第二名 5.9%-7.9%,且适配时间仅 3.6 秒、无需微调。

FreeCloth: Free-Form Generation Enhances Challenging Clothed Human Modeling

提出 FreeCloth 混合框架,将人体表面分为"裸露/变形/生成"三类区域,对贴身衣物用 LBS 变形、对宽松服装(裙子、长裙)用无 LBS 约束的自由形态生成器建模,在 ReSynth 数据集上取得 SOTA,尤其在宽松服装场景下大幅超越现有方法。

FreeUV: Ground-Truth-Free Realistic Facial UV Texture Recovery via Cross-Assembly

FreeUV 提出了一种不需要 ground-truth UV 纹理数据的面部 UV 纹理恢复框架,通过分别训练关注真实外观的 UV-to-2D 网络和关注结构一致性的 2D-to-UV 网络,在推理时将两者的 UV 相关模块跨装配(Cross-Assembly)到预训练 Stable Diffusion 中,实现高保真的 UV-to-UV 纹理生成。

FSboard: Over 3 Million Characters of ASL Fingerspelling Collected via Smartphones

发布 FSboard——迄今最大的 ASL 指拼(fingerspelling)识别数据集(320万字符、266小时视频、147位聋人签名者用智能手机自拍录制),聚焦手机文字输入场景,基线模型用 MediaPipe + ByT5 达到 11.1% CER,为指拼作为手机输入方式提供了坚实的数据基础。

GA3CE: Unconstrained 3D Gaze Estimation with Gaze-Aware 3D Context Encoding

提出 GA3CE 方法,通过将主体 3D 姿态和场景物体位置编码到以主体为中心的自我中心空间中,并设计方向-距离分解的 D3 位置编码,在 Transformer 中学习 3D 注视方向与场景上下文的空间关系,在无约束设置下将 3D 注视角度误差降低 13%–37%。

GaussianIP: Identity-Preserving Realistic 3D Human Generation via Human-Centric Diffusion Prior

提出 GaussianIP 两阶段框架,通过自适应人体蒸馏采样(AHDS)从人体中心扩散模型高效生成身份一致的 3D 高斯人体,再通过视角一致性精炼(VCR)机制利用 mutual attention 增强面部和服饰纹理细节,在 40 分钟内完成训练并显著优于现有方法。

HiPART: Hierarchical Pose AutoRegressive Transformer for Occluded 3D Human Pose Estimation

HiPART 提出从稀疏 2D 姿态(17 关节)生成层次化稠密 2D 姿态(48→96 关节)的自回归生成方案,用丰富的骨架上下文替代复杂的时序/视觉编码器来解决遮挡问题,在单帧 3D HPE 上达到 SOTA 且超越多数多帧方法,同时参数量和计算量更小。

Homogeneous Dynamics Space for Heterogeneous Humans

本文提出 HDyS(Homogeneous Dynamics Space),通过聚合来自生物力学和强化学习的异构人体运动数据,训练一个同构潜空间来统一不同运动学和动力学表征,实现了从运动学到动力学的高质量双向映射,并在逆动力学估计、地面反力预测等下游任务上展现了有效性。

HSEmotion Team at ABAW-10 Competition: Facial Expression Recognition, Valence-Arousal Estimation, Action Unit Detection and Fine-Grained Violence Classification

HSEmotion 团队在 ABAW-10 竞赛中提出了一个轻量级 pipeline:用预训练 EfficientNet 提取面部 embedding,结合 MLP + GLA(Generalized Logit Adjustment)+ 滑窗平滑,在四项任务(EXPR/VA/AU/VD)上均大幅超过官方 baseline,其中暴力检测任务使用 ConvNeXt-T + TCN 达到 0.783 macro F1。

KeyFace: Expressive Audio-Driven Facial Animation for Long Sequences via KeyFrame Interpolation

KeyFace 提出一个两阶段扩散框架——先以低帧率生成捕捉关键表情的锚帧,再通过插值模型填充中间帧——解决了现有音频驱动面部动画方法在长序列中身份漂移和质量退化的问题,同时首次支持连续情感(valence/arousal)建模和多种非语音发声 (NSV) 的动画生成。

Lost in Translation, Found in Context: Sign Language Translation with Contextual Cues

通过引入背景视频描述、历史翻译和伪词汇表三种上下文线索,结合Llama3-8B的LoRA微调,实现了连续手语到文本的精确翻译,在BOBSL数据集上相比SOTA提升40%以上。

MotionMap: Representing Multimodality in Human Pose Forecasting

提出MotionMap——用热力图表示运动空间分布的新范式,通过t-SNE降维+codebook实现可变数量模式预测和置信度量化,以最少采样实现最佳模式覆盖。

MotionReFit: Dynamic Motion Blending for Versatile Motion Editing

提出 MotionReFit,首个通用文本引导动作编辑框架,通过 MotionCutMix 数据增强和自回归扩散模型+运动协调器,同时支持空间和时序编辑,无需额外规格说明或 LLM。

NBAvatar: Neural Billboards Avatars with Realistic Hand-Face Interaction

NBAvatar 提出 Neural Billboard 原语——将可学习平面几何原语与神经纹理延迟渲染结合,实现手脸交互场景下的照片级真实头部 avatar 渲染,在百万像素分辨率下 LPIPS 比 Gaussian 方法降低 30%。

Omni-ID: Holistic Identity Representation Designed for Generative Tasks

Omni-ID 提出了一种专为生成任务设计的全息人脸身份表征,通过 few-to-many 身份重建训练范式和多解码器目标(Masked Transformer + Flow Matching),将不定数量的输入图像编码为固定大小的结构化表征,在可控人脸生成和个性化 T2I 任务中显著超越 ArcFace 和 CLIP。

One2Any: One-Reference 6D Pose Estimation for Any Object

提出 One2Any,仅需单张参考图像即可估计任意新物体的 6D 位姿——用参考物体坐标(ROC,以参考相机帧为基准而非规范坐标)编码参考姿态,通过 VQVAE+U-Net 条件生成密集 ROC 图,再用 Umeyama 算法恢复位姿,在 YCB-Video 上 93.7% ADD-S AUC,推理仅 0.09 秒。

Optimal Transport-Guided Source-Free Adaptation for Face Anti-Spoofing

提出 OTA 框架:训练阶段学习原型表示编码源域分布,测试阶段通过最优传输(OT)在不访问源模型参数和训练数据的前提下,以 training-free 或轻量训练方式将原型迁移到目标域,同时提出 geodesic mixup 数据增强改善低数据场景的分类器学习。

PersonaBooth: Personalized Text-to-Motion Generation

定义 Motion Personalization 新任务,提出 PersonaBooth 多模态微调方法和 PerMo 大规模动作个性数据集,通过 persona token、对比学习和上下文感知融合,从几个基础动作中捕捉个人独特运动风格并生成文本驱动的个性化动作。

PhysMoDPO: Physically-Plausible Humanoid Motion with Preference Optimization

提出 PhysMoDPO,将 Direct Preference Optimization 应用于文本驱动的人体运动生成,通过将全身控制器(WBC)集成到训练 pipeline 中计算基于物理的奖励来构造偏好数据,使生成运动同时满足物理约束和文本指令,并在 Unitree G1 机器人上实现零样本部署。

Pose Priors from Language Models

提出 ProsePose 框架,利用大型多模态模型 (LMM, 如 GPT-4V) 作为接触先验,从图像中提取身体部位接触约束并转化为可优化的损失函数,在无需人工接触标注的情况下改善双人交互和自接触场景的 3D 姿态估计。

Probabilistic Prompt Distribution Learning for Animal Pose Estimation

提出 PPAP(Probabilistic Prompt for Animal Pose),一种基于概率提示分布学习的多物种动物姿态估计方法,通过为每个关键点构建多个可学习属性提示并建模为高斯分布,结合多样性损失和跨模态融合策略,在有监督和零样本设置下均达到 SOTA。

Quaffure: Real-Time Quasi-Static Neural Hair Simulation

Quaffure 提出首个基于物理自监督的实时准静态头发仿真方法,通过将头发形变分解为刚性姿态变换和学习到的修正,使用改进的 Cosserat 弹性能量作为自监督损失训练 CNN 解码器,在消费级硬件上仅需几毫秒即可为不同发型、体型和姿态预测物理合理的头发悬垂效果。

Recurrent Feature Mining and Keypoint Mixup Padding for Category-Agnostic Pose Estimation

提出 FMMP 框架,通过基于可变形注意力的循环挖掘细粒度结构感知(FGSA)特征 + 关键点 Mixup 填充策略,在类别无关姿态估计(CAPE)上大幅超越 SOTA(+3.2% [email protected])。

Remote Photoplethysmography in Real-World and Extreme Lighting Scenarios

提出首个面向真实户外极端光照场景的 rPPG 端到端视频 Transformer 模型,通过全局干扰共享、背景参考解耦和生物先验约束,仅基于 RGB 摄像头实现鲁棒的生理信号提取。

RUBIK: A Structured Benchmark for Image Matching across Geometric Challenges

RUBIK提出了一个基于nuScenes数据集的结构化图像匹配基准,通过重叠度、尺度比和视角差三个互补的几何难度准则将16.5K图像对组织成33个难度等级,系统评估了14种方法后发现最好的detector-free方法(DUSt3R)也仅在54.8%的图像对上成功,暴露了当前方法在极端几何条件下的严重不足。

SemGeoMo: Dynamic Contextual Human Motion Generation with Semantic and Geometric Guidance

提出SemGeoMo,通过LLM自动标注器提供语义引导并结合affordance-level和joint-level的层级几何引导,在两阶段框架中实现动态上下文环境下的高质量人体交互运动生成,同时输出对应文本描述。

Shape My Moves: Text-Driven Shape-Aware Synthesis of Human Motions

本文提出 ShapeMove 框架,通过 Shape-Aware FSQ-VAE 将连续体型信息注入离散量化的动作 token,并利用预训练语言模型同时预测体型参数和动作 token,实现了首个从自然语言描述端到端生成体型感知动作的方法。

ShowMak3r++: Compositional Entertainment Video Reconstruction

本文提出 ShowMak3r++,一个从电视节目和网络视频重建动态辐射场的组合式管线,核心创新包括基于深度先验的时空定位模块、跨镜头演员关联的 ShotMatcher,以及隐式人脸拟合网络,支持演员重定位、插入、删除等后制编辑应用。

SimMotionEdit: Text-Based Human Motion Editing with Motion Similarity Prediction

提出 SimMotionEdit,引入运动相似度预测作为辅助任务,配合 Condition Transformer + Diffusion Transformer 双模块架构,在 MotionFix 数据集上实现文本驱动 3D 人体动作编辑的 SOTA 性能。

SocialGesture: Delving into Multi-Person Gesture Understanding

SocialGesture 是首个专注于多人社交场景下指示性手势(pointing/showing/giving/reaching)的大规模数据集,涵盖 9889 个视频片段和 42533 个手势实例,同时提出了时序定位、分类识别和 VQA 三类基准任务,系统揭示了当前模型在多人手势理解上的严重不足。

Stochastic Human Motion Prediction with Memory of Action Transition and Action Characteristic

本文针对动作驱动的随机人体运动预测中动作过渡不平滑和动作特征难以学习两大挑战,提出软过渡动作库(STAB)和动作特征库(ACB)两个记忆模块,配合自适应注意力调整(AAA)策略进行特征融合,在 GRAB、NTU、BABEL、HumanAct12 四个数据集上达到 SOTA。

Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach

本文提出面向视频级矛盾/犹豫(A/H)识别的多模态方法,整合场景(VideoMAE)、面部(EmotionEfficientNetB0)、音频(EmotionWav2Vec2.0+Mamba)和文本(EmotionDistilRoBERTa)四种模态,通过原型增强的 Transformer 融合模型实现 83.25% 平均 MF1,最终以五模型集成在测试集达到 71.43%。

Two by Two: Learning Multi-Task Pairwise Objects Assembly for Generalizable Robot Manipulation

本文提出了 2BY2 数据集——首个大规模日常成对物体组装数据集(18类任务、517对物体),并设计了一种两步式 SE(3) 位姿估计网络,利用等变特征实现多任务物体配对组装,在所有任务上达到 SOTA,并通过真实机器人实验验证了泛化能力。

Two is Better than One: Efficient Ensemble Defense for Robust and Compact Models

提出 EED(Efficient Ensemble Defense),从单个基础模型通过不同剪枝策略(NIS/ERM/ASE/BNSF)生成多个子模型并动态集成——在 80% 稀疏度下 CIFAR-10 PGD 鲁棒准确率 55.71%(接近未压缩基线),推理加速 1.86 倍。

UniPose: A Unified Multimodal Framework for Human Pose Comprehension, Generation and Editing

UniPose 提出首个统一的多模态框架,利用 LLM 将 3D 人体姿态离散化为 pose tokens 并与文本 tokens 共享词表,通过混合视觉编码器和混合注意力机制实现了跨图像、文本和 3D SMPL 姿态的七个核心姿态任务(理解、生成和编辑)的统一建模。

UNOPose: Unseen Object Pose Estimation with an Unposed RGB-D Reference Image

提出 UNOPose 方法和基准,仅使用单张无位姿的 RGB-D 参考图像即可估计未知物体的 6DoF 相对位姿,通过 \(SE(3)\) 不变参考坐标系和重叠感知匹配实现了与依赖 CAD 模型方法相当的性能。

VI3NR: Variance Informed Initialization for Implicit Neural Representations

推导了适用于任意激活函数的隐式神经表示(INR)初始化方法 VI3NR,将 Xavier/Kaiming 初始化推广到 Gaussian/Sinc 等非标准激活——通过控制前向和反向传播的方差一致性,用一个自由度 \(\sigma_p^2\) 同时满足两个方向的稳定性,显著改善 INR 的收敛速度和重建质量。

WildAvatar: Learning In-the-Wild 3D Avatars from the Web

提出自动化标注管线和过滤协议,从 YouTube 视频中构建了 WildAvatar——一个包含 10,000+ 人体对象的大规模野外 3D avatar 创建数据集,规模比此前数据集大 10 倍以上,并在 EMDB 基准上超越现有 SMPL 标注方法。

X-Dyna: Expressive Dynamic Human Image Animation

X-Dyna提出了一种基于扩散模型的零样本人体图像动画管线,通过轻量级Dynamics-Adapter模块在保持外观一致性的同时生成逼真的人体和场景动态效果,并引入S-Face ControlNet实现身份解耦的面部表情迁移。

ChatGarment: Garment Estimation, Generation and Editing via Large Language Models

ControlFace: Harnessing Facial Parametric Control for Face Rigging

提出 ControlFace,利用双分支 U-Net(FaceNet + 去噪 U-Net)结合 3DMM 渲染条件,实现无需微调即可灵活编辑人脸姿态、表情和光照,同时精确保留身份和语义细节。

CRISP: Object Pose and Shape Estimation with Test-Time Adaptation

提出 CRISP,一个类别无关的物体姿态与形状估计 pipeline,核心创新在于基于 active shape model 的优化校正器和 correct-and-certify 自训练策略,可在测试时自适应弥合大的域差距。

CryptoFace: End-to-End Encrypted Face Recognition

提出 CryptoFace,首个端到端全同态加密(FHE)人脸识别系统,通过混合浅层 patch CNN 架构(CryptoFaceNet)大幅降低乘法深度,实现比 SOTA FHE 网络快 7 倍的加密推理,同时提升验证精度。

3D Gaussian Head Avatars with Expressive Dynamic Appearances by Compact Tensorial Representations

提出一种紧凑张量表示的3D高斯头部头像方法——用三平面存储中性表情的静态外观,用轻量1D特征线存储每个blendshape的动态纹理(不透明度偏移),仅需10MB存储即可实现300FPS实时渲染和准确的动态面部细节捕捉,在Nersemble数据集上PSNR和存储效率全面超越GA、GBS和GHA。

AniGS: Animatable Gaussian Avatar from a Single Image with Inconsistent Gaussian Reconstruction

从单张图像生成可动画 3D 人体——先用适配的 CogVideo 生成多视角标准姿态图像(含法线),再将多视角不一致性建模为 4DGS 中的时序变化来提取一致的 canonical 空间高斯模型,最后通过 SMPL-X 蒙皮驱动动画。

BLADE: Single-view Body Mesh Learning through Accurate Depth Estimation

提出BLADE方法,通过准确估计人体骨盆Z方向深度\(T_z\)来解耦透视投影参数,再用\(T_z\)-aware的姿态估计器恢复人体网格,最后通过可微分光栅化求解焦距和XY平移,首次在不依赖正交相机启发式假设的情况下实现了从单张图像准确恢复透视投影参数和人体3D Mesh。

DAGSM: Disentangled Avatar Generation with GS-enhanced Mesh

提出 DAGSM,一种文本驱动的解耦数字人生成方法,通过 GS-enhanced Mesh(GSM)分别表示人体和各件衣物,支持换装、真实动画和纹理编辑。

DiffPortrait360: Consistent Portrait Diffusion for 360° View Synthesis

提出首个能从单张肖像生成一致的 360° 全头部视角的方法,通过双外观控制模块、背视图生成 ControlNet 和连续视角序列训练策略,支持真人、风格化和拟人化角色,并可转化为高质量 NeRF 进行实时自由视角渲染。

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

Disco4D 提出将服装(用 Gaussian 模型表示)与人体(用 SMPL-X 模型表示)解耦的 4D 人体生成框架,从单张图像生成可动画、可编辑、分层的3D穿衣人体模型,并支持逼真的4D服装动力学。

Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera

Dyn-HaMR 提出首个从动态相机单目视频中恢复双手 4D 全局运动轨迹的优化框架,通过三阶段流水线(层级初始化 → SLAM 引导全局运动优化 → 交互运动先验优化)解耦相机运动与手部运动,在多个数据集上大幅超越现有方法。

EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision

EgoPressure 提出首个第一人称视角的手部触觉压力和姿态数据集,包含 21 名参与者 5 小时的 RGB-D 交互数据、基于多视角优化的高保真 MANO 手部网格标注和压力传感器的真实压力映射,并建立了从 RGB 图像估计手部压力和姿态的基准模型。

End-to-End HOI Reconstruction Transformer with Graph-based Encoding

提出 HOI-TG 框架,用 Transformer 的自注意力机制隐式学习人物交互关系,并在编码器中嵌入图残差模块分别增强人体和物体的拓扑结构建模,在 BEHAVE 和 InterCap 数据集上实现 SOTA 的 HOI 三维重建。

Estimating Body and Hand Motion in an Ego-sensed World

EgoAllo 提出了一种从头戴设备的自中心 SLAM 位姿和图像估计佩戴者全身姿态、身高和手部参数的系统,通过设计满足空间和时间不变性的头部运动条件化参数,将人体运动估计误差降低高达 18%,并利用运动学约束将手部世界坐标误差降低 40%。

FFaceNeRF: Few-Shot Face Editing in Neural Radiance Fields

提出 FFaceNeRF,一种基于 NeRF 的面部编辑方法,通过几何适配器(geometry adapter)+ 三平面特征注入 + 潜码混合增强(LMTA),仅需 10 张标注样本即可适配到任意自定义分割 mask 布局,实现灵活的 3D 感知面部编辑。

GASP: Gaussian Avatars with Synthetic Priors

提出 GASP,利用合成数据训练 Gaussian Avatar 的生成式先验模型(auto-decoder),通过三阶段拟合过程和学到的 per-Gaussian 语义特征关联来跨越合成-真实域差距,仅从单张图片或短视频即可创建支持 360° 渲染的高质量实时可动画头像(70fps)。

Gaussian Eigen Models for Human Heads

提出 Gaussian Eigen Models (GEM),通过 PCA 将高质量 CNN-based Gaussian Avatar 蒸馏为轻量级线性特征基表示,仅需低维系数的线性组合即可生成面部动画,实现高质量、超轻量(7MB起)和超快速(200+ fps)的可动画头像,并支持从单目视频的实时跨人表情驱动。

Guiding Human-Object Interactions with Rich Geometry and Relations

本文提出ROG框架,通过在物体网格上采样富含几何信息的关键点构建交互距离场(IDF),并利用基于扩散的关系模型在推理时引导运动生成模型产生关系感知且语义对齐的人物-物体交互动作,在FullBodyManipulation数据集上显著超越SOTA。

HandOS: 3D Hand Reconstruction in One Stage

HandOS 提出了一个端到端的单阶段3D手部重建框架,通过冻结预训练检测器并引入交互式2D-3D解码器,将手部检测、2D姿态估计和3D mesh重建统一到一个pipeline中,消除了传统多阶段方法的冗余计算和累积误差,在 FreiHand 上达到 5.0 PA-MPJPE 的 SOTA 性能。

HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos

HaWoR 首次实现了从第一人称视频重建世界坐标系下的3D手部运动,通过将任务解耦为相机空间手部重建 + 自适应SLAM相机轨迹估计,并引入运动补全网络处理手部出视野的情况,在 HOT3D 数据集上取得 SOTA 的全局轨迹精度(ATE 3.36mm)和手部重建质量(PA-MPJPE 4.79mm)。

HeatFormer: A Neural Optimizer for Multiview Human Mesh Recovery

提出HeatFormer——一种基于Transformer的神经优化器,通过将SMPL参数估计转化为热力图生成与对齐问题,实现对多视角图像中人体形状和姿态的迭代优化恢复,在Human3.6M上达到29.5mm MPJPE的SOTA精度,且对视角数量、相机配置和遮挡具有强鲁棒性。

HOI3DGen: Generating High-Quality Human-Object-Interactions in 3D

提出 HOI3DGen 框架,通过MLLM自动标注高质量交互数据 + 视角条件化微调扩散模型 + 3D提升与SMPL配准,首次实现从文本精确控制接触语义的高质量3D人物交互生成,在文本一致性上超越基线4-15倍。

HOT3D: Hand and Object Tracking in 3D from Egocentric Multi-View Videos

Meta 发布 HOT3D,首个基于真实头戴设备(Project Aria + Quest 3)的大规模自中心多视角手物交互数据集,包含 833 分钟 370 万+图像、19 名受试者与 33 个物体的交互,并通过实验证明多视角方法在 3D 手部追踪、6DoF 物体位姿估计等任务上显著优于单视角方法。

HRAvatar: High-Quality and Relightable Gaussian Head Avatar

HRAvatar 提出了一种基于3DGS的单目视频头部重建方法,通过可学习blendshapes和LBS实现灵活变形,结合端到端表情编码器减少追踪误差,并引入物理渲染模型实现高质量实时重光照。

InteractVLM: 3D Interaction Reasoning from 2D Foundational Models

InteractVLM 利用大规模视觉语言模型(VLM)的广泛视觉知识,通过"渲染-定位-提升"(Render-Localize-Lift)框架将2D基础模型的推理能力迁移到3D空间,实现了从单张野外图像估计人体和物体3D接触点,并用于人物交互联合重建,在接触估计任务上F1分数提升20.6%。

LUCAS: Layered Universal Codec Avatars

提出 LUCAS,首个将人脸和头发解耦为分层 mesh 的通用先验 Avatar 模型,通过共享表情编码 + 独立解码实现自然的面部-头发交互,同时支持实时 mesh 渲染(45 FPS mobile)和高保真 Gaussian 渲染,在跨身份零样本驱动中达到 SOTA。

MEGA: Masked Generative Autoencoder for Human Mesh Recovery

MEGA 提出了一种基于遮掩生成建模的人体网格恢复方法,通过将人体 mesh 离散化为 token 序列,在自监督预训练后进行图像条件生成,同时支持确定性单次预测和随机多输出生成模式,在两种模式下均达到 SOTA 性能。

MGGTalk: Monocular and Generalizable Gaussian Talking Head Animation

提出MGGTalk框架,仅用单目数据集训练即可泛化到未见身份,核心思路是利用深度估计和面部对称先验来弥补单目数据中几何与外观信息的不完整性,实现基于3DGS的高质量说话头动画。

MotionPRO: Exploring the Role of Pressure in Human MoCap and Beyond

构建大规模压力-RGB-光学动捕数据集 MotionPRO(70人/400类动作/12.4M帧),并提出 FRAPPE 基线将压力信号与单目 RGB 融合,显著提升全身姿态估计的物理合理性和全局轨迹精度,进一步将压力先验扩展至人形机器人驱动。

On Denoising Walking Videos for Gait Recognition

提出 DenoisingGait,结合"知识驱动去噪"(利用生成式扩散模型在特定 timestep 下滤除步态无关信息)和"几何驱动去噪"(Feature Matching 模块将多通道扩散特征压缩为二维方向向量),生成全新的 Gait Feature Field 表示,在多个 RGB 步态数据集上取得 SOTA。

PERSE: Personalized 3D Generative Avatars from A Single Portrait

PERSE 从单张肖像照出发,通过合成大规模面部属性编辑视频数据集并训练基于 3DGS 的生成式头像模型,实现了在连续可解耦的潜在空间中对面部属性进行平滑插值编辑,同时保持个体身份一致性。

PICO: Reconstructing 3D People In Contact with Objects

PICO 提出了一个包含数据集 (PICO-db) 和拟合方法 (PICO-fit) 的完整框架,通过建立人体与物体之间的稠密双射接触对应关系,从单张自然图像中恢复逼真的 3D 人-物交互场景,支持任意物体类别。

PromptHMR: Promptable Human Mesh Recovery

PromptHMR 提出了一种基于 Transformer 的可提示式人体姿态与形状估计方法,通过空间提示(边界框、分割掩码)和语义提示(语言描述、交互标签)灵活引导全图 3D 人体重建,在多个基准上达到 SOTA 并支持视频版的世界坐标运动估计。

Reconstructing Close Human Interaction with Appearance and Proxemics Reasoning

本文提出一个双分支优化框架,通过结合人体外观(3D Gaussian Splatting)约束、社会距离学(proxemics)扩散先验和物理约束,从单目野外视频中重建紧密人体交互的准确 3D 姿态、自然交互关系和合理身体接触,在 Hi4D 和 3DPW 上达到 SOTA。

Reconstructing Humans with a Biomechanically Accurate Skeleton

HSMR 首次实现从单张图像估计生物力学准确的骨骼模型(SKEL)参数,通过伪标签迭代精炼策略解决无真值训练数据的困难,在标准人体姿态估计基准上匹配 HMR2.0 的性能,在极端姿态场景(MOYO 瑜伽数据集)上 MPJPE 大幅领先超过 18mm,同时有效避免不自然的关节旋转。

SAT-HMR: Real-Time Multi-Person 3D Mesh Estimation via Scale-Adaptive Tokens

提出 SAT-HMR,一种基于 DETR 的实时多人 3D 人体网格估计框架,通过引入尺度自适应 token——对小尺度人物使用高分辨率 token、大尺度人物使用低分辨率 token、背景 token 进行池化压缩——在保持高分辨率输入精度的同时将推理速度提升至 24 FPS,实现了精度和速度的最佳平衡。

SimAvatar: Simulation-Ready Avatars with Layered Hair and Clothing

SimAvatar提出首个完全仿真就绪的文本驱动3D虚拟人生成框架,通过将身体、服装和头发分层表示为SMPL网格、服装网格和发丝,并在其上附着3D高斯学习外观,既能利用扩散模型先验获得逼真纹理,又能直接接入物理/神经模拟器产生真实的动态效果。

Synthetic Prior for Few-Shot Drivable Head Avatar Inversion

SynShot 提出用大规模合成头部数据训练生成式 3D 高斯先验模型,仅需 3 张真实图像即可通过 pivotal fine-tuning 反演出可驱动的高保真头部虚拟人,显著优于单目和 GAN 方法。

Towards High-fidelity 3D Talking Avatar with Personalized Dynamic Texture

提出TexTalk4D数据集(100分钟扫描级8K动态纹理)和TexTalker框架,首次实现从语音同时生成面部运动和对应的动态纹理(皱纹变化),并通过基于风格锚点(style pivot)的注入策略实现解耦的运动/纹理风格控制。

Vid2Avatar-Pro: Authentic Avatar from Videos in the Wild via Universal Prior

提出Vid2Avatar-Pro,利用从千人级多视角穿衣人体动态捕捉数据中学习的通用先验模型(UPM),从单目野外视频创建照片级逼真且可动画化的3D人体头像,在新视角/新姿态合成上大幅超越现有方法。