🧑 人体理解¶
🎞️ ECCV2026 · 120 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (1) · 📷 CVPR2026 (151) · 🔬 ICLR2026 (45) · 🧪 ICML2026 (5) · 🤖 AAAI2026 (20) · 🧠 NeurIPS2025 (21)
🔥 高频主题: 人脸/视线 ×17 · 人体姿态 ×13 · 扩散模型 ×12 · 虚拟人 ×10 · 翻译 ×7
- FlowerDance: MeanFlow for Efficient and Refined 3D Dance Generation
-
FlowerDance 将 MeanFlow(用区间平均速度替代瞬时速度预测的流匹配变体)与物理一致性约束、双向 Mamba 骨干和通道级跨模态融合相结合,仅需 5-20 步采样即可生成高质量的 3D 舞蹈,在 FineDance 和 AIST++ 上达到 SOTA 的同时推理速度(2008 FPS)远超此前最佳方法(MatchDance 345 FPS),为实时 3D 渲染留出充足算力空间。
- ReMoMask: Retrieval-Augmented Masked Motion Generation
-
ReMoMask 让动作检索、训练掩码和生成时的证据融合共享身体结构,通过 HBM、TSM 与 SSTA 改善文本到动作生成,在 HumanML3D 主实验中取得 FID 0.026 和 R-Precision Top-1 0.566。
- Human Mesh Modeling for Anny Body
-
Anny 将 MakeHuman 的人工形变资产改造为可微、无需扫描数据学习体型空间的人体模型,再用 WHO 统计校准采样并生成 780k 张 Anny-One 图像,在保持成人扫描毫米级拟合能力的同时改善儿童人体网格恢复。
- RoboMirror: Understand Before You Imitate for Video to Humanoid Locomotion
-
RoboMirror 先把视频语义生成式地重建为运动潜变量,再通过经过物理仿真蒸馏的扩散策略输出机器人动作,在 Motion-X 的姿态驱动对比中将整条流程耗时从 9.22 秒降至 1.84 秒,同时将成功率从 0.94 提高到 0.95。
- Forge4D: Feed-Forward 4D Human Reconstruction and Interpolation from Uncalibrated Sparse-View Videos
-
Forge4D将动态人体与交互物体的重建拆成尺度一致的流式3D高斯预测和双向稠密运动匹配,再通过遮挡感知融合生成中间时刻;在DNA-Rendering的新时刻与新视角联合评测中达到29.0378 dB PSNR,无需输入相机标定参数。
- VersatileMotion: A Unified Framework for Motion Synthesis and Comprehension
-
VersatileMotion 通过保留世界坐标的因果人体分词器 VerMoVQ,把文本、音频和多人动作组织为统一的下一 token 预测问题,在同一个模型中覆盖九项动作任务,并在作者评测协议下取得有竞争力的生成与理解结果。
- Fast Sam 3D Body: Accelerating SAM 3D Body for Real-Time Full-Body Human Mesh Recovery
-
Fast SAM 3D Body 在冻结 SAM 3D Body 权重的前提下重排身体与手部的计算依赖、精简解码,再用单独训练的 MLP 加速 MHR 到 SMPL 的转换,使人体重建更接近交互速度,但收益必须连同数据集、硬件和精度变化一起理解。
- ECHO: Ego-centric Modeling of Human-Object Interactions
-
ECHO 将人体动作、物体轨迹与接触作为相互约束的扩散变量,在已知物体几何的前提下从头部和双腕追踪恢复完整交互,并通过混合动作数据训练与平滑修补,在 BEHAVE 上实现 6.8±0.1 cm 的人体 MPJPE 和 33.5±0.5 cm 的物体顶点误差。
- ActionPlan: Future-Aware Streaming Motion Synthesis via Frame-Level Action Planning
-
ActionPlan 先生成与时间轴对齐的动作语义计划,再通过逐潜变量噪声调度重叠生成 3D 人体动作,使同一模型兼顾离线质量与流式输出,在 HumanML3D-272 测试集上将流式 FID 从 MotionStreamer 的 11.790 降至 5.735。
- UniMotion: A Unified Framework for Motion-Text-Vision Understanding and Generation
-
UniMotion 把人体运动当作与 RGB 平权的连续模态塞进一个共享 LLM,用连续运动 VAE(CMA-VAE)+ 双路 embedder 替代离散 token,配合双后验 KL 对齐(DPA)注入视觉语义先验、潜空间重建对齐(LRA)解决运动通路冷启动,在 Motion-Text-RGB 三模态的理解、生成、编辑七个任务上做到统一并全面 SOTA。
- CLIP-AUTT: Test-Time Personalization with Action Unit Prompting for Fine-Grained Video Emotion Recognition
-
CLIP-AUTT 先用动作单元文本与视频的相似度学习表情分类,再在未见受试者的视频中选取最低预测熵的连续片段、仅更新动作单元提示嵌入,使 BioVid 的 WAR 从不做个性化的 CLIP-AU 的 78.0 提升到 81.5。
- DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints
-
DETRPose 把 D-FINE 的实时检测架构搬到多人 2D 姿态估计上,用基于关键点相似度(KS,即 COCO 的 OKS)的去噪关键点策略、KSVF 损失和轻量 Pose-LQE 分类头改造 GroupPose 解码器,得到首个端到端实时 Transformer 姿态模型:COCO val 上 DETRPose-X 达 73.3 AP,DETRPose-L 在 test-dev 上 71.2 AP / 4.66 ms,比 GroupPose-R50 快一个数量级以上且少 37% 参数。
- FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding
-
FEEL 把自制压阻手套与 Meta Aria 眼镜同步起来,采集了约 22 小时、约 200 万帧真实厨房场景中的第一人称「视频 + 音频 + 力」数据;作者进一步证明力信号有两重用法——既能量化地导出比人工标注更锐利的逐帧接触标签(据此训练的模型在三个接触 benchmark 上领先或接近全监督方法),也能当作视频主干的自监督预训练目标,在 EPIC-Kitchens、Something-Something V2、Ego-Exo4D、Meccano 上提升动作识别的迁移性能。
- IRG-MotionLLM: Interleaving Motion Generation, Assessment and Refinement for Text-to-Motion Generation
-
IRG-MotionLLM 将生成动作本身纳入“生成、评估、修正”的交错推理闭环,以三阶段训练改善文本动作对齐,在 HumanML3D 上将所用 MotionLLM 基线的 R-Precision Top-1 从 0.496 提升至 0.535,但最终强化学习模型的 FID 并非同步改善。
- Purify then Guide: Rethinking Domain Generalization for Multimodal Face Anti-Spoofing
-
本文把多模态领域泛化人脸活体检测(FAS)重新表述为「先纯化、再引导」:先用同域跨样本的差分注意力 MD2A 减掉融合特征里与域/模态相关的公共残差,再把纯化后的 RGB/IR/DEPTH 特征软对齐到 CLIP 文本定义的 real/spoof 子空间(RS2),并用 U 形双空间适配(U-DSA)在增强任务能力的同时保住预训练几何,在 WMCA/CeFA/PADISI/SURF 上把平均 HTER 从 13.63% 降到 4.00%。
- UMO: Unified In-Context Learning Unlocks Motion Foundation Model Priors
-
UMO 用三种逐帧操作嵌入和输入级时间融合微调 HY-Motion,将单一文本到动作模型扩展为统一的补全、编辑、几何控制及反应生成模型,在 HumanML3D 文本到动作评测中达到 FID 9.460,同时仅增加 0.207M 条件注入参数。
- ClusterStyle: Modeling Intra-Style Diversity with Prototypical Clustering for Stylized Motion Generation
-
ClusterStyle 把一种动作风格拆成多个全局与局部原型,再以独立的风格注意力分支控制预训练动作扩散模型,使同一风格能有不同表现,并在风格化生成中取得 0.708 的文本检索 Top-3 准确率与 78.101% 的风格识别准确率。
- FitControler: Toward Fit-Aware Virtual Try-On
-
FitControler 先去除原衣轮廓暗示,再预测目标版型的人体与服装布局并将中间特征注入冻结的试衣模型,在 Fit4Men 上同时改善版型一致性和图像质量,但并不预测真实尺码或物理舒适度。
- InfiniteDance: Scalable 3D Dance Generation Towards in-the-wild Generalization
-
InfiniteDance 将互联网舞蹈视频转成经过物理与足部修复的 100.69 小时三维动作数据,再用连续嵌入、参考舞蹈检索和节奏混合专家训练 ChoreoLLaMA,在本数据集上将运动学 FID 从 Lodge 的 89.52 降至 30.54,但其真实场景泛化仍受慢音乐评价和长序列结构限制。
- Language-Guided Transformer Tokenizer for Human Motion Generation
-
本文提出 LG-Tok,把自然语言引导从生成阶段前移到分词阶段:用一组可学习隐 token 配合纯 Transformer 分词器/反分词器,在量化之前就把文本语义注入动作表示,并用随机丢弃文本(language-drop)的训练方案避免捷径学习、顺带在动作空间实现无语言引导解码,在 HumanML3D 上把 FID 从 MARDM 的 0.114 降到 0.057。
- OmniFit: Multi-modal 3D Body Fitting via Scale-agnostic Dense Landmark Prediction
-
OmniFit 先从穿衣人体点云直接预测固定语义的稠密身体标志点,再优化 SMPL-X,并用可选 RGB 适配器和尺度预测处理外观补充与尺度歧义,在 4D-DRESS 点云评测中将 V2V 从 ETCH 的 2.408 cm 降至 0.589 cm。
- Silhouette-based Gait Foundation Model
-
FoundationGait 将多源轮廓序列与编码前的部位独立处理结合,使步态模型扩大后仍保留局部互补信息,在 Gait3D 和 OU-MVLP 上分别达到 48.0% 和 64.5% 自监督 Rank-1,并支持健康相关任务的线性探测与微调。
- TripVVT: A Large-Scale Triplet Dataset and a Coarse-Mask Baseline for In-the-Wild Video Virtual Try-On
-
TripVVT 将真实视频反向监督的 10,031 个换装三元组与粗人体掩码条件结合,在 100 例野外评测中达到 91% 的 Gemini-SR,同时暴露了整个人体重绘对非目标区域保持的代价。
- BackTranslation2.0 -- A Linguistically Motivated Metric to Assess Sign Language Production
-
提出 BackTranslation2.0,一个语言学驱动的文本到手语翻译评估指标,通过两阶段智能体框架(10 个专用工具提取证据 + 4 个 LLM 交叉比对模块)在语法正确性、音系准确性、运动流畅度和生成保真度四个维度上给出确定性评分,在已知损坏和合成数据上与人类判断达到 Pearson r=1.00 / Spearman ρ=1.00,远超现有反向翻译和运动相似度基线。
- CMCC-ReID: Cross-Modality Clothing-Change Person Re-Identification
-
本文构建同时包含模态差异和换装变化的 SYSU-CMCC 基准,并用渐进式身份对齐网络 PIA 先解耦身份与服装、再进行双向原型对齐,在可见光到红外检索中取得 57.0% Rank-1 和 46.5% mAP。
- DiffProxy: Multi-View Human Mesh Recovery via Diffusion-Generated Dense Proxies
-
DiffProxy 先用扩散模型从多视角图像生成身体分割与 UV 稠密对应,再通过手部细化、随机采样不确定性和 SMPL-X 重投影拟合恢复人体网格,仅用合成图像训练就在 RICH 上达到 35.1 mm MPVPE,但并非每个数据集的所有指标均最优。
- EmbodiedHead: Real-Time Listening and Speaking Avatar for Conversational Agents
-
EmbodiedHead 用显式听说状态把单流音频转为连续的 FLAME 头部动作,并通过少步 Rectified-Flow DiT 与可微渲染器联合优化,在单张 RTX 3090 上实现包含渲染的 59 FPS,同时减少倾听时的错误张嘴。
- GenLCA: 3D Diffusion for Full-Body Avatars from In-the-Wild Videos
-
GenLCA 将真实视频编码成结构化 3D 高斯令牌,只用可见区域监督扩散模型,在百万级身份数据上学习可由文本和图像控制的全身数字人,兼顾生成质量、编辑能力与面部和身体动画。
- HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching
-
HO-Flow 先把手部运动、物体轨迹和局部接触几何压入时序潜空间,再用带上下文的自回归流匹配生成连续动作,在 GRAB 上将 Phy 从 LatentHOI 的 96.16% 提升至 98.25%,同时将样本多样性 SD 从 0.13 提升至 0.31。
- Infinite Gaze Generation for Videos with Autoregressive Diffusion
-
本文首次把视频注视预测做成「任意长度视频上的原始注视轨迹生成」:给 UNISAL 加一个压缩瓶颈,把逐帧视频刺激压成低维显著性潜变量并每 5 帧注入一次扩散主干,再用最近 90 帧(3 秒)注视坐标当干净历史前缀、以滑动窗口方式自回归去噪未来 45 帧(每秒 30 个采样点的连续 x,y 坐标),在 DIEM 与 DHF1K 上的 Levenshtein、DTW、最大时序相关性均优于 6 个被适配到视频域的图像注视/扫描路径模型(离散 Fréchet 距离除外)。
- JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation
-
JointHOI 把"接触"当作与手物运动同源的内生模态,用一个单阶段扩散模型把双手 MANO 姿态、物体轨迹和左右手逐帧接触距离图拼进同一条序列联合去噪,再在推理时用自生成接触图与运动隐含几何之间的一致性梯度引导采样,从而在 GRAB / ARCTIC 上同时提升动作语义保真度(ARCTIC Top-1 0.948)与物理合理性(穿模体积比 Text2HOI 降一半以上)。
- Mind-to-Face: Neural-Driven Photorealistic Avatar Synthesis via EEG Decoding
-
Mind-to-Face 首次把非侵入式 16 通道 EEG 直接解码成 256×256 的稠密 3D 位置图(约 6.5 万顶点),再驱动绑定在网格面上的 3D 高斯泼溅渲染出保留被试身份与情绪强度的写实面部头像,为此搭建了一套 EEG 与 16 路多视角高速相机帧级同步的双模态采集系统。
- NaP-Control: Navigating Diffusion Prior for Versatile and Fast Character Control
-
NaP-Control 冻结扩散动作先验与动作解码器,只训练一个选择初始噪声的强化学习策略,在物理仿真中兼顾任务完成与动作平滑性,平地远目标成功率达到 98.4%,推理速度为 22.5 FPS。
- OmniFall: From Staged Through Synthetic to Wild, A Unified Multi-Domain Dataset for Robust Fall Detection
-
OmniFall 把 8 个公开的演播室(staged)跌倒数据集按一套临床动机的 16 类 taxonomy 逐帧重标注统一(OF-Staged),再补上 12k 段可控合成视频(OF-Syn)与 818 段真实事故视频(OF-ItW),合成约 15k 段 / 33 小时单视角(含同步多视角相机约 82 小时)的三域 benchmark,首次给出标准化的 staged→wild 评测协议;实验发现微调小模型与零样本 MLLM 在真实跌倒事件上表现相当,但零样本模型会把临床最关键的 fallen(长卧)状态系统性误判为 lying。
- Revisiting Avatar-As-Image: High-Fidelity Registration is All You Need
-
AvaImg 先把裸体模型可靠地放进衣服内部,再逐步拟合衣物表面并展开为统一 UV 图像,在主比较中达到 2.62 mm 表面 Chamfer 和 34.48 dB 纹理渲染 PSNR,并验证冻结 FLUX VAE 往返仅增加 0.76 mm 几何误差。
- SignBind-LLM: Multi-Stage Modality Fusion for Sign Language Translation
-
SignBind-LLM 把连续手语识别、指语识别与唇读拆成三路各自独立用 CTC 预训练的专家,用 Gumbel-Softmax 动态路由把视频片段分派给对应的手动专家,再以「门控聚合 + 交叉注意力」融合手动与唇读两条异步通道,最后交给一个只用文本对训练、与视觉管线完全解耦的 Flan-T5 解码成通顺英语,在 How2Sign、BOBSL、ChicagoFSWild+ 上分别取得 23.1 BLEU-4、7.0 BLEU-4 与 73.6% 字母准确率。
- SIGNET: Motion-Level Knowledge Transfer for Cross-Language Sign Language Translation
-
SIGNET 提出将多个在大型语料上预训练的手语骨架骨干网络视为冻结核运动视觉专家,通过手部先验驱动的注意力聚合与可学习门控融合实现跨语言运动级知识迁移,仅用 150 万可训练参数即在四个翻译基准和 WLASL 识别基准上取得 SOTA 或可比结果。
- SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning
-
SignSparK 把「稀疏关键帧」当作训练时的硬锚点——先用超轻量分割器 FAST 自动挖出每个手语的起始/中段/结束三帧,再让条件流匹配模型在这些锚点约束下重建整段 3D 手语动作(SMPL-X 上身 + MANO 双手 + FLAME 面部),既压住了逐帧回归的均值化效应,又把推理压到 10 步、比 SOKE 快约 100 倍,并在德、中、美、英四种手语上刷新 SOTA。
- Social-Mamba: Socially-Aware Trajectory Forecasting with State-Space Models
-
Social-Mamba 将无序邻居关系组织成可扫描的社交网格,用 Cycle Mamba 支撑时间、自我和目标三路交互,在 NBA-Full 上以 1.9M 参数获得 0.72/0.92 米 ADE/FDE,但低计算量不等于所有场景下延迟最低。
- StreamTalk: Streaming Co-Speech Gesture Generation with Key-Pose Anchoring
-
StreamTalk 将流式手势生成改成“粗生成、检索尾部关键姿态、重新细化”的片段级闭环,在 BEAT2 上取得单说话人 FGD 0.383、全说话人 FGD 0.293,并以稀疏目标姿态约束减轻分钟级动作漂移。
- WebEyeTrack: Scalable Eye-Tracking for the Browser via On-Device Few-Shot Personalization
-
WebEyeTrack 将单目度量头姿、轻量眼部编码器 BlazeGaze 和端侧少样本个性化结合,以初始 9 点校准支持浏览器眼动追踪,在 GazeCapture 上达到 2.32 cm 注视点误差,但其主要优势是部署效率与抗漂移能力,而非所有数据集上的最高精度。
- ANFI: Rethinking Neighbor Feature Interaction in Person Re-ID
-
ANFI 为行人重识别同时学习邻居的亲和关系与差异关系,并通过噪声关系监督训练逐样本融合机制,在相同骨干特征的 CUHK03 对比中达到 88.1% mAP,比该组最强基线高 1.2 个百分点。
- Conversational Human Audio-visual Talking Dialogue Generation
-
CHAT 把匿名场景提示依次变成对话脚本、带情绪和简短应答的双路语音、彼此响应且衔接平滑的人脸视频,在相关任务基线比较中取得 FID 17.33、LSE-C 6.89,并显示合成对话可改善面部反应模型的预训练。
- Cross-Species Animal Re-Identification with Semantic Consistency Learning
-
针对跨物种动物重识别中解剖结构差异悬殊与野外环境多变导致的特征空间碎片化难题,提出语义一致性学习(SCL)框架,通过前景-背景解耦频谱归一化抑制环境样式并保全结构相位,结合基于动态特征记忆库的互易近邻建模对齐跨物种语义拓扑,在 11 个动物公开基准上显著刷新未见物种的零样本泛化性能。
- D-Rex : Diffusion Rendering for Relightable Expressive Avatars
-
针对传统可重光照全身数字人依赖显式 3D 本征分解导致表情驱动能力受限的痛点,D-Rex 提出将重光照解耦为图像空间后处理,利用白光下训练的全身驱动化身生成类似反照率的渲染图,并借助轻量 LoRA 微调的视频扩散渲染先验实现任意 HDR 环境光下的真实感、视角与时序一致的重光照。
- DiffUE: Enhancing Utility-Unlearnability Trade-off of Unlearnable Examples via Diffusion Autoencoders
-
DiffUE 借助预训练扩散自编码器(DiffAE)将不可学习样本(UE)的防御扰动从传统像素空间映射到解耦的语义隐空间,通过双层最小化优化与定向属性编辑引导,在保留真实图像流形结构与极高感知质量的同时,显著增强抵御对抗训练、频域滤波、强重学习攻击与有损压缩的防御鲁棒性。
- Diversity-Aware View Partitioning for Scalable VGGT
-
针对视觉几何Transformer在长输入序列中因视点冗余导致注意力稀释与显存爆炸的瓶颈,提出一种免训练的即插即用视角划分框架,通过视觉相异度与软位姿传播驱动的均衡图优化构建高多样性子块,使1000帧超长序列在单卡A100上实现显存下降3.8倍、推理加速6.3倍且重建精度更优。
- Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off
-
Dress-ED 构建了首个统一 VTON(虚拟试穿)、VTOFF(虚拟试脱)和文本指令驱动服装编辑的大规模基准数据集(146k 已验证四元组),并提出一套基于 MLLM + 双路径连接器 + DiT 的统一多模态扩散基线模型 Dress-EM,在指令驱动的服装编辑任务上全面超越通用编辑模型和领域专用 VTON 模型。
- DSAR: Dual-Stream Autoregressive Modeling of Temporal Cloth Dynamics for Photorealistic Animatable Avatars
-
针对神经驱动数字人将服装形变简化为骨骼姿态映射而导致动态失真与泛化坍塌的问题,DSAR 提出双流自回归架构,显式结合几何流的前帧表面形变反馈与状态流的历史记忆检索,在仅需多视角图像监督下重建逼真的物理惯性与大幅度分布外动作。
- Event Stream-based Sign Language Translation: A High-Definition Benchmark Dataset and A Novel Baseline
-
针对传统可见光手语翻译易受运动模糊、光照变化及隐私泄露限制的问题,构建了首个 1280×720 高清、大规模真实事件流手语翻译基准数据集 Event-CSL(14,827 个视频),并提出了结合 Mamba 片段级空间记忆聚合与超图引导时空融合(GSTF)的免 Gloss 端到端翻译基线 EvSLT。
- FaceMoE: Mixture of Experts for Low-Resolution Face Recognition
-
FaceMoE 将 Transformer 中单一 FFN 替换为多个稀疏激活的 MoE 专家加 Top-k 路由器,使不同专家自动特化于人脸不同语义区域(高频纹理/低频平滑/关键点),实现分辨率感知的特征提取;在 BRIAR、IJB-S、TinyFace 三个低分辨率基准上全面超越 SOTA,同时几乎不损失 HR 预训练性能。
- Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention
-
本文提出了首个生成式凝视到文本解码框架 Gazette,将传统受限于固定离散类别的视线意图推断拓展为开放词表自然语言生成,并通过 GPT-4 合成多被试跨视角不变的“有声思考记录”作为辅助任务,有效解耦个体行为噪声并精确还原人类自顶向下的认知意图。
- InterCMDM: Block-Causal Diffusion for Autoregressive Human Interaction Generation
-
提出基于块因果潜扩散的双人交互自回归生成框架 InterCMDM,通过双流因果 DiT、多任务块注意力掩码以及纯潜空间分块 Rollout,在无需真值动作前缀的前提下实现了高逼真度、强语义对齐且支持零样本控制交互模式的长时交互动作合成。
- JacobianAvatar: Temporally Consistent Semi-rigid Avatar Reconstruction from a Monocular Video
-
针对单目视频中人体自遮挡与非刚性动态导致的伪影与几何失真,JacobianAvatar 提出分层神经雅可比场建模半刚性形变,并结合带屏蔽项的泊松求解器、SDF法向正则与形变引导残差光流损失,实现了时序高度连贯的高保真可驱动人体化身重建。
- Kirin: Animal Motion Generation from In-the-Wild Video
-
Kirin 将野外视频变成可训练的四足动物三维运动数据,用参考图像补充文本缺失的形态信息,再将生成骨架动作应用于网格动画;在 AiM3D 上,加入图像条件使 FID 从文本版的 11.889 降至 6.248,但运动多样性指标有所下降。
- LaxMotion: Rethinking Supervision Granularity for 3D Human Motion Generation
-
LaxMotion 针对文本驱动 3D 动作生成中刚性 3D 坐标回归导致的过拟合与多样性受限痛点,提出一种解耦全局轨迹与局部肢体矢量的宽松监督框架,仅借助单视角 2D 运动学线索与重投影、跨视角先验正则化,即可在无需密集 3D 姿态坐标损失的前提下生成多样且高逼真度的 3D 人体动作。
- Learning to Attract and Repel: Dual Quality Margin Learning for Face Recognition (DQM-Face)
-
针对传统质量感知人脸识别仅凭特征模长度量质量容易受无身份噪声干扰且缺乏类间显式排斥的瓶颈,DQM-Face 提出融合特征模长与 SE 语义注意力的双质量估计来动态缩放目标类吸引裕度,并引入课程递进的显式负类排斥裕度,在扩大类间清晰间隔(Clearance Zone)的同时实现了 SOTA 识别精度与内在高质量的 FIQA 评估能力。
- MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation
-
MTVDiff 针对热红外到可见光人脸转换中的几何断裂、语义失配与身份退化难题,提出了一种冻结 Stable Diffusion 主干的多模态隐扩散框架,通过双分支跨注意力融合模块动态对齐热红外与深度特征、门控机制注入文本语义先验,并利用空间特征变换将多尺度几何与语义特征注入扩散残差块,在保持高保真面部拓扑的同时大幅提升了跨模态人脸识别性能。
- Multi-scale Object-Aware Gaze Estimation via Geometric Reasoning
-
将视线目标估计从像素级回归重新建模为层次化推理问题,先用目标级语义表征建立候选注意对象,再用视线方向构造视场锥几何先验约束空间,最后通过多尺度残差融合精确定位,在 GazeFollow/VideoAttentionTarget/ChildPlay/GOO-Real 上以 7.1M 参数取得 SOTA。
- Odoriko: A Shape-Aware Multimodal Diffusion Framework for Human Motion
-
Odoriko 提出首个统一的多模态人体运动生成框架,通过将性别和 SMPL 体形参数作为显式条件信号分层注入扩散骨干网络,使生成的运动能够反映主体的生物形态学特征,同时在文本到运动、音乐到舞蹈、视频到运动估计三个任务上以极少的参数量达到甚至超越当前专用方法的性能。
- PhysDrape: Learning Explicit Forces and Collision Constraints for Physically Realistic Garment Draping
-
针对传统物理仿真计算耗时以及深度学习回归缺乏物理保真度与穿模严重的问题,PhysDrape 以显式节点力为中间桥梁,将力驱动图神经网络(GNN)、可微分拉伸求解器与碰撞处理模块深度统一,实现了无需真实标注的端到端自监督物理级 3D 服装悬垂。
- PIAvatar: Physically Interactive Avatars via Deformation Gradient Decoupling
-
PIAvatar 提出基于 MPM 的物理可交互 3D 人体化身框架,通过将用户定义的 kinematic velocity 从变形梯度更新中显式解耦,消除运动驱动时产生的非预期内部应力,并嵌入骨骼结构以闭式优化实现形变后姿态的实时追踪,首次在统一 MPM 仿真框架内同时支持人-人、人-物的双向物理交互与非刚性表面形变。
- PriorPose: Reference-Guided Joint Deformation and Alignment for Category-Level Object Pose Estimation
-
针对类别级物体姿态估计中无先验方法易记忆类别朝向偏置、有先验串行方法易发生形变误差级联的双重痛点,PriorPose 引入显式平均形状先验并构建几何感知种子 Transformer,在统一特征空间中联合预测点级 NOCS 对应场与先验形变场,结合正则空间与相机空间双重形状一致性约束,在严格姿态阈值下实现 SOTA 精度与极强的跨域泛化能力。
- Q-BridgeNet: A Quantization Network for Cross-Lingual Sign Language Translation
-
针对多语种手语翻译中跨语种视觉差异引发的表征冲突与语义边界切分错位问题,Q-BridgeNet 提出通过自适应时序分割与“共享基底-私有残差”分层矢量量化构建离散 Q-unit 语义基元,并结合多语言大语言模型实现统一的多对多跨语种手语翻译。
- RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation
-
针对跨身份角色动画中尺度与体态不一致导致的结构错位问题,RASA提出解耦的空间-运动先验分层注入架构,在去噪初始步通过空间先验校准器(SPC)消除2D几何偏差,并在DiT中间层注入SMPL运动语义向量(IMG)保障3D解剖一致性。
- Recognizing Co-Speech Gestures in-the-Wild
-
牛津大学 VGG 提出首个真实无约束场景下的大规模语义伴随手势数据集 GRW(14 万视频片段、155 个词汇词表),并基于手部先验骨干与长程运动上下文 Transformer 解决了伴随手势分类、词汇识别与精确帧级时序定位三大核心任务。
- Reconstruction-Anchored Diffusion Model for Text-to-Motion Generation
-
针对文本驱动动作生成中预训练文本特征缺乏动态先验与迭代去噪误差累积两大难题,提出以动作重构分支锚定潜空间并引入自正则化与动作中心对齐,配合推理阶段的重构误差引导(REG),使扩散模型在仅 20 步采样下于 HumanML3D 取得 0.032 的前沿 FID。
- RoboGesture: Real-Time Semantic-aligned Co-Speech Gestures Generation for Humanoid Interaction
-
针对人形机器人共语音手势生成中语义数据匮乏、动作惯性导致音频遮蔽及真实物理碰撞三大难题,本文提出协同数据合成、分层声学-语义对齐、抗惯性流匹配与在线MPC安全滤波的端到端框架,在宇树G1人形机器人上实现了超实时的安全双向交互。
- Rolling Shutter Relative Pose Estimation Made Practical
-
论文首次将仿射对应(AC)引入卷帘快门(RS)两视图相对位姿估计中,推导了计入行坐标扰动诱发本质矩阵变化的 RS 校正仿射约束,并构建了基于零空间消元与作用矩阵的 7-AC 极小代数求解器,将 RANSAC 采样点数从 20 锐减至 7,大幅降低迭代复杂度并有效消解了平移速度与基线间的退化耦合。
- SCORE: SubDistribution-aware Collaborative Knowledge Reinforcing for Cloth-Hybrid Lifelong Person Re-Identification
-
针对换装与未换装数据交替出现时加剧的灾难性遗忘与知识冲突问题,SCORE 显式对身份内部的多样性建立可学习的高斯子分布,并结合子原型协同知识强化与实例结构对齐,实现了跨阶段衣着相关与衣着无关判别知识的高效兼顾与持续巩固。
- Self-supervised Garment Dynamics with Persistent Wrinkles
-
提出首个自监督神经网络服装仿真器,通过动态静止弯曲能量和物理启发的课程学习,显式建模织物的弹塑性变形,首次在自监督框架下生成自然的持久褶皱,在多种服装、体形和动作上均优于现有方法。
- SICAGE: Speaker-Independent Culture-Aware Gesture Generation using TED4C-L Dataset
-
SICAGE 将文化感知的共语手势生成建模为领域泛化问题:把每位说话人视为一个域,用 Fishr 正则化或对抗学习从音视频和文本中提取说话人无关的文化表征,再以此条件一个实时扩散生成器 ALaDiT,在自建的 106 小时四文化 TED4C-L 数据集上显著提升手势的真实性、多样性、节拍同步和文化一致性。
- SIGNER: Temporally Grounded Sign Language Generation via Time-Resolved Conditioning
-
SIGNER 提出时序化解码条件(time-resolved conditioning)框架,通过构造时序化 Gloss 条件序列并在扩散去噪中以局部时序融合(LTF)将其注入,显式保留下游手语片段的时序对应关系(temporal grounding),从而解决现有手语生成方法中词序错乱和语义不准的核心问题,在 CSL-Daily 和 Phoenix-2014T 上大幅超越此前 SOTA。
- SignNet-1M: Large-Scale Multilingual Sign Language Video Dataset with Downstream Benchmarks
-
SignNet-1M 利用 3DGS 新视角渲染、扩散模型场景/身份编辑和后渲染增强,将 7 个公开手语语料库扩充为约 100 万条多语言手语视频片段(ASL/CSL/DGS),并配套一套统一评估协议(Orig/Zero-shot/Trained)揭示并弥补现有模型在视角、背景、身份变化下的鲁棒性漏洞。
- SignRefine: Adapting Foundational Video Models for Sign Language Generation
-
针对通用视频扩散模型生成手语时手部和面部微小区域严重模糊失真的痛点,SignRefine 通过在冻结的 DiT 主干中引入带有 CoordConv 空间感知与注意力掩码机制的独立区域适配器,实现了高保真、可理解的手语视频生成。
- Single-Query Person-Centric Bimanual Hand-Object Interaction Detection
-
针对传统以手为中心的 HOI 方法在多人复杂场景中割裂双手归属与目标语义的缺陷,本文提出一种以人体为中心的单查询 Transformer 检测架构,结合部位感知多参考点可变形注意力和手-查询关系矩阵,端到端统一预测人体框、人体姿态、双手及对应交互目标的类别与边界框。
- Sound-based Multi-Person 3D Pose Estimation
-
首次探索仅利用主动声学信号实现多人3D人体姿态估计,提出SoundMHPE框架,通过多尺度声学编码器解耦时频混叠特征,并借助逐帧多查询时序姿态解码器建模个体时序演化与跨人体声学交互。
- SPARC: Single-Pass Scaling for Motion Forecasting with Conformal Bayesian Last Layers
-
针对人体运动预测中点预测缺乏结构化不确定性且传统贝叶斯/集成方法推理开销大的困境,SPARC 提出了一种单遍前向的贝叶斯-共形不确定性框架,通过共轭贝叶斯最后一层解析计算时域特征杜杆度自适应放大图-时域结构化高斯协方差,并结合保形预测输出具备有限样本边际覆盖保证的三维时空预测管道。
- SyncCache: Exploiting Asymmetric Dynamics for Fast Audio-Driven Portrait Animation
-
SyncCache 针对 DiT 架构的音频驱动肖像动画提出一种训练无关的特征缓存加速方案,通过空间非对称探测(SAP)在人脸区域优先触发重新计算、模态解耦缓存(MDC)跳过沉重视觉模块却逐时间步刷新轻量音频模块,以及记忆自适应的离线 DP 缓存规划,在 HunyuanVideo-Avatar 和 Wan-S2V 上分别实现 4.12x 和 3.75x 加速且视觉质量和唇音同步几乎无损。
- Towards Flexible, Natural, Efficient Interaction for Conversational Talking Face Generation
-
提出 InterTalk 框架,通过响应式上下文编码器、解耦动作精炼生成器与多轮迭代生成策略,打破人数限制并支持任意多参与者的双向动作反馈,在单卡 30+ FPS 下实现高质量、高唇同步率与逼真非语言反馈的实时对话人脸合成。
- Towards Real-World Wearable Motion Reconstruction
-
针对真实日常穿戴设备组合多变且稀疏的痛点,本文构建了包含日常手机、手表、头显与足压鞋垫并由 120 目动捕系统标定的多模态数据集,提出基于流匹配的生成模型 WHIP,实现了任意传感器子集下的高质量全身三维人体动作重建与系统级互补性量化。
- Unified and Efficient Point-Line Local Features
-
提出统一高效的点线特征提取器 UPAL,基于轻量级 ALIKED 骨干网同时提取关键点、线段和描述符,结合多教师协同蒸馏与 GPU 加速的高效 LSD 算法,在参数量缩减一个数量级且提速 4 倍的同时达到甚至超越 SOTA 性能。
- WiFi-JEPA: Self-supervised Learning for WiFi-CSI 3D Human Pose Estimation
-
WiFi-JEPA 把 CSI 张量按 (信道 C、时间 T、链路 L) 结构保留下来做 CSI 专属 token 化,掩码整条 Tx–Rx 天线链路并让 JEPA 在潜空间预测被掩码链路的表征(而非重建含硬件伪影的原始信号),再用光线追踪仿真生成的几何基元场景(sim-object)补充预训练数据;在 PiW3D 上单人/多人 MPJPE 达 76.8/93.5 mm、超过全部 WiFi 基线,跨环境均值误差较基线降 48.2%,而 SimMIM/MAE/BYOL/MoCoV3 四个视觉原生 SSL 目标在相同骨干与协议下全部低于从头训练。
- BiCE-HG: A Bi-Conditional Egocentric Hand Gesture Dataset for Intelligent Reality Systems
-
BiCE-HG 将三种移动状态与两种照明设置交叉采集,并提供空间照度记录和手部骨架数据;动态骨架基线达到 89.24% 验证准确率,但现有划分不是跨参与者测试,也不足以单独证明跨光照泛化。
- CoDePose: Multi-View 3D Human Pose Estimation via Coupled 2D-3D Denoising Diffusion
-
CoDePose 不再把二维检测当作只能接受的固定观测,而是在保留检测条件的同时联合去噪二维与三维姿态,配合跨视角信息融合和稳定化训练,在 Human3.6M 的 ViTPose、四视角、27 帧设置下将 MPJPE 从 FusionFormer 的 15.1 mm 降至 12.1 mm。
- Constrained Rotation Optimization: Revisiting Crop-Based Gaze Estimation
-
CROp 将人脸裁剪引起的视线坐标变化建模为受约束的近似旋转,并通过联合头部姿态监督补充几何信息,在检测器预处理下将 ETH-XGaze 域内角度误差从 6.45° 降至 5.55°,但并非在所有准确标注或强框噪声条件下都优于归一化。
- CtrlCoMo: Controllable Co-Speech Motion Generation with Gesture–Action Disentanglement
-
针对语音驱动动作中手势与语义动作相互干扰的难题,CtrlCoMo 提出多尺度量化架构 Pyramid-VQ 与逐层衰减的 CLIP 语义正则,将高频局部手势与低频全局动作分层解耦,并结合 AdaLN 实现手势强度的显式连续可控生成。
- EgoExoMoCap: Distributed Human Motion Capture via Ego- and Exocentric Body Tracking from Head-Mounted Devices
-
针对传统动捕依赖笨重多相机系统或穿戴式动捕服、而单视角穿戴设备难以准确估计下半身与全局运动的痛点,EgoExoMoCap 提出了一种仅需两人或多人佩戴头戴设备(如 Aria 智能眼镜)的分布式动捕框架,将第一人称连续惯导/SLAM 轨迹与第三人称间歇性图像的 3D 规范化射线相结合,并通过 DINOv3 上下文特征学习关键点置信度门控,在剧烈遮挡与出画场景下实现了高精度全身 3D 动作重建。
- Escaping the Low-Frequency Bias: Adversarial Frequency Perturbation for Generalisable Gaze Estimation
-
本文揭示了视线估计模型跨域性能骤降的主因在于对源域低频成分的过拟合,提出了无需目标域数据的对抗低频扰动框架(ALFP),通过 PGNet 生成实例级扰动图并在频域利用 AdaIN 混合振幅统计量,显著提升跨域泛化能力。
- Every Dog Has Its Day, Probably: A Balanced Synthetic Benchmark and Probabilistic Modeling for 3D Dog Pose Estimation
-
针对现有3D狗姿态估计基准中视角偏置、姿态单一与对齐退化等核心瓶颈,本文构建了包含420万张像素级精准对齐图像的解耦均衡合成基准,并提出基于Rectified Flow与MMDiT的概率姿态估计框架,通过Mode-of-N聚合机制在严重自遮挡下生成多模态可信假设,纯合成数据训练即全面刷新多项真实世界基准SOTA。
- FlowFace: Rectifying Identity Conditioning with Riemannian Geometry for Face Generation
-
FlowFace 针对现有免微调人脸定制方法在欧氏条件接口处属性耦合漂移与编辑次序敏感的问题,提出基于纤维丛解耦的双流流形编码器、基于截断 BCH 展开的李代数属性融合,并在训练期引入局部 SPD 度量约束测地线一致性,在完全不修改推理采样器的情况下显著提升了身份保持度、组合编辑稳定性与图像质量。
- Granular Semantic Cognition for Visible-Infrared Person Re-Identification
-
针对红外模态缺失颜色信息导致跨模态对齐困难的痛点,提出细粒度语义认知方法(GSC),通过层次化原型细化与语义引导通道自适应融合将文本颜色线索精准补偿到红外相应局部,并设计融合加权身份对比损失消除跨身份语义歧义。
- HolisticSemGes: Semantic Grounding of Holistic Co-Speech Gesture Generation with Contrastive Flow-Matching
-
针对现有语音驱动全身手势生成模型缺乏跨肢体语义协调且易退化为单调节奏晃动的问题,HolisticSemGes 提出语义感知复合模块与对比流匹配框架,通过负样本排斥机制显式引导速度场朝语义相符的轨迹演化,生成与话语含义精确绑定的高拟真全身动作。
- InclusiveHuman-10K: Towards Inclusive Human Parsing Beyond the Intact-Limb Assumption
-
InclusiveHuman-10K(IH-10K)打破了传统人体解析中预设人人都具备完整健全肢体(intact-limb assumption)的认知盲区,构建了包含 10,555 张真实场景图像、14,939 个人体实例与 160,133 个高质量像素级掩码的人体解析基准,首次将残肢、三类假肢及行动辅助器具纳入标准语义体系并确立分组解耦评测协议。
- InterEdit: Navigating Text-Guided 3D Dyadic Human Motion Editing
-
InterEdit 提出了文本引导双人3D运动编辑(TMME)这一新任务,构建了首个大规模双人运动编辑数据集 InterEdit3D(5161组源-目标-文本三元组),并设计了基于条件扩散模型的 InterEdit 方法——通过语义感知计划令牌对齐捕获高层编辑意图、交互感知频率令牌对齐利用DCT频段能量约束交互节奏——在编辑忠实度和运动真实性上显著超越四种基线方法。
- K-Mask: Kinematic-Aware Masked Modeling for Controllable Text-to-Motion Synthesis
-
K-Mask 提出了一种运动学感知的文本动作合成框架,通过将动作隐空间解耦映射到解剖学分组残差矢量量化(KG-RVQ),结合抗跨组泄漏的潜空间运动学丢弃损失(LAKD)与时空轴向分解掩码 Transformer,在无需独立分肢编码器的前提下实现了 SOTA 生成质量与精准的肢体级局部控制。
- Kinematics-Agnostic 3D Human Motion Prediction via Equivariant Latent Diffusion
-
提出了首个运动学不可知(Kinematics-Agnostic)的随机人体动作预测架构 EquiFusion,通过显式将骨骼拓扑邻接矩阵作为输入并构建全流程关节置换等变潜空间扩散模型,彻底摆脱了传统方法对特定骨骼拓扑的硬编码绑定与有损重定向,实现了跨数据集联合训练以及未见骨骼结构与部分肢体遮挡下的零样本高保真动作预测。
- MoScale: Autoregressive Next-Scale Prediction for Human Motion Generation and Editing
-
ScaleMoGen(MoScale)将文本驱动 3D 人体动作生成由传统沿时间轴单向 Next-Token 预测重构为粗到细的 Next-Scale 自回归预测,结合拓扑感知的骨骼-时序多尺度按位量化,在大幅压缩采样步数的同时刷新了 HumanML3D 与 SnapMoGen 的 SOTA,并天然支持高精度零样本动作编辑。
- Noise-Robust Face Recognition via Non-target Similarity Distribution Guided Sample Selection
-
发现被丢弃的误标注目标余弦相似度与干净样本的非目标余弦相似度在分布上高度对齐,提出无需噪声率先验的动态样本选择框架 DDLN,在仅引入 0.2%~0.3% 额外计算开销下实现 SOTA 降噪与人脸识别精度。
- Noise-Robust Facial Expression Recognition via Mamba-driven Neighbor Weight Refinement
-
针对野外人脸表情识别中众包主观标注模糊与标签噪声难题,提出 Mamba 驱动的邻域权重细化框架(Mamba-NWR),结合交叉注意力路由初始化与状态空间迭代优化,动态平衡历史状态并聚合高质量邻域标签分布。
- OrthoTailor: Geometric Orthogonalization for Conflict-Free Unified Fashion Generation
-
针对多任务时尚图像生成在共享 LoRA 中面临的严重梯度冲突与负迁移,本文提出通过瓶颈正交子空间投影(OSP)实现几何解耦,并结合推理时 Fisher 引导的负向引导(FNG),在单一模型下实现超越单任务专家的虚拟试衣、服装重建与姿态迁移效果。
- PartCHOI: Part-Aware Guidance for Clothed Human-Object Interaction Generation
-
将单视角穿衣人物交互(CHOI)场景建模为以人为中心、物体视作人体部件的生成任务,提出无须交互微调的 H-GPE 位姿估计与 O-GRM 雅可比接触形变机制,实现物理自洽且无穿模的高保真 3D 交互场景生成。
- PHOSA: Photorealistic 3D Sign Avatar Modeling and Benchmark
-
针对手语生成中网格数字人缺乏真实感、通用人体身姿表示难以捕捉手部精细构型与面部微表情的问题,本文构建了首个由聋人专家联合设计的 16 视角高分辨率多视角手语基准 MVSign,并提出融合多先验的混合 SMPL-X 拟合管线以及部位解耦且具备局部运动学解耦的 3D 高斯手语化身表征。
- Practice Makes Perfect: From Explicit Decomposition to Reinforced Latent Planning in Text-to-Human Motion
-
针对显式思维链在动作生成中推理延迟过高的问题,LaCT-Motion 模拟人类“练习-内化-精通”的技能习得规律,通过渐进式课程将离散显式推理压缩为连续隐标记,并结合共享缓存的隐空间 GRPO 强化对齐,在彻底消除推理期文本开销的同时超越了显式 CoT 的生成质量。
- PriSM: Parsing and Style-Mixed Consistency for Unsupervised Domain Adaptation in Facial Landmark Detection
-
PriSM 针对风格化人脸无监督域自适应中伪标签易自信犯错的问题,构建了由“点位转解析宏观结构对齐”与“StyleGAN 风格混合微观重构闭环”组成的双一致性验证框架,在 CariFace 与 ArtiFace 上大幅刷新 SOTA 且零样本泛化至动物与动漫脸。
- Prosthesis-Aware 3D Human Pose Estimation: A Dataset and Benchmark for RSP Users
-
针对跑步假肢(RSP)使用者缺乏专用 3D 姿态估计方案的困境,本文构建了首个包含 560 万帧多视角动捕标注的真实数据集 RSP3D,并提出将模型驱动的人体关节估计与无模型假肢几何重建对齐的混合基准方案。
- Reference-Free Quality Assessment for Virtual Try-On via Human Feedback
-
针对真实电商试穿缺乏参考图且传统指标与人类审美脱节的难题,论文构建了包含 6.2 万张试穿图和 43 万条众包标注的最大虚拟试穿质量评估基准 VTON-QBench,并提出基于非对称交错交叉注意力(ICA)的无参考评估模型 VTON-IQA,实现了高度契合人类主观判定的试穿质量量化评测。
- Revisiting the Volumetric Data of 4DME: Compression, Extension and Benchmarking for Micro-Expression Analysis
-
针对 4D 面部微表情动作单元(ME-AU)检测中体积数据量庞大、伪影噪声严重及基准缺失等瓶颈,本文系统清洗并扩充了 4DME 数据集(实现跨文化平衡),提出解耦外观与几何动态的双流网络 VoluME,并验证了利用 V-PCC 实现约 3000 倍数据压缩且仅损失约 1% F1 值的可行性。
- S2Gest: Split-Scan State Space Models for Dynamic Hand Gesture Recognition
-
针对智能座舱和穿戴设备等资源受限场景,S2Gest结合空间优先嵌入与自适应特征调制,并引入通道切分双向扫描机制(Split-Scan S2-Block),在保持线性复杂度和零额外参数的前提下捕获全局双向手势动态,以亚3M参数量匹敌数十倍体量的大模型并实现超100 clips/s的消费级GPU推理速度。
- SemGAN: A Semantic and Hierarchical Adversarial Network for 3D Human Pose Estimation
-
针对 2D 升 3D 姿态估计中显式位置损失忽略跨维度时序动作语义且缺乏人体运动学层次约束的问题,SemGAN 提出融合显式坐标监督与隐式语义判别的对抗框架,通过语义原型引导的分层生成器(SPH-Generator)解耦局部一致性与全局协调性,配合基于能量熵的跨频域判别器(ECF-Discriminator)在时频双域强化动态连贯性,在 Human3.6M 上达到 39.7mm MPJPE 的 SOTA 精度。
- SemLight: Distilled Semantic–Geometric Fusion for Efficient Local Feature Matching
-
SemLight 针对弱纹理、重复结构与大光照变化下的特征匹配歧义,通过教师网络离线蒸馏将高层语义先验压缩入轻量主干,并在局部自适应结合表面法向与外观特征进行信噪比门控和跨模态注意力融合,在仅需 5.4 ms 的边缘推理耗时下将 MegaDepth AUC@5 较 XFeat 相对提升 17.8%。
- SFM: Taming State Space Models for Text-to-Motion via Spatial-Frequency Modeling
-
针对传统 Transformer 复杂度高和 CNN 感受野有限的问题,本文提出 SFM 框架,在扩散 UNet 中解耦空间与频域状态空间建模,以线性复杂度实现高保真度与强文本对齐的动作生成。
- SHINE-PPG: Non-Lambertian Intrinsic Decomposition for Illumination-Robust rPPG
-
针对非接触生理监测中环境光剧烈波动与面部皮肤油汗镜面高光导致的脉搏信号严重失真问题,SHINE-PPG 提出自监督非朗伯体本征分解框架,将面部视频解耦为漫反射率、环境照度与稀疏镜面高光,并在反射率表征上结合可学习 AdaIN 对抗光照增强,实现了极端与未见动态光照下的高保真 rPPG 信号提取。
- SplatCtrlA: Generalizable Single Image to Fully Controllable 3D Avatar
-
针对单张图像生成可驱动 3D 人体化身时纹理模糊、肢体畸变与面部/手部失控等问题,SplatCtrlA 提出了基于 SMPL-X UV 高斯表征的前馈生成框架,结合 2.85 万个 3D 几何一致高斯数字人数据集、几何与色彩解耦的输入感知解码器以及高斯混合面部增强模块,实现了秒级生成支持 360 度全身姿态、细腻表情与逼真手势的高保真 3D 数字人。
- Text Dictates, Music Decorates: Energy-based Attention for Editable Dance Motion Generation
-
STREAM 提出双模态解耦的能量注意力机制 BEAM,让文本控制舞蹈动作的语义结构("做什么动作")、音乐仅装饰其时间节奏("何时做"),通过数学上保证的层次化无分类器引导解决文本-音乐联合生成中的模态坍塌问题,并在新标注的 Motorica++ 数据集上达到 SOTA。
- TRAM: Fine-Tuning-Free Test-Time Adaptation with Few Bonafide Samples for Generalized Face Anti-Spoofing
-
针对跨域人脸防假体攻击(FAS)中目标域假体样本极其匮乏且重新微调开销大的痛点,TRAM 提出免微调测试时自适应框架,以目标域极少数真脸为锚点构建图像对,结合光度差异提示词学习与共识注意力正则化进行相对关系对比学习,实现即插即用的域偏移消除。
- Video-Text Alignment Model for Sign Language Translation
-
针对无手语词注释(gloss-free)连续手语翻译中手语时序与口语词序倒错、跨模态对齐完全依赖自回归解码器隐式学习的难题,VTaMo 提出多粒度显式对齐框架,利用带可学习 Null Token 的局部最优传输重排视觉特征,并结合全局正交几何校准与位置对比学习,在四大主流基准刷新 SOTA。
- Visible Yet Unrecognizable: Frequency-Selective Facial Privacy via Attention
-
针对传统人脸去标识化破坏视觉观感或彻底替换身份导致丧失社交可用性的矛盾,MIRAGE 利用离散小波变换将人脸分解为高低频子带,通过低频交叉注意力破坏身份特征、高频自注意力保留外观细节,结合频域感知一致性损失,在有效抵御9种主流深度识别模型的同时保持自然视觉质量。
- WAPR: A Foundation Model for Wide-Angle Refinement in Unseen Object Pose Estimation
-
针对未知物体 6D 位姿估计中稀疏候选带来的大角度初始偏差难题,本文提出广角位姿精炼基础模型 WAPR,通过引入旋转对称先验规范化训练目标、角度平衡损失函数以及构建包含 200 万张合成 RGB-D 图像的 SA6D 数据集,实现了对高达 \(\pm 90^\circ\) 旋转偏差的迭代纠正,仅需 12 个候选位姿即可在 BOP 核心基准上实现亚秒级极速 SOTA 性能。
- When Rubrics Fail: Error Enumeration as Reward for Reference-Free RL Post-Training
-
针对虚拟试衣等多解生成任务缺乏理想参考答案、基于准则(Rubrics)奖励易失效的难题,提出隐式错误计数(IEC)与组校准奖励机制,在流匹配模型 GRPO 后训练中以半数评测开销超越 SFT 及 Rubrics 基线。