当前位置: 代码迷 >> 综合 >> ReDA: Reinforced Differentiable Attribute for 3D Face Reconstruction
  详细解决方案

ReDA: Reinforced Differentiable Attribute for 3D Face Reconstruction

热度:17   发布时间:2024-02-20 18:53:12.0

ReDA: Reinforced Differentiable Attribute for 3D Face Reconstruction

创新点:

1、针对3D人脸重建渲染成图片的约束只有2d image 的 color 属性问题,扩充为color + depth + face_parsing_mask
2、针对使用Z-buffer渲染(在cnn中不属于真正的可微分渲染)问题,提出使用CNN的操作实现soft differentiable rendering
3、针对使用3DMM作为coarse model 的问题,提出加入shape 残差,形成 free-from deformation

方法实现:

pipline
softRas
fig2展示了整体算法的流程,其中创新点free-form deformation展示在Δ\DeltaΔS 的生成(free-form deformation), loss 约束加入了LARAPL_{ARAP}LARAP? + RL?RmR_{L} - R_{m}RL??Rm?;

fig3 展示了ReDA渲染,其中包含了较复杂的 face_parrsing_mask + color + depth; 以及在不同mesh slice中的L1L_{1}L1? loss约束

需检查

1、文中mean shape 是使用3DMM生成的, 所以vertex number应该是 5W 点
2、文中没有展示大角度的mesh shape

  相关解决方案