ReDA: Reinforced Differentiable Attribute for 3D Face Reconstruction
创新点:
1、针对3D人脸重建渲染成图片的约束只有2d image 的 color 属性问题,扩充为color + depth + face_parsing_mask
2、针对使用Z-buffer渲染(在cnn中不属于真正的可微分渲染)问题,提出使用CNN的操作实现soft differentiable rendering
3、针对使用3DMM作为coarse model 的问题,提出加入shape 残差,形成 free-from deformation
方法实现:
fig2展示了整体算法的流程,其中创新点free-form deformation展示在Δ\DeltaΔS 的生成(free-form deformation), loss 约束加入了LARAPL_{ARAP}LARAP? + RL?RmR_{L} - R_{m}RL??Rm?;
fig3 展示了ReDA渲染,其中包含了较复杂的 face_parrsing_mask + color + depth; 以及在不同mesh slice中的L1L_{1}L1? loss约束
需检查
1、文中mean shape 是使用3DMM生成的, 所以vertex number应该是 5W 点
2、文中没有展示大角度的mesh shape