PRNet
《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network》
Feng Y , Wu F , Shao X , et al. Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network[C]// European Conference on Computer Vision. Springer, Cham, 2018.
借助UV坐标实现人脸3D标志点定位及人脸重建,并实现人脸texture编辑
第一步建立训练数据:基于3DMM建立UV坐标系,使用点云的xyz坐标替换rgb得到UV position map,训练数据对为{2D image , UV position map}
UV position map 每一个像素均有确定的语义意义,
使用简单的卷积神经网络对单张图片的UV图像进行预测,使用预测所得UV图像重建3Dmesh并对标志点进行定位。
Loss function:
Loss function 中的权重W的设置情况如下所示:
代码测试结果:
重建结果: