当前位置: 代码迷 >> 综合 >> OpenVINO 2021r2 C++ 超分辨率重建 Waifu2x
  详细解决方案

OpenVINO 2021r2 C++ 超分辨率重建 Waifu2x

热度:90   发布时间:2024-01-12 21:13:27.0

最后试一下waifu2x, 因为我一直都喜欢waifu2x, 觉得他们家的超分算法在动画图像上的效果真的很惊艳,很久以前体验过windows版本,那时候机器又破,还用的是电脑上的caffe框架,超分个图片慢如老牛拉车。现在正好试试OpenVINO能不能加个速。

 

先从 https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.2.0.4  下载一个release包 waifu2x-caffe.zip

所有的模型放在models目录下,这里用了upconv_7_photo目录下的noise0_scale2.0x_model这个模型来做测试。

 

运行mo.py

C:\temp\waifu2x-caffe\models\upconv_7_photo>python "c:\Program Files (x86)\IntelSWTools\openvino_2021\deployment_tools\model_optimizer\mo_caffe.py" --input_model=noise0_scale2.0x_model.json.caffemodel --input_proto=noise0_scale2.0x_model.prototxt --input=input --output=conv7_layer --input_shape=[1,3,480,640] --scale_values=[255.0] --data_type FP16

转换时得到一个错误

[ ERROR ]  Exception occurred during running replacer "REPLACEMENT_ID" (<class 'extensions.load.caffe.loader.CaffeLoader'>): Unexpected exception happened during extracting attributes for node target.
Original exception message: Found custom layer "target". Model Optimizer does not support this layer. Please, implement extension.For more information please refer to Model Optimizer FAQ, question #45. (https://docs.openvinotoolkit.org/latest/openvino_docs_MO_DG_prepare_model_Model_Optimizer_FAQ.html?question=45#question-45)

说是有个custom layer "target" , Model Optimizer不支持。

 

用Netron神器看看noise0_scale2.0x_model.prototxt的网络架构

Target层的Type是MemoryData

 

再看下noise0_scale2.0x_model.prototxt文件内容, MemoryData和EucideanLoss层都是给Training用的, 只做推理的话应该用不到,所以可以删掉

...
layer {name: "target"type: "MemoryData"top: "target"top: "dummy_label2"memory_data_param {batch_size: 1channels: 3height: 142width: 142}include: { phase: TRAIN }
}
layer {name: "loss"type: "EuclideanLoss"bottom: "conv7"bottom: "target"top: "loss"include: { phase: TRAIN }
}

对应的再删掉noise0_scale2.0x_model.prototxt.protobin里面对应的红框部分

 

再运行mo.py, 成功了 :)

运行结果:

原始图片(测试图片来自网络)

Bicubic的2x放大效果

Waifu2x 2X放大的效果

感觉waifu2x超分的图像里文字边缘锐利多了  赞 :)

 

性能,

调用inferRequest_regular.Infer()推理的时间, 在8665U 4核8线程的CPU和 Gen9 24EU的核显上

  • CPU: 1341ms (0.746FPS)
  • GPU: 685ms (1.46FPS)

感觉比原版的windows程序快多了

 

最后参考代码奉上,仅供参考

https://gitee.com/tisandman/waifu2x_ov2021

 

 

  相关解决方案