当前位置: 代码迷 >> 综合 >> 学习笔记(13):英特尔?OpenVINO?工具套件中级课程-模型参数选择与推理模式设置...
  详细解决方案

学习笔记(13):英特尔?OpenVINO?工具套件中级课程-模型参数选择与推理模式设置...

热度:13   发布时间:2023-11-29 22:15:53.0

立即学习:https://edu.csdn.net/course/play/28807/427189?utm_source=blogtoedu

 

1.准确性不是模型部署的关键因素

2.吞吐量,每秒钟处理的帧数。用fps衡量

3.延迟:对图像处理,推理所用的时间

 

*在边缘开发中2.3.是更为关键的因素

影响边缘开发的因素

1.模型复杂度

2.设备数量(CPU GPU)

3.模型精度

  cmd将数据打包一次对小数据进行处理

  

  在特定情况下,将模型参数转化为int      但同时不降低模型精确度,提升速度

4.输入批次

 

5.

 

异步处理

 

6.

CPU可以处理多个推理请求(与其核心有关)IE可以智能的利用这一点。

 

 

 

 

 

 

 

 

  相关解决方案