opencv笔记（三十五）——线性插值、双线性插值_综合

1.为什么要用图像的插值？[1]

在图像的放大和缩小的过程中，需要计算新图像像素点对应原图的位置，如果计算的位置不是整数，就需要用到图像的内插，我们需要寻找在原图中最近的像素点赋值给新的像素点，这种方法最简单是最近邻插法，这种方法好理解、简单，但是不实用，会产生失真现象，产生棋盘格效应，更实用的方法就是双线性内插。

2.一维线性插值

我们已经知道（x0，y0）与（x1, y1）的值，并且已知 x 的值，要求 y 的值。根据初中的知识：

我们可以得到:.

令：

则：

3.双线性内插法的推导过程

双线性插值是做了三次一维的线性插值，我们用四个最近邻估计给定的点的灰度。我们新图像的像素点对应输入图像的（u0 , v0）(u0,v0不是整数)，则其必定落在原始图像四个像素点中间。四个像素点分别是（u' , v' ）、（u' , v' +1）、（u'+1 , v' ）、（u' +1, v'+1 ）。如下图1所示：

图1 图2 图3图4

如图2所示：在红色平面内，（u' , v' ），（u'+1 , v' ）是坐标， g(u' , v' )、 g(u'+1 , v' )是灰度值。根据u0 求(u0,v')的灰度值值，连线 g(u' , v' )、 g(u'+1 , v' )，相当于做一次一维线性插值，求出 g(u0, v' )的值。同理，如图3中，在蓝色的平面内我们可以再做一次一维线性插值，求出g(u0, v' +1)的值。同理如图4，在黑色的平面内，我们可以求出(u0, v0)对应的值g(u0, v0)的值。（双线性插值就是分别在 u、v方向上做线性插值）数学推导过程如下：

由于图像双线性插值只会用相邻的4个点，因此上述公式的分母都是1。opencv中的源码如下，用了一些优化手段，比如用整数计算代替float（下面代码中的*2048就是变11位小数为整数，最后有两个连乘，因此>>22位），以及源图像和目标图像几何中心的对齐。在图像处理的时候，我们先根据

　　srcX=dstX* (srcWidth/dstWidth) ,
　　srcY = dstY * (srcHeight/dstHeight)

来计算目标像素在源图像中的位置，这里计算的srcX和srcY一般都是浮点数，（其中srcXX表示原图的相应参数，dstXX表示新生成的图的相应参数。关于这部分的介绍见【2】）比如f（1.2, 3.4）这个像素点是虚拟存在的，先找到与它临近的四个实际存在的像素点

　　（1，3）（2，3）
　　（1，4）（2，4）

　　写成f(i+u,j+v)的形式，则u=0.2,v=0.4, i=1, j=3
　　在沿着X方向差插值时，f(R1)=u(f(Q21)-f(Q11))+f(Q11)
　　沿着Y方向同理计算。
　　或者，直接整理一步计算，f(i+u,j+v) = (1-u)(1-v)f(i,j) + (1-u)vf(i,j+1) + u(1-v)f(i+1,j) + uvf(i+1,j+1) 。

4，加速以及优化策略

单纯按照上文实现的插值算法只能勉强完成插值的功能，速度和效果都不会理想，在具体代码实现的时候有些小技巧。参考OpenCV源码以及网上博客整理如下两点：

源图像和目标图像几何中心的对齐。
将浮点运算转换成整数运算

4.1 源图像和目标图像几何中心的对齐　　

方法：在计算源图像的虚拟浮点坐标的时候，一般情况：
　　srcX=dstX* (srcWidth/dstWidth) ,
　　srcY = dstY * (srcHeight/dstHeight)
中心对齐(OpenCV也是如此)：
　　SrcX=(dstX+0.5)* (srcWidth/dstWidth) -0.5
　　SrcY=(dstY+0.5) * (srcHeight/dstHeight)-0.5

这个要重点说一下，源图像和目标图像的原点（0，0）均选择左上角，然后根据插值公式计算目标图像每点像素，假设你需要将一幅5x5的图像缩小成3x3，那么源图像和目标图像各个像素之间的对应关系如下。如果没有这个中心对齐，根据基本公式去算，就会得到左边这样的结果；而用了对齐，就会得到右边的结果【3】：

原理：

双线性插值算法及需要注意事项这篇博客解释说“如果选择右上角为原点（0，0），那么最右边和最下边的像素实际上并没有参与计算，而且目标图像的每个像素点计算出的灰度值也相对于源图像偏左偏上。”我有点保持疑问。
　　将公式变形，srcX=dstX* (srcWidth/dstWidth)+0.5*(srcWidth/dstWidth-1)
　　相当于我们在原始的浮点坐标上加上了0.5*(srcWidth/dstWidth-1)这样一个控制因子，这项的符号可正可负，与srcWidth/dstWidth的比值也就是当前插值是扩大还是缩小图像有关，有什么作用呢？看一个例子：假设源图像是3*3，中心点坐标（1，1）目标图像是9*9，中心点坐标（4，4），我们在进行插值映射的时候，尽可能希望均匀的用到源图像的像素信息，最直观的就是（4,4）映射到（1,1）现在直接计算srcX=4*3/9=1.3333！=1，也就是我们在插值的时候所利用的像素集中在图像的右下方，而不是均匀分布整个图像。现在考虑中心点对齐，srcX=(4+0.5)*3/9-0.5=1，刚好满足我们的要求。

4.2 将浮点运算转换成整数运算

参考图像处理界双线性插值算法的优化
　　直接进行计算的话，由于计算的srcX和srcY 都是浮点数，后续会进行大量的乘法，而图像数据量又大，速度不会理想，解决思路是：浮点运算→→整数运算→→”<<左右移按位运算”。
　　放大的主要对象是u，v这些浮点数，OpenCV选择的放大倍数是2048“如何取这个合适的放大倍数呢，要从三个方面考虑

第一：精度问题，如果这个数取得过小，那么经过计算后可能会导致结果出现较大的误差。
第二，这个数不能太大，太大会导致计算过程超过长整形所能表达的范围。
第三：速度考虑。假如放大倍数取为12，那么算式在最后的结果中应该需要除以12*12=144，但是如果取为16，则最后的除数为16*16=256，这个数字好，我们可以用右移来实现，而右移要比普通的整除快多了。”我们利用左移11位操作就可以达到放大目的。

代码：

cv::Mat matSrc, matDst1, matDst2;  matSrc = cv::imread("lena.jpg", 2 | 4);  
matDst1 = cv::Mat(cv::Size(800, 1000), matSrc.type(), cv::Scalar::all(0));  
matDst2 = cv::Mat(matDst1.size(), matSrc.type(), cv::Scalar::all(0));  double scale_x = (double)matSrc.cols / matDst1.cols;  
double scale_y = (double)matSrc.rows / matDst1.rows;  uchar* dataDst = matDst1.data;  
int stepDst = matDst1.step;  
uchar* dataSrc = matSrc.data;  
int stepSrc = matSrc.step;  
int iWidthSrc = matSrc.cols;  
int iHiehgtSrc = matSrc.rows;  for (int j = 0; j < matDst1.rows; ++j)  
{  float fy = (float)((j + 0.5) * scale_y - 0.5);  int sy = cvFloor(fy);  fy -= sy;  sy = std::min(sy, iHiehgtSrc - 2);  sy = std::max(0, sy);  short cbufy[2];  cbufy[0] = cv::saturate_cast<short>((1.f - fy) * 2048);  cbufy[1] = 2048 - cbufy[0];  for (int i = 0; i < matDst1.cols; ++i)  {  float fx = (float)((i + 0.5) * scale_x - 0.5);  int sx = cvFloor(fx);  fx -= sx;  if (sx < 0) {  fx = 0, sx = 0;  }  if (sx >= iWidthSrc - 1) {  fx = 0, sx = iWidthSrc - 2;  }  short cbufx[2];  cbufx[0] = cv::saturate_cast<short>((1.f - fx) * 2048);  cbufx[1] = 2048 - cbufx[0];  for (int k = 0; k < matSrc.channels(); ++k)  {  *(dataDst+ j*stepDst + 3*i + k) = (*(dataSrc + sy*stepSrc + 3*sx + k) * cbufx[0] * cbufy[0] +   *(dataSrc + (sy+1)*stepSrc + 3*sx + k) * cbufx[0] * cbufy[1] +   *(dataSrc + sy*stepSrc + 3*(sx+1) + k) * cbufx[1] * cbufy[0] +   *(dataSrc + (sy+1)*stepSrc + 3*(sx+1) + k) * cbufx[1] * cbufy[1]) >> 22;  }  }  
}  
cv::imwrite("linear_1.jpg", matDst1);  cv::resize(matSrc, matDst2, matDst1.size(), 0, 0, 1);  
cv::imwrite("linear_2.jpg", matDst2);

参考资料

[1] 图像插值----双线性插值完全解析

[2] OpenCV ——双线性插值（Bilinear interpolation）

[3] 双线性插值算法及需要注意事项
[4] OpenCV中resize函数五种插值算法的实现过程