【辅助驾驶】图像拼接[3]——车载全景可视系统SurroundView

一、效果

二、技术方案

全景可视系统，也又称全景泊车等等，市面已经有产品出现，各家的方案看起来又不一样。对全景，飞思卡尔freescale、富士通fujitsu拥有比较完整的解决方案，但也有其他公司推出自己的产品，但芯片都基本选用飞思卡尔或富士通的。

从用户角度来说，全景有以下几个分类：

图像是否有拼接？ 支持哪些视角功能（广角或俯视）？是否有3D模型？

2.1、 几个摄像头

目前主流是四个摄像头，采用180度以上的广角摄像头，如190度；

也有采用更多摄像头的，如6个。

2.2、摄像头的种类

CCD: 优点是灵敏度高，噪音小，信噪比大。但是生产工艺复杂、成本高、功耗高。

CMOS : 优点是集成度高、功耗低(不到CCD的1/3)、成本低。但是噪音比较大、灵敏度较低、对光源要求高。

在采用CMOS为感光元器件的产品中，通过采用影像光源自动增益补强技术，自动亮度、白平衡控制技术，色饱和度、对比度、边缘增强以及伽马矫正等先进的影像控制技术，完全可以达到与CCD摄像头相媲美的效果. 

由于成本原因，车载摄像头普遍选用cmos摄像头传感器。

摄像头的分辨率：一般车道检测的摄像头30万像素就能满足需求。但用于全景的摄像头会采用更高分辨率。

2.3、摄像头的安装位置

前视摄像头位置，一般在车标附近的位置；左右摄像头一般放在倒车镜附近；后视摄像头会放在车牌上方的位置。四个摄像头的水平位置基本相同。

另外，根据不同的车型，摄像头的安装位置和高度也不同。

2.4、摄像头的标定

全景摄像头的标定一般是指针对外参进行标定，得到摄像头的安装高度、安装方位角度。

而摄像头的内参在出厂时，就能拿到其参数。

在获取摄像头的内外参之后，就可以对四个摄像头的数据进行融合或拼接。

目前，市面上的产品很多都是做到标定后，直接拼接融合就完事了。

2.4.1、标定方法

张正友平板标定法是介于传统标定和自动标定之间的方法。既结合了图像检测的方法，但又需要人工确定（校正）物理模板点与图像中检测点的对应关系。形成超定方程，并求解出较好的结果。

其不足是，手动调整角点顺序比较繁琐，易出错。

自动标定方法，是采用特征点跟踪轨迹的方式，根据多幅图像的对应关系进行标定，更加灵活。但其为非线性标定，鲁棒性不高。

2.5、图像的拼接

一般单纯使用标定后的摄像头进行 全景图像的拼接和融合时，在交合重叠区域，会产生盲点的现象，如经过的物体在这个很小的区域会模糊不清或消失。

这是因为物距的改变，会产生较大的拼接区域误差。

2.5.1、什么是景深现象？

当镜头聚焦于某一物体时，在这一物体前后一定范围内，景物记录的比较清晰，而超出这个范围，物体就显得不清晰了。这个就景深原理。决定景深的因素包括：光圈（进入镜头的光线的粗细）、焦距、物距。

光圈越小，景深越大，拍摄清晰的前后范围越大。而广角镜头的景深是比较大的。景深的位置、范围会随焦距的不同而变化，鱼眼相机需要采用比较大F值，才能获取较大的景深。

2.5.2、图像配准的常见方法及优缺点

1） 基于区域的方法

    a） 像素点的直接的相关性，外加金字塔的多分辨率。 计算量较大，而且对旋转和缩放效果有一定影响。

    b）基于频域FFT变换的方法。 在空间频域中寻找相关性，计算快，对小平移、旋转及尺度变换的图像拼接较合适，但对重叠区域较小的情况较差。

2）基于特征的方法

    a）经典的方法，如基于轮廓、角点检测算法。harris角点。

    b）尺度不变特征的SIFT算法，及其改进算法。配准精度高，但速度慢，且原始算法未公开，版权保护。

    c）SURF配准算法。配准精度高，略逊于SIFT，但速度快。

2.5.3、鱼眼相机的配准

1）畸变校正。4个相机都是190或180左右的视角的情况，畸变校正后，即使损失一部分边缘图像，仍然会有一部分图像重合。

2）配准。如果有相机内外参的先验知识的情况下，配准，可以采用基于改进的区域配准方法，效果好，且速度快。 基于特征的方法也可以尝试。

3）融合或拼接。直接采用拼接的方式，或采用图像叠加融合的方式，或增强边缘的方式，或用小波等等。

采用配准方式进行拼接和融合的产品，效果会好很多。

由于配准会比较耗费时间，而配准的区域可能又不断变化，所以，配准过程不必对拍摄的每幅图像都进行。

2.6、视角变换

俯视图：每个摄像头都有内外参，所以，其俯视图也可以比较轻松的获取，然后进行拼接，得到车辆周围比较完整的俯视图。

俯视图，对于直立的物体会有很大的形变，看起来不舒服，一种改善的方法就是降低俯视虚拟相机的高度，这样直立物体的形变会减轻，但是对地面直线物体又会产生鱼眼式的形变，这个需要一个折中。

3D模型：其实，就是将几个鱼眼摄像头的坐标系统一转换到一个世界坐标系中，并建立一个碗状的三维虚拟成像面，最后建立三维模型。

查了一些资料，没有翻到其详细的算法过程，估计是预先建立一个3D的投射曲面，然后，将整个鱼眼相机拼接的图像投射到这个曲面上。这个过程可以使用查找表，能提高运算速度，简化运算过程。

这个过程需要结合摄像头的景深，内外参数，地面俯视等。

三、参考来源

车载全景可视系统surroundview：https://blog.csdn.net/viewcode/article/details/21456015