一种可自适应图像场景的前端图像处理方法及存储介质与流程

本发明涉及图像处理技术领域，尤其涉及一种可自适应图像场景的前端图像处理方法及存储介质。

背景技术：

首先随着当下人脸识别技术发展，人脸支付、人脸门禁，人脸考勤等设备越来越普及。人脸识别领域对于前端图像的图像质量提出更高的需求。譬如人脸识别场景中，约束量化了面部光线亮度，人脸模糊度，图像分辨率，图像几何失真，图像色彩等特征参数。其二，人脸识别的ai算法业务主要运行与dsp/gpu/fpga/asic等具有算力能力的平台(以下简称ai业务后端芯片)，而这些平台所带的isp图像单元的性能欠佳，往往无法满足高质量图像质量要求，使得产品在处理器平台选型时变得困难。其三，目前行业内普遍使用的video/imagecontrollers芯片，有松翰，瑞昱等厂牌，普遍存在图像处理性能欠佳，往往需搭配高性能的图像传感器imagesensor才能满足更佳的宽动态等要求。在3d降噪，去雾功能，白平衡，自动曝光方面均存在不足，这部分可具体参考以上厂牌芯片手册与行业口碑。故而使用高性能的imagesensor使得人脸识别产品的图像部分成本偏高，性价比偏低。其四，对于第三方图像处理的算法需执行于cpu等逻辑单元部分，譬如自动曝光增益，光强测评，去雾算法，固有坏点矫正等第三方图像算法。而基于第三点的video/imagecontrollers芯片应用技术架构，其芯片内部无高性能cpu，需ai业务后端芯片执行这些算法，从而产生算法响应延时，图像纠偏实时性偏慢，效果欠佳，且增加软件设计复杂性，增加后端平台的业务量，带来算法兼容差等一系列问题。

因此，有必要提供一种新的一种可自适应图像场景的前端图像处理方法及存储介质解决上述技术问题。

技术实现要素：

本发明解决的技术问题是提供一种完成前端图像采集，图像优化，图像编码，图像输出，替代video/imagecontrollers芯片应用技术架构，可实现前端图像单元独立判决图像场景，自适应运行图像优化算法，满足ai视觉业务对于图像品质要求的存储介质。

为解决上述技术问题，本发明提供的可自适应图像场景的前端图像的存储介质包括：安防摄像头芯片(下同camerasoc)、后端业务平台和图像传感器；温度传感器t-sensor，所述温度传感器设置在所述安防摄像头芯片内；摄像头数据接收接口，所述摄像头数据接收接口设置在所述安防摄像头芯片上；第一通信iic接口，所述通信iic接口设置在所述安防摄像头芯片上；第二通信iic接口，所述通信iic接口设置在所述安防摄像头芯片上；第一通用输入输出io，所述第一通用输入输出io设置在所述安防摄像头芯片上；第二通用输入输出io，所述第二通用输入输出io设置在所述安防摄像头芯片上；内存ddr接口，所述内存ddr接口设置在所述安防摄像头芯片上；存储控制器接口，所述存储控制器接口设置在所述安防摄像头芯片上。

优选的，所述安防摄像头芯片还包括hi3518ev300，hi3516ev200，hi3516ev300，hi3516cv500，hi3516dv300和hi3556v200。

优选的，所述安防摄像头芯片上还设有图像及视频输出接口，所述图像及视频输出接口与所述后端业务平台相连接，支持接口有usb，mipi，bt1120，bt656，rgb。

优选的，所述第二通信iic接口与所述后端业务平台相连接。

优选的，所述第二通用输入输出io与所述后端业务平台相连接。

优选的，所述第一通信iic接口与所述图像传感器相连接。

优选的，所述第一通用输入输出io与所述图像传感器相连接。

优选的，所述摄像头数据接收接口与所述图像传感器相连接，支持接口有mipi，lvds，dvp，hispi。

优选的，所述内存ddr接口与ddr颗粒相连接。

优选的，所述存储控制器接口与flash颗粒相连接。

优选的，所述温度传感器t-sensor接口用于监测其内部温度，实现过温保护机制。

本发明还提供一种可自适应图像场景的前端图像的处理方法，包括以下步骤：

s1：图像传感器输出原始图像数据格式图像；

s2：将s1中的数据输入到camerasoc中；

s3：对s2中的数据通过isp进行3a，降噪等图像调优；

s4：通过cpu运行第三方图像算法，进一步调整isp图像参数；

s5：通过vpss单元对s4中调优后的图像数据进行视频处理；

s6：通过ive单元对s5的输出视频数据进行画面运动侦测；

s7：将s5中处理后的数据通过venc完成h.265/h.264/jpeg/

mjpeg编码，输出h.265/h.264/jpeg码流；

s8：通过高速物理接口将s5中的码流输出到后端。

优选的，所述s6的画面运动侦测结果为画面存在运动入侵，camerasoc通过权利要求3，4,5唤醒后端业务平台。

优选的，所述s7步骤还包括将所述s5步骤中处理后的数据流直接以yuv/rgb格式流输出所述s8步骤。

优选的，所述s3步骤还包括isp亮度直方图统计得出图像光强值，实现光强测评。

与相关技术相比较，本发明提供的可自适应图像场景的前端图像的存储介质具有如下有益效果：

本发明提供一种可自适应图像场景的前端图像的存储介质，本发明将应用于安防摄像头的camerasoc芯片创新性地使用与前端图像处理业务，应用于有图像需求的终端系统；本发明比与基于video/imagecontrollers旧设计方案，可实现前端图像场景自适应调整优化功能。本发明利用camerasoc内部具有优异性能的isp图像信号处理单元，完成imagesensor输入图像的图像优化工作，实现图像3a、wdr、drc、3d降噪等图像调优功能；利用camerasoc内部集成的cpu内核，执行第三方图像算法，实现3a、区域自适应去雾、光强测评等功能；利用camerasoc内部集成的ive等硬件加速模块，执行运动侦测的智能算法，实现动态监控画面；利用camerasoc的媒体业务单元，完成imagesensor图像捕获，图像处理，图像编码，图像输出的多媒体业务；利用camerasoc的物理信号接口，将多媒体业务生成的图像或图片通过usb接口、mipitx接口、以太网接口传输至后端平台。

附图说明

图1为本发明提供的可自适应图像场景的前端图像的存储介质的一种较佳实施例的原理框图；

图2为可自适应图像场景的前端图像处理方法的原理框图；

图3为传统多目人脸识别终端图像流框图；

图4为本发明多目人脸识别终端图像流框图；

图5为传统多目人脸识别终端人体感应框图；

图6为本发明多目人脸识别组终端人体感应框图；

图7为传统多目人脸识别终端环境光强度检测框图；

图8为本发明多目人脸识别终端境光强度检测框图；

图9为本发明图像场景自适应功能子图；

图10为本发明前端图像处理方法与介质与旧技术相比的有益效果图；

图11为本发明多媒体的视频媒体业务处理流程图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

请结合参阅图1-图11，其中，图1为本发明提供的可自适应图像场景的前端图像的存储介质的一种较佳实施例的原理框图；图2为可自适应图像场景的前端图像处理方法的原理框图；图3为传统多目人脸识别终端图像流框图；图4为本发明多目人脸识别终端图像流框图；图5为传统多目人脸识别终端人体感应框图；图6为本发明多目人脸识别组终端人体感应框图；图7为传统多目人脸识别终端环境光强度检测框图；图8为本发明多目人脸识别终端境光强度检测框图；图9为本发明图像场景自适应功能子图；图10为本发明前端图像处理方法与介质与旧技术相比的有益效果图；图11为本发明多媒体的视频媒体业务处理流程图。可自适应图像场景的前端图像的存储介质包括：安防摄像头芯片、后端业务平台和图像传感器；安防摄像头芯片(下同camerasoc)、后端业务平台和图像传感器；温度传感器t-sensor，所述温度传感器设置在所述安防摄像头芯片内；摄像头数据接收接口，所述摄像头数据接收接口设置在所述安防摄像头芯片上；第一通信iic接口，所述通信iic接口设置在所述安防摄像头芯片上；第二通信iic接口，所述通信iic接口设置在所述安防摄像头芯片上；第一通用输入输出io，所述第一通用输入输出io设置在所述安防摄像头芯片上；第二通用输入输出io，所述第二通用输入输出io设置在所述安防摄像头芯片上；内存ddr接口，所述内存ddr接口设置在所述安防摄像头芯片上；存储控制器接口，所述存储控制器接口设置在所述安防摄像头芯片上。

所述安防摄像头芯片还包括hi3518ev300，hi3516ev200，hi3516ev300，hi3516cv500，hi3516dv300和hi3556v200。

所述安防摄像头芯片上还设有图像及视频输出接口，所述图像及视频输出接口与所述后端业务平台相连接，支持接口有usb，mipi，bt1120，bt656，rgb。

所述第二通信iic接口与所述后端业务平台相连接。

所述第二通用输入输出io与所述后端业务平台相连接。

所述第一通信iic接口与所述图像传感器相连接。

所述第一通用输入输出io与所述图像传感器相连接。

所述摄像头数据接收接口与所述图像传感器相连接，支持接口有mipi，lvds，dvp，hispi。

所述内存ddr接口与ddr颗粒相连接。

所述存储控制器接口与flash颗粒相连接。

所述温度传感器t-sensor接口用于监测其内部温度，实现过温保护机制。

本发明还提供一种可自适应图像场景的前端图像的处理方法，包括以下步骤：

s1：图像传感器输出原始图像数据格式图像；

s2：将s1中的数据输入到camerasoc中；

s3：对s2中的数据通过isp进行3a，降噪等图像调优；

s4：通过cpu运行第三方图像算法，进一步调整isp图像参数；

s5：通过vpss单元对s4中调优后的图像数据进行视频处理；

s6：通过ive单元对s5的输出视频数据进行画面运动侦测；

s7：将s5中处理后的数据通过venc完成h.265/h.264/jpeg/

mjpeg编码，输出h.265/h.264/jpeg码流；

s8：通过高速物理接口将s5中的码流输出到后端。

所述s1中还包括图像传感器imagesensor；所述s2中还包括mipi/lvds/hispiin，其是系统中soc与imagesensor连接的高速物理接口，其中soc为camerasoc是安防摄像头解决方案芯片，其具备较好的isp处理能力与多媒体业务处理能力，且具备单核或多核高频cpu，与硬件加速模块，soc与imagesensor件还连接有低速物理接口i2c/gpio；所述s3中的isp是系统图像信号处理单元，具备3a、wdr、drc、3d降噪等图像调优功能，isp上还连接有armcore，armcore是camerasoc集成的单核或多核cpu内核，可执行第三方图像算法的逻辑计算；所述s4中的vpss是camerasoc集成的视频处理子系统，实现视频处理功能，vpss上还连接有ive，ive是camerasoc集成的硬件加速模块，提供智能分析算法中所用到的一系列基础运算功能，以及部分耗时较大的特殊功能，ive上还连接有告知接口，告知接口camerasoc向后端业务平台的低速物理接口，实现图像运动侦测入侵预警告知，光强测评的弱光补光告知，同时后端可监测前端工作状态，同时完成前端功能配置；所述s5中的venc是视频编码模块；所述s6中的高速物理接口还包括usb/mipi/ethimageout，高速物理接口是camerasoc与后端业务平台互联的高速物理接口，后端业务平还包括dsp/gpu/fpga/asic/soc。

如图10，其中①前端自动曝光ae，该技术可解决拍摄物在逆光，强光场景下的曝光不足,背景太亮，细节体现欠佳的问题，改善拍摄物的成像细节，如更佳的人脸细节呈像，提高人脸识别精度。

②ispwdr宽动态，该技术减小可改善高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像头输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量的问题。该技术可改善更佳的人脸细节呈像，提高人脸识别精度。本发明借助ispwdr性能，无需imagesensor支持wdr数据处理，利于imagesensor的选型，减小imagesensor选型成本。

③光强测评，该技术可实现前端本地光强测评输出，替代光敏电阻与测光传感器，实现周围环境光光强量化与判断是否补光，减小成本，获得更佳的产品外观id。

④去雾算法，该技术可改善北方或秋天时节，户外门禁摄像头因空气中雾气而成像欠佳问题，实现更佳的人脸细节呈像。

⑤运动侦测，该技术可检测画面物体入侵，唤醒后端平台进入ai识别业务，替代测距与热释电红外传感器，减小成本，可获得更佳的产品外观id。

⑥多种码流在线可配，后端平台可通过告知接口配置前端输出码流格式，选择h.265或h.264或jpeg码流输出，兼容性设计可满足后端不同业务需求。

如图11①sensor为图像传感器输出raw等原始图像数据格式图像。

②sensorrx为接收图像传感器输出的原始数据，完成物理层与协议层的衔接，将原始数据解析为像素数据，并存入ddr内存缓冲池，或输送到下一个单元。

③vi是videoinput视频输入单元，完成图像信号处理与优化，并存入ddr内存缓冲池，或输送到下一个单元。

④vpss是videoprocessingsubsystem视频处理子系统，实现视频处理功能，包含视频遮挡、3d降噪、视频马赛克处理、视频裁剪、缩放、亮度单分量处理、幅型比转换等功能。并存入ddr内存缓冲池，或输送到下一个单元。

⑤venc是videoencode视频编码器，实现将前单元的视频流以h.265/h.264/jpeg等通用格式编码，并存入ddr内存缓冲池，或输送到下一个单元。

⑥usb/mipi/ethout是camerasoc高速信号物理接口，将前单元多媒体数据传输到后端平台。

如图1中，①lsadc为camerasoc对外的模数转换器adc，实现启动读取外部分压电阻，调用相应类型的sensor驱动及isp参数，实现支持多种sensor。

②camerasoc包含但不仅限于hi3518ev300，hi3516ev200，hi3516ev300，hi3516cv500，hi3516dv300，hi3556v200等。

③t-sensor为camerasoc内部的温度传感器，用于检测soc的温度，并实现过热重启的安全保护机制。

④mipi/lvds/dvpin为camerasoc的摄像头数据接收接口，连接于多种类型的imagesensor。

⑤i2c0为camerasoc与imagesensor通信的第一通信iic接口，实现soc对imagesensor的初始化与参数调整业务。

⑥gpio0为camerasoc的通用输入输出io，实现对imagesensor的上下电时序与二次复位的功能usb/mipiimageout接口为camerasoc的图像及视频流输出接口，将媒体处理的图像与视频输出给目标设备，本发明为后端业务平台，如dsp/gpu/fpga/asic等。

⑧gpio7为camerasoc的通用输入输出io，实现本发明存储介质唤醒后端业务平台的功能，实现静态休眠告知与动态唤醒的功能。

⑨i2c1为camerasoc与后端业务平台通信的第二通信iic接口,实现相互监控工作状态，实现后端对前端的必要管理工作。

⑩ddrc为camerasoc的内存ddr接口，主要与ddr芯片互联。但部分海思camerasoc内置ddr，故而可根据平台酌情增减该设计。

fmc为camerasoc的flashmemorycontroller，提供存储控制器接口连接片外spinandflash或者spinorflash，共同实现固件。

本发明提供的可自适应图像场景的前端图像的存储介质的工作原理如下：

本发明采用海思camerasoc芯片，利用其内部高性能isp单元可完成sensor图像数据处理，包括自动白平衡、自动曝光、demosaic、坏点矫正及镜头阴影矫正等基本功能，也支持wdr、drc、降噪，区域自适应去雾等高级处理功能，可完成更佳的图像优化效果；

本发明基于海思camerasoc的方案，利用其集成单核或多核cpu资源，以及ive(intelligentvideoengine)模块，可提供智能分析算法中所用到的一系列基础运算功能，可在各种光照环境下都能输出高质量的智能分析结果，快速完成图像场景判断，完成第三方自动增益ae功能，第三方去雾功能，第三方白平衡功能，光强测评功能；

本发明存储介质具有ive(intelligentvideoengine)单元，可提供智能分析算法中所用到的一系列基础运算功能，满足执行人形检测，运动侦测的智能算法所需硬件及基础算法资源。ive(intelligentvideoengine)是海思媒体处理芯片智能分析系统中的硬件加速模块。用户基于ive开发智能分析方案可以加速智能分析，降低cpu占用。当前ive提供的算子可以支撑开发视频诊断、周界防范等智能分析方案。本发明的存储介质支持第三方算法商移植人形检测算法于前端，通过分析rgb/irsensor图像画面，检测人形与运动侦测，支持gpio或usb，或是mipicsi等通信接口唤醒低功耗状态下的后端平台进入执行人脸识别业务。此方法亦可替代人脸识别设备测距传感器与热释电红外传感器用于感应人体的方法，完成人形检测功能，减小方案成本；

本发明存储介质可应用光测评图像算法，实现基于图像画面进行光强测评，粗略评估环境光光强，且将光强测评结果通过i2c/usb等通信接口告知后端平台，因此本发明中此项应用技术可替代光敏电阻和测光传感器，减小终端设备成本，使其产品结构与外观id设计更有优势。

与相关技术相比较，本发明提供的可自适应图像场景的前端图像的存储介质具有如下有益效果：

本发明提供一种可自适应图像场景的前端图像的存储介质，本发明将应用于安防摄像头的camerasoc芯片创新性地使用与前端图像处理业务，应用于有图像需求的终端系统；本发明比与基于video/imagecontrollers旧设计方案，可实现前端图像场景自适应调整优化功能。本发明利用camerasoc内部具有优异性能的isp图像信号处理单元，完成imagesensor输入图像的图像优化工作，实现图像3a、wdr、drc、3d降噪等图像调优功能；利用camerasoc内部集成的cpu内核，执行第三方图像算法，实现3a、区域自适应去雾、光强测评等功能；利用camerasoc内部集成的ive等硬件加速模块，执行人形检测，运动侦测的智能算法，实现人形检测功能；利用camerasoc的媒体业务单元，完成imagesensor图像捕获，图像处理，图像编码，图像输出的多媒体业务；利用camerasoc的物理信号接口，将多媒体业务生成的图像或图片通过usb接口、mipitx接口、以太网接口传输至后端平台。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。