一种适用于低功耗快起优化AISP视频去噪的方法与流程

本发明属于视频降噪，特别涉及一种适用于低功耗快起优化aisp视频去噪的方法。

背景技术：

1、在对视频和图像进行处理时，由于传感器的特性以及信号在传输处理的过程中会受到设备和环境等的影响，图像中往往存在噪声，尤其在低光场景下，通过比较大的增益获取到的视频与图像都含有大量噪声。aisp是现今处理此类场景的热门方向，但对于噪声较大的场景，时域去噪总归需要处理若干帧后才能达到预期的效果，而模型需要在npu上执行，那么正常状况下，只有在经过uboot、内核后的应用层，模型才能启动，那么此时再经模型收敛至稳定状态所经过的时间会很长，达不到电池类产品对于快起速度的要求。

2、所用的视频去噪网络基于指数移动平均的原理递归完成，即来一帧处理一帧，模型同时输入两帧，一帧参考帧，一帧当前帧。

3、然而，现有技术中存在以下缺点：

4、对于噪声较大的场景，时域去噪总归需要处理若干帧后才能达到预期的效果，而模型需要在npu上执行，那么正常状况下，只有在经过uboot、内核后的应用层，模型才能启动，那么此时再经模型收敛至稳定状态所经过的时间会很长，达不到电池类产品对于快起速度的要求，往往需要十几帧甚至几十帧才能收敛完成，而对于极暗场景，又常会降帧来提高图像亮度与信噪比，那么时间将会更长，导致方案无法落地。

5、此外，本领域技术术语包括：

6、深度学习：是机器学习(ml,machine learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(ai,artificial intelligence)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

7、低功耗快起：低功耗快起技术是指能够在保证设备低功耗的同时，实现快速启动的技术。这种技术特别适用于需要长时间运行且对启动速度有要求的设备，如无线电池摄像头等。

技术实现思路

1、为了解决上述问题，本申请的目的在于：在保证快起速度的前提下，同时提高模型第一帧出流的图像即可用，效果优化。

2、具体地，本发明提供一种适用于低功耗快起优化aisp视频去噪的方法，所述方法包括以下步骤：

3、s1.测光切换：根据当前场景的光线条件判断是否启用aisp模式，当在暗光场景下启用aisp模式，所述暗光场景根据具体应用需求，光照在0.1lux以下的可被认为是暗光场景；

4、s2.初始ev设置：在确定启用aisp模式时，将曝光行和模拟增益设置为当前固定帧率模式下的最高值，使ae快速收敛至稳定曝光；

5、s3.内核预处理：利用内核丢帧的数据序列进行加权平均处理，生成静态区较干净的参考帧图像和对应的运动权重信息，作为模型的输入；

6、s4.前序融合权重信息获取：通过计数器统计当前处理的帧数，并根据帧数计算融合权重，其中第n帧的权重为1/n；

7、s5.模型输入与处理：将步骤s2和s3中获得的参考帧图像、运动权重信息以及当前帧输入模型，进行去噪处理并输出结果。

8、所述步骤s1中，先测光判断该场景是不是该启用aisp；本方法建立在场景需要使用aisp的基础上；针对电池类产品aisp的快起，在暗光场景下使用aisp。

9、所述步骤s2中，应用的场景曝光行都是根据帧率情况提到最高，模拟增益也已是最高；假设应用的bayer域ai3d去噪模型是放在整个isp的pipeline最前方，数字增益不影响模型本身；

10、在内核中测光后确定切换aisp模式时，给予ae收敛的初始ev很高，最大曝光行与模拟增益，那么ae就能够快速收敛至稳定，且如果只是数字增益上的收敛，则完全不影响aisp的3d效果；

11、在实验过程中，直接将曝光行与模拟增益提到固定帧率模式下最高，实践效果的曝光也能够快速稳定。

12、所述步骤s3进一步包括：

13、s3.1，获取待去噪视频的当前帧图像以及缓存中的前序融合参考帧图像，这是一个递归操作；

14、s3.2，获取所述前序融合参考帧对应的运动权重信息；即输入模型的部分还有前序融合参考帧所对应的运动权重信息weightt；

15、s3.3，利用指数移动平均公式对所述当前帧图像和所述前序融合参考帧图像进行去噪处理，得到去噪后的结果，所述公式为：

16、fusiont+1＝ftt*weightt+1+ftt+1*(1-weightt+1)

17、这里ftt为上一帧经过时域去噪后的结果，ftt+1为当前帧，待去噪的图像，fusiont+1为去噪后的结果，深度学习模型使用此公式进行去噪操作；

18、s3.4，在内核状态下，对丢帧数据序列进行平均处理，生成静态区域的干净数据作为模型的参考帧；

19、s3.5，将所述参考帧和对应的运动权重信息输入深度学习模型，使得模型输出的第一帧为收敛后的结果，实现快速收敛。

20、所述步骤s3中，加权平均处理采用指数移动平均公式，具体实现包括：

21、avg_tmp＝(src-avg)*weight

22、avg＝avg_tmp+avg

23、avg＝np.clip(avg,0,1)

24、其中，src为当前帧图像，avg为加权平均后的参考帧图像，weight为融合权重。

25、所述步骤s4中的融合权重计算通过以下伪代码实现：weight_ind+＝1

26、weight＝1./weight_ind

27、其中，weight_ind为帧数计数器，即此时处理的是第几帧。

28、所述步骤s4中前序融合权重的获取，假设针对是ai3d模型，其输入有三个，两个图像一个权重，图像为所述步骤s2中获得的参考帧，当前帧由sensor直接出流，而融合权重原本是由模型在处理上一帧数据时的输出，但根据步骤s2的逻辑可以得出，对于简单对序列做加权平均得话，权重可推导得到，两帧得权重为1/2，三帧为1/3，以此类推。

29、所述步骤s5中将步骤s2和步骤s3中获得的参考帧图像、运动权重信息以及当前帧输入ai3d模型，即可正常迭代输出去噪之后的数据。

30、由此，本方案有以下优势：

31、1、初始的ev使得ae快速收敛到稳定。

32、2、内核的预处理可以使得应用层的aisp3d在第一帧就可以达到较好的效果，避免丢帧与快起及时性问题。

1.一种适用于低功耗快起优化aisp视频去噪的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种适用于低功耗快起优化aisp视频去噪的方法，其特征在于，所述步骤s1中，先测光判断该场景是不是该启用aisp；本方法建立在场景需要使用aisp的基础上；针对电池类产品aisp的快起，在暗光场景下使用aisp。

3.根据权利要求1所述的一种适用于低功耗快起优化aisp视频去噪的方法，其特征在于，所述步骤s2中，应用的场景曝光行都是根据帧率情况提到最高，模拟增益也已是最高；假设应用的bayer域ai3d去噪模型是放在整个isp的pipeline最前方，数字增益不影响模型本身；

4.根据权利要求3所述的一种适用于低功耗快起优化aisp视频去噪的方法，其特征在于，所述步骤s3进一步包括：

5.根据权利要求4所述的一种适用于低功耗快起优化aisp视频去噪的方法，其特征在于，所述步骤s3中，加权平均处理采用指数移动平均公式，具体实现包括：

6.根据权利要求1所述的一种适用于低功耗快起优化aisp视频去噪的方法，其特征在于，所述步骤s4中的融合权重计算通过以下伪代码实现：weight_ind+＝1

7.根据权利要求6所述的一种适用于低功耗快起优化aisp视频去噪的方法，其特征在于，所述步骤s4中前序融合权重的获取，假设针对是ai3d模型，其输入有三个，两个图像一个权重，图像为所述步骤s2中获得的参考帧，当前帧由sensor直接出流，而融合权重原本是由模型在处理上一帧数据时的输出，但根据步骤s2的逻辑可以得出，对于简单对序列做加权平均得话，权重可推导得到，两帧得权重为1/2，三帧为1/3，以此类推。

8.根据权利要求6所述的一种适用于低功耗快起优化aisp视频去噪的方法，其特征在于，所述步骤s5中将步骤s2和步骤s3中获得的参考帧图像、运动权重信息以及当前帧输入ai3d模型，即可正常迭代输出去噪之后的数据。