基于强化学习的自动对焦方法、系统及其应用设备与流程

1.本发明涉及图像处理技术领域，具体为基于强化学习的自动对焦方法、系统及其应用设备。


背景技术：

2.目前自动对焦方法主要有两种：反差式对焦和相位对焦。其中，反差式对焦具有对硬件要求低、弱光环境适应性好等优点，被广泛使用。对焦算法一般运行在camera的dsp芯片上，需要算法具有高实时性。目前通用方案主要有：传统清晰度算子 对焦搜索算法，以及cnn深度学习的去模糊算法两大方向。
3.以gan为代表的深度学习去模糊算法具有很好的效果，但由于计算量大，无法做到实时性。传统清晰度算子速度较快，但由于对焦搜索算法在搜索过程中容易陷入局部极值点导致对焦失败。
4.与此同时，现有的自动对焦算法有如下：一类是直接计算图像梯度值，利用爬山搜索算法获得局部最佳焦平面位置，需要评价函数具有绝对的单峰性和极高的灵敏度，否则，算法容易将评价函数的局部极值当作最佳焦平面位置从而导致对焦失败，或者在离焦区域评价函数趋于平坦，导致电机迟迟得不到反转信号，最终进入死循环；另一类是利用深度学习算法，获取大量的训练集数据。而上述的两类自动对焦算法中，存在：第一类直接计算图像梯度值，由于爬山搜索算法对评价函数和电机驱动的要求非常高，否则电机迟迟得不到反转信号，最终进入死循环；第二类采用深度学习算法，此方法前期需要获取大量的训练集数据，同时需要较为良好的标注数据，增加了计算成本。
5.基于此，急需发明创造一种结合上面两种方案优点，采用浅层神经网络学习图像清晰度，并通过非线性量化清晰度值，过滤噪声等原因导致的影响，同时对对焦搜索算法采用强化学习方案，学习最佳搜索路径，提升对焦速度的技术方案。


技术实现要素：

6.针对现有技术存在的不足，本发明目的是提供基于强化学习的自动对焦方法、系统及其应用设备，以解决上述背景技术中提出的问题，本发明通过采用强化学习算法替代了传统的对焦搜索方法，以及同步采用浅层cnn网络学习图像清晰度的方式，从而具备搜索效率更高、改进传统图像清晰度算子在焦点附近清晰度描述不准确情况的优点，解决了现有技术中的问题。
7.为了实现上述目的，本发明是通过如下的技术方案来实现：基于强化学习的自动对焦方法，包括以下步骤：
8.第一步，基于设备采集终端获取目标图像数据；
9.第二步，对目标图像数据进行非线性量化，获取目标图像数据的聚焦值与其量化步长的对应比例，从而得到在当前聚焦值下的目标图像数据的锐度评价系数；
10.第三步，预设清晰度网络训练模型，依据锐度评价系数以对所述目标图像数据的
清晰度值进行识别；
11.第四步，对清晰度网络训练模型进行强化调整，得到强化学习网络模型，并基于强化学习网络模型输出的目标图像数据的清晰度值进行测试，完成对焦。
12.作为对本发明中所述基于强化学习的自动对焦方法的改进，第二步中，目标图像数据的聚焦值与其量化步长的对应比例的判断标准为：目标图像数据聚焦值与来量化步长呈正比例关系，在具体实施时，目标图像数据的失焦严重时，则表示量化步长越长，目标图像数据接近焦点时，则表示量化频率越高。
13.作为对本发明中所述基于强化学习的自动对焦方法的改进，第三步中，预设清晰度网络训练模型的具体实施方式为：
14.s3
‑
1、获取训练样本，其中，所述训练样本中至少标注有一训练特征信息，每个所述训练特征信息用于表征在不同场景下获取的目标图像数据，其中，目标图像数据包括由失焦到对完焦的整个获取阶段中的所有子视频数据；
15.s3
‑
2、采用所述训练特征信息输入至训练网络模型同时进行训练，得到清晰度网络训练模型，其中，训练网络模型为卷积神经浅层网络cnn模型；
16.s3
‑
3、基于训练网络模型对经清晰度优化后的目标图像数据进行识别输出。
17.作为对本发明中所述基于强化学习的自动对焦方法的改进，第四步中，得到强化学习网络模型的步骤包括：
18.s4
‑
1、以s3
‑
3中输出的目标图像数据作为输入值，将此目标图像数据作为新的训练样本的训练特征信息，并代入至训练网络模型进行训练，得到新的训练网络模型；
19.s4
‑
2、对此目标图像数据进行测试，若达到测试目标结果，则直接完成对焦；
20.反之，则顺序执行后续硬件对焦调整指令，直至达到测试目标结果后，直接输出。
21.进一步的，本发明的第四步中，采用强化学习算法以替代对焦搜索方法，用于对清晰度网络训练模型进行强化调整，得到强化学习网络模型，其中，所述强化学习算法的具体实施方式为：在以s3
‑
3中输出的目标图像数据作为新的训练样本向训练网络模型作适应性输入时，基于训练网络模型且按照学习路径进行搜索，直至找到最优搜索路径结束，以用于提升对目标图像数据的对焦速度。
22.作为本发明的第二方面，提出了一种基于强化学习的自动对焦系统，包括图像获取模块、图像处理模块、图像清晰度值识别模块、图像清晰度值调整模块、图像输出模块，其中，
23.图像获取模块，用于从设备采集终端获取目标图像数据；
24.图像处理模块，对所获取的目标图像数据按照非线性量化进行划分，获取目标图像数据的聚焦值与其量化步长的对应比例；
25.图像清晰度值识别模块，对经非线性量化后的目标图像数据进行清晰度值的识别；
26.图像清晰度值调整模块连接所述图像清晰度值识别模块，用于优化所述目标图像清晰度值识别模块，以保证目标图像数据进行清晰度值的识别过程更为精确；
27.图像输出模块，连接外设系统，用于对经优化后且具备最佳目标图像数据清晰度值进行输出。
28.在本发明提出的一种基于强化学习的自动对焦系统可能实现的一种方式中，所述
图像清晰度值识别模块对获取目标图像数据进行清晰度值的识别过程是基于卷积神经浅层网络cnn模型进行实施。
29.与此同时，在本发明提出的一种基于强化学习的自动对焦系统可能实现的一种方式中，所述图像清晰度值调整模块基于强化学习算法优化所述目标图像清晰度值识别模块，以得到强化学习网络模型，提升对目标图像数据的对焦速度。
30.进一步的，本发明提出的设备采集终端为sensor敏感元件探测设备，用于获取目标图像数据。
31.作为本发明的第三方面，一种基于强化学习的自动对焦设备，包括至少一个处理器以及与至少一个所述处理器建立信息交互通道的存储器，其中，
32.每个所述存储器存储有可被至少一个所述处理器执行的计算机程序；
33.所述计算机程序被至少一个所述处理器执行，以使至少一个所述处理器执行基于强化学习的自动对焦方法和/或基于强化学习的自动对焦系统。
34.与现有技术相比，本发明的有益效果：
35.1、本发明通过采用浅层神经网络学习图像清晰度，并通过非线性量化清晰度值，过滤噪声等原因导致的影响，同时对焦搜索算法采用强化学习方案，具备学习最佳搜索路径，提升对焦速度的优点；
36.2、与此同时，通过采用强化学习算法替代了传统的对焦搜索方法，以及采用浅层cnn网络学习图像清晰度的方式，区别于现有技术而具备搜索效率更高、改进传统图像清晰度算子在焦点附近清晰度描述不准确情况的优点。
附图说明
37.参照附图来说明本发明的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本发明的保护范围构成限制，在附图中，相同的附图标记用于指代相同的部件。其中：
38.图1为本发明一实施例中所提出基于强化学习的自动对焦方法的执行步骤示意图；
39.图2为本发明一实施例中所提出基于强化学习的自动对焦方法的流程框图；
40.图3为本发明一实施例中所提出基于强化学习的自动对焦系统的结构框图。
具体实施方式
41.容易理解，根据本发明的技术方案，在不变更本发明实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。
42.如图1
‑
3所示，作为本发明的一个实施例，本发明提供技术方案：基于强化学习的自动对焦方法，包括以下步骤：
43.第一步，基于设备采集终端获取目标图像数据，可以理解的是，设备采集终端为sensor敏感元件探测设备，用于获取目标图像数据；
44.第二步，对目标图像数据进行非线性量化，获取目标图像数据的聚焦值与其量化步长的对应比例，从而得到在当前聚焦值下的目标图像数据的锐度评价系数，需要说明的
是，在此步骤中，目标图像数据的聚焦值与其量化步长的对应比例的判断标准为：目标图像数据聚焦值与来量化步长呈正比例关系，在具体实施时，目标图像数据的失焦严重时，则表示量化步长越长，目标图像数据接近焦点时，则表示量化频率越高；
45.第三步，预设清晰度网络训练模型，依据锐度评价系数以对目标图像数据的清晰度值进行识别，需要说明的是，预设清晰度网络训练模型的具体实施方式为：
46.s3
‑
1、获取训练样本，其中，训练样本中至少标注有一训练特征信息，每个训练特征信息用于表征在不同场景下获取的目标图像数据，其中，目标图像数据包括由失焦到对完焦的整个获取阶段中的所有子视频数据；
47.s3
‑
2、采用训练特征信息输入至训练网络模型同时进行训练，得到清晰度网络训练模型，其中，训练网络模型为卷积神经浅层网络cnn模型，可以理解的是，采用浅层神经网络学习图像清晰度，通过非线性量化清晰度值，可以达到过滤噪声等原因导致的影响；
48.s3
‑
3、基于训练网络模型对经清晰度优化后的目标图像数据进行识别输出；
49.第四步，对清晰度网络训练模型进行强化调整，得到强化学习网络模型，并基于强化学习网络模型输出的目标图像数据的清晰度值进行测试，完成对焦，可以理解的是，得到强化学习网络模型的步骤包括：
50.s4
‑
1、以s3
‑
3中输出的目标图像数据作为输入值，将此目标图像数据作为新的训练样本的训练特征信息，并代入至训练网络模型进行训练，得到新的训练网络模型，并以此新的训练网络模型的目标图像数据进行识别输出；
51.s4
‑
2、对此目标图像数据进行测试，若达到测试目标结果，则直接完成对焦；
52.反之，则顺序执行后续硬件对焦调整指令并返回第一步顺序执行，直至达到测试目标结果后，直接输出。
53.在本发明的一实施例中，为解决现有技术清晰度算子速度较快，但由于对焦搜索算法在搜索过程中容易陷入局部极值点导致对焦失败的问题，因此，在本发明的第四步中，采用强化学习算法以替代对焦搜索方法，用于对清晰度网络训练模型进行强化调整，得到强化学习网络模型，其中，强化学习算法的具体实施方式为：在以s3
‑
3中输出的目标图像数据作为新的训练样本向训练网络模型作适应性输入时，基于训练网络模型且按照学习路径进行搜索，直至找到最优搜索路径结束，以用于提升对目标图像数据的对焦速度，此时，基于强化学习方法结合浅层cnn网络，学习以最小的代价(对焦次数)达到最优结果。从而区别于现有技术而具备搜索效率更高、改进传统图像清晰度算子在焦点附近清晰度描述不准确情况优点。
54.作为本发明实施的第二方面，提出了一种基于强化学习的自动对焦系统，包括图像获取模块、图像处理模块、图像清晰度值识别模块、图像清晰度值调整模块、图像输出模块，其中，
55.图像获取模块，用于从设备采集终端获取目标图像数据；
56.图像处理模块，对所获取的目标图像数据按照非线性量化进行划分，获取目标图像数据的聚焦值与其量化步长的对应比例；
57.图像清晰度值识别模块，对经非线性量化后的目标图像数据进行清晰度值的识别；
58.图像清晰度值调整模块连接图像清晰度值识别模块，用于优化目标图像清晰度值
识别模块，以保证目标图像数据进行清晰度值的识别过程更为精确；
59.图像输出模块，连接外设系统，用于对经优化后且具备最佳目标图像数据清晰度值进行输出。
60.基于上述技术构思，一方面，本发明提出的图像清晰度值识别模块对获取目标图像数据进行清晰度值的识别过程是基于卷积神经浅层网络cnn模型进行实施，另一方面，图像清晰度值调整模块基于强化学习算法优化目标图像清晰度值识别模块，以得到强化学习网络模型，提升对目标图像数据的对焦速度，与此同时，本发明提出的设备采集终端为sensor敏感元件探测设备，用于获取目标图像数据。可以理解的是，本发明通过采用浅层神经网络学习图像清晰度，并通过非线性量化清晰度值，过滤噪声等原因导致的影响，同时对焦搜索算法采用强化学习方案，具备学习最佳搜索路径，提升对焦速度的优点。
61.作为本发明实施的第三方面，提出了一种基于强化学习的自动对焦设备，包括至少一个处理器以及与至少一个处理器建立信息交互通道的存储器，其中，
62.每个存储器存储有可被至少一个处理器执行的计算机程序；计算机程序被至少一个处理器执行，以使至少一个处理器执行基于强化学习的自动对焦方法和/或基于强化学习的自动对焦系统。
63.本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均应当属于本发明的保护范围内。