物种对焦识别方法、系统及可读存储介质与流程

1.本发明涉及对象识别技术领域，特别涉及一种物种对焦识别方法、系统及可读存储介质。


背景技术：

2.目前，昆虫识别用户图的拍摄效果显著不佳，我们希望能够提升用户图的质量，从而基于高质量的用户图来给用户提供更精准的识别结果，提升用户主观满意度。经过分析用户图的信息，我们发现由于昆虫的特性导致用户拍摄时，出现数量较多的模糊和主体过远图片，当昆虫在图片中占比较大，细节较清楚时，可以较为准确的识别到昆虫的属/种的物种信息，而当拍摄距离过远，虫体占比太小时，基本定位不到种的物种信息，而当昆虫移动时，由于对焦不准，镜头晃动或者虫体移动造成的画面模糊，同样也经常性的无法准确定位到昆虫的物种信息。同样的情况也发生在例如鸟类、鱼类等物种分类上。


技术实现要素：

3.本公开的目的之一是提供一种物种对焦识别方法，包括：
4.实时检测相机的取景框界面，在所述相机输出的每一秒的取景框界面信息中选取多帧原始图像信息；
5.根据物种主体识别模型对所述多帧原始图像进行识别，获取物种主体的实时位置信息；
6.根据物种主体的实时位置信息设置相机的中心对焦并调整对焦；
7.获取并确定包含物种主体的待识别图像；
8.根据物种识别模型对所述待识别图像进行识别，获取物种识别结果信息。
9.在一些实施例中，所述根据物种主体的实时位置信息设置相机的中心对焦并调整对焦包括：
10.根据返回的物种主体的实时位置计算其所占面积信息，当其占整个取景框界面的预设比例面积以下时，调整相机的焦距进行对焦。
11.在一些实施例中，所述调整相机的焦距进行对焦的最大上限为相机提供的最大光学变焦的大小。
12.在一些实施例中，当相机焦距调整到达上限后，识别所述物种主体位置在取景框界面中的面积小于预设面积时，输出提醒信息。
13.在一些实施例中，所述获取并确定包含物种主体的待识别图像包括：
14.检测相机对焦稳定后，每隔预设时间自动抓拍一张包含物种主体的图像，当获取到预设数量的包含物种主体的图像时，完成获取包含物种主体的图像的自动抓拍处理。
15.在一些实施例中，所述获取并确定包含物种主体的待识别图像包括：
16.当获取到预设数量的包含物种主体的图像时，选取符合对焦清晰度要求的一张或多张包含物种主体的图像作为待识别图像。
17.在一些实施例中，所述确定包含物种主体的待识别图像还包括：
18.根据物种主体在所述待识别图像上的位置信息，将所述物种主体区域裁剪后放大到预设固定尺寸居中显示。
19.在一些实施例中，所述物种主体识别模型和/或物种识别模型为神经网络模型。
20.根据本公开的另一方面，提出了一种可读存储介质，其上存储有程序，所述程序被执行时实现如上所述的物种对焦识别方法。
21.根据本公开的另一方面，提出了一种物种对焦识别系统，包括处理器和存储器，所述存储器上存储有程序，所述程序被所述处理器执行时，实现如上所述的物种对焦识别方法。
22.通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得更为清楚。
附图说明
23.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
24.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
25.图1所示为本发明较佳实施例的物种对焦识别方法流程图。
26.注意，在以下说明的实施方式中，有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在一些情况中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
27.为了便于理解，在附图等中所示的各结构的位置、尺寸及范围等有时不表示实际的位置、尺寸及范围等。因此，本公开并不限于附图等所公开的位置、尺寸及范围等。
具体实施方式
28.下面将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
29.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。也就是说，本文中的结构及方法是以示例性的方式示出，来说明本公开中的结构和方法的不同实施例。然而，本领域技术人员将会理解，它们仅仅说明可以用来实施的本公开的示例性方式，而不是穷尽的方式。此外，附图不必按比例绘制，一些特征可能被放大以示出具体组件的细节。
30.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
31.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
32.图1所示为本发明较佳实施例的物种对焦识别方法流程图，该方法可以在例如手机、平板电脑等智能终端上安装的应用程序(app)中实现。如图1所示，该方法包括：
33.步骤s1：实时检测相机的取景框界面，在所述相机输出的每一秒的取景框界面信息中选取多帧原始图像信息；
34.步骤s2：根据物种主体识别模型对所述多帧原始图像进行识别，获取物种主体的实时位置信息；
35.步骤s3：根据物种主体的实时位置信息设置相机的中心对焦并调整对焦；
36.步骤s4：获取并确定包含物种主体的待识别图像；
37.步骤s5：根据物种识别模型对所述待识别图像进行识别，获取物种识别结果信息。
38.在一些实施例中，所述物种对焦识别方法实时检测相机的取景框界面，在所述相机输出的每一秒的取景框界面信息中选取10帧原始图像信息，例如可以平均间隔选取或者是随机选取10帧原始图像，然后将选取的原始图像传输给物种主体识别模型进行识别，从而获取物种主体在每帧原始图像中的实时位置信息。
39.所述物种主体识别模型可以是神经网络模型，具体可以是卷积神经网络模型或残差网络模型。卷积神经网络模型为深度前馈神经网络，其利用卷积核扫描原始图像，提取出原始图像中多个待识别的特征，进而对物种待识别的主体位置特征进行识别。另外，在对原始图像进行识别的过程中，可以直接将原始的物种图像输入卷积神经网络模型，而无需对原始图像进行预处理。卷积神经网络模型相比于其他的识别模型，具备更高的识别准确率以及识别效率。
40.残差网络模型相比于卷积神经网络模型多了恒等映射层，可以避免随着网络深度(网络中叠层的数量)的增加而导致的准确率饱和、甚至下降的现象。残差网络模型中恒等映射层的恒等映射函数需要满足：恒等映射函数与残差网络模型的输入之和等于残差网络模型的输出。引入恒等映射以后，残差网络模型对输出的变化更加明显，因此可以大大提高物种的主体位置特征识别准确率和识别效率。
41.在一些实施例中，所述根据物种主体的实时位置信息设置相机的中心对焦并调整对焦包括：
42.根据返回的物种主体的实时位置计算其所占面积信息，当其占整个取景框界面的预设比例面积以下时，调整相机的焦距进行对焦。例如，根据物种主体的实时位置计算其所占面积信息，当其占整个取景框界面的1/4面积以下时，调整相机的焦距进行对焦，直到物种主体面积占整个取景框界面达到1/4面积以上时，停止调整相机的焦距并自动对焦。
43.在一些实施例中，所述调整相机的焦距进行对焦的最大上限为相机提供的最大光学变焦的大小，即获取相机的焦距信息，当调整相机的焦距达到相机能提供的最大光学变焦的大小时，不再尝试继续调整相机焦距的大小。
44.在一些实施例中，当相机焦距调整到达上限后，识别所述物种主体位置在取景框界面中的面积小于预设面积时，输出提醒信息。例如，当相机焦距的调整到达上限后，发现物种主体在取景框界面中的面积还是小于100*100像素大小时，输出提醒信息，建议用户靠近拍摄。
45.在一些实施例中，所述获取并确定包含物种主体的待识别图像包括：
46.检测相机对焦稳定后，每隔预设时间自动抓拍一张包含物种主体的图像，当获取到预设数量的包含物种主体的图像时，完成获取包含物种主体的图像的自动抓拍处理，当获取到预设数量的包含物种主体的图像时，选取符合对焦清晰度要求的一张或多张包含物
种主体的图像作为待识别图像。
47.相机自动对焦完成并稳定后，系统可以自动抓拍或者是由用户选择拍照，完成拍照获取包含物种主体的图像的流程。例如，当检测到相机对焦稳定后，进行自动抓拍，每隔0.5s拍一张照片，从而生成5张照片，并展示出来让用户选择一张或多张去识别，或者自动选取对焦清晰度符合要求的一张或多张去识别，也可以直接自动选取对焦清晰度最好的一张作为待识别图像。
48.在一些实施例中，所述确定包含物种主体的待识别图像还包括：
49.根据物种主体在所述待识别图像上的位置信息，将所述物种主体区域裁剪后放大到预设固定尺寸居中显示。
50.如果物种主体识别模型检测的物种主体位置区域的标注框置信度够高就可以直接采用，否则提供用户辅助点击选取物种主体识别的位置区域，例如可以采用可变大小或可移动的标注框选定方式来确定物种主体位置区域，然后进行裁剪处理，获取物种主体区域图像。
51.对于处理后的图像，可以再次使用物种主体识别模型确定物种主体位置区域，将识别框的坐标定位在裁剪页面中展示出来，用户可以手动再次调整，最终确定物种主体位置区域，之后将其输入物种识别模型中进行物种分类的识别，从而得到此物种图像属于哪一种物种分类的相关信息并进行展示。
52.其中，所述物种可以是昆虫、鸟类、鱼类等物种。所述物种识别模型可以是神经网络模型，具体可以是卷积神经网络模型或残差网络模型。卷积神经网络模型为深度前馈神经网络，其利用卷积核扫描物种图像，提取出物种图像中多个待识别的特征，进而对物种待识别的特征进行识别。另外，在对物种图像进行识别的过程中，可以直接将原始的物种图像输入卷积神经网络模型，而无需对物种图像进行预处理。卷积神经网络模型相比于其他的识别模型，具备更高的识别准确率以及识别效率。
53.残差网络模型相比于卷积神经网络模型多了恒等映射层，可以避免随着网络深度(网络中叠层的数量)的增加而导致的准确率饱和、甚至下降的现象。残差网络模型中恒等映射层的恒等映射函数需要满足：恒等映射函数与残差网络模型的输入之和等于残差网络模型的输出。引入恒等映射以后，残差网络模型对输出的变化更加明显，因此可以大大提高物种的特征识别准确率和识别效率。
54.在一些实施例中，训练特征分类模型可以包括：
55.获取具有预设数量的标注有多个特征信息的物种图像的第一样本集；
56.从第一样本集中确定一定比例的物种图像作为第一训练集；
57.利用第一训练集训练特征分类模型；以及
58.在第一训练准确率大于或者等于第一预设准确率时训练结束，得到训练后的特征分类模型。
59.具体地，在第一样本集中，可以包括大量的物种图像，并且每幅物种图像都对应标注有其对应的多个特征。将物种图像输入特征分类模型以产生输出的特征信息，然后根据输出的特征信息和标注的特征信息之间的比较结果，可以对特征分类模型中的相关参数进行调节，即对特征分类模型进行训练，直至特征分类模型的第一训练准确率大于或者等于第一预设准确率时训练结束，从而得到训练后的特征分类模型。根据一幅物种图像，特征分
类模型也可以输出多个候选特征，其中每个候选特征可以具有其相应的特征置信度，以待进一步的分析筛选。
60.进一步的，还可以对训练得到的特征分类模型进行测试，具体可以包括：
61.从第一样本集中确定一定比例的物种图像作为第一测试集；
62.利用第一测试集确定训练后的特征分类模型的第一模型准确率；以及
63.在第一模型准确率小于第二预设准确率时，调整第一训练集和/或特征分类模型进行重新训练。
64.一般情况下，第一测试集和第一训练集中的物种图像并不完全相同，因而可以用第一测试集来测试特征分类模型是否对第一训练集之外的物种图像也有很好的识别效果。在测试过程中，通过比较根据第一测试集中的物种图像所产生的输出的特征信息和标注的特征信息，来计算特征分类模型的第一模型准确率。在一些示例中，第一模型准确率的计算方法可以与第一训练准确率的计算方法相同。当测试得到的第一模型准确率小于第二预设准确率时，表明特征分类模型的识别效果还不够好，因而可以调整第一训练集，具体例如可以增加第一训练集中的标注有特征信息的物种图像的数量，或者调整特征分类模型本身，或者对上述两者均进行调整，然后重新训练特征分类模型来改善其识别效果。在一些实施例中，第二预设准确率可以被设置为等于第一预设准确率。
65.根据本公开的另一方面，提出了一种可读存储介质，其上存储有程序，所述程序被执行时实现如上所述的物种对焦识别方法。
66.根据本公开的另一方面，提出了一种物种对焦识别系统，包括处理器和存储器，所述存储器上存储有程序，所述程序被所述处理器执行时，实现如上所述的物种对焦识别方法。
67.虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。在此公开的各实施例可以任意组合，而不脱离本公开的精神和范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本公开的范围和精神。本公开的范围由所附权利要求来限定。