个体关键点检测模型获取方法、检测方法及系统与流程

1.本发明涉及图像处理应用技术领域，特别是涉及一种个体关键点检测模型获取方法。本发明还涉及一种个体关键点检测方法及系统。


背景技术：

2.在当前畜牧业领域，智能化成为发展趋势。在智能化的养殖模式中，通过获取养殖现场的图像并从图像中识别出动物个体，从而监视每只动物个体的生长情况。其中为了更为细致地准确地识别动物个体，需要检测出动物个体的关键点。


技术实现要素：

3.鉴于以上所述，本发明的目的是提供一种个体关键点检测模型获取方法，使用得到的个体关键点检测模型能够从图像中检测出个体关键点。本发明还提供一种个体关键点检测方法及系统。
4.为实现上述目的，本发明提供如下技术方案：
5.一种个体关键点检测模型获取方法，根据以下过程训练获得个体关键点检测模型，包括：
6.从样本图像提取其包含的个体区域，获取所述个体区域中个体关键点的真实位置；
7.使用建立的所述个体关键点检测模型对所述个体区域学习，获得所述个体区域中个体关键点的预测位置；
8.根据所述个体区域中个体关键点的预测位置相对于所述个体区域中个体关键点的真实位置的损失，训练所述个体关键点检测模型。
9.优选的，获取所述个体区域中个体关键点的真实位置包括：根据所述个体区域中个体关键点的真实位置，获得反映所述个体区域中像素点相对于个体关键点真实位置的距离大小的第一热图；
10.使用建立的所述个体关键点检测模型对所述个体区域学习，获得所述个体区域中个体关键点的预测位置包括：使用建立的所述个体关键点检测模型对所述个体区域学习，获得反映所述个体区域中像素点相对于个体关键点预测位置的距离大小的第二热图；
11.根据所述个体区域中个体关键点的预测位置相对于所述个体区域中个体关键点的真实位置的损失，训练所述个体关键点检测模型包括：根据所述第二热图相对于所述第一热图的损失，训练所述个体关键点检测模型。
12.优选的，具体包括：根据所述个体区域中个体关键点的真实位置，通过高斯核函数运算获得所述第一热图。
13.优选的，使用建立的所述个体关键点检测模型对所述个体区域学习之前包括：将提取出的所述个体区域调整成所述个体关键点检测模型所要求的尺寸。
14.优选的，根据所述个体区域中个体关键点的预测位置相对于所述个体区域中个体
关键点的真实位置的损失，训练所述个体关键点检测模型包括：
15.对于在所述个体区域中匹配到个体关键点真实位置的个体关键点预测位置和没有匹配到个体关键点真实位置的个体关键点预测位置，在总损失中，匹配到个体关键点真实位置的个体关键点预测位置对应的损失和没有匹配到个体关键点真实位置的个体关键点预测位置对应的损失分别占不同的权重。
16.优选的，所述个体关键点检测模型包括依次连接的第1至第n模块，第1至第n模块中的任一模块包括的各个子分支网络分别用于对图像提取不同分辨率的特征，以及将各个子分支网络得到的特征融合后的特征图作为本模块输出的特征图，第i模块包括的子分支网络数量大于第i
‑
1模块包括的子分支网络数量，i∈[2，n]，n为大于等于2的正整数。
[0017]
优选的，所述第i模块相比于所述第i
‑
1模块增加的子分支网络提取特征的分辨率，小于所述第i
‑
1模块包括的每一子分支网络提取特征的分辨率。
[0018]
一种个体关键点检测方法，包括：
[0019]
从获取图像提取其包含的个体区域；
[0020]
使用个体关键点检测模型对所述个体区域处理，获得所述个体区域中个体关键点的位置，所述个体关键点检测模型使用以上所述的个体关键点检测模型获取方法获得；
[0021]
将所述个体区域中个体关键点的位置映射到所述获取图像中。
[0022]
优选的，具体包括：使用所述个体关键点检测模型对所述个体区域处理，获得反映所述个体区域中像素点相对于个体关键点位置的距离大小的热图，根据所述热图获得所述个体区域中个体关键点的位置。
[0023]
一种个体关键点检测系统，用于执行以上所述的个体关键点检测方法。
[0024]
由上述技术方案可知，本发明所提供的一种个体关键点检测模型获取方法，训练过程包括：首先从样本图像提取其包含的个体区域，以及获取个体区域中个体关键点的真实位置，然后，使用建立的个体关键点检测模型对个体区域学习，获得个体区域中个体关键点的预测位置，进一步根据个体区域中个体关键点的预测位置相对于个体区域中个体关键点的真实位置的损失，训练个体关键点检测模型。从而使用样本图像通过训练获得个体关键点检测模型。使用得到的个体关键点检测模型能够从图像中检测出个体关键点。
[0025]
本发明提供的一种个体关键点检测方法及系统，使用个体关键点检测模型从图像中检测出个体关键点。
附图说明
[0026]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]
图1为本发明实施例中获得个体关键点检测模型采用的训练过程流程图；
[0028]
图2为本发明一具体实例的个体关键点检测模型的结构示意图；
[0029]
图3为本发明一具体实例中标出关键点的样本图像；
[0030]
图4为本发明实施例提供的一种个体关键点检测方法的流程图。
具体实施方式
[0031]
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0032]
本实施例提供一种个体关键点检测模型获取方法，根据以下过程训练获得个体关键点检测模型，请参考图1，图1为本实施例中获得个体关键点检测模型采用的训练过程流程图，如图所示，训练过程包括以下步骤：
[0033]
s10：从样本图像提取其包含的个体区域，获取所述个体区域中个体关键点的真实位置。
[0034]
首先需要构建样本图像集。可以获取现场图像作为样本图像，优选的，选取图像中包含个体、个体角度正常的清晰图像作为样本图像，个体角度正常是指在图像中能够显示出个体关键点，这样便于标注个体关键点以进行训练。
[0035]
在一具体实例中本方法应用于动物养殖场，比如猪只养殖场，可以在养殖场栏位上方建设轨道并部署可沿轨道移动的巡检小车，在小车上搭载图像获取装置，在巡检监控过程中通过图像获取装置获取栏位内的图像。
[0036]
优选的，选取的样本图像是在不同时间，分别对不同栏位拍摄的图像，图像画面内动物个体数量、动物个体姿态等尽量不同，以满足训练模型对样本多样化的需求，有助于提高训练所得模型的检测准确性。另外，可以将样本图像集中一部分图像作为训练集，另外一部分图像作为验证集。
[0037]
对于样本图像，从样本图像提取出其中的个体区域，可选的可以人工在样本图像中标出个体边框，或者也可以通过目标识别算法从样本图像识别以及提取出个体。可以人工在提取出的个体图片中标注出个体关键点。
[0038]
s11：使用建立的所述个体关键点检测模型对所述个体区域学习，获得所述个体区域中个体关键点的预测位置。
[0039]
使用建立的个体关键点检测模型，对从样本图像提取出的个体区域学习，由模型输出处理得到的该个体区域中个体关键点的位置，表示为个体关键点的预测位置。
[0040]
优选的，建立的个体关键点检测模型对输入图像的尺寸有要求，那么在使用个体关键点检测模型对提取的个体区域图像学习时，需要将提取出的个体区域调整成个体关键点检测模型所要求的尺寸。
[0041]
在实际处理过程中，可以通过裁剪、调整尺寸或者标准化等操作步骤，实现从样本图像提取个体区域以及调整图像尺寸。示例性的可使用opencv工具。
[0042]
s12：根据所述个体区域中个体关键点的预测位置相对于所述个体区域中个体关键点的真实位置的损失，训练所述个体关键点检测模型。
[0043]
个体区域中个体关键点的预测位置相对于个体区域中个体关键点的真实位置的损失，反映了个体区域中个体关键点的预测位置相对于个体区域中个体关键点的真实位置的偏差大小。
[0044]
基于每一样本图像，根据个体区域中个体关键点的预测位置相对于真实位置的损
失，更新所建立的个体关键点检测模型的参数。依次地使用各个样本图像，根据上述过程训练个体关键点检测模型，进而得到满足条件的个体关键点检测模型。在实际应用过程中，可以是模型收敛则停止训练或者满足迭代终止条件则停止训练。
[0045]
可选的，在上述步骤s10中获取个体区域中个体关键点的真实位置可以包括：根据所述个体区域中个体关键点的真实位置，获得反映所述个体区域中像素点相对于个体关键点真实位置的距离大小的第一热图。第一热图反映了个体区域中各个像素点相对于个体关键点真实位置的距离大小。
[0046]
上述步骤s11中可具体包括：使用建立的所述个体关键点检测模型对所述个体区域学习，获得反映所述个体区域中像素点相对于个体关键点预测位置的距离大小的第二热图。即使用建立的个体关键点检测模型对个体区域学习，输出该个体区域对应的第二热图，第二热图反映了个体区域中各个像素点相对于个体关键点预测位置的距离大小。
[0047]
相应的，上述步骤s12中具体包括：根据所述第二热图相对于所述第一热图的损失，训练所述个体关键点检测模型。
[0048]
本实施例中对反映个体区域中像素点相对于个体关键点位置的距离大小的热图的具体形式以及获得方式不进行限定。可选的，根据个体区域中个体关键点的真实位置，可以通过高斯核函数运算获得第一热图。进行高斯核函数运算的计算式如下：
[0049][0050]
其中，(x，y)表示图像中像素点的坐标，(m，n)表示图像中个体关键点的坐标。对提取出的个体区域图像进行高斯核函数运算，那么(x，y)和(m，n)分别针对的是在个体区域图像的像素坐标。
[0051]
进一步可选的，所述第一热图以不同的颜色表示像素点相对于个体关键点真实位置的不同距离，所述第二热图以不同的颜色表示像素点相对于个体关键点预测位置的不同距离。比如可以采用热金属编码方法表示图像中像素点相对于个体关键点位置的不同距离。
[0052]
获得第二热图相对于第一热图的损失可根据以下计算式得到：loss＝(heatmap
pred
‑
heatmap
gt
)2，其中，heatmap
gt
表示第一热图，heatmap
pred
表示第二热图。
[0053]
进一步优选的，在实际应用中发现，若应用于检测猪只图像中猪只关键点，猪只站立时会出现将其背部边缘误判为腹股沟的现象。针对此，为了提高检测准确性，本实施例的个体关键点检测模型获取方法中，根据个体区域中个体关键点的预测位置相对于真实位置的损失训练个体关键点检测模型包括：对于在所述个体区域中匹配到个体关键点真实位置的个体关键点预测位置和没有匹配到个体关键点真实位置的个体关键点预测位置，在总损失中，匹配到个体关键点真实位置的个体关键点预测位置对应的损失和没有匹配到个体关键点真实位置的个体关键点预测位置对应的损失分别占不同的权重。
[0054]
对于由个体关键点检测模型输出的个体关键点预测位置，根据个体区域中标出的各个个体关键点真实位置，在个体区域中可能没有与该获得的个体关键点预测位置匹配的个体关键点真实位置。在计算损失时，对于匹配到个体关键点真实位置的个体关键点预测位置对应的损失和没有匹配到个体关键点真实位置的个体关键点预测位置对应的损失分
别计算，在总损失中分别占不同的权重。这样训练获得的个体关键点检测模型，可以降低将个体其它点误判为关键点的情况，使得模型检测效果得到改善。
[0055]
相应的，进行训练使用的损失函数可表示为：
[0056]
loss
invis
＝(heatmap
pred
×
(1
‑
target_weight)
‑
heatmap
gt
×
(1
‑
target_weight))2；
[0057]
loss
vis
＝(heatmap
pred
×
target_weight
‑
heatmap
gt
×
target_weight)2；
[0058]
loss＝invis_weight
×
loss
invis
(1
‑
invis_weight)
×
loss
vis
。
[0059]
其中，loss
invis
表示没有匹配到个体关键点真实位置的个体关键点产生的损失，loss
vis
表示匹配到个体关键点真实位置的个体关键点产生的损失，invis_weight表示匹配到个体关键点真实位置的个体关键点产生的损失的权重。target_weight为用于表示匹配到或者没有匹配到个体关键点真实位置的参量，匹配到个体关键点真实位置则参量取值为1，没有匹配到个体关键点真实位置则参量取值为0。
[0060]
建立的个体关键点检测模型可以使用神经网络模型。可选的，个体关键点检测模型可包括依次连接的第1至第n模块，第1至第n模块中的任一模块包括的各个子分支网络分别用于对图像提取不同分辨率的特征，以及将各个子分支网络得到的特征融合后的特征图作为本模块输出的特征图，第i模块包括的子分支网络数量大于第i
‑
1模块包括的子分支网络数量，i∈[2，n]，n为大于等于2的正整数。
[0061]
每一模块包括的各个子分支网络相互并列，各个子分支网络分别对图像提取不同分辨率的特征，以及将各个子分支网络得到的特征融合后的特征图作为本模块输出的特征图。本模块输出的特征图输入到下一模块。因此采用该模型提取不同分辨率的特征以及重复进行不同分辨率特征的融合，使得多个不同分支网络进行信息交换，使输出的高分辨率特征包含更多的信息。
[0062]
优选的，其中第i模块相比于第i
‑
1模块增加的子分支网络提取特征的分辨率，小于所述第i
‑
1模块包括的每一子分支网络提取特征的分辨率。示例性的，参考图2所示，图2为一具体实例的个体关键点检测模型的结构示意图，其中是以模型包括第1至第4模块为例说明的，如图所示第1模块包括一个子分支网络，后续依次连接的每一模块包括的子分支网络数量比前一模块包括的子分支网络数量多一个。任一模块的各个子分支网络得到的特征融合后的特征图作为本模块的输出特征图，分别输入后一模块的各个子分支网络。其中，第1模块包括的子分支网络分辨率最高，第2模块相比于第1模块增加的子分支网络分辨率降低，依次的后续各个模块新增的子分支网络分辨率依次降低。根据最后一模块输出的高分辨率特征图生成表征关键点位置的热图。采用该模型提取不同分辨率的特征以及重复进行不同分辨率特征的融合，使得多个不同分支网络进行信息交换，使输出的高分辨率特征包含更多的信息。因此提取出来的关键点位置图，在空间上的分布会更准确，既有高分辨率的信息，又融合了高语义的信息。
[0063]
在一具体实例中，本方法应用于猪只养殖场，采集栏位内的图像为样本图像。共包括548张样本图像，其中438张作为训练集，110张作为验证集。从样本图像提取猪只个体以及标注猪只关键点，以耳根、腹股沟为关键点，参考图3所示，图3为一具体实例中标出关键点的样本图像。将提取出的猪只个体图片设置成固定大小宽设置为192、高设置为256，进而输入构建的神经网络模型内进行训练。神经网络模型采用hrnet网络模型。
[0064]
相应的请参考图4，图4为本实施例提供的一种个体关键点检测方法的流程图，如
图所示，所述个体关键点检测方法包括以下步骤：
[0065]
s20：从获取图像提取其包含的个体区域。
[0066]
对于从现场区域获取的图像，首先从图像中提取出个体区域。可以人工在图像中标出各个个体边框，或者也可以通过目标识别算法从图像识别以及提取出个体。
[0067]
可选的，获取图像可以是红外光图像，相应的在训练个体关键点检测模型时使用红外光图像为训练样本。
[0068]
s21：使用个体关键点检测模型对所述个体区域处理，获得所述个体区域中个体关键点的位置，所述个体关键点检测模型使用以上所述的个体关键点检测模型获取方法获得。
[0069]
使用训练得到的个体关键点检测模型，对提取出的个体区域学习，由模型输出处理得到的该个体区域中个体关键点的位置。
[0070]
可选的，若在训练个体关键点检测模型时，以反映个体区域中像素点相对于个体关键点位置的距离大小的热图作为个体关键点检测模型的输出，那么本步骤中，使用个体关键点检测模型对个体区域处理，得到反映所述个体区域中像素点相对于个体关键点位置的距离大小的热图，进而根据所述热图获得所述个体区域中个体关键点的位置。比如以高斯核函数运算获得的热图描述个体关键点位置，那么根据模型输出的热图中的最大值位置，作为检测出的个体关键点。
[0071]
s22：将所述个体区域中个体关键点的位置映射到所述获取图像中。通过仿射变换将各个关键点位置反算到原始图像上，从而实现了从图像中检测出个体关键点。
[0072]
本实施例的个体关键点检测方法能够从图像中检测出个体关键点，使得更为细致地准确地识别个体。
[0073]
本实施例还提供一种个体关键点检测系统，用于执行以上所述的个体关键点检测方法。本实施例的个体关键点检测系统能够从图像中检测出个体关键点，使得更为细致地准确地识别个体。
[0074]
以上对本发明所提供的个体关键点检测模型获取方法、检测方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。