一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于野外夜间环境的目标物监测方法、装置、设备及介质与流程

2022-07-16 23:59:35 来源:中国专利 TAG:


1.本发明涉及人工智能技术领域,尤其涉及一种基于野外夜间环境的目标物监测方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.随着人们对大自然探索的深入,对于物种多样化的研究,成为了人们所关注的重点,现有对野生动物生活习性及物种进化的观测中,多采取摄像方式对目标物种进行监测。
3.由于野外监测环境的不确定性,尤其在夜间情况下,野外光线不足,且遮挡物较多,导致监测环境恶劣,但对于夜间监测常用的红外图像分析,由于红外图像的分辨率较差、对比度较低,视觉效果模糊等情况,会造成在野外夜间情况下对目标物种的错误监测、遗漏监测等,进而导致仅依赖于红外图像,难以在野外夜间情况下准确地对目标物种进行监测,使得在野外夜间环境下对目标物监测的精确度较低。


技术实现要素:

4.本发明提供一种基于野外夜间环境的目标物监测方法、装置及计算机可读存储介质,其主要目的在于解决在野外夜间环境下对目标物监测的精确度较低的问题。
5.为实现上述目的,本发明提供的一种基于野外夜间环境的目标物监测方法,包括:获取摄像机拍摄的可视光图像,根据所述可视光图像内所有像素点的多色阶异权均值计算所述摄像机的环境光强;获取所述摄像机所在地理位置的正常光强图像,识别所述正常光强图像内的固定遮挡物轮廓,以及识别所述正常光强图像的图像光强;获取所述摄像机拍摄的红外图像,根据所述环境光强以及所述图像光强对所述红外图像进行色彩信息修补,得到修正图像;识别所述修正图像内的热源区域轮廓,根据所述热源区域轮廓及所述固定遮挡物轮廓对所述修正图像进行区域划分,得到多个局部区域;分别对每个局部区域进行双通道融合特征识别,得到每个所述局部区域的局部特征;根据所述局部特征对所述热源区域轮廓进行轮廓补全,得到完整热源轮廓,并根据所述完整热源轮廓识别所述热源区域轮廓对应的目标物种类。
6.可选地,所述根据所述可视光图像内所有像素点的多色阶异权均值计算所述摄像机的环境光强,包括:读取所述可视光图像内每个像素点的色阶数值;逐个从所述可视光图像内选取其中一个像素点为目标像素点,并计算所述目标像素点对应的色阶数值与预设色阶中值的差值;利用如下异权均值算法计算根据所述差值计算所述摄像机的环境光强:
其中,为所述摄像机的环境光强,为所述可视光图像内第个目标像素点的色阶数值,为所述可视光图像内像素点的数量,为预设常数,为所述预设色阶中值。
7.可选地,所述识别所述正常光强图像内的固定遮挡物轮廓,包括:对所述正常光强图像内的每个像素点进行预设次数的卷积及池化处理,得到所述正常光强图像的低维像素特征;对所述低维像素特征映射至预先构建的高维空间坐标系内,得到每个低维像素特征对应的空间坐标;逐个从所述空间坐标内选取其中一个空间坐标为明白坐标,计算所述目标坐标与预设的每个固定遮挡物标签之间的距离值,并选取所述距离值最小的固定遮挡物标签为所述目标坐标对应的低维图像特征的固定遮挡物标签;确定所述正常光强图像内具有相同固定遮挡物标签的像素点组成的连通域为所述正常光强图像内的固定遮挡物轮廓。
8.可选地,所述根据所述环境光强以及所述图像光强对所述红外图像进行色彩信息修补,得到修正图像,包括:以所述红外图像的中心像素点为原点将所述红外图像内的像素映射至预先构建的第一平面坐标系,得到第一平面坐标;利用非下采样轮廓波变换的方式计算所述红外图像内每个像素点在预设n个方向上的第一像素梯度;以所述正常光强图像的中心像素点为原点将所述正常光强图像内的像素映射至预先构建的第二平面坐标系,得到第二平面坐标;利用非下采样剪切波变换的方式计算所述正常光强图像内每个像素点在预设n个方向上的第二像素梯度;计算所述图像光强与所述环境光强的差值,并将所述差值作为变换系数;利用所述变换系数将所述第一像素梯度向所述第二像素梯度的方向进行调整,并将调整后的红外图像作为所述修正图像。
9.可选地,所述识别所述修正图像内的热源区域轮廓,包括:识别所述修正图像内每个像素点的热力值;选取所述热力值大于预设热力阈值的像素点组成的连通域为热源区域;连接所述热源区域最外界的像素点,得到热源区域轮廓。
10.可选地,所述根据所述局部特征对所述热源区域轮廓进行轮廓补全,得到完整热源轮廓,包括:根据所述固定遮挡物与所述热源区域的位置关系确定所述热源区域轮廓的多个
轮廓断点;构建每个所述轮廓断点的切线,确定每个所述切线的交点为预测连接点,并将每个所述轮廓断点和每个所述预测连接点利用平滑曲线进行连接,得到完整热源轮廓。
11.可选地,所述分别对每个局部区域进行双通道融合特征识别,得到每个所述局部区域的局部特征,包括:逐个从所述多个局部区域中选取其中一个局部区域为目标区域;利用预设的第一特征通道识别所述目标区域的第一区域特征,以及利用预设的第二特征通道识别所述目标区域的第二区域特征,其中,所述第一区域特征与所述第二区域特征不相同,所述第一区域特征与所述第二区域特征属于角点特征、斑点特征、边缘特征、直线特征、纹理特征其中的两种不同特征;利用预设的特征金字塔网络将所述第一区域特征与所述第二区域特征融合为所述目标区域的局部特征。
12.为了解决上述问题,本发明还提供一种基于野外夜间环境的目标物监测装置,所述装置包括:图像分析模块,用于获取摄像机拍摄的可视光图像,根据所述可视光图像内所有像素点的多色阶异权均值计算所述摄像机的环境光强;获取所述摄像机所在地理位置的正常光强图像,识别所述正常光强图像内的固定遮挡物轮廓,以及识别所述正常光强图像的图像光强;信息修补模块,用于获取所述摄像机拍摄的红外图像,根据所述环境光强以及所述图像光强对所述红外图像进行色彩信息修补,得到修正图像;区域划分模块,用于识别所述修正图像内的热源区域轮廓,根据所述热源区域轮廓及所述固定遮挡物轮廓对所述修正图像进行区域划分,得到多个局部区域;特征提取模块,用于分别对每个局部区域进行双通道融合特征识别,得到每个所述局部区域的局部特征;目标物监测模块,用于根据所述局部特征对所述热源区域轮廓进行轮廓补全,得到完整热源轮廓,并根据所述完整热源轮廓识别所述热源区域轮廓对应的目标物种类。
13.为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述所述的基于野外夜间环境的目标物监测方法。
14.为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于野外夜间环境的目标物监测方法。
15.本发明实施例利用摄像机拍摄红外图像时的环境光强与正常光强图像的图像光强对红外图像进行色彩信息修补,可在原本仅包含热量信息的红外图像中添加部分色彩信息,进而提升红外图像的质量,有利于提升后续对利用红外图像对目标物进行检测的精确度;同时,将修正后的红外图像按照热源区域轮廓和固定遮挡物轮廓划分为多个局部区域,
可实现对目标物、固定遮挡物整体的划分,避免不同类别物体出现在同一局部区域内,进而有利于提升后续进行目标物识别的精确度;进一步地,分别对每个局部区域进行双通道融合特征识别,可提升识别出的局部特征的精确度,增加局部特征内的特征信息含量,以提升最终进行目标物识别的精确度;最后,对热源区域轮廓进行轮廓补全,避免目标物被部分遮挡情况下轮廓的形态不完整,有利于提升监测的精确度。因此本发明提出的基于野外夜间环境的目标物监测方法、装置、电子设备及计算机可读存储介质,可以解决在野外夜间环境下对目标物监测的精确度较低的问题。
附图说明
16.图1为本发明一实施例提供的基于野外夜间环境的目标物监测方法的流程示意图;图2为本发明一实施例提供的根据环境光强以及图像光强对红外图像进行色彩信息修补的流程示意图;图3为本发明一实施例提供的识别修正图像内的热源区域轮廓的流程示意图;图4为本发明一实施例提供的基于野外夜间环境的目标物监测装置的功能模块图;图5为本发明一实施例提供的实现所述基于野外夜间环境的目标物监测方法的电子设备的结构示意图。
17.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
18.应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
19.本技术实施例提供一种基于野外夜间环境的目标物监测方法。所述基于野外夜间环境的目标物监测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之,所述基于野外夜间环境的目标物监测方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
20.参照图1所示,为本发明一实施例提供的基于野外夜间环境的目标物监测方法的流程示意图。在本实施例中,所述基于野外夜间环境的目标物监测方法包括:s1、获取摄像机拍摄的可视光图像,根据所述可视光图像内所有像素点的多色阶异权均值计算所述摄像机的环境光强。
21.本发明实施例中,所述摄像机可以为任何具有摄像、录像等图像捕获功能的设备,其中,所述可视光图像是所述摄像机在人眼可视光范围内拍摄到的图像。
22.本发明其中一个实际应用场景中,可视光图像内每个像素的色阶范围处于0-255之间,所述色阶是指颜色的明暗程度,0代表最暗的黑色,255代表最亮的白色;随着数值的增大,所代表的色阶亮度越高(即随着色阶数值的增大,所代表的颜色越接近白色),因此,
可对所述可视光图像内所有像素点的不同色阶的像素进行统计,并利用该可视光图像内所有像素点的多色阶异权均值确定所述摄像机当前所处环境的环境光强。
23.本发明实施例中,所述根据所述可视光图像内所有像素点的多色阶异权均值计算所述摄像机的环境光强,包括:读取所述可视光图像内每个像素点的色阶数值;逐个从所述可视光图像内选取其中一个像素点为目标像素点,并计算所述目标像素点对应的色阶数值与预设色阶中值的差值;利用如下异权均值算法计算根据所述差值计算所述摄像机的环境光强:利用如下异权均值算法计算根据所述差值计算所述摄像机的环境光强:其中,为所述摄像机的环境光强,为所述可视光图像内第个目标像素点的色阶数值,为所述可视光图像内像素点的数量,为预设常数,为所述预设色阶中值,y为方向系数,y=1或y=-1。
24.详细地,优选为255,优选为125。
25.本发明实施例中,通过计算所述目标像素点对应的色阶数值与预设色阶中值的差值,可判断出该目标像素点更偏向于黑色色阶还是更偏向于白色色阶,进而实现在计算所述摄像机的环境光强时,根据该目标像素点不同的偏向给予该目标像素点不同的取值方向,即当时,则说明该目标像素点更偏向于黑色色阶,为该可视光图像的整体亮度贡献为负,此时y=-1;当时,则说明该目标像素点更偏向于白色色阶,为该可视光图像的整体亮度贡献为正,此时y=1。
26.详细地,计算目标像素点对应的色阶数值与该色阶数值与预设常数(优选为255)的商,可实现对不同目标像素点赋予不同的差异权重,以实现对该可视光图像中整体光强的精确评价,进而计算所有像素点的商值的均值,得到所述摄像机的环境光强,实现了对该摄像机的环境光强的精确分析。
27.s2、获取所述摄像机所在地理位置的正常光强图像,识别所述正常光强图像内的固定遮挡物轮廓,以及识别所述正常光强图像的图像光强。
28.本发明实施例中,所述正常光强图像是指所述摄像机在正常光强下拍摄得到的图像,如白昼环境时在该摄像机拍摄所述可视光图像的地理位置下拍摄得到的图像。
29.本发明其中一个实际应用场景中,由于所述正常光强图像是摄像机在正常光强下拍摄得到的图像,因此,可对所述正常光强图像进行分析,以识别出所述正常光强图像内的固定遮挡物的轮廓,其中,在野外环境中,固定遮挡物包括但不限于岩石、树木等具有较高
固定性的物体。
30.本发明实施例中,所述识别所述正常光强图像内的固定遮挡物轮廓,包括:对所述正常光强图像内的每个像素点进行预设次数的卷积及池化处理,得到所述正常光强图像的低维像素特征;对所述低维像素特征映射至预先构建的高维空间坐标系内,得到每个低维像素特征对应的空间坐标;逐个从所述空间坐标内选取其中一个空间坐标为目标坐标,计算所述目标坐标与预设的每个固定遮挡物标签之间的距离值,并选取所述距离值最小的固定遮挡物标签为所述目标坐标对应的低维图像特征的固定遮挡物标签;确定所述正常光强图像内具有相同固定遮挡物标签的像素点组成的连通域为所述正常光强图像内的固定遮挡物轮廓。
31.详细地,本发明实施例可利用预设的图像处理模型(如vgg net、lenet、alex net等)对所述正常光强图像内的每个像素点进行预设次数的卷积及池化处理,从而实现对所述正常光强图像的数据降维,以提取出所述正常光强图像内包含的低维像素特征。
32.具体地,卷积及池化操作可实现对正常光强图像的数据降维,从而便于高效地从该正常光强图像中提取出图像的特征,但降维过后提取出的特征由于维度的缺乏,并不利于特征的分类,因此,本发明实施例可利用预设的映射函数将所述低维像素特征映射至预先构建的高维空间坐标系内,得到每个低维像素特征在的在较高维度下的空间坐标,以便于后续对特征的分类,其中,所述映射函数包括但不限于map函数、高斯函数。
33.本发明实施例中,可利用欧式距离算法、余弦距离算法等具有距离值计算功能的算法计算所述目标坐标与预设的每个固定遮挡物标签之间的距离值,其中,所述固定遮挡物标签为预先生成的用于对野外环境中不同的固定遮挡物的特征进行标记的标签,所述固定遮挡物标签包括但不限于岩石遮挡物标签、树木遮挡物标签等。
34.进一步地,所述识别所述正常光强图像的图像光强的步骤,与s1中根据所述可视光图像内所有像素点的多色阶异权均值计算所述摄像机的环境光强的步骤一致,在此不做赘述。
35.本发明实施例中,通过对所述正常光强图像的分析,可从所述正常光强图像内识别出该地理位置下摄像机捕获的画面中包含的固定遮挡物,进而有利于后续进行精确的图像分析,固定遮挡物对画面的遮掩,导致分析结果的不精确。
36.s3、获取所述摄像机拍摄的红外图像,根据所述环境光强以及所述图像光强对所述红外图像进行色彩信息修补,得到修正图像。
37.本发明实施例中,所述红外图像可由所述摄像机内包含的红外图像模组拍摄获取,由于在野外夜间环境中,光线十分缺乏,因此,通过所述摄像机拍摄得到红外图像并对所述红外图像进行分析,有利于提升最终在野外夜间环境下对目标物进行检测的精确度。
38.本发明其中一个实际应用场景中,由于红外图像自身具有分辨率差、对比度低、信噪比低、视觉效果模糊以及灰度分布与目标反射特性无线性关系等特点,若直接对所述红外图像进行分析,容易造成对图像中目标物的错误识别或遗漏识别等情况。因此,本发明实施例可根据所述环境摄像机当前的环境光强以及所述摄像机拍摄得到的正确光强图像的图像光强对所述红外图像进行色彩信息修补,以在原本仅包含热量信息的红外图像中添加
部分色彩信息,进而提升所述红外图像的质量,有利于提升后续对利用所述红外图像对目标物进行检测的精确度。
39.本发明实施例中,参图2所示,所述根据所述环境光强以及所述图像光强对所述红外图像进行色彩信息修补,得到修正图像,包括:s21、以所述红外图像的中心像素点为原点将所述红外图像内的像素映射至预先构建的第一平面坐标系,得到第一平面坐标;s22、利用非下采样轮廓波变换的方式计算所述红外图像内每个像素点在预设n个方向上的第一像素梯度;s23、以所述正常光强图像的中心像素点为原点将所述正常光强图像内的像素映射至预先构建的第二平面坐标系,得到第二平面坐标;s24、利用非下采样剪切波变换的方式计算所述正常光强图像内每个像素点在预设n个方向上的第二像素梯度;s25、计算所述图像光强与所述环境光强的差值,并将所述差值作为变换系数;s26、利用所述变换系数将所述第一像素梯度向所述第二像素梯度的方向进行调整,并将调整后的红外图像作为所述修正图像。
40.详细地,所述非下采样轮廓波变换是指利用尺度分解的非下采样金字塔滤波器组对所述红外图像内每个像素点的低频分量分解为低通子带和高频子带;同时利用方向分解的非下采样滤波器组对所述红外图像内每个像素点的高频分量以及低频分量分解得到的高频子带进行分解,得到带通方向子带的过程,进而利用分解出的低通子带与带通方向子带对红外图像内每个像素点在预设n个方向上的第一像素梯度进行计算,得到所述红外图像内每个像素点在预设n个方向上的第一像素梯度。
41.具体地,所述非下采样剪切波变换是指应用剪切波变换对正常光强图像进行处理时,利用其离散形式,通过使用非下采样拉普拉斯塔式滤波器组得到图像的多尺度分解,然后采用剪切波滤波器组合对得到的各尺度子带图像进行方向分解,从而得到不同尺度、不同方向的子带特征,以计算正常光强图像内每个像素点在预设n个方向上的第二像素梯度。
42.本发明实施例中,由于所述正常光强图像内包含较多的色彩信息,因此,可根据所述正常光强图像的图像光强与所述环境光强的差值,将所述红外图像内每个像素点在预设n个方向上的像素梯度,向所述正常光强图像内每个像素点在预设n个方向上的像素梯度方向进行调整,以实现对所述红外图像的色彩信息添加,得到修正图像,进而有利于提升后续根据所述红外图像对目标物进行监测的精确度。
43.s4、识别所述修正图像内的热源区域轮廓,根据所述热源区域轮廓及所述固定遮挡物轮廓对所述修正图像进行区域划分,得到多个局部区域。
44.本发明实施例中,由于所述修正图像是通过对红外图像进行色彩修正得到的,因此,所述修正图像中也包含了红外图像内原本包含的热源信息,进而,可对所述修正图像进行分析,以识别出所述修正图像内的热源区域轮廓。
45.详细地,野外夜间环境中,通常情况下,热源即代表活体,因此,可在后续根据识别出的所述修正图像内的热源区域轮廓进一步分析,实现对目标物的监测。
46.本发明实施例中,参图3所示,所述识别所述修正图像内的热源区域轮廓,包括:s31、识别所述修正图像内每个像素点的热力值;
s32、选取所述热力值大于预设热力阈值的像素点组成的连通域为热源区域;s33、连接所述热源区域最外界的像素点,得到热源区域轮廓。
47.详细地,本发明实施例可利用预设的图像识别软件(如photoshop、lighting等)识别所述修正图像内每个像素点的热力值。
48.具体地,由于生物体发出的热源会随着接触的介质向周身一定范围内散发,因此,本发明实施例选取所述热力值大于预设热力阈值的像素点组成的连通域为热源区域(其中,该区域用于标识目标物的实际体型范围),可有效避免由于热源热量的散发导致识别出的热源区域与目标物实际体型差异较大,进而有利于提升最终进行目标物监测的精确度。
49.本发明实施例中,可连接所述热源区域最外围的像素点,以形成所述热源区域的热源区域轮廓。
50.进一步地,为了实现从所述修正图像中识别出目标物,需要对所述修正图像的内容进行分析,现有的大多数识别方法提取的都是图像内的全局不变特征,进而利用全局不变特征对图像内的目标物进行识别。但由于野外环境的复杂性,全局不变特征的识别方法难以消除图像的成像畸变,尤其在野外图像构成较为复杂,且存在局部遮挡的情况下,利用全局不变特征对目标物进行匹配识别十分困难。
51.因此,本发明实施例可将所述修正图像划分为多个局部区域,进而单独对每个局部区域进行分析,并在后续根据所有局部分析的结果对该修正图像内的目标物进行识别,以提升对目标物进行检测的精确度。
52.本发明实施例中,可按照所述热源区域轮廓和所述固定遮挡物轮廓将所述修正图像划分为多个局部区域,此方法的划分不同于现有技术中按照预设尺寸比例直接对图像进行分割,直接按照预设尺寸比例对图像进行分割不但会将原本不属于同一整体的部分划分到同一块区域,而且会将原本同一完整的整体划分为多个碎片,进而为后续特征提取与目标物检测造成计算量增大、特征混乱的影响。因此,本发明实施例按照所述热源区域轮廓和所述固定遮挡物轮廓将所述修正图像划分为多个局部区域,可实现对目标物、固定遮挡物整体的划分,避免不同类别物体出现在同一局部区域内,进而有利于提升后续进行目标物识别的精确度。
53.s5、分别对每个局部区域进行双通道融合特征识别,得到每个所述局部区域的局部特征。
54.本发明实施例中,为了实现对目标物的精确检测,可分别对每个局部区域进行特征识别,得到每个局部区域的局部特征。
55.详细地,本发明实施例可采用双通道融合特征识别的方式识别每个局部区域的局部特征。其中,所述双通道融合特征识别的方式是指分别利用两个通道识别每个局部区域的不同类别的局部特征,并将识别出的不同类别的局部特征进行特征融合,以最终生成每个局部区域的融合了双重特征的局部特征,进而提升识别出的局部特征的精确度,增加局部特征内的特征信息含量,以提升最终进行目标物识别的精确度。
56.具体地,所述局部特征包括,但不限于角点特征、斑点特征、边缘特征、直线特征、纹理特征等。
57.本发明实施例中,所述分别对每个局部区域进行双通道融合特征识别,得到每个所述局部区域的局部特征,包括:
逐个从所述多个局部区域中选取其中一个局部区域为目标区域;利用预设的第一特征通道识别所述目标区域的第一区域特征,以及利用预设的第二特征通道识别所述目标区域的第二区域特征,其中,所述第一区域特征与所述第二区域特征不相同,所述第一区域特征与所述第二区域特征属于角点特征、斑点特征、边缘特征、直线特征、纹理特征其中的两种不同特征;利用预设的特征金字塔网络将所述第一区域特征与所述第二区域特征融合为所述目标区域的局部特征。
58.详细地,所述第一特征通道与所述第二特征通道为预先利用特征检测算子构建的特征通道,可实现对目标区域内不同类型特征的提取。
59.例如,当需要从目标区域内提取的特征为角点特征时,可利用角点检测算子(如harris算子、susan算子、css算子、features from accelerated segment test算子等)构建特征通道;当需要从目标区域内提取的特征为斑点特征时,可利用斑点检测算子(如dog算子、multi-scale harris算子、sift算子、surf算子等)构建特征通道。
60.进一步地,本发明实施例中,可将不同特征通道的特征分别映射至预设的特征金字塔网络的不同层次中,进而逐层将映射至特征金字塔网络中的第一区域特征与第二区域特征进行自顶向下的融合,得到所述目标区域的局部特征。
61.s6、根据所述局部特征对所述热源区域轮廓进行轮廓补全,得到完整热源轮廓,并根据所述完整热源轮廓识别所述热源区域轮廓对应的目标物种类。
62.本发明其中一个实际应用场景中,由于野外环境的复杂性,修正图像内包含的目标物可能会出现被岩石、树木等固定遮挡物部分遮挡的情况,遮挡的情况下会造成目标物形态不完整,若直接对所述修正图像进行目标物的监测识别,会导致监测结果的精确度较低。
63.因此,本发明实施例可根据所述局部特征对所述热源区域的轮廓进行补全,得到完整热源轮廓,进而在根据该完整热源轮廓对目标物进行监测,以提升监测的精确度。
64.本发明实施例中,所述根据所述局部特征对所述热源区域轮廓进行轮廓补全,得到完整热源轮廓,包括:根据所述固定遮挡物与所述热源区域的位置关系确定所述热源区域轮廓的多个轮廓断点;构建每个所述轮廓断点的切线,确定每个所述切线的交点为预测连接点,并将每个所述轮廓断点和每个所述预测连接点利用平滑曲线进行连接,得到完整热源轮廓。
65.详细地,所述轮廓断点即热源轮廓与所述固定遮挡物所交界的像素点,当存在固定遮挡物遮挡了热源区域的一部分时,则所述热源区域的热源轮廓至少存在两个轮廓断点与所述固定遮挡物交界,因此,可构建每个所述轮廓断点的切线进而将切线的交点作为预测连接点,并将轮廓断点、预测连接点利用平滑的曲线相连,得到完整热源轮廓。
66.进一步地,本发明实施例中,可将所述完整热源轮廓的中心像素点作为原点构建像素坐标系,并根据该完整热源轮廓的每个像素点的坐标值,利用如下匹配度算法根据所述完整热源轮廓识别所述热源区域轮廓对应的目标物种类:
其中, 为所述完整热源轮廓的第个像素点的坐标值,为预设的第种预设的目标物种类对应的坐标标签,所述完整热源轮廓的像素点总数量,为所述完整热源轮廓与预设的第种预设的目标物种类之间的匹配值。
67.本发明实施例可确定所述匹配值最大的目标物种类为所述完整热源轮廓对应的目标物种类,即确定所述红外图像内包含目标物为与所述完整热源轮廓之间匹配值最大的目标物种类。
68.本发明实施例利用摄像机拍摄红外图像时的环境光强与正常光强图像的图像光强对红外图像进行色彩信息修补,可在原本仅包含热量信息的红外图像中添加部分色彩信息,进而提升红外图像的质量,有利于提升后续对利用红外图像对目标物进行检测的精确度;同时,将修正后的红外图像按照热源区域轮廓和固定遮挡物轮廓划分为多个局部区域,可实现对目标物、固定遮挡物整体的划分,避免不同类别物体出现在同一局部区域内,进而有利于提升后续进行目标物识别的精确度;进一步地,分别对每个局部区域进行双通道融合特征识别,可提升识别出的局部特征的精确度,增加局部特征内的特征信息含量,以提升最终进行目标物识别的精确度;最后,对热源区域轮廓进行轮廓补全,避免目标物被部分遮挡情况下轮廓的形态不完整,有利于提升监测的精确度。因此本发明提出的基于野外夜间环境的目标物监测方法,可以解决在野外夜间环境下对目标物监测的精确度较低的问题。
69.如图4所示,是本发明一实施例提供的基于野外夜间环境的目标物监测装置的功能模块图。
70.本发明所述基于野外夜间环境的目标物监测装置100可以安装于电子设备中。根据实现的功能,所述基于野外夜间环境的目标物监测装置100可以包括图像分析模块101、信息修补模块102、区域划分模块103、特征提取模块104及目标物监测模块105。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
71.在本实施例中,关于各模块/单元的功能如下:所述图像分析模块101,用于获取摄像机拍摄的可视光图像,根据所述可视光图像内所有像素点的多色阶异权均值计算所述摄像机的环境光强;获取所述摄像机所在地理位置的正常光强图像,识别所述正常光强图像内的固定遮挡物轮廓,以及识别所述正常光强图像的图像光强;所述信息修补模块102,用于获取所述摄像机拍摄的红外图像,根据所述环境光强以及所述图像光强对所述红外图像进行色彩信息修补,得到修正图像;所述区域划分模块103,用于识别所述修正图像内的热源区域轮廓,根据所述热源区域轮廓及所述固定遮挡物轮廓对所述修正图像进行区域划分,得到多个局部区域;所述特征提取模块104,用于分别对每个局部区域进行双通道融合特征识别,得到每个所述局部区域的局部特征;所述目标物监测模块105,用于根据所述局部特征对所述热源区域轮廓进行轮廓补全,得到完整热源轮廓,并根据所述完整热源轮廓识别所述热源区域轮廓对应的目标物种类。
72.详细地,本发明实施例中所述基于野外夜间环境的目标物监测装置100中所述的各模块在使用时采用与上述图1至图3中所述的基于野外夜间环境的目标物监测方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
73.如图5所示,是本发明一实施例提供的实现基于野外夜间环境的目标物监测方法的电子设备的结构示意图。
74.所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如基于野外夜间环境的目标物监测程序。
75.其中,所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(central processing unit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行基于野外夜间环境的目标物监测程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
76.所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card, smc)、安全数字(secure digital, sd)卡、闪存卡(flash card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如基于野外夜间环境的目标物监测程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
77.所述通信总线12可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
78.所述通信接口13用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
79.图中仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图中示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
80.例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等,在此不再赘述。
81.应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
82.所述电子设备1中的所述存储器11存储的基于野外夜间环境的目标物监测程序是多个指令的组合,在所述处理器10中运行时,可以实现:获取摄像机拍摄的可视光图像,根据所述可视光图像内所有像素点的多色阶异权均值计算所述摄像机的环境光强;获取所述摄像机所在地理位置的正常光强图像,识别所述正常光强图像内的固定遮挡物轮廓,以及识别所述正常光强图像的图像光强;获取所述摄像机拍摄的红外图像,根据所述环境光强以及所述图像光强对所述红外图像进行色彩信息修补,得到修正图像;识别所述修正图像内的热源区域轮廓,根据所述热源区域轮廓及所述固定遮挡物轮廓对所述修正图像进行区域划分,得到多个局部区域;分别对每个局部区域进行双通道融合特征识别,得到每个所述局部区域的局部特征;根据所述局部特征对所述热源区域轮廓进行轮廓补全,得到完整热源轮廓,并根据所述完整热源轮廓识别所述热源区域轮廓对应的目标物种类。
83.具体地,所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述,在此不赘述。
84.进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)。
85.本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:获取摄像机拍摄的可视光图像,根据所述可视光图像内所有像素点的多色阶异权均值计算所述摄像机的环境光强;获取所述摄像机所在地理位置的正常光强图像,识别所述正常光强图像内的固定遮挡物轮廓,以及识别所述正常光强图像的图像光强;获取所述摄像机拍摄的红外图像,根据所述环境光强以及所述图像光强对所述红外图像进行色彩信息修补,得到修正图像;识别所述修正图像内的热源区域轮廓,根据所述热源区域轮廓及所述固定遮挡物轮廓对所述修正图像进行区域划分,得到多个局部区域;分别对每个局部区域进行双通道融合特征识别,得到每个所述局部区域的局部特
征;根据所述局部特征对所述热源区域轮廓进行轮廓补全,得到完整热源轮廓,并根据所述完整热源轮廓识别所述热源区域轮廓对应的目标物种类。
86.在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
87.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
88.另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
89.对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
90.因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
91.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
92.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
93.此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
94.最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献