一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

目标信息识别、边缘图生成方法、装置、存储介质及设备与流程

2022-03-19 12:04:14 来源:中国专利 TAG:


1.本技术涉及基于图像的目标物识别技术领域,特别是涉及一种目标信息识别、边缘图生成方法、装置、存储介质及设备。


背景技术:

2.随着科技水平的提高,基于图像的目标物的姿态识别等目标信息识别技术得到快速发展和广泛应用。具体的,目标信息可以包括但不限于:目标物的位置信息、目标物的关键特征信息、目标物的分类信息和/或目标物的轨迹规划信息。
3.基于图像的目标信息识别可以基于传统的图像处理的算法,也可以基于人工智能的方法。基于传统的图像处理的算法往往计算速度慢,且一旦目标物发生各种情况的变化,识别结果的精度就会受到影响,难以满足工业快速发展的需求;基于人工智能的方法,虽然在一定程度上克服了上述缺陷,但是,由于神经网络模型主要是基于某一类训练样本进行训练,当实际应用时,目标物一旦发生训练样本以外的某些变化时,则模型输出的结果很容易出现误差,为了减少误差,只有加大目标物的训练样本的种类和数量,以期望把发生各种变化的类似的目标物的图像都纳入训练样本中。但大量的训练样本往往导致:一方面,训练样本的收集会浪费大量的时间和成本;另一方面,神经网络模型的训练需要大量的时间,对系统硬件要求高,进而提高了系统成本等。


技术实现要素:

4.有鉴于此,本发明提供一种目标信息识别、边缘图生成方法、装置、存储介质及设备。
5.本发明第一方面提供一种目标信息识别方法,所述目标信息识别方法包括:获取目标物的边缘图;基于所述边缘图,生成所述目标物的目标信息。
6.进一步,所述边缘图为:只包括所述目标物的外轮廓信息的外轮廓边缘图。
7.进一步,所述边缘图为:只包括所述目标物的几何信息的几何边缘图。
8.进一步,所述边缘图为:包括所述目标物的纹理信息的纹理边缘图。
9.进一步,所述获取目标物的边缘图之前还包括:获取所述目标物的逆光剪影图;基于所述逆光剪影图提取所述边缘图。
10.进一步,所述获取所述目标物的逆光剪影图之前还包括:基于调整光源参数、图像传感器参数、目标物参数中的至少一种参数,图像传感器进行图像采集得到所述逆光剪影图;或
11.在关闭光源的情况下调整图像传感器参数,使得通过所述图像传感器采集得到的图像中的所述目标物为剪影效果;
12.调整设置在所述目标物的背景的所述光源的亮度,使得通过所述图像传感器采集得到所述逆光剪影图。
13.进一步,所述获取目标物的边缘图之前还包括:获取目标物的输入图;将所述输入
图输入边缘提取模型,输出所述边缘图;或获取目标物的输入图;基于图像处理的方法,提取所述输入图中的所述目标物的所述边缘图。
14.进一步,所述目标信息包括:所述目标物的图像坐标或三维姿态信息;和/或所述目标物的关键特征的图像坐标或三维姿态信息;和/或所述目标物的分类信息;和/或所述目标物的轨迹规划信息。
15.本发明第二方面提供一种边缘图的生成方法,所述边缘图的生成方法包括:获取目标物的逆光剪影图;基于所述逆光剪影图生成所述目标物的边缘图;或获取目标物的输入图;将所述输入图输入边缘提取模型,输出所述边缘图;或获取目标物的输入图;基于图像处理的方法,提取所述输入图中的所述目标物的所述边缘图。
16.进一步,所述边缘图为:只包括所述目标物的外轮廓信息的外轮廓边缘图;或只包括所述目标物的几何信息的几何边缘图;或包括所述目标物的纹理信息的纹理边缘图。
17.进一步,所述获取目标物的逆光剪影图之前包括:基于调整光源参数、图像传感器参数、目标物参数中的至少一种参数,通过图像传感器进行图像采集,得到所述逆光剪影图;
18.在关闭光源的情况下调整图像传感器参数,使得通过所述图像传感器采集得到的图像中的所述目标物为剪影效果;
19.调整设置在所述目标物的背景的所述光源的亮度,使得通过所述图像传感器采集得到所述逆光剪影图。
20.本发明第三方面提供一种目标信息识别装置,所述目标信息识别装置包括:边缘获取模块,用于获取目标物的边缘图;目标生成模块,用于基于所述边缘图,生成所述目标物的目标信息。
21.本发明第四方面提供一种边缘图生成装置,所述边缘图生成装置包括:剪影获取模块,用于获取目标物的逆光剪影图;边缘生成模块,用于基于所述逆光剪影图生成所述目标物的边缘图;或图像获取模块,用于获取目标物的输入图;边缘输出模块,用于将所述输入图输入边缘提取模型,输出所述目标物的边缘图;或图像获取模块,用于获取目标物的输入图;边缘提取模块,用于基于图像处理的方法,提取所述输入图中的所述目标物的边缘图。
22.本发明第五方面提供一种系统,所述系统包括图像传感器和控制单元,所述图像传感器和所述控制单元通信连接;所述图像传感器用于采集所述目标物的输入图;所述控制单元,用于根据所述输入图输出或提取边缘图;和/或获取所述边缘图;基于所述边缘图,生成所述目标物的目标信息;和/或所述系统还包括设置于目标物的背景的光源;所述图像传感器,用于采集所述目标物的逆光剪影图;所述控制单元,用于获取所述逆光剪影图;基于所述逆光剪影图生成所述目标物的边缘图;和/或获取所述边缘图;基于所述边缘图,生成所述目标物的目标信息。
23.进一步,当所述系统还包括设置于目标物的背景的光源;所述光源为面光源。
24.本发明第六方面提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上面所述的目标信息识别方法;和/或上面所述的边缘图生成方法。
25.本发明第七方面提供一种计算机可读存储介质,其上存储有计算机程序,其特征
在于,所述计算机程序被处理器执行时实现上面所述的目标信息识别方法;和/或上面所述的边缘图生成方法。
26.通过基于边缘图进行目标信息识别,可以将具有相同边缘图的多种近似目标物归为一类,从而提高了目标信息识别的适应能力;另外,也降低了训练样本的数量,减少了模型训练的时间,降低了模型训练的成本。
27.另外,通过采用外轮廓边缘图,去掉了目标物内部的细节,将具有该外轮廓边缘信息的类似目标物归为一类,因此基于此类边缘图,可以提高目标信息识别的适应能力;另外,相对于后面实施例中的几何边缘图,由于可以忽略目标物内部的细节,因此该边缘图可以更加容易获取或生成。
28.另外,通过基于几何边缘图生成的识别信息,可以识别具有该几何边缘信息的类似目标物的目标信息,因此提高了目标信息识别的适应能力,另外,通过基于几何边缘图生成的识别信息,可以识别具有该几何边缘信息的类似目标物的目标信息;另外,相对于外轮廓边缘图,该边缘图可以提供目标物更多的信息元素,因此可以更加精确的识别出目标物的目标信息。
29.另外,通过对光源参数、图像传感器参数、目标物参数中的至少一种参数进行调整,就可以通过图像传感器直接拍摄到目标物的整体或者局部逆光剪影图;进而根据逆光剪影图直接快速提取出边缘图,优选提取外轮廓边缘图或几何边缘图,省去了后续繁琐的软件处理步骤,因此可以以一个简单高效的方法生成边缘图;另外,也减少了因后续繁琐处理过程带来的边缘提取误差,提高了边缘提取的精度。
附图说明
30.图1为一个实施例中系统的第一结构框图;
31.图2为一个实施例中系统的第二结构框图;
32.图3为一个实施例中计算机设备的第一结构框图;
33.图4a为一个实施例中外轮廓边缘示意图;图4b为一个实施例中几何边缘示意图;图4c为一个实施例中纹理边缘示意图;
34.图5a为一个实施例中正常情况下通过图像传感器采集的目标物图像;图5b为一个实施例中通过图像传感器采集的目标物的逆光剪影图;图5c为一个实施例中基于逆光剪影图像提取的外轮廓边缘图;图5d为一个实施例中设置背光板后通过图像传感器采集的目标物的逆光剪影图;
35.图6为一个实施例中目标信息识别方法的第一流程示意图;
36.图7a为一个实施例中目标信息识别方法的第二流程示意图;图7b为一个实施例中目标信息识别方法的第三流程示意图;图7c为一个实施例中目标信息识别方法的第四流程示意图;
37.图8为一个实施例中目标信息识别方法的第五流程示意图;
38.图9为一个实施例中目标信息识别方法的第六流程示意图;
39.图10a为一个实施例中边缘图生成方法的第一流程示意图;图10b为一个实施例中边缘图生成方法的第二流程示意图;图10c为一个实施例中边缘图生成方法的第三流程示意图;
40.图11为一个实施例中边缘图生成方法的第四流程示意图;
41.图12为一个实施例中边缘图生成方法的第五流程示意图;
42.图13为一个实施例中目标信息识别装置的第一结构框图;
43.图14为一个实施例中目标信息识别装置的第二结构框图;
44.图15为一个实施例中目标信息识别装置的第三结构框图;
45.图16为一个实施例中目标信息识别装置的第四结构框图;
46.图17为一个实施例中边缘图生成装置的第一结构框图;
47.图18为一个实施例中边缘图生成装置的第二结构框图;
48.图19为一个实施例中边缘图生成装置的第三结构框图。
具体实施方式
49.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
50.本发明实施例提供的目标信息识别、边缘图生成方法、装置、存储介质及设备,可以应用于基于图像的目标识别技术领域,通过基于边缘图进行目标信息识别,可以将具有相同边缘图的多种近似目标物归为一类,从而提高了目标信息识别的适应能力;另外,也降低了训练样本的数量,减少了模型训练的时间,降低了模型训练的成本。
51.具体的,目标信息可以包括但不限于:目标物的图像坐标信息或三维姿态信息、目标物的关键特征(比如:关键点和/或线)的图像坐标信息或三维姿态信息、目标物的种类信息和/或目标物的轨迹规划信息;其中,目标物的关键特征可以位于目标物上,或者位于目标物外,比如:目标物的最小包围盒(boundingbox)的各个顶点。在一个实施例中,可以基于关键特征的姿态信息进一步求取目标物的姿态信息。
52.其中,三维姿态信息可以为针对目标物的预设坐标系的3d坐标;刚体在3维空间的运动可以用3d坐标(共6个自由度)描述,具体的,可以分为旋转和平移,各为3个自由度。刚体在3维空间的平移是普通的线性变换,可以使用一个3x1的向量描述平移位置;而旋转姿态常用的描述方式包括但不限于:旋转矩阵、旋转向量、四元数、欧拉角和李代数。
53.本发明实施例提供的目标信息识别方法、边缘图生成方法中的至少部分方法步骤可以应用于计算机终端(personal computer,pc);工业控制计算机终端(industrial personal computer,ipc);移动终端;计算机终端;服务器;或者终端和服务器,并通过终端和服务器的交互实现;可编程逻辑控制器(programmable logic controller,plc)、现场可编程门阵列(field-programmable gate array,fpga)、数字信号处理器(digital signal processer,dsp)或微控制单元(microcontroller unit,mcu)等类似的控制单元中执行。控制单元根据预先固定的程序,结合人工输入的信息、参数或者外部的图像传感器等采集的数据等生成程序指令。有关控制单元的具体限定可以参见下面实施例中目标信息识别方法、边缘图生成方法中的限定。为方便理解,本具体实施例以控制单元为终端为例,进一步详细说明。
54.其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、
云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络),以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音响、智能手表等,但并不局限于此。终端以及服务器可以通过有线或者无线通信方式进行直接或间接地连接,本技术在此不做限定。
55.具体的,可以应用于如图3所示的计算机设备中,该计算机设备可以是终端,也可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其它技术实现。该计算机程序被处理器执行时以本发明实施例中的实现姿态识别等方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的安检、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等等。
56.如图1所示,为本发明实施例提供的一种系统,该系统包括:终端(控制单元)10和图像传感器20;图像传感器20和终端10通过有线或者无线的方式通信连接。
57.图像传感器20,用于采集输入图或者逆光剪影图,并发送给终端,具体参见后面实施例所述;
58.终端10,用于实现下述目标信息生成方法和/或边缘图生成方法的至少部分步骤。
59.具体的,图像传感器20可以包括但不限于:照相机、摄像机、扫描仪或其他带有相关功能的设备(手机、电脑)等等。图像传感器可以包括各种2d图像传感器或3d图像传感器(比如:3d激光传感器、深度传感器)等。图像传感器的数量可以根据需要设计为一个或者多个,为方便理解,本具体实施例以两个照相机(以下简称“双目相机”)为例进一步详细说明,通过双目相机分别采集的图像进行匹配,再基于三角测量的方法,可以得到图像中的某一个匹配点对在三维空间的姿态,进而可以生成目标物的3d点云图。
60.如图2所示,进一步,在一个实施例中,该系统还可以包括光源30。光源30可以设置在目标物m周围,根据预设参数调整光源的亮度、照度、位置和/或颜色等,通过图像传感器20或者结合图像传感器20的自身的参数和/或目标物的参数调整可以拍摄到不同效果的目标物的图像。
61.具体的,光源根据需要可以采用不同的种类:比如:led灯、红外灯、卤素灯、钨丝灯等,如图2所示,在本具体实施例中,背光板30也视为一种光源30,后面实施例会有进一步详细的描述。
62.本领域技术人员可以理解,图1、图2和图3中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的系统或计算机设备等的限定,具体的系统或计算机设备等可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
63.如图6所示,在一个实施例中,提供一种目标信息识别方法,以该识别方法应用于图1或图2所示的系统中的终端10为例,该目标信息识别方法可以包括以下步骤:
64.步骤s110获取目标物的边缘图;
65.步骤s120基于边缘图,生成目标物的目标信息。
66.通过基于边缘图进行目标信息识别,可以将具有相同边缘图的多种近似目标物归为一类,从而提高了目标信息识别的适应能力;另外,也降低了训练样本的数量,减少了模型训练的时间,降低了模型训练的成本。
67.为方便理解,下面对上述目标信息识别方法进一步详细说明:
68.步骤s110获取目标物的边缘图;
69.如图4a-4c所示,边缘图可以包括:只包括目标物的外轮廓信息的外轮廓边缘图、只包括目标物的几何信息的几何边缘图、或包括目标物的纹理信息的纹理边缘图等。为方便理解,下面对上述各种边缘图分别进行详细说明。
70.如图4a所示,在一个实施例中,该边缘图为外轮廓边缘图;
71.其中,上述外轮廓边缘图是指边缘图中只包括目标物的整体的外部轮廓边缘信息。
72.示例性的,如图4a所示,为一张外轮廓边缘图的示意图,以目标物m为某立方体形状的物体m为例,该图中只包括立方体物体m的外轮廓边缘l1。
73.通过采用外轮廓边缘图,去掉了目标物内部的细节,将具有该外轮廓边缘信息的类似目标物归为一类,因此基于此类边缘图,可以提高目标信息识别的适应能力;另外,相对于后面实施例中的几何边缘图,由于可以忽略目标物内部的细节,因此该边缘图可以更加容易获取或生成。
74.如图4b所示,在一个实施例中,该边缘图为几何边缘图;
75.其中,上述几何边缘图是指该边缘图中只包括构成目标物的几何形状的边缘信息;
76.示例性的,如图4b所示,为一张几何边缘图的示意图。以目标物m为某立方体形状的物体m为例,该图中只包括形成立方体物体m的各条边的几何信息l2。
77.通过基于几何边缘图生成的识别信息,可以识别具有该几何边缘信息的所有类似目标物的目标信息,;因此提高了目标信息识别的适应能力;另外,相对于外轮廓边缘图,该边缘图可以提供目标物更多的信息元素,因此可以更加精确的识别出目标物的目标信息。
78.如图4c所示,在一个实施例中,该边缘图为纹理边缘图。
79.其中,纹理边缘图是指边缘图中除上述几何边缘信息或外轮廓边缘信息(省略附图)外,还包括了基于目标物自身表面的某些纹理或者细节构造提取的纹理边缘信息。
80.由于目标物自身表面的纹理或者局部细节构造,使得提取出的边缘图中除了外轮廓边缘信息或几何边缘信息等外,还可能存在某些纹理边缘信息。
81.示例性的,如图4c所示,为一张纹理边缘图的示意图。其中,该纹理边缘图除上述几何边缘信息l2外,还包括了基于目标物局部的某些纹理提取的纹理边缘信息l3。
82.需要说明的是,上述各个边缘图的生成可以基于各种现在已有或者将来开发的方法实现,比如:通过图像处理的方法、人工智能的方法、或基于某些硬件等的参数调整方法实现。为方便理解,下面分别进行详细说明。
83.如图11所示,在一个实施例中,提供一种基于人工智能的方法生成目标物的边缘图的方法;或如图8所示,在一个实施例中,对于目标信息识别方法而言,在步骤s110之前,还可以包括基于人工智能的边缘图的生成方法的步骤,以该边缘图生成方法应用于图1或
图2所示的系统中的终端10为例,该边缘图生成方法可以包括如下方法步骤:
84.步骤s230获取目标物的输入图;
85.步骤s240将输入图输入经过训练的边缘提取模型中,输出边缘图。
86.本发明实施例所述的边缘提取模型可以包括但不限于是:各种卷积神经网络(convolutional neural networks,cnn),常见的cnn模型可以包括但不限于:lenet,alexnet,zf,net,vgg,googlenet,residual net,densenet,r-cnn,spp-net,fast-rcnn,faster-rcnn,yolo,ssd,bb8,yolo-6d,deep-6dpose,posecnn,hourglass,cpn以及其他现在已知或将来开发的网络模型结构。
87.人工智能模型的训练方法可以根据目标模型的用途等等的不同而不同,可以采用现在已有或将来开发的各种模型训练方法,比如:监督学习、半监督学习。以监督学习为例,可以将训练样本输入到具有初始参数的神经网络模型中,将模型的输出结果与已经预先标注的标准输出结果(即提取边缘后的边缘图)进行对比,根据差值不断更新模型的参数,直到满足预设条件。
88.如图12所示,在一个实施例中,提供一种通过图像处理的算法生成目标物的边缘图的方法;或如图9所示,在一个实施例中,对于目标信息识别方法而言,在步骤s110之前,还可以包括基于图像处理的算法的边缘图的生成方法的步骤。以该边缘图生成方法应用于图1所示的系统中的终端10为例,该边缘图生成方法可以包括如下方法步骤:
89.步骤s330获取目标物的输入图;
90.步骤s340基于图像处理的方法,提取输入图中的目标物的边缘图。
91.具体的,可以基于各种现在已有或将来开发的图像处理方法生成边缘图,比如:基于某些算子(比如:canny算子、sobel算子或robert算子)对图像进行处理,然后经过阈值处理得到边缘提取图;或者基于某些已经开发的软件提取的边缘,比如:matlab;或可以为表示边缘信息的梯度图作为边缘图。
92.如图10a所示,在一个实施例中,提供一种基于某些硬件等的参数调整生成目标物的边缘图的方法;或如图7a所示,在一个实施例中,对于目标信息识别方法而言,在步骤s110之前,还可以包括基于某些硬件等的参数调整的边缘图的生成方法的步骤,以该边缘图生成方法应用于图1或图2所示的系统中的终端10为例,该边缘图生成方法可以包括如下方法步骤:
93.步骤s130获取目标物的逆光剪影图;
94.步骤s140基于逆光剪影图生成目标物的边缘图。
95.其中,逆光剪影图是指基于某些硬件等的参数调整,基于逆光环境下通过图像传感器采集并发送的图像。该图像中包括一个或者多个目标物的整体或者局部黑色或近似黑色的暗区,以及与黑色或近似黑色的暗区形成明显分界的白色或灰白色背景区。
96.需要说明的是,上述逆光剪影图可以是整个目标物的逆光剪影,也可以是目标物的局部逆光剪影,比如:目标物的某个面或某个面的某个局部的一个或者多个黑色暗区,或者黑色暗区和白色区的组合,从而基于黑色暗区与其它区域的分界可以很容易提取出目标物的整体和/或某个局部的边缘,形成上面所述的各种边缘图。
97.如图7b或10b所示,对于目标信息识别方法或边缘图生成方法,步骤s130之前还可以逆光剪影图的生成方法的步骤,以该步骤应用于如图1或2所示的系统为例,步骤s110之
前包括:
98.步骤s150基于调整光源参数、图像传感器参数、目标物参数中的至少一种参数,通过图像传感器进行图像采集,得到逆光剪影图。
99.具体的,上述光源参数也可以包括但不限于:照度参数、亮度参数和位置参数。可以在目标物的周围目标位置设置光敏传感器,以探测该位置的环境光亮度参数值,通过调整光源的照度,从而进一步改变该目标位置的亮度值。
100.具体的,图像传感器的参数可以包括但不限于:位置参数和硬件设置参数;具体的,硬件设置参数可以包括但不限于:iso值、光圈值和/或快门值;
101.具体的,目标物的参数可以包括但不限于:目标物的位置参数、运动速度参数,比如:物体的运动速度影响图像传感器的曝光时间,曝光时间影响进光量,进而影响得到的图像的效果。
102.示例性的,如图1所示,以目标物的位置固定为例,将光源30设置在目标物m的背景位置,使得图像传感器20和光源30相对,而目标物m位于二者之间,以目标物的参数固定为例,通过调整图像传感器和光源的硬件参数,从而使得通过图像传感器可以拍摄到如图5b所示的目标物的逆光剪影图,即图像中包括目标物整体的黑色暗区。而如图5a所示,在正常通过图像传感器采集的目标物图像中可以看到,目标物外轮廓内部实际上还包括很多几何边缘和纹理信息;根据剪影效果图,可以忽略图像中目标物内部的细节,可以帮助进一步快速的提取目标物的整体的外轮廓信息(如图5c所示)或局部的轮廓信息等。
103.进一步,在一个实施例中,由于不同相机的宽容度不同,比如:宽容度为15级ev的相机,场景中在相机宽容度以外的亮区或者暗区都会被拍摄成白色或黑色,目标物在逆光情况下,背景光比目标物的背光面亮很多级ev,当我们以背景为标准进行测光,则当目标物的背光面在宽容度之外时,目标物在图像中会呈现剪影的效果。因此,可以根据实际选择的相机的宽容度,通过调整光源参数和/或相机的曝光量等,使得目标物的背光面(即面对图像传感器的面)和背景形成超过相机宽容度的大光比(即反差),从而得到目标物的黑色剪影。
104.进一步,如图2所示,在一个实施例中,为使得剪影图中形成均匀、单一色(优选白色)背景效果,可以在目标物的背景设置面光源30,比如:背光板30;
105.如图7c或10c所示,进一步,在一个实施例中,步骤s150还可以包括如下方法步骤,以该步骤应用于如图2所示的系统为例,进行详细说明。
106.步骤s151在关闭光源的情况下调整图像传感器参数,使得通过图像传感器采集得到的图像中的目标物为剪影效果;
107.步骤s152调整设置在目标物的背景的光源的亮度,使得通过图像传感器采集得到逆光剪影图。
108.示例性的,可以在自然光环境下(关闭光源)逐步调整图像传感器20的硬件参数,比如:提高快门速度或者缩小光圈值,从而影响进入图像传感器的光总量,使得目标物无法正常成像,直到得到满足目标物成剪影效果的黑色暗区的图像,然后打开光源(比如:背光板30),调整背光板的亮度,使得成像后的图像中背光板区域的色值位于某个预设范围,比如:150-200之间,进而得到如图5d所示的前景为黑色,而背景成白色或灰白色的,从而使得前景和背景之间形成清晰的分界的逆光剪影图。
109.示例性的,如图5b所示,以逆光剪影图为整个目标物的逆光剪影图为例,该图中包括白色背景区域和目标物整体的黑色暗区,使得二者形成明显的分界,因此可以很容易提取出目标物整体的外轮廓边缘图(如图5c所示);另外,在某些情况下,可以通过预先设计多组硬件参数,使得目标物的一张或者拼接后的多张剪影图上形成多个黑色暗区和白色区域的结合,而每个黑色暗区和白色区域的分界对应目标物的几何边缘,从而基于逆光剪影图可以很容易提取出目标物的几何边缘信息。
110.需要说明的是,基于上述硬件调整的方法可以根据需要调整硬件参数从而得到上述各种需要的边缘图,但优选生成外轮廓边缘图和几何边缘图,因为通过硬件参数调整通常目的是将目标物的整体或局部基于逆光效果而拍摄形成暗区,而忽略了暗区内的细节,因此往往对于体现目标物的主要的外轮廓或几何边缘具有优势。
111.通过对光源参数、图像传感器参数、目标物参数中的至少一种参数进行调整,就可以通过图像传感器直接拍摄到目标物的逆光剪影图;进而根据逆光剪影图直接快速提取外轮廓边缘图、几何边缘图或纹理边缘图,优选提取外轮廓边缘图或几何边缘图,省去了后续繁琐的软件处理步骤,因此可以以一个简单高效的方法生成边缘图;另外,减少了因后续繁琐处理过程带来的边缘提取误差,提高了边缘提取的精度。
112.步骤s120基于目标物的边缘图,生成目标物的目标信息。
113.具体的,上述目标信息可以包括但不限于:目标物的图像坐标或三维姿态信息;目标物的关键特征的图像坐标或三维姿态信息;目标物的分类信息;和/或目标物的轨迹规划信息。
114.需要说明的是,基于目标物的边缘图,生成目标物的目标信息的方法可以采用现在已有或者将来开发的任意方法,比如:
115.在一个实施例中,也可以基于人工智能的方法,将边缘图输入经过训练的目标信息生成模型中,输出目标物的图像坐标信息或三维姿态信息、目标物的关键特征图像坐标信息或三维姿态信息、目标物的分类信息或轨迹规划信息等。
116.本发明实施例所述的姿态识别模型可以包括但不限于是:各种卷积神经网络(convolutional neural networks,cnn),常见的cnn模型可以包括但不限于:lenet,alexnet,zf,net,vgg,googlenet,residual net,densenet,r-cnn,spp-net,fast-rcnn,faster-rcnn,yolo,ssd,bb8,yolo-6d,deep-6dpose,posecnn,hourglass,cpn以及其他现在已知或将来开发的网络模型结构。
117.具体的,上述边缘图可以为rgb图像、灰度图像、二值化图像等等。优选二值化图像,这样可以形成稀疏矩阵,将稀疏矩阵输入模型,可以帮助提高终端系统的反应速度。
118.在一个实施例中,可以基于上面实施例所述的边缘图生成目标物的姿态信息。
119.具体的,可以目标物的3d模型为例,可以将3d模型为中心的姿态空间离散化,目的是获得一个3d模型相对于图像传感器的坐标变换关系,想象一个以3d模型为中心,半径任意的球面,把图像传感器放在这个球面上移动,并对3d模型拍照,3d模型的姿态即与图像传感器在球面上的位置有关,图中每一个点都是一个视角,每一个视角都对应了一个姿态(即上述基准变换关系)。我们只需要估计出物体的姿态属于哪一个视角,即可得到其所对应的图像传感器和目标物的坐标变换关系,并建立一个基准图-坐标变换关系一一对应的关系表,并将该关系表预先存储在计算机可读存储介质内。这样当转化图在图库内轮询,并找到
与之匹配的边缘图时,则可以从存储介质内获取预先存储的该基准图对应的坐标变换关系。需要说明的是,上述目标物的3d模型也可以用真实的目标物来代替。
120.应该理解的是,虽然图6-12的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图6-12的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
121.如图13所示,本发明实施例还提供一种目标信息识别装置,所述目标信息识别装置包括:
122.边缘获取模块110,用于获取目标物的边缘图;
123.目标生成模块120,用于基于目标物的边缘图,识别目标物的目标信息。
124.如图14所示,进一步,在一个实施例中,该目标信息识别装置还包括:
125.剪影获取模块130,用于获取目标物的逆光剪影图;
126.边缘生成模块140,用于基于逆光剪影图生成目标物的边缘图。
127.如图15所示,进一步,在一个实施例中,该目标信息识别装置还包括:
128.图像获取模块230,用于获取目标物的输入图;
129.边缘输出模块240,用于将输入图输入边缘提取模型,输出目标物的边缘图。
130.如图16所示,进一步,在一个实施例中,该目标信息识别装置还包括:
131.图像获取模块330,用于获取目标物的输入图;
132.边缘提取模块340,用于基于图像处理的方法,提取输入图中的目标物的边缘图。
133.如图17所示,本发明实施例还提供一种边缘图生成装置,所述边缘图生成装置包括:
134.剪影获取模块130,用于获取目标物的逆光剪影图;
135.边缘生成模块140,用于基于逆光剪影图生成目标物的边缘图。
136.如图18所示,在一个实施例中,还提供一种边缘图生成装置,所述边缘图生成装置包括:
137.图像获取模块230,用于获取目标物的输入图;
138.边缘输出模块240,用于将输入图输入边缘提取模型,输出目标物的边缘图。
139.如图19所示,本发明实施例还提供一种边缘图生成装置,所述边缘图生成装置包括:
140.图像获取模块330,用于获取目标物的输入图;
141.边缘提取模块340,用于基于图像处理的方法,提取输入图中的目标物的边缘图。
142.关于上述目标信息识别装置、边缘图生成装置的具体限定可以参见上文中对于目标信息识别方法、边缘图生成方法的限定,在此不再赘述。上述各个目标信息识别装置、边缘图生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
143.在一个实施例中,如图3所示,提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述目标信息识别方法和/或边缘图生成方法的步骤。
144.在一个实施例中,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述目标信息识别方法和/或边缘图生成方法的步骤。
145.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
146.需要说明的是,上述方法、装置、系统等中提到的图像传感器、光源等等,即可以是真实环境下的真实的物体,也可以是仿真平台下的虚拟的物体,通过仿真环境以达到连接真实物体的效果。将依赖虚拟环境完成训练后的控制单元,移植到真实环境下,对真实的物体进行控制或者再训练,可以节省训练过程的资源和时间。
147.以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
148.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
149.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
150.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
151.除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的属于只是为了描述具体的实施方式的目的,不是用于限制本发明。
152.本发明的权利要求书和说明书及上述附图中的术语“第一”、“第二”、“第三”、“s110”、“s120”“s130”等等(如果存在)是用来区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换或在某些情况下同时发生,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”、“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如:包括了一系列
步骤或者模块的过程、方法、系统、产品或机器人不必限于清楚地列出的那些步骤或者模块,而是包括没有清楚地列出的或对于这些过程、方法、系统、产品或机器人固有的其它步骤或模块。
153.需要说明的是,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的结构和模块并不一定是本发明所必须的。
154.以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献