主体识别方法、装置、及计算机可读存储介质与流程

1.本文涉及计算机技术，尤指一种主体识别方法、装置、及计算机可读存储介质。


背景技术：

2.现有技术中，图片中的主体大多是通过人为观察图像特征进行阈值分割，将前景和背景大致区分开。例如，通过二值化，得到黑白的二值图像，通过膨胀处理去除噪点，保留原图中主体部分；或者将图像转换色彩空间rgb转换成hsv，剥离h向量后，得到灰度向量，再使用直方图或者二值化算法将背景与前景区分开来，得到主体部分。这类方法需要对每张图片进行人为的设定阈值，无法自动识别到主体的类型，且在背景复杂或者存在多个前景的时候，无法有效分离出主体。


技术实现要素：

3.本技术提供了一种主体识别方法、装置、及计算机可读存储介质，能够达到灵活的识别图片中的目标主体的目的。
4.本技术提供了一种主体识别方法，获取待识别的图片；将所获取的待识别的图片输入到预先训练好的目标检测模型，检测出所述图片中的物体，及所述图片中每个物体的属性特征；所述每个物体的属性特征包括该物体的中心点位置、该物体的尺寸参数、及该物体的置信度；根据所检测出的所述图片中每个物体的属性特征，确定所述图片中作为目标主体的物体。
5.与相关技术相比，本技术实施例基于深度学习目标检测的主体识别方法，通过使用目标检测的技术替代人为设定阈值、二值化、膨胀等方法去分割前景背景的方法，能够灵活的识别图片中的目标主体，并适用于复杂的背景和存在多个前景的情况。
6.在一个示例性实施例中，本技术实施例通过设置属性特征各自对应的权重，能够指定不同的类别的物体作为目标主体。
7.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
8.附图用来提供对本技术技术方案的理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
9.图1为本技术实施例主体识别方法流程图；
10.图2为本技术实施例在图片中识别出的目标主体示意图；
11.图3为本技术实施例主体识别装置模块示意图。
具体实施方式
12.本技术描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本技术所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
13.本技术包括并设想了与本领域普通技术人员已知的特征和元件的组合。本技术已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本技术中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
14.此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本技术实施例的精神和范围内。
15.如图1所示，本技术实施例主体识别方法，包括如下操作：
16.s1、获取待识别的图片；
17.s2、将所获取的待识别的图片输入到预先训练好的目标检测模型，检测出所述图片中的物体，及所述图片中每个物体的属性特征；
18.其中，所述每个物体的属性特征包括该物体的中心点位置、该物体的尺寸参数、及该物体的置信度等等。在其他实施方式中，物体的属性特征也可以不限于前述种类，可以根据具体情形进行增加。
19.其中，上述置信度是指目标检测模型预测的该物体属于哪个类型的概率。比如目标物体属于人的概率、动物的概率、物品的概率等等。
20.s3、根据所检测出的所述图片中每个物体的属性特征，确定所述图片中作为目标主体的物体。
21.本技术实施例能够较灵活的识别图片中的目标主体。
22.在一个示例性实施例中，上述预训练好的目标检测模型，采用基于深度学习的目标检测算法实现，能够检测到一张图片中包含的物体、人的位置信息等等。可以使用faster rcnn、mask rcnn、ssd、或者yolov3等检测模型，采用图片对应各类类别(人物、桌子、电脑等)(coco数据集)以及物体的在图片中的矩形坐标框出来。
23.在一个示例性实施例中，上述操作s3中所述根据所检测出的所述图片中每个物体的属性特征，确定所述图片中作为目标主体的物体，包括：根据所检测出的所述图片中每个物体的属性特征，以及物体的每个属性特征各自对应的预设权重，确定所述图片中作为目
标主体的物体。
24.本技术实施例通过设置权重，能够指定不同的类别的物体作为目标主体对象进行区域识别，即，设定作为目标主体的要求后提取出目标主体，预先设定的主体物体的要求可以包括：一、单个主体占图片的面积；二、单个主体在图片中的位置；三、置信度，单个主体属于某个类别的概率。
25.在一个示例性实施例中，上述操作s3中所述根据所检测出的所述图片中每个物体的属性特征，以及物体的每个属性特征各自的预设权重，确定所述图片中作为目标主体的物体，包括如下操作：
26.s31、根据每个物体的尺寸参数分别确定该物体在所述图片中的面积占比，根据每个物体的中心点位置分别确定该物体的中心点与所述图片的中心点的距离；其中，图片的属性参数可以在本步骤之前获取。
27.s32、根据每个物体的面积占比和预设的尺寸参数的权重、每个物体的中心点与图片的中心点的距离和预设的中心点位置的权重、以及置信度和置信度的权重，确定所述图片中作为目标主体的物体。
28.在一个示例性实施例中，预先训练好的目标检测神经网络检测出图片中各类型的单个物体n个，并且提取图片的属性特征和每个物体的属性特征。其中，每个物体的属性特征包括尺寸参数属性特征，表示为[xi,yi,wi,hi,pi],0<＝i<n；xi、yi表示每个物体中心点；wi、hi表示每个物体的宽和高；置信度属性特征表示为pi。其中，图片的属性特征包括尺寸参数属性特征，表示为[x,y,w,h]；x、y表示图片的中心点，w、h表示图片的宽和高。
[0029]
在一个示例性实施例中，每个物体所述图片中的面积占比a，可以采用如下公式获取：
[0030][0031]
在一个示例性实施例中，每个物体的中心点与所述图片的中心点的距离b，可以采用如下公式获取：
[0032][0033]
上述计算每个物体的面积占比和中心点与所述图片的中心点的距离不限于上述计算形式，可以采用别的计算式，在此不做限定。
[0034]
在一个示例性实施例中，上述操作s32中所述根据每个物体的面积占比和预设的尺寸参数的权重、每个物体的中心点与图片的中心点的距离和预设的中心点位置的权重、以及置信度和置信度的权重，确定所述图片中作为目标主体的物体，包括如下操作：
[0035]
s321、根据每个物体的面积占比和预设的尺寸参数的权重、每个物体的中心点与图片的中心点的距离和预设的中心点位置的权重、以及置信度和置信度的权重，确定每个物体作为目标主体的物体的得分；
[0036]
s322、将得分值大于预定阈值的物体确定为目标主体。
[0037]
在一个示例性实施例中，上述操作s321中所述根据每个物体的面积占比和预设的尺寸参数的权重、每个物体的中心点与图片的中心点的距离和预设的中心点位置的权重、
以及置信度和置信度的权重，确定每个物体作为目标主体的物体的得分，包括：
[0038]
对于所述图片中的每个物体分别进行如下操作：
[0039]
s3211、根据该物体的面积占比和预设的尺寸参数的权重、中心点与图片的中心点的距离和预设的中心点位置的权重、以及置信度和置信度的权重对应相乘并求和；
[0040]
s3212、根据求和结果得到该物体作为目标主体的得分值。
[0041]
在一个示例性实施例中，每个物体作为目标主体的得分值，可以采用如下方式获取；
[0042]
将n个检测到的目标物体依次进行计算：
[0043][0044]
其中α表示预设的尺寸参数的权重，本实施例中为面积占比权重。β表示预设的中心点位置的权重。φ表示置信度权重。各个权重的大小可以根据实际需求进行设置，例如，需要检测占比面积最大的目标物体作为目标主体，则α值权重加大。最后，选取检测到的单个物体n个物体中obj最大的物体i作为目标主体目标，完成主体检测识别。
[0045]
在一个示例性实施例中，上述操作s3中所述确定所述图片中作为目标主体的物体后还包括：将所确定的作为目标主体的物体从所述图片中单独截取。
[0046]
如图2所示，以一个实际图片为例对上述方法进行详细说明。将图2中的图片输入预训练好的目标检测模型，识别出：
[0047]
图片属性：
[0048]
[302,212,604,424]。
[0049]
单个目标的属性，
[0050]
狗：[131,307,144,86,0.96]；
[0051]
人：[224 222 84 275 0.92]；
[0052]
马：[523 234 194 214 0.85]。
[0053]
计算每个物体作为目标主体的得分值：
[0054][0055][0056]
其中obj1表示狗作为目标主体的得分；obj2表示人作为目标主体的得分；obj3表示马作为目标主体的得分。
[0057]
当α＝0，β＝0.1φ＝0.9时:
[0058][0059][0060][0061]
所以obj1最大，因此主体选择为置信度优先的狗目标，作为目标主体。
[0062]
当α＝0，β＝0.5φ＝0.1时:
[0063][0064][0065][0066]
通过obj的值，选择最靠近中心点的人obj2作为目标主体。
[0067]
当α＝0.8，β＝0.1φ＝0.1时:
[0068][0069][0070][0071]
通过obj的值，选取obj3马为主体，因为权重设置侧重与主体所占的面积。
[0072]
本技术实施例通过设置属性特征各自对应的权重，能够指定不同的类别的物体作为目标主体。
[0073]
在一个示例实施例中，上述操作s3中所述根据所检测出的所述图片中每个物体的属性特征，确定所述图片中作为目标主体的物体，可以根据每个物体的尺寸参数分别确定该物体在所述图片中的面积占比，根据每个物体的中心点位置分别确定该物体的中心点与所述图片的中心点的距离；根据每个物体的面积占比、每个物体的中心点与图片的中心点的距离、以及置信度，确定所述图片中作为目标主体的物体，计算方式不同之处仅将上述的权重去除，在此不再赘述。
[0074]
本技术通过使用目标检测的技术替代人为设定阈值、二值化、膨胀等方法去分割前景背景的方法，能够适用于复杂的背景和存在多个前景的情况，且能够指定不同的类别的物体作为目标主体对象进行区域识别。并且能够根据需要的主体，通过检测到的所有目标的区域面积大小、靠近中心位置以及是属于什么类别物体，来提取出主体。
[0075]
如图3所示，本技术实施例主体识别装置，包括如下模块：
[0076]
获取模块10，用于获取待识别的图片；检测模块20，用于将所获取的待识别的图片输入到预先训练好的目标检测模型，检测出所述图片中的物体，及所述图片中每个物体的属性特征；所述每个物体的属性特征包括该物体的中心点位置、该物体的尺寸参数、及该物体的置信度；确定模块30，用于根据所检测出的所述图片中每个物体的属性特征，确定所述图片中作为目标主体的物体。
[0077]
本技术实施例提供主体识别装置，包括处理器和存储器，其特征在于，所述存储器中存储有用于进行主体识别的程序；所述处理器用于读取所述用于主体识别的程序，执行上述中任一项所述的方法。
[0078]
本技术实施例提供一种计算机可读介质，用于存储用于进行主体识别的程序，所述程序在被执行时执行上述中任一项所述的方法。
[0079]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。