一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、装置、计算机设备及存储介质与流程

2022-05-18 07:21:07 来源:中国专利 TAG:


1.本发明涉及人工智能技术领域,尤其涉及一种图像处理方法、装置、计算机设备及存储介质。


背景技术:

2.随着计算机技术和人工智能的发展,科技信息化的手段不断推陈出新,特别是人脸技术的发展,逐渐应用在人们的日常生活中各种领域,为了人们的日常生活的安全性或者便捷性提供有力的支撑,由此搭建了大数据平台的人像数据采集及识别,但是在人像数据采集的人像采集区域中会存在许多日常生活中平面广告或者海报等静态的人像,就会成为图像处理或者后续的人像识别的干扰项,导致这种静态的人像持续误采,大大影响了图像处理的准确率和正确率,而且由于这种静态的人像在图像处理过程中毫无作用,加重了图像处理的数据存储及处理的压力。


技术实现要素:

3.本发明提供一种图像处理方法、装置、计算机设备及存储介质,实现了自动从采集的待识别视频中分析出误采的人像图像并过滤,仅对含有真实人像的人像图像进行人脸识别,避免了静态的人像的干扰,提高了采集视频中的图像处理的准确率和正确率。
4.一种图像处理方法,包括:
5.多个待处理图像;
6.对多个所述待处理图像进行人像聚类处理,得到包含同一人像的多个人像聚类集;
7.对各所述人像聚类集分别进行静态人像分析,获得各所述人像聚类集对应的分析结果;
8.基于各所述人像聚类集对应的分析结果,对各所述人像聚类集进行误采过滤,生成针对各所述人像聚类集的图像采集结果。
9.一种图像处理装置,包括:
10.获取模块,用于获取多个待处理图像;
11.聚类模块,用于对多个所述待处理图像进行人像聚类处理,得到包含同一人像的多个人像聚类集;
12.分析模块,用于对各所述人像聚类集分别进行静态人像分析,获得各所述人像聚类集对应的分析结果;
13.过滤模块,用于基于各所述人像聚类集对应的分析结果,对各所述人像聚类集进行误采过滤,生成针对各所述人像聚类集的图像采集结果。
14.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述图像处理方法的步骤。
15.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法的步骤。
16.本发明提供的图像处理方法、装置、计算机设备及存储介质,通过获取多个待处理图像;对多个所述待处理图像进行人像聚类处理,得到包含同一人像的多个人像聚类集;对各所述人像聚类集分别进行静态人像分析,获得各所述人像聚类集对应的分析结果;基于各所述人像聚类集对应的分析结果,对各所述人像聚类集进行误采过滤,生成针对各所述人像聚类集的图像采集结果,因此,本发明自动获取含人像的待处理图像,并通过人像聚类处理和静态人像分析,自动分析出误采的人像聚类集,以及经过误采过滤生成各人像聚类集的图像采集结果,避免了静态的人像的干扰,减少了后续对静态的人像图像的图像处理操作,提高了真实人像的图像处理的准确率和正确率。
附图说明
17.为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
18.图1是本发明一实施例中图像处理方法的应用环境示意图;
19.图2是本发明一实施例中图像处理方法的流程图;
20.图3是本发明一实施例中图像处理方法的步骤s10的流程图;
21.图4是本发明一实施例中图像处理方法的步骤s20的流程图;
22.图5是本发明一实施例中图像处理装置的原理框图;
23.图6是本发明一实施例中计算机设备的示意图。
具体实施方式
24.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
25.本发明提供的图像处理方法,可应用在如图1的应用环境中,其中,客户端(计算机设备或终端)通过网络与服务器进行通信。其中,客户端(计算机设备或终端)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
26.在一实施例中,如图2所示,提供一种图像处理方法,其技术方案主要包括以下步骤s10-s40:
27.s10,获取多个待处理图像。
28.可理解地,待处理图像为需要识别是否为误采的含人像的图像,待处理图像的获取过程可以根据需求设定,获取待处理图像的过程可以为从多个候选图像中,对每个候选图像进行单人像检测,得到各候选图像的检测结果,将含人像的检测结果所对应的候选图像确定为待处理图像的获取过程。
29.候选图像可以为通过图像采集设备拍摄的图像,也可以为存储在预设数据库中的图像,单人像检测的过程为对输入的图像进行单个人像的人像特征进行提取,根据提取的人像特征进行识别,识别出包含一个人像的图像的过程。
30.人像特征为与人体的轮廓相关的特征,比如人像特征为含面部的脸、眼睛、鼻子、嘴巴、耳朵、眉毛、肩膀、手臂等与人体上身或一个人像轮廓相关的特征,识别出包含一个人像的图像包括在识别出多个人像的情况下,将识别出的人像区域进行尺寸面积比对或者与输入图像的占比比对,获取尺寸面积最大或者占比最大的人像区域所对应的识别出的人像作为输入图像的目标人像,后续的人像聚类和误采分析过程中,仅对目标人像进行图像处理。
31.可选的,获取待处理图像的过程还可以为通过大数据平台的视频采集设备拍摄到的含有人像的待识别视频,待识别视频的时长可以根据需求设定,比如时长设定成1秒=12帧,3秒=36帧等等,获取待识别视频的方式可以为实时检测到存在人像的时候,从而实时获取预设时长的方式,也可以从存储的视频内容中检测人像并提取出存在人像的视频,对该视频进行预设时长的划分,从而获取划分后的视频方式。
32.检测人像的过程为通过训练完成的目标检测模型,对拍摄的视频的每一帧进行人体部位特征的提取,根据提取的人体部位特征进行识别,识别出该帧的识别结果,在检测到识别结果表征了存在人体部位的人像时,确定该帧存在人像,从而表明检测到人像的过程,从而可以从此帧开始提取,直至检测到不存在人像的帧时,进而提取出存在人像的视频。对待识别视频进行分帧处理,分帧处理为对输入的视频的每一帧进行分割或者抽取出一帧图像的操作过程,从而得到多个待处理图像,人体部位特征为与人体的部位相关特征,例如人体部位特征为头、手、脚、肩等等。
33.目标检测模型的训练过程输入训练的含有人体部位标签的样本图像,通过含有初始参数的该模型对样本图像进行人体部位特征的提取,并根据提取的人体部位特征进行分类,分类出含有人体部位的样本图像的样本识别结果,计算该样本识别结果和该样本图像关联的人体部位标签之间的损失值,根据损失值迭代更新该目标检测模型的初始参数,直至损失值达到收敛条件,其中,收敛条件可以为损失值不再变化或者迭代次数达到预设次数,停止训练,将收敛之后的目标检测模型记录为训练完成的目标检测模型。
34.在一实施例中,如图3所示,步骤s10中,即获取多个待处理图像,包括:
35.s101,获取多个候选图像。
36.可理解地,候选图像可以为通过图像采集设备拍摄的图像,也可以为存储在预设数据库中的图像,也即将海量采集的图像存储至预设路径的数据库中或者云端数据库中,从预设路径的数据库中或者云端数据库中获取候选图像。候选图像还可以为通过视频采集设备实时采集拍摄的视频,在对拍摄的视频进行分帧处理,分帧处理为对输入的视频的每一帧进行分割或者抽取出一帧图像的操作过程,从而获得多个候选图像。
37.s102,对各候选图像进行单人像检测,得到各候选图像的检测结果。
38.可理解地,单人像检测为可检测出单独的人像的检测过程,对各候选图像进行单人像检测处理过程可以通过训练完成的目标识别模型实现,将候选图像输入目标识别模型中,通过目标识别模型对候选图像进行数据变换和卷积,提取人像特征。人像特征为与人体的轮廓相关的特征,比如人像特征为含面部的脸、眼睛、鼻子、嘴巴、耳朵、眉毛、肩膀、手臂
等与人体上身或一个人像轮廓相关的特征。目标识别模型的网络结构可以根据需求设定,比如目标识别模型的网络结构可以为centernet、faster r-cnn、ssd和yolo 等网络结构。
39.优先地,目标识别模型的网络结构为centernet的网络结构,目标识别模型的处理过程为对输入的候选图像进行预处理。首先,需要将候选图像缩放至预设尺寸(例如512
×
512),预处理包括图像缩放处理,即运用图像缩放技术,将图像的长边和短边按照长边缩放和短边补零的方式进行缩放至预设尺寸;其次,再对缩放后的候选图像进行图像通道分离,分离出包含有三个通道的待处理图像,图像通道分离为对图像中的红、绿、蓝通道进行分离,进而完成对输入的候选图像进行预处理,得到预处理数据。
40.通过基于centernet的目标识别模型中的resnet50网络对预处理数据进行人像特征的提取,目标识别模型为将人像当成一个目标点来检测,即用目标区域的中心点来表示这个人像,预测人像的中心点偏移量(offset),宽高 (size)以得到物体实际区域;然后对提取的人像特征进行反卷积模块进行上采样,即反卷积(卷积的逆过程),可进行三次上采样得到待处理特征图,最后将待处理特征图进行三个分支网络的预测,三个分支网络分别为热力图预测网络、长宽预测网络和区域中心偏移预测网络,通过热力图预测网络对待处理特征图进行分类,以及对各人像的目标区域的中心点预测和高斯圆的半径计算,以中心点为圆心,沿着计算出的半径向外按高斯函数递减,从而得到与待处理特征图对应的热力图;通过长宽预测网络进行多个目标的长宽区域预测,得到与待处理特征图对应的人像的长宽图,通过区域中心偏移预测网络进行目标的偏移值进行预测,得到与待处理特征图对应的人像的目标区域的中心偏移值,根据热力图、长宽图和中心偏移值,确定出人像的区域,也即该候选图像中含有人像的检测结果。
41.检测结果体现了候选图像中的具有人像特征的人像区域(区域范围),并确定检测结果为含人像。如此,目标识别模型能够通过特征空间将维数较高的特征变为维数较低的特征表示,再通过维数较低的特征表示进行分类识别,识别出是否含有人像的区域范围的检测结果。
42.在一实施例中,目标识别模型的网络结构为yolo v3的网络结构,因为运用yolo v3的网络结构能够快速地从不同的尺度定位出人体的位置。目标识别模型的训练过程为输入含有人像标注区域的人体样本图像,对该人体样本图像进行人像特征的提取(卷积),根据提取的人像特征,得到小尺度的特征图,对小尺度的特征图进行上采样和张量拼接,得到中尺度的特征图,然后对该中尺度的特征图进行上采样和张量拼接,得到大尺度的特征图。
43.进一步地,再对小尺度、中尺度和大尺度的特征图进行多尺度检测,预测出具有人像特征的一个人像的矩形区域,计算该区域和人像标注区域之间的损失值,根据损失值迭代更新目标识别模型的参数,直至损失值达到收敛条件,从而停止训练的过程,其中,小尺度、中尺度和大尺度可分别为相对于候选图像尺寸的1/32尺度、1/16尺度、1/8尺度,通过不同尺度的特征图能够检测的到更加细粒度的人像特征。上采样为卷积的反向传播,即反卷积或者前向传播的转置,张量拼接为将卷积过程中的中间层和相邻的下一层的上采样结果进行拼接过程,人像特征为与人体的部位相关的特征,比如头、头发、手、人脸、躯干、衣服等能体现一个人像的轮廓的特征,多目标的单人像检测的过程为通过目标识别模型对输入的候选图像进行人像特征的提取,根据提取的人像特征进行人体区域的预测,预测出包含一个人像的矩形区域,并确定检测结果为含人像。
(blue,蓝)三通道信息的数字转换,也即对缩放后的人像图像中的各个像素点进行r(red,红)、g(green,绿)、b(blue,蓝)三通道信息的数字转换,将缩放后的人像图像进行红色通道、绿色通道和蓝色通道的划分,然后在红色通道中通过0至255的数值编码出各个像素在红色深浅或者强弱的像素值,在绿色通道中通过0至255的数值编码出各个像素在绿色深浅或者强弱的像素值,在蓝色通道中通过0至255的数值编码出各个像素在蓝色深浅或者强弱的像素值,灰度处理为通过对三个通道的像素值矩阵(即结构化转换后的待处理图像)进行灰度化处理的过程,从而得到一个通道的通道信息,也称为灰度图像,即将同一像素点所对应的红色通道的像素值、绿色通道的像素值和蓝色通道的像素值进行加权求和,得到该像素点所对应的灰色通道的像素值,其中,各个通道的权重可以根据需求设定。优先地,各个通道的权重分别为红色通道对应的权重为0.3、绿色通道对应的权重为0.59和蓝色通道对应的权重为0.11。
55.其次,进行卷积处理时,是通过卷积层对灰度图像进行多个层级的不同卷积核的卷积,从中提取出人脸属性特征,人脸属性特征为人像的人脸或者还包含其他属性所具有的特征,其中,其他属性包括衣服、头发、脖子等等,可以提取到像素信息或者特征信息,从而卷积层输出了多个通道的含有人脸属性特征的初始特征图,初始特征图体现了各个像素以及各个像素之间的像素信息或者特征信息。
56.最后,进行池化和降维处理时,是通过全连接层将卷积层输出的多通道的初始特征图进行池化和降维处理,即将高维的多通道特征图降维成一维的数组的处理过程,池化处理为进行全局平均池化处理,降维处理为卷积至一维的处理,从而能够得到一维的特征向量数组,对该一维的特征向量数组进行分组汇总,得到人脸特征图,人脸特征图可以为一个数值,也可以为一个二维的坐标值,亦可以为一个三维的三维值,同一人像的人像图像转换成的人脸特征图相等或者相近,因为人像图像中包含的人像的信息相同或者相似。
57.s202,对所有人脸特征图进行聚类处理,得到多个人像簇。
58.可理解地,聚类处理的过程可以根据需求设定,比如聚类处理的过程可以为运用k-means算法对所有人脸特征图进行k个人像簇的寻找,将所有人脸特征图作为数据集,将该数据集输入聚类模型中,该聚类模型为基于k
‑ꢀ
means的人像聚类处理的模型,通过聚类模型运用k-means聚类算法,对输入的数据集进行基于k-means的人像聚类处理,基于k-means的人像聚类处理过程为运用k-means聚类算法分类出k个人像簇的过程,不同的人像簇代表了不同的人像。k-means聚类算法为在一个数据集中随机选择k个点,这 k个点表示k个簇的中心点,然后计算一维数组中每个预测身高值距离这k 个中心点的距离,将某个预测身高值划分到距离其最近的中心点对应的簇上,最后对于刚刚生成的分类簇,重新计算簇的中心点,其中,k的取值可以在计算过程中增加或者减少,直至收敛得到一个合适的k个中心点的结果的算法,将一个中心点所覆盖的与其接近的人脸特征图汇成一个簇,将该簇确定为一个人像簇,一个人像代表一个人像簇。
59.可选的,聚类处理还可以为比对两两人像特征图之间的相似度,比如运用余弦相似度算法,计算两个人像特征图之间的余弦值,将两者的余弦值衡量出两者之间的相似程度,得到相似度,将相似度达到预设相似度阈值的两个人像特征图汇集在一个人像簇中,从而能够将相似的多个人像特征图汇聚到一个人像簇中,如此,多个人像的情况下就汇聚出多个人像簇。
60.s203,将多个人像簇对应的待处理图像,分别记录为与该人像簇对应的人像聚类集,以得到包含同一人像的多个人像聚类集。
61.可理解地,一个人像簇对应一个人像聚类集,将一个人像簇所覆盖的所有人脸特征图所对应的待处理图像确定为与该人像簇对应的人像聚类集,即人像聚类集包含了所有含有同一人像的人像簇所对应的待处理图像。
62.本发明实现了通过对各待处理图像提取人脸属性特征,得到各待处理图像的人脸特征图;对所有人脸特征图进行聚类处理,得到多个人像簇;将多个人像簇对应的待处理图像,分别记录为与该人像簇对应的人像聚类集,以得到包含同一人像的多个人像聚类集。如此,能够通过人脸属性特征的提取,以及运用聚类处理,自动区分出不同人像的人像簇,并将不同人像簇所对应的所有待处理图像汇成不同人像所对应的人像聚类集,能够自动聚类分类出不同人像的人像聚类集,减少了人工识别和分类的过程及成本,提高了不同人像的人像聚类集分类的准确性和效率。
63.s30,对各人像聚类集分别进行静态人像分析,获得各人像聚类集对应的分析结果。
64.可理解地,静态人像分析的处理过程可以根据需求设定,比如静态人像分析的处理过程可以为对每个人像聚类集中的每个人像图像进行彼此间的各像素的比对(即两个人像图像中的每个像素的像素值之间的比对),通过对所有两两人像图像彼此间的比对结果进行分析,可计算这些比对结果的均值和方差,如果人像图像中的人像为静态人像,则相应的人像聚类集中的所有人像图像的差别极小,从而比对的结果接近为零,方差也接近为零,如此,如果符合均值小于预设均值,且方差十分小接近零,就将该人像聚类集的分析结果确定为误采,即确定该人像聚类集为误采图像,如果不符合均值小于预设均值,或者方差十分小接近零,就将该人像聚类集的分析结果确定为保留,说明该人像聚类集中的人像不属于静态人像,而是为真实的人像,即确定为正常图像。
65.可选的,静态人像分析的处理过程也可以为:首先,对一人像聚类集中的各待处理图像进行图像质量识别,得到每个待处理图像对应的质量评分,基于人像聚类集中的各待处理图像对应的质量评分,对人像聚类集中的所有待处理图像进行排序,得到相应的比对聚类集;其次,在比对聚类集中,将质量评分位于中位数的待处理图像记录为中位图像,将中位图像与静态图库中的各静态人像图像进行特征比对,得到比对聚类集的中位图像与各静态人像图像之间的多个第一特征相似度对比结果,并获取所有第一特征相似度对比结果中的最大特征相似度对比结果;最后,根据最大特征相似度对比结果,确定相应的分析结果,即如果最大特征相似度对比结果大于或者等于预设的第一阈值时,就确定人像聚类集为误采图像,如果最大特征相似度对比结果小于预设的第一阈值时,就确定人像聚类集为正常图像,从而可以遍历所有人像聚类集,可以得到每个人像聚类集所对应的分析结果。
66.可选的,静态人像分析的处理过程还可以为:首先,将一人像聚类集中的各待处理图像与各静态人像图像进行特征比对,得到各待处理图像与各静态人像图像的多个第二特征相似度对比结果;其次,获取与同一静态人像图像相对应的所有第二特征相似度对比结果中的最大特征相似度对比结果和平均特征相似度对比结果;最后,根据最大特征相似度对比结果和平均特征相似度对比结果,确定该人像聚类集所对应的分析结果,即如果最大特征相似度对比结果大于预设的第二阈值,以及平均特征相似度对比结果大于预设的第三
阈值时,就确定人像聚类集为误采图像,如果最大特征相似度对比结果小于或等于预设的第二阈值,或者平均特征相似度对比结果小于或等于预设的第三阈值时,就确定人像聚类集为正常图像,从而可以遍历所有人像聚类集,可以得到每个人像聚类集所对应的分析结果。
67.如此,通过不同的上述静态人像分析,获得不同的分析结果,根据不同静态人像分析的分析结果进行对比,能够灵活选择分析效果较好的静态人像分析方法,以准确地分析出静态的图像。
68.在一实施例中,对各人像聚类集分别进行静态人像分析,获得各人像聚类集对应的分析结果,包括:
69.针对每个人像聚类集,对人像聚类集中的各待处理图像进行图像质量识别,得到人像聚类集中的各待处理图像对应的质量评分。
70.可理解地,对一个人像聚类集中的各待处理图像进行图像质量识别,图像质量识别为通过图像质量检测模型进行识别。图像质量检测包括纹理检测网络、梯度检测网络和清晰度检测网络,通过图像质量检测模型对输入的人像图像进行纹理特征、梯度特征和清晰度特征的提取,即通过图像质量检测模型中的纹理检测网络提取待处理图像中的纹理特征,纹理特征为像素颜色的纹理具有的特征,对提取的纹理特征进行softmax分类,分类出在纹理维度上的图像质量程度结果,即纹理特征越规则和具有层次特征,说明图像中人像的拍摄质量越好。通过图像质量检测模型中的梯度检测网络提取待处理图像中的梯度特征,梯度特征为图像中像素点的梯度变换(对比度变化)的特征,对提取的梯度特征进行softmax分类,分类出在梯度维度上的图像质量程度结果,即梯度特征为图像对应的直方图具有的梯度变化越平滑,说明图像中人像的拍摄质量越好,通过图像质量检测模型中的清晰度检测网络提取待处理图像中的清晰度特征,清晰度特征为图像中像素的边缘清晰程度的特征,对提取的清晰度特征进行softmax分类,分类出在清晰度维度上的图像质量程度结果,即清晰度特征所体现的边缘越明显的区分,说明图像中人像的拍摄质量越好,对纹理维度上的图像质量程度结果、梯度维度上的图像质量程度结果和清晰度维度上的图像质量程度结果进行全连接层处理,得到各待处理图像的质量评分。质量评分能够体现该人像图像的拍摄质量,质量评分可以为0至100的分值,通过0至100的范围衡量图像中人像拍摄出的质量的好坏程度。
71.基于人像聚类集中的各待处理图像对应的质量评分,对人像聚类集中的所有待处理图像进行排序,得到人像聚类集对应的比对聚类集。
72.可理解地,根据一个人像聚类集中的所有待处理图像的质量评分,对该人像聚类集中的所有待处理图像进行降序或者升序排序,从而得到该人像聚类集所对应的比对聚类集。
73.在比对聚类集的待处理图像中,将质量评分位于中位数的待处理图像记录为比对聚类集的中位图像。
74.可理解地,中位数又称中值,是按顺序排列的比对聚类集中居于中间位置的数,也可理解为比对聚类集总数的一半,将比对聚类集划分为相等的两部分,如果比对聚类集总数为偶数时,将最中间的两个数作为中位数,将比对聚类集中位于中位数的待处理图像记录为中位图像,即在比对聚类集为奇数时,将中间数所对应的待处理图像作为中位图像,在
比对聚类集为偶数时,将中间的两个数所对应的待处理图像作为中位图像。
75.将比对聚类集的中位图像与静态图库中的各静态人像图像进行特征比对,得到比对聚类集的中位图像与各静态人像图像之间的多个第一特征相似度对比结果,并获取多个第一特征相似度对比结果中的最大特征相似度对比结果。
76.可理解地,中位图像和静态人像图像的特征比对可以通过训练完成的特征比对模型来实现,通过特征比对模型分别提取两个图像的静态特征及人物特征,比对中位图像和静态人像图像之间的静态特征,得到静态比对结果,以及比对中位图像和静态人像图像之间的人物特征,得到人物比对结果,综合静态比对结果和人物比对结果,例如将静态比对结果和人物比对结果加权求和,得到中位图像和静态人像图像之间的第一特征相似度对比结果的特征比对过程,从而得到比对聚类集的中位图像与各静态人像图像之间的多个第一特征相似度对比结果,并获取同一人像聚类集相应的所有第一特征相似度对比结果中的最大特征相似度对比结果。
77.其中,静态特征为历史收集的静态人像图像中具有的静态不变的特征,静态特征的学习为特征比对模型通过学习所有静态人像图像中共性特征,人物特征为历史收集的静态人像图像包含的人物的特征,人物特征的学习为特征比对模型通过学习所有静态人像图像中人像的人物的姿势或者表情具有的共性特征。
78.若最大特征相似度对比结果大于或者等于预设的第一阈值时,确定人像聚类集为误采图像。
79.可理解地,第一阈值可以根据需求设定,如果最大特征相似度对比结果大于或者等于第一阈值,就将人像聚类集中的所有待处理图像确定为误采图像。
80.若最大特征相似度对比结果小于预设的第一阈值时,确定人像聚类集为正常图像。
81.可理解地,如果最大特征相似度对比结果小于第一阈值,就将人像聚类集中的所有待处理图像确定为正常图像。
82.本发明实现了通过针对每个人像聚类集,对人像聚类集中的各待处理图像进行图像质量识别,得到人像聚类集中的各待处理图像对应的质量评分;基于人像聚类集中的各待处理图像对应的质量评分,对人像聚类集中的所有待处理图像进行排序,得到人像聚类集对应的比对聚类集;在比对聚类集的待处理图像中,将质量评分位于中位数的待处理图像记录为比对聚类集的中位图像;将比对聚类集的中位图像与静态图库中的各静态人像图像进行特征比对,得到比对聚类集的中位图像与各静态人像图像之间的多个第一特征相似度对比结果,并获取多个第一特征相似度对比结果中的最大特征相似度对比结果;若最大特征相似度对比结果大于或者等于预设的第一阈值时,确定人像聚类集为误采图像;若最大特征相似度对比结果小于预设的第一阈值时,确定人像聚类集为正常图像,如此,实现了通过图像质量识别,自行识别出各个人像图像的质量评分,并通过对每个人像聚类集按照质量评分进行排序,以及提取出中位图像,各中位图像与各静态人像图像进行自动特征比对,并根据最大比对结果确定各人像聚类集的分析结果,自动分析出哪些人像聚类集为误采,减少了人工识别的过程,大大提高了区分正常图像和误采图像的图像处理的准确率和正确率。
83.在一实施例中,图像处理方法,还包括:
84.将人像聚类集的中位图像和与最大特征相似度对比结果相应的静态人像图像进行图像质量比对,得到质量比对结果。
85.可理解地,图像质量比对为通过图像质量检测模型检测出该中位图像的质量评分,以及通过图像质量检测模型检测出与最大特征相似度对比结果相应的静态人像图像的质量评分,比对两者质量评分的大小的过程,从而得出质量比对结果,质量比对结果体现了误采的中位图像和与最大特征相似度对比结果相应的静态人像图像之间谁的图像质量更佳,质量比对结果为误采的中位图像和与最大特征相似度对比结果相应的静态人像图像之间的比值。
86.若质量比对结果大于预设质量阈值,则在静态图库中,根据人像聚类集的中位图像对最大特征相似度对比结果相应的静态人像图像进行更新。
87.可理解地,如果质量比对结果大于预设质量阈值,优选地,预设质量阈值为1,就将该更新相应的静态人像图像,即将该中位图像覆盖当前的静态人像图像,并将该中为图像存储至静态图库中相应的静态人像图像的位置。
88.如此,能够自动更新静态图库,让静态图库中的静态人像图像实时更新质量更佳的静态人像图像,无需人工添加,提高了静态图库的实时性和高质量。
89.在一实施例中,对各人像聚类集分别进行静态人像分析,获得各人像聚类集对应的分析结果,包括:
90.针对每个人像聚类集,将人像聚类集中的各待处理图像与各静态人像图像进行特征比对,得到各待处理图像与各静态人像图像的多个第二特征相似度对比结果。
91.可理解地,将一个人像聚类集中的各待处理图像与各静态人像图像进行特征比对,待处理图像和静态人像图像的特征比对为:先缩小尺寸至预设尺寸大小,对缩小尺寸后的图像进行简化色彩(灰度处理),然后运用余弦相似度算法,对比两个简化色彩后的平均值,得到待处理图像与各静态人像图像的多个第二特征相似度对比结果,遍历所有待处理图像,从而得到各待处理图像与各静态人像图像的多个第二特征相似度对比结果。
92.其中,余弦相似度算法为计算两个数值或者向量值之间的余弦值作为相似度的算法。
93.获取与同一静态人像图像相对应的所有第二特征相似度对比结果中的最大特征相似度对比结果和平均特征相似度对比结果。
94.可理解地,计算与同一静态人像图像相对应的所有第二特征相似度对比结果的平均值,得到与同一静态人像图像相对应的所有第二特征相似度对比结果中的平均相似度,获取与同一静态人像图像相对应的所有第二特征相似度对比结果的最大值,可获得与同一静态人像图像相对应的所有第二特征相似度对比结果中的最大特征相似度对比结果。
95.若最大特征相似度对比结果大于预设的第二阈值,以及平均特征相似度对比结果大于预设的第三阈值时,确定人像聚类集为误采图像。
96.可理解地,如果最大特征相似度对比结果大于预设的第二阈值,并且平均特征相似度对比结果大于预设的第三阈值,就将该人像聚类集中的所有待处理图像确定为误采图像。
97.若最大特征相似度对比结果小于或等于预设的第二阈值,或者平均特征相似度对比结果小于或等于预设的第三阈值时,确定人像聚类集为正常图像。
98.可理解地,如果最大特征相似度对比结果小于或等于预设的第二阈值,或者平均特征相似度对比结果小于或等于预设的第三阈值,就将该人像聚类集中的所有待处理图像确定为正常图像。
99.本发明实现了通过针对每个人像聚类集,将人像聚类集中的各待处理图像与各静态人像图像进行特征比对,得到各待处理图像与各静态人像图像的多个第二特征相似度对比结果;获取与同一静态人像图像相对应的所有第二特征相似度对比结果中的最大特征相似度对比结果和平均特征相似度对比结果;若最大特征相似度对比结果大于预设的第二阈值,以及平均特征相似度对比结果大于预设的第三阈值时,确定人像聚类集为误采图像;若最大特征相似度对比结果小于或等于预设的第二阈值,或者平均特征相似度对比结果小于或等于预设的第三阈值时,确定人像聚类集为正常图,如此,通过各待处理图像与各静态人像图像的相似度计算,自行获取最大相似度和平均相似度,并通过最大相似度和平均相似度,自动分析出哪些人像聚类集为误采,减少了人工识别的过程,大大提高了人像误采识别的准确率和正确率。
100.s40,基于各人像聚类集对应的分析结果,对各人像聚类集进行误采过滤,生成针对各人像聚类集的图像采集结果。
101.可理解地,误采过滤为从所有人像聚类集中,将确认为误采图像的分析结果所对应的人像聚类集进行过滤的过程,即对确认为误采图像的分析结果所对应的人像聚类集中的所有待处理图像进行去除或者丢弃,生成各去除或者丢弃的人像聚类集为静态人像的图像采集结果,对确认为正常图像的分析结果所对应的人像聚类集中的所有待处理图像进行保留,生成各保留的人像聚类集为真实人像的图像采集结果,同时对误采过滤后的各保留的人像聚类集进行高质量筛选,筛选出各人像聚类集的高质量图像,在前端可视化界面显示高质量图像,并将各高质量图像和相应的人像聚类集关联存储,以供后续调取真实人像的人像聚类集或/和高质量图像。
102.本发明实现了通过获取多个待处理图像;对多个待处理图像进行人像聚类处理,得到包含同一人像的多个人像聚类集;对各人像聚类集分别进行静态人像分析,获得各人像聚类集对应的分析结果;基于各人像聚类集对应的分析结果,对各人像聚类集进行误采过滤,生成针对各人像聚类集的图像采集结果,因此,本发明自动获取含人像的待处理图像,并通过人像聚类处理和静态人像分析,自动分析出误采的人像聚类集,以及经过误采过滤生成各人像聚类集的图像采集结果,避免了静态的人像的干扰,减少了后续对静态的人像图像的图像处理操作,提高了真实人像的图像处理的准确率和正确率。
103.在一实施例中,步骤s40中,即生成针对各人像聚类集的图像采集结果,包括:
104.对误采过滤后的各人像聚类集进行高质量筛选,筛选出各人像聚类集的高质量图像。
105.可理解地,高质量筛选为对误采过滤后保留的各人像聚类集中的待处理图像进行人脸识别,即对正常图像的待处理图像进行人脸识别,识别出人脸区域,并根据识别出的该人像图像中的人脸区域进行人脸特征和清晰度特征对图像进行筛选的过程。人脸特征为包含脸、眼、鼻子、嘴巴、眉毛都具备的特征,清晰度特征为图像中像素的边缘清晰程度的特征,根据提取的人脸特征输出人脸特征图,以及根据提取的清晰度特征输出清晰度特征图,结合人脸特征图和清晰度特征图,进行降维处理得到相应的质量分值,筛选出所有待处理
图像中质量分值最高所对应的待处理图像,将其记录为人像聚类集的高质量图像。
106.将各高质量图像在前端可视化界面显示,并将各人像聚类集的高质量图像和各人像聚类集的高质量图像对应的人像聚类集关联存储。
107.可理解地,前端可视化界面为用户或者客户可以通过持有的终端可以查看人像聚类集的图像采集结果,对各个高质量图像进行封装,并令封装后的高质量图像在前端可视化界面可显示,以查看高质量图像,同时将人像聚类集的高质量图像和人像聚类集的高质量图像对应的人像聚类集关联存储,以便后续调用。
108.本发明实现了通过对误采过滤后的各人像聚类集进行高质量筛选,筛选出各人像聚类集的高质量图像;将各高质量图像在前端可视化界面显示,并将各人像聚类集的高质量图像和各人像聚类集的高质量图像对应的人像聚类集关联存储,如此,能够通过高质量筛选,令高质量图像在前端可视化界面显示,以及将高质量图像与相应的人像聚类集关联,以便后续调用真实人像的人像聚类集,以及后续真实人像的图像处理。
109.在一实施例中,生成针对各人像聚类集的图像采集结果之后,包括:
110.s50,对各人像聚类集中的高质量图像进行人脸识别,得到与各人像聚类集对应的识别结果。
111.可理解地,对各人像聚类集中的高质量图像进行人脸识别的过程可以通过训练完成的人脸识别模型实现,将高质量图像输入人脸识别模型,人脸识别模型的网络结构为yolo的网络结构,因为运用yolo的网络结构能够快速地识别出人脸的区域结果,人脸识别模型的训练过程为输入含有人脸标签的人脸样本,对该人脸样本进行人脸特征的提取(卷积),根据提取的人脸特征,得到小尺度的特征图,对小尺度的特征图进行上采样和张量拼接,得到中尺度的特征图,然后对该中尺度的特征图进行上采样和张量拼接,得到大尺度的特征图,再对小尺度、中尺度和大尺度的特征图进行多尺度检测,预测出具有人脸特征的一个人脸的样本识别结果,计算该样本识别结果和人脸标签之间的损失值,根据损失值迭代更新人脸识别模型的参数,直至损失值达到收敛条件,从而停止训练的过程,其中,小尺度、中尺度和大尺度可分别为相对于待识别图像尺寸的1/32尺度、1/16尺度、1/8尺度,通过不同尺度的特征图能够检测的到更加细粒度的人脸特征,上采样为卷积的反向传播,即反卷积或者前向传播的转置,张量拼接为将卷积过程中的中间层和相邻的下一层的上采样结果进行拼接过程,人脸特征为与人脸部位相关的特征,比如眼、脸、鼻子、嘴、眉毛等能体现一个人像的轮廓的特征,人脸识别模型的识别过程为通过人脸识别模型对输入的待识别图像进行人脸特征的提取,通过小尺度、中尺度和大尺度的特征图进行多尺度检测,预测出具有人脸特征的一个人脸的识别结果,从而确定出该人脸是谁的识别结果,识别结果表明了人像聚类集中的所有待处理图像包含属于谁的人脸。
112.如此,能够运用人脸特征提取,并通过人脸识别模型自动识别出人像聚类集中的人像是谁的识别结果。
113.应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
114.在一实施例中,提供一种图像处理装置,该图像处理装置与上述实施例中图像处理方法一一对应。如图5所示,该图像处理装置包括获取模块11、聚类模块12、分析模块13和
过滤模块14。各功能模块详细说明如下:
115.获取模块11,用于获取多个待处理图像;
116.聚类模块12,用于对多个所述待处理图像进行人像聚类处理,得到包含同一人像的多个人像聚类集;
117.分析模块13,用于对各所述人像聚类集分别进行静态人像分析,获得各所述人像聚类集对应的分析结果;
118.过滤模块14,用于基于各所述人像聚类集对应的分析结果,对各所述人像聚类集进行误采过滤,生成针对各所述人像聚类集的图像采集结果。
119.关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
120.在一个实施例中,提供了一种计算机设备,该计算机设备可以是客户端或者服务端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作系统、计算机程序和数据库。该内存储器为可读存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
121.在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中图像处理方法。
122.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中图像处理方法。
123.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom (prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom) 或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram (ddrsdram)、增强型sdram(esdram)、同步链路(synchlink) dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram) 等。
124.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
125.以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实
施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献