一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、装置、设备及存储介质与流程

2021-12-15 03:21:00 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术:

2.目前,在婴儿监测的应用场景中,通过婴儿监视器实时采集婴儿图像,然后基于运动检测算法判断图像中婴儿是否处于危险情况,当婴儿出现较危险的情况时,婴儿监视器可以及时地发出报警,以提醒家长进行关注。婴儿监视器是通过运动检测技术实现上述功能的,运动检测的主要目的是从实时的序列图像中将变化区域从背景图像中提取出来,目前比较常用的运动检测算法有背景减除法、时间差分法和光流法,现有的算法对动态背景变化或摄像机存在运动具有良好的抗噪性,即使复杂环境下也能够有效地提取和跟踪运动目标,但这导致了现有的运动检测算法的复杂性较高,需要一定理解成本,对使用者有一定门坎,且在婴儿监测这种背景、光线较稳定的场景中,由于现有算法的计算复杂性反而会降低检测的效率,导致报警不及时。
3.因此,在普适性要求不是很高的场景下,如何提供一种快速简单实现低计算成本的实时运动检测方案是亟需解决的问题。


技术实现要素:

4.本公开提供一种图像处理方法、装置、设备及存储介质,算法复杂度低,易于实现,实施投入成本低,在特定应用场景中应用时效率非常高。本公开的技术方案如下:
5.根据本公开实施例的第一方面,提供一种图像处理方法,包括:
6.获取图像序列;图像序列中的图像包括目标对象;图像序列包括周期内对视频中正处于活动状态的目标对象进行采集的连续多帧图像,或者,图像序列包括对视频中执行预设动作的目标对象进行采集的连续多帧图像;
7.确定图像序列中相邻两帧图像之间的差异帧图像,得到差异帧图像序列;
8.基于目标识别参数,对差异帧图像序列进行二值化处理,得到二值图像序列;目标识别参数表征目标对象的像素值范围,二值图像序列表征目标对象的运动状态。
9.在一个示例性的实施方式中,当图像序列包括周期内对视频中正处于活动状态的目标对象进行采集的连续多帧图像时,方法还包括:
10.将二值图像序列作为当前周期对应的二值图像序列;
11.根据当前周期对应的二值图像序列,确定下一周期获取的图像的帧数;
12.根据下一周期获取的图像的帧数,执行获取图像序列直至得到二值图像序列的步骤,得到下一周期对应的二值图像序列。
13.在一个示例性的实施方式中,根据当前周期对应的二值图像序列,确定下一周期获取的图像的帧数包括:
14.针对当前周期对应的二值图像序列中的每个二值图像,确定二值图像中目标像素
的数量,目标像素的像素值为第一预设值;
15.根据目标像素的数量与二值图像中像素的总数,确定二值图像对应的变化程度值;
16.根据当前周期对应的二值图像序列中各二值图像对应的变化程度值,确定变化程度值大于或者等于预设程度值的二值图像的数量;
17.若数量超过预设数量,则根据预设帧数增长幅度和当前周期对应的图像序列的帧数确定下一周期获取的图像的帧数;预设数量基于当前周期对应的二值图像序列中二值图像的总数确定。
18.在一个示例性的实施方式中,当图像序列包括对视频中执行预设动作的目标对象进行采集的连续多帧图像时,获取图像序列,包括:
19.接收用户账户发送的运动指导请求和连续多帧图像,运动指导请求用于指示基于连续多帧图像生成预设动作对应的指导信息。
20.在一个示例性的实施方式中,在获取图像序列之后,方法还包括:
21.对图像序列进行预处理操作,得到预处理后的图像序列;预处理操作包括以下至少之一:光栅化、分辨率调整、降噪。
22.在一个示例性的实施方式中,相邻两帧图像包括第一帧图像和第二帧图像;
23.确定图像序列中相邻两帧图像之间的差异帧图像,包括:
24.基于第一帧图像中每个像素的像素值确定第一数字矩阵;
25.基于第二帧图像中每个像素的像素值确定第二数字矩阵;
26.将第一数字矩阵与第二数字矩阵相减,得到第三数字矩阵;第三数字矩阵表征差异帧图像中每个像素的像素值。
27.在一个示例性的实施方式中,目标识别参数包括预设颜色通道的像素阈值;
28.基于目标识别参数,对差异帧图像序列进行二值化处理,得到二值图像序列,包括:
29.针对差异帧图像序列中的每个差异帧图像,将差异帧图像中像素值满足像素阈值的像素确定为目标像素;
30.将目标像素的像素值调整为第一预设值,并将差异帧图像中除目标像素之外的各像素的像素值调整为第二预设值,得到差异帧图像对应的二值图像。
31.根据本公开实施例的第二方面,提供一种图像处理装置,包括:
32.获取模块,被配置为执行获取图像序列;图像序列中的图像包括目标对象;图像序列包括周期内对视频中正处于活动状态的目标对象进行采集的连续多帧图像,或者,图像序列包括对视频中执行预设动作的目标对象进行采集的连续多帧图像;
33.第一确定模块,被配置为执行确定图像序列中相邻两帧图像之间的差异帧图像,得到差异帧图像序列;
34.第一处理模块,被配置为执行基于目标识别参数,对差异帧图像序列进行二值化处理,得到二值图像序列;目标识别参数表征目标对象的像素值范围,二值图像序列表征目标对象的运动状态。
35.在一个示例性的实施方式中,当图像序列包括周期内对视频中正处于活动状态的目标对象进行采集的连续多帧图像时,装置还包括:
36.第二确定模块,被配置为执行将二值图像序列作为当前周期对应的二值图像序列;
37.第三确定模块,被配置为执行根据当前周期对应的二值图像序列,确定下一周期获取的图像的帧数;
38.执行模块,被配置为执行根据下一周期获取的图像的帧数,执行获取图像序列直至得到二值图像序列的步骤,得到下一周期对应的二值图像序列。
39.在一个示例性的实施方式中,第三确定模块,包括:
40.第一确定单元,被配置为执行针对当前周期对应的二值图像序列中的每个二值图像,确定二值图像中目标像素的数量,目标像素的像素值为第一预设值;
41.第二确定单元,被配置为执行根据目标像素的数量与二值图像中像素的总数,确定二值图像对应的变化程度值;
42.第三确定单元,被配置为执行根据当前周期对应的二值图像序列中各二值图像对应的变化程度值,确定变化程度值大于或者等于预设程度值的二值图像的数量;
43.第四确定单元,被配置为执行若数量超过预设数量,则根据预设帧数增长幅度和当前周期对应的图像序列的帧数确定下一周期获取的图像的帧数;预设数量基于当前周期对应的二值图像序列中二值图像的总数确定。
44.在一个示例性的实施方式中,当图像序列包括对视频中执行预设动作的目标对象进行采集的连续多帧图像时,获取模块,被配置为执行:
45.接收用户账户发送的运动指导请求和图像序列;图像序列包括目标对象执行预设动作的连续多帧图像,运动指导请求用于指示基于连续多帧图像生成预设动作对应的指导信息。
46.在一个示例性的实施方式中,装置还包括:
47.预处理模块,被配置为执行对图像序列进行预处理操作,得到预处理后的图像序列;预处理操作包括以下至少之一:光栅化、分辨率调整、降噪。
48.在一个示例性的实施方式中,相邻两帧图像包括第一帧图像和第二帧图像;
49.第一确定模块,被配置为执行:
50.基于第一帧图像中每个像素的像素值确定第一数字矩阵;
51.基于第二帧图像中每个像素的像素值确定第二数字矩阵;
52.将第一数字矩阵与第二数字矩阵相减,得到第三数字矩阵;第三数字矩阵表征差异帧图像中每个像素的像素值。
53.在一个示例性的实施方式中,目标识别参数包括预设颜色通道的像素阈值;
54.第一处理模块,被配置为执行:
55.针对差异帧图像序列中的每个差异帧图像,将差异帧图像中像素值满足像素阈值的像素确定为目标像素;
56.将目标像素的像素值调整为第一预设值,并将差异帧图像中除目标像素之外的各像素的像素值调整为第二预设值,得到差异帧图像对应的二值图像。
57.在一个示例性的实施方式中,装置还包括:
58.运动状态分析模块,被配置为执行根据二值图像序列确定目标对象的运动状态,对目标对象的运动状态进行分析。
59.在一个示例性的实施方式中,装置还包括:
60.运动矫正模块,被配置为执行若对目标对象的运动状态进行分析的分析结果包括目标对象的运动状态为待矫正状态,生成对应的矫正建议。
61.根据本公开实施例的第三方面,提供一种电子设备,包括:
62.处理器;
63.用于存储处理器可执行指令的存储器;
64.其中,处理器被配置为执行指令,以实现如上述第一方面的图像处理方法。
65.根据本公开实施例的第四方面,提供一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述第一方面的图像处理方法。
66.根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,其特征在于,计算机程序被处理器执行时实现上述第一方面的图像处理方法。
67.本公开的实施例提供的技术方案至少带来以下有益效果:
68.通过获取图像序列;图像序列中的图像包括目标对象;图像序列包括周期内对视频中正处于活动状态的目标对象进行采集的连续多帧图像,或者,图像序列包括对视频中执行预设动作的目标对象进行采集的连续多帧图像;确定图像序列中相邻两帧图像之间的差异帧图像,得到差异帧图像序列;基于目标识别参数,对差异帧图像序列进行二值化处理,得到二值图像序列;目标识别参数表征目标对象的像素值范围,二值图像序列表征目标对象的运动状态。本公开提供的图像处理方法,通过快速、简单的计算,即可实现运动物体的检测,且使用成本极低,算法复杂度低,易于开发者理解和实现。
69.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
70.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
71.图1是根据一示例性实施例示出的一种应用环境示意图;
72.图2是根据一示例性实施例示出的一种图像处理方法的流程图;
73.图3是根据一示例性实施例示出的一种确定图像序列中相邻两帧图像之间的差异帧图像的流程图;
74.图4是根据一示例性实施例示出的一种基于目标识别参数,对差异帧图像序列进行二值化处理,得到二值图像序列的流程图;
75.图5是根据一示例性实施例示出的一种二值图像序列的示意图;
76.图6是根据一示例性实施例示出的另一种图像处理方法的流程图;
77.图7是根据一示例性实施例示出的一种根据当前周期对应的二值图像序列,确定下一周期获取的图像的帧数的流程图;
78.图8是根据一示例性实施例示出的一种图像处理装置框图;
79.图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
80.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
81.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
82.在一些特定应用场景中,比如光源光照强度稳定且无频闪或频闪频率是摄像头采样率的整数倍,或者运动物体颜色与周围环境有明显差异等对运动物体的识别要求度不是很高的场景,现有的运动检测算法如背景减除法、时间差分法和光流法等复杂度比较高,需要一定理解成本,对使用者有一定门坎;且这些算法需要进行大量的运算,效率比较低。
83.鉴于此,本公开提供一种图像处理方法、装置、设备及存储介质,基于特定要求下(主要对光线和物体颜色要求),通过快速、简单的计算,即可得到较为实用的检测结果,且使用成本极低,一般开发者均可以理解和实现。
84.请参阅图1,其所示为根据一示例性实施例示出的一种图像处理方法的应用环境示意图,该应用环境可以包括服务器01和终端02。可选的,服务器01和终端02可以通过无线链路连接,也可以通过有线链路连接,本公开在此不做限定。
85.在一个可选的实施例中,服务器01可以用于根据获取的图像序列得到二值图像序列。具体的,服务器01可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选的,该服务器01上运行的操作系统可以包括但是不限于ios、linux、windows、unix、android系统等。
86.在一个可选的实施例中,终端02可以协助服务器01得到图像序列的设备。终端可以是图像序列的提供方,用于向服务器01发送图像序列。可选的,当服务器01得到二值图像序列后,可以将二值图像序列发送至其他终端02,用于在其他终端02上显示。具体的,终端02可以包括但不限于数码相机、gopro运动相机等图像采集设备,以及智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,ar)/虚拟现实(virtual reality,vr)设备、智能可穿戴设备等类型的电子设备;其中,电子设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、windows等。
87.此外,需要说明的是,图1所示的仅仅是本公开提供的图像处理方法的一种应用环境,在实际应用中,还可以包括其他应用环境,例如二值图像序列的得到,也可以在终端02上实现。
88.图2是根据一示例性实施例示出的一种图像处理方法的流程图,如图2所示,以图像处理方法用于图1的服务器中为例,包括以下步骤:
89.在步骤s201中,获取图像序列;图像序列中的图像包括目标对象。
90.其中,图像序列包括周期内对视频中正处于活动状态的目标对象进行采集的连续
多帧图像,或者,图像序列包括对视频中执行预设动作的目标对象进行采集的连续多帧图像。
91.本公开实施例中,图像序列可以是服务器从终端处获取的。该终端可以是图像采集设备,比如可以通过设置在终端上的摄像头对目标对象进行采集。目标对象可以是预先确定的、想要观察其运动状态的对象,也可以是任何需要从环境中检测出来的可疑对象。
92.本公开实施例中是为了从图像序列中获得目标对象的大致活动内容,例如,从婴儿监控系统拍摄的监控视频中了解婴儿的活动状态,或从报警监控系统拍摄的监控视频中捕捉可疑的运动目标,或舞蹈、健身场景中根据用户上传的动作视频了解用户的动作是否标准。
93.在一个可选的实施方式中,所述获取图像序列可以包括以下步骤:
94.接收用户账户发送的运动指导请求和图像序列;图像序列包括目标对象执行预设动作的连续多帧图像,运动指导请求用于指示基于连续多帧图像生成预设动作对应的指导信息。
95.其中,用户账户是预先于服务器注册过的账户,服务器可以向该用户账户对应的用户提供相关运动指导,例如,舞蹈、健身等场景中,对于未接受过专业的训练或其他原因导致无法确定自己舞蹈动作或健身动作是否规范的用户,可以使用服务器提供的运动指导功能。具体的,用户可以使用带有摄像头的设备例如手机,拍摄自己或他人完整执行某预设动作的连续多帧图像,该预设动作可以包括任一舞蹈动作或健身动作,然后向服务器发送运动指导请求,并上传拍摄的图像序列,服务器响应于该运动指导请求,基于图像序列得到对应的二值图像序列,然后根据二值图像序列,生成对应的指导信息,该指导信息可以包括预设动作是否标准以及不标准时如何改正的建议。
96.需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等),均为经用户授权或者经过各方充分授权的信息。
97.在一个可选的实施方式中,在获取图像序列之后,本公开的方法还可以包括以下步骤:
98.对图像序列进行预处理操作,得到预处理后的图像序列;预处理操作包括以下至少之一:光栅化、分辨率调整、降噪。
99.其中,光栅化又称栅格化,是将矢量图形格式表示的图像转换成位图以用于显示器或者打印机输出的过程。本公开考虑到获取的图像序列的格式可能是矢量图,即面向对象的图像或绘图图像,构成矢量图的元素是一些点、线、矩形、多边形、圆和弧线等,它们都是通过数学公式计算获得的,此种格式的图像必须经光栅化处理,转换为栅格结构的位图才能进行后续步骤的处理。
100.分辨率调整,用于对图像序列中图像的大小进行统一,可以提高图像处理效率。
101.降噪(image denoising),也称去噪,由于数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,在对图像进行处理前,可以根据需要对图像进行去噪处理,以降低干扰。
102.在步骤s203中,确定图像序列中相邻两帧图像之间的差异帧图像,得到差异帧图像序列。
103.本公开实施例中,相邻两帧图像指的是时间上连续拍摄得到的两帧图像。由相邻
两帧图像之间的差异帧图像,可以确定出任一时刻位置发生变化的对象。
104.在一个可选的实施方式中,相邻两帧图像包括第一帧图像和第二帧图像;上述确定图像序列中相邻两帧图像之间的差异帧图像可以包括如图3中的以下步骤:
105.在步骤s301中,基于第一帧图像中每个像素的像素值确定第一数字矩阵。
106.在步骤s303中,基于第二帧图像中每个像素的像素值确定第二数字矩阵。
107.在步骤s305中,将第一数字矩阵与第二数字矩阵相减,得到第三数字矩阵;第三数字矩阵表征差异帧图像中每个像素的像素值。
108.在一个具体的实施方式中,将第一帧图像标记为c帧(control帧),并进行缓存记录,将第二帧图像标记为t帧(target帧),使用opengl、metal等可实时处理图像并渲染的技术,进行实时计算渲染后得到差异帧图像。输入参数为c帧和t帧的光栅化后的数据,即第一数字矩阵:c矩阵,以及第二数字矩阵:t矩阵;然后,由t矩阵减去c矩阵得到差异帧图像对应的第三数字矩阵:dp(d

previous)矩阵;其中,数字矩阵是由图像中所有像素的像素值构成的多维向量。
109.在步骤s205中,基于目标识别参数,对差异帧图像序列进行二值化处理,得到二值图像序列。
110.其中,目标识别参数表征目标对象的像素值范围,二值图像序列表征目标对象的运动状态。
111.本公开实施例中,目标识别参数包括预设颜色通道的像素阈值,预设颜色通道可以包括红绿蓝各颜色通道。目标识别参数需要根据实际应用场景进行调试得到,具体可以使用人工调参方法,也可以训练一套自动调参算法进行自动调参,本公开对于目标识别参数的确定方式不作限制。目标识别参数可以表征目标对象在红绿蓝各颜色通道上对应的像素值范围。
112.基于目标识别参数,对差异帧图像序列进行二值化处理,得到的二值图像序列中可以清晰地观察到目标对象的运动状态。
113.在一个可选的实施方式中,对二值图像做主观评价,调整对应的目标识别参数。例如,二值图像中信息丢失过多(看不清)时,可以通过调低目标识别参数来解决,反之,二值图像中噪音过大(杂乱)时,可以通过调高目标识别参数来去除更多信息;对于变化不大场景而言,只需执行一次调整目标识别参数的步骤。
114.在一个可选的实施方式中,上述基于目标识别参数,对差异帧图像序列进行二值化处理,得到二值图像序列可以包括如图4中的以下步骤:
115.在步骤s401中,针对差异帧图像序列中的每个差异帧图像,将差异帧图像中像素值满足像素阈值的像素确定为目标像素。
116.在步骤s403中,将目标像素的像素值调整为第一预设值,并将差异帧图像中除目标像素之外的各像素的像素值调整为第二预设值,得到差异帧图像对应的二值图像。
117.基于上文具体的实施例,使用过滤器(filter),将dp矩阵中数值不满足像素阈值的信号抹除,剩余的满足像素阈值的信号均放大为最大值,如此,可以实现差异帧图像的二值化,输出结果即为二值图像;当应用在rgb色彩空间中时,上述第一预设值可以是(255,255,255),第二预设值可以是(0,0,0),对应的二值图像为黑白图像,白色区域即为目标对象,如图5所示,图5是本公开提供的一种示例性的二值图像序列的示意图,该二值图像序列
显示目标对象(人)处于向下挥动其手部的状态。
118.本公开实施例中,终端图像采集设备可以实时采集正在运动中的目标对象的图像,即,图像序列包括周期内对视频中正处于活动状态的目标对象进行采集的连续多帧图像;此时,步骤s201中服务器周期性地执行从终端获取预设帧数的图像序列,并计算得到每个周期对应的二值图像序列。为了保证目标对象在运动过程中有连续不断的图像的输入,服务器可以对每一周期内获取的图像序列的帧数进行动态调整以适应目标对象的不同变化速度。
119.基于此,在一个可选的实施方式中,在步骤s205之后,本公开的方法还包括图6中的以下步骤:
120.在步骤s601中,将二值图像序列作为当前周期对应的二值图像序列。
121.在步骤s603中,根据当前周期对应的二值图像序列,确定下一周期获取的图像的帧数。
122.在一个具体的实施方式中,所述根据当前周期对应的二值图像序列,确定下一周期获取的图像的帧数可以包括图7中的以下步骤:
123.在步骤s701中,针对当前周期对应的二值图像序列中的每个二值图像,确定二值图像中目标像素的数量,目标像素的像素值为第一预设值。
124.在步骤s703中,根据目标像素的数量与二值图像中像素的总数,确定二值图像对应的变化程度值。
125.其中,变化程度值可以是目标像素的数量与二值图像中像素的总数之比,表征目标对象在二值图像中所占比例,变化程度值也可以表示原图像序列中相邻两帧图像之间的差异度。
126.在步骤s705中,根据当前周期对应的二值图像序列中各二值图像对应的变化程度值,确定变化程度值大于或者等于预设程度值的二值图像的数量。
127.在确定各二值图像对应的变化程度值后,将各变化程度值与预设程度值进行比较,依据变化程度值和预设程度值之间的大小关系,进一步判断目标对象是否处于快速变化的状态,从而相应地动态调整服务器获取的图像的帧数,使其既能满足需求,又不会因持续以较高的获取帧数获取图像序列而造成服务器计算资源和功耗的浪费,可以提高图像处理效率。
128.需要说明的是,上述动态调整服务器获取的图像的帧数中,可以通过调节终端图像采集设备的采集帧率实现,也可以通过调节服务器自身采样的频率实现。
129.在步骤s707中,若数量超过预设数量,则根据预设帧数增长幅度和当前周期对应的图像序列的帧数确定下一周期获取的图像的帧数;预设数量基于当前周期对应的二值图像序列中二值图像的总数确定。
130.统计当前周期对应的二值图像序列中变化程度值大于或者等于预设程度值的二值图像的数量,如果该数量超过预设数量,则在当前周期对应的图像序列的帧数的基础上,以一定的预设帧数增长幅度,调高下一周期获取的图像的帧数;其中预设数量可以是当前周期对应的二值图像序列中二值图像的总数的1/2。
131.其中,调高下一周期获取的图像的帧数,可以通过调高图像采集备的采集帧率实现,也可以通过调节服务器自身采样的频率实现;以调高图像采集备的采集帧率为例,第一
个周期内,帧率是4帧/s,服务器以5秒为一周期获取一次图像序列,那么第一个周期内服务器获取的图像序列中包括20帧图像,服务器基于该20帧图像进行处理,得到第一个周期对应的二值图像序列,该二值图像序列中二值图像的数量是19帧;然后针对每个二值图像,计算对应的变化程度值;若19帧二值图像中变化程度值大于或者等于预设程度值的二值图像的数量是11帧,超过预设数量10帧,则按照预设帧数增长幅度2帧/s调高图像采集备的采集帧率,即,将图像采集设备的采集帧率调整为6帧/s,对应的下一周期获取的图像的帧数是30帧。
132.在步骤s605中,根据下一周期获取的图像的帧数,执行获取图像序列直至得到二值图像序列的步骤,得到下一周期对应的二值图像序列。
133.基于调高后的下一周期获取的图像的帧数,重复执行上述步骤s201

s205,得到下一周期对应的二值图像序列,如此,可以适应处于快速变化状态的目标对象以获得该目标对象完整的运动状态。
134.本公开实施例提供的图像处理方法,应用在厂房的看管、婴儿活动的检测等应用场景中时,可以快速检测物体移动,便于后续及时地进行报警或者提醒,由于不需要进行复杂的识别,计算成本和反应速度都远远快于传统的神经网络等智能识别方式,可以让消费者大致了解物体活动的内容。
135.本公开实施例提供的图像处理方法,最终得到的二值图像序列,可以作为显示帧或者记录帧进行使用。且由于二值图像总共只有两种颜色信息,对于不需要关注的信息进行删除,仅保留与目标对象的活动相关的内容,这对于一些敏感的场所或个人,可以极大程度地保护场所的不可公开性以及用户的隐私。
136.此外,在视频传输的应用场景中,相较于输入原始图像序列的处理方式,本公开实施例提供的图像处理方法,通过去除绝大多数无关信息,最终得到二值图像序列,可以使得被传输视频数据有机会达到极大的压缩率和极高的保真率。
137.图8是根据一示例性实施例示出的一种图像处理装置框图。参照图8,该装置包括获取模块801、第一确定模块802和第一处理模块803,其中:
138.获取模块801,被配置为执行获取图像序列;图像序列中的图像包括目标对象;图像序列包括周期内对视频中正处于活动状态的目标对象进行采集的连续多帧图像,或者,图像序列包括对视频中执行预设动作的目标对象进行采集的连续多帧图像;
139.第一确定模块802,被配置为执行确定图像序列中相邻两帧图像之间的差异帧图像,得到差异帧图像序列;
140.第一处理模块803,被配置为执行基于目标识别参数,对差异帧图像序列进行二值化处理,得到二值图像序列;目标识别参数表征目标对象的像素值范围,二值图像序列表征目标对象的运动状态。
141.在一个示例性的实施方式中,当图像序列包括周期内对视频中正处于活动状态的目标对象进行采集的连续多帧图像时,装置还包括:
142.第二确定模块,被配置为执行将二值图像序列作为当前周期对应的二值图像序列;
143.第三确定模块,被配置为执行根据当前周期对应的二值图像序列,确定下一周期获取的图像的帧数;
144.执行模块,被配置为执行根据下一周期获取的图像的帧数,执行获取图像序列直至得到二值图像序列的步骤,得到下一周期对应的二值图像序列。
145.在一个示例性的实施方式中,第三确定模块,包括:
146.第一确定单元,被配置为执行针对当前周期对应的二值图像序列中的每个二值图像,确定二值图像中目标像素的数量,目标像素的像素值为第一预设值;
147.第二确定单元,被配置为执行根据目标像素的数量与二值图像中像素的总数,确定二值图像对应的变化程度值;
148.第三确定单元,被配置为执行根据当前周期对应的二值图像序列中各二值图像对应的变化程度值,确定变化程度值大于或者等于预设程度值的二值图像的数量;
149.第四确定单元,被配置为执行若数量超过预设数量,则根据预设帧数增长幅度和当前周期对应的图像序列的帧数确定下一周期获取的图像的帧数;预设数量基于当前周期对应的二值图像序列中二值图像的总数确定。
150.在一个示例性的实施方式中,当图像序列包括对视频中执行预设动作的目标对象进行采集的连续多帧图像时,获取模块801,被配置为执行:
151.接收用户账户发送的运动指导请求连续多帧图像,运动指导请求用于指示基于连续多帧图像生成预设动作对应的指导信息。
152.在一个示例性的实施方式中,装置还包括:
153.预处理模块,被配置为执行对图像序列进行预处理操作,得到预处理后的图像序列;预处理操作包括以下至少之一:光栅化、分辨率调整、降噪。
154.在一个示例性的实施方式中,相邻两帧图像包括第一帧图像和第二帧图像;
155.第一确定模块802,被配置为执行:
156.基于第一帧图像中每个像素的像素值确定第一数字矩阵;
157.基于第二帧图像中每个像素的像素值确定第二数字矩阵;
158.将第一数字矩阵与第二数字矩阵相减,得到第三数字矩阵;第三数字矩阵表征差异帧图像中每个像素的像素值。
159.在一个示例性的实施方式中,目标识别参数包括预设颜色通道的像素阈值;
160.第一处理模块803,被配置为执行:
161.针对差异帧图像序列中的每个差异帧图像,将差异帧图像中像素值满足像素阈值的像素确定为目标像素;
162.将目标像素的像素值调整为第一预设值,并将差异帧图像中除目标像素之外的各像素的像素值调整为第二预设值,得到差异帧图像对应的二值图像。
163.在一个示例性的实施方式中,该图像处理装置还包括运动状态分析模块:
164.运动状态分析模块,被配置为执行根据二值图像序列确定目标对象的运动状态,对目标对象的运动状态进行分析。
165.在舞蹈、健身等场景中,一些用户存在,由于未接受专业的训练或其它原因导致无法确定自己动作是否规范,同时不希望被他人知晓的情况下,获得专业的指点的需求。
166.鉴于此,本公开实施例提供的图像处理装置,可以在保护用户隐私的前提下,通过运动状态分析模块帮助用户提高自身的一些活动的规范性。举例来说,用户可以预先对自己的舞蹈动作或及健身动作进行录像记录形成图像序列,然后将图像序列上传至图像处理
装置,包含用户舞蹈动作或及健身动作的图像序列依次经获取模块801、第一确定模块802和第一处理模块803后得到对应的二值图像序列,实现将背景信息以及用户相关的隐私信息进行剔除,仅保留与用户动作相关的内容,如此,可以保护用户隐私;得到的二值图像序列继续由运动状态分析模块进行处理,处理的过程可以包括基于标准动作对用户的动作进行分析,以得到用户的动作是否标准的结果。
167.在一个示例性的实施方式中,图像处理装置还包括:
168.运动矫正模块,被配置为执行若对目标对象的运动状态进行分析的分析结果包括目标对象的运动状态为待矫正状态,生成对应的矫正建议。
169.在一个具体的实施方式中,运动状态分析模块包括一显示设备,显示设备用于显示二值图像序列,可以通过人工的方式对显示的二值图像序列进行分析判断;例如显示设备显示上述经过处理的包括用户的动作的二值图像序列,然后由专家或教练对所显示的内容进行分析,若分析用户的动作不标准,则由专家或教练人工输入相应的矫正建议。
170.在另一个具体的实施方式中,数据库中预先存储有大量的标准舞蹈动作或标准健身动作对应的视频,运动状态分析模块通过预设程序自动从数据库中调取相应的标准动作的视频,然后与包含用户的动作的二值图像序列进行比较,得到用户的动作是否标准的结果,以及在不标准时生成目标对象的运动状态为待矫正状态的信息;
171.运动矫正模块,响应于目标对象的运动状态为待矫正状态的信息,可以通过预设程序对包含用户的动作的二值图像序列进行进一步分析,以生成对应的矫正建议,也可以通过向专家或教练绑定的终端发送指导任务信息以及包含用户的动作的二值图像序列,以获得专家或教练的反馈的矫正建议。
172.关于上述实施例中的装置,各模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
173.在一个示例性的实施方式中,还提供了一种电子设备,包括处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行存储器上所存放的指令时,实现本公开实施例中提供的任意一种图像处理方法。
174.该电子设备可以是终端、服务器或者类似的运算装置,以该电子设备是服务器为例,图9是根据一示例性实施例示出的一种图像处理的电子设备的框图,如图9所示,该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,cpu)910(处理器910可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器930,一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中,存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器910可以设置为与存储介质920通信,在服务器900上执行存储介质920中的一系列指令操作。服务器900还可以包括一个或一个以上电源960,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口940,和/或,一个或一个以上操作系统921,例如windows servertm,mac os xtm,unixtm,linuxtm,freebsdtm等等。
175.输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器900的通信供应商提供的无线网络。在一个实例中,输入输出接口940包括
一个网络适配器(network interface controller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口940可以为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
176.本领域普通技术人员可以理解,图9所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器900还可包括比图9中所示更多或者更少的组件,或者具有与图9所示不同的配置。
177.在一个示例性的实施方式中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器930,上述指令可由装置900的处理器910执行以完成上述方法。可选地,计算机可读存储介质可以是rom、随机存取存储器(ram)、cd

rom、磁带、软盘和光数据存储设备等。
178.在一个示例性的实施方式中,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现本公开实施例中提供的任意一种图像处理方法。
179.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
180.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献