一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

主体检测框的显示方法、装置、电子设备及可读存储介质与流程

2023-01-15 10:44:13 来源:中国专利 TAG:


1.本公开涉及人工智能技术领域,具体为深度学习、图像处理、计算机视觉技术领域,可应用于ocr(optical character recognition,光学字符识别)等场景。


背景技术:

2.主体检测技术是被广泛使用的一种检测技术,用于从图像中检测出一个或者多个主体所在的位置,进而从图像中裁剪出主体对应的图像区域,用于后续的图像处理。例如,针对纸质票据所采集的票据图像进行主体检测,从票据图像中检测出票据主体所在的图像区域,用于提取票据的结构化信息。
3.相关技术中,用户可以通过摄像设备采集图像,而后对所采集的图像进行主体检测,得到主体检测结果。对图像进行主体检测的过程需要一段时间,在这段时间内可以向用户实时展示主体检测结果以提升用户体验,主体检测结果一般以主体检测框的形式进行展示。
4.在将连续的多个主体检测框依次展示时,相邻的两个主体检测框之间的位置可能会存在较大差异,这使得所展示的主体检测框的位置会发生快速偏移。


技术实现要素:

5.本公开为了解决上述缺陷中的至少一项,提供了一种主体检测框的显示方法、主体检测框的显示装置、电子设备、计算机程序产品。
6.根据本公开的第一方面,提供了一种主体检测框的显示方法,该方法包括:
7.获取对目标对象采集的视频流中的帧图像序列;
8.基于预设的第一抽取频率从所述帧图像序列中抽取显示帧图像,并基于预设的第二抽取率从所述帧图像序列中抽取检测帧图像,所述第一抽取频率大于所述第二抽取频率,所述帧图像序列中位于相邻的两个所述检测帧图像之间的显示帧图像与所述相邻的两个所述检测帧图像中前一个所述检测帧图像相关联,所述检测帧图像用于对所述目标对象对应的主体进行主体检测,所述显示帧图像用于进行显示,响应于所述检测帧图像中的第一检测帧图像中被检测到所述目标对象对应的主体检测框,与所述第一检测帧图像相关联的第一显示帧图像中会显示基于第一检测帧图像中主体检测框确定出的主体显示框;
9.响应于从所述检测帧图像中确定出第二检测帧图像,针对第二显示帧图像中的任一个目标第二显示帧图像,基于所述目标第二显示帧图像的前一帧显示帧图像中的主体显示框,以及所述第二检测帧图像中的主体检测框,确定所述目标第二显示帧图像的中的主体显示框,其中,所述第二检测帧图像与所述第二检测帧图像的前一帧检测帧图像中均被检测到主体检测框,所述第二显示帧图像为与所述第二检测帧图像相关联的检测帧图像,所述目标第二显示帧图像的前一帧显示帧图像中的主体显示框,与所述目标第二显示帧图像中的主体显示框的第一偏移量,小于所述目标第二显示帧图像的前一帧显示帧图像中的主体显示框与所述第二检测帧图像中的主体检测框之间的第二偏移量。
10.根据本公开的第二方面,提供了一种主体检测框的显示装置,该装置包括:
11.图像序列获取模块,用于获取对目标对象采集的视频流中的帧图像序列;
12.帧图像抽取模块,用于基于预设的第一抽取频率从所述帧图像序列中抽取显示帧图像,并基于预设的第二抽取率从所述帧图像序列中抽取检测帧图像,所述第一抽取频率大于所述第二抽取频率,所述帧图像序列中位于相邻的两个所述检测帧图像之间的显示帧图像与所述相邻的两个所述检测帧图像中前一个所述检测帧图像相关联,所述检测帧图像用于对所述目标对象对应的主体进行主体检测,所述显示帧图像用于进行显示,响应于所述检测帧图像中的第一检测帧图像中被检测到所述目标对象对应的主体检测框,与所述第一检测帧图像相关联的第一显示帧图像中会显示基于第一检测帧图像中主体检测框确定出的主体显示框;
13.帧图像计算模块,用于响应于从所述检测帧图像中确定出第二检测帧图像,针对第二显示帧图像中的任一个目标第二显示帧图像,基于所述目标第二显示帧图像的前一帧显示帧图像中的主体显示框,以及所述第二检测帧图像中的主体检测框,确定所述目标第二显示帧图像的中的主体显示框,其中,所述第二检测帧图像与所述第二检测帧图像的前一帧检测帧图像中均被检测到主体检测框,所述第二显示帧图像为与所述第二检测帧图像相关联的检测帧图像,所述目标第二显示帧图像的前一帧显示帧图像中的主体显示框,与所述目标第二显示帧图像中的主体显示框的第一偏移量,小于所述目标第二显示帧图像的前一帧显示帧图像中的主体显示框与所述第二检测帧图像中的主体检测框之间的第二偏移量。
14.根据本公开的第三方面,提供了一种电子设备,该电子设备包括:
15.至少一个处理器;以及
16.与上述至少一个处理器通信连接的存储器;其中,
17.存储器存储有可被上述至少一个处理器执行的指令,指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行上述主体检测框的显示方法。
18.根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使计算机执行上述主体检测框的显示方法。
19.根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现上述主体检测框的显示方法。
20.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.附图用于更好地理解本方案,不构成对本公开的限定。其中:
22.图1是本公开实施例提供的一种主体检测框的显示方法的流程示意图;
23.图2是本公开实施例提供的另一种主体检测框的显示方法的部分步骤的流程示意图;
24.图3是本公开实施例提供的另一种主体检测框的显示方法的部分步骤的流程示意图;
25.图4是本公开实施例提供的另一种主体检测框的显示方法的部分步骤的流程示意
图;
26.图5是本公开实施例提供的另一种主体检测框的显示方法的部分步骤的流程示意图;
27.图6为本公开实施例提供的一种主体检测框的显示方法的一个具体实施例的流程框图;
28.图7是本公开实施例提供的一种主体检测框的显示装置的结构示意图;
29.图8是用来实现本公开实施例的主体检测框的显示方法的电子设备的框图。
具体实施方式
30.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
31.相关技术中,用户可以通过摄像设备采集图像,而后对所采集的图像进行主体检测,得到主体检测结果,摄像设备所采集的图像一般会输出为视频流的形式,在进行主体检测时,一般是以一定的频率从视频流中抽取图像作为检测帧图像,而后依次将所抽取的检测帧图像输入主体检测模型,从而得到各检测帧图像的主体检测结果。
32.将检测帧图像输入主体检测模型获取主体检测结果的过程需要一段时间,在这段时间内,可以通过向用户实时展示检测模型的检测结果提升用户体验。
33.在实际使用中,主体检测模型的鲁棒性可能不强,主体检测模型检测出的相邻两张检测帧图像中主体检测框之间的位置可能会存在较大差异,这会使得所展示的主体检测框的位置会发生快速偏移,造成用户看到的显示画面可能是剧烈抖动的,影响用户体验。
34.本公开实施例提供的主体检测框的显示方法、装置、电子设备和计算机可读存储介质,旨在解决现有技术的如上技术问题中的至少一个。
35.本公开实施例提供的主体检测框的显示方法可以由终端设备或服务器等电子设备执行,终端设备可以为车载设备、用户设备(user equipment,ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant,pda)、手持设备、计算设备、车载设备、可穿戴设备等,所述方法可以通过处理器调用存储器中存储的计算机可读程序指令的方式来实现。或者,可通过服务器执行所述方法。
36.图1示出了本公开实施例提供的一种主体检测框的显示方法的流程示意图,如图1中所示,该方法主要可以包括:
37.步骤s110:获取对目标对象采集的视频流中的帧图像序列。
38.其中,举例来说,在步骤s110中,目标对象可以是票据等重要的结构化信息的文本载体。
39.在一些可能的实现方式中,对目标对象采集的视频流具体可以是用户通过摄像设备采集关于目标对象的多帧帧图像组成的视频流。这些帧图像按照采集的时间的从早到晚的顺序组成帧图像序列。
40.其中,摄像设备可以是手机等具备摄像功能的终端设备。
41.步骤s120:基于预设的第一抽取频率从帧图像序列中抽取显示帧图像;并基于预
设的第二抽取频率从帧图像序列中抽取检测帧图像;
42.其中,第一抽取频率大于第二抽取频率;帧图像序列中位于相邻的两个检测帧图像之间的显示帧图像与相邻的两个检测帧图像中前一个检测帧图像相关联;
43.检测帧图像用于对目标对象对应的主体进行主体检测;
44.显示帧图像用于进行显示,响应于检测帧图像中的第一检测帧图像中被检测到目标对象对应的主体检测框,与第一检测帧图像相关联的第一显示帧图像中会显示基于第一检测帧图像中主体检测框确定出的主体显示框。
45.检测帧图像用于对目标对象对应的主体进行主体检测,通过主体检测获取检测帧图像是否包含目标对象,以及目标对象对应的主体在检测帧图像的位置,其中,目标对象对应的主体在检测帧图像的位置以主体检测框的形式表示。
46.在一些可能的实现方式中,主体检测框为目标对象对应的主体的最大外切矩形,通过保存该外切矩阵的四个顶点在检测帧图像中的像素坐标记录目标对象对应的主体在检测帧图像的位置。
47.在一些可能的实现方式中,对目标对象对应的主体进行主体检测,可以是将检测帧图像输入预先训练的,用于检测帧图像中是否包括检测主体,以及检测主体在检测帧图像中具体位置的主体检测模型。
48.在一些可能的实现方式中,为了减少主体检测的运算开销,每100ms从帧图像序列中抽取检测帧图像。
49.显示帧图像用于显示,在一些可能的实现方式中,为了在显示显示帧图像的过程中不产生画面卡顿,显示帧图像的抽取频率可以为每秒30帧。
50.由于检测帧图像的第一抽取频率大于显示帧图像的第二抽取频率,因此,两个相邻的检测帧图像之间一般存在至少一帧显示帧图像,这至少一帧显示帧图像与这两个相邻的检测帧图像中的前一个检测帧图像相关联。
51.在一些具体实现中,每100ms从帧图像序列中抽取检测帧图像,显示帧图像的抽取频率为每秒30帧的情况下,帧图像序列有1-20张图像,第1、10、20张帧图像被抽取为检测帧图像,以第10帧帧图像为例,该检测帧图像与第20帧帧图像为相邻检测帧图像,第3、6、9、12、15、18等帧图像被抽取为显示帧图像,则第10帧帧图像与第20帧帧图像之间的显示帧图像为第12、15、18帧帧图像,这些显示帧图像都是与第10帧帧图像关联的显示帧图像;同理,第3、6、9帧帧图像都是与第1帧帧图像关联的显示帧图像。
52.显然,在帧图像序列中的相邻帧图像的采集时间相隔较短的情况下,摄像设备采集目标对象时的摄像位置、摄像角度等一般不会发生巨大的变化,相邻帧图像之间的图像差异较小,目标对象在相邻帧图像的位置的变化也较小。
53.检测帧图像和显示帧图像都是从目标对象采集的视频流中的帧图像序列中抽取的,显示帧图像对应的采集时间和与其相关联的检测帧图像对应的采集时间的时间间隔要小于两个相邻检测帧图像对应的采集时间的时间间隔。
54.在基于第二抽取频率(如每100ms抽取一帧)抽取检测帧图像的情况下,相邻的检测帧图像的采集时间差只有100ms,相邻检测帧图像之间的图像差异较小,目标对象在相邻检测帧图像的位置变化也较小,而与检测帧图像关联的显示帧图像与该检测帧图像的采集时间差要小于相邻的检测帧图像的采集时间差,因此,与检测帧图像关联的显示帧图像与
该检测帧图像之间的图像差异也较小。
55.也就是说,在检测帧图像检测到目标对象的情况下,与该检测帧图像对应的显示帧图像中也有较大的概率可以检测到目标对象,且目标对象在检测帧图像中的位置与目标对象在于该检测帧图像对应的显示帧图像的位置差别较小。
56.因此,当检测帧图像中的第一检测帧图像被检测到目标对象对应的主体检测框,与第一检测帧图像相关联的显示帧图像(即第一显示帧图像)中也有较大概率可以被检测到目标对象,且目标对象的位置与主体检测框的位置相近,因此,可以根据主体检测框的位置来确定第一显示帧图像的主体显示框,该主体显示框是用来显示第一显示帧图像中目标对象的位置,其与主体检测框一样,也是矩形,该主体显示框可以通过保存该矩形的四个顶点在显示帧图像中的像素坐标保存。
57.步骤s130:响应于从检测帧图像中确定出第二检测帧图像,针对第二显示帧图像中的任一个目标第二显示帧图像,基于目标第二显示帧图像的前一帧显示帧图像中的主体显示框,以及第二检测帧图像中的主体检测框,确定目标第二显示帧图像的中的主体显示框;
58.其中,第二检测帧图像与第二检测帧图像的前一帧检测帧图像中均被检测到主体检测框,第二显示帧图像为与第二检测帧图像相关联的检测帧图像,目标第二显示帧图像的前一帧显示帧图像中的主体显示框,与目标第二显示帧图像中的主体显示框的第一偏移量,小于目标第二显示帧图像的前一帧显示帧图像中的主体显示框与第二检测帧图像中的主体检测框之间的第二偏移量。
59.当存在某个检测帧图像被检测到主体检测框,且该检测帧图像的前一帧检测帧图像也被检测到主体检测框,则该检测帧图像为第二检测帧图像,与该检测帧图像关联的显示帧图像为目标第二显示帧图像,对任意目标第二显示帧图像,其主体显示框基于第二检测帧图像的主体检测框以及目标第二显示帧图像的前一帧显示帧图像中的主体显示框来确定。
60.其中,目标第二显示帧图像的前一帧显示帧图像中的主体显示框在目标第二显示帧图像的前一帧显示帧图像的位置与目标第二显示帧图像中的主体显示框在目标第二显示帧图像的位置的差要小于目标第二显示帧图像的前一帧显示帧图像中的主体显示框在目标第二显示帧图像的前一帧显示帧图像的位置与第二检测帧图像中的主体检测框在第二检测帧图像的位置的差。
61.同样以每100ms从帧图像序列中抽取检测帧图像,显示帧图像的抽取频率为每秒30帧为例,帧图像序列有1-100帧帧图像,第1、10、20等帧图像被抽取为检测帧,以第10帧帧图像为例,在第1帧帧图像和第10帧帧图像均被检测到主体检测框,则第10帧帧图像就可以作为第二检测帧图像。
62.对于与第10帧帧图像关联的显示帧图像,即第12、15、18帧帧图像为第二显示帧图像,对于第12帧帧图像来说,第9帧帧图像为其前一帧显示帧,则第12帧帧图像的主体显示框,根据第9帧帧图像的主体显示框以及第10帧帧图像的主体检测框确定;对于第15帧帧图像来说,第12帧帧图像为其前一帧显示帧,则第15帧帧图像的主体显示框,根据第12帧帧图像的主体显示框以及第10帧帧图像的主体检测框确定;以此类推,对于第18帧帧图像来说,第15帧帧图像为其前一帧显示帧,则第18帧帧图像的主体显示框,根据第15帧帧图像的主
体显示框以及第10帧帧图像的主体检测框确定。
63.当某个目标第二显示帧图像为所有目标第二显示帧图像中采集时间与第二检测帧图像最近的目标第二显示帧图像时,则该目标第二显示帧图像的前一显示帧图像为与第二检测帧图像的前一检测帧图像相关联的显示帧图像,其主体显示框基于与第二检测帧图像的前一检测帧图像的主体检测框确定,与第二检测帧图像的前一检测帧图像的主体检测框的位置相近。而目标第二显示帧图像的主体显示框的位置应该与第二检测帧图像的主体检测框的位置相近。
64.当在第二检测帧图像的前一帧检测帧图像与第二检测帧图像之间,摄像设备发生了抖动,导致第二检测帧图像的前一帧检测帧图像的主体检测框位置与第二检测帧图像的主体检测框的位置的差异较大,如第二检测帧图像的前一帧检测帧图像的主体检测框位置偏左,第二检测帧图像的主体检测框的位置偏右,若目标第二显示帧图像的主体显示框只根据第二检测帧图像的主体检测框确定,就会导致目标第二显示帧图像的前一显示帧图像的主体显示框偏左,目标第二显示帧图像的主体显示框偏右,前后显示帧图像的主体显示框的位置会发生快速偏移,造成用户看到的显示画面是剧烈抖动的,影响用户体验。
65.在确定目标第二显示帧图像的主体显示框时,不仅考虑第二检测帧图像中的主体检测框,还考虑目标第二显示帧图像的前一帧显示帧图像中的主体显示框,使得目标第二显示帧图像的前一帧显示帧图像中的主体显示框,与目标第二显示帧图像中的主体显示框的第一偏移量小于目标第二显示帧图像的前一帧显示帧图像中的主体显示框与第二检测帧图像中的主体检测框之间的第二偏移量,相当于让目标第二显示帧图像的前一显示帧图像的主体显示框的位置与目标第二显示帧图像的主体显示框的位置的变化量小于第二检测帧图像的主体检测框的位置与目标第二显示帧图像的前一显示帧图像的主体显示框的位置的变化量,也就减少了前后显示帧图像的主体显示框的位置的偏移程度,也就减少了画面的抖动,进而提升了用户体验。
66.基于类似的思路,当某目标第二显示帧图像并不是所有目标第二显示帧图像中采集时间与第二检测帧图像最近的目标第二显示帧图像时,则该目标第二显示帧图像的前一显示帧图像为与第二检测帧图像相关联的显示帧图像。
67.在确定目标第二显示帧图像的主体显示框时,使得目标第二显示帧图像的前一帧显示帧图像中的主体显示框,与目标第二显示帧图像中的主体显示框的第一偏移量小于目标第二显示帧图像的前一帧显示帧图像中的主体显示框与第二检测帧图像中的主体检测框之间的第二偏移量,相当于让该目标第二显示帧图像的主体显示框的位置相比该目标第二显示帧图像的前一显示帧图像的主体显示框的位置更接近于第二检测帧图像的主体检测框位置,即更接近于该目标第二显示帧图像的目标对象可能的位置。
68.位于该目标第二显示帧图像之后的目标第二显示帧图像,根据该目标第二显示帧图像的主体显示框,以及第二检测帧图像的主体检测框确定位于该目标第二显示帧图像之后的目标第二显示帧图像的主体显示框,则位于该目标第二显示帧图像之后的目标第二显示帧图像的主体显示框的位置相比于该目标第二显示帧图像的主体显示框的位置更接近于第二检测帧图像的主体检测框的位置。
69.以此类推,每个目标第二显示帧图像的主体显示框的位置都会比其前一个目标第二显示帧图像的主体显示框的位置更接近第二检测帧图像的主体检测框的位置,相当于每
个目标第二显示帧图像的主体显示框的位置都会比其前一个目标第二显示帧图像的主体显示框的位置更接近目标第二显示帧图像的目标对象可能的位置。
70.同时,由于主体显示框的位置是从第一帧目标第二显示帧图像到最后一帧目标第二显示帧图像缓慢移动的,避免了由于前后显示帧图像之间主体显示框的位置移动较大,造成的显示画面的抖动,影响用户的体验。
71.也就是说,本公开实施例提供的主体检测框的显示方法中,通过以小于显示帧图像的抽取频率的抽取频率抽取检测帧图像,在第二检测帧图像和第二检测帧图像的前一帧检测帧图像中均被检测到主体检测框,基于与第二检测帧图像相关联的目标第二显示帧图像的前一帧显示帧图像中的主体显示框以及第二检测帧图像中的主体检测框,确定目标第二显示帧图像的中的主体显示框,当相邻两张检测帧图像中主体检测框之间的位置存在较大差异时,前后显示帧图像之间主体显示框的位置并不跟随检测帧图像中的主体检测框,发生快速偏移,而是将偏移“分散”到多个显示帧图像,减少前后显示帧图像的主体显示框的偏移,减少画面的抖动,提升用户体验。
72.同时,本公开实施例显示帧图像的抽取频率大于检测帧图像的抽取频率,减少了检测帧图像的数量,相比于对每个显示帧都进行主体检测,减少了主体检测的运算开销。
73.图2示出了本公开实施例提供的另一种主体检测框的显示方法的部分步骤的流程示意图,如图2中所示,本公开的一种可选方式中,基于目标第二显示帧图像的前一帧显示帧图像中的主体显示框,以及第二检测帧图像中的主体检测框,确定目标第二显示帧图像的中的主体显示框步骤,包括:
74.步骤s210、基于目标第二显示帧图像的前一帧显示帧图像中主体显示框的各顶点坐标以及第一权重,并基于第二检测帧图像中主体检测框的各顶点坐标以及第二权重,确定目标第二显示帧图像的中的主体显示框的各顶点坐标,第一权重与第二权重加和为1,第一权重为大于0小于1的值。
75.以一个顶点为例,目标第二显示帧图像的主体显示框对应的顶点坐标可以通过以下公式计算:
76.current.x=front_point.x*weight detect_point.x*(1-weight);
77.current.y=front_point.y*weight detect_point.y*(1-weight);
78.其中,front_point.x为目标第二显示帧图像的前一帧显示帧图像的主体显示框的对应的顶点的x坐标,front_point.y为目标第二显示帧图像的前一帧显示帧图像的主体显示框的对应的顶点的y坐标;detect_point.x为第二检测帧图像中的主体检测框的对应的顶点的x坐标,front_point.y为第二检测帧图像中的主体检测框的对应的顶点的y坐标;weight为第一权重,为大于0小于1的值,1-weight为第二权重;current_point.x为目标第二显示帧图像的主体显示框的对应的顶点的x坐标,current_point.y为目标第二显示帧图像的主体显示框的对应的顶点的y坐标。
79.对于目标第二显示帧图像的主体显示框的每一个顶点坐标,都通过上述公式计算,获取目标第二显示帧图像的主体显示框。
80.其中,weight是可以根据实际显示以及目标对象的检测情况进行调整的参数,通过对weight的调整,可以控制目标第二显示帧图像的主体显示框是更接近于第二检测帧图像中的主体检测框还是更接近目标第二显示帧图像的前一帧显示帧图像的主体显示框(即
控制相邻显示帧图像的主体显示框的偏移程度),使目标第二显示帧图像的主体显示框的显示效果变得平滑,不会出现剧烈抖动,视觉观感更为舒适。
81.图3本公开实施例提供的另一种主体检测框的显示方法的部分步骤的流程示意图,如图3中所示,本公开的一种可选方式中,该主体检测框的显示方法还可以包括:
82.步骤s310、响应于从检测帧图像中确定出第三检测帧图像,基于第三检测帧图像中的主体检测框,确定与第三检测帧图像关联的第三显示帧图像中的主体显示框,其中,第三检测帧图像中被检测到主体检测框,且第三检测帧图像的前一帧检测帧图像中未被检测到主体检测框。
83.同样以每100ms从帧图像序列中抽取检测帧图像,显示帧图像的抽取频率为每秒30帧为例,帧图像序列有1-100帧帧图像,第1、10、20等帧图像被抽取为检测帧,以第10帧帧图像为例,在第1帧帧图像没有检测到主体检测框,第10帧帧图像被检测到主体检测框,则第10帧帧图像就可以作为第三检测帧图像。同样的,由于第1帧帧图像前没有其他检测帧图像,因此,当第1帧帧图像检测到主体检测框,其也可以作为第三检测帧图像。
84.对于与第10帧帧图像关联的显示帧图像,即第12、15、18帧帧图像为第三显示帧图像的主体显示框基于第10帧帧图像的主体检测框确定。
85.当某第三显示帧图像为所有第三显示帧图像中采集时间与第三检测帧图像最近的第三显示帧图像时,则该第三显示帧图像的前一显示帧图像为与第三检测帧图像的前一检测帧图像相关联的显示帧图像,其主体显示框基于与第三检测帧图像的前一检测帧图像的主体检测框确定。由于第三检测帧图像的前一检测帧图像未被检测到主体检测框,该第三显示帧图像的前一显示帧图像也没有对应的主体显示框,无论该第三显示帧图像的主体显示框位置在哪里,其与其前一显示帧图像相比都会有变化,因此,该第三检测帧图像关联的第三显示帧图像中的主体显示框由第三检测帧图像的主体检测框确定即可,即接近目标对象可能的位置即可。
86.基于类似的思路,当某第三显示帧图像并不是所有第三显示帧图像中采集时间与第三检测帧图像最近的第三显示帧图像时,则该第三显示帧图像的前一显示帧图像为与第三检测帧图像相关联的显示帧图像,对应的主体显示框由第三检测帧图像的主体检测框确定,该第三显示帧图像的主体显示框也由第三检测帧图像的主体检测框确定就可以保证该第三显示帧图像的前一显示帧图像到该第三显示帧图像的主体显示框的位置不发生变化,消除了主体显示框的抖动,提升了用户的视觉体验。
87.图4本公开实施例提供的另一种主体检测框的显示方法的部分步骤的流程示意图,如图4中所示,本公开的一种可选方式中,该主体检测框的显示方法还可以包括:
88.步骤s410、响应于检测帧图像中存在不小于第一预设数量的第一目标检测帧图像中连续检测到主体检测框,基于各第一目标检测帧图像中主体检测框的置信度,确定与第一目标检测帧图像相关联的显示帧图像中主体显示框的显示样式。
89.对检测帧图像进行主体检测可以是检测该检测帧图像的主体检测框以及主体检测框的置信度(即该主体检测框中包含目标对象的概率,置信度越大说明该主体检测框中包含目标对象的概率越大)。其中,置信度为大于0小于等于1的值。
90.在一些具体实现中,当主体检测框的置信度大于预设阈值,才认为该检测帧图像中存在主体检测框。
91.当在连续的检测帧图像检测到主体检测框,则基于这些检测帧图像检测到的主体检测框的置信度,确定与这些检测帧图像相关联的显示帧图像中主体显示框的显示样式。
92.同样以每100ms从帧图像序列中抽取检测帧图像,显示帧图像的抽取频率为每秒30帧、第一预设数量为1为例,帧图像序列有1-100帧帧图像,第1、10、20等帧图像被抽取为检测帧,当第1帧帧图像未被检测到主体检测框,第10、20帧帧图像均被检测到主体检测框,则第10、20帧帧图像就可以作为第一目标检测帧图像。与第10帧(即第12、15、18帧帧图像)的主体显示框的显示样式由第10帧帧图像检测到的主体检测框的置信度决定,20帧帧图像相关联的显示帧图像(即第21、24、27帧帧图像)中主体显示框的显示样式由第10、20帧帧图像中检测到的主体检测框的置信度决定。
93.由于主体显示框的显示样式有主体检测框的置信度决定,用户可以根据主体显示框的显示样式判断主体检测框的置信度,当主体检测框的置信度较高,则说明摄像设备有较大概率已经采集到质量较高的包含目标对象的主体,用户可以继续保持该拍摄角度;当主体检测框的置信度较低,则说明摄像设备采集到包含目标对象的主体的质量较低,用户可以适当拍摄角度、拍摄位置等,以获取更高质量的主体。
94.在一些可能的实现方式中,基于各第一目标检测帧图像中主体检测框的置信度,确定与第一目标检测帧图像相关联的显示帧图像中主体显示框的显示样式可以包括:
95.基于各第一目标检测帧图像中主体检测框的置信度确定置信度均值;
96.基于预置的置信度均值与显示样式的对应关系,并基于第一目标检测帧图像对应的置信度均值,确定第一目标检测帧图像相关联的显示帧图像中主体显示框的显示样式。
97.其中,置信度均值可以通过各第一目标检测帧图像中主体检测框的置信度之和除以第一目标检测帧图像的数量来获取。
98.预置的置信度均值与显示样式的对应关系可以是置信度均值越高,主体显示框的颜色越接近安全颜色,置信度均值越低,主体显示框的颜色越接近危险颜色。在一些具体实施例中,置信度均值大于等于0.85,主体显示框的颜色为绿色,置信度均值小于0.85,主体显示框的颜色为橙色。
99.同样以每100ms从帧图像序列中抽取检测帧图像,显示帧图像的抽取频率为每秒30帧、第一预设数量为2为例,帧图像序列有1-100帧帧图像,第1、10、20等帧图像被抽取为检测帧,当第1帧帧图像未被检测到主体检测框,第10、20帧帧图像均被检测到主体检测框,且第10帧帧图像的主体检测框的置信度为0.8,第20帧帧图像的主体检测框的置信度为0.85,则第20帧帧图像就可以作为第一目标检测帧图像。与第20帧帧图像相关联的显示帧图像(即第21、24、27帧帧图像)中主体显示框的显示样式由第10、20帧帧图像中检测到的主体检测框的置信度均值,即0.825决定,为橙色。
100.当第30帧帧图像也检测到主体检测框,且主体检测框的置信度为0.9,则与第30帧帧图像相关联的显示帧图像(即第30、33、36、39帧帧图像)中主体显示框的显示样式由第10、20、30帧帧图像中检测到的主体检测框的置信度均值,即0.85决定,为绿色。
101.主体显示框的显示样式由第一目标检测帧图像对应的置信度均值决定,可以避免由于相邻检测帧的主体检测框的置信度差别过大,导致相邻显示帧图像的主体显示框的样式变化过大而造成的画面抖动。
102.在一些相关技术中,通过摄像设备采集目标对象(如纸质票据)生成电子图像之
后,将生成的电子图像送入预先训练的、用于在电子图像中检测票据主体的主体检测模型,若主体检测模型在电子图像中检测到票据主体,且置信度大于一定阈值,则可以认为纸质票据的采集完成,将在该电子图像中检测到的票据主体作为纸质票据对应的电子数据,做进一步处理。
103.但从实际的应用来看,摄像设备采集图像过于灵敏,在摄像设备处于运动状态时,摄像设备可能就生成电子图像,这导致虽然主体检测模型可以在电子图像中检测到票据主体,但票据主体的质量并不高(如票据主体的内容存在模糊等),不利用之后对票据主体进一步操作。
104.图5本公开实施例提供的另一种主体检测框的显示方法的部分步骤的流程示意图,如图5中所示,本公开的一种可选方式中,该主体检测框的显示方法还可以包括:
105.步骤s510、响应于检测帧图像中存在不小于第二预设数量的第二目标检测帧图像中连续检测到主体检测框,基于各第二目标检测帧图像中主体检测框的位置变化确定各第二目标检测帧图像中主体检测框的稳定情况。
106.当在连续的检测帧图像检测到主体检测框,且这些联系的检测帧图像的数量不小于第二预设数量(如20)的情况下,这些检测帧图像为第二目标检测帧,基于第二目标检测帧图像中主体检测框的位置变化确定各第二目标检测帧图像中主体检测框的稳定情况。
107.同样以每100ms从帧图像序列中抽取检测帧图像,显示帧图像的抽取频率为每秒30帧、第一预设数量为20为例,帧图像序列有1-200帧帧图像,第1、10、20、30直至200等帧图像被抽取为检测帧,当这些帧图像均被检测到主体检测框,则这些帧图像就可以作为第二目标检测帧图像。根据这些帧图像的主体检测框位置变化确定这些检测帧图像中主体检测框的稳定情况。
108.在一些具体的实现方式中,可以将第二目标检测帧的主体检测框的四个顶点的8个坐标提取出来,组成8个list,每一个list对一个顶点的x坐标或y坐标,通过计算每个list的平方差,得到8个值,计算着8个值得平均值q,在q小于预设稳定性阈值的情况下,则认为主体检测框已达到稳定,否则则认为主体检测框没有达到稳定。
109.当然,计算每个list的方差等其他可以代表list稳定性的值也是可以的,本公开对具体的计算方式并不做限定。
110.若各第二目标检测帧图像中主体检测框的稳定情况较好,则说明各第二目标检测帧图像中主体检测框的位置变化较小,进一步说明摄像设备采集的帧图像的变化较小,对应的,摄像设备有较大的可能处于稳定状态,此时通过摄像设备获取的目标对象对应的主体的质量有较大的可能是较高的。
111.也就是说,通过确定各第二目标检测帧图像中主体检测框的稳定情况可以帮助获取质量更高的目标对象对应的主体。
112.在一些可能的实现方式中,在基于各第二目标检测帧图像中主体检测框的位置变化确定各第二目标检测帧图像中主体检测框的稳定情况之后,方法还包括:
113.响应于各第二目标检测帧图像中主体检测框的稳定情况满足预设的稳定性阈值,基于第二目标检测帧图像中主体检测框确定目标主体检测框。
114.在一些可能的实现方式中,目标主体检测框对应的图像像素可以作为目标对象对应的图像数据,服务器可以对其做进一步处理。
115.同样以每100ms从帧图像序列中抽取检测帧图像,显示帧图像的抽取频率为每秒30帧、第一预设数量为20为例,帧图像序列有1-200帧帧图像,第1、10、20、30直至200等帧图像被抽取为检测帧,当这些帧图像均被检测到主体检测框,则这些帧图像就可以作为第二目标检测帧图像。可以将这些帧图像的主体检测框的四个顶点的8个坐标提取出来,组成8个list,每一个list对一个顶点的x坐标或y坐标,通过计算每个list的平方差,得到8个值,计算着8个值得平均值q。
116.在q小于预设稳定性阈值的情况下,则认为这些帧图像的主体检测框位置变化满足预设的稳定性阈值,也可以说,各帧图像中主体检测框的位置变化较小,摄像设备在这段时间内采集的帧图像的变化较小,摄像设备有较大可能处于稳定状态,此时,通过摄像设备获取的目标对象对应的主体的质量是较高的。
117.在一些可能的实现方式中,基于第二目标检测帧图像中主体检测框确定目标主体检测框,包括:
118.将最后一帧第二目标检测帧图像中的主体检测框确定为目标主体检测框。
119.在各第二目标检测帧图像中主体检测框的稳定情况满足预设的稳定性阈值的情况下,将最后一帧第二目标检测帧图像中的主体检测框确定为目标主体检测框。
120.在第二目标检测帧图像中主体检测框的稳定情况满足预设的稳定性阈值的情况下,各第二目标检测帧图像中主体检测框的位置变化较小,摄像设备采集的帧图像的变化较小,摄像设备有较大可能处于稳定状态。
121.稳定状态持续的时间越长,采集到的目标对象的主体的质量就越高,将最后一帧第二目标检测帧图像中的主体检测框确定为目标主体检测框可以保证目标主体检测框的质量。
122.在一些可能的实现方式中,基于第二目标检测帧图像中主体检测框确定目标主体检测框,包括:
123.基于第二目标检测帧图像中主体检测框确定候选主体检测框;
124.响应于第二目标检测帧图像中主体检测框的置信度满足预设的置信度条件,将候选主体检测框确定为目标主体检测框。
125.以将最后一帧第二目标检测帧图像中的主体检测框确定为候选主体检测框为例,也就是说,只有当最后一帧第二目标检测帧图像中的主体检测框的置信度大于预设阈值,才将最后一帧第二目标检测帧图像中的主体检测框确定为目标主体检测框。
126.由于稳定情况是根据连续多帧第二目标检测帧图像的主体检测框的位置变化确定的,因此可能存在在获取最后一帧第二目标检测帧图像时,摄像设备发生了抖动,导致最后一帧第二目标检测帧图像的主体检测框的质量并不高,但由于除最后一帧第二目标检测帧图像外的其他连续多帧第二目标检测帧图像都是在摄像设备稳定状态下获取的,导致了根据这连续多帧第二目标检测帧图像计算的稳定情况满足了稳定性阈值。
127.此时将最后一帧第二目标检测帧图像作为目标主体检测框,会导致目标主体检测框的质量并不高。
128.通过将候选主体检测框的置信度与预设的置信度条件进行对比,可以保证候选主体检测框的置信度是较高的,保证了目标主体检测框的质量,也避免了上述情况的发生。
129.图6为本公开实施例提供的一种主体检测框的显示方法的一个具体实施例的流程
框图,如图6所示,本公开实施例提供的一种主体检测框的显示方法可以用于以目标对象为票据,使用手机作为摄像设备对目标对象进行采集的场景。
130.在手机摄像头对目标对象进行采集生成视频流的过程中,每100ms抽取一帧图像作为检测帧图像进行主体检测,为了方便对检测帧图像的稳定状态进行判断,构建一个结果队列。
131.在开始从视频流中抽取帧图像作为检测帧图像之前,首先设置初始状态,设置第二预设数量totaltime为20,设置第一权重weight为0.5,设置结果队列为空,长度为20,设置主体检测框的置信度大于0.7,才认为该检测帧图像中存在主体检测框,设置代表图像采集是否结束的flag为false。
132.开始从视频流中抽取帧图像作为检测帧图像,对检测帧图像进行主体检测,当在该检测帧图像检测到主体检测框,且该主体检测框的置信度大于0.7,则该检测帧图像的主体检测框的位置(即主体检测框的四个顶点的像素坐标)以及主体检测框的置信度信息存入结果队列,并将totaltime的值减1。
133.同时,还需要根据检测帧的主体检测结果在手机的显示界面进行显示,以提升用户的交互体验。
134.具体的,根据当前结果队列中所有主体检测框的置信度的均值来决定显示界面的显示的主体显示框的颜色,即置信度均值大于等于0.85,主体显示框的颜色为绿色,置信度均值小于0.85,主体显示框的颜色为橙色。
135.根据当前结果队列中最后一个主体检测框的位置以及当前显示界面显示的主体显示框的位置计算下一帧显示界面显示的主体显示框的位置。当然,若结果队列为空,则下一帧显示界面不显示主体显示框。
136.具体的,可以根据公式计算下一帧显示界面显示的主体显示框的位置。
137.current.x=front_point.x*weight detect_point.x*(1-weight);
138.current.y=front_point.y*weight detect_point.y*(1-weight);
139.其中,front_point.x为当前显示界面显示的主体显示框的对应的顶点的x坐标,front_point.y为当前显示界面显示的主体显示框的对应的顶点的y坐标;detect_point.x为当前结果队列中最后一个主体检测框的对应的顶点的x坐标,front_point.y为当前结果队列中最后一个主体检测框的对应的顶点的y坐标;weight为第一权重,为大于0小于1的值,1-weight为第二权重;current_point.x为下一帧显示界面显示的主体显示框的对应的顶点的x坐标,current_point.y为下一帧显示界面显示的主体显示框的对应的顶点的y坐标。
140.继续抽取检测帧图像,若在该检测帧图像中未检测到主体检测框,或主体检测框的置信度小于0.7,则将结果队列清零,并将totaltime重新设置为20;若在该检测帧图像中检测到主体检测框,且该主体检测框的置信度大于0.7,则继续执行该检测帧图像的主体检测框的位置以及主体检测框的置信度信息存入结果队列,并将totaltime的值减1步骤。
141.当totaltime的值为零,或者说结果队列的长度被占满时,则根据结果队列中的主体检测框的位置计算稳定性状态,具体的,将这些主体检测框的四个顶点的8个坐标提取出来,组成8个list,每一个list对一个顶点的x坐标或y坐标,通过计算每个list的平方差,得到8个值,计算着8个值得平均值q,在q小于预设稳定性阈值的情况下,认为摄像设备已达到
稳定状态。
142.同时,获取结果队列中最后一个主体检测框的置信度,将其与预设的置信度条件(即是否大于0.9)进行对比,若其满足置信度条件,则将该主体检测框确定为目标主体检测框,并释放手机的摄像资源,结束摄像设备采集过程。同时,将flag的值设置为true,供外部程序判断摄像设备采集结束。
143.若结果队列中最后一个主体检测框的置信度不满足置信度条件,则将结果队列的首个主体检测框位置以及主体检测框的置信度弹出结果队列,并继续抽取检测帧图像执行若在该检测帧图像中未检测到主体检测框,或主体检测框的置信度小于0.7,则将结果队列清零,并将totaltime重新设置为20;若在该检测帧图像中检测到主体检测框,且该主体检测框的置信度大于0.7,则将该检测帧图像的主体检测框的位置以及主体检测框的置信度信息存入结果队列,并将totaltime的值减1步骤。
144.若q大于预设稳定性阈值的情况下,认为摄像设备没有稳定状态,则将结果队列的首个主体检测框位置以及主体检测框的置信度弹出结果队列,并继续抽取检测帧图像执行若在该检测帧图像中未检测到主体检测框,或主体检测框的置信度小于0.7,则将结果队列清零,并将totaltime重新设置为20;若在该检测帧图像中检测到主体检测框,且该主体检测框的置信度大于0.7,则将该检测帧图像的主体检测框的位置以及主体检测框的置信度信息存入结果队列,并将totaltime的值减1步骤。
145.基于与图1中所示的方法相同的原理,图7示出了本公开实施例提供的一种主体检测框的显示装置的结构示意图,如图7所示,该主体检测框的显示装置70可以包括:
146.图像序列获取模块710,用于获取对目标对象采集的视频流中的帧图像序列;
147.帧图像抽取模块720,用于基于预设的第一抽取频率从帧图像序列中抽取显示帧图像,并基于预设的第二抽取率从帧图像序列中抽取检测帧图像,第一抽取频率大于第二抽取频率,帧图像序列中位于相邻的两个检测帧图像之间的显示帧图像与相邻的两个检测帧图像中前一个检测帧图像相关联,检测帧图像用于对目标对象对应的主体进行主体检测,显示帧图像用于进行显示,响应于检测帧图像中的第一检测帧图像中被检测到目标对象对应的主体检测框,与第一检测帧图像相关联的第一显示帧图像中会显示基于第一检测帧图像中主体检测框确定出的主体显示框;
148.帧图像计算模块730,用于响应于从检测帧图像中确定出第二检测帧图像,针对第二显示帧图像中的任一个目标第二显示帧图像,基于目标第二显示帧图像的前一帧显示帧图像中的主体显示框,以及第二检测帧图像中的主体检测框,确定目标第二显示帧图像的中的主体显示框,其中,第二检测帧图像与第二检测帧图像的前一帧检测帧图像中均被检测到主体检测框,第二显示帧图像为与第二检测帧图像相关联的检测帧图像,目标第二显示帧图像的前一帧显示帧图像中的主体显示框,与目标第二显示帧图像中的主体显示框的第一偏移量,小于目标第二显示帧图像的前一帧显示帧图像中的主体显示框与第二检测帧图像中的主体检测框之间的第二偏移量。
149.该主体检测框的显示装置与现有技术相比,通过以小于显示帧图像的抽取频率的抽取频率抽取检测帧图像,在第二检测帧图像和第二检测帧图像的前一帧检测帧图像中均被检测到主体检测框,基于与第二检测帧图像相关联的目标第二显示帧图像的前一帧显示帧图像中的主体显示框以及第二检测帧图像中的主体检测框,确定目标第二显示帧图像的
中的主体显示框,当相邻两张检测帧图像中主体检测框之间的位置存在较大差异时,前后显示帧图像之间主体显示框的位置并不跟随检测帧图像中的主体检测框,发生快速偏移,而是将偏移“分散”到多个显示帧图像,减少前后显示帧图像的主体显示框的偏移,减少画面的抖动,提升用户体验。
150.可以理解的是,本公开实施例中的主体检测框的显示装置的上述各模块具有实现图1中所示的实施例中的主体检测框的显示方法相应步骤的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件,上述各模块可以单独实现,也可以多个模块集成实现。对于上述主体检测框的显示装置的各模块的功能描述具体可以参见图1中所示实施例中的主体检测框的显示方法的对应描述,在此不再赘述。
151.在一些可能的实现方式中,帧图像计算模块730还可以用于:
152.基于目标第二显示帧图像的前一帧显示帧图像中主体显示框的各顶点坐标以及第一权重,并基于第二检测帧图像中主体检测框的各顶点坐标以及第二权重,确定目标第二显示帧图像的中的主体显示框的各顶点坐标,第一权重与第二权重加和为1,第一权重为大于0小于1的值。
153.在一些可能的实现方式中,主体检测框的显示装置70还包括:
154.帧图像处理模块,用于响应于从检测帧图像中确定出第三检测帧图像,基于第三检测帧图像中的主体检测框,确定与第三检测帧图像关联的第三显示帧图像中的主体显示框,其中,第三检测帧图像中被检测到主体检测框,且第三检测帧图像的前一帧检测帧图像中未被检测到主体检测框。
155.在一些可能的实现方式中,主体检测框的显示装置70还包括:
156.帧图像样式模块,用于响应于检测帧图像中存在不小于第一预设数量的第一目标检测帧图像中连续检测到主体检测框,基于各第一目标检测帧图像中主体检测框的置信度,确定与第一目标检测帧图像相关联的显示帧图像中主体显示框的显示样式。
157.在一些可能的实现方式中,基于各第一目标检测帧图像中主体检测框的置信度,确定与第一目标检测帧图像相关联的显示帧图像中主体显示框的显示样式,包括:
158.基于各第一目标检测帧图像中主体检测框的置信度确定置信度均值;
159.基于预置的置信度均值与显示样式的对应关系,并基于第一目标检测帧图像对应的置信度均值,确定第一目标检测帧图像相关联的显示帧图像中主体显示框的显示样式。
160.在一些可能的实现方式中,主体检测框的显示装置70还包括:
161.稳定性计算模块,用于响应于检测帧图像中存在不小于第二预设数量的第二目标检测帧图像中连续检测到主体检测框,基于各第二目标检测帧图像中主体检测框的位置变化确定各第二目标检测帧图像中主体检测框的稳定情况。
162.在一些可能的实现方式中,主体检测框的显示装置70还包括:
163.稳定性判断模块,用于响应于各第二目标检测帧图像中主体检测框的稳定情况满足预设的稳定性阈值,基于第二目标检测帧图像中主体检测框确定目标主体检测框。
164.在一些可能的实现方式中,基于第二目标检测帧图像中主体检测框确定目标主体检测框,包括:
165.将最后一帧第二目标检测帧图像中的主体检测框确定为目标主体检测框。
166.本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
167.根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
168.该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如本公开实施例提供的主体检测框的显示方法。
169.该电子设备与现有技术相比,通过以小于显示帧图像的抽取频率的抽取频率抽取检测帧图像,在第二检测帧图像和第二检测帧图像的前一帧检测帧图像中均被检测到主体检测框,基于与第二检测帧图像相关联的目标第二显示帧图像的前一帧显示帧图像中的主体显示框以及第二检测帧图像中的主体检测框,确定目标第二显示帧图像的中的主体显示框,当相邻两张检测帧图像中主体检测框之间的位置存在较大差异时,前后显示帧图像之间主体显示框的位置并不跟随检测帧图像中的主体检测框,发生快速偏移,而是将偏移“分散”到多个显示帧图像,减少前后显示帧图像的主体显示框的偏移,减少画面的抖动,提升用户体验。
170.该可读存储介质为存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如本公开实施例提供的主体检测框的显示方法。
171.该可读存储介质与现有技术相比,通过以小于显示帧图像的抽取频率的抽取频率抽取检测帧图像,在第二检测帧图像和第二检测帧图像的前一帧检测帧图像中均被检测到主体检测框,基于与第二检测帧图像相关联的目标第二显示帧图像的前一帧显示帧图像中的主体显示框以及第二检测帧图像中的主体检测框,确定目标第二显示帧图像的中的主体显示框,当相邻两张检测帧图像中主体检测框之间的位置存在较大差异时,前后显示帧图像之间主体显示框的位置并不跟随检测帧图像中的主体检测框,发生快速偏移,而是将偏移“分散”到多个显示帧图像,减少前后显示帧图像的主体显示框的偏移,减少画面的抖动,提升用户体验。
172.该计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如本公开实施例提供的主体检测框的显示方法。
173.该计算机程序产品与现有技术相比,通过以小于显示帧图像的抽取频率的抽取频率抽取检测帧图像,在第二检测帧图像和第二检测帧图像的前一帧检测帧图像中均被检测到主体检测框,基于与第二检测帧图像相关联的目标第二显示帧图像的前一帧显示帧图像中的主体显示框以及第二检测帧图像中的主体检测框,确定目标第二显示帧图像的中的主体显示框,当相邻两张检测帧图像中主体检测框之间的位置存在较大差异时,前后显示帧图像之间主体显示框的位置并不跟随检测帧图像中的主体检测框,发生快速偏移,而是将偏移“分散”到多个显示帧图像,减少前后显示帧图像的主体显示框的偏移,减少画面的抖动,提升用户体验。
174.图8示出了可以用来实施本公开的实施例的示例电子设备80的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算
装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
175.如图8所示,电子设备80包括计算单元810,其可以根据存储在只读存储器(rom)820中的计算机程序或者从存储单元880加载到随机访问存储器(ram)830中的计算机程序,来执行各种适当的动作和处理。在ram 830中,还可存储设备80操作所需的各种程序和数据。计算单元810、rom 820以及ram 830通过总线840彼此相连。输入/输出(i/o)接口850也连接至总线840。
176.设备80中的多个部件连接至i/o接口850,包括:输入单元860,例如键盘、鼠标等;输出单元870,例如各种类型的显示器、扬声器等;存储单元880,例如磁盘、光盘等;以及通信单元890,例如网卡、调制解调器、无线通信收发机等。通信单元890允许设备80通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
177.计算单元810可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元810的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元810执行本公开实施例中所提供的主体检测框的显示方法。例如,在一些实施例中,执行本公开实施例中所提供的主体检测框的显示方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元880。在一些实施例中,计算机程序的部分或者全部可以经由rom 820和/或通信单元890而被载入和/或安装到设备80上。当计算机程序加载到ram 830并由计算单元810执行时,可以执行本公开实施例中所提供的主体检测框的显示方法的一个或多个步骤。备选地,在其他实施例中,计算单元810可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行本公开实施例中所提供的主体检测框的显示方法。
178.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
179.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
180.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合
适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
181.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
182.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
183.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
184.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
185.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献