带实时目标检测的视频推流方法、设备及存储介质与流程

1.本发明属于视频推流技术领域，尤其涉及一种带实时目标检测的视频推流方法、设备及存储介质。


背景技术：

2.目前，带实时目标检测的视频推流功能通常是将从目标检测模型得到的目标检测框直接绘制于实时帧上，假如实时帧的采样时间为t1，目标检测所使用的帧的采样时间为t2，目标检测是需要时间的，故t2需早于t1，假设对一帧图像进行目标检测的时间消耗约为50ms，即需要t2比t1早50ms，将从50ms前的t2图像帧得到的目标检测框，绘制于时间t1的帧上，显然是会存在一定差距，这个差距随视频中被检测目标的移动速度变快而增大，如果目标检测模型是一个识别人的模型，当用户观看视频时，若此时有一个人从画面中走过，用户会发现检测框会一直追着这个人跑，却始终差那么一点位置，不能准确地将这个人框于其中。
3.因此，现有的带实时目标检测的视频推流技术所绘制的框与实时帧的时间戳对应不上，给用户的观感就是识别框与实际被检测目标存在位置滞后，给用户的观感体验较差。


技术实现要素：

4.基于此，针对上述技术问题，提供一种带实时目标检测的视频推流方法、设备及存储介质。
5.本发明采用的技术方案如下：一方面，提供一种带实时目标检测的视频推流方法，包括：从图像采集设备的第一分辨率视频编码通道取第一分辨率帧；对所取的第一分辨率帧进行目标检测，得到表征目标检测框在所述第一分辨率帧中的位置和尺寸的第一信息；从所述图像采集设备的第二分辨率视频编码通道取第二分辨率帧，所述第二分辨率帧与所述第一分辨率帧为同一图像的不同尺寸表示，所述第一分辨率小于第二分辨率；根据第一分辨率与第二分辨率的比例关系以及第一信息，计算表征目标检测框在所述第二分辨率帧中的位置和尺寸的第二信息；根据所述第二信息，在所述第二分辨率帧中绘制目标检测框；将绘制目标检测框后的第二分辨率帧推流输出；返回取第一分辨率帧的步骤。
6.另一方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种带实时目标检测的视频推流方法。
7.再一方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述的一种带实时目标检测的视频
推流方法。
8.本发明与现有技术相比，并非从在先的实时帧上得到目标检测框，再将该目标检测框直接绘制于在后的实时帧上，而是先对分辨率较低的帧进行目标检测，得到目标检测框，然后根据分辨率的比例将目标检测框绘制于分辨率较高的帧上，其中分辨率较低的帧和分辨率较高的帧为同一图像的不同尺寸表示，故可以消除目标检测框相对实际目标位置滞后的现象，为用户带来流畅、准确的观感体验。
附图说明
9.下面结合附图和具体实施方式对本发明进行详细说明：图1为本发明的优选实施方式的流程图；图2为本发明的单线程处理方式的流程图。
具体实施方式
10.如图1所示，本说明书实施例提供一种带实时目标检测的视频推流方法，该方法由第一线程（thread1）以及第二线程（thread2）并行执行。
11.第一线程所执行的步骤100包括：s101、从图像采集设备的第一分辨率视频编码通道取第一分辨率帧。
12.图像采集设备（如摄像头）通常会提供多个不同分辨率的视频编码通道，视频编码通道从直观上来看是一个先进先出的单向队列，图像采集设备在采集到图像数据后，会按一定大小和格式缩放、编码成相应图像帧，并依次从队列的尾部灌入图像帧，供取帧方取帧，取帧方从队列的头部取出图像帧。
13.s102、对所取的第一分辨率帧进行目标检测，得到表征目标检测框在第一分辨率帧中的位置和尺寸的第一信息。
14.目标检测时，将所取的第一分辨率帧输入预训练的神经网络模型，得到第一信息。
15.第一信息包括目标检测框的中心点的坐标以及目标检测框的高度和宽度，如可以表示为（x,y,w,h），x和y分别为目标检测框的中心点的x坐标和y坐标，w和h分别为目标检测框的宽度和高度。
16.在一种优选的实施方式中，第一分辨率为神经网络模型的标准分辨率。神经网络模型对输入图像的分辨率有要求，输入满足要求的低分辨率(标准分辨率)图像帧，相较于直接输入高分辨率图像帧，更符合神经网络原始的结构设计，能够提升推理效率，如果直接输入高分辨率图像帧，将会大大降低推理效率，导致输出检测框不连贯，用户观看体验差，而如果输入低分辨率帧，再将输出的推理结果绘制于高分辨率帧上，就能消除这种影响。
17.s103、将第一信息更新至全局容器。
18.s104、判断是否收到结束指令，若是，则推流结束，若否，则返回s101。
19.s104是为了考虑用户可能结束推流或者由于其它原因导致推流结束的场景，如果推流结束，就不需要返回s101了，当然，若不考虑上述场景，则s104可以省略，当将第一信息更新至全局容器后，直接返回s101。
20.第二线程所执行的步骤200包括：s201、监视全局容器是否更新，若是，则执行s202，若否，则继续监视。
21.s202、从图像采集设备的第二分辨率视频编码通道取第二分辨率帧。
22.第二分辨率帧与第一分辨率帧为同一图像的不同尺寸表示，第一分辨率小于第二分辨率，即第一分辨率帧和第二分辨率帧中的内容其实是相同的，只是尺寸不同。
23.s203、从全局容器取第一信息。
24.s204、根据第一分辨率与第二分辨率的比例关系以及第一信息，计算表征目标检测框在第二分辨率帧中的位置和尺寸的第二信息。
25.在本实施例中，第一分辨率为640
×
480，第二分辨率为1920
×
1080，第一信息为（x,y,w,h），则计算得到的第二信息为（3x，2.25y，3w，2.25h）。
26.s205、根据第二信息，在第二分辨率帧中绘制目标检测框。
27.s206、将绘制目标检测框后的第二分辨率帧推流输出：将绘制完成的第二分辨率帧送入视频流编码通道，通过链接方式提供给用户观看。
28.s207、判断是否收到结束指令，若是，则推流结束，若否，则返回s201。
29.s207是为了考虑用户可能结束推流或者由于其它原因导致推流结束的场景，如果推流结束，就不需要返回s201了，当然，若不考虑上述场景，则s207可以省略，推流输出后，直接返回s201。
30.上述全局容器本质上是一块共享内存，线程能够对这一块公共的内存进行读写，涉及到读写，就必然需要线程间的同步，可以使用加锁、解锁的方式来实现，避免线程同时对这块内存进行读、写操作；在我们的场景中，除了要实现线程间的同步外，还需实现线程间的通讯，因为第一线程比第二线程耗时长，第二线程耗处理完后便早早开始等待，监视第一线程是否更新推理结果到全局容器中，若更新，则立即读取结果进行绘框、推流等操作，这就需要第一线程将推理结果更新到全局容器后，通知第二线程立即进行处理，像这种线程间的通讯机制可以用采信号灯（semaphore）或线程条件变量（pthread_cond_t）的方法来实现。
31.当然，本发明方法也可以使用单个线程来处理，参见图2，由单个线程处理时，当得到第一信息后，无法立即返回取下一个第一分辨率帧进行目标检测，线程将会继续执行后续的绘框、推流等操作，完成后才返回取下一个第一分辨率帧，但是，后续操作例如绘框，相对来说较为耗时，单帧图片绘框根据处理单元（cpu/npu）性能不同，消耗时间约5-20ms，会极大影响整体推流帧的输出效率；使用双线程并行处理，算法推理和绘框、推流相互独立，能够充分利用处理单元的多核优势，大大提升了处理效率。
32.基于同一发明构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种带实时目标检测的视频推流方法部分中描述的根据本发明各种示例性实施方式的步骤。
33.其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以进一步包括只读存储单元(rom)。
34.基于同一发明构思，本说明书实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现本说明书上述一种带实时目标检测的视频推流方法部分中描述的根据本发明各种示例性实施方式的步骤。
35.计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、
或半导体系统、装置或设备，或者上述内容的任何合适组合。计算机可读存储介质的更具体示例包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
36.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
37.但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。