视频图像处理方法、装置、智能终端及计算机存储介质与流程

1.本发明涉及图像处理领域，尤其涉及一种视频图像处理方法、装置、智能终端及计算机存储介质。


背景技术：

2.随着经济全球化，远程办公逐渐成为一种主流的办公方式。这种选择在家办公的工作方式不仅避免了接触、简化办公程序，还能随时随地开展会议。视频会议机的需求越来越凸显，而视频会议摄像头在其中扮演了举足轻重的角色。一个摄像头选择的正确与否，直接影响与会者的体验，视频会议系统摄像头直接关系到会议画面的质量。目前视频会议摄像机不具备ai(artificalintelligence,人工智能)功能，不能实现会议签到及重点区域突出显示。


技术实现要素：

3.本发明的主要目的在于提出一种视频图像处理方法、装置、智能终端及计算机可读存储介质，旨在提高视频中图像的清晰度。
4.对摄像头采集到的视频图像进行预处理，得到初始图像；
5.根据预设的ai模式，对所述初始图像进行分割处理，得到ai人体图像；
6.对所述ai人体图像进行视频字符叠加，得到目标图像。
7.在一种实施方式中，所述对摄像头采集到的视频图像进行预处理，得到初始图像的步骤包括：
8.获取摄像头采集的视频图像，并将所述视频图像转化成视频图像信号；
9.基于vpss模块，对所述视频图像信号进行图像增强和图像锐化处理，得到所述视频信号对应的初始图像。
10.在一种实施方式中，所述将所述视频图像转化成视频图像信号的步骤包括：
11.通过图像传感器对所述视频图像进行数字化处理，得到原始图像信号；
12.基于isp模块，对所述原始图像信号进行自动曝光控制处理、自动增益控制处理、自动白平衡处理、自动消除灯光条纹处理、自动黑电平校准处理和图像质量控制处理，得到视频图像信号。
13.在一种实施方式中，所述ai模式包括ai骨骼模式、ai抠图模式和ai 骨骼抠图模式，所述根据预设的ai模式，对所述初始图像进行分割处理，得到ai人体图像；的步骤包括：
14.当所述ai模式为所述ai骨骼模式时，通过与所述ai骨骼模式对应的 ai骨骼模型输出预所述初始图像对应的ai人体骨骼图像；
15.当所述ai模式为所述ai抠图模式时，通过与所述ai抠图模式对应的 ai抠图模型输出与所述初始图像对应的ai人体抠图图像；
16.当所述ai模式为所述ai骨骼抠图模式时，通过与所述ai骨骼抠图模式对应的ai骨骼抠图模型输出与所述初始图像对应的ai人体骨骼抠图图像。
17.在一种实施方式中，所述ai模式的获取方法为：
18.根据预设接口中的ai事件通知确定终端选定的所述ai模式。
19.在一种实施方式中，所述对所述ai人体图像进行视频字符叠加，得到目标图像的步骤包括：
20.通过osd发生器将所述ai人体图像与osd图像叠加，得到目标图像。
21.在一种实施方式中，所述对所述ai人体图像进行视频字符叠加，得到目标图像的步骤包括：
22.调用venc编码接口，对所述目标图像进行编码；
23.调用数据存储函数将编码后的所述目标图像存储于应用缓存模块。
24.此外，为实现上述目的，本发明还提供一种视频图像处理装置，所述视频图像处理装置包括：
25.第一处理单元，用于对摄像头采集到的视频图像进行预处理，得到初始图像；
26.第二处理单元，用于根据预设的ai模式，对所述初始图像进行分割处理，得到ai人体图像；
27.叠加单元，用于对所述ai人体图像进行视频字符叠加，得到目标图像。
28.此外，为实现上述目的，本发明还提供一种智能终端，所述智能终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频图像处理程序，所述视频图像处理程序被所述处理器执行时实现如上所述的视频图像处理方法的步骤。
29.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有所述视频图像处理方法程序，所述视频图像处理方法程序被处理器执行时实现如上所述的视频图像处理方法的步骤。
30.本发明通过对摄像头采集到的视频图像进行预处理，得到初始图像，再根据预设的ai模式，对初始图像进行处理，得到ai人体图像，最后对ai人体图像进行视频字符叠加，得到目标图像，基于ai模式处理的视频图像更加的清晰，可以突出显示重点区域，进一步本发明无需网络连接即可实现，克服了视频传输延迟的问题。
附图说明
31.图1为实现本发明各个实施例一种智能终端的硬件结构示意图；
32.图2为本发明视频图像处理方法第一实施例的流程示意图；
33.图3为初始图像的处理总流程。
34.本发明目的的实现、功能特点及优点将结合实施例，参照附图做说明。
具体实施方式
35.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
36.本发明提供了一种智能终端，参照图1，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
37.需要说明的是，图1即可为智能终端的硬件运行环境的结构示意图。本发明实施例智能终端可以包括pc(personal computer，个人电脑)，便携计算机，服务器等硬件设备。
38.如图1所示，该智能终端包括：处理器1001，例如cpu，存储器1005，用户接口1003，
网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi 接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
39.可选地，智能终端还可以包括rf(radio frequency，射频)电路，传感器、wifi模块等等。
40.本领域技术人员可以理解，图1中示出的智能终端结构并不构成智能终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
41.如图1所示，作为一种计算机存储可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频图像处理程序。其中，操作系统是管理和控制智能终端硬件和软件资源的程序，支持视频图像处理程序以及其它软件或程序的运行。
42.图1所示的智能终端，可用于提高视频中图像的清晰度，用户接口1003 主要用于侦测或者输出各种信息，如输入视频图像和输出ai人体图像等；网络接口1004主要用于与后台服务器交互，进行通信；处理器1001可以用于调用存储器1005中存储的视频图像处理程序，并执行以下操作：
43.对摄像头采集到的视频图像进行预处理，得到初始图像；
44.根据预设的ai模式，对所述初始图像进行分割处理，得到ai人体图像；
45.对所述ai人体图像进行视频字符叠加，得到目标图像。
46.在一种实施方式中，所述对摄像头采集到的视频图像进行预处理，得到初始图像的步骤包括：
47.获取摄像头采集的视频图像，并将所述视频图像转化成视频图像信号；
48.基于vpss模块，对所述视频图像信号进行图像增强和图像锐化处理，得到所述视频信号对应的初始图像。
49.在一种实施方式中，所述将所述视频图像转化成视频图像信号的步骤包括：
50.通过图像传感器对所述视频图像进行数字化处理，得到原始图像信号；
51.基于isp模块，对所述原始图像信号进行自动曝光控制处理、自动增益控制处理、自动白平衡处理、自动消除灯光条纹处理、自动黑电平校准处理和图像质量控制处理，得到视频图像信号。
52.在一种实施方式中，所述ai模式包括ai骨骼模式、ai抠图模式和ai 骨骼抠图模式，所述根据预设的ai模式，对所述初始图像进行分割处理，得到ai人体图像；的步骤包括：
53.当所述ai模式为所述ai骨骼模式时，通过与所述ai骨骼模式对应的 ai骨骼模型输出预所述初始图像对应的ai人体骨骼图像；
54.当所述ai模式为所述ai抠图模式时，通过与所述ai抠图模式对应的 ai抠图模型输出与所述初始图像对应的ai人体抠图图像；
55.当所述ai模式为所述ai骨骼抠图模式时，通过与所述ai骨骼抠图模式对应的ai骨骼抠图模型输出与所述初始图像对应的ai人体骨骼抠图图像。
56.在一种实施方式中，所述ai模式的获取方法为：
57.根据预设接口中的ai事件通知确定终端选定的所述ai模式。
58.在一种实施方式中，所述对所述ai人体图像进行视频字符叠加，得到目标图像的步骤包括：
59.通过osd发生器将所述ai人体图像与osd图像叠加，得到目标图像。
60.在一种实施方式中，处理器1001可以用于调用存储器1005中存储的视频图像处理程序，还执行以下操作：
61.调用venc编码接口，对所述目标图像进行编码；
62.调用数据存储函数将编码后的所述目标图像存储于应用缓存模块。
63.本发明通过对摄像头采集到的视频图像进行预处理，得到初始图像，再根据预设的ai模式，对初始图像进行处理，得到ai人体图像，最后对ai人体图像进行视频字符叠加，得到目标图像，基于ai模式处理的视频图像更加的清晰，可以突出显示重点区域，进一步本发明无需网络连接即可实现，克服了视频传输延迟的问题。
64.本发明移动终端具体实施方式与下述视频图像处理方法各实施例基本相同，在此不再赘述。
65.基于上述结构，提出本发明视频图像处理方法的各个实施例。
66.本发明提供一种视频图像处理方法。
67.参照图2，图2为本发明视频图像处理方法第一实施例的流程示意图。
68.在本实施例中，提供了视频图像处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
69.在本实施例中，视频图像处理方法包括：
70.步骤s10，对摄像头采集到的视频图像进行预处理，得到初始图像；
71.视频图像是拍摄到的最原始的图像，初始图像是对视频图像进行一系列的处理之后得到的。一般的，视频图像通过摄像头获得，该摄像头可存在于任何一种监控系统。
72.在一些实施例中，步骤s10包括：
73.步骤a，获取摄像头采集的视频图像，并将所述视频图像转化成视频图像信号；
74.步骤b，对所述视频图像信号进行图像增强和图像锐化处理，得到所述视频信号对应的初始图像。
75.对视频图像的处理，其实是对视频图像对应的视频图像信号进行处理，接收到视频图像之后，将视频图像转化成视频图像信号。
76.vpss(video process sub-system)模块接收到视频图像信号，对视频图像信号进行图像增强和图像锐化的处理，得到初始图像。对视频图像信号进行图像增强处理可以有选择的突出图像中用户感兴趣的特征，抑制图像中不需要的特征。对视频图像信号进行图像锐化处理可以补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得更加的清晰。可以理解的是，获得的初始图像相对于最初获得的视频图像画质更好。
77.在一些实施例中，将所述视频图像转化成视频图像信号的步骤包括：
78.步骤a1，通过图像传感器对所述视频图像进行数字化处理，得到原始图像信号；
79.步骤a2，对所述原始图像信号进行自动曝光控制处理、自动增益控制处理、自动白平衡处理、自动消除灯光条纹处理、自动黑电平校准处理和图像质量控制处理，得到视频图
像信号。
80.首先对视频图像进行数字化处理，得到原始图像信号，该原始图像信号为rawrgb格式，数字化处理的过程在图像传感器sensor中完成。图像传感器与isp(image signal processing，图像处理)模块通过mipi(mobile industryprocessor interface，移动产业处理器接口)信号连接，isp模块接收由图像传感器发送的原始图像信号，并对原始图像信号进行自动曝光控制处理、自动增益控制处理、自动白平衡处理、自动消除灯光条纹处理、自动黑电平校准处理和图像质量控制处理，得到与视频图像对应的视频图像信号。自动曝光控制处理可以使得图像获得适当的感光量，自动增益控制处理是通过控制图像信号的强度获得画面较优的图像，自动白平衡处理是将图像中亮度值较高的噪点滤除，自动消除灯光条纹处理用于消除图像中的灯光条纹，自动黑电平校准处理为了让图像中暗部的细节完全保留，图像质量控制处理主要用于控制图像的色彩。
81.步骤s20，根据预设的ai模式，对所述初始图像进行分割处理，得到ai 人体图像；
82.预设的ai模式可以由用户设定，本实施例提供多种ai模式供用户选择输入，在用户设定的ai模式下对初始图像进行分割处理，一般的是将初始图像中的场景和人体分割，得到ai人体图像，处理过程在ai模块中进行，ai 模块基于vpss模块提供的sample_venc.c中，创建线程不断调用 hi_mpi_vpss_getchnframe获取vpss模块中的初始图像。
83.在一些实施例中，步骤s20还包括：
84.步骤c，当所述ai模式为所述ai骨骼模式时，通过与所述ai骨骼模式对应的ai骨骼模型输出预所述初始图像对应的ai人体骨骼图像；
85.步骤d，当所述ai模式为所述ai抠图模式时，通过与所述ai抠图模式对应的ai抠图模型输出与所述初始图像对应的ai人体抠图图像；
86.步骤e，当所述ai模式为所述ai骨骼抠图模式时，通过与所述ai骨骼抠图模式对应的ai骨骼抠图模型输出与所述初始图像对应的ai人体骨骼抠图图像。
87.本实施例提供的ai模式有ai骨骼模式、ai抠图模式和ai骨骼抠图模式，用户可以随时调整ai模式，使得获取到的每一帧初始图像能够在不同的 ai模式下被处理，需要说明的是用户也可以放弃选择ai模式。
88.不同的ai模式对应着不同的ai模型，当用户获取到用户选择的ai模式后，会根据该ai模式对应的ai模型输出与初始图像对应的ai人体图像。
89.具体的，当当前的ai模式为ai骨骼模式时，应用与ai骨骼模式对应的 ai模型，即ai骨骼模型，输出与初始图像对应的ai人体骨骼图像，ai人体骨骼图像显示的是人体骨骼的姿势，而不能分辨人的外在；当当前的ai模式为ai抠图模式时，应用与ai抠图模式对应的ai模型，即ai抠图模型，输出与初始图像对应的ai人体抠图图像，ai人体抠图图像重点突出人而抹去了除人以外的事物；当当前的ai模式为ai骨骼抠图模式时，应用与ai骨骼抠图模式对应的ai模型，即ai骨骼抠图新型输出与初始图像对应的ai人体骨骼抠图图像，ai人体骨骼抠图图像抹去了除人意外的场景及人的外在，而重点突出人体的骨骼。
90.在一些实施例中，所述ai模式的获取方法为：根据预设接口中的ai事件通知确定终端选定的所述ai模式。预设接口中的ai事件具体表达方式为 uvc_histreaming.c里oneventnotify的histreaming ai事件。
91.步骤s30，对所述ai人体图像进行视频字符叠加，得到目标图像。
92.ai人体图像仅仅只有画面，在一般的图像制作中除了清晰的画面外还需要配有其他的信息，例如字符信息、logo信息等，只有对ai人体图像进行视频字符叠加，才能将这些信息加入ai人体图像中，得到目标图像。
93.在一些实施例中，步骤s30包括：
94.步骤f，通过osd发生器将所述ai人体图像与osd图像叠加，得到目标图像。
95.osd(on-screen display)图像是用户于region模块中设置的，包含字符信息、logo信息等，在osd发生器中将ai人体图像和osd图像进行叠加，可在ai人体图像中添加字符，得到目标图像。
96.本实施例通过对摄像头采集到的视频图像进行预处理，得到初始图像，再根据预设的ai模式，对初始图像进行处理，得到ai人体图像，最后对ai 人体图像进行视频字符叠加，得到目标图像，基于ai模式处理的视频图像更加的清晰，可以突出显示重点区域，进一步本实施例无需网络连接即可实现，克服了视频传输延迟的问题。
97.在一些实施例中，步骤s30之后还包括：
98.步骤g，调用venc编码接口，对所述目标图像进行编码；
99.步骤h，调用数据存储函数将编码后的所述目标图像存储于应用缓存模块。
100.venc编码接口的表达方式为hi_mpi_venc_sendframe编码接口，调用hi_mpi_venc_sendframe编码接口，按照不同协议对目标图像进行编码，编码完成后，取出编码后的目标图像，调用数据存储函数(一般的写法为savedata函数)将编码后的所述目标图像存储于应用缓存模块。数据存储函数表达方式为_sample_comm_venc_savedata。参见图3，图3为初始图像的处理总流程。
101.此外，本发明实施例还提出一种视频图像处理装置，所述视频图像处理装置包括：
102.第一处理单元，用于对摄像头采集到的视频图像进行预处理，得到初始图像；
103.第二处理单元，用于根据预设的ai模式，对所述初始图像进行分割处理，得到ai人体图像；
104.叠加单元，用于对所述ai人体图像进行视频字符叠加，得到目标图像。
105.本发明所述视频图像处理装置实施方式与上述视频图像处理方法各实施例基本相同，在此不再赘述。
106.此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视频图像处理程序，所述视频图像处理程序被处理器执行时实现如上所述的视频图像处理方法的各个步骤。
107.需要说明的是，计算机可读存储介质可设置在基于智能终端中。
108.本发明计算机可读存储介质具体实施方式与上述视频图像处理方法各实施例基本相同，在此不再赘述。
109.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
110.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
111.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
112.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。