图像处理方法及装置和系统、存储介质与流程

1.本公开涉及图像处理技术领域，具体涉及一种图像处理方法及装置和系统、存储介质。


背景技术：

2.安防监控视频需要实现任意局部区域超高清放大显示，以便对视频中的局部细节更清楚地观看。


技术实现要素：

3.一方面，本公开实施例提供一种图像处理方法，包括：
4.获取实时视频图像；
5.在所述实时视频图像的选定时刻的图像帧上选取目标区域；
6.将所述目标区域的第一图像输入图像处理模型以得到目标图像；所述目标图像的分辨率高于所述第一图像的分辨率；
7.提供第一界面，在所述第一界面显示所述目标图像。
8.在一些实施例中，所述在所述实时视频图像的选定时刻的图像帧上选取目标区域，包括：
9.接收用户输入的第一指令；
10.响应于所述第一指令，选取所述实时视频图像的选定时刻的图像帧上的目标区域。
11.在一些实施例中，将所述目标区域的第一图像输入图像处理模型以得到目标图像，包括：
12.以时间轴为序，获取所述目标区域的所述选取时刻对应的所述实时视频图像的当前帧画面以及所述当前帧画面的前m帧画面和后n帧画面；其中，m＞n＞0，且m，n均为整数；
13.根据所述当前帧画面以及其前m帧画面和后n帧画面确定所述第一图像中的静图和动图；其中，所述静图为所述第一图像中相对所述前m帧画面和后n帧画面位置保持不变的对象的图像；所述动图为所述第一图像中相对所述前m帧画面和后n帧画面位置发生变化的对象的图像；
14.将确定所述静图和所述动图的所述第一图像输入抠图算法模型，得到互相分离的独立静图和独立动图；
15.分别将所述独立静图和所述独立动图输入超分辨率算法模型，得到目标静图和目标动图；
16.将所述目标静图和所述目标动图进行叠加，得到所述目标图像。
17.在一些实施例中，所述根据所述当前帧画面以及其前m帧画面和后n帧画面确定所述第一图像中的静图和动图，包括：
18.将所述当前帧画面的所述第一图像与所述当前帧画面的前m帧画面和后n帧画面
进行对比，判断所述第一图像中相对所述前m帧画面和后n帧画面位置保持不变的对象的图像，并将其确定为所述静图；
19.将所述当前帧画面的所述第一图像与所述当前帧画面的前m帧画面和后n帧画面进行对比，判断所述第一图像中相对所述前m帧画面和后n帧画面位置发生变化的对象的图像，并将其确定为所述动图。
20.在一些实施例中，所述根据所述当前帧画面以及其前m帧画面和后n帧画面确定所述第一图像中的静图和动图，包括：
21.以时间轴为序，间隔设定时间段从所述当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，得到x帧画面；其中，0＜x＜m n 1，且x为整数；
22.将所述当前帧画面的所述第一图像与所述x帧画面进行对比，判断所述第一图像中相对所述x帧画面位置保持不变的对象的图像，并将其确定为所述静图；
23.将所述当前帧画面的所述第一图像与所述x帧画面进行对比，判断所述第一图像中相对所述x帧画面位置发生变化的对象的图像，并将其确定为所述动图。
24.在一些实施例中，所述根据所述当前帧画面以及其前m帧画面和后n帧画面确定所述第一图像中的静图和动图，包括：
25.接收用户输入的所述第一图像中的静物图片；
26.将所述当前帧画面的所述第一图像以及所述当前帧画面的前m帧画面和后n帧画面分别与所述静物图片进行对比，将所述第一图像以及所述当前帧画面的前m帧画面和后n帧画面中相对于所述静物图片位置发生变化的对象的图像确定为所述动图。
27.在一些实施例中，所述根据所述当前帧画面以及其前m帧画面和后n帧画面确定所述第一图像中的静图和动图，包括：
28.接收用户输入的所述第一图像中的静物图片；
29.以时间轴为序，间隔设定时间段从所述当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，得到x帧画面；其中，0＜x＜m n 1，且x为整数；
30.将所述当前帧画面的所述第一图像以及所述x帧画面分别与所述静物图片进行对比，将所述第一图像以及所述x帧画面中相对于所述静物图片位置发生变化的对象的图像确定为所述动图。
31.在一些实施例中，还包括：将所述目标图像输入数据变焦模型，以得到放大的所述目标图像。
32.在一些实施例中，以时间轴为序，间隔设定时间段对所述独立静图进行一次超分辨率处理；
33.实时对所述独立动图进行超分辨率处理。
34.在一些实施例中，所述第一图像的分辨率为2k、4k和8k中的任一种。
35.在一些实施例中，所述目标区域为所述实时视频图像的选定时刻的图像帧的局部区域或整个区域。
36.另一方面，本公开实施例还提供一种图像处理方法，包括：
37.获取实时视频图像；
38.在所述实时视频图像的选定时刻的图像帧上选取目标区域；
39.将所述目标区域的第一图像输入图像处理模型以得到目标图像；所述目标图像的
分辨率高于所述第一图像的分辨率；
40.提供第一界面，在所述第一界面显示所述目标图像；
41.所述将所述目标区域的第一图像输入图像处理模型以得到目标图像，包括：
42.以时间轴为序，获取所述目标区域的所述选取时刻对应的所述实时视频图像的当前帧画面以及所述当前帧画面的前m帧画面和后n帧画面；其中，m＞n＞0，且m，n均为整数；
43.将所述第一图像划分为第一区和第二区；所述第一区内的图像为静图；所述第二区内的图像为静图和动图；其中，所述静图为所述第一图像中相对所述前m帧画面和后n帧画面位置保持不变的对象的图像；所述动图为所述第一图像中相对所述前m帧画面和后n帧画面位置发生变化的对象的图像；
44.根据所述当前帧画面以及其前m帧画面和后n帧画面确定所述第二区内的图像中的静图和动图；
45.将确定所述静图和所述动图的所述第一图像输入抠图算法模型，得到互相分离的独立静图和独立动图；
46.分别将所述独立静图和所述独立动图输入超分辨率算法模型，得到目标静图和目标动图；
47.将所述目标静图和所述目标动图进行叠加，得到所述目标图像；
48.所述根据所述当前帧画面以及其前m帧画面和后n帧画面确定所述第二区内的图像中的静图和动图，包括：
49.将所述第二区内的图像与所述当前帧画面的前m帧画面和后n帧画面进行对比，判断所述第二区内的图像中相对所述前m帧画面和后n帧画面位置保持不变的对象的图像，并将其确定为所述静图；
50.将所述第二区内的图像与所述当前帧画面的前m帧画面和后n帧画面进行对比，判断所述第二区内的图像中相对所述前m帧画面和后n帧画面位置发生变化的对象的图像，并将其确定为所述动图；
51.或者，以时间轴为序，间隔设定时间段从所述当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，得到x帧画面；其中，0＜x＜m n 1，且x为整数；
52.将所述第二区内的图像与所述x帧画面进行对比，判断所述第二区内的图像中相对所述x帧画面位置保持不变的对象的图像，并将其确定为所述静图；
53.将所述第二区内的图像与所述x帧画面进行对比，判断所述第二区内的图像中相对所述x帧画面位置发生变化的对象的图像，并将其确定为所述动图；
54.或者，接收用户输入的所述第一图像中的静物图片；
55.将所述第二区内的图像以及所述当前帧画面的前m帧画面和后n帧画面分别与所述静物图片进行对比，将所述第二区内的图像以及所述当前帧画面的前m帧画面和后n帧画面中相对于所述静物图片位置发生变化的对象的图像确定为所述动图；
56.或者，接收用户输入的所述第一图像中的静物图片；
57.以时间轴为序，间隔设定时间段从所述当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，得到x帧画面；其中，0＜x＜m n 1，且x为整数；
58.将所述第二区内的图像以及所述x帧画面分别与所述静物图片进行对比，将所述第二区内的图像以及所述x帧画面中相对于所述静物图片位置发生变化的对象的图像确定
为所述动图。
59.再一方面，本公开实施例还提供一种图像处理装置，包括：
60.存储器；所述存储器中存储一个或多个计算机程序；
61.处理器；所述处理器与所述存储器耦接；所述处理器被配置为执行所述计算机程序，以实现上述图像处理方法。
62.又一方面，本公开实施例还提供一种非瞬态计算机可读存储介质，其存储有计算机程序，其中，所述计算机程序在计算机运行时，使得计算机实现上述图像处理方法。
63.又一方面，本公开实施例还提供一种电子设备，其中，包括上述图像处理装置和显示装置；
64.所述显示装置被配置为第一界面。
65.又一方面，本公开实施例还提供一种图像处理系统，其中，包括上述图像处理装置；
66.还包括：视频图像采集装置、视频图像传输处理装置和显示装置；
67.所述视频图像采集装置采集实时视频图像，并将其传送给所述视频图像传输处理装置；
68.所述视频图像传输处理装置接收所述实时视频图像，并将其传送给所述图像处理装置；
69.所述图像处理装置对所述实时视频图像进行处理获得目标图像，并将所述目标图像传送给所述显示装置；
70.所述显示装置接收所述目标图像，并对其进行显示。
71.在一些实施例中，所述显示装置为与所述目标图像分辨率一致的投屏屏幕或显示终端。
附图说明
72.附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：
73.图1为本公开实施例提供的一种图像处理方法的流程图。
74.图2为本公开实施例提供的一种图像处理方法的原理图。
75.图3a为本公开实施例提供的一种在实时视频图像的选定时刻的图像帧上选取目标区域的示意图。
76.图3b为本公开实施例提供的另一种在实时视频图像的选定时刻的图像帧上选取目标区域的示意图。
77.图3c为本公开实施例提供的又一种在实时视频图像的选定时刻的图像帧上选取目标区域的示意图。
78.图4为本公开实施例中获取目标图像的流程图。
79.图5为本公开实施例提供的一种确定第一图像中的静图和动图的方法示意图。
80.图6为本公开实施例提供的另一种确定第一图像中的静图和动图的方法示意图。
81.图7为本公开实施例提供的又一种确定第一图像中的静图和动图的方法示意图。
82.图8为本公开实施例提供的又一种确定第一图像中的静图和动图的方法示意图。
83.图9为本公开实施例提供的将第一图像进行分区的示意图。
84.图10a为本公开实施例提供的对第一图像中的静图进行抠图处理的示意图。
85.图10b为本公开实施例提供的对第一图像中的动图进行抠图处理的示意图。
86.图11为超分辨率模型的建立及应用的原理示意图。
87.图12为独立静图和独立动图经过超分辨率处理后得到目标静图和目标动图的示意图。
88.图13为将目标静图和目标动图进行叠加得到目标图像的示意图。
89.图14为本公开实施例提供的一种图像处理装置的原理框图。
90.图15为本公开实施例提供的一种图像处理系统的原理框图。
91.图16为本公开实施例提供的一种图像处理系统的拓扑图。
具体实施方式
92.为使本领域技术人员更好地理解本公开实施例的技术方案，下面结合附图和具体实施方式对本公开实施例提供的图像处理方法及装置和系统、存储介质作进一步详细描述。
93.在下文中将参考附图更充分地描述本公开实施例，但是所示的实施例可以以不同形式来体现，且不应当被解释为限于本公开阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
94.本公开实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了区的具体形状，但并不是旨在限制性的。
95.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
96.在描述一些实施例时，可能使用了“耦接”和“连接”及其衍伸的表达。例如，描述一些实施例时可能使用了术语“连接”以表明两个或两个以上部件彼此间有直接物理接触或电接触。又如，描述一些实施例时可能使用了术语“耦接”以表明两个或两个以上部件有直接物理接触或电接触。然而，术语“耦接”或“通信耦合(communicatively coupled)”也可能指两个或两个以上部件彼此间并无直接接触，但仍彼此协作或相互作用。这里所公开的实施例并不必然限制于本文内容。
97.本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。
98.相关技术中，安防场景下，视频图像需要对局部细节进行放大，以实现局部细节的更清晰显示，传统的数字变焦，在放大图像的同时会损失清晰度。
99.本公开实施例提供一种图像处理方法，参照图1和图2，图1为本公开实施例提供的一种图像处理方法的流程图；图2为本公开实施例提供的一种图像处理方法的原理图。其中，该图像处理方法包括：
100.步骤s1：获取实时视频图像。
101.示例性地，通过分辨率为8k(7680
×
4320)的超高清安防摄像机采集8k实时视频。可选地，该实时视频图像也可以是2k(1920
×
1080)或4k(4096
×
2160)视频。
102.示例性地，该视频图像可以为安防监控视频，如对某特定位置区域(胡同拐角、道路片段、特定建筑物在不同角度等)的安防监控视频。视频图像如图2中的(a)所示。
103.步骤s2：在实时视频图像的选定时刻的图像帧上选取目标区域。
104.示例性地，选定时刻为用户选中感兴趣区域的时刻。目标区域为需要对其细节进行更加清晰显示的区域。如目标区域为安防监控视频中发生可疑情况的区域。目标区域如图2中的(b)所示。
105.在一些实施例中，目标区域为实时视频图像的选定时刻的图像帧的局部区域或整个区域。示例性地，对于2k和4k的视频图像，目标区域可以为选定时刻的图像帧的局部区域(如1/4、1/2或1/8区域)或整个区域。示例性地，对于8k的视频图像，目标区域为小于选定时刻的图像帧整个区域的局部区域，例如：选定时刻的图像帧的1/4、1/2或1/8区域，这里不做具体限定。
106.在一些实施例中，在实时视频图像的选定时刻的图像帧上选取目标区域，包括：提供第二界面，第二界面用于显示用户输入的指示，如用户输入的第一指令；接收用户输入的第一指令；响应于第一指令，选取实时视频图像的选定时刻的图像帧上的目标区域。
107.其中，选定时刻根据用户输入的第一指令确定，示例性地，选定时刻可以是接收用户输入的第一指令的时刻；选定时刻也可以是用户自定义的时间点。
108.示例性地，第二界面为选定时刻的图像帧界面；第二界面与显示目标图像的第一界面可以是两个不同的显示界面，也可以是同一个显示界面。示例性地，用户输入的第一指令，包括：手势指令、语音指令、红外遥控指令。
109.例如，参照图3a，为一种在实时视频图像的选定时刻的图像帧上选取目标区域的示意图；在第一指令为语音指令的情况下，第二界面201上可以显示第一提示2011：“请说出
‘
选区开始
’”
，用户输入语音指令“选区开始”，参照图3a，第二界面201上显示选框图标2012，用户可以设置选框图标2012的框定区域位置和大小，从而在视频图像上选取感兴趣的目标区域。
110.例如，参照图3b，为另一种在实时视频图像的选定时刻的图像帧上选取目标区域的示意图；在第一指令为手势指令的情况下，第二界面201上可以显示第一提示2011：“使用
‘
选框’手势开始选区”，用户输入“选框”手势，第二界面201上显示选框图标2012，用户可以设置选框图标2012的框定区域位置和大小，从而在视频图像上选取感兴趣的目标区域。可选的，手势指令还可以是“剪刀手”、“点赞”等其它常见手势，第二界面上显示的第一提示也可以相应调整，此处不作具体限定。
111.可选的，参照图3c，为又一种在实时视频图像的选定时刻的图像帧上选取目标区域的示意图；用户也可以通过按键触发选区，例如，用户使用遥控器，按下“ok”键，第二界面201上显示选框按钮2013，用户点击选框按钮2013，第二界面201上显示选框图标2012，用户可以设置选框图标2012的框定区域位置和大小，从而在视频图像上选取感兴趣的目标区域。可选的，遥控器确定选区的按键还可以是“选区”键、“确认”键等其它按键，此处不作具体限定。
112.在其他一些实施方式中，上述按键可以是物理按键，也可以是触摸屏上的虚拟按键，遥控器可以是带有物理按键的红外发射装置，也可以是带有触摸屏且具有红外发射功能的电子设备，在此不作限定。
113.需要说明的是，第一指令对应的语音指令、手势指令或按键指令，可以事先进行设置，也可以由用户进行自定义。在用户输入第一指令后，第二界面201上是否显示选框图标，也可以由用户进行自定义，也可以不显示选框图标。
114.步骤s3：将目标区域的第一图像输入图像处理模型以得到目标图像；目标图像的分辨率高于第一图像的分辨率。
115.其中，第一图像是在实时视频图像的选定时刻的图像帧上选取的目标区域内的全部图像。
116.在一些实施例中，参照图4，为本公开实施例中获取目标图像的流程图。将目标区域的第一图像输入图像处理模型以得到目标图像；包括：
117.步骤s31：以时间轴为序，获取目标区域的选取时刻对应的实时视频图像的当前帧画面以及当前帧画面的前m帧画面和后n帧画面；其中，m＞n＞0，且m，n均为整数。
118.其中，目标区域的选取时刻对应的实时视频图像的当前帧画面即实时视频图像的选定时刻的图像帧，第一图像即当前帧画面上目标区域的第一图像。
119.示例性地，获取当前帧画面的前10秒内的帧画面和后2秒内的帧画面，一秒内刷新25-30帧画面。当前帧画面的前后帧画面的选取也可以是当前帧画面的前20秒或10分钟内的帧画面和后5秒或2分钟内的帧画面。这里对当前帧画面的前后帧画面的选取这里不做限定。
120.需要说明的是，选取的帧画面数量越多，第一图像中静图和动图的确定更加准确，从而后续获得的目标图像的效果越好。
121.步骤s32：根据当前帧画面以及其前m帧画面和后n帧画面确定第一图像中的静图和动图；其中，静图为第一图像中相对前m帧画面和后n帧画面位置保持不变的对象的图像；动图为第一图像中相对前m帧画面和后n帧画面位置发生变化的对象的图像。
122.在一些实施例中，步骤s32包括：步骤s321：将当前帧画面的第一图像与当前帧画面的前m帧画面和后n帧画面进行对比，判断第一图像中相对前m帧画面和后n帧画面位置保持不变的对象的图像，并将其确定为静图；
123.步骤s322：将当前帧画面的第一图像与当前帧画面的前m帧画面和后n帧画面进行对比，判断第一图像中相对前m帧画面和后n帧画面位置发生变化的对象的图像，并将其确定为动图。
124.示例性地，如图5所示，为一种确定第一图像中的静图和动图的方法示意图。连续的当前帧画面以及其前m帧画面和后n帧画面中，第一图像300中的“故宫博物馆城楼”相对前m帧画面和后n帧画面的位置保持不变；因此将第一图像300中的“故宫博物馆城楼”确定为静图301；第一图像300中的“气球”相对前m帧画面和后n帧画面的位置发生变化，因此将第一图像300中的“气球”确定为动图302。
125.其中，步骤s321-s322的确定静图和动图的方案中，是将当前帧画面的第一图像与当前帧画面的前m帧画面和后n帧画面进行遍历对比，只要第一图像中有对象相对至少两帧画面位置发生变化，即将该对象的图像确定为动图；将第一图像中相对选取的所有帧画面
位置始终保持不变的对象的图像确定为静图。如此确定静图和动图的方法虽然对比过程相对复杂且耗时较长，但静图和动图的确定比较准确。
126.在一些实施例中，步骤s32包括：步骤s321＇：以时间轴为序，间隔设定时间段从当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，得到x帧画面；其中，0＜x＜m n 1，且x为整数。
127.步骤s322＇：将当前帧画面的第一图像与x帧画面进行对比，判断第一图像中相对x帧画面位置保持不变的对象的图像，并将其确定为静图。
128.步骤s323＇：将当前帧画面的第一图像与x帧画面进行对比，判断第一图像中相对x帧画面位置发生变化的对象的图像，并将其确定为动图。
129.示例性地，如图6所示，为另一种确定第一图像中的静图和动图的方法示意图。以时间轴为序，间隔1秒从连续的当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，共抽取x帧画面(其中，可以是从历时10-20分钟或者30分钟以上的更长时间内的帧画面数量中抽取x帧画面)；将当前帧画面的第一图像300与x帧画面进行对比，第一图像300中的“故宫博物馆城楼”相对x帧画面的位置保持不变；因此将第一图像300中的“故宫博物馆城楼”确定为静图301；第一图像300中的“气球”相对x帧画面的位置发生变化，因此将第一图像300中的“气球”确定为动图302。
130.其中，步骤s321＇-s323＇的确定静图和动图的方案中，是在等时间间隔后从连续的当前帧画面以及其前m帧画面和后n帧画面中抽取出x帧画面，然后将当前帧画面的第一图像与这x帧画面进行遍历对比，只要第一图像中有对象相对至少两帧画面中有图像位置发生变化，即将该对象的图像确定为动图；将第一图像中相对抽取的x帧画面位置始终保持不变的对象的图像确定为静图。如此确定静图和动图的方法不仅对比过程相对简化且耗时缩短，而且还能获得比较准确的静图和动图确定结果。
131.在一些实施例中，步骤s32包括：s321"：接收用户输入的第一图像中的静物图片。
132.s322"：将当前帧画面的第一图像以及当前帧画面的前m帧画面和后n帧画面分别与静物图片进行对比，将第一图像以及当前帧画面的前m帧画面和后n帧画面中相对于静物图片位置发生变化的对象的图像确定为动图。
133.示例性地，如图7所示，为又一种确定第一图像中的静图和动图的方法示意图。接收用户输入的第一图像中的静物图片303，如“故宫博物馆城楼”；然后按照帧画面的刷新时间顺序将当前帧画面的第一图像300以及当前帧画面的前m帧画面和后n帧画面逐一与静物图片303进行对比；将第一图像300以及当前帧画面的前m帧画面和后n帧画面中相对于静物图片303位置发生变化的对象的图像确定为动图302；相应地，第一图像300以及当前帧画面的前m帧画面和后n帧画面中相对于静物图片303位置始终不变的对象的图像确定为静图301。
134.其中，步骤s321"-s322"的确定静图和动图的方案中，是通过输入第一图像中的静物图片作为比较对象，然后将当前帧画面的第一图像以及当前帧画面的前m帧画面和后n帧画面逐一与该静物图片进行对比，只要第一图像中有对象相对该静物图片位置发生变化，则将该对象的图像确定为动图；将第一图像中相对该静物图片位置都始终保持不变的对象的图像确定为静图。如此确定静图和动图的方法对比过程也相对简化且耗时较短，同时还能获得比较准确的静图和动图确定结果。
135.在一些实施例中，步骤s32包括：s321＇＇＇：接收用户输入的第一图像中的静物图片。
136.s322＇＇＇：以时间轴为序，间隔设定时间段从当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，得到x帧画面；其中，0＜x＜m n 1，且x为整数。
137.s323＇＇＇：将当前帧画面的第一图像以及x帧画面分别与静物图片进行对比，将第一图像以及x帧画面中相对于静物图片位置发生变化的对象的图像确定为动图。相应地，将第一图像以及x帧画面中相对于静物图片位置不变的对象的图像确定为静图。
138.示例性地，如图8所示，为又一种确定第一图像中的静图和动图的方法示意图。接收用户输入的第一图像中的静物图片303，如“故宫博物馆城楼”；以时间轴为序，间隔1秒从连续的当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，共抽取x帧画面(其中，可以是从历时10-20分钟或者30分钟以上的更长时间内的帧画面数量中抽取x帧画面)；将x帧画面中的当前帧画面的第一图像300以及x帧画面逐一与该静物图片303进行对比，第一图像300以及x帧画面中的“故宫博物馆城楼”相对于该静物图片303位置保持不变；因此将第一图像300中的“故宫博物馆城楼”确定为静图301；第一图像300以及x帧画面中的“气球”在与该静物图片303的一次或多次对比中位置发生变化，因此将第一图像300中的“气球”确定为动图302。
139.其中，步骤s321＇＇＇-s323＇＇＇的确定静图和动图的方案，是将图6和图7中确定静图和动图的方案相结合，如此能够进一步地简化对比过程、缩短对比耗时，还能进一步使静图和动图的确定结果更加准确。
140.在一些实施例中，步骤s32包括：如图9所示，为将第一图像进行分区的示意图。将第一图像300划分为第一区304和第二区305；第一区304内的图像为静图301；第二区305内的图像为静图301和动图302；根据当前帧画面以及其前m帧画面和后n帧画面确定第二区305内的图像中的静图301和动图302；具体为：对第二区305内的图像执行图5-图8任一中的处理方法，以确定第二区305中的静图301和动图302。如此能够进一步地简化对比过程、缩短对比耗时，还能进一步使静图和动图的确定结果更加准确。
141.在一些实施例中，对第二区305内的图像执行图5中的处理方法，以确定第二区305中的静图301和动图302，包括：将第二区305内的图像与当前帧画面的前m帧画面和后n帧画面进行对比，判断第二区305内的图像中相对前m帧画面和后n帧画面位置保持不变的对象的图像，并将其确定为静图301；将第二区305内的图像与当前帧画面的前m帧画面和后n帧画面进行对比，判断第二区305内的图像中相对前m帧画面和后n帧画面位置发生变化的对象的图像，并将其确定为动图302。
142.在一些实施例中，对第二区305内的图像执行图6中的处理方法，以确定第二区305中的静图301和动图302，包括：以时间轴为序，间隔设定时间段从当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，得到x帧画面；其中，0＜x＜m n 1，且x为整数；将第二区305内的图像与x帧画面进行对比，判断第二区305内的图像中相对x帧画面位置保持不变的对象的图像，并将其确定为静图301；将第二区305内的图像与x帧画面进行对比，判断第二区305内的图像中相对x帧画面位置发生变化的对象的图像，并将其确定为动图302。
143.在一些实施例中，对第二区305内的图像执行图7中的处理方法，以确定第二区305中的静图301和动图302，包括：接收用户输入的第一图像300中的静物图片303；将第二区
305内的图像以及当前帧画面的前m帧画面和后n帧画面分别与静物图片303进行对比，将第二区305内的图像以及当前帧画面的前m帧画面和后n帧画面中相对于静物图片303位置发生变化的对象的图像确定为动图302；相应地，将第二区305内的图像以及当前帧画面的前m帧画面和后n帧画面中相对于静物图片303位置保持不变的对象的图像确定为静图301。
144.在一些实施例中，对第二区305内的图像执行图8中的处理方法，以确定第二区305中的静图301和动图302，包括：接收用户输入的第一图像300中的静物图片303；以时间轴为序，间隔设定时间段从当前帧画面以及其前m帧画面和后n帧画面中抽取一帧画面，得到x帧画面；其中，0＜x＜m n 1，且x为整数；将第二区305内的图像以及x帧画面分别与静物图片303进行对比，将第二区305内的图像以及x帧画面中相对于静物图片303位置发生变化的对象的图像确定为动图302；相应地，将第二区305内的图像以及x帧画面中相对于静物图片303位置保持不变的对象的图像确定为静图301。
145.步骤s33：将确定静图和动图的第一图像输入抠图算法模型，得到互相分离的独立静图和独立动图。
146.示例性地，参照图10a，为对第一图像中的静图进行抠图处理的示意图。独立静图可以是第一图像中的静图的掩码(mask)图像(参考图10a中的(b)所示)。示例性地，独立静图中每个像素的取值范围为[0,1]，反映的是第一图像的该像素点为静图的概率。可以理解的是，在第一图像的静图中心区域，独立静图的取值为1，在第一图像的静图以外的区域，对应独立静图的取值为0，在静图与静图以外区域的边界区域，对应独立静图的取值为0～1之间的值，说明该边界区域像素点可能为静图，也可能为动图，或者兼有两者。例如，独立静图可以参考图10a中的(d)所示，
[0147]
示例性地，参照图10b，为对第一图像中的动图进行抠图处理的示意图。独立动图可以是第一图像中动图的掩码(mask)图像(参考图10b中的(c)所示)。示例性地，独立动图中每个像素的取值范围为[0,1]，反映的是第一图像的该像素点为动图的概率。可以理解的是，在第一图像的动图中心区域，独立动图的取值为1，在第一图像的动图以外的区域，对应独立动图的取值为0，在动图与动图以外区域的边界区域，对应独立动图的取值为0～1之间的值，说明该边界区域像素点可能为动图，也可能为静图，或者兼有两者。例如，独立动图可以参考图10b中的(e)所示。
[0148]
示例性地，抠图模型为预先训练好的神经网络模型。例如，抠图模型可以是显著目标检测(salient object detection,sod)模型。其中，显著目标检测模型可以是u2-net模型。显著目标检测模型用于区分图像中最具吸引力的目标，在训练过程中，使用特定类型的训练集对显著目标检测模型进行训练，就能够在短时间内训练完成针对特定场景的目标对象分割模型。例如，使用大量静图对显著目标检测模型进行训练，得到的抠图模型在静图的分割处理中效率更高，分割效果也更好。再例如，使用大量动图对显著目标检测模型进行训练，得到的抠图模型在动图的分割处理中效率更高，分割效果也更好。
[0149]
在其他一些实施方式中，在目标对象为静图或动图的情况下，图像处理模型也可以是其它用于静图或动图分割的神经网络模型，例如用于人像分割推理的深度卷积神经网络(deep convolutional neural networks，dcnn)模型，该dcnn模型可以对第一图像进行人像掩码推理，该dcnn模型输出的掩码图即人像动图。
[0150]
在一些实施例中，根据第一图像的类型，将第一图像输入与第一图像的类型相匹
配的抠图算法模型。例如，第一图像为静图，则选择抠图算法模型的训练集为静图图像，其对静图图像的分割效果比较准确。再例如，第一图像为动图，则选择抠图算法模型的训练集应为动图图像，其对动图图像的分割效果比较准确。
[0151]
在一些实施例中，根据第一图像的分辨率，将第一图像输入与第一图像的分辨率相匹配的抠图算法模型。例如，第一图像分辨率很高，则选择抠图处理分辨率高一些的抠图算法模型。再例如，若第一图像的分辨率远低于抠图算法模型要求输入的图像的分辨率，如插值大于第一图像大小的100％，会因为插值过多而导致图像失真，因此需要选择抠图处理分辨率较低的抠图算法模型。
[0152]
在一些实施例中，抠图算法模型也可以采用trimap-based模型、deep image matting模型、background matting模型、background matting v2模型、trimap-free模型、semantic human matting模型、modnet模型中的任意一种。
[0153]
步骤s34：分别将独立静图和独立动图输入超分辨率算法模型，得到目标静图和目标动图。
[0154]
示例性地，超分辨率是一项底层图像处理任务，将低分辨率的图像映射至高分辨率，将低分辨率图片放大成高分辨率图片，以期达到增强图像细节的作用。示例性地，第一图像的分辨率为2k、4k和8k中的任一种。第一图像包含独立静图和独立动图，第一图像如图2中(c)所示，目标图像如图2中(d)所示。
[0155]
示例性地，超分辨率模型可以选择duf、edvr、rfdn、unet等深度学习模型。参照图11，为超分辨率算法模型的建立及应用的原理示意图。深度学习模型是先利用大量的高分辨率图像积累并进行学习，再对低分辨率的图像进行学习高分辨率图像的学习模型引入来进行恢复，最后得到图像的高频细节，获得更好的图像恢复效果，提高图像的识别能力和识别精度。
[0156]
超分辨率算法模型的训练原理为：(1)先将高分辨率图像按照降质模型进行降质，产生训练模型。
[0157]
(2)根据高分辨率图像的低频部分和高频部分对应关系对图像分块，通过一定算法进行学习，获得先验知识，建立学习模型。
[0158]
(3)以输入的低分辨率块为依据，在建立好的训练集中搜索最匹配的高频块。
[0159]
在一些实施例中，参照图12，为独立静图和独立动图经过超分辨率处理后得到目标静图和目标动图的示意图。独立静图(为图10a中的(d))输入超分辨率算法模型，经过超分辨率处理后，得到的目标静图，参考图12中的(f)；目标静图的分辨率高于独立静图；独立动图(为图10b中的(e))输入超分辨率算法模型，经过超分辨率处理后，得到的目标动图，参考图12中的(g)；目标动图的分辨率高于独立动图。
[0160]
在一些实施例中，以时间轴为序，间隔设定时间段对独立静图进行一次超分辨率处理；实时对独立动图进行超分辨率处理。例如：间隔1秒或10秒对独立静图进行一次超分辨率处理。也可以间隔5秒或15秒对独立静图进行一次超分遍历处理，还可以对独立静图进行实时超分辨率处理，这里对间隔设定时间段不做具体限定，用户可以随意设置。
[0161]
步骤s35：将目标静图和目标动图进行叠加，得到目标图像。
[0162]
示例性地，将目标静图和目标动图进行叠加，参照图13，为将目标静图和目标动图进行叠加得到目标图像的示意图。其中，目标静图为图12中的(f)，目标动图为图12中的
(g)，叠加后得到的目标图像为图13中的(h)，包括：
[0163]
1)图像合并。
[0164]
根据掩码图像，将目标静图与目标动图合并。其中，合并图像满足公式：
[0165]ifusion1
＝i
person
×imask
i
background
×
(l-i
mask
)。
[0166]
其中，i
fusion1
表示合并图像，i
person
表示目标动图，i
background
表示目标静图，i
mask
表示掩码图像，i
mask
中每个元素的取值范围为[0，1]。
[0167]
可以理解的是，逐像素遍历掩码图像，截取第一图像的目标动图区域，拼贴到目标静图中，目标动图覆盖目标静图对应区域的原有图像，得到合并图像。由于在第一图像的目标动图与目标静图的边界区域，对应掩码图像的取值为0～1之间的值，具有一定的透明度，而不是如非零即一一般界限分明，因此，合并图像在边缘处会过渡自然。例如，掩码图像在边界处某像素点的取值是0.3，那么合并图像在该像素点为0.3的目标动图与0.7的目标静图融合，因此边界过渡自然不突兀。
[0168]
2)图像融合。
[0169]
可以理解的是，目标动图与目标静图的亮度、饱和度、清晰度等可能不一致，因此对合并后的图像通过亮度调整、对比度调整、颜色调整、饱和度调整、高斯滤波中的一项或多项融合处理操作，以生成目标动图与目标静图的融合图像。
[0170]
示例性地，假设目标动图的亮度为50，目标静图的亮度为100，则对合并图像进行亮度调整，将合并图像的亮度调整为80，使得融合图像整体亮度一致，目标动图与目标静图间不存在明显边界和亮度差。
[0171]
示例性地，目标静图的分辨率为7680
×
4320，目标动图的分辨率也为7680
×
4320。
[0172]
可以理解的是，上述亮度调整、对比度调整、颜色调整、饱和度调整、高斯滤波、中的一项或多项融合处理操作，可以通过采用相应图像处理函数对合并图像进行整体处理来实现，也可以通过采用相应图像处理函数对目标动图或目标静图进行单独处理来实现。
[0173]
在一些实施例中，图像处理方法还包括步骤s36：将目标图像输入数据变焦模型，以得到放大的目标图像。
[0174]
数字变焦也称为数码变焦，英文名称为digital zoom，数码变焦是通过数码相机内的处理器，把图片内的每个象素面积增大，从而达到放大目的。这种手法如同用图像处理软件把图片的面积改大，不过程序在数码相机内进行，把原来ccd影像感应器上的一部份像素使用"插值"处理手段做放大,将ccd影像感应器上的像素用插值算法将画面放大到整个画面。
[0175]
步骤s4：提供第一界面，在第一界面显示目标图像。
[0176]
示例性地，参考图13中的(h)所示，第一界面202显示目标图像。
[0177]
上述图像处理方法，能够对超高清视频的局部区域进行抠图、超分辨率、叠加以及数据变焦处理，从而进一步获得局部区域的超高清视频，使用户在安防场景中，可以看清超高清视频局部区域更小的细节，提升了用户体验；同时，该图像处理方法，不需要用户进行多余操作，提升了图像处理效率。
[0178]
本公开实施例还提供一种图像处理装置，参照图14，为本公开实施例提供的一种图像处理装置的原理框图。其中，该图像处理装置包括：存储器401；存储器中存储一个或多个计算机程序；处理器402；处理器402与存储器401耦接；处理器402被配置为执行计算机程
序，以实现上述图像处理方法。
[0179]
示例性地，处理器402与存储器401通过例如i/o接口耦接，从而能实现信息交互。
[0180]
示例性地，上述处理器402可以是一个处理器，也可以是多个处理元件的统称。例如，该处理器402可以是一个通用中央处理器(central processing unit，cpu)，微处理器，特定应用集成电路(application specific integrated circuit，asic)，或一个或多个用于控制本公开方案程序执行的集成电路，例如：一个或多个微处理器。又例如，该处理器402可以是可编程器件；例如，该可编程器件为cpld(complex programmable logic device，复杂可编程逻辑器件)、epld(erasable programmable logic device，可擦除可编辑逻辑器件)或者fpga(field－programmable gate array，现场可编程门阵列)。
[0181]
上述存储器401可以是一个存储器，也可以是多个存储元件的统称，且用于存储可执行程序代码等。且存储器401可以包括随机存储器，也可以包括非易失性存储器，例如磁盘存储器，闪存等。
[0182]
其中，存储器401用于存储执行本公开方案的应用程序代码，并由处理器402来控制执行。处理器402用于执行存储器401中存储的应用程序代码，以控制图像处理装置实现本公开上述任一实施例提供的图像处理方法。
[0183]
上述图像处理装置的有益效果和上述一些实施例所述的图像处理方法的有益效果相同，此处不再赘述。
[0184]
本公开实施例还提供一种非瞬态计算机可读存储介质(例如，非暂态计算机可读存储介质)，其存储有计算机程序，其中，计算机程序在计算机运行时，使得计算机实现上述任一实施例中的图像处理方法。
[0185]
示例性地，上述计算机可读存储介质可以包括，但不限于：磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，cd(compact disk，压缩盘)、dvd(digital versatile disk，数字通用盘)等)，智能卡和闪存器件(例如，eprom(erasable programmable read-only memory，可擦写可编程只读存储器)、卡、棒或钥匙驱动器等)。本公开描述的各种计算机可读存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读存储介质。术语“机器可读存储介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
[0186]
上述非瞬态计算机可读存储介质的有益效果和上述一些实施例所述的图像处理方法的有益效果相同，此处不再赘述。
[0187]
本公开实施例还提供一种电子设备，包括上述实施例中的图像处理装置和显示装置；显示装置被配置为第一界面。
[0188]
其中，显示装置为高分辨率(如8k)的显示终端，如显示装置可以将第一界面显示的目标图像投屏至室外8k大屏，显示装置也可以为8k电视。
[0189]
上述电子设备的有益效果和上述一些实施例所述的图像处理方法的有益效果相同，此处不再赘述。
[0190]
本公开实施例还提供一种图像处理系统，参照图15和图16，图15为本公开实施例提供的一种图像处理系统的原理框图；图16为本公开实施例提供的一种图像处理系统的拓扑图。包括上述图像处理装置501；还包括：视频图像采集装置502、视频图像传输处理装置503和显示装置504；视频图像采集装置502采集实时视频图像，并将其传送给视频图像传输
处理装置503；视频图像传输处理装置503接收实时视频图像，并将其传送给图像处理装置501；图像处理装置501对实时视频图像进行处理获得目标图像，并将目标图像传送给显示装置504；显示装置504接收目标图像，并对其进行显示。
[0191]
在一些实施例中，显示装置504为与目标图像分辨率一致的投屏屏幕或显示终端。示例性地，视频图像采集装置502采用多路8k超高清安防摄像机。视频图像传输处理装置503采用内容分发网络流媒体服务器(即超高清视频服务器)。图像处理装置501和显示装置504分别采用视频流投屏控制工作站和投屏屏幕。
[0192]
示例性地，该图像处理系统的具体工作流程为：采用摄像机采集8k超清安防视频图像，编码形成h.265(压缩视频编码标准)的视频流后，通过rtmp(real time messaging protocol，实时消息传输协议)或者rtsp(real time streaming protocol，rfc2326，实时流传输协议)网络协议把视频流推送到8k超高清内容分发网络流媒体服务器；然后视频流投屏控制工作站通过http(hyper text transfer protocol，http，超文本传输协议)或者rtmp网络协议从8k超高清内容分发网络流媒体服务器获取视频流，对其进行图像处理后获得目标图像，将目标图像投屏显示到8k大屏上。
[0193]
以下是图像处理系统中四部分装置功能的详细描述：
[0194]
8k超高清安防摄像机：主要负责8k视频采集、编码并输出分辨率为2k(1920
×
1080)、4k(4096
×
2160)或8k(7680
×
4320)的视频流，以h.265编码格式通过网络推送到超高清内容分发网络流媒体服务器。在一些实施例中，8k超高清安防摄像机可以设置为多台，分别采集8k视频图像。
[0195]
内容分发网络流媒体服务器：主要负责接收和转发2k、4k或8k的视频流。功能特点：高效的h.265格式、8k超高码流处理引擎、高并发框架设计、数据传递灵活、端口安全管理、多重防盗链处理、数据智能管理、数据可视化模块。
[0196]
视频流投屏控制工作站：主要负责对2k、4k或8k的视频流解码显示输出。功能特点：8k大画幅实时投屏展示、实时选区追踪显示、多路大数据渲染、无缝渲染混切技术、实时gpu渲染加速、高速io传输、实时标记模块、图层调整处理功能、实时色彩调整、远程摄像机控制模块等。在一些实施例中，视频流投屏控制工作站可以为多个，分别对不同的视频流进行图像处理和输出。
[0197]
投屏屏幕：如8k大屏，主要负责8k视频流的终端显示，如室外8k大屏或者8k电视。在一些实施例中，投屏可以为多个，分别对应对不同的视频流投屏控制工作站输出的视频流进行显示。
[0198]
上述图像处理系统的有益效果和上述一些实施例所述的图像处理方法的有益效果相同，此处不再赘述。
[0199]
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。