一种图像处理方法及设备与流程

1.本技术涉及虚拟现实技术领域，尤其涉及一种图像处理方法及设备。


背景技术：

2.伴随着虚拟现实技术的快速发展，越来越多的人采用在线观看的方式观看虚拟舞台。
3.现有技术中，在实现虚拟舞台的过程中，基于图像采集设备采集到包含表演者的图像，并将该表演者的图像呈现在预先保存的虚拟的舞台背景中，无法实现增加灯光伴随表演者动态变化的效果，导致灯光不能实时的聚集到表演者身上，导致虚拟舞台的真实性不高，并导致用户在线观看虚拟舞台时的沉浸感下降，影响用户体验。


技术实现要素：

4.本技术提供了一种图像处理方法、装置、设备、介质及显示设备，用以解决现有技术中灯光不能实时的聚集到表演者身上导致虚拟舞台的真实性不高，影响用户体验的问题。
5.第一方面，本技术提供了一种图像处理方法，所述方法包括：
6.根据当前获得的包含表演者的原图像，确定所述原图像的前景图像，并确定所述前景图像和预先保存的虚拟背景图像的融合图像；
7.获得所述表演者在所述融合图像中的第一位置信息；
8.根据所述第一位置信息，确定所述表演者对应的灯光照射区域，根据预先绘制的图像以及所述灯光照射区域，确定灯光特效对应的掩模图像，并将所述融合图像与所述掩模图像进行融合，确定目标图像。
9.第二方面，本技术提供了一种图像处理装置，所述装置包括：
10.确定模块，用于根据当前获得的包含表演者的原图像，确定所述原图像的前景图像，并确定所述前景图像和预先保存的虚拟背景图像的融合图像；
11.获取模块，用于获得所述表演者在所述融合图像中的第一位置信息；
12.所述确定模块，还用于根据所述第一位置信息，确定所述表演者对应的灯光照射区域，根据预先绘制的图像以及所述灯光照射区域，确定灯光特效对应的掩模图像，并将所述融合图像与所述掩模图像进行融合，确定目标图像。
13.第三方面，本技术提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现上述图像处理方法的步骤。
14.第四方面，本技术提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法的步骤。
15.第五方面，本技术提供了一种显示设备，所述显示设备包括：
16.显示器，所述显示器用于进行显示；
17.控制器，所述控制器被用于执行：
18.控制显示器显示表演者和灯光特效，当所述表演者位于第一位置时，所述灯光特效位于第二位置，当所述表演者位于第三位置时，所述灯光特效位于第四位置，其中所述第一位置和所述第二位置为不同位置，所述第三位置和所述第四位置为不同位置。
19.在本技术实施例中，根据当前获得的包含表演者的原图像，确定该原图像的前景图像，并确定该前景图像和预先保存的虚拟背景图像的融合图像；基于目标检测算法，获得该表演者在该融合图像中的第一位置信息；根据该第一位置信息，确定该表演者对应的灯光照射区域，基于图像处理算法，根据预先绘制的图像以及该灯光照射区域，确定灯光特效对应的掩模图像，并将该融合图像与该掩模图像进行融合，确定目标图像。由于本技术实施例中，可以根据表演者在虚拟舞台的第一位置信息，确定该表演者对应的灯光照射区域，因此可以有效的实现将灯光实时的聚集到表演者身上，从而提高用户体验。
附图说明
20.为了更清楚地说明本技术的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本技术实施例提供的一种图像处理方法的过程示意图；
22.图2为本技术一些实施例提供的一种融合图像获取的过程示意图；
23.图3为本技术一些实施例提供的一种融合图像示意图；
24.图4为本技术一些实施例提供的一种确定表演者在融合图像中的位置信息的示意图；
25.图5为本技术一些实施例提供的一种确定灯光照射区域的过程示意图；
26.图6为本技术一些实施例提供的一种灯光特效的掩模图像的示意图；
27.图7为本技术一些实施例提供的一种灯光特效的掩模图像柔和化的示意图；
28.图8为本技术一些实施例提供的一种目标图像示意图；
29.图9为本技术一些实施例提供的一种确定目标图像的过程示意图；
30.图10为本技术一些实施例提供的一种图像处理装置结构示意图；
31.图11为本技术一些实施例提供的一种电子设备结构示意图；
32.图12为本技术一些实施例提供的一种显示设备结构示意图。
具体实施方式
33.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员所获取的所有其他实施例，都属于本技术保护的范围。
34.在本技术实施例中，根据当前获得的包含表演者的原图像，确定该原图像的前景图像，并确定该前景图像和预先保存的虚拟背景图像的融合图像；获得该表演者在该融合图像中的第一位置信息；根据该第一位置信息，确定该表演者对应的灯光照射区域，根据预先绘制的图像以及该灯光照射区域，确定灯光特效对应的掩模图像，并将该融合图像与该
掩模图像进行融合，确定目标图像。由于本技术实施例中，可以根据表演者在虚拟舞台的第一位置信息，确定该表演者对应的灯光照射区域，因此可以有效的实现将灯光实时的聚集到表演者身上，从而提高用户体验。
35.为了实现将灯光实时的聚集到表演者身上，从而增强用户的沉浸感和体验感，本技术实施例提供了一种图像处理方法、装置、设备、设备、介质及显示设备。
36.图1为本技术实施例提供的一种图像处理方法的过程示意图，该过程包括以下步骤：
37.s101：根据当前获得的包含表演者的原图像，确定所述原图像的前景图像，并确定所述前景图像和预先保存的虚拟背景图像的融合图像。
38.本发明实施例提供的图像处理方法应用于电子设备，该电子设备可以是图像采集设备，或者服务器等其他电子设备。
39.在本技术中，为了构建虚拟舞台，首先获得包含表演者的原图像，并将该原图像中的表演者的子图像与预先保存的虚拟背景图像进行融合。具体的，电子设备获得包含表演者的原图像后，获得该原图像的前景图像，并根据该前景图像和预先保存的虚拟背景图像，确定该前景图像和预先保存的虚拟背景图像的融合图像，其中，该原图像为实际场景中采集的包含表演者以及该表演者所处的实际环境的图像。该原图像中的表演者的子图像为该原图像的前景图像，该预先保存的虚拟图像是根据需求进行设置的，其中，前景图像中包含该表演者的特征。
40.具体的，在根据原图像确定前景图像的过程中，可以基于人像分割算法，对该原图像进行人像分割，获得该原图像的掩膜(mask)图像。在本技术中，该人像分割算法可以是yolact人像分割算法。在获得该原图像的mask图像后，对该mask图像做二值化处理。为了便于区分，将该mask图像做二值化处理后获得的图像称为第一二值图像，对该第一二值图像进行非运算得到第二二值图，其中，该第一二值图像中位于人像上的像素点的像素值为1，位于背景上的像素点的像素值为0，该第二二值图像中位于人像上的像素点的像素值为0，位于背景上的像素点的像素值为1。在获得第一二值图像和第二二值图像之后，为了保留该原图像中的表演者的子图像，其中，该子图像为原图像中表演者对应部分的图像。将该原图像与该第一二值图像进行与运算，获得前景图像。为了获得虚拟舞台中的虚拟背景，将该第二二值图像与预先保存的虚拟背景图像进行与运算，对该预先保存的虚拟背景图像进行更新，其中，对该预先保存的虚拟背景图像进行更新，是为了确定该预先保存得虚拟背景图像中叠加表演者的区域。对该预先保存的虚拟背景图像进行更新后，基于图像处理算法，将该前景图像和预先保存的虚拟背景图像进行融合，获得融合图像。
41.s102：获得所述表演者在所述融合图像中的第一位置信息。
42.为了获得表演者的位置信息，在本技术中，基于目标检测算法，确定该表演者在该融合图像中的第一位置信息，其中，该第一位置信息可以为在该融合图像中该表演着的中心点坐标信息，也可以为表演者在该融合图像中所对应的外接矩形框的信息。在本技术中，该目标检测算法可以为yolov5目标检测算法。
43.s103：根据所述第一位置信息，确定所述表演者对应的灯光照射区域，根据预先绘制的图像以及所述灯光照射区域，确定灯光特效对应的掩模图像，并将所述融合图像与所述掩模图像进行融合，确定目标图像。
44.为了使得灯光聚集到表演者身上，在确定该表演者的第一位置信息后，根据该第一位置信息，确定该表演者对应的灯光照射区域，其中，该灯光照射区域包含该第一位置信息，且该灯光照射区域能够保证灯光能够聚集在表演者身上。基于图像处理算法，根据预先绘制的图像以及该灯光照射区域，确定灯光特效对应的掩模图像，为了将灯光特效融入到融合图像中，在本技术中，将该融合图像与该掩模图像进行融合，确定目标图像。
45.由于本技术实施例中，可以根据表演者在虚拟舞台的第一位置信息，确定该表演者对应的灯光照射区域，因此可以有效的实现将灯光实时的聚集到表演者身上，从而提高用户体验。
46.为了确定融合图像，在上述实施例的基础上，在本技术实施例中，所述确定所述前景图像和预先保存的虚拟背景图像的融合图像包括：
47.将所述前景图像中的像素点的像素值与所述预先保存的虚拟背景图像中对应的像素点的像素值的和值，确定为所述融合图像中对应像素点的像素值。
48.在获得前景图像和预先保存的虚拟背景图像之后，为了获得融合图像，将该前景图像和预先保存的虚拟背景图像对应的像素点的像素值叠加，具体的，将前景图像中的像素点的像素值与该预先保存的虚拟背景图像中对应的像素点的像素值的和值，确定为该融合图像中对应像素点的像素值，该融合图像中既保留了原图像中包含表演者的特征，也保留了预先保存的虚拟背景图像中预先保存的虚拟背景的特征。
49.图2为本技术一些实施例提供的一种融合图像获取的过程示意图，图3为本技术一些实施例提供的一种融合图像示意图，现针对图2和图3进行说明：
50.图像采集设备获得包含表演者的原图像，并对该原图像进行图像分割，获得人像掩膜图像，也就是原图像的mask图像，将该mask图像进行二值化处理，获得第一二值图像，将该第一二值图像与原图像进行与运算，获得前景合成图，也就是前景图像，将该第一二值图像进行非运算获得第二二值图像，为了保证融合图像中的前景图像的特征不受预先保存的虚拟背景图像的特征的影响，从而提高图像融合的效果，将该第二二值图像与预先保存的虚拟背景图像进行与运算，获得背景合成图，也就是对预先保存的虚拟背景图像进行更新，将该前景图像与更新后的预先保存的虚拟背景图像进行融合，获得人景融合合成图，也就是获得融合图像。
51.其中，该融合图像中包含原图像中表演者的特征以及预先保存的虚拟背景图像的特征。
52.为了确定表演者的第一位置信息，在上述各实施例的基础上，在本技术实施例中，所述方法还包括：
53.根据所述表演者的第一位置信息，若确定存在与所述表演者的距离在设定范围的其他表演者，则根据所述其他表演者的第二位置信息，对所述表演者的第一位置信息进行更新。
54.在表演的过程中，可能会出现有至少两个表演者比较邻近的情况，如果两个表演者的距离在设定的范围内，则可以认为两个表演者的位置信息相同。针对任一表演者，为了确定是否存在与该表演者的位置信息相同的其他表演者，根据确定的每个表演者的位置信息，确定表演者之间的距离，从而确定是否存在与该表演者的距离在设定范围的其他表演者，若存在，则可以认为该其他表演者的位置信息与该表演者的位置信息相同，为了便于区
分，将其他表演者的位置信息称为第二位置信息。因此，为了后续准确的确定灯光照射区域，根据该其他表演者的第二位置信息，对该表演者的第一位置信息进行更新。
55.图4为本技术一些实施例提供的一种确定表演者在融合图像中的位置信息的示意图，现针对图4进行说明：
56.在确定表演者在融入图像中的第一位置信息后，若该第一位置信息为表演者在该融合图像中所在区域对应的外接矩形框的位置信息时，该矩形框的位置信息可以为该矩形框的左上角顶点的坐标信息以及该矩形框的右下角顶点的坐标信息，将该左上角顶点的坐标信息记作(x
min
,y
min
)，将右下角顶点的坐标信息记作(x
max
,y
max
)。
57.为了确定灯光特效对应的掩模图像，进而实现将灯光特效添加到融合图像中，在上述各实施例的基础上，在本技术实施例中，所述方法还包括：
58.识别所述表演者的标识信息；
59.根据预设的标识信息与灯光颜色的对应关系，确定所述表演者对应的目标灯光颜色；
60.根据所述目标灯光颜色以及所述灯光照射区域，确定灯光特效对应的掩模图像。
61.在本技术中，由于舞台上可能会存在一个表演者，也可能会存在至少两个表演者，若存在至少两个表演者，则可以将该至少两个表演者对应的灯光颜色设置为相同的颜色，也可以将该至少两个表演者中每个表演者的对应的灯光颜色设置为不同的颜色。
62.若存在至少两个表演者，且存在对每个表演者对应的灯光颜色设置为不同的颜色的需求时，为了将不同的表演者通过不同的灯光颜色进行区分，则可以针对每个表演者，识别该表演者的标识信息。在本技术中，可以基于目标检测算法和人脸识别技术，识别该表演者的标识信息，其中，该表演者的标识信息可以为表演者的id信息，其中，该id信息可以为该表演者的身份信息，也可以为该表演者的编号，具体的，预先保存了人脸信息和该人脸对应的id信息的对应关系，在基于目标检测算法和人脸识别技术识别到该表演者的人脸信息后，根据该预先保存了人脸信息和该人脸对应的id信息的对应关系，确定该表演者的id信息。
63.其中，基于目标检测算法，识别该表演者的标识信息为现有技术，在此不做赘述。
64.在识别该表演者的标识信息后，由于预设了标识信息与灯光颜色的对应关系，因此，可以根据该表演者的标识信息以及该对应关系，确定该标识信息的表演者对应的目标灯光颜色。具体的，在本技术中，为了确定灯光特效对应的掩模图像，预先配置了一张全黑图像，该全黑图像即为预先绘制的图像，该图像中所有像素点的像素值均为0。根据该预先绘制的图像、灯光照射区域以及目标灯光颜色，确定灯光特效对应的掩模图像，其中，该预先绘制的图像的宽度、高度以及通道数与融合图像的宽度、高度以及通道数相同。
65.例如存在两个表演者，1号表演者的标识信息为标识信息a，二号表演者的标识信息为标识信息b，根据预设的标识信息与灯光颜色的对应关系，确定该标识信息a对应的目标灯光颜色为红色，该标识信息b对应的目标灯光颜色为绿色，因此，根据预先绘制的图像、该1号表演者对应的灯光照射区域以及红色灯光颜色，确定1号表演者的所需的灯光特效对应的掩模图像。根据预先绘制的图像、该2号表演者对应的灯光照射区域以及绿色灯光颜色，确定2号表演者的所需的灯光特效对应的掩模图像。
66.此外，由于在表演的过程中，针对该至少两个表演者，该表演者的第一位置信息是
实时变化的，以1号表演者为例，针对1号表演者的每个第一位置信息，根据该第一位置信息确定该1号表演者对应的灯光照射区域，并根据预先绘制的图像、该1号表演者对应的灯光照射区域以及红色灯光颜色确定该1号表演者的所需的灯光特效对应的掩模图像，其中，该掩模图像根据第一位置信息的不同而不同。
67.若存在至少两个表演者，且在表演的过程中，可能会出现有至少两个表演者比较邻近的情况，也就是可能会存在该至少两个表演者的第一位置信息相同的情况，针对任一表演者，若存在与该表演者的第一位置信息相同的其他表演者，且该表演者对应的目标灯光颜色与该其他表演者的目标灯光颜色相同，则该表演者的对应的目标灯光颜色不会对其他表演者造成干扰；若存在与该表演者的第一位置信息相同的其他表演者，且该表演者对应的目标灯光颜色与该其他表演者的目标灯光颜色不相同，则该表演者的对应的目标灯光颜色会对其他表演者造成干扰。
68.为了避免各个表演者的目标灯光颜色的相互干扰，将位于该第一位置信息处的所有表演者的灯光颜色进行统一，在本技术中，由于在舞台表演者中可能存在主角和配角，因此可以预先设置表演者的优先级，可以根据表演者在该表演过程中的重要程度设置优先级，其中，表演者的重要程度越高，该表演者的优先级越高。为了实现灯光颜色的统一，可以将第一位置信息处的多个表演者中优先级最高的表演者对应的目标灯光颜色确定为该多个表演者的目标灯光颜色，也就是在确定优先级最高的表演者之后，将除该优先级最高的表演者外的其他表演者的灯光颜色更新为该优先级最高的表演者的目标灯光颜色。此外，也可以预先设置灯光颜色的优先级，为了实现灯光颜色的统一，将该多个表演者的目标灯光颜色中灯光颜色等级最高的灯光颜色确定为该第一位置信息处的多个表演者的共同的目标灯光颜色。
69.若存在至少两个表演者，且不存在对每个表演者对应的灯光颜色设置为不同的颜色的需求时，由于不需要将不同的表演者通过不同的灯光颜色进行区分，因此，可以将该至少两个表演者对应的灯光颜色设置为相同的颜色，该灯光颜色根据需求进行设置，针对每个表演者，根据该表演者的第一位置信息，确定该表演者对应的灯光照射区域，根据预先绘制的图像以及该灯光照射区域、以及该设置的灯光颜色，确定灯光特效对应的掩模图像。
70.为了确定掩膜图像，在上述各实施例的基础上，在本技术实施例中，所述根据预先绘制的图像以及所述灯光照射区域，确定灯光特效对应的掩模图像包括：
71.根据所述第一位置信息中携带的所述表演者在所述融合图像中所占区域对应的矩形框的短边及预设的比例值，确定所述灯光照射区域在所述预先绘制的图像中对应的椭圆所在的区域；
72.根据在预先绘制的图像中设置的灯光所在位置的信息以及所述椭圆形区域，确定所述灯光照射区域；
73.根据所述灯光照射区域以及预先绘制的图像，确定灯光特效对应的掩模图像。
74.在确定灯光特效对应的掩模图像的过程中，根据预先绘制的图像、灯光照射区域以及灯光颜色，确定灯光特效对应的掩模图像，具体的，在该预先绘制的图像中绘制灯光所在的区域，并根据该灯光颜色，将该灯光所在的区域的颜色设置成该灯光颜色，其中，该灯光所在的区域可以由一个椭圆区域以及一个多边形区域构成。
75.在本技术中，为了准确的确定该灯光照射区域在该预先绘制的图像中对应的椭圆
区域，并根据该灯光照射区域以及预先绘制的图像，确定灯光特效对应的掩模图像，在上述各实施例的基础上，在本技术实施例中，所述根据所述第一位置信息中携带的所述表演者在所述融合图像中所占区域对应的矩形框的短边及预设的比例值，确定所述灯光照射区域在所述预先绘制的图像中对应的椭圆所在的区域包括：
76.将所述矩形框短边的长度确定为所述椭圆的短轴长度；
77.将所述短轴长度与预设的比例值的第一乘积确定为所述椭圆的长轴长度；
78.将所述矩形框中的设定位置确定为所述椭圆的中心；
79.根据椭圆的短轴长度、所述椭圆的长轴半径以及所述椭圆的中心，确定所述预先绘制的图像中所述灯光照射区域对应的椭圆区域。
80.在本技术中，可以基于视觉和机器学习软件库opencv的椭圆函数，在该预先绘制的图像中确定灯光照射区域对应的椭圆区域，即在该预先绘制的图像中完成椭圆的绘制。具体的，在椭圆绘制的过程中，可以将表演者在该融合图像中外接矩形框的短边的长度确定为该椭圆的短轴长度，将该短轴长度与预设的比例值的第一乘积确定为该椭圆的长轴长度，其中，该预设的比例值为大于1的数值，例如该预设的比例值可以为1.5，将该矩形框的设定位置确定为该椭圆的中心，其中，该设定位置可以为矩形框的任一边的边缘的中心点的位置，或者也可以是该矩形框的中心，其中，该任一边可以为矩形框的任一长边或者任一短边，在本技术中，可以将矩形框的最下边的边缘的中心点确定为椭圆的中心，并根据椭圆的短轴长度、该椭圆的长轴长度以及该椭圆的中心，确定预先绘制的图像中该灯光照射区域对应的椭圆所在的区域，其中，该椭圆所在的区域为灯光照射在地面的投影。
81.此外，在实际应用中，灯一般安装在舞台的上方，进而保证灯光由上往下进行照射，因此，为了增加虚拟舞台的真实性，在确定该灯光照射区域对应的椭圆所在的区域之后，根据该椭圆区域确定一个多边形区域，在本技术中，可以基于opencv的多边形函数cvpolyline绘制一个多边形，具体的，该多边形可以由四条边组成，为了确定该多边形，可以预先确定该多边形的四个顶点在预先绘制的图像中的位置信息，其中，该多边形的两个顶点可以为该椭圆的长轴的两个顶点，可以将该预先绘制的图像的最上边的边缘上的任意两个点确定为该多边形的其余两个顶点，在本技术中，可以将距离该预先绘制的图像的最上边的边缘的中点的设定长度的像素点作为该多边形的其余两个顶点，其中该设定长度可以根据需求进行设置，例如可以是20个像素点的长度。
82.图5为本技术一些实施例提供的一种确定灯光照射区域的过程示意图，图6为本技术一些实施例提供的一种灯光特效的掩模图像的示意图，图7为本技术一些实施例提供的一种灯光特效的掩模图像柔和化的示意图，现针对图5、图6以及图7进行说明：
83.该灯光照射区域是由一个椭圆区域和一个多边形区域构成的，在确定椭圆区域的过程中，将矩形短边的长度确定为该椭圆的短轴长度，由于将该表演者对应的矩形框的左上角顶点的坐标信息记作(x
min
,y
min
)，将右下角顶点的坐标信息记作(x
max
,y
max
)。因此，该矩形短边的长度为x
max-x
min
，因此，该椭圆的短轴长度为x
max-x
min
，将1.5*(x
max-x
min
)确定为该椭圆的长轴长度，将该矩形框的下边的中心点确定为椭圆的中心，该椭圆的中心点的坐标为因此，可以基于椭圆的短轴长度、椭圆的长轴长度以及椭圆的中心点的坐标确定该灯光照射区域的椭圆区域。
84.在确定多边形区域的过程中，将该椭圆的长轴的两个顶点确定为多边形的两个顶点，也就是该多边形的两个顶点的坐标为以及将距离该预先绘制的图像的最上边的边缘的中点的20个像素点长度的像素点作为该多边形的其余两个顶点，由于该预先绘制的图像的宽度为w，则该其余两个顶点的坐标为以及因此，根据该四个顶点确定多边形区域。
85.在确定该椭圆区域以及多边形区域后，在预先绘制的图像中，将该椭圆区域和多边形区域绘制在该预先绘制的图像中，进而得到该灯光特效的掩膜图像。
86.为了使得灯光特效的边缘更加柔和，进而提升目标图像的图像质量，在确定灯光特效对应的掩模图像后，对该掩模图像进行滤波处理，在本技术，可以确定该掩膜图像的矩阵，并将该矩阵进行卷积，获得边缘柔和的灯光特效掩膜图像，也就是获得灯光特效的掩膜图像。
87.此外，还可以根据需求设置灯光颜色，由于舞台上可能会存在一个表演者，也可能会存在至少两个表演者，若存在至少两个表演者，则可以将该至少两个表演者对应的灯光颜色设置为相同的颜色，也可以对该至少两个表演者中每个表演者的对应的灯光颜色设置为不同的颜色。
88.若舞台上存在一个表演者，且对该表演者对应的灯光照射区域的颜色设置为白色，则将确定的椭圆以及多边形的边缘的颜色对应的参数设置为(255，255，255)，且将该椭圆和多边形的填充为白色，其中，可以根据需求对该参数进行设置。
89.若舞台上存在两个演者，且对该一号表演者对应的灯光照射区域的颜色设置为白色，将二号表演者对应的灯光照射区域的颜色设置为红色，则将确定一号表演者对应的灯光照射区域的椭圆以及多边形的边缘的颜色对应的参数设置为(255，255，255)，将二号表演者对应的灯光照射区域中的椭圆的边缘的颜色对应的参数设置为(255，0，0)，并将一号表演者对应的该椭圆和多边形的填充为白色，将二号表演者对应的该椭圆和多边形的填充为红色，其中，可以根据需求对该参数进行设置。
90.为了确定目标图像，在上述各实施例的基础上，在本技术实施例中，所述将所述融合图像与所述掩模图像进行融合，确定目标图像包括：
91.根据所述融合图像与所述掩模图像，确定所述融合图像的第一浮点型矩阵与所述掩模图像的第二浮点型矩阵，其中，所述第一浮点型矩阵与所述第二浮点型矩阵中分别携带所述融合图像与所述掩模图像中各个像素点对应的像素值信息；
92.根据所述第一浮点型矩阵、所述第二浮点型矩阵、预先设置的所述融合图像对应的第一权重以及预先设置的所述掩模图像对应的第二权重，确定目标图像。
93.为了使得目标图像的质量更高，在本技术中，将该融合图像和掩膜图像进行融合时，将该融合图像以及掩膜图像设置不同的透明度，也就是说，预先设置该融合图像对应的第一权重和掩膜图像对应的第二权重，其中，该第一权重大于第二权重，且该第一权重和第二权重的和值为1，若第二权重过大，可能会导致灯光效果影响目标图像的质量，不能凸显表演者，导致用户观看感差，因此，在本技术中，将该第二权重设置为小于0.1的数值，具体的，可以将该第一权重设置为0.92，将该第二权重设置为0.08。
94.为了确定目标图像，根据该融合图像与该掩模图像，确定该融合图像的第一矩阵与该掩模图像的第二矩阵，由于该第一权重与第二权重是double类型的数据，因此将该第一矩阵和第二矩阵转换为融合图像的第一浮点型矩阵与该掩模图像的第二浮点型矩阵，其中，该第一浮点型矩阵与该第二浮点型矩阵中分别携带该融合图像与该掩模图像中各个像素点对应的像素值信息。为了确定目标图像，将根据该第一浮点型矩阵、第二浮点型矩阵、该第一权重以及该第二权重，确定目标图像，具体的，根据merge
i,j
＝img
i,j
*α mask
i,j
*β，其中，i∈{0,1....w},j∈{0,1....h}，确定目标图像的第三浮点型矩阵，其中，该merge
i,j
为目标图像对应的第三浮点型矩阵的第i行第j列的像素点的像素值，img
i,j
为第一浮点型矩阵的第i行第j列的像素点的像素值，mask
i,j
为第二浮点型矩阵的第i行第j列的像素点的像素值，α为第一权重，β为第二权重，w为融合图像的或者掩模图像的宽度，h为融合图像的或者掩模图像的高度。
95.因此，在确定该目标图像的第三浮点型矩阵之后，为了将目标图像显示出来，将该第三浮点型矩阵中的数据转换为unit8类型，最终确定目标图像。
96.图8为本技术一些实施例提供的一种目标图像示意图，图9为本技术一些实施例提供的一种确定目标图像的过程示意图，现针对图8或者图9进行说明：
97.首先，在获得原图像后，基于人像分割算法，获得该原图像的掩模图像，基于该掩模图像、原图像以及与预先保存的虚拟背景图像，将表演者与虚拟背景融合，获得融合图像，也就是，获得原图像的前景图像，将该前景图像和预先保存的虚拟背景图像进行融合，获得融合图像，基于目标检测算法，获得人体坐标，也就是获得表演者在该融合图像中的第一位置信息，若存在两个以上的表演者，且存在将每个表演者设置不同的灯光颜色的需求，则基于人体跟踪算法，跟踪人体的运动，识别表演者的标识信息，并根据预设的标识信息与灯光颜色的对应关系，确定该表演者对应的灯光颜色，基于图像处理算法，根据灯光颜色以及该灯光照射区域，确定灯光特效对应的掩模图像，基于图像处理算法，生成具有透明度的图层，也就是对该掩膜图像以及该融合图像预先设置第二权重和第一权重，并基于图像处理算法，进行多图层融合，也就是根据掩膜图像、融合图像、该第二权重和第一权重确定目标图像。
98.其中，该目标图像中包含原图像中的包含表演者的特征以及预先保存的虚拟的背景图像中的特征以及灯光特效的特征。
99.图10为本技术一些实施例提供的一种图像处理装置结构示意图，该装置包括：
100.确定模块1001，用于根据当前获得的包含表演者的原图像，确定所述原图像的前景图像，并确定所述前景图像和预先保存的虚拟背景图像的融合图像；
101.获取模块1002，用于获得所述表演者在所述融合图像中的第一位置信息；
102.所述确定模块1001，还用于根据所述第一位置信息，确定所述表演者对应的灯光照射区域，根据预先绘制的图像以及所述灯光照射区域，确定灯光特效对应的掩模图像，并将所述融合图像与所述掩模图像进行融合，确定目标图像。
103.在一种可能的实施方式中，所述装置还包括：
104.更新模块1003，用于根据所述表演者的第一位置信息，若确定存在与所述表演者的距离在设定范围的其他表演者，则根据所述其他表演者的第二位置信息，对所述表演者的第一位置信息进行更新。
105.在一种可能的实施方式中，所述确定模块1001，还用于识别所述表演者的标识信息；根据预设的标识信息与灯光颜色的对应关系，确定所述表演者对应的目标灯光颜色；根据所述目标灯光颜色以及所述灯光照射区域，确定灯光特效对应的掩模图像。
106.在一种可能的实施方式中，所述确定模块1001，具体用于将所述前景图像中的像素点的像素值与所述预先保存的虚拟背景图像中对应的像素点的像素值的和值，确定为所述融合图像中对应像素点的像素值。
107.在一种可能的实施方式中，所述确定模块1001，具体用于根据所述第一位置信息中携带的所述表演者在所述融合图像中所占区域对应的矩形框的短边及预设的比例值，确定所述灯光照射区域在所述预先绘制的图像中对应的椭圆所在的区域；根据在预先绘制的图像中设置的灯光所在位置的信息以及所述椭圆形区域，确定所述灯光照射区域；根据所述灯光照射区域以及预先绘制的图像，确定灯光特效对应的掩模图像。
108.在一种可能的实施方式中，所述确定模块1001，具体用于将所述矩形框短边的长度确定为所述椭圆的短轴长度；将所述短轴长度与预设的比例值的第一乘积确定为所述椭圆的长轴长度；将所述矩形框中的设定位置确定为所述椭圆的中心；根据椭圆的短轴长度、所述椭圆的长轴半径以及所述椭圆的中心，确定所述预先绘制的图像中所述灯光照射区域对应的椭圆所在的区域。
109.在一种可能的实施方式中，所述确定模块1001，具体用于根据所述融合图像与所述掩模图像，确定所述融合图像的第一浮点型矩阵与所述掩模图像的第二浮点型矩阵，其中，所述第一浮点型矩阵与所述第二浮点型矩阵中分别携带所述融合图像与所述掩模图像中各个像素点对应的像素值信息；根据所述第一浮点型矩阵、所述第二浮点型矩阵、预先设置的所述融合图像对应的第一权重以及预先设置的所述掩模图像对应的第二权重，确定目标图像。
110.图11为本技术一些实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本技术实施例还提供了一种电子设备，如图11所示，包括：处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信；
111.所述存储器1103中存储有计算机程序，当所述程序被所述处理器1101执行时，使得所述处理器1101执行如下步骤：
112.根据当前获得的包含表演者的原图像，确定所述原图像的前景图像，并确定所述前景图像和预先保存的虚拟背景图像的融合图像；
113.获得所述表演者在所述融合图像中的第一位置信息；
114.根据所述第一位置信息，确定所述表演者对应的灯光照射区域，根据预先绘制的图像以及所述灯光照射区域，确定灯光特效对应的掩模图像，并将所述融合图像与所述掩模图像进行融合，确定目标图像。
115.进一步地，所述处理器1101，还用于根据所述表演者的第一位置信息，若确定存在与所述表演者的距离在设定范围的其他表演者，则根据所述其他表演者的第二位置信息，对所述表演者的第一位置信息进行更新。
116.进一步地，所述处理器1101，还用于识别所述表演者的标识信息；根据预设的标识信息与灯光颜色的对应关系，确定所述表演者对应的目标灯光颜色；根据所述目标灯光颜
色以及所述灯光照射区域，确定灯光特效对应的掩模图像。
117.进一步地，所述处理器1101，还用于将所述前景图像中的像素点的像素值与所述预先保存的虚拟背景图像中对应的像素点的像素值的和值，确定为所述融合图像中对应像素点的像素值。
118.进一步地，所述处理器1101，还用于根据所述第一位置信息中携带的所述表演者在所述融合图像中所占区域对应的矩形框的短边及预设的比例值，确定所述灯光照射区域在所述预先绘制的图像中对应的椭圆所在的区域；根据在预先绘制的图像中设置的灯光所在位置的信息以及所述椭圆形区域，确定所述灯光照射区域；根据所述灯光照射区域以及预先绘制的图像，确定灯光特效对应的掩模图像。
119.进一步地，所述处理器1101，还用于将所述矩形框短边的长度确定为所述椭圆的短轴长度；将所述短轴长度与预设的比例值的第一乘积确定为所述椭圆的长轴长度；将所述矩形框中的设定位置确定为所述椭圆的中心；根据椭圆的短轴长度、所述椭圆的长轴半径以及所述椭圆的中心，确定所述预先绘制的图像中所述灯光照射区域对应的椭圆所在的区域。
120.进一步地，所述处理器1101，还用于根据所述融合图像与所述掩模图像，确定所述融合图像的第一浮点型矩阵与所述掩模图像的第二浮点型矩阵，其中，所述第一浮点型矩阵与所述第二浮点型矩阵中分别携带所述融合图像与所述掩模图像中各个像素点对应的像素值信息；根据所述第一浮点型矩阵、所述第二浮点型矩阵、预先设置的所述融合图像对应的第一权重以及预先设置的所述掩模图像对应的第二权重，确定目标图像。
121.通信接口1102用于上述电子设备与其他设备之间的通信。
122.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
123.上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字指令处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
124.图12为本技术一些实施例提供的一种显示设备1200结构示意图，该显示设备1200包括：
125.显示器1201，所述显示器用于进行显示；
126.控制器1202，所述控制器被用于执行：
127.控制显示器1201显示表演者和灯光特效，当所述表演者位于第一位置时，所述灯光特效位于第二位置，当所述表演者位于第三位置时，所述灯光特效位于第四位置，其中所述第一位置和所述第二位置为不同位置，所述第三位置和所述第四位置为不同位置。
128.在一种可能的实施方式中，所述控制器1202用于执行：
129.表演者和所述灯光特效通过合成方式形成于同一显示画面的。
130.由于上述显示设备解决问题的原理与的图像处理方法相似，因此上述显示设备的对应功能参见上述实施例，重复之处不再赘述。
131.在上述各实施例的基础上，本技术实施例提供了一种计算机可读存储介质，所述
计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
132.根据当前获得的包含表演者的原图像，确定所述原图像的前景图像，并确定所述前景图像和预先保存的虚拟背景图像的融合图像；
133.获得所述表演者在所述融合图像中的第一位置信息；
134.根据所述第一位置信息，确定所述表演者对应的灯光照射区域，根据预先绘制的图像以及所述灯光照射区域，确定灯光特效对应的掩模图像，并将所述融合图像与所述掩模图像进行融合，确定目标图像。
135.在一种可能的实施方式中，所述方法还包括：
136.根据所述表演者的第一位置信息，若确定存在与所述表演者的距离在设定范围的其他表演者，则根据所述其他表演者的第二位置信息，对所述表演者的第一位置信息进行更新。
137.在一种可能的实施方式中，所述方法还包括：
138.识别所述表演者的标识信息；
139.根据预设的标识信息与灯光颜色的对应关系，确定所述表演者对应的目标灯光颜色；
140.根据所述目标灯光颜色以及所述灯光照射区域，确定灯光特效对应的掩模图像。
141.在一种可能的实施方式中，所述确定所述前景图像和预先保存的虚拟背景图像的融合图像包括：
142.将所述前景图像中的像素点的像素值与所述预先保存的虚拟背景图像中对应的像素点的像素值的和值，确定为所述融合图像中对应像素点的像素值。
143.在一种可能的实施方式中，所述根据预先绘制的图像以及所述灯光照射区域，确定灯光特效对应的掩模图像包括：
144.根据所述第一位置信息中携带的所述表演者在所述融合图像中所占区域对应的矩形框的短边及预设的比例值，确定所述灯光照射区域在所述预先绘制的图像中对应的椭圆所在的区域；
145.根据在预先绘制的图像中设置的灯光所在位置的信息以及所述椭圆形区域，确定所述灯光照射区域；
146.根据所述灯光照射区域以及预先绘制的图像，确定灯光特效对应的掩模图像。
147.在一种可能的实施方式中，所述根据所述第一位置信息中携带的所述表演者在所述融合图像中所占区域对应的矩形框的短边及预设的比例值，确定所述灯光照射区域在所述预先绘制的图像中对应的椭圆所在的区域包括：
148.将所述矩形框短边的长度确定为所述椭圆的短轴长度；
149.将所述短轴长度与预设的比例值的第一乘积确定为所述椭圆的长轴长度；
150.将所述矩形框中的设定位置确定为所述椭圆的中心；
151.根据椭圆的短轴长度、所述椭圆的长轴半径以及所述椭圆的中心，确定所述预先绘制的图像中所述灯光照射区域对应的椭圆所在的区域。
152.在一种可能的实施方式中，所述将所述融合图像与所述掩模图像进行融合，确定目标图像包括：
153.根据所述融合图像与所述掩模图像，确定所述融合图像的第一浮点型矩阵与所述掩模图像的第二浮点型矩阵，其中，所述第一浮点型矩阵与所述第二浮点型矩阵中分别携带所述融合图像与所述掩模图像中各个像素点对应的像素值信息；
154.根据所述第一浮点型矩阵、所述第二浮点型矩阵、预先设置的所述融合图像对应的第一权重以及预先设置的所述掩模图像对应的第二权重，确定目标图像。
155.由于本技术实施例中，可以根据表演者在虚拟舞台的第一位置信息，确定该表演者对应的灯光照射区域，因此可以有效的实现将灯光实时的聚集到表演者身上，从而提高用户体验。
156.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
157.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
158.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
159.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
160.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。