画面显示方法和装置、存储介质及电子设备与流程

1.本发明涉及计算机领域，具体而言，涉及一种画面显示方法和装置、存储介质及电子设备。


背景技术：

2.在网络直播场景中，当用户对直播画面中的局部区域进行特写放大操作时，相关技术通常采用截取直播画面的原图片局部区域进行直接拉伸变大，但放大后的局部区域图像会变模糊，清晰度欠佳，影响用户体验。
3.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种画面显示方法和装置、存储介质及电子设备，以至少解决直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
5.根据本发明实施例的一个方面，提供了一种画面显示方法，包括：通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示上述直播视频中的目标视频帧画面，其中，上述合成图像帧序列中的每个合成图像帧是上述推流客户端将上述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；响应于对上述目标视频帧画面的触控操作，确定上述触控操作在上述目标视频帧画面中的目标操作区域；在上述合成图像帧序列中，查找与上述目标操作区域对应的目标特写区域；在上述合成图像帧序列的目标合成图像帧中查找到上述目标特写区域的情况下，根据上述目标合成图像帧在上述拉流客户端展示上述目标特写区域内的特写画面。
6.根据本发明实施例的另一方面，还提供了一种画面显示方法，包括：获取直播视频对应的视频帧画面；识别上述视频帧画面中的至少一个特写区域；将上述视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，上述特写区域与上述视频帧画面中的操作区域相对应，上述操作区域用于使拉流客户端根据触控操作显示上述特写区域；将上述直播视频和上述合成图像帧序列通过服务器发送至拉流客户端。
7.根据本发明实施例的另一方面，还提供了一种画面显示装置，包括：接收单元，用于通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示上述直播视频中的目标视频帧画面，其中，上述合成图像帧序列中的每个合成图像帧是上述推流客户端将上述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；确定单元，用于响应于对上述目标视频帧画面的触控操作，确定上述触控操作在上述目标视频帧画面中的目标操作区域；查找单元，用于在上述合成图像帧序列中，查找与上述目标操作区域对应的目标特写区域；展示单元，用于在上述合成图像帧序列的目标合成图像帧中查找到上述目标特写区域的情况下，根据上述目标合成图像帧在上述拉流客户端展示上述目标特写区域内的特写画面。
8.根据本发明实施例的另一方面，还提供了一种画面显示装置，包括：获取单元，用
于获取直播视频对应的视频帧画面；识别单元，用于识别上述视频帧画面中的至少一个特写区域；合成单元，用于将上述视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，上述特写区域与上述视频帧画面中的操作区域相对应，上述操作区域用于使拉流客户端根据触控操作显示上述特写区域；发送单元，用于将上述直播视频和上述合成图像帧序列通过服务器发送至拉流客户端。
9.根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述的画面显示方法。
10.根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的画面显示方法。
11.在本技术实施例中，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示上述直播视频中的目标视频帧画面，其中，上述合成图像帧序列中的每个合成图像帧是上述推流客户端将上述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；响应于对上述目标视频帧画面的触控操作，确定上述触控操作在上述目标视频帧画面中的目标操作区域；在上述合成图像帧序列中，查找与上述目标操作区域对应的目标特写区域；在上述合成图像帧序列的目标合成图像帧中查找到上述目标特写区域的情况下，根据上述目标合成图像帧在上述拉流客户端展示上述目标特写区域内的特写画面，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
附图说明
12.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
13.图1是根据本技术实施例的一种可选的画面显示方法的应用环境的示意图；
14.图2是根据本技术实施例的另一种可选的画面显示方法的应用环境的示意图；
15.图3是根据本技术实施例的一种可选的画面显示方法的流程图；
16.图4是根据本技术实施例的一种可选的画面显示方法的客户端界面显示示意图；
17.图5是根据本技术实施例的另一种可选的画面显示方法的流程图；
18.图6是根据本技术实施例的又一种可选的画面显示方法的客户端界面显示示意图；
19.图7是根据本技术实施例的另一种可选的画面显示方法的显示界面示意图；
20.图8是根据本技术实施例的另一种可选的画面显示方法的客户端界面显示示意图；
21.图9是根据本技术实施例的另一种可选的画面显示方法的客户端界面显示示意图；
22.图10是根据本技术实施例的一种可选的画面显示装置的结构示意图；
23.图11是根据本技术实施例的一种可选的画面显示装置的结构示意图；
24.图12是根据本技术实施例的一种可选的电子设备的结构示意图。
具体实施方式
25.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
26.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
27.根据本技术实施例的一个方面，提供了一种画面显示方法，可选地，作为一种可选的实施方式，上述一种画面显示可以但不限于应用于如图1所示的环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106，终端设备102可以包括但不限于车载电子设备、手持终端、可穿戴设备、便携式设备等。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有画面显示应用客户端。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于显示直播视频、目标特写区域和目标特写区域中的特写画面。处理器1024用于响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；存储器1026用于存储上述目标特写区域和直播视频匹配的合成图像帧序列。
28.此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储直播视频、目标特写区域和目标特写区域中的特写画面。处理引擎1064用于在与直播视频匹配的合成图像帧序列中，查找与目标操作区域对应的目标特写区域，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；在合成图像帧序列中查找到目标特写区域的情况下，在播放客户端展示目标特写区域内的特写画面，其中，目标特写区域内的特写画面中包括被特效处理后的目标对象。
29.具体过程如以下步骤：假设如图1所示终端设备102中运行有画面显示应用客户端，用户108操作人机交互屏幕1022对歌曲进行管理和操作，如步骤s102，在播放客户端展示直播视频中的目标视频帧画面。然后执行步骤s104，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；步骤s106，将上述目标操作区域通过网络104发送给服务器106。服务器106接收到该请求后，执行步骤s108至s110，在与直播视频匹配的合成图像帧序列中，查找与目标操作区域对应的目标特写区域，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至
少一个特写区域进行合成后得到的图像帧；在合成图像帧序列中查找到目标特写区域的情况下，在播放客户端展示目标特写区域内的特写画面，其中，目标特写区域内的特写画面中包括被特效处理后的目标对象；并如步骤s112，通过网络104通知终端设备102，返回上述特写画面；步骤s112，在终端设备102中展示目标特写区域内的特写画面。
30.作为另一种可选的实施方式，本技术上述画面显示方法可以应用于图2所示的应用环境中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，以获取上述特写画面。
31.可选地，在本实施例中，上述终端设备102和用户设备204可以包括但不限于以下至少之一：手机(如android手机、ios手机等)、笔记本电脑、平板电脑、掌上电脑、mid(mobile internet devices，移动互联网设备)、pad、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络104可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、wifi及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
32.可选地，作为一种可选的实施方式，如图3所示，上述画面显示方法包括：
33.s302，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；
34.s304，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；
35.s306，在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；
36.s308，在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面。
37.在步骤s302中，实际应用时，可以包括但不限于通过手机、笔记本电脑、平板电脑、掌上电脑、mid(mobile internet devices，移动互联网设备)、pad、台式电脑等设备播放当前的直播视频，上述直播视频中高端目标视频帧画面可以通过手机、笔记本电脑等电子设备实时录制，并通过流媒体进行传输，在此不作任何限定。如图4所示，在电子设备的播放客户端400中，显示有直播视频，直播视频中的人物来自于通过电子设备实时录制并通过流媒体显示在直播客户端400中。
38.在步骤s304中，实际应用时，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；如图4所示，通过点击特写放大按键404后，确定触控操作在目标视频帧画面中的目标操作区域406，即直播图像中人物的头像区域，和人物手持的物品区域；
39.在步骤s306中，实际应用时，如图4所示，在与上述直播视频匹配的合成图像帧序列402中，查找与上述目标操作区域406对应的目标特写区域，其中，上述合成图像帧序列400中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一
个特写区域进行合成后得到的图像帧，图4中目标操作区域406对应的目标特写区域有两个，人物头像和照相机区域。
40.在一实施例中，当图4中目标操作区域406对应的目标特写区域有一个，人物头像区域或照相机区域其中之一时，目标操作区域406对应的目标特写区域也为一个，合成图像帧序列400中的每个合成图像帧将直播视频中对应的视频帧画面内识别出的一个人物头像区域或照相机特写区域进行合成后得到的图像帧。
41.在步骤s308中，实际应用时，如图4所示在上述合成图像帧序列400的目标合成图像帧中查找到上述目标特写区域(人物头像区域和/或照相机区域)的情况下，在播放客户端400展示上述目标特写区域408内的特写画面，目标特写区域内的特写画面中包括被特效处理后的目标对象(人物头像或照相机)。
42.在本技术实施例中，如图4所示，在合成图像帧序列中，识别出携带上述目标对象(如目标人物和照相机)的候选视频帧画面；从各个上述候选视频帧画面中提取出上述目标对象所在显示区域(目标特写区域406)；对上述显示区域的上述目标对象进行特写处理，得到上述特写区域，其中，上述特写区域内特写画面的编码码率大于上述显示区域内显示画面的编码码率，例如，特写区域内特写区域的编码码率为3500kbps，可以支持的图像分辨率为1280*720，显示区域的显示画面的编码码率为1800kbps，可以支持的图像分辨率为720*480，显然，特写区域的画面图像显示更加清晰。将每个上述候选视频帧画面各自对应上述特写区域进行依次合成，以得到上述合成图像帧(即将头像特写区域和照相机区域进行合成)；将各个上述合成图像帧依次排列，以得到上述合成图像帧序列402。
43.在本技术实施例中，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
44.在一个或多个实施例中，步骤s306，在合成图像帧序列中，查找与目标操作区域对应的目标特写区域包括：
45.s1，确定目标视频帧画面的帧序号，及目标操作区域的操作位置；
46.s2，在合成图像帧序列中查找与帧序号对应的目标合成图像帧，并在查找到的目标合成图像帧中查找与操作位置对应的特写位置；
47.s3，将特写位置所指示的特写区域确定为目标特写区域。
48.在本技术实施例中，如图4所示，确定出目标视频画面的帧序号，也就是说获取目标视频画面中包含的帧图像的序号，并记录下目标操作区域404的位置，在上述合成图像帧序列402中查找与上述帧序号对应的上述目标合成图像帧，并在查找到的上述目标合成图
像帧中查找与上述操作位置对应的特效位置，例如查找人物头像区域位置和/或照相机区域对应的特效位置；将上述人物头像区域位置和/或照相机区域对应区域确定为上述目标特写区域。
49.通过本技术提供的一个或多个实施例，通过确定目标视频帧画面的帧序号，及目标操作区域的操作位置；在合成图像帧序列中查找与帧序号对应的目标合成图像帧，并在查找到的目标合成图像帧中查找与操作位置对应的特写位置；将特写位置所指示的特写区域确定为目标特写区域，可以精准的获取到目标特写区域的合成图像。
50.在一个或多个实施例中，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面包括：
51.按照合成图像帧序列被预设的第一分辨率展示特写画面，并按照为直播视频选配的第二分辨率展示目标视频帧画面中除特写画面之外的画面；其中，第一分辨率大于第二分辨率。
52.可选地，在本实施例中，合成图像帧序列应是被推流侧选定且相对固定的，那么合成图像帧序列的分辨率可以但不限于也由推流侧进行预设，而拉流侧作为一个选择端，在已有且预设的内容(如图像帧、分辨率)进行选择。
53.可选地，在本实施例中，可以但不限于存在多类第一分辨率，在此情况下，在拉流侧也能进行选配。
54.在一个或多个实施例中，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，包括：
55.s1，接收推流客户端发送的合成图像帧序列，其中，合成图像帧序列由推流客户端通过合成图像帧序列被预设的第一路码率被推流至拉流客户端；
56.s2，接收推流客户端发送的目标视频帧画面，其中，目标视频帧画面的视频帧由推流客户端通过目标视频帧画面被预设的第二路码率被推流至拉流客户端，第一路码率大于第二路码率。
57.可选地，在本实施例中，分辨率可以但不限于理解为视频帧的图像理论上最大的精细程度，而码率可以但不限于理解为传输视频帧时的数据传输速率；其中，分辨率与码率都会对视频帧所实际表现出的精细程度进行影响，如分辨率高的视频帧所实际表现出的精细程度高，但如果码率过低，也会让高分辨率的视频帧所实际表现出的精细程度没有达到理论最大值；因此，在高分辨率的前提下，还应配套对应足够大的码率，才能呈现理论上最大精细成的视频帧，如合成图像帧序列的分辨率和码率可以但不限于都大于目标视频帧画面的视频帧的分辨率和码率，进而合成图像帧序列所呈现的精细程度会高于目标视频帧画面的视频帧。或者说，除不同分辨率外，还可以但不限于通过配置不同路的码率进行数据传输，以呈现更精细的视频帧。
58.可选地，作为一种可选的实施方式，如图5所示，上述画面显示方法还包括：
59.s502，获取直播视频对应的视频帧画面；
60.s504，识别视频帧画面中的至少一个特写区域；
61.s506，将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；
62.s508，将直播视频和合成图像帧序列通过服务器发送至拉流客户端。
63.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
64.在本技术实施例中，通过获取直播视频对应的视频帧画面；识别视频帧画面中的至少一个特写区域；将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；将直播视频和合成图像帧序列通过服务器发送至拉流客户端，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
65.作为一种可选的方案，识别视频帧画面中的至少一个特写区域，包括：
66.s1，在直播视频的各个视频帧画面中，识别出携带目标对象的候选视频帧画面；
67.s2，从各个候选视频帧画面中提取出目标对象所在显示区域；
68.s3，对显示区域的目标对象进行特写处理，得到特写区域，其中，特写区域内特效画面的编码码率大于显示区域内显示画面的编码码率。
69.可选地，在本技术实施例中，需要特效处理的目标对象可以为人物额头像，或者是某个具体的物品，例如商家推荐的商品等，在此不做任何限定。
70.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
71.作为一种可选的方案，将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列，包括：
72.s1，将每个候选视频帧画面各自对应特写区域进行依次合成，以得到合成图像帧；
73.s2，将各个合成图像帧依次排列，以得到合成图像帧序列。
74.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
75.作为一种可选的方案，对显示区域的目标对象进行特写处理，得到特写区域包括以下至少之一：
76.s1，将显示区域的目标对象的显示尺寸从第一尺寸放大至第二尺寸，其中，第二尺寸下目标对象的显示清晰度大于第一尺寸下目标对象的显示清晰度；
77.s2，为显示区域的目标对象添加附加显示资源，其中，附加显示资源用于突出显示目标对象。
78.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
79.作为一种可选的方案，在识别视频帧画面中的至少一个特写区域之前，包括：
80.配置在直播视频中所要特写处理的目标对象。
81.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
82.作为一种可选的方案，配置在直播视频中所要特写处理的目标对象包括以下至少之一：
83.s1，从直播视频中识别出人脸区域，并将识别出的人脸区域所指示的头部位置配置为目标对象；
84.s2，从直播视频中识别出目标物体区域，并将目标物体区域中所指示的物体对象配置为目标对象，其中，目标物体区域是根据导入推流客户端的物体图片确定得到；
85.s3，从直播视频中识别出固定画面区域，并将固定画面区域中所指示的图元对象配置为目标对象。
86.如图6所示，在播放客户端600中，可以通过神经网络模型识别出人脸区域，将识别出的上述人脸区域所指示的头部位置配置为第一目标对象602，以及第二目标对象604。
87.如图7所示，在播放客户端700中，通过点击目标图片导入按键706，根据导入上述播放客户端的物体图片确定得到目标物体区域，目标物体区域包括第一目标物体区域702(照相机所在区域)，以及第二目标物体区域704(即电脑所在区域)，从上述直播视频中识别出目标物体区域，并将上述目标物体区域中所指示的物体对象配置为上述目标对象(照相机和电脑)。
88.如图8所示，在播放客户端800中，从上述直播视频中识别出固定画面区域802，并将上述固定画面区域802中所指示的图元对象配置为上述目标对象(照相机)。
89.本技术提供的一个或多个实施例，通过不同的方式来识别出直播视频中的目标物体区域，可以灵活便捷的选择不同的目标对象进行特写放大。
90.可选地，在本实施例中，为上述显示区域的上述目标对象添加附加显示资源，其中，上述附加显示资源用于突出显示上述目标对象。
91.如图8所示，附加显示资源可以为图8中的矩形显示框；如图9所示，附加显示资源可以为图9中的椭圆形显示框和三角形的挂件。通过上述附加显示资源，可以将目标对象对应的目标特写区域进行突出显示。
92.可选地，在本技术的实施例中，例如，按照第一分辨率1920*1080展示上述特写画面，并按照第二分辨率1080*720展示上述目标视频帧画面中除上述特写画面之外的画面。也就是说，特写画面显示的分辨率大于原直播画面的分辨率。
93.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
94.作为一种可选的方案，
95.将直播视频和合成图像帧序列通过服务器发送至拉流客户端，包括：
96.s1，基于为合成图像帧序列预设的第一路码率，对目标合成图像帧进行推流；
97.s2，基于为目标视频帧画面的视频帧预设的第二路码率，对目标视频帧画面的视频帧进行推流，其中，第一路码率大于第二路码率。
98.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
99.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
100.相关技术中的在一些直播场景中，观众有点击某个画面局部进行特写放大的操作，但是采用截取直播画面的原图片局部区域进行直接拉伸变大，放大后的局部区域图像会变模糊，清晰度欠佳，影响用户体验。
101.为了技术上述技术问题，本技术实施例提供了一种画面显示方法包括如下内容：
102.s1，主播使用推流客户端(上述播放客户端)开播，开启特写高清功能，选取特写区域，特写区域支持多个。特写区域选取有以下几种方式：
103.1)第一种为智能识别人脸区域作为特写区域，对直播画面中的若干人进行人脸识别，获取各个脸部区域，进而按一定比例得到虚线框位置表示各个人物的头部位置，以头部位置作为特写区域位置。
104.2)第二种方式通过智能识别物体区域，需要在客户端导入物体的图片作为比对图，在直播过程中，客户端会实时用比对图去跟直播画面比对，得到匹配中的图片区域，即为匹配物品，作为特写区域位置。
105.3)第三种方式是主播直接在客户端手动选择特写区域位置，这种方式选择的特写位置，无法根据实际人脸或者物品的运动动态调节，位置是固定的。而1)和2)的智能识别方式可以基于人脸或者物品的运动，实时更新特写区域的位置。
106.s2，通过步骤s1得到特写区域后，播放客户端将特写区域的画面复制然后重新拼接成一个新的特效合成图。记录新的合成图的分辨率p，同时记录每个特写区域在合成图中的位置s1以及特写区域在原图中的位置s0。
107.s3，客户端启动特效高清功能后，每次推流一路为特写(流媒体)时，同时推两路流，一路为原图视频流，另一路为区域合成画面视频流，其中特写画面视频流可以用高码率推流，其推出的画面清晰度会优于原图中特写区域画面。
108.s4，步骤s3中的原图视频流中，对于每一帧视频画面帧，都携带步骤s2获取的特写区域在合成图中的位置s1以及特写区域在原图中的位置s0。
109.s5，对于观众拉流端(即流媒体播放端)，如图4所示，当观众点击屏幕位置时，拉流客户端从原图视频流中拿到特效原图位置s0，然后判断观众点击位置是否处于s0之内，如果满足，说明观众点击了特写区域，这时候，拉流客户端拉取特写区域合成画面视频流，在合成画面中找到匹配的特写区域，从合成图中抽取出匹配的该特写区域画面，进而放大展示展示。
110.在本技术实施例中，通过在播放客户端展示直播视频中的目标视频帧画面；响应于对上述目标视频帧画面的触控操作，确定上述触控操作在上述目标视频帧画面中的目标操作区域；在与上述直播视频匹配的合成图像帧序列中，查找与上述目标操作区域对应的目标特写区域，其中，上述合成图像帧序列中的每个合成图像帧是将上述直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；在上述合成图像帧序列的目标合成图像帧中查找到上述目标特写区域的情况下，在上述播放客户端展示上述目标特写区域内的特写画面，其中，上述目标特写区域内的特写画面中包括被特效处理后的目标对象的方式；将目标特写区域的图像合成与原目标视频帧画面匹配的序列帧，由于相同的传输码率只传输目标视频画面帧中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了对于直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了对直播画面局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
111.根据本发明实施例的另一个方面，还提供了一种用于实施上述画面显示方法的画面显示装置。如图10所示，该装置包括：
112.接收单元1002，用于通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进
行合成后得到的图像帧；
113.确定单元1004，用于响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；
114.查找单元1006，用于在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；
115.展示单元1008，用于在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面。
116.在步骤s302中，实际应用时，可以包括但不限于通过手机、笔记本电脑、平板电脑、掌上电脑、mid(mobile internet devices，移动互联网设备)、pad、台式电脑等设备播放当前的直播视频，上述直播视频中高端目标视频帧画面可以通过手机、笔记本电脑等电子设备实时录制，并通过流媒体进行传输，在此不作任何限定。如图4所示，在电子设备的播放客户端400中，显示有直播视频，直播视频中的人物来自于通过电子设备实时录制并通过流媒体显示在直播客户端400中。
117.在步骤s304中，实际应用时，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；如图4所示，通过点击特写放大按键404后，确定触控操作在目标视频帧画面中的目标操作区域406，即直播图像中人物的头像区域，和人物手持的物品区域；
118.在步骤s306中，实际应用时，如图4所示，在与上述直播视频匹配的合成图像帧序列402中，查找与上述目标操作区域406对应的目标特写区域，其中，上述合成图像帧序列400中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧，图4中目标操作区域406对应的目标特写区域有两个，人物头像和照相机区域。
119.在一实施例中，当图4中目标操作区域406对应的目标特写区域有一个，人物头像区域或照相机区域其中之一时，目标操作区域406对应的目标特写区域也为一个，合成图像帧序列400中的每个合成图像帧将直播视频中对应的视频帧画面内识别出的一个人物头像区域或照相机特写区域进行合成后得到的图像帧。
120.在步骤s308中，实际应用时，如图4所示在上述合成图像帧序列400的目标合成图像帧中查找到上述目标特写区域(人物头像区域和/或照相机区域)的情况下，在播放客户端400展示上述目标特写区域408内的特写画面，目标特写区域内的特写画面中包括被特效处理后的目标对象(人物头像或照相机)。
121.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
122.在本技术实施例中，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进
行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了对直播画面局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
123.在本技术的一个或多个实施例中，查找单元1006包括：
124.第一确定模块，用于确定目标视频帧画面的帧序号，及目标操作区域的操作位置；
125.查找模块，用于在合成图像帧序列中查找与帧序号对应的目标合成图像帧，并在查找到的目标合成图像帧中查找与操作位置对应的特写位置；
126.第二确定模块，用于将特写位置所指示的特写区域确定为目标特写区域。
127.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
128.在本技术的一个或多个实施例中，展示单元1008包括：
129.展示模块，用于按照合成图像帧序列被预设的第一分辨率展示特写画面，并按照为直播视频选配的第二分辨率展示目标视频帧画面中除特写画面之外的画面；其中，第一分辨率大于第二分辨率。
130.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
131.在本技术的一个或多个实施例中，接收单元1002，包括：
132.第一接收模块，用于接收推流客户端发送的合成图像帧序列，其中，合成图像帧序列由推流客户端通过合成图像帧序列被预设的第一路码率被推流至拉流客户端；
133.第二接收模块，用于接收推流客户端发送的目标视频帧画面，其中，目标视频帧画面的视频帧由推流客户端通过目标视频帧画面被预设的第二路码率被推流至拉流客户端，第一路码率大于第二路码率。
134.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
135.根据本发明实施例的另一个方面，还提供了一种用于实施上述画面显示方法的画面显示装置。如图11所示，该装置包括：
136.获取单元1102，用于获取直播视频对应的视频帧画面；
137.识别单元1104，用于识别视频帧画面中的至少一个特写区域；
138.合成单元1106，用于将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；
139.发送单元1108，用于将直播视频和合成图像帧序列通过服务器发送至拉流客户端。
140.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
141.在本技术实施例中，通过获取直播视频对应的视频帧画面；识别视频帧画面中的至少一个特写区域；将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；将直播视频和合成图像帧序列通过服务器发送至拉流客户端，由于相同的传输码率只传输直播视频中的部分区域图像(即上述特写画面)，因此，上述特写画面相比通过对部分区域图像进行放大处理的清晰度更高。从而实现了直播画面中的局部区域画面进行放大处理后清晰显示的目的，解决了直播画面的局部区域进行特写放大操作后图像显示清晰度较低的技术问题。
142.在本技术的一个或多个实施例中，识别单元1104，包括：
143.识别模块，用于在直播视频的各个视频帧画面中，识别出携带目标对象的候选视频帧画面；
144.提取模块，用于从各个候选视频帧画面中提取出目标对象所在显示区域；
145.处理模块，用于对显示区域的目标对象进行特写处理，得到特写区域，其中，特写区域内特效画面的编码码率大于显示区域内显示画面的编码码率。
146.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
147.在本技术的一个或多个实施例中，合成单元1106，包括：
148.合成模块，用于将每个候选视频帧画面各自对应特写区域进行依次合成，以得到合成图像帧；
149.排序模块，用于将各个合成图像帧依次排列，以得到合成图像帧序列。
150.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
151.在本技术的一个或多个实施例中，处理模块包括以下至少之一：
152.放大子模块，用于将显示区域的目标对象的显示尺寸从第一尺寸放大至第二尺寸，其中，第二尺寸下目标对象的显示清晰度大于第一尺寸下目标对象的显示清晰度；
153.添加子模块，用于为显示区域的目标对象添加附加显示资源，其中，附加显示资源用于突出显示目标对象。
154.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
155.在本技术的一个或多个实施例中，包括：
156.配置模块，用于在识别视频帧画面中的至少一个特写区域之前，配置在直播视频中所要特写处理的目标对象。
157.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
158.在本技术的一个或多个实施例中，配置模块包括以下至少之一：
159.第一识别子模块，用于从直播视频中识别出人脸区域，并将识别出的人脸区域所指示的头部位置配置为目标对象；
160.配置子模块，用于从直播视频中识别出目标物体区域，并将目标物体区域中所指示的物体对象配置为目标对象，其中，目标物体区域是根据导入推流客户端的物体图片确定得到；
161.第二识别子模块，用于从直播视频中识别出固定画面区域，并将固定画面区域中所指示的图元对象配置为目标对象。
162.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
163.在本技术的一个或多个实施例中，发送单元1108，包括：
164.第一推流模块，用于基于为合成图像帧序列预设的第一路码率，对目标合成图像帧进行推流；
165.第二推流模块，用于基于为目标视频帧画面的视频帧预设的第二路码率，对目标视频帧画面的视频帧进行推流，其中，第一路码率大于第二路码率。
166.具体实施例可以参考上述画面显示方法中所示示例，本示例中在此不再赘述。
167.根据本发明实施例的又一个方面，还提供了一种用于实施上述画面显示方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器
为例来说明。如图12所示，该电子设备包括存储器1202和处理器1204，该存储器1202中存储有计算机程序，该处理器1204被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
168.可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
169.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
170.s1，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；
171.s2，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；
172.s3，在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；
173.s4，在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面。或，
174.s1，获取直播视频对应的视频帧画面；
175.s2，识别视频帧画面中的至少一个特写区域；
176.s3，将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；
177.s4，将直播视频和合成图像帧序列通过服务器发送至拉流客户端。
178.可选地，本领域普通技术人员可以理解，图12所示的结构仅为示意，电子装置电子设备也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图12其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图12中所示更多或者更少的组件(如网络接口等)，或者具有与图12所示不同的配置。
179.其中，存储器1202可用于存储软件程序以及模块，如本发明实施例中的画面显示方法和装置对应的程序指令/模块，处理器1204通过运行存储在存储器1202内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的画面显示方法。存储器1202可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1202可进一步包括相对于处理器1204远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1202具体可以但不限于用于显示目标特写区域内的特写画面。作为一种示例，如图12所示，上述存储器1202中可以但不限于包括上述画面显示装置中的接收单元1002、确定单元1004、查找单元1006及展示单元1008(或图12中为展示的获取单元1102、识别单元1104、合成单元1106以及发送单元1108)。此外，还可以包括但不限于上述画面显示装置中的其他模块单元，本示例中不再赘述。
180.可选地，上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络
具体实例可包括有线网络及无线网络。在一个实例中，传输装置1206包括一个网络适配器(network interface controller，nic)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1206为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
181.此外，上述电子设备还包括：显示器1208，用于显示上述特写画面；和连接总线1212，用于连接上述电子设备中的各个模块部件。
182.在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(p2p，peer to peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
183.在一个或多个实施例中，本技术还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述画面显示方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
184.可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
185.s1，通过服务器接收推流客户端发送的直播视频和合成图像帧序列，并在拉流客户端展示直播视频中的目标视频帧画面，其中，合成图像帧序列中的每个合成图像帧是推流客户端将直播视频中对应的视频帧画面内识别出的至少一个特写区域进行合成后得到的图像帧；
186.s2，响应于对目标视频帧画面的触控操作，确定触控操作在目标视频帧画面中的目标操作区域；
187.s3，在合成图像帧序列中，查找与目标操作区域对应的目标特写区域；
188.s4，在合成图像帧序列的目标合成图像帧中查找到目标特写区域的情况下，根据目标合成图像帧在拉流客户端展示目标特写区域内的特写画面。或，
189.s1，获取直播视频对应的视频帧画面；
190.s2，识别视频帧画面中的至少一个特写区域；
191.s3，将视频帧画面内识别出的至少一个特写区域进行合成，得到合成图像帧序列；其中，特写区域与视频帧画面中的操作区域相对应，操作区域用于使拉流客户端根据触控操作显示特写区域；
192.s4，将直播视频和合成图像帧序列通过服务器发送至拉流客户端。
193.可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read
‑
only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
194.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品
销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。
195.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
196.在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
197.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
198.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
199.以上上述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。