一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

直播画面调整方法、装置及计算机设备与流程

2022-04-02 05:23:50 来源:中国专利 TAG:


1.本技术实施例涉及网络直播技术领域,尤其涉及一种直播画面调整方法、装置及计算机设备。


背景技术:

2.随着互联网及流媒体技术的快速发展,各类直播应用程序层出不穷,参与网络直播成为了众多人的日常娱乐方式。
3.在网络直播场景下,主播与观众之间可通过语音、视频、文字等多种方式来进行线上互动,例如:主播可以通过主播客户端采集其表演时的音视频流数据,为直播间内的观众呈现歌舞表演,主播还可以通过主播客户端在公屏中发送消息,与直播间内的观众进行公屏互动。
4.目前,由于主播在表演或者发送消息时容易出现关键部位暴露的情况,因而,需要主播对暴露的关键部位进行主动遮挡,这样不仅会影响主播的表演进程,降低主播的直播表现力,也容易致使直播间停播,降低观众的直播互动体验。


技术实现要素:

5.本技术实施例提供了一种直播画面调整方法、装置及计算机设备,可以解决由于关键部位暴露而导致的主播直播表现力降低,影响观众的直播互动体验的技术问题,该技术方案如下:
6.第一方面,本技术实施例提供了一种直播画面调整方法,包括步骤:
7.获取直播视频流;其中,所述直播视频流中包括若干帧直播画面;
8.识别所述直播画面中的胸部区域和所述胸部区域对应的暴露级别;
9.若所述胸部区域对应的暴露级别达到预设的第一暴露级别,根据所述胸部区域对应的暴露级别、所述胸部区域在所述直播画面中的显示尺寸以及所述胸部区域在所述直播画面中的显示位置,确定所述直播画面中的待遮挡区域;
10.根据所述直播画面中的所述待遮挡区域,调整所述直播画面得到目标直播画面;
11.将包括所述目标直播画面的目标直播视频流发送至服务器,使所述服务器将所述目标直播视频流输出至直播间内的客户端显示。
12.第二方面,本技术实施例提供了一种直播画面调整装置,包括:
13.第一获取单元,用于获取直播视频流;其中,所述直播视频流中包括若干帧直播画面;
14.第一识别单元,用于识别所述直播画面中的胸部区域和所述胸部区域对应的暴露级别;
15.第二获取单元,用于若所述胸部区域对应的暴露级别达到预设的第一暴露级别,根据所述胸部区域对应的暴露级别、所述胸部区域在所述直播画面中的显示尺寸以及所述胸部区域在所述直播画面中的显示位置,确定所述直播画面中的待遮挡区域;
16.第一调整单元,用于根据所述直播画面中的所述待遮挡区域,调整所述直播画面得到目标直播画面;
17.第一输出单元,用于将包括所述目标直播画面的目标直播视频流发送至服务器,使所述服务器将所述目标直播视频流输出至直播间内的客户端显示。
18.第三方面,本技术实施例提供了一种计算机设备,处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。
19.第四方面,本技术实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述方法的步骤。
20.在本技术实施例中,获取直播视频流;其中,直播视频流中包括若干帧直播画面;识别直播画面中的胸部区域和胸部区域对应的暴露级别;若胸部区域对应的暴露级别达到预设的第一暴露级别,根据胸部区域对应的暴露级别、胸部区域在直播画面中的显示尺寸以及胸部区域在直播画面中的显示位置,确定直播画面中的待遮挡区域;根据直播画面中的待遮挡区域,调整直播画面得到目标直播画面;将包括目标直播画面的目标直播视频流发送至服务器,使服务器将目标直播视频流输出至直播间内的客户端显示。本技术实施例通过对直播画面中的胸部区域以及胸部区域对应的暴露级别进行识别,从而在胸部区域对应的暴露级别达到预设的第一暴露级别时,根据胸部区域对应的暴露级别、胸部区域在直播画面中的显示尺寸以及胸部区域在直播画面中的显示位置,确定出直播画面中的待遮挡区域,进而在调整直播画面中的待遮挡区域之后,再将得到的目标直播画面发送至服务器,上述方式能够保证观众看到的直播画面中,不会存在关键部位暴露的情况,主播也无需担心在互动过程中肢体动作幅度过大,减少了对主播表演进程的影响,有效提高了主播的直播表现力,提升观众的直播互动体验。
21.为了更好地理解和实施,下面结合附图详细说明本技术的技术方案。
附图说明
22.图1为本技术实施例提供的直播画面调整方法的应用场景示意图;
23.图2为本技术第一实施例提供的直播画面调整方法的流程示意图;
24.图3为本技术第一实施例提供的直播画面调整方法中s104的流程示意图;
25.图4为本技术实施例提供的直播画面的显示示意图;
26.图5为本技术第一实施例提供的直播画面调整方法中s104的另一流程示意图;
27.图6为本技术实施例提供的直播画面的另一显示意图;
28.图7为本技术第一实施例提供的直播画面调整方法中s104的又一流程示意图;
29.图8为本技术第一实施例提供的直播画面调整方法中s104的再一流程示意图;
30.图9为本技术第二实施例提供的直播画面调整方法的流程示意图;
31.图10为本技术第二实施例提供的直播画面调整方法的另一流程示意图;
32.图11为本技术实施例提供的直播画面的又一显示意图;
33.图12为本技术第三实施例提供的直播画面调整方法的流程示意图;
34.图13为本技术第四实施例提供的直播画面调整装置的结构示意图;
35.图14为本技术第五实施例提供的计算机设备的结构示意图。
具体实施方式
36.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
37.在本技术使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
38.应当理解,尽管在本技术可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本技术范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”/“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
39.本领域技术人员可以理解,本技术所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;pcs(personalcommunications service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;pda(personal digital assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(global positioningsystem,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是pda、mid(mobile internet device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
40.本技术所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的计算机设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
41.需要指出的是,本技术所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本技术的网络部署方式的实施方式。
42.请参阅图1,图1为本技术实施例提供的直播画面调整方法的应用场景示意图,该应用场景包括本技术实施例提供的主播客户端101、服务器102和观众客户端103,主播客户端101与观众客户端103通过服务器102进行交互。
43.本技术实施例提出的客户端包括该主播客户端101和该观众客户端103。
44.需要指出的是,在现有技术中会存在对“客户端”这一概念的多种理解,例如:可以将其理解为安装在计算机设备中的应用程序,或者,也可以将其理解为相对应于服务器的硬件设备。
45.在本技术实施例中,所称的“客户端”是指相对应于服务器的硬件设备,更具体来说,是指计算机设备,例如:智能手机、智能交互平板以及个人计算机等。
46.在客户端为智能手机、智能交互平板等移动设备时,用户可以在客户端上安装匹配的移动端应用程序,也可以在客户端上访问web端应用程序。
47.在客户端为个人计算机(pc机)等非移动设备时,用户可以在客户端上安装匹配的pc端应用程序,同样也可以在客户端上访问web端应用程序。
48.其中,移动端应用程序是指可安装在移动设备中的应用程序,pc端应用程序是指可安装在非移动设备中的应用程序,web端应用程序是指需通过浏览器访问的应用程序。
49.具体地,web端应用程序依据客户端类型的差异,又可以分为移动版本和pc版本,两者的页面布局方式以及可提供的服务器支持可能存在差别。
50.在本技术实施例中,提供至用户的直播应用程序的类型分为移动端直播应用程序、pc端直播应用程序和web端直播应用程序。用户可以依据其采用客户端的类型不同,自主选择其参与网络直播的方式。
51.本技术依据采用客户端的用户身份的不同,可以将客户端分为主播客户端101和观众客户端103。
52.其中,主播客户端101是指发送网络直播视频的一端,通常来说是网络直播中主播(即,直播主播用户)所采用的客户端。
53.观众客户端103是指接收和观看网络直播视频的一端,通常来说是网络直播中观看视频的观众(即,直播观众用户)所采用的客户端。
54.主播客户端101和观众客户端103所指向的硬件,本质上是指计算机设备,具体地,如图1所示,其可以是智能手机、智能交互平板和个人计算机等类型的计算机设备。主播客户端101和观众客户端103均可以通过公知的网络接入方式接入互联网,与服务器102建立数据通信链路。
55.服务器102作为一个业务服务器,其可以负责进一步连接起相关音频数据服务器、视频流服务器以及其他提供相关支持的服务器等,以此构成逻辑上相关联的服务机群,来为相关的终端设备,例如图1中所示的主播客户端101和观众客户端103提供服务。
56.本技术实施例中,主播客户端101与观众客户端103可以加入同一个直播间(即直播频道),上述的直播间是指依靠互联网技术实现的一种聊天室,通常具备音视频播控功能。主播用户通过主播客户端101在直播间内进行直播,观众客户端103的观众可以登录服务器102进入直播间观看上直播。
57.在直播间内,主播与观众之间可通过语音、视频、文字等公知的线上交互方式来实现互动,一般是主播以音视频流的形式为观众用户表演节目,并且在互动过程中还可产生
经济交易行为。当然,直播间的应用形态并不局限于在线娱乐,也可推广到其他相关场景中,例如视频会议场景、产品推介销售场景以及其他任何需要类似互动的场景中。
58.具体地,观众观看直播的过程如下:观众可以点击访问安装在观众客户端103上的直播应用程序,并选择进入任意一个直播间,触发观众客户端103为该观众加载直播间界面,该直播间界面内包括若干交互组件,例如:视频窗口、虚拟礼物栏以及公屏等,通过加载这些交互组件可以使观众在直播间内观看直播,并进行多种线上互动,线上互动的方式包括但不限于关注主播、赠送虚拟礼物以及公屏发言等。
59.目前,当主播在直播间内进行表演或者发送消息时,往往由于肢体动作幅度较大,易出现关键部位暴露的情况,例如:主播胸部暴露。若不对暴露的关键部位进行主动遮挡,则不仅会影响主播的表演进程,降低主播的直播表现力,也容易导致直播间停播,降低观众的直播互动体验。
60.为此,本技术实施例提供了一种直播画面调整方法。请参阅图2,图2为本技术第一实施例提供的直播画面调整方法的流程示意图,该方法包括如下步骤:
61.s101:获取直播视频流;其中,直播视频流中包括若干帧直播画面。
62.s102:识别直播画面中的胸部区域和胸部区域对应的暴露级别。
63.s103:若胸部区域对应的暴露级别达到预设的第一暴露级别,根据胸部区域对应的暴露级别、胸部区域在直播画面中的显示尺寸以及胸部区域在直播画面中的显示位置,确定直播画面中的待遮挡区域。
64.s104:根据直播画面中的待遮挡区域,调整直播画面得到目标直播画面。
65.s105:将包括目标直播画面的目标直播视频流发送至服务器,使服务器将目标直播视频流输出至直播间内的客户端显示。
66.在一个可选的实施例中,直播画面调整方法的执行主体可以为主播客户端,在另一个可选的实施例中,直播画面调整方法的执行主体也可以为服务器。
67.在本技术实施例中,以主播客户端为执行主体对直播画面调整方法进行描述,同时辅以服务器角度的描述,以帮助理解整体方案。
68.关于步骤s101,主播客户端获取直播视频流。
69.在主播开播后,主播客户端获取到摄像头权限,通过摄像头采集直播视频流。
70.其中,该摄像头可以为主播客户端的自带摄像头,也可以为与主播客户端建立数据连接的外接摄像头。
71.该直播视频流中包括若干帧直播画面。
72.常规情况下,主播客户端采集的直播视频流会直接发送至服务器,再由服务器发送至直播间内的观众客户端,直播间内的观众客户端接收直播视频流后,将其输出至直播间界面中,从而使观众可以在直播间内观看到主播的直播内容。
73.该直播间是指主播所创建的直播间(也即,直播频道)。
74.关于步骤s102,主播客户端识别直播画面中的胸部区域和胸部区域对应的暴露级别。
75.其中,胸部区域是指人体胸部在直播画面中的所在区域,随着主播在直播画面中移动,胸部区域的显示尺寸和显示位置也会不断发生改变。
76.胸部区域对应的暴露级别是指胸部皮肤的裸露程度。
77.下面会先说明何种情况下会识别直播画面中的胸部区域和胸部区域对应的暴露级别,再说明具体如何识别直播画面中的胸部区域和胸部区域对应的暴露级别。
78.在一个可选的实施例中,s102包括步骤:将直播画面输入至预设的躯干识别网络,得到直播画面中的人体关键点;若人体关键点中包括胸口节点,识别直播画面中的胸部区域和胸部区域对应的暴露级别。
79.预设的躯干识别网络是一种现有的人体关键点识别网络,其作用是标识出人体中的关键节点,对人体关键点进行定位。
80.人体关键点包括鼻部节点、左右肩节点,左右肘节点,左右腕节点,左右臀节点,左右膝节点以及胸口节点等。
81.若在直播画面中检测出胸口节点,则表示该直播画面中存在胸部区域,因而,才需识别直播画面中的胸部区域和胸部区域对应的暴露级别。
82.若在直播画面中未检测出胸口节点,则可以不进行识别和调整操作,直接发送至服务器即可。
83.在另一个可选的实施例中,s102包括步骤:将直播画面输入至预设的躯干识别网络,得到直播画面中的人体关键点和人体关键点对应的显示区域;若人体关键点中包括胸口节点且胸口节点对应的显示区域占直播画面的比例超过预设比例,识别直播画面中的胸部区域和胸部区域对应的暴露级别。
84.预设的躯干识别网络在识别人体关键点时,会提供各个人体关键点所在的区域范围,在本实施例中,称之为人体关键点对应的显示区域。
85.若人体关键点中包括胸口节点且胸口节点对应的显示区域占直播画面的比例超过预设比例,则意味着容易清晰地观看到胸部区域以及胸部区域的裸露肌肤,因此,需要识别直播画面中的胸部区域和胸部区域对应的暴露级别。
86.若人体关键点中包括胸口节点,但是胸口节点对应的显示区域占直播画面的比例未超过预设比例,则意味着主播胸部离摄像头的距离较远,很难清晰地观看到胸部区域以及胸部区域的裸露肌肤,那么,则无需识别直播画面中的胸部区域和胸部区域对应的暴露级别。
87.在本实施例中,通过判断胸口节点对应的显示区域占直播画面的比例是否超过预设比例,能够避免无效地对胸部区域进行识别,节省算力,提高直播画面的调整效率。
88.下面分别说明如何识别直播画面中的胸部区域和胸部区域对应的暴露级别。
89.在一个可选的实施例中,s102的步骤包括:将直播画面输入至预设的胸部区域识别网络,得到直播画面中胸部区域的显示位置和胸部区域的显示尺寸。
90.其中,预设的胸部区域识别网络为根据已标注胸部区域的显示位置和胸部区域的显示尺寸的第一训练图像训练得到的。
91.在一个可选的实施例中,第一训练图像中至少包括若干帧用于训练的直播画面,并还可以包括若干幅用于训练的网络图像,可以理解的是网络图像需为记载有人体影像的图像。
92.在一个可选的实施例中,可以将预设的躯干识别网络识别出的胸口节点的位置一同输入至预设的胸部区域识别网络,从而以辅助对胸部区域的定位,提高胸部区域识别的准确性。
93.在一个可选的实施例中,s102的步骤,包括:切割直播画面中的胸部区域,得到胸部区域图像;将胸部区域图像输入至预设的暴露级别识别网络,得到胸部区域对应的暴露级别。
94.其中,预设的暴露级别识别网络为根据已标注暴露级别的第二训练图像训练得到的。
95.第二训练图像中至少包括若干帧从直播画面切割出的胸部区域图像,还可以包括若干幅从网络图像切割出的胸部区域图像。
96.具体地,主播客户端根据胸部区域的显示位置和胸部区域的显示尺寸,切割直播画面,得到胸部区域图像。再将胸部区域图像输入至预设的暴露级别识别网络,得到胸部区域对应的暴露级别。
97.关于训练时采用的损失函数、优化算法以及学习率等在此不进行限定。
98.关于步骤s103,若胸部区域对应的暴露级别达到预设的第一暴露级别,根据胸部区域对应的暴露级别、胸部区域在直播画面中的显示尺寸以及胸部区域在直播画面中的显示位置,确定直播画面中的待遮挡区域。
99.在本实施例中,若胸部区域对应的暴露级别未达到预设的第一暴露级别,则表示当前胸部的暴露程度不需要遮挡。
100.若胸部区域对应的暴露级别达到预设的第一暴露级别,则主播客户端根据胸部区域对应的暴露级别和胸部区域在直播画面中的显示尺寸,得到待遮挡区域的显示尺寸,根据胸部区域在直播画面中的显示位置,得到待遮挡区域的显示位置,根据待遮挡区域的显示尺寸和待遮挡区域的显示位置,确定直播画面中的待遮挡区域。
101.可以确认的是,胸部区域在直播画面中的显示尺寸不变的情况下,胸部区域对应的暴露级别越高,则待遮挡区域的显示尺寸越大。
102.胸部区域对应的暴露级别不变的情况下,胸部区域在直播画面中的显示尺寸越大,则待遮挡区域的显示尺寸越大。
103.关于步骤s104,根据直播画面中的待遮挡区域,调整直播画面得到目标直播画面。
104.主播客户端根据直播画面中的待遮挡区域,对待遮挡区域进行遮挡,以实现对直播画面的调整,得到目标主播画面。
105.下面将具体说明如何对待遮挡区域进行遮挡:
106.在一个可选的实施例中,请参阅图3,s104包括步骤:
107.s1041:若胸部区域对应的暴露级别达到预设的第一暴露级别且未达到预设的第二暴露级别,获取待遮挡区域在直播画面中的显示尺寸和待遮挡区域在直播画面中的显示位置。
108.s1042:根据待遮挡区域在直播画面中的显示尺寸和待遮挡区域在直播画面中的显示位置,对直播画面进行局部画面模糊处理,得到目标直播画面。
109.在本实施例中,胸部区域对应的暴露级别达到预设的第一暴露级别且未达到预设的第二暴露级别则意味着当前胸部的暴露程度较低,因此,主播客户端可以根据待遮挡区域在直播画面中的显示尺寸和待遮挡区域在直播画面中的显示位置,对直播画面进行局部画面模糊处理,得到目标直播画面。
110.请参阅图4,图4为本技术实施例提供的直播画面的显示示意图。图4中所示的直播
画面41中待遮挡区域42已经进行了局部画面模糊处理,从而观众很难看清待遮挡区域中的内容,起到了对胸部暴露肌肤进行遮挡的作用。
111.在另一个可选的实施例中,请参阅图5,s104包括步骤:
112.s1043:若胸部区域对应的暴露级别达到预设的第二暴露级别,获取待遮挡区域在直播画面中的显示尺寸和待遮挡区域在直播画面中的显示位置。
113.s1044:根据待遮挡区域在直播画面中的显示尺寸,得到第一贴图的显示尺寸。
114.s1045:根据第一贴图的显示尺寸,生成第一贴图。
115.s1046:根据待遮挡区域在直播画面中的显示位置,将第一贴图覆盖在待遮挡区域上,得到目标直播画面。
116.在本实施例中,胸部区域对应的暴露级别达到预设的第二暴露级别则意味着当前胸部的暴露程度较高,因而进行贴图处理。
117.具体地,主播客户端获取待遮挡区域在直播画面中的显示尺寸和待遮挡区域在直播画面中的显示位置,先根据待遮挡区域在直播画面中的显示尺寸,得到第一贴图的显示尺寸,根据第一贴图的显示尺寸,生成第一贴图,再根据待遮挡区域在直播画面中的显示位置,将第一贴图覆盖在待遮挡区域上,得到目标直播画面。
118.其中,第一贴图可以为纯色贴图,关于贴图的颜色在此不进行限定,也可以为从直播画面的衣物区域截取出的贴图。
119.请参阅图6,图6为本技术实施例提供的直播画面的另一显示意图。图6中所示的直播画面61中待遮挡区域已经进行了贴图处理,该第一贴图62为纯色贴图,从而起到了对胸部暴露肌肤进行遮挡的作用。
120.在又一个可选的实施例中,请参阅图7,s104包括步骤:
121.s1047:获取第一贴图的第一颜色;其中,第一贴图的第一颜色为根据直播画面中待遮挡区域周围的若干个第一像素点的颜色确定的;第一像素点与待遮挡区域的边缘的距离小于预设的第一距离阈值。
122.s1048:根据待遮挡区域在直播画面中的显示尺寸,得到第一贴图的显示尺寸。
123.s1049:根据第一贴图的显示尺寸和第一贴图的第一颜色,生成第一贴图。
124.s1050:根据待遮挡区域在直播画面中的显示位置,将第一贴图覆盖在待遮挡区域上,得到目标直播画面。
125.在本实施例中,对第一贴图的第一颜色进行了限定,为了能够提高胸部的遮挡效果,提升画面美观程度。
126.主播客户端获取直播画面中待遮挡区域周围的若干个第一像素点的颜色,根据若干个第一像素点的颜色的均值,得到第一贴图的第一颜色。
127.其中,第一像素点与待遮挡区域的边缘的距离小于预设的第一距离阈值,也就是说,第一像素点是待遮挡区域附近的像素点。
128.关于如何获取第一贴图的显示尺寸和显示位置均与上一可选实施例相同,在此不进行复述。
129.在本实施例中,通过设置第一贴图的颜色为第一颜色,能够使得贴图效果更为自然,提高观众的视频观看体验,避免第一贴图对其视觉观感的影响。
130.在其他可选的实施例中,请参阅图8,s104包括步骤:
131.s1051:若第一贴图的第一颜色在预设的肤色范围内,获取第一贴图的第二颜色;其中,第一贴图的第一颜色为根据直播画面中待遮挡区域周围的若干个第一像素点的颜色确定的;第一像素点与待遮挡区域的边缘的距离小于预设的第一距离阈值;第一贴图的第二颜色为从直播画面中识别出的衣物颜色。
132.s1052:根据待遮挡区域在直播画面中的显示尺寸,得到第一贴图的显示尺寸。
133.s1053:根据第一贴图的显示尺寸和第一贴图的第二颜色,生成第一贴图。
134.s1054:根据待遮挡区域在直播画面中的显示位置,将第一贴图覆盖在待遮挡区域上,得到目标直播画面。
135.在本实施例中,获取第一贴图的第一颜色的方式与上一可选实施例中的方式相同,不同点在于,判断第一颜色是否在预设的肤色范围内,若是,则表示待遮挡区域附近也为裸露的肌肤,因此,主播客户端会从直播画面中识别出衣物的颜色,得到第一贴图的第二颜色。该衣物颜色可以是指上衣颜色。
136.其中,预设的肤色范围可以为当前主播对应的预设的肤色范围,可以通过采集的视频画面,确定当前主播的肤色,根据当前主播的肤色,得到当前主播对应的预设的肤色范围。
137.关于如何获取第一贴图的显示尺寸和显示位置均与上一可选实施例相同,在此不进行复述。
138.在本实施例中,通过设置第一贴图的颜色为第二颜色,能够进一步地提升贴图效果,避免在主播较大范围地裸露胸部时,第一颜色的第一贴图无法达到预期的遮挡效果,影响观众的视频观看体验。
139.在一个可选的实施例中,主播客户端若未在直播画面中识别出预设的肤色范围之外的颜色,获取虚拟换装贴图;在直播画面上覆盖虚拟换装贴图,得到目标直播画面。
140.该虚拟换装贴图为vr换装贴图,即将整套衣服覆盖在直播画面中的人体区域上,得到目标直播画面。
141.关于步骤s105,将包括目标直播画面的目标直播视频流发送至服务器,使服务器将目标直播视频流输出至直播间内的客户端显示。
142.主播客户端将包括目标直播画面的目标直播视频流发送至服务器,可以理解的是,对于未进行调整的直播画面也包括在目标直播视频流中,且未进行调整的直播画面和目标直播画面在目标直播视频流中的前后相对位置不会改变。
143.服务器接收包括目标直播画面的目标直播视频流,将目标直播视频流输出至直播间内的客户端。
144.直播间内的客户端接收服务器发送的目标直播视频流,并将目标直播视频流输出在直播间界面中。
145.若在常规的网络直播场景下,直播间内的客户端为直播间内的观众客户端。
146.若在连麦直播场景下,主播客户端之间进行连麦,则直播间内的客户端包括直播间内的观众客户端和连麦的主播客户端。
147.本技术实施例中,通过对直播画面中的胸部区域以及胸部区域对应的暴露级别进行识别,从而在胸部区域对应的暴露级别达到预设的第一暴露级别时,根据胸部区域对应的暴露级别、胸部区域在直播画面中的显示尺寸以及胸部区域在直播画面中的显示位置,
确定出直播画面中的待遮挡区域,进而在调整直播画面中的待遮挡区域之后,再将得到的目标直播画面发送至服务器,上述方式能够保证观众看到的直播画面中,不会存在关键部位暴露的情况,主播也无需担心在互动过程中肢体动作幅度过大,减少了对主播表演进程的影响,有效提高了主播的直播表现力,提升观众的直播互动体验。
148.请参阅图9,图9为本技术第二实施例提供的直播画面调整方法的流程示意图,包括如下步骤:
149.s201:获取直播视频流;其中,直播视频流中包括若干帧直播画面。
150.s202:识别直播画面中的胸部区域和胸部区域对应的暴露级别。
151.s203:若胸部区域对应的暴露级别达到预设的第一暴露级别,根据胸部区域对应的暴露级别、胸部区域在直播画面中的显示尺寸以及胸部区域在直播画面中的显示位置,确定直播画面中的待遮挡区域。
152.s204:获取待遮挡区域在直播画面中的显示尺寸和待遮挡区域在直播画面中的显示位置,将直播画面、待遮挡区域在直播画面中的显示尺寸和待遮挡区域在直播画面中的显示位置输入至预训练好的衣物纹理生成网络,得到目标直播画面;其中,目标直播画面中的待遮挡区域已覆盖衣物纹理贴图,衣物纹理贴图的纹理信息为根据直播画面内衣物的纹理信息得到的。
153.s205:将包括目标直播画面的目标直播视频流发送至服务器,使服务器将目标直播视频流输出至直播间内的客户端显示。
154.在本实施例中,步骤s201~s203以及步骤s205分别与步骤s101~s103以及步骤s105相同,区别在于步骤s104,下面对其进行展开说明。
155.关于步骤s104,主播客户端获取待遮挡区域在直播画面中的显示尺寸和待遮挡区域在直播画面中的显示位置,将直播画面、待遮挡区域在直播画面中的显示尺寸和待遮挡区域在直播画面中的显示位置输入至预训练好的衣物纹理生成网络,得到目标直播画面。
156.其中,目标直播画面中的待遮挡区域已覆盖衣物纹理贴。
157.目标直播画面中的待遮挡区域已覆盖衣物纹理贴图,衣物纹理贴图的纹理信息为根据直播画面内衣物的纹理信息得到的。
158.预训练好的衣物纹理生成网络能够提取到直播画面内衣物的纹理信息和胸部的轮廓,生成适用于贴合在胸部的衣物纹理贴图。
159.在一个可选的实施例中,衣物纹理生成网络是与衣物纹理鉴别网络共同组成对抗神经网络,请参阅图10,图10为本技术第二实施例提供的直播画面调整方法的另一流程示意图,包括如下步骤:
160.s206:获取若干幅第三训练图像和若干幅第四训练图像;其中,第三训练图像中的胸部区域对应的暴露级别达到预设的第一暴露级别,第四训练图像中的胸部区域对应的暴露级别未达到预设的第一暴露级别。
161.s207:将若干幅第三训练图像、胸部区域在第三训练图像中的显示尺寸以及胸部区域在第三训练图像中显示位置输入至衣物纹理生成网络,得到若干幅第五训练图像。
162.s208:根据若干幅第四训练图像、若干幅第五训练图像、预设的第一损失函数和预设的第一优化算法,迭代训练衣物纹理鉴别网络,优化衣物纹理鉴别网络的可训练参数,直至第一损失函数的值满足预设的第一训练终止条件,得到当前训练好的衣物纹理鉴别网
络。
163.s209:将第五训练图像的标签修改为真,将第五训练图像输入至当前训练好的衣物纹理鉴别网络,获取第五训练图像的鉴别结果。
164.s210:若第五训练图像的鉴别结果满足预设的第二训练终止条件,得到预训练好的衣物纹理生成网络和预训练好的衣物纹理鉴别网络。
165.s211:若第五训练图像的鉴别结果不满足预设的第二训练终止条件,根据第五训练图像的鉴别结果、第五训练图像的标签和预设的第二损失函数,得到第二损失函数的值,根据第二损失函数的值和预设的第二优化算法,优化衣物纹理生成网络的可训练参数,得到当前训练好的衣物纹理生成网络。
166.s212:将若干幅第三训练图像、胸部区域在第三训练图像中的显示尺寸以及胸部区域在第三训练图像中显示位置重新输入至当前训练好的衣物纹理生成网络,重新获取第五训练图像,重复执行迭代训练衣物纹理鉴别网络的步骤以及优化衣物纹理生成网络的可训练参数的步骤,直至第五训练图像的鉴别结果满足预设的第二训练终止条件,得到预训练好的衣物纹理生成网络和预训练好的衣物纹理鉴别网络。
167.关于步骤s206,第三训练图像中的胸部区域对应的暴露级别达到预设的第一暴露级别,第四训练图像中的胸部区域对应的暴露级别未达到预设的第一暴露级别。
168.胸部区域对应的暴露级别达到预设的第一暴露级别,表示第三训练图像中胸部的暴露程度需要遮挡。
169.胸部区域对应的暴露级别未达到预设的第一暴露级别,表示第四训练图像中胸部的暴露程度不需要遮挡,是正常穿衣的图像。
170.关于步骤s207,将若干幅第三训练图像、胸部区域在第三训练图像中的显示尺寸以及胸部区域在第三训练图像中显示位置输入至衣物纹理生成网络,得到若干幅第五训练图像。
171.其中,衣物纹理生成网络为随机初始化后的衣物纹理生成网络。
172.关于步骤s208,第四训练图像的标签为真,第五训练图像的标签未假。通过将第四训练图像和第五训练图像输入至衣物纹理鉴别网络,得到第四训练图像和第五训练图像的鉴别结果,根据第四训练图像和第五训练图像的鉴别结果和预设的第一损失函数,计算第一损失函数的值,若第一损失函数的值满足预设的第一训练终止条件,得到当前训练好的衣物纹理鉴别网络,若第一损失函数的值不满足预设的第一训练终止条件,则根据第一损失函数的值和预设的第一优化算法,优化衣物纹理鉴别网络的可训练参数,重复上述步骤,直至第一损失函数的值满足预设的第一训练终止条件,得到当前训练好的衣物纹理鉴别网络。
173.关于步骤s209~s211,将第五训练图像的标签修改为真,并将第五训练图像输入至当前训练好的衣物纹理鉴别网络,获取第五训练图像的鉴别结果,若第五训练图像的鉴别结果满足预设的第二训练终止条件,得到预训练好的衣物纹理生成网络和预训练好的衣物纹理鉴别网络。若第五训练图像的鉴别结果不满足预设的第二训练终止条件,根据第五训练图像的鉴别结果、第五训练图像的标签和预设的第二损失函数,得到第二损失函数的值,根据第二损失函数的值和预设的第二优化算法,优化衣物纹理生成网络的可训练参数,得到当前训练好的衣物纹理生成网络。
174.在本实施例的抗神经网络中,当其判断第五训练图像为真的概率在0.5附近时,意味着衣物纹理生成网络和衣物纹理鉴别网络均达到一个比较好的对抗训练效果。因此,预设的第二训练终止条件为0.5附近的一个区间,当第五训练图像的鉴别结果在该区间内,则第五训练图像的鉴别结果满足预设的第二训练终止条件。
175.若第五训练图像的鉴别结果偏向于0,则表示衣物纹理鉴别网络认为该第五训练图像为真的概率接近于0,这也就意味着衣物纹理生成网络生成的第五训练图像易被用户识别出来其衣物纹理是后生成的,衣物纹理生成网络的生成效果较差。由于,第五训练图像的标签修改为真,即为1,因而,根据第五训练图像的标签、第五训练图像的鉴别结果和预设的第二损失函数,所得到的第二损失函数的值较大,那么基于第二损失函数的值和预设的第二优化算法,就会大幅度地优化衣物纹理生成网络的可训练参数,得到当前训练好的衣物纹理生成网络。
176.若第五训练图像的鉴别结果偏向于1,则表示衣物纹理鉴别网络认为该第五训练图像为真的概率接近于1,这也就意味着衣物纹理鉴别网络的鉴别效果较差,其将假的第五训练图像判断为真,故,需要继续对衣物纹理鉴别网络进行训练。
177.关于步骤s212,将若干幅第三训练图像、胸部区域在第三训练图像中的显示尺寸以及胸部区域在第三训练图像中显示位置重新输入至当前训练好的衣物纹理生成网络,重新获取第五训练图像,重复执行迭代训练衣物纹理鉴别网络的步骤以及优化衣物纹理生成网络的可训练参数的步骤,直至第五训练图像的鉴别结果满足预设的第二训练终止条件,得到预训练好的衣物纹理生成网络和预训练好的衣物纹理鉴别网络。
178.关于上述第一损失函数、第二损伤函数、第一优化算法和第二优化算法在此不进行限定,可以为任意一种现有的损失函数和神经网络优化算法。
179.请参阅图11,图11为本技术实施例提供的直播画面的又一显示意图。图11(a)中所示的直播画面111中待遮挡区域还未进行贴图处理,图11(b)中所示的直播画面111中待遮挡区域已经进行了贴图处理,该衣物纹理贴图112的纹理信息为根据直播画面111内衣物的纹理信息得到的,可以看到其不仅对胸部暴露肌肤有遮挡的作用,还更易于被观众认为是主播所穿着衣物的纹理,避免了贴图处理对视频观看体验的影响。
180.在本实施例中,通过将衣物纹理生成网络和衣物纹理生成网络组成对抗神经网络,对衣物纹理生成网络和衣物纹理生成网络进行联合训练,能够使得生成的图像中已覆盖的衣物纹理贴图的可信度更高,更易于被用户认为是主播所穿着衣物的纹理,从而能够进一步提升对待遮挡区域的遮挡效果,避免对主播表演进程的影响,有效提高主播的直播表现力,并提升观众的视频观看体验。
181.请参阅图12,图12为本技术第三实施例提供的直播画面调整方法的流程示意图,包括如下步骤:
182.s301:获取直播视频流;其中,直播视频流中包括若干帧直播画面。
183.s302:识别直播画面中的胸部区域和胸部区域对应的暴露级别。
184.s303:若胸部区域对应的暴露级别达到预设的第一暴露级别,根据胸部区域对应的暴露级别、胸部区域在直播画面中的显示尺寸以及胸部区域在直播画面中的显示位置,确定直播画面中的待遮挡区域。
185.s304:根据直播画面中的待遮挡区域,调整直播画面得到目标直播画面。
186.s305:将包括目标直播画面的目标直播视频流发送至服务器,使服务器将目标直播视频流输出至直播间内的客户端显示。
187.s306:若胸部区域对应的暴露级别达到预设的第二暴露级别,获取提示弹窗数据。
188.s307:根据提示弹窗数据,在直播间界面中显示提示弹窗;其中,提示弹窗中至少显示有误判子控件。
189.s308:响应于对误判子控件的触发指令,获取主播标识和直播间标识,根据主播标识和直播间标识,生成误判指令至服务器,使服务器响应于误判指令,重新识别胸部区域对应的暴露级别。
190.本实施例与第一实施例的区别在于步骤s306~s308,下面对其解释说明。关于步骤s301~s305可以参见第一实施例的说明。
191.关于步骤s306,若胸部区域对应的暴露级别达到预设的第二暴露级别,主播客户端获取提示弹窗数据。
192.其中,提示弹窗数据包括提示弹窗的显示数据和提示弹窗的功能数据,提示弹窗的显示数据用于确定提示弹窗的显示位置、显示尺寸和显示样式等,提示弹窗的功能数据用于实现提示弹窗的提示功能和接收主播对提示的反馈。
193.关于步骤s307~s308,主播客户端根据提示弹窗数据,在直播间界面中显示提示弹窗。其中,提示弹窗中至少显示有误判子控件。主播客户端响应于对误判子控件的触发指令,获取主播标识和直播间标识,根据主播标识和直播间标识,生成误判指令至服务器,使服务器响应于误判指令,重新识别胸部区域对应的暴露级别。
194.在本实施例中,若主播认为暴露级别的检测存在误判,可以通过点击误判子控件,触发主播客户端生成误判指令,以使服务器重新识别胸部区域对应的暴露级别。
195.并且,若服务器确认暴露等级的识别存在问题,可以将误判的直播画面用于反馈训练,继续优化上述暴露级别识别网络。
196.在一个可选的实施例中,该方法还包括步骤:
197.s309:若胸部区域对应的暴露级别达到预设的第二暴露级别且持续暴露时长超过预设时长,显示第一提示信息在直播间界面中;其中,第一提示信息用于提示主播调整穿着。
198.s310:若胸部区域图像对应的暴露级别达到预设的第三暴露级别,发出直播间停播指令。
199.在本实施例中,若胸部区域对应的暴露级别达到预设的第二暴露级别,则意味着当前胸部的暴露程度较高,因而在持续暴露时长超过预设时长时,显示第一提示信息在直播间界面中,从而提示主播调整穿着。
200.若胸部区域图像对应的暴露级别达到预设的第三暴露级别,则意味着当前胸部的暴露程度完全违规,因而,直接发出直播间停播指令。
201.在一个可选的实施例中,s301之前,包括步骤:
202.s311:响应于开播界面显示指令,获取第一视频流;其中,第一视频流为开播前采集的视频流,第一视频流中包括若干帧第一视频画面。
203.s312:识别第一视频画面中的第一胸部区域和第一胸部区域对应的暴露级别。
204.s313:若第一胸部区域对应的暴露级别达到预设的第二暴露级别且持续暴露时长
超过预设时长,显示第一提示信息在开播界面中;其中,第一提示信息用于提示主播调整穿着。
205.s313:若第一胸部区域对应的暴露级别达到预设的第三暴露级别,发出直播间停播指令。
206.在直播开播前,主播客户端会先采集第一视频流,从而基于第一视频流中的若干帧第一视频画面,确定主播的穿着是否违规。
207.关于识别第一视频画面中的第一胸部区域和第一胸部区域对应的暴露级别,与第一实施例中的步骤s102的方式是相同的,在此不重复说明。
208.在本实施例中,若第一胸部区域对应的暴露级别达到预设的第二暴露级别,则意味着当前胸部的暴露程度较高,因而在持续暴露时长超过预设时长时,显示第一提示信息在开播界面中,从而能够在开播前提示主播调整穿着。
209.若胸部区域图像对应的暴露级别达到预设的第三暴露级别,则意味着当前胸部的暴露程度完全违规,因而,直接发出直播间停播指令,使得当前主播无法开启直播。
210.请参阅图13,为本技术第四实施例提供的直播画面调整装置的结构示意图。该装置可以通过软件、硬件或两者的结合实现成为计算机设备的全部或一部分。该装置13包括:
211.第一获取单元131,用于获取直播视频流;其中,所述直播视频流中包括若干帧直播画面;
212.第一识别单元132,用于识别所述直播画面中的胸部区域和所述胸部区域对应的暴露级别;
213.第二获取单元133,用于若所述胸部区域对应的暴露级别达到预设的第一暴露级别,根据所述胸部区域对应的暴露级别、所述胸部区域在所述直播画面中的显示尺寸以及所述胸部区域在所述直播画面中的显示位置,确定所述直播画面中的待遮挡区域;
214.第一调整单元134,用于根据所述直播画面中的所述待遮挡区域,调整所述直播画面得到目标直播画面;
215.第一输出单元135,用于将包括所述目标直播画面的目标直播视频流发送至服务器,使所述服务器将所述目标直播视频流输出至直播间内的客户端显示。
216.需要说明的是,上述实施例提供的直播画面调整装置在执行直播画面调整方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分为不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的直播画面调整装置与直播画面调整方法属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
217.请参阅图14,为本技术第五实施例提供的计算机设备的结构示意图。如图14所示,该计算机设备14可以包括:处理器140、存储器141以及存储在该存储器141并可以在该处理器140上运行的计算机程序142,例如:直播画面调整程序;该处理器140执行该计算机程序142时实现上述第一实施例至第三实施例中的步骤。
218.其中,该处理器140可以包括一个或多个处理核心。处理器140利用各种接口和线路连接计算机设备14内的各个部分,通过运行或执行存储在存储器141内的指令、程序、代码集或指令集,以及调用存储器141内的数据,执行计算机设备14的各种功能和处理数据,可选的,处理器140可以采用数字信号处理(digital signal processing,dsp)、现场可编
程门阵列(field-programmable gate array,fpga)、可编程逻辑阵列(programble logic array,pla)中的至少一个硬件形式来实现。处理器140可集成中央处理器(central processing unit,cpu)、图像处理器(graphics processing unit,gpu)和调制解调器等中的一种或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责触摸显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器140中,单独通过一块芯片进行实现。
219.其中,存储器141可以包括随机存储器(random access memory,ram),也可以包括只读存储器(read-only memory)。可选的,该存储器141包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器141可用于存储指令、程序、代码、代码集或指令集。存储器141可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器141可选的还可以是至少一个位于远离前述处理器140的存储装置。
220.本技术实施例还提供了一种计算机存储介质,该计算机存储介质可以存储有多条指令,该指令适用于由处理器加载并执行上述实施例的方法步骤,具体执行过程可以参见上述实施例的具体说明,在此不进行赘述。
221.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
222.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
223.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
224.在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
225.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络
单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
226.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
227.集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
228.本发明并不局限于上述实施方式,如果对本发明的各种改动或变形不脱离本发明的精神和范围,倘若这些改动和变形属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变形。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献