直播互动方法、系统、计算机设备及其存储介质与流程

1.本发明涉及网络直播技术领域，尤其涉及一种直播互动方法、系统、计算机设备及其存储介质。


背景技术：

2.目前的网络直播有手机网络直播和电脑网络直播，都是通过主播在各种场所采用手机或电脑，再通过直播平台实时上传发布以供观众进行观看。在相关技术中，发明人发现，现有的直播互动方式比较简单，在观众赠送礼物后，只有一些简单的礼物效果，不能根据主播的动作展示礼物效果，造成主播和观众之间的互动性差。


技术实现要素：

3.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种直播互动方法。
4.本发明的第二个目的在于提出一种直播互动装置。
5.本发明的第三个目的在于提出一种计算机设备。
6.本发明的第四个目的在于提出一种计算机存储介质。
7.为实现上述目的，第一方面，根据本发明实施例的一种直播互动方法，包括：
8.当接收到观众客户端的送礼操作时，向主播客户端发出提示指令；
9.根据所述主播客户端的响应，获取所述主播客户端的当前行为信息；
10.根据所述当前行为信息，查询所述主播客户端的历史行为信息；其中，所述历史行为信息为所述主播客户端在历史时间段内的多次行为信息；
11.判断所述历史行为信息中是否存在与所述当前行为信息相对应的目标行为信息；
12.当存在时，将所述目标行为信息对应的虚拟互动对象输出至所述观众客户端进行展示。
13.优选地，所述当接收到观众客户端的送礼操作时，向主播客户端发出提示指令包括：
14.当接收到所述观众客户端的送礼操作时，在所述观众客户端和所述主播客户端显示礼物信息；其中，所述礼物信息包括送礼者的虚拟身份id和礼物类别；
15.根据所述礼物信息，将所述提示指令向所述主播客户端以弹窗任务进行弹出。
16.优选地，所述行为信息至少包括肢体动作和/或面部动作；所述根据所述主播客户端的响应，获取所述主播客户端的当前行为信息包括：
17.根据直播者在所述主播客户端的触发操作，所述主播客户端通过摄像头采集所述当前行为信息；
18.接收所述主播客户端采集的所述当前行为信息。
19.优选地，所述判断所述历史行为信息中是否存在与所述当前行为信息相对应的目标行为信息包括：
20.遍历所述历史行为信息中的多次行为信息；
21.将所述当前行为信息与所述多次行为信息一一匹配，以得到匹配结果；
22.根据所述匹配结果对所述当前行为信息进行判断。
23.优选地，所述判断所述历史行为信息中是否存在与所述当前行为信息相对应的目标行为信息之后还包括：
24.当不存在时，将所述当前行为信息进行存储；
25.将存储后的所述当前行为信息进行分析；
26.根据所述当前行为信息的分析结果，将预设虚拟互动对象进行训练；
27.将训练后的所述预设虚拟互动对象确定为所述当前行为信息对应的虚拟互动对象进行存储，并输出至所述观众客户端进行展示。
28.优选地，所述将存储后的所述当前行为信息进行分析包括：
29.确定所述当前行为信息的肢体动作和/或面部动作；
30.将所述肢体动作和/或面部动作进行特征提取以输出分析结果。
31.优选地，所述根据所述当前行为信息的分析结果，将预设虚拟互动对象进行训练包括：
32.根据所述分析结果和所述预设虚拟互动对象，将所述分析结果和所述预设虚拟对象输入预设网络模型进行训练。
33.第二方面，根据本发明实施例的一种直播互动系统，包括：
34.发送模块，用于当接收到观众客户端的送礼操作时，向主播客户端发出提示指令；
35.获取模块，用于根据所述主播客户端的响应，获取所述主播客户端的当前行为信息；
36.查询模块，用于根据所述当前行为信息，查询所述主播客户端的历史行为信息；其中，所述历史行为信息为所述主播客户端在历史时间段内的多次行为信息；
37.判断模块，用于判断所述历史行为信息中是否存在与所述当前行为信息相对应的目标行为信息；
38.输出模块，用于当存在时，将所述目标行为信息对应的虚拟互动对象输出至所述观众客户端进行展示。
39.第三方面，根据本发明实施例的计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述直播互动方法。
40.第四方面，根据本发明实施例的计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的直播互动方法。
41.根据本发明实施例提供的直播互动方法，当接收到观众客户端的送礼操作时，向主播客户端发出提示指令；根据所述主播客户端的响应，获取所述主播客户端的当前行为信息；根据所述当前行为信息，查询所述主播客户端的历史行为信息；并判断所述历史行为信息中是否存在与所述当前行为信息相对应的目标行为信息；当存在目标行为信息时，将所述目标行为信息对应的虚拟互动对象输出至所述观众客户端进行展示。本发明可以根据主播的动作进行展示礼物效果，使得主播和观众之间的互动性更好。
42.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变
得明显，或通过本发明的实践了解到。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
44.图1是本发明提供的直播互动方法的流程结构框图；
45.图2是本发明提供的步骤s10的具体流程结构框图；
46.图3是本发明提供的步骤s40的具体流程结构框图；
47.图4是本发明提供的直播互动方法的另一流程结构框图；
48.图5是本发明提供的直播互动系统的结构框图；
49.图6本发明实施例中提供的计算机设备的结构框图。
50.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
51.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
52.参照图1所示，本发明实施例的一种直播互动方法，包括：
53.s10、当接收到观众客户端的送礼操作时，向主播客户端发出提示指令。
54.其中，观众客户端和主播客户端可以是电脑、手机等电子设备，观众客户端和主播客户端可以通过直播平台上进行互动，例如观众可以在观众客户端可以发送弹幕、打赏、送礼、留言等，直播平台可以实时接收到观众在观众客户端的送礼操作，使得直播平台可以向主播客户端发出提示指令以提示主播进行反馈互动。
55.具体的，上述步骤s10的具体实现方式包括：
56.s11、当接收到观众客户端的送礼操作时，在观众客户端和主播客户端显示礼物信息；其中，礼物信息包括送礼者的虚拟身份id和礼物类别；
57.s12、根据礼物信息，将提示指令向主播客户端以弹窗任务进行弹出。
58.在本实施例中，在观众通过观众客户端送礼时，可以在观众客户端和主播客户端同时显示赠送的礼物信息，使主播和其它观众都可以查看到，可以理解的是，虚拟身份id可以是观众的昵称等，礼物类别则可以是不同价值的礼物；在显示礼物信息时，直播平台则向主播客户端发出提示指令，提示指令采用弹窗任务进行弹出时，可以使主播更直观查看到，在采用电脑直播时，弹窗任务可以采用右下角弹窗等方式进行弹出，在采用手机直播时，弹窗任务可以采用通知栏方式进行弹出；提示指令可以是用于提示主播进行互动的操作，例如“xxx送出跑车，请主播与xxx互动交流”，如此，可以使得互动性更强，直播效果更佳。
59.s20、根据主播客户端的响应，获取主播客户端的当前行为信息。
60.其中，行为信息至少包括肢体动作和/或面部动作，也就是说，在主播客户端接收到提示指令后，主播可以根据提示指令做出肢体动作或面部动作，或者同时做肢体动作和
面部动作，例如肢体动作可以是手臂比心、手掌比心、鼓掌等，面部动作可以是嘟嘴、眨眼等。
61.具体的，上述步骤s20的具体实现方式包括：根据直播者在主播客户端的触发操作，主播客户端通过摄像头采集当前行为信息；接收主播客户端采集的当前行为信息。
62.在本实施例中，在主播通过主播客户端做出动作时，主播客户端可以通过摄像头采集主播的当前行为信息，也即是主播在当前时间做出的肢体动作和/或面部动作，进而使直播平台可以从主播客户端接收确认。
63.s30、根据当前行为信息，查询主播客户端的历史行为信息；其中，历史行为信息为主播客户端在历史时间段内的多次行为信息。
64.其中，历史时间段可以是1个月内，在历史时间段内，主播每次与观众互动所产生的行为信息会被记录并存储，因此，可以理解的是，通过查询历史行为信息，以对当前行为信息进行判断，使直播平台可以更准确地确定主播的当前行为信息。
65.s40、判断历史行为信息中是否存在与当前行为信息相对应的目标行为信息。
66.具体的，上述步骤的具体实现方式s40包括：
67.s31、遍历历史行为信息中的多次行为信息；
68.s32、将当前行为信息与多次行为信息一一匹配，以得到匹配结果；
69.s33、根据匹配结果对当前行为信息进行判断。
70.在本实施例中，通过将当前行为信息和历史行为信息进行一一匹配，进而确定出当前行为信息是否和历史行为信息一致，例如，当前行为信息为“嘟嘴”时，在历史行为信息中也存在“嘟嘴”这一行为信息，则确定历史行为信息中的“嘟嘴”这一行为信息为目标行为信息，如此，可以使其对当前行为信息判断更准确；可选的，将当前行为信息和历史行为信息进行匹配，可以采用3d人脸识别算法或openpose算法进行匹配计算；可以理解的是，通过将主播本人的历史行为信息和当前行为进行判断，可以确保与其本人贴合度更高，判断更为准确。
71.s50、当存在时，将目标行为信息对应的虚拟互动对象输出至观众客户端进行展示。
72.在本实施例中，虚拟互动对象是通过历史行为信息训练得到的，在直播平台中存储有预设虚拟互动对象，通过对历史行为信息中的动作、表情等进行捕捉，然后对预设虚拟互动对象进行训练，使得到的虚拟互动对象能够根据不同的行为信息做出不同的动作，并反馈至观众客户端进行展示，使其互动效果更好；可选的，虚拟互动对象可以是卡通人物形象、或萌宠形象等，并且可以做出不同的动作，并且，预设虚拟互动对象可以设置成没有动作的卡通人物形象、或萌宠形象；也就是说，历史行为信息中对应有不同的虚拟互动对象，在当前行为信息和目标行为信息一致时，则将目标行为信息对应的虚拟互动对象输出以供展示观看，使得互动效果更强。
73.优选地，上述步骤s40之后还包括：
74.s41、当不存在时，将当前行为信息进行存储；
75.s42、将存储后的当前行为信息进行分析；
76.s43、根据当前行为信息的分析结果，将预设虚拟互动对象进行训练；
77.s44、将训练后的预设虚拟互动对象确定为当前行为信息对应的虚拟互动对象进
行存储，并输出至观众客户端进行展示。
78.在本实施例中，在历史行为信息中不存在目标行为信息时，将当前行为信息存储，并分析当前行为信息中的动作，通过对当前行为信息中的动作进行捕捉，然后将捕捉的动作对预设虚拟互动对象进行训练，进而确定出当前行为信息对应的虚拟互动对象，进而将其存储并输出至观众客户端进行展示，以便于在后续再次有该动作时，可以将其确定为目标行为信息，并进行展示互动，使其能够适用更多场景；可选的，虚拟互动对象可以在进行展示时，可以全屏展示或放大展示，使得送礼者能够更好地与主播互动，趣味性和互动性更佳。
79.具体的，上述步骤s42的具体实现方式包括确定当前行为信息的肢体动作和/或面部动作；将肢体动作和/或面部动作进行特征提取以输出分析结果；根据分析结果和预设虚拟互动对象，将分析结果和预设虚拟对象输入预设网络模型进行训练。
80.其中，预设网络模型可以是openpose算法，openpose算法可以提供2d和3d的多人关键点检测，同时还有针对估计具体区域参数的校准工具箱。并且openpose算法可接受的输入有很多种，可以是图片、视频、网络摄像头等；可以理解的是，在当前行为信息中存在肢体动作和/或面部动作时，通过预设网络模型进行训练，可以使得虚拟互动对象的动作与当前行为信息更为贴合互动效果更好。
81.参照图5所示，根据本发明实施例提供的直播互动系统60，包括：
82.发送模块61，用于当接收到观众客户端的送礼操作时，向主播客户端发出提示指令；
83.获取模块62，用于根据主播客户端的响应，获取主播客户端的当前行为信息；
84.查询模块63，用于根据当前行为信息，查询主播客户端的历史行为信息；其中，历史行为信息为主播客户端在历史时间段内的多次行为信息；
85.判断模块64，用于判断历史行为信息中是否存在与当前行为信息相对应的目标行为信息；
86.输出模块65，用于当存在时，将目标行为信息对应的虚拟互动对象输出至观众客户端进行展示。
87.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置或系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
88.参照图6所示，图6示出了本发明实施例提供的计算机设备实施例的结构示意图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，该计算机设备70包括存储器72、处理器71以及存储在所述存储器72中并可在所述处理器71上运行的计算机程序，所述处理器71执行所述计算机程序时实现如上述实施例所述方法的步骤。或者，所述处理器71执行所述计算机程序时实现上述实施例所述装置中的各模块/单元的功能。
89.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器72中，并由所述处理器71执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备70中的执行过程。
90.计算机设备70可包括，但不仅限于处理器71、存储器72。本领域技术人员可以理解，图6仅仅是计算机设备70的示例，并不构成对计算机设备70的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备70还可以包括输入输出设备、网络接入设备、总线等。
91.所称处理器71可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器71、数字信号处理器71(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(fieldprogrammable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立预设硬件组件等。通用处理器71可以是微处理器71或者该处理器71也可以是任何常规的处理器71等。
92.存储器72可以是所述计算机设备70的内部存储单元，例如计算机设备70的硬盘或内存。所述存储器72也可以是所述计算机设备70的外部存储设备，例如所述计算机设备70上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器72还可以既包括所述计算机设备70的内部存储单元也包括外部存储设备。所述存储器72用于存储所述计算机程序以及所述计算机设备70所需的其他程序和数据。所述存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
93.本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器71执行时实现如上述实施例中所述方法中的步骤，或者，所述计算机程序被处理器71执行时实现上述实施例中所述装置中的各模块/单元的功能。
94.所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器71执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
95.需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
96.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
97.本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
98.本发明实施例系统中的模块或单元可以根据实际需要进行合并、划分和删减。
99.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子预设硬件、或者计算机软件和电子预设硬件的结合来实现。这些功能究竟以预设硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
100.本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备700和方法，可
以通过其它的方式实现。例如，以上所描述的装置/计算机设备700实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
101.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。