一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种视频交互方法、装置、计算机及可读存储介质与流程

2023-02-19 03:19:42 来源:中国专利 TAG:


1.本技术涉及计算机技术领域,尤其涉及一种视频交互方法、装置、计算机及可读存储介质。


背景技术:

2.随着互联网的发展,对于产品的推广方式以及用户获取虚拟资源的方式也越来越多样化,使得用户可以在不同的场景下获取到可能有所需要的虚拟资源,使得虚拟资源的发放更为方便。在社交通讯领域,用户需要在聊天过程中,往往是发送了通讯消息,当服务器检测到该通讯消息命中了预先设置的关键词等时,认为该用户触发了虚拟资源,该服务器向该用户所在的用户设备中发送虚拟资源,使得用户往往需要主动发送包括与虚拟资源相关的关键词的消息,才可以获取到该虚拟资源,这种情况下,用户所发送的用于获取虚拟资源的通讯消息很可能会与聊天内容不相关,造成通讯内容杂乱,从而影响正常的通讯,而且,以上触发虚拟资源的方式较为单一,使得虚拟资源的触发不够灵活。


技术实现要素:

3.本技术实施例提供了一种视频交互方法、装置、计算机及可读存储介质,可以丰富虚拟资源的触发方式,提高虚拟资源触发的灵活性。
4.本技术实施例一方面提供了一种视频交互方法,该方法包括:
5.在视频交互页面中显示n个视频窗口;n为正整数;
6.当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中获取视频交互图像;视频交互图像的内容为n个视频画面中图形提示框所覆盖区域的内容;
7.若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示与虚拟图像关联的虚拟资源。
8.本技术实施例一方面提供了一种视频交互装置,该装置包括:
9.窗口显示模块,用于在视频交互页面中显示n个视频窗口;n为正整数;
10.图像获取模块,用于当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中获取视频交互图像;视频交互图像的内容为n个视频画面中图形提示框所覆盖区域的内容;
11.资源显示模块,用于若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示与虚拟图像关联的虚拟资源。
12.其中,该资源显示模块,包括:
13.虚拟图像显示单元,用于若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示虚拟图像;
14.资源显示单元,用于将虚拟图像切换显示为与虚拟图像关联的虚拟资源。
15.其中,该虚拟图像显示单元,具体用于:
16.若视频交互图像与图形提示框所指示的虚拟图像相匹配,则在视频交互页面添加遮罩图层,在遮罩图层中显示虚拟图像。
17.其中,该资源显示单元,包括:
18.图标显示子单元,用于将虚拟图像切换显示为至少两个虚拟资源图标;
19.资源触发子单元,用于响应针对至少两个虚拟资源图标中的目标虚拟资源图标的触发操作,显示目标虚拟资源图标对应的目标虚拟资源。
20.其中,该装置还包括:
21.组件显示模块,用于响应针对虚拟资源的触发操作,显示虚拟资源的资源触发组件;
22.组件触发模块,用于响应针对资源触发组件的触发操作,显示针对虚拟资源的获取成功提示消息。
23.其中,该图像获取模块,包括:
24.窗口调整单元,用于当在视频交互页面中显示图形提示框,且n个视频窗口中存在无重合视频窗口时,对n个视频窗口进行窗口调整显示;无重合视频窗口是指与图形提示框之间不存在重合区域的视频窗口;调整显示后的n个视频窗口中不存在无重合视频窗口;
25.图像获取单元,用于从调整显示后的n个视频窗口中分别显示的视频画面中获取视频交互图像。
26.其中,该窗口调整单元,包括:
27.窗口缩放子单元,用于当在视频交互页面中显示图形提示框,n个视频窗口中存在无重合视频窗口,且n个视频窗口为单维度显示时,对n个视频窗口中的无重合视频窗口沿显示维度进行延展处理,对n个视频窗口中的交叉视频窗口沿显示维度进行收缩处理;交叉视频窗口是指n个视频窗口中除无重合视频窗口之外的视频窗口;单维度显示是指单行显示或单列显示;
28.单维显示子单元,用于对调整后的n个视频窗口进行单维度显示。
29.其中,该窗口调整单元,包括:
30.区域获取子单元,用于当在视频交互页面中显示图形提示框,n个视频窗口中存在无重合视频窗口,且n个视频窗口为多维度显示时,获取视频交互页面中的提示显示区域;多维度显示是指以至少两行及至少两列进行显示;提示显示区域是指不包括无重合视频窗口的连续矩形区域;
31.尺寸调整子单元,用于将无重合视频窗口插入提示显示区域,根据无重合视频窗口在提示显示区域中的插入位置,对n个视频窗口进行尺寸调整,对尺寸调整后的n个视频窗口进行显示;常规显示区域是指无重合视频窗口所在的区域。
32.其中,该装置还包括:
33.时长触发模块,用于获取视频交互页面对应的视频启动时长,若视频启动时长大于或等于资源触发时间阈值,则在视频交互页面中显示图形提示框。
34.其中,该装置还包括:
35.语音转换模块,用于获取目标对象的语音数据,对语音数据进行文本转换,得到语音数据对应的文本数据;
36.文本分词模块,用于对文本数据进行分词处理,得到m个分词词组;m为正整数;
37.关键触发模块,用于若m个分词词组中存在资源关键词,则获取资源关键词对应的图形提示框,在视频交互页面中显示图形提示框。
38.其中,该关键触发模块,包括:
39.次数统计单元,用于若m个分词词组中存在资源关键词,则在视频交互页面对应的交互视频中,获取资源关键词的历史统计次数;
40.提示显示单元,用于若历史统计次数大于或等于资源触发次数阈值,则获取资源关键词对应的图形提示框,在视频交互页面中显示图形提示框。
41.其中,该图像获取模块,包括:
42.窗口信息获取单元,用于当在视频交互页面中显示图形提示框时,获取每个视频窗口的窗口位置信息及窗口尺寸信息,截取显示图形提示框的视频交互页面,将所截取的视频交互页面确定为提示图像,将窗口位置信息、窗口尺寸信息及提示图像发送至视频处理设备,以使视频处理设备基于窗口位置信息及窗口尺寸信息对提示图像进行窗口预调整,得到调整位置信息及调整尺寸信息;
43.调整信息接收单元,用于接收视频处理设备发送的调整位置信息及调整尺寸信息,根据调整位置信息及调整尺寸信息,在视频交互页面中显示调整后的n个视频窗口;
44.该图像获取单元,还用于从调整后的n个视频窗口中分别显示的视频画面中获取视频交互图像。
45.其中,该图像获取模块,包括:
46.图像生成单元,用于当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中,获取图形提示框所覆盖的图像像素点,将图形提示框所覆盖的图像像素点组成视频交互图像;
47.该装置还包括:
48.色值比对模块,用于获取组成视频交互图像的图像像素点之间的像素色差值,若像素色差值属于图形填充色值范围,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配;该图形填充色值范围为图形提示框所指示的色值范围。
49.其中,该装置还包括:
50.标识获取模块,用于若n个视频窗口中存在无重合视频窗口,则获取n个视频窗口分别对应的窗口标识;无重合视频窗口是指与图形提示框之间不存在重合区域的视频窗口;
51.页面生成模块,用于根据窗口位置信息、窗口尺寸信息以及窗口标识生成模拟窗口页面;模拟窗口页面包括n个模拟窗口,具有相同的窗口标识的视频窗口与模拟窗口相对应;
52.信息确定模块,用于对模拟窗口页面所包括的n个模拟窗口进行窗口预调整,得到调整位置信息及调整尺寸信息;调整位置信息及调整尺寸信息,用于表示调整后的n个模拟窗口分别在模拟窗口页面中的位置信息及尺寸信息,且用于表示n个窗口标识分别对应的位置信息及尺寸信息;
53.调整显示模块,用于根据调整位置信息及调整尺寸信息,对n个窗口标识分别关联的视频窗口进行调整显示;
54.该图像获取模块,具体用于:
55.从调整后的n个视频窗口中分别显示的视频画面中获取视频交互图像。
56.其中,该装置还包括:
57.遮罩生成模块,用于获取图形提示框对应的虚拟图像,基于虚拟图像在提示图像中生成视频窗口遮罩图层;
58.遮罩划分模块,用于根据窗口位置信息及窗口尺寸信息,将视频窗口遮罩图层划分为与n个视频窗口相关联的n个窗口子遮罩图层;
59.比例确定模块,用于获取虚拟图像的图像色值信息,获取第i个窗口子遮罩图层中与图像色值信息相匹配的图像像素点,在第i个窗口子遮罩图层中所占的像素比例;i为小于或等于n的正整数;
60.交叉确定模块,用于若像素比例大于或等于图像显示阈值,则确定第i个窗口子遮罩图层对应的第i个视频窗口为交叉视频窗口;
61.无重合确定模块,用于若像素比例小于图像显示阈值,则确定第i个窗口子遮罩图层对应的第i个视频窗口为无重合视频窗口。
62.其中,该信息确定模块,包括:
63.第一窗口获取单元,用于获取模拟窗口页面中的模拟提示区域,获取模拟提示区域中所包括的第一模拟窗口;模拟提示区域是指不包括无重合视频窗口对应的模拟窗口的连续矩形区域;n个模拟窗口还包括无重合视频窗口对应的第二模拟窗口,以及除第一模拟窗口及第二模拟窗口之外的第三模拟窗口;
64.第一调整单元,用于对第二模拟窗口与第一模拟窗口进行尺寸调整,在模拟提示区域中显示调整后的第一模拟窗口及第二模拟窗口;
65.第二调整单元,用于对第三模拟窗口进行拉伸处理,在模拟窗口页面中除模拟提示区域之外的区域中显示调整后的第三模拟窗口;
66.信息确定单元,用于根据调整后的n个模拟窗口,确定调整位置信息及调整尺寸信息。
67.其中,n个模拟窗口包括第四模拟窗口以及无重合视频窗口对应的第五模拟窗口;第四模拟窗口为n个模拟窗口中除第五模拟窗口之外的模拟窗口;
68.该信息确定模块,包括:
69.第三调整单元,用于若n个模拟窗口为单维度显示,则对第四模拟窗口进行收缩处理,对第五模拟窗口进行拉伸处理,在模拟窗口页面中显示调整后的第四模拟窗口及第五模拟窗口;调整后的第四模拟窗口与图形提示框之间存在重合区域;
70.该信息确定单元,还用于根据调整后的n个模拟窗口,确定调整位置信息及调整尺寸信息。
71.本技术实施例一方面提供了一种计算机设备,包括处理器、存储器、输入输出接口;
72.处理器分别与存储器和输入输出接口相连,其中,输入输出接口用于接收数据及输出数据,存储器用于存储计算机程序,处理器用于调用该计算机程序,以使包含该处理器的计算机设备执行本技术实施例一方面中的视频交互方法。
73.本技术实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设
备执行本技术实施例一方面中的视频交互方法。
74.本技术实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本技术实施例一方面中的各种可选方式中提供的方法。
75.实施本技术实施例,将具有如下有益效果:
76.在本技术实施例中,在视频交互页面中显示n个视频窗口;n为正整数;当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中获取视频交互图像;视频交互图像的内容为n个视频画面中图形提示框所覆盖区域的内容;若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示与虚拟图像关联的虚拟资源。通过以上过程,可以在视频交互过程中,实现对虚拟资源的触发,而且可以通过各个视频窗口中所显示的视频画面触发虚拟资源,而视频窗口中所显示的视频画面是参与该视频交互过程的设备的画面,使得各个终端设备可以参与进该虚拟资源的触发过程中,从而可以提高各个终端设备之间的互动性,丰富视频交互功能。再加上,由于各个终端设备参与了虚拟资源的触发过程,提高各个终端设备对该虚拟资源的参与度,从而提高虚拟资源的推广效果,进而可以丰富虚拟资源的触发方式,提高虚拟资源触发的灵活性。
附图说明
77.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
78.图1是本技术实施例提供的一种视频交互的网络交互架构图;
79.图2是本技术实施例提供的一种视频交互场景示意图;
80.图3是本技术实施例提供的一种视频交互的方法流程图;
81.图4是本技术实施例提供的一种视频交互图像处理过程示意图;
82.图5是本技术实施例提供了一种资源显示场景示意图;
83.图6是本技术实施例提供的一种模拟窗口创建场景示意图;
84.图7a是本技术实施例提供的一种单列显示下的窗口调整场景示意图;
85.图7b是本技术实施例提供的一种单行显示下的窗口调整场景示意图;
86.图8是本技术实施例提供的一种边缘窗口调整场景示意图;
87.图9是本技术实施例提供的一种中间窗口调整场景示意图;
88.图10是本技术实施例提供的一种视频交互场景的交互流程图;
89.图11是本技术实施例提供的一种视频交互装置示意图;
90.图12是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
91.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于
本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
92.其中,本技术实施例可以使用人工智能技术,对视频等进行识别及相关处理,具体可以实现对视频画面的识别及调整等,还可以实现对用户的语音识别等,其中,本技术具体可以涉及人工智能领域中的计算机视觉技术及语音技术等,以提高本技术中方案实现的效率。
93.其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
94.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
95.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
96.语音技术(speech technology)的关键技术有自动语音识别技术和语音合成技术以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来被看好的人机交互方式之一。
97.随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
98.本技术实施例提供的方案涉及人工智能的计算机视觉及语音等技术,具体通过如下实施例进行说明:
99.在本技术实施例中,请参见图1,图1是本技术实施例提供的一种视频交互的网络交互架构图,本技术实施例可以由视频处理设备及终端设备等实现。其中,该视频处理设备101可以与其他终端设备之间进行数据交互,各个终端设备之间也可以相互进行数据交互,其中,各个终端设备之间可以直接进行数据交互,也可以通过视频处理设备101进行数据交互,或者可以通过云技术进行数据交互等,在此不做限制。
100.如图1所示,假定存在至少两个终端设备,如终端设备102a、终端设备102b及终端
设备102c等,各个终端设备之间可以进行视频交互,当各个终端设备进行视频交互时,任意一个终端设备可以显示n个视频窗口,每个视频窗口用于显示对应的终端设备所采集到的视频画面,n为正整数,例如,终端设备102a、终端设备102b及终端设备102c之间进行视频交互,则n为3,任意一个终端设备可以显示3个视频窗口,分别用于显示终端设备102a、终端设备102b及终端设备102c所对应的视频画面。以终端设备102a为例,当触发了针对虚拟资源的获取过程时,终端设备102a可以显示该虚拟资源对应的图形提示框,并基于该图形提示框获取其他终端设备所反馈的第二视频画面,在n个视频窗口中分别显示各个终端设备的第二视频画面,若各个第二视频画面可以组成图形提示框对应的虚拟图形,则认为触发了该虚拟图形对应的虚拟资源,该终端设备102a可以显示该虚拟资源。同理,其他的终端设备,如终端设备102b及终端设备102c等,也可以基于上述过程显示虚拟资源。通过以上过程,可以在不同的用户进行视频交互时,实现对虚拟资源的触发,同时,可以通过不同用户参与进来,对该虚拟资源的图形提示框进行填充,以实现对虚拟资源的触发,可以提高视频交互中的用户之间的互动性,丰富视频交互的功能,而且,可以加深用户对该虚拟资源所对应的虚拟对象的印象,从而提高对虚拟对象的推广效果。进一步地,还可以丰富虚拟资源在交互场景下,虚拟资源的触发方式,提高虚拟资源触发的灵活性。
101.可以理解的是,本技术实施例中所提及的视频处理设备可以是一种计算机设备,本技术实施例中的计算机设备包括但不限于终端设备或服务器。换句话说,计算机设备可以是服务器或终端设备,也可以是服务器和终端设备组成的系统。其中,以上所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(augmented reality/virtual reality,ar/vr)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device,mid),或者火车、轮船、飞行等场景下的终端设备等。如图1中所示,终端设备可以是一种笔记本电脑(如终端设备102b所示)、手机(如终端设备102c所示)或车载设备(如终端设备102a所示)等,图1仅例举出部分的设备,可选的,该终端设备102a是指位于交通工具103中的设备,终端设备102a可以用于显示视频交互页面等,与其他终端设备之间进行视频交互。其中,以上所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
102.具体的,请参见图2,图2是本技术实施例提供的一种视频交互场景示意图。如图2所示,终端设备可以在视频交互页面201中显示n个视频窗口,n为正整数,该n个视频窗口是由该终端设备及与该终端设备进行视频交互的其他终端设备所组成的,也就是说,假定n个终端设备在进行视频交互,则每个终端设备都会对应一个视频窗口,各个终端设备都可以显示参与该视频交互过程的终端设备的视频窗口。例如,假定n为3,即,终端设备1、终端设备2及终端设备3进行视频交互,则终端设备1可以显示3个视频窗口,包括终端设备1的视频窗口、终端设备2的视频窗口及终端设备3的视频窗口;终端设备2可以显示3个视频窗口,包括终端设备1的视频窗口、终端设备2的视频窗口及终端设备3的视频窗口;终端设备3可以显示3个视频窗口,包括终端设备1的视频窗口、终端设备2的视频窗口及终端设备3的视频
窗口。如图2所示,以一个终端设备为例,该终端设备在视频交互页面201中显示n个视频窗口,包括视频窗口2a、视频窗口2b、视频窗口2c、视频窗口2d、视频窗口2e、视频窗口2f、视频窗口2g、视频窗口2h及视频窗口2i,终端设备可以基于该视频交互页面201中的各个视频窗口显示其他终端设备的视频画面。
103.进一步地,当在视频交互页面201中显示图形提示框202时,终端设备可以从n个视频窗口中分别显示的视频画面中获取视频交互图像204。其中,由于当在视频交互页面201中显示图形提示框202时,各个终端设备可能无法实时对该图形提示框202进行反馈,因此可选的,当在视频交互页面201中显示图形提示框202时,终端设备可以在经过提示框响应时间后,从n个视频窗口分别显示的视频画面中获取视频交互图像204,其中,由于该n个视频窗口用于显示各个终端设备所采集的画面内容,用于实现各个终端设备之间的视频交互,因此,该n个视频窗口中所显示的视频画面是处于变化中的,在本技术中,一般是指当在视频交互页面201中显示图形提示框202时,所要获取的各个视频窗口中的视频画面(如图2中的区域203所指示的内容),可选的,可以将该视频画面记作第一视频画面,即,当在视频交互页面201中显示图形提示框202时,从n个视频窗口分别显示的第一视频画面中获取视频交互图像204。若该视频交互图像204与图形提示框202所指示的虚拟图像205相匹配,则可以在资源显示区域206中显示与虚拟图像205相关联的虚拟资源2061。其中,该资源显示区域206可以独立显示于视频交互页面201,也可以显示于该视频交互页面201中,在此不做限制。
104.通过上述过程,实现了在视频交互过程中对虚拟资源的触发,丰富了虚拟资源的触发方式,也丰富了视频交互功能,而且各个终端设备均可以参与进虚拟资源的具体触发过程中,提高了各个终端设备之间的互动性,提高了虚拟资源的推广效果,而且可以提高虚拟资源触发的灵活性。
105.可选的,本技术实施例中所涉及的数据可以存储在计算机设备中,或者可以基于云存储技术或区块链技术对该数据进行存储,在此不做限制。
106.进一步地,请参见图3,图3是本技术实施例提供的一种视频交互的方法流程图。如图3所示,该视频交互过程包括如下步骤:
107.步骤s301,在视频交互页面中显示n个视频窗口。
108.在本技术实施例中,各个终端设备可以进行视频交互,例如,各个终端设备之间可以进行视频通讯,或者可以进行关联直播等,即,该视频交互可以是视频通讯,也可以是关联直播等,在此不做限制。可选的,在视频交互过程中,各个终端设备中所显示的n个视频窗口中的视频画面是不断变化的,实现各个终端设备之间的视频交互,如图2中的视频交互页面201中所显示的视频窗口(如视频窗口2a、视频窗口2b、

视频窗口2i等)所示。
109.进一步地,若终端设备接收到针对图形提示框的显示请求,则终端设备可以在视频交互页面中显示图形提示框,其中,终端设备可以直接在视频交互页面中显示图形提示框,也可以在独立显示于视频交互页面的区域中显示图形提示框等,在此不做限制,其中,该图形提示框在视觉上是覆盖在n个视频窗口上的,如图2中的图形提示框202所示。可选的,终端设备可以获取n个视频窗口在视频交互页面中的页面显示尺寸信息,基于该页面显示尺寸信息获取图形提示框,该图形提示框的尺寸小于或等于该页面显示尺寸信息,在视频交互页面中显示调整后的图形提示框。可选的,终端设备可以基于视频启动时长触发针
对图形提示框的显示请求,也可以根据对象的语音触发针对图形提示框的显示请求等,在此不做限制。具体的,终端设备可以获取视频交互页面对应的视频启动时长,若视频启动时长大于或等于资源触发时间阈值,则在视频交互页面中显示图形提示框。可选的,终端设备在开启视频交互过程时,可以向视频处理设备发起时长配置文件获取请求,基于该时长配置文件获取请求接收视频处理设备所发送的触发时长配置文件,对该触发时长配置文件进行解析,得到资源触发时间阈值,启动视频计时器,当该视频计时器指示视频交互页面对应的视频启动时长大于或等于资源触发时间阈值时,认为触发了针对图形提示框的显示请求,在视频交互页面中显示图形提示框,执行步骤s302。
110.进一步地,终端设备可以获取目标对象的语音数据,对语音数据进行文本转换,得到语音数据对应的文本数据;对文本数据进行分词处理,得到m个分词词组;m为正整数。若m个分词词组中存在资源关键词,则获取资源关键词对应的图形提示框,在视频交互页面中显示图形提示框。可选的,终端设备可以在该资源关键词的出现次数大于或等于资源触发次数阈值时,触发针对图形提示框的显示请求。具体的,若m个分词词组中存在资源关键词,则在视频交互页面对应的交互视频中,获取资源关键词的历史统计次数;若历史统计次数大于或等于资源触发次数阈值,则获取资源关键词对应的图形提示框,在视频交互页面中显示图形提示框。可选的,终端设备可以向视频处理设备发送关键词配置文件获取请求,基于该关键词配置文件获取请求接收视频处理设备所发送的关键词配置文件,对该关键词配置文件进行解析,得到关键词列表,若m个分词词组中存在属于关键词列表的资源关键词,则获取资源关键词对应的图形提示框,在视频交互页面中显示图形提示框,执行步骤s302。
111.步骤s302,当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中获取视频交互图像。
112.在本技术实施例中,视频交互图像的内容为n个视频画面中图形提示框所覆盖区域的内容。可选的,当在视频交互页面中显示图形提示框时,终端设备可以直接从n个视频窗口分别显示的视频画面中获取视频交互图像;或者,当在视频交互页面中显示图形提示框时,终端设备可以在视频交互页面中显示填充提示信息,在经过提示框响应时间后,从n个视频窗口分别显示的视频画面中获取视频交互图像。举例来说,请参见图4,图4是本技术实施例提供的一种视频交互图像处理过程示意图。如图4所示,当在视频交互页面401中显示图形提示框时,终端设备可以在视频交互页面401中显示填充提示信息4011,该填充提示信息4011用于指示各个终端设备填充图形提示框的方式,例如,该填充提示信息4011可以是“请使用肢体连接出图形提示框所指示的虚拟图像”或“请进行涂色填充出图形提示框所指示的虚拟图像”等,在此不做限制。终端设备可以基于该填充提示信息4011,对该图形提示框进行填充,即,更新该终端设备对应的视频窗口中所显示的视频画面,例如,该填充提示信息4011是“请使用肢体连接出图形提示框所指示的虚拟图像”,终端设备可以从n个视频窗口分别显示的视频画面(如图2中区域203所示的视频画面)中获取视频交互图像。或者,该填充提示信息4011是“请进行涂色填充出图形提示框所指示的虚拟图像”,终端设备可以从n个视频窗口分别显示的视频画面(如图4中所示的视频画面)中获取视频交互图像,即,视频窗口4a、视频窗口4b、视频窗口4c、视频窗口4d、视频窗口4e、视频窗口4f、视频窗口4g、视频窗口4h及视频窗口4i等中所显示的视频画面,终端设备可以获取到视频交互图像402,对该视频交互图像402与图形提示框所指示的虚拟图像403进行对比。其中,该图形提
示框所指示的虚拟图像403可以是任意一种可复现的图像,如手势图像、姿势图像、表情图像、文字图像、图案图像或语音符号图像等,在此不做限制。例如,图4中所示的虚拟图像403即为一种文字图像“x”。
113.具体的,当在视频交互页面中显示图形提示框时,终端设备可以直接从n个视频窗口中分别显示的视频画面中获取视频交互图像,如图2中所示的视频交互图像204。或者,当在视频交互页面中显示图形提示框,且n个视频窗口中存在无重合视频窗口时,终端设备可以对n个视频窗口进行窗口调整显示,其中,该无重合视频窗口是指与图形提示框之间不存在重合区域的视频窗口;调整显示后的n个视频窗口中不存在无重合视频窗口;从调整显示后的n个视频窗口中分别显示的视频画面中获取视频交互图像。
114.进一步地,当在视频交互页面中显示图形提示框,且n个视频窗口中存在无重合视频窗口时,对n个视频窗口进行窗口调整显示。具体的,当在视频交互页面中显示图形提示框,n个视频窗口中存在无重合视频窗口,且n个视频窗口为单维度显示时,对n个视频窗口中的无重合视频窗口沿显示维度进行延展处理,对n个视频窗口中的交叉视频窗口沿显示维度进行收缩处理;交叉视频窗口是指n个视频窗口中除无重合视频窗口之外的视频窗口;单维度显示是指单行显示或单列显示。对调整后的n个视频窗口进行单维度显示。
115.或者,当在视频交互页面中显示图形提示框,n个视频窗口中存在无重合视频窗口,且n个视频窗口为多维度显示时,获取视频交互页面中的提示显示区域;多维度显示是指以至少两行及至少两列进行显示,也就是多行多列显示;提示显示区域是指不包括无重合视频窗口的连续矩形区域。将无重合视频窗口插入提示显示区域,根据无重合视频窗口在提示显示区域中的插入位置,对n个视频窗口进行尺寸调整,对尺寸调整后的n个视频窗口进行显示。
116.可选的,当在视频交互页面中显示图形提示框时,终端设备可以获取每个视频窗口的窗口位置信息及窗口尺寸信息,截取显示图形提示框的视频交互页面,将所截取的视频交互页面确定为提示图像,将窗口位置信息、窗口尺寸信息及提示图像发送至视频处理设备,以使视频处理设备基于窗口位置信息及窗口尺寸信息对提示图像进行窗口预调整,得到调整位置信息及调整尺寸信息。接收视频处理设备发送的调整位置信息及调整尺寸信息,根据调整位置信息及调整尺寸信息,在视频交互页面中显示调整后的n个视频窗口;从调整后的n个视频窗口中分别显示的视频画面中获取视频交互图像。
117.可选的,当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中,获取图形提示框所覆盖的图像像素点,将图形提示框所覆盖的图像像素点组成视频交互图像。具体的,终端设备可以基于该图形提示框对n个视频窗口中分别显示的视频画面进行裁剪,得到该图形提示框所覆盖的图像像素点。
118.进一步地,终端设备可以获取组成视频交互图像的图像像素点之间的像素色差值,若像素色差值属于图形填充色值范围,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配;图形填充色值范围为图形提示框所指示的色值范围。可选的,终端设备可以直接计算组成视频交互图像的图像像素点之间的像素色差值;或者,终端设备可以获取组成视频交互图像的图像像素点的像素点信息,获取该像素点信息的色彩空间均值,采用色差公式对该色彩空间均值进行处理,得到像素色差值,其中,该色彩空间均值可以是lab色彩空间均值。其中,lab色彩空间(cielab color space)又称为l*a*b*,是国际照明委员会
(commission international eclairage,cie)定义的色彩空间,将颜色用三个值进行表示,其中,“l*”用于表示感知的亮度,“a*”和“b*”表示人类视觉的四种独特颜色,包括红色、绿色、蓝色和黄色,用于表示一个感知上统一的空间。可选的,终端设备还可以获取组成视频交互图像的图像像素点与相邻像素点之间的像素差异值,若像素色差值属于图形填充色值范围,且像素差异值大于或等于填充色差阈值,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配。
119.可选的,若终端设备未显示填充提示信息,则不同的视频窗口用于填充图形提示框的方式可能不完全相同,也就是说,视频交互图像对应的像素色差值可能不会属于图形填充色值范围,此时,终端设备可以对每个视频窗口中所显示的视频画面进行图像识别,得到每个视频窗口中的填充子图像,根据各个视频窗口在视频交互页面中的显示位置,对每个视频窗口中的填充子图像进行拼接,得到视频交互图像。
120.可选的,若该虚拟图像为语音符号图像,则终端设备也可以获取n个视频窗口中分别对应的音频数据,对n个视频窗口分别对应的音频数据进行词义解析,得到每个视频窗口的语音文本数据。若每个语音文本数据均与语音符号图像所指示的语音信息相匹配,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配;或者,若n个语音文本数据中与语音符号图像所指示的语音信息相匹配的语音文本数据的数量大于或等于语音匹配阈值,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配,该语音匹配阈值是根据n得到的,例如,80%的匹配率即可认为视频交互图像与图形提示框所指示的虚拟图像相匹配,则该语音匹配阈值为n*0.8等,在此不做限制。
121.可选的,若该虚拟图像为手势图像、姿势图像、表情图像、文字图像或图案图像等,则可以从n个视频窗口中分别显示的视频画面中获取视频交互图像,将视频交互图像与虚拟图像进行对比。可选的,可以是该视频交互图像与虚拟图像进行对比。或者,该视频交互图像包括n个交互子图像,将每个交互子图像分别与虚拟图像进行对比,若每个交互子图像均与虚拟图像相匹配,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配;或者,若n个交互子图像中与虚拟图像相匹配的交互子图像的数量大于或等于图像匹配阈值,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配,该图像匹配阈值是根据n得到的,例如,80%的匹配率即可认为视频交互图像与图形提示框所指示的虚拟图像相匹配,则该图像匹配阈值为n*0.8等,在此不做限制。进一步可选的,若该虚拟图像为表情图像,则终端设备还可以获取n个视频窗口分别显示的视频画面,识别每个视频画面中的脸部数据,将每个视频画面中的脸部数据组成视频交互图像。其中,若每个视频画面中的脸部数据均与虚拟图像相匹配,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配;或者,若每个视频画面中的脸部数据中与虚拟图像相匹配的脸部图像的数量大于或等于图像匹配阈值,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配等。
122.以上仅为例举的几种可选的虚拟图像下的匹配方式,本技术中的虚拟图像还可以是其他类型的图像等,在此不做限制。
123.可选的,终端设备可以从n个视频窗口在提示框填充时间段内分别显示的视频画面中,获取该提示框填充时间段内产生的k个视频交互图像,k为正整数,若k个视频交互图像均与图形提示框所指示的虚拟图像相匹配,则表示该图形提示框处于填充状态的时间达到提示框填充时间段,执行步骤s303。
124.步骤s303,若该视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示与虚拟图像相关联的虚拟资源。
125.在本技术实施例中,若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示虚拟图像;将虚拟图像切换显示为与虚拟图像关联的虚拟资源。可选的,若视频交互图像与图形提示框所指示的虚拟图像相匹配,则终端设备可以在视频交互页面添加遮罩图层,在遮罩图层中显示虚拟图像。可选的,在将虚拟图像切换显示为与虚拟图像关联的虚拟资源时,终端设备可以将虚拟图像切换显示为至少两个虚拟资源图标;响应针对至少两个虚拟资源图标中的目标虚拟资源图标的触发操作,显示目标虚拟资源图标对应的目标虚拟资源。
126.举例来说,请参见图5,图5是本技术实施例提供的一种资源显示场景示意图。如图5所示,终端设备在视频交互页面501中显示n个视频窗口,包括视频窗口5a、视频窗口5b、视频窗口5c、视频窗口5d、视频窗口5e、视频窗口5f、视频窗口5g、视频窗口5h及视频窗口5i,当在视频交互页面501中显示图形提示框时,从n个视频窗口中分别显示的视频画面中获取视频交互图像,假定该视频交互图像与图形提示框所指示的虚拟图像相匹配,则在视频交互页面501添加遮罩图层5021,在遮罩图层5021中显示虚拟图像5022,如图5中区域502所指示的页面,将虚拟图像5022切换显示为至少两个虚拟资源图标5031(如区域503所指示的页面),响应针对至少两个虚拟资源图标5031中的目标虚拟资源图标5032的触发操作,显示目标虚拟资源图标5032对应的目标虚拟资源5041,具体可以在资源显示区域504中显示该目标虚拟资源5041。其中,至少两个虚拟资源图标5031可以对应相同的虚拟资源,也可以对应不同的虚拟资源。
127.进一步地,终端设备可以响应针对虚拟资源的触发操作,显示虚拟资源的资源触发组件,如图5中的“领取”组件;响应针对资源触发组件的触发操作,显示针对虚拟资源的获取成功提示消息。
128.可选的,当在视频交互页面中显示图形提示框时,n个视频窗口中往往可能会有与该图形提示框之间不存在重合区域的视频窗口,此时,可以对该n个视频窗口进行调整,使得每个视频窗口均与图形提示框之间存在重合区域,即,n个视频窗口中不存在无重合视频窗口,从而使得参与该视频交互的每个终端设备均可以参与进该视频交互过程中的虚拟资源的触发过程,提高各个终端设备所对应的用户的参与度及互动性。
129.具体的,若n个视频窗口中存在无重合视频窗口,则获取n个视频窗口分别对应的窗口标识;无重合视频窗口是指与图形提示框之间不存在重合区域的视频窗口;根据窗口位置信息、窗口尺寸信息以及窗口标识生成模拟窗口页面;模拟窗口页面包括n个模拟窗口,具有相同的窗口标识的视频窗口与模拟窗口相对应。对模拟窗口页面所包括的n个模拟窗口进行窗口预调整,得到调整位置信息及调整尺寸信息;调整位置信息及调整尺寸信息,用于表示调整后的n个模拟窗口分别在模拟窗口页面中的位置信息及尺寸信息,且用于表示n个窗口标识分别对应的位置信息及尺寸信息;根据调整位置信息及调整尺寸信息,对n个窗口标识分别关联的视频窗口进行调整显示。在从n个视频窗口中分别显示的视频画面中获取视频交互图像时,是从调整后的n个视频窗口中分别显示的视频画面中获取视频交互图像。
130.进一步地,终端设备可以获取图形提示框对应的虚拟图像,基于虚拟图像在提示
图像中生成视频窗口遮罩图层。根据窗口位置信息及窗口尺寸信息,将视频窗口遮罩图层划分为与n个视频窗口相关联的n个窗口子遮罩图层。获取虚拟图像的图像色值信息,获取第i个窗口子遮罩图层中与图像色值信息相匹配的图像像素点,在第i个窗口子遮罩图层中所占的像素比例,i为小于或等于n的正整数。若像素比例大于或等于图像显示阈值,则确定第i个窗口子遮罩图层对应的第i个视频窗口为交叉视频窗口;若像素比例小于图像显示阈值,则确定第i个窗口子遮罩图层对应的第i个视频窗口为无重合视频窗口。
131.其中,在对模拟窗口页面所包括的n个模拟窗口进行窗口预调整,得到调整位置信息及调整尺寸信息时,终端设备可以获取模拟窗口页面中的模拟提示区域,获取模拟提示区域中所包括的第一模拟窗口;模拟提示区域是指不包括无重合视频窗口对应的模拟窗口的连续矩形区域;n个模拟窗口还包括无重合视频窗口对应的第二模拟窗口,以及除第一模拟窗口及第二模拟窗口之外的第三模拟窗口。对第二模拟窗口与第一模拟窗口进行尺寸调整,在模拟提示区域中显示调整后的第一模拟窗口及第二模拟窗口,也就是说,将第二模拟窗口插入到模拟提示区域中,对第二模拟窗口及第一模拟窗口进行尺寸调整,以使调整后的第一模拟窗口与调整后的第二模拟窗口可以在模拟提示区域中进行显示。进一步地,由于将第二模拟窗口插入到模拟提示区域中,使得该第二模拟窗口原来所在的区域处为空,因此,可以对第三模拟窗口进行拉伸处理,在模拟窗口页面中除模拟提示区域之外的区域中显示调整后的第三模拟窗口;根据调整后的n个模拟窗口,确定调整位置信息及调整尺寸信息。
132.其中,n个模拟窗口包括第四模拟窗口以及无重合视频窗口对应的第五模拟窗口;第四模拟窗口为n个模拟窗口中除第五模拟窗口之外的模拟窗口。在对模拟窗口页面所包括的n个模拟窗口进行窗口预调整,得到调整位置信息及调整尺寸信息时,若n个模拟窗口为单维度显示,则对第四模拟窗口进行收缩处理,对第五模拟窗口进行拉伸处理,在模拟窗口页面中显示调整后的第四模拟窗口及第五模拟窗口;调整后的第四模拟窗口与图形提示框之间存在重合区域。根据调整后的n个模拟窗口,确定调整位置信息及调整尺寸信息。
133.可选的,上述对n个视频窗口进行调整的过程也可以是由视频处理设备实现。具体的,可以参见图6,图6是本技术实施例提供的一种模拟窗口创建场景示意图。如图6所示,视频处理设备接收终端设备发送的提示图像601、窗口位置信息及窗口尺寸信息,其中,该窗口位置信息用于表示n个视频窗口的位置,如n个视频窗口分别在视频交互页面中的坐标位置,窗口尺寸信息用于表示n个视频窗口的尺寸,如n个视频窗口分别对应的长和宽等。视频处理设备可以在该提示图像601中添加视频窗口遮罩图层602,生成遮罩图像603。视频处理设备可以基于窗口位置信息及窗口尺寸信息确定n个视频窗口的边长分割线6041,基于该边长分割线6041对视频窗口遮罩图层602进行划分,得到与n个视频窗口相关联的n个窗口子遮罩图层,如图6中区域604所示。其中,窗口子遮罩图层与该窗口子遮罩图层所覆盖的视频窗口相关联,相关联的窗口子遮罩图层与视频窗口可以认为具有相同的窗口标识。以第i个窗口子遮罩图层与第i个视频窗口为例,可以获取该第i个窗口子遮罩图层中与图像色值信息相匹配的图像像素点,在第i个窗口子遮罩图层中所占的像素比例。若第i个窗口子遮罩图层对应的像素比例大于或等于图像显示阈值,则确定第i个窗口子遮罩图层对应的第i个视频窗口为交叉视频窗口;若像素比例小于图像显示阈值,则确定第i个窗口子遮罩图层对应的第i个视频窗口为无重合视频窗口。同理,得到n个窗口子遮罩图层的检测结果。若n
个窗口子遮罩图层中存在无重合视频窗口,则生成模拟窗口页面605,该模拟窗口页面605中包括n个模拟窗口,该n个模拟窗口与n个视频窗口一一对应,具有相同的窗口标识的模拟窗口与视频窗口的位置及尺寸等均相同。视频处理设备可以对该模拟窗口页面605所包括的n个模拟窗口进行窗口预调整,得到调整位置信息及调整尺寸信息,将该调整位置信息及调整尺寸信息发送至终端设备,终端设备可以基于调整位置信息及调整尺寸信息,在视频交互页面显示调整后的n个视频窗口。
134.进一步地,视频处理设备对调整位置信息及调整尺寸信息的确定过程,可以参见上述终端设备对调整位置信息及调整尺寸信息的确定过程。举例来说,请参见图7a至图9,图7a至图9是本技术实施例提供的针对窗口的几种可选的调整方式。例如,图7a是本技术实施例提供的一种单列显示下的窗口调整场景示意图。如图7a所示,假定视频窗口

为无重合视频窗口,则n个模拟窗口701包括模拟窗口

及模拟窗口

,模拟窗口

为无重合视频窗口对应的第五模拟窗口,模拟窗口

为除第五模拟窗口之外的第四模拟窗口。视频处理设备可以对第四模拟窗口(即模拟窗口

)进行收缩处理,对第五模拟窗口(即模拟窗口

)进行拉伸处理,得到调整后的n个模拟窗口702,基于调整后的n个模拟窗口702,确定调整位置信息及调整尺寸信息。具体的,视频处理设备可以保持各个模拟窗口的横坐标不变,增大第五模拟窗口占用的纵坐标比例,使得调整后的模拟窗口中不存在无重合模拟窗口,无重合模拟窗口与无重合视频窗口的定义相同。可选的,视频处理设备可以每次递增第五模拟窗口高度的固定比例(如10%等),经过多次调整,直至调整后的模拟窗口中不存在无重合模拟窗口。
135.例如,图7b是本技术实施例提供的一种单行显示下的窗口调整场景示意图。如图7b所示,假定视频窗口

为无重合视频窗口,则n个模拟窗口703包括模拟窗口

及模拟窗口

,模拟窗口

为无重合视频窗口对应的第五模拟窗口,模拟窗口

为除第五模拟窗口之外的第四模拟窗口。视频处理设备可以对第四模拟窗口(即模拟窗口

)进行收缩处理,对第五模拟窗口(即模拟窗口

)进行拉伸处理,得到调整后的n个模拟窗口704,基于调整后的n个模拟窗口704,确定调整位置信息及调整尺寸信息。具体的,视频处理设备可以保持各个模拟窗口的纵坐标不变,增大第五模拟窗口占用的横坐标比例,使得调整后的模拟窗口中不存在无重合模拟窗口,无重合模拟窗口与无重合视频窗口的定义相同。可选的,视频处理设备可以每次递增第五模拟窗口宽度的固定比例(如10%等),经过多次调整,直至调整后的模拟窗口中不存在无重合模拟窗口。
136.例如,请参见图8,图8是本技术实施例提供的一种边缘窗口调整场景示意图。如图8所示,假定n个模拟窗口801包括模拟窗口

、模拟窗口

、模拟窗口

及模拟窗口

,假定模拟窗口

为无重合视频窗口对应的模拟窗口(即第二模拟窗口),终端设备可以获取模拟窗口页面中的模拟提示区域,该模拟提示区域可以是模拟提示区域8011或模拟提示区域8012。第(1)种方式下,以模拟提示区域8011为例,该模拟提示区域8011中所包括的第一模拟窗口为模拟窗口

及模拟窗口

,将模拟窗口

插入模拟提示区域8011,基于模拟提示区域8011对模拟窗口

、模拟窗口

及模拟窗口

进行尺寸调整,如对模拟提示区域8011的区域高度进行均分,得到至少两个模拟子区域,在至少两个模拟子区域中分别插入模拟窗口

、模拟窗口

及模拟窗口

;进一步,对模拟窗口

(即第三模拟窗口)进行拉伸处理,进而得到调整后的n个模拟窗口802。第(2)种方式下,以模拟提示区域8012为例,该模拟
提示区域8012中所包括的第一模拟窗口为模拟窗口

及模拟窗口

,将模拟窗口

插入模拟提示区域8012,基于模拟提示区域8012对模拟窗口

、模拟窗口

及模拟窗口

进行尺寸调整,如对模拟提示区域8012的区域宽度进行均分,得到至少两个模拟子区域,在至少两个模拟子区域中分别插入模拟窗口

、模拟窗口

及模拟窗口

;进一步,对模拟窗口

(即第三模拟窗口)进行拉伸处理,进而得到调整后的n个模拟窗口803。
137.例如,请参见图9,图9是本技术实施例提供的一种中间窗口调整场景示意图。如图9所示,假定n个模拟窗口901包括模拟窗口

、模拟窗口

、模拟窗口

、模拟窗口

、模拟窗口

、模拟窗口

、模拟窗口

、模拟窗口

及模拟窗口

,假定模拟窗口

为无重合视频窗口对应的模拟窗口(即第二模拟窗口),终端设备可以获取模拟窗口页面中的模拟提示区域,该模拟提示区域可以是模拟提示区域9011、模拟提示区域9012、模拟提示区域9013或模拟提示区域9014。以模拟提示区域9012为例,将模拟窗口

插入模拟提示区域9012中,对模拟窗口

,以及模拟提示区域9012所包括的模拟窗口

、模拟窗口

及模拟窗口

进行尺寸调整,对模拟窗口

及模拟窗口

进行拉伸处理,得到调整后的n个模拟窗口902。
138.其中,本技术可以应用于视频交互领域,该虚拟资源可以是产品资源或游戏资源等,在此不做限制。例如,虚拟图像用于指示目标产品,则该虚拟图像所对应的虚拟资源可以包括但不限于目标产品的优惠信息(如优惠券等)及产品试用权等;例如,该虚拟图像用于指示目标游戏,则该虚拟图像所对应的虚拟资源可以包括但不限于目标游戏中的游戏道具、游戏道具优惠信息及游戏任务完成卡片等。举例来说,n个用户在进行视频交互,讨论目标游戏,当触发针对目标游戏对应的图形提示框的显示请求时,终端设备在视频交互页面中显示图形提示框,各个用户所在的终端设备基于n个视频窗口填充该图形提示框。此时,终端设备从n个视频窗口分别显示的视频画面中获取视频交互图像,若该视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示与该虚拟图像相关联的虚拟资源,即与目标游戏相关联的虚拟资源,其中,该图形提示框可以是根据该目标游戏的图标生成的提示框,也可以是根据该目标游戏的游戏名称生成的提示框等,在此不做限制。
139.在本技术实施例中,在视频交互页面中显示n个视频窗口;n为正整数;当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中获取视频交互图像;视频交互图像的内容为n个视频画面中图形提示框所覆盖区域的内容;若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示与虚拟图像关联的虚拟资源。通过以上过程,可以在视频交互过程中,实现对虚拟资源的触发,而且可以通过各个视频窗口中所显示的视频画面触发虚拟资源,而视频窗口中所显示的视频画面是参与该视频交互过程的设备的画面,使得各个终端设备可以参与进该虚拟资源的触发过程中,从而可以提高各个终端设备之间的互动性,丰富视频交互功能。再加上,由于各个终端设备参与了虚拟资源的触发过程,提高各个终端设备对该虚拟资源的参与度,从而提高虚拟资源的推广效果,进而可以丰富虚拟资源的触发方式,提高虚拟资源触发的灵活性。
140.进一步地,可以参见图10,图10是本技术实施例提供的一种视频交互场景的交互流程图。如图10所示,该过程包括如下步骤:
141.步骤s1、用户(即目标对象)输入语音数据。
142.步骤s2、对语音数据进行文本转换。
143.在本技术实施例中,终端设备可以对语音数据进行文本转换,得到语音数据对应
的文本数据。
144.步骤s3、在关键词库中检索文本数据。
145.在本技术实施例中,终端设备可以对文本数据进行分词处理,得到m个分词词组,在关键词库中检索文本数据所包括的m个分词词组。
146.步骤s4、返回检索结果。
147.步骤s5、当存在资源关键词时,将资源关键词发送至视频处理设备。
148.在本技术实施例中,当检索结果用于表示m个分词词组中存在资源关键词时,将资源关键词发送至视频处理设备。
149.步骤s6、视频处理设备在提示框库中获取资源关键词对应的图形提示框。
150.步骤s7、返回图形提示框。
151.步骤s8、将图形提示框及虚拟资源发送至终端设备。
152.步骤s9、获取图形提示框,获取图形提示框的覆盖情况。
153.在本技术实施例中,终端设备可以获取图形提示框,获取该图形提示框对n个视频窗口的覆盖情况。
154.步骤s10、调整n个视频窗口。
155.在本技术实施例中,终端设备可以基于该图形提示框对n个视频窗口的覆盖情况,调整n个视频窗口,确定调整位置信息及调整尺寸信息。
156.步骤s11、重新渲染n个视频窗口。
157.在本技术实施例中,终端设备可以基于调整位置信息及调整尺寸信息,在视频交互页面中重新渲染n个视频窗口。
158.步骤s12、检测图形提示框中的达标率。
159.在本技术实施例中,终端设备可以检测图形提示框中的达标率,即,检测从调整后的n个视频窗口分别显示的视频画面中获取到的视频交互图像,与虚拟图像的匹配度,若视频交互图像与虚拟图像相匹配,则执行步骤s13。
160.步骤s13、达标后,显示虚拟资源。
161.在本技术实施例中,终端设备可以在视频交互图像与虚拟图像相匹配时,显示与虚拟图像关联的虚拟资源。
162.步骤s14、点击“领取”组件。
163.步骤s15、向视频处理设备发送资源领取请求,将用户信息及虚拟资源信息发送至视频处理设备。
164.步骤s16、存储相关信息。
165.在本技术实施例中,视频处理设备可以对用户信息及虚拟资源信息等进行存储,如存储至视频处理设备中,或存储至云存储空间中,或者存储至区块链网络中等。
166.步骤s17、通知终端设备,领取成功。
167.在本技术实施例中,视频处理设备向终端设备发送资源领取成功消息。
168.步骤s18、显示获取成功提示消息。
169.在本技术实施例中,终端设备可以显示针对虚拟资源的获取成功提示消息。
170.可选的,图形提示框的数量可以为一个或至少两个,若图形提示框为至少两个,则终端设备可以为每个图形提示框提供提示框填充时间段,获取每个图形提示框的填充结
果,若每个图形提示框对应获取到的视频交互图像均与该图形提示框所指示的虚拟图像相匹配,则显示该至少两个图形提示框所关联的虚拟资源。通过该方式,可以使得无法一次性填充的图形提示框所关联的虚拟资源也可以被触发。或者,至少两个图形提示框所关联的虚拟资源不同,此时,终端设备可以显示每个图形提示框关联的虚拟资源,使得终端设备可以同时获取到多种不同类型的虚拟资源。例如,存在产品a对应的图形提示框及产品b对应的图形提示框,此时,终端设备可以同时获取到产品a及产品b分别对应的虚拟资源等。可选的,终端设备可以显示一个或至少两个虚拟资源图标,该虚拟资源图标的数量可以是随机的,也可以是预先设置的。终端设备可以对一个或至少两个虚拟资源图标进行静态显示,也可以对一个或至少两个虚拟资源图标进行动态显示等,在此不做限制。
171.进一步地,请参见图11,图11是本技术实施例提供的一种视频交互装置示意图。该视频交互装置可以是运行于计算机设备中的一个计算机程序(包括程序代码等),例如该视频交互装置可以为一个应用软件;该装置可以用于执行本技术实施例提供的方法中的相应步骤。如图11所示,该视频交互装置1100可以用于图3所对应实施例中的计算机设备,具体的,该装置可以包括:窗口显示模块11、图像获取模块12及资源显示模块13。
172.窗口显示模块11,用于在视频交互页面中显示n个视频窗口;n为正整数;
173.图像获取模块12,用于当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中获取视频交互图像;视频交互图像的内容为n个视频画面中图形提示框所覆盖区域的内容;
174.资源显示模块13,用于若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示与虚拟图像关联的虚拟资源。
175.其中,该资源显示模块13,包括:
176.虚拟图像显示单元131,用于若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示虚拟图像;
177.资源显示单元132,用于将虚拟图像切换显示为与虚拟图像关联的虚拟资源。
178.其中,该虚拟图像显示单元131,具体用于:
179.若视频交互图像与图形提示框所指示的虚拟图像相匹配,则在视频交互页面添加遮罩图层,在遮罩图层中显示虚拟图像。
180.其中,该资源显示单元132,包括:
181.图标显示子单元1321,用于将虚拟图像切换显示为至少两个虚拟资源图标;
182.资源触发子单元1322,用于响应针对至少两个虚拟资源图标中的目标虚拟资源图标的触发操作,显示目标虚拟资源图标对应的目标虚拟资源。
183.其中,该装置1100还包括:
184.组件显示模块14,用于响应针对虚拟资源的触发操作,显示虚拟资源的资源触发组件;
185.组件触发模块15,用于响应针对资源触发组件的触发操作,显示针对虚拟资源的获取成功提示消息。
186.其中,该图像获取模块12,包括:
187.窗口调整单元121,用于当在视频交互页面中显示图形提示框,且n个视频窗口中存在无重合视频窗口时,对n个视频窗口进行窗口调整显示;无重合视频窗口是指与图形提
示框之间不存在重合区域的视频窗口;调整显示后的n个视频窗口中不存在无重合视频窗口;
188.图像获取单元122,用于从调整显示后的n个视频窗口中分别显示的视频画面中获取视频交互图像。
189.其中,该窗口调整单元121,包括:
190.窗口缩放子单元1211,用于当在视频交互页面中显示图形提示框,n个视频窗口中存在无重合视频窗口,且n个视频窗口为单维度显示时,对n个视频窗口中的无重合视频窗口沿显示维度进行延展处理,对n个视频窗口中的交叉视频窗口沿显示维度进行收缩处理;交叉视频窗口是指n个视频窗口中除无重合视频窗口之外的视频窗口;单维度显示是指单行显示或单列显示;
191.单维显示子单元1212,用于对调整后的n个视频窗口进行单维度显示。
192.其中,该窗口调整单元121,包括:
193.区域获取子单元1213,用于当在视频交互页面中显示图形提示框,n个视频窗口中存在无重合视频窗口,且n个视频窗口为多维度显示时,获取视频交互页面中的提示显示区域;多维度显示是指以至少两行及至少两列进行显示;提示显示区域是指不包括无重合视频窗口的连续矩形区域;
194.尺寸调整子单元1214,用于将无重合视频窗口插入提示显示区域,根据无重合视频窗口在提示显示区域中的插入位置,对n个视频窗口进行尺寸调整,对尺寸调整后的n个视频窗口进行显示;常规显示区域是指无重合视频窗口所在的区域。
195.其中,该装置1100还包括:
196.时长触发模块16,用于获取视频交互页面对应的视频启动时长,若视频启动时长大于或等于资源触发时间阈值,则在视频交互页面中显示图形提示框。
197.其中,该装置1100还包括:
198.语音转换模块17,用于获取目标对象的语音数据,对语音数据进行文本转换,得到语音数据对应的文本数据;
199.文本分词模块18,用于对文本数据进行分词处理,得到m个分词词组;m为正整数;
200.关键触发模块19,用于若m个分词词组中存在资源关键词,则获取资源关键词对应的图形提示框,在视频交互页面中显示图形提示框。
201.其中,该关键触发模块19,包括:
202.次数统计单元191,用于若m个分词词组中存在资源关键词,则在视频交互页面对应的交互视频中,获取资源关键词的历史统计次数;
203.提示显示单元192,用于若历史统计次数大于或等于资源触发次数阈值,则获取资源关键词对应的图形提示框,在视频交互页面中显示图形提示框。
204.其中,该图像获取模块12,包括:
205.窗口信息获取单元123,用于当在视频交互页面中显示图形提示框时,获取每个视频窗口的窗口位置信息及窗口尺寸信息,截取显示图形提示框的视频交互页面,将所截取的视频交互页面确定为提示图像,将窗口位置信息、窗口尺寸信息及提示图像发送至视频处理设备,以使视频处理设备基于窗口位置信息及窗口尺寸信息对提示图像进行窗口预调整,得到调整位置信息及调整尺寸信息;
206.调整信息接收单元124,用于接收视频处理设备发送的调整位置信息及调整尺寸信息,根据调整位置信息及调整尺寸信息,在视频交互页面中显示调整后的n个视频窗口;
207.该图像获取单元122,还用于从调整后的n个视频窗口中分别显示的视频画面中获取视频交互图像。
208.其中,该图像获取模块12,包括:
209.图像生成单元125,用于当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中,获取图形提示框所覆盖的图像像素点,将图形提示框所覆盖的图像像素点组成视频交互图像;
210.该装置1100还包括:
211.色值比对模块20,用于获取组成视频交互图像的图像像素点之间的像素色差值,若像素色差值属于图形填充色值范围,则确定视频交互图像与图形提示框所指示的虚拟图像相匹配;图形填充色值范围为图形提示框所指示的色值范围。
212.其中,该装置1100还包括:
213.标识获取模块21,用于若n个视频窗口中存在无重合视频窗口,则获取n个视频窗口分别对应的窗口标识;无重合视频窗口是指与图形提示框之间不存在重合区域的视频窗口;
214.页面生成模块22,用于根据窗口位置信息、窗口尺寸信息以及窗口标识生成模拟窗口页面;模拟窗口页面包括n个模拟窗口,具有相同的窗口标识的视频窗口与模拟窗口相对应;
215.信息确定模块23,用于对模拟窗口页面所包括的n个模拟窗口进行窗口预调整,得到调整位置信息及调整尺寸信息;调整位置信息及调整尺寸信息,用于表示调整后的n个模拟窗口分别在模拟窗口页面中的位置信息及尺寸信息,且用于表示n个窗口标识分别对应的位置信息及尺寸信息;
216.调整显示模块24,用于根据调整位置信息及调整尺寸信息,对n个窗口标识分别关联的视频窗口进行调整显示;
217.该图像获取模块12,具体用于:
218.从调整后的n个视频窗口中分别显示的视频画面中获取视频交互图像。
219.其中,该装置1100还包括:
220.遮罩生成模块25,用于获取图形提示框对应的虚拟图像,基于虚拟图像在提示图像中生成视频窗口遮罩图层;
221.遮罩划分模块26,用于根据窗口位置信息及窗口尺寸信息,将视频窗口遮罩图层划分为与n个视频窗口相关联的n个窗口子遮罩图层;
222.比例确定模块27,用于获取虚拟图像的图像色值信息,获取第i个窗口子遮罩图层中与图像色值信息相匹配的图像像素点,在第i个窗口子遮罩图层中所占的像素比例;i为小于或等于n的正整数;
223.交叉确定模块28,用于若像素比例大于或等于图像显示阈值,则确定第i个窗口子遮罩图层对应的第i个视频窗口为交叉视频窗口;
224.无重合确定模块29,用于若像素比例小于图像显示阈值,则确定第i个窗口子遮罩图层对应的第i个视频窗口为无重合视频窗口。
225.其中,该信息确定模块23,包括:
226.第一窗口获取单元231,用于获取模拟窗口页面中的模拟提示区域,获取模拟提示区域中所包括的第一模拟窗口;模拟提示区域是指不包括无重合视频窗口对应的模拟窗口的连续矩形区域;n个模拟窗口还包括无重合视频窗口对应的第二模拟窗口,以及除第一模拟窗口及第二模拟窗口之外的第三模拟窗口;
227.第一调整单元232,用于对第二模拟窗口与第一模拟窗口进行尺寸调整,在模拟提示区域中显示调整后的第一模拟窗口及第二模拟窗口;
228.第二调整单元233,用于对第三模拟窗口进行拉伸处理,在模拟窗口页面中除模拟提示区域之外的区域中显示调整后的第三模拟窗口;
229.信息确定单元234,用于根据调整后的n个模拟窗口,确定调整位置信息及调整尺寸信息。
230.其中,n个模拟窗口包括第四模拟窗口以及无重合视频窗口对应的第五模拟窗口;第四模拟窗口为n个模拟窗口中除第五模拟窗口之外的模拟窗口;
231.该信息确定模块23,包括:
232.第三调整单元235,用于若n个模拟窗口为单维度显示,则对第四模拟窗口进行收缩处理,对第五模拟窗口进行拉伸处理,在模拟窗口页面中显示调整后的第四模拟窗口及第五模拟窗口;调整后的第四模拟窗口与图形提示框之间存在重合区域;
233.该信息确定单元234,还用于根据调整后的n个模拟窗口,确定调整位置信息及调整尺寸信息。
234.本技术实施例提供了一种视频交互装置,该装置可以在视频交互页面中显示n个视频窗口;n为正整数;当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中获取视频交互图像;视频交互图像的内容为n个视频画面中图形提示框所覆盖区域的内容;若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示与虚拟图像关联的虚拟资源。通过以上过程,可以在视频交互过程中,实现对虚拟资源的触发,而且可以通过各个视频窗口中所显示的视频画面触发虚拟资源,而视频窗口中所显示的视频画面是参与该视频交互过程的设备的画面,使得各个终端设备可以参与进该虚拟资源的触发过程中,从而可以提高各个终端设备之间的互动性,丰富视频交互功能。再加上,由于各个终端设备参与了虚拟资源的触发过程,提高各个终端设备对该虚拟资源的参与度,从而提高虚拟资源的推广效果,进而可以丰富虚拟资源的触发方式,提高虚拟资源触发的灵活性。
235.参见图12,图12是本技术实施例提供的一种计算机设备的结构示意图。如图12所示,本技术实施例中的计算机设备可以包括:一个或多个处理器1201、存储器1202和输入输出接口1203。该处理器1201、存储器1202和输入输出接口1203通过总线1204连接。存储器1202用于存储计算机程序,该计算机程序包括程序指令,输入输出接口1203用于接收数据及输出数据,如用于终端设备与视频处理设备之间进行数据交互;处理器1201用于执行存储器1202存储的程序指令。
236.其中,该处理器1201可以执行如下操作:
237.在视频交互页面中显示n个视频窗口;n为正整数;
238.当在视频交互页面中显示图形提示框时,从n个视频窗口中分别显示的视频画面中获取视频交互图像;视频交互图像的内容为n个视频画面中图形提示框所覆盖区域的内
容;
239.若视频交互图像与图形提示框所指示的虚拟图像相匹配,则显示与虚拟图像关联的虚拟资源。
240.在一些可行的实施方式中,该处理器1201可以是中央处理单元(central processing unit,cpu),该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
241.该存储器1202可以包括只读存储器和随机存取存储器,并向处理器1201和输入输出接口1203提供指令和数据。存储器1202的一部分还可以包括非易失性随机存取存储器。例如,存储器1202还可以存储设备类型的信息。
242.具体实现中,该计算机设备可通过其内置的各个功能模块执行如该图3中各个步骤所提供的实现方式,具体可参见该图3中各个步骤所提供的实现方式,在此不再赘述。
243.本技术实施例通过提供一种计算机设备,包括:处理器、输入输出接口、存储器,通过处理器获取存储器中的计算机程序,执行该图3中所示方法的各个步骤,进行视频交互操作。本技术实施例实现了在视频交互过程中,实现对虚拟资源的触发,而且可以通过各个视频窗口中所显示的视频画面触发虚拟资源,而视频窗口中所显示的视频画面是参与该视频交互过程的设备的画面,使得各个终端设备可以参与进该虚拟资源的触发过程中,从而可以提高各个终端设备之间的互动性,丰富视频交互功能。再加上,由于各个终端设备参与了虚拟资源的触发过程,提高各个终端设备对该虚拟资源的参与度,从而提高虚拟资源的推广效果,进而可以丰富虚拟资源的触发方式,提高虚拟资源触发的灵活性。
244.本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序适于由该处理器加载并执行图3中各个步骤所提供的视频交互方法,具体可参见该图3中各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本技术方法实施例的描述。作为示例,计算机程序可被部署为在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
245.该计算机可读存储介质可以是前述任一实施例提供的视频交互装置或者该计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
246.本技术实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算
机设备执行图3中的各种可选方式中所提供的方法,实现了在视频交互过程中,实现对虚拟资源的触发,而且可以通过各个视频窗口中所显示的视频画面触发虚拟资源,而视频窗口中所显示的视频画面是参与该视频交互过程的设备的画面,使得各个终端设备可以参与进该虚拟资源的触发过程中,从而可以提高各个终端设备之间的互动性,丰富视频交互功能。再加上,由于各个终端设备参与了虚拟资源的触发过程,提高各个终端设备对该虚拟资源的参与度,从而提高虚拟资源的推广效果,进而可以丰富虚拟资源的触发方式,提高虚拟资源触发的灵活性。
247.本技术实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
248.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
249.本技术实施例提供的方法及相关装置是参照本技术实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程视频交互设备的处理器以产生一个机器,使得通过计算机或其他可编程视频交互设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程视频交互设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程视频交互设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
250.本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
251.本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
252.以上所揭露的仅为本技术较佳实施例而已,当然不能以此来限定本技术之权利范围,因此依本技术权利要求所作的等同变化,仍属本技术所涵盖的范围。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献