一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种信息处理方法、装置及计算机可读存储介质与流程

2021-11-05 18:28:00 来源:中国专利 TAG:


1.本技术涉及计算机技术领域,具体涉及一种信息处理方法、装置及计算机可读存储介质。


背景技术:

2.随着电子技术的成熟,越来越多的数码产品产生,数码相机、平板电脑、智能手机等数码产品的流行与普及,为广大百姓带来极大的便利,在日常生活中,用户可以通过数码产品随时拍摄出或者制作出属于自己的视频作品。
3.现有技术中,用户可以通过对拍摄或者制作的视频作品进行编辑,创作出个性化的电影作品,但是,通过传统的数据产品拍摄或者制作的视频作品往往需要大量表演者配合,或者手动进行动漫情节创作,过程机械且繁琐,造成信息处理的效率较低。


技术实现要素:

4.本技术实施例提供一种信息处理方法、装置及计算机可读存储介质,可以提升信息处理的效率。
5.为解决上述技术问题,本技术实施例提供以下技术方案:
6.一种信息处理方法,包括:
7.对视频帧进行检测,确定所述视频帧中的目标对象;
8.确定所述目标对象在三维空间中对应的目标对象元素;
9.根据所述目标对象元素在聚类之后的关系确定对应的事件信息;
10.将所述目标对象元素转化为对应的三维虚拟对象模型,并将所述三维虚拟对象模型加载至预设的三维虚拟场景中;
11.根据所述事件信息对所述三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。
12.一种信息处理装置,包括:
13.检测单元,用于对视频帧进行检测,确定所述视频帧中的目标对象;
14.第一确定单元,用于确定所述目标对象在三维空间中对应的目标对象元素;
15.第二确定单元,用于根据所述目标对象元素在聚类之后的关系确定对应的事件信息;
16.转化单元,用于将所述目标对象元素转化为对应的三维虚拟对象模型,并将所述三维虚拟对象模型加载至预设的三维虚拟场景中;
17.控制单元,用于根据所述事件信息对所述三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。
18.在一些实施例中,所述控制单元,包括:
19.控制子单元,用于根据所述事件信息对所述三维虚拟场景中的三维虚拟对象模型进行控制;
20.拍摄子单元,用于通过至少一个虚拟摄像设备对所述三维虚拟场景进行拍摄,生成三维子视频;
21.接收子单元,用于接收用户对所述三维子视频的编辑操作,生成目标三维视频。
22.在一些实施例中,所述拍摄子单元,用于:
23.设定每一虚拟摄像设备的虚拟拍摄运动路线;
24.将每一虚拟摄像设备以虚拟拍摄运动路线进行移动拍摄,得到三维子视频。
25.在一些实施例中,所述拍摄子单元,还用于:
26.采集用户手持虚拟现实拍摄设备的图像;
27.根据所述图像中的虚拟现实拍摄设备生成三维虚拟场景中对应的虚拟拍摄设备;
28.基于所述虚拟现实拍摄设备的拍摄角度信息和拍摄位置信息对所述虚拟拍摄设备的拍摄角度和拍摄位置进行控制,以实现实时拍摄,生成三维子视频。
29.在一些实施例中,所述第一确定单元,用于:
30.确定所述目标对象在所述视频帧中的位置信息;
31.基于每一目标对象的位置信息进行三维延伸,生成每一目标对象在三维空间中对应的目标对象元素。
32.一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述信息处理方法中的步骤。
33.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述信息处理方法中的步骤。
34.一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机上述信息处理方法中的步骤。
35.本技术实施例通过对视频帧进行检测,确定视频帧中的目标对象;确定目标对象在三维空间中对应的目标对象元素;根据目标对象元素在聚类之后的关系确定对应的事件信息;将目标对象元素转化为对应的三维虚拟对象模型,并将三维虚拟对象模型加载至预设的三维虚拟场景中;根据事件信息对三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。以此,识别出视频帧中目标对象元素并确定对应的事件信息,将目标对象元素转化为三维虚拟对象模型加载至三维虚拟场景中,根据事件信息对三维虚拟对象模型进行控制,相对于现有技术需要大量表演者配合或者手动进行动漫情节创造的方案而言,本方案可以实现将二维视频快速渲染为三维视频,极大的提升了信息处理的效率。
附图说明
36.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
37.图1是本技术实施例提供的信息处理系统的场景示意图;
38.图2是本技术实施例提供的信息处理方法的流程示意图;
39.图3是本技术实施例提供的信息处理方法的另一流程示意图;
40.图4a为本技术实施例提供的信息处理方法的场景示意图;
41.图4b为本技术实施例提供的信息处理方法的另一场景示意图;
42.图4c为本技术实施例提供的信息处理方法的另一场景示意图;
43.图5是本技术实施例提供的信息处理装置的结构示意图;
44.图6是本技术实施例提供的服务器的结构示意图。
具体实施方式
45.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
46.本技术实施例提供一种信息处理方法、装置、及计算机可读存储介质。
47.请参阅图1,图1为本技术实施例所提供的信息处理系统的场景示意图,包括:终端a、虚拟现实设备和服务器(该信息处理系统还可以包括除终端a之外的其他终端,终端具体个数在此处不作限定),终端a、虚拟现实设备与服务器之间可以通过通信网络连接,该通信网络,可以包括无线网络以及有线网络,其中无线网络包括无线广域网、无线局域网、无线城域网、以及无线个人网中的一种或多种的组合。网络中包括路由器、网关等等网络实体,图中并未示意出。终端a可以通过通信网络与服务器进行信息交互,比如终端a通过游戏应用在线将游戏视频帧发送至服务器。
48.该信息处理系统可以包括信息处理装置,该信息处理装置具体可以集成在服务器中,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。如图1所示,该服务器可以对视频帧进行检测,确定所述视频帧中的目标对象;确定所述目标对象在三维空间中对应的目标对象元素;根据所述目标对象元素在聚类之后的关系确定对应的事件信息;将所述目标对象元素转化为对应的三维虚拟对象模型,并将所述三维虚拟对象模型加载至预设的三维虚拟场景中;根据所述事件信息对所述三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。
49.该信息处理系统中终端a可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。该终端a可以安装各种用户需要的应用,比如游戏应用等,终端a可以将游戏应用中进行游戏的视频帧发送至服务器。
50.该虚拟现实设备可以包括头戴式虚拟现实设备,例如oculus rift或者htc vive,可以通过该头戴式虚拟现实设备获取用户的交互信息并上传至服务器,灵活的对其中的事件信息进行修改。
51.需要说明的是,图1所示的信息处理系统的场景示意图仅仅是一个示例,本技术实施例描述的信息处理系统以及场景是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域普通技术人员可知,随着信息处理系统的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同
样适用。
52.以下分别进行详细说明。
53.在本实施例中,将从信息处理装置的角度进行描述,该信息处理装置具体可以集成在具备储存单元并安装有微处理器而具有运算能力的服务器中。
54.请参阅图2,图2是本技术实施例提供的信息处理方法的流程示意图。该信息处理方法包括:
55.在步骤101中,对视频帧进行检测,确定视频帧中的目标对象。
56.其中,终端可以获取运行的游戏动画或者电影等,该游戏动画或者电影为一帧帧的画面组成,终端将该游戏动画或者电影上传至服务器,服务器对该游戏动画或者电影中的视频帧中的内容进行特征检测,根据特征检测的结果确定视频帧中的目标对象和该目标对象在视频帧中的位置信息,该目标对象可以为视频帧中的人物、树、桌子、游戏人物、游戏防御塔等等,此处不作具体限定。
57.在一实施方式中,该对视频帧进行检测,确定视频帧中的目标对象的步骤,可以包括:通过训练后的目标检测网络对所述视频帧中的虚拟对象进行检测,确定所述视频帧中的目标对象。
58.其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
59.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
60.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
61.本技术实施例提供的方案涉及人工智能的计算机视觉技术等技术,具体通过如下实施例进行说明:
62.其中,可以预先训练目标检测网络(yolo),即对于可能出现在视频帧中的虚拟对象预先收集大量的训练样本,该训练样本包括虚拟对象和对应的标签信息,通过将该虚拟对象和对应的标签信息输入至目标检测网络中进行训练,得到训练后可以识别出虚拟对象的目标检测网络。
63.进一步的,通过训练后的目标检测网络对该视频帧中的虚拟对象进行检测,确定
该视频帧中的目标对象和该目标对象在该视频帧中的位置信息,例如,可以以矩形框的形式标定每一目标对象,并显示每一目标对象的位置信息。
64.在步骤102中,确定目标对象在三维空间中对应的目标对象元素。
65.其中,基于该目标对象在视频帧中的位置信息进行三维延伸,生成每一目标对象在三维空间中对应的目标对象元素,该目标对象元素可以为三维实例,在三维空间中的表现形式可以表现为球形结点,该球形结点代表每一目标对象在三维空间中的临时三维实例表现形式。
66.在一些实施方式中,该确定目标对象在三维空间中对应的目标对象元素的步骤,可以包括:
67.(1)确定所述目标对象在所述视频帧中的位置信息;
68.(2)基于每一目标对象的位置信息进行三维延伸,生成每一目标对象在三维空间中对应的目标对象元素。
69.其中,由于目标对象在视频帧中对应的位置信息已经被标定,所以可以直接确定该目标对象在视频帧中的位置信息,以此,基于该视频帧中每一目标对象的位置信息的基础上向三维空间进行三维延伸,找到每一目标对象对应的目标对象元素在三维空间中对应的三维空间位置数据,并根据该三维空间位置数据进行显示。
70.在步骤103中,根据目标对象元素在聚类之后的关系确定对应的事件信息。
71.其中,可以根据步骤101中检测得到的目标对象对应的多个目标对象元素进行聚类操作,得到不同类型的目标对象集合,每一目标对象集合包括对应类型的目标对象集合元素,例如,将桌子和椅子聚类为家具类的目标对象集合元素,不同的用户聚类为用户类的目标对象集合元素,形成不同的聚类类型的目标对象集合元素和多个目标对象集合。
72.进一步的,根据聚类类型进行事件抽象,该事件抽象的依据也是预定义的抽象规则,该抽象规则包括主体和对象,例如当视频帧的图像中有人物聚类、家具聚类和食物聚类,那么该主体可以为人物聚类的目标对象集合元素,对象可以为家具聚类的目标对象集合元素和食物聚类的目标对象集合元素,根据该抽象规则分别确定主体和对象以及对象之间的动词,进而确定事件信息,例如为“人在家里吃东西”或者“人在处理食物”等。
73.在一些实施方式中,该根据目标对象元素在聚类之后的关系确定对应的事件信息的步骤,可以包括:
74.(1)根据所述目标对象元素的属性数据进行聚类,得到不同类型的目标对象集合,每一目标对象集合包括对应类型的目标对象集合元素;
75.(2)基于所述目标对象集合元素之间的关系确定对应的事件元素,所述事件元素包括事件信息。
76.其中,可以根据该目标对象元素的属性数据进行聚类,得到不同类型的目标对象集合,每一目标对象集合包括相对应类型的目标对象集合元素,该属性数据可以为目标对象元素的作用或者用途,根据该目标对象元素的属性数据通过最近邻聚类方法进行聚类,将作用或者用途相近的目标对象集合元素进行聚类,得到不同类型的目标对象集合,例如,通过k

means聚类算法进行聚类,将每一目标对象元素转化为对应的向量信息,选择一些目标对象元素的向量信息来随机地初始化多个类的中心点,并将每个目标对象元素的向量信息通过计算和多个类的中心点的距离进行分类,然后将每个目标对象元素分类至最接近其
的类别,基于分类之后的结果,取每一分类中的所有目标对象元素的向量信息的均值重新计算类的中心,以此,通过多次迭代聚类操作,得到不同类型的目标对象集合,将每一目标对象集合中的目标对象元素合并为目标对象集合元素,使得每一目标对象集合中均包括对应类型的目标对象集合元素。
77.进一步的,根据聚类类型进行事件抽象,该事件抽象的依据也是预定义的抽象规则。该抽象规则包括主体和对象,例如当视频帧的图像中有蓝方士兵的聚类类型、红方士兵聚类类型和防御塔聚类类型,那么可以确定主体为防御塔聚类类型,对象可以为蓝方士兵聚类类型和红方士兵聚类类型。根据该抽象规则分别确定主体和对象以及对象之间的动词,进而确定事件信息可以为“防御塔兵线对抗”的事件元素,该事件信息可以理解为剧本信息。
78.在步骤104中,将目标对象元素转化为对应的三维虚拟对象模型,并将三维虚拟对象模型加载至预设的三维虚拟场景中。
79.在一实施方式中,本技术实施例的应用环境可以为unity3d,该unity3d可以实现实时3d互动内容创作和运营平台。包括游戏开发、美术、建筑、汽车设计、影视在内的所有创作者,借助unity3d技术将创意变成现实。
80.其中,可以预先针对每一目标对象元素进行建模,得到每一目标对象元素对应的三维虚拟对象模型,生成3d模型库,并将该3d模型库导入至unity3d应用环境中,该3d模型库可以包括检测模块和建模模块,该检测模块可以用于在输入视频帧,识别到目标对象元素后,基于建模模块,将识别出的目标对象元素转换为对应的三维虚拟对象模型。
81.进一步的,可以将目标对象元素在3d模型库中进行匹配,找到每一目标对象元素对应的三维虚拟对象模型。
82.在一实施方式中,还可以对后续的场景配置信息进行预先配置,生成预设的三维虚拟场景,例如,将一些游戏元素进行预加载,生成预设的三维虚拟场景。将该三维虚拟对象模型以三维形式加载至预设的三维虚拟场景,实现人物和场景搭建。
83.在一些实施方式中,该将所述目标对象元素转化为对应的三维虚拟对象模型,并将所述三维虚拟对象模型加载至预设的三维虚拟场景中的步骤,可以包括:
84.(1)根据每一目标对象元素的属性数据进行匹配,确定对应的三维虚拟对象模型;
85.(2)生成预设的三维虚拟场景;
86.(3)接收对所述三维虚拟对象模型的选择指令,所述选择指令携带目标三维位置数据;
87.(4)响应所述选择指令,将所述三维虚拟对象模型加载至预设的三维虚拟场景中的目标三维位置数据指示的三维空间位置上。
88.其中,该属性数据为每一目标对象元素的作用或者用途,该3d模型库中可以包含目标对象元素和对应的三维虚拟对象模型的属性数据关联关系,以此,可以根据每一目标对象元素的属性数据在3d模型库中进行匹配,确定对应的三维虚拟对象模型,该三维虚拟对象模型可以为虚拟人物,虚拟防御塔等等。
89.进一步的,根据事件信息生成关联的预设的三维虚拟场景,该预设的三维虚拟场景可以为用户事先搭建好的多个三维虚拟场景,例如森林虚拟场景或者家庭虚拟场景等等,可以由用户选择其中需要的三维虚拟场景进行生成,将需要的三维虚拟场景结合到三
维空间,用户可以通过拖动该三维虚拟对象模型至三维虚拟场景,以生成选择指令,该选择指令可以携带需要拖动的三维虚拟对象模型在三维虚拟场景中落入的三维位置数据。
90.以此,服务器响应该选择指令,将该三维虚拟对象模型加载至预设的三维虚拟场景中的目标三维位置数据指示的三维空间位置上,实现对三维虚拟对象在三维虚拟场景的快速设定。
91.在步骤105中,根据事件信息对三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频
92.其中,由于该事件信息为剧本信息,即该事件信息可以包含事件发生的顺序和规律,以此,可以基于unity3d技术实现根据该事件信息对三维虚拟场景中的每一三维虚拟对象进行控制,例如根据剧本信息控制人物的移动、车辆的移动、动物的移动或者太阳的东升西落等,使得每一三维虚拟对象根据剧本信息进行自动三维运转,完成具体的剧本运转,生成目标三维视频,实现快速的将二维视频转换为目标三维视频进行剧本运行,极大的提升了信息处理的效率。
93.在一些实施方式中,该生成目标三维视频的步骤,包括:
94.(1)通过至少一个虚拟摄像设备对所述三维虚拟场景进行拍摄,生成三维子视频;
95.(2)接收用户对所述三维子视频的编辑操作,生成目标三维视频。
96.其中,可以设定至少一个虚拟摄像设备,该虚拟摄像设备可以为三维虚拟场景中的虚拟摄像机,用户可以设定该虚拟摄像机的焦距、视场角以及分辨率等参数进行设定,通过该虚拟摄像设备对该三维虚拟场景和其中的三维虚拟对象模型进行实时拍摄,生成三维子视频,该三维子视频可以包含多个。
97.进一步的,用户可以对三维子视频进行编辑操作,例如剪辑、融合等操作,生成个性化的目标三维视频。
98.在一些实施方式中,该通过至少一个虚拟摄像设备对所述三维虚拟场景进行拍摄,生成三维子视频的步骤,包括:
99.(1.1)采集用户手持虚拟现实拍摄设备的图像;
100.(1.2)根据所述图像中的虚拟现实拍摄设备生成三维虚拟场景中对应的虚拟拍摄设备;
101.(1.3)基于所述虚拟现实拍摄设备的拍摄角度信息和拍摄位置信息对所述虚拟拍摄设备的拍摄角度和拍摄位置进行控制,以实现实时拍摄,生成三维子视频。
102.其中,用户可以佩戴虚拟现实拍摄设备,服务器可以通过摄像头或者红外线感应器实时采集用户手持虚拟现实拍摄设备的图像,根据该图像中用户手持的虚拟现实拍摄设备的状态生成三维虚拟场景中对应的虚拟拍摄设备,即可以实现虚拟人物手持虚拟拍摄设备进入三维虚拟场景,基于虚拟现实拍摄设备的拍摄角度信息和拍摄位置信息对该三维虚拟场景中的虚拟拍摄设备的拍摄角度和拍摄位置进行实时更新,以实现现实人物通过虚拟现实拍摄设备实时控制三维虚拟场景中的虚拟现实拍摄设备进行三维拍摄,可以对其中特定的虚拟人物进行抓拍以及跟拍等操作,生成实时的三维子视频。
103.由上述可知,本技术实施例通过对视频帧进行检测,确定视频帧中的目标对象和目标对象在三维空间中对应的目标对象元素;根据目标对象元素在聚类之后的关系确定对应的事件信息;将目标对象元素转化为对应的三维虚拟对象模型,并将三维虚拟对象模型
加载至预设的三维虚拟场景中;根据事件信息对三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。以此,识别出视频帧中目标对象元素并确定对应的事件信息,将目标对象元素转化为三维虚拟对象模型加载至三维虚拟场景中,根据事件信息对三维虚拟对象模型进行控制,相对于现有技术需要大量表演者配合或者手动进行动漫情节创造的方案而言,本方案可以实现将二维视频快速渲染为三维视频,极大的提升了信息处理的效率。
104.结合上述实施例所描述的方法,以下将举例作进一步详细说明。
105.在本实施例中,将以该信息处理装置具体集成在服务器中为例进行说明,具体参照以下说明。
106.请参阅图3,图3为本技术实施例提供的信息处理方法的另一流程示意图。该方法流程可以包括:
107.在步骤201中,服务器通过训练后的目标检测网络对视频帧中的虚拟对象进行检测,确定视频帧中的目标对象。
108.其中,服务器可以获取终端上运行的游戏动画,该游戏动画为一帧帧的图像组成,通过训练后的目标检测网络对视频帧中的虚拟对象进行检测,确定视频帧中的目标对象。
109.请一并参阅图4a所示,服务器通过训练后的目标检测网络对视频帧10中的虚拟对象进行检测,确定视频帧10中的目标对象11、目标对象12、目标对象13和目标对象14。
110.在步骤202中,服务器确定目标对象在视频帧中的位置信息,基于每一目标对象的位置信息进行三维延伸,生成每一目标对象在三维空间中对应的目标对象元素。
111.其中,请一并参阅图4a所示,服务器确定目标对象11、目标对象12、目标对象13和目标对象14在视频帧10中的位置信息,基于目标对象11、目标对象12、目标对象13和目标对象14的位置信息进行三维延伸,生成目标对象11、目标对象12、目标对象13和目标对象14在三维空间中对应的目标对象元素a、目标对象元素b、目标对象元素c和目标对象元素d,该目标对象元素在三维空间中可以表现为圆形结点。
112.在步骤203中,服务器根据目标对象元素的属性数据进行聚类,得到不同类型的目标对象集合,基于目标对象集合元素之间的关系确定对应的事件元素。
113.其中,请一并参阅图4a所示,服务器根据目标对象元素a、目标对象元素b、目标对象元素c和目标对象元素d的属性数据进行聚类,将相似属性数据的目标对象元素a和目标对象元素b进行聚类,将相似属性数据的目标对象元素c和目标对象元素d进行聚类,得到不同类型的目标对象集合1和2,该目标对象集合1包括对应类型的目标对象集合元素a,该目标对象集合2包括对应类型的目标对象集合元素b,假设该目标对象集合元素a的类型为蓝方士兵,该目标对象集合元素b的类型为红方士兵,那么根据该目标对象集合元素a和目标对象集合元素b之间的关系确定为兵线对抗的事件类型信息的事件元素。
114.在步骤204中,服务器根据事件信息确定目标对象集合元素对应的三维空间位置数据和事件元素对应的三维空间位置数据,基于目标对象集合元素对应的三维空间位置数据和事件元素对应的三维空间位置数据,对每一目标对象集合元素以及事件元素进行位置加载。
115.其中,请继续参阅图4a所示,服务器根据兵线对抗的事件类型的事件信息确定目标对象集合元素a、目标对象集合元素b和事件元素在三维空间中分别对应的三维空间位置数据,基于该三维空间位置数据将目标对象集合元素a和目标对象集合元素b和事件元素在
三维空间中分别进行位置加载,将目标对象集合元素a和目标对象集合元素b和事件元素以层次化结构形式放置在三维空间中,即实现元素以结构化形式进行逐层表达,表现出元素之间的关系信息。
116.在步骤205中,服务器根据在三维空间中的目标对象元素、目标对象集合元素以及事件元素之间的位置关系进行连接线连接,生成三维结构元素集合并进行显示。
117.其中,请继续参阅图4a所示,服务器根据显示在三维空间中的目标对象元素a、目标对象元素b、目标对象元素c、目标对象元素d、目标对象集合元素a、目标对象集合元素b和事件元素之间的逻辑关系进行连接线连接,例如,将相似聚类类型的目标对象元素a和目标对象元素b连接在目标对象集合元素a上,将相似聚类类型的目标对象元素c和目标对象元素d连接在目标对象集合元素b上,将目标对象结合元素a和目标对象集合元素b连接在事件元素上,生成三维结构元素集合。
118.在步骤206中,服务器接收用户通过虚拟现实设备对三维结构元素集合中的修改对象的修改操作,对修改操作之后的三维结构元素集合中的事件元素进行更新。
119.其中,请一并参阅图4b所示,真实人类(即用户)21通过佩戴虚拟现实设备可以对三维结构元素集合中的修改对象进行修改操作,该修改对象可以包括目标对象元素或连接线中的至少一个,例如增加目标对象元素,删除目标对象元素,实现在虚拟现实的场景下快速对三维空间中的目标对象元素或者连接线进行个性化修改,提升信息处理的多样性。
120.在一实施方式中,还可以将目标对象元素与目标对象集合元素之间的连接线进行修改,或者将新增加的目标对象元素与需要归类的目标对象集合元素之间建立连接线,实现对事件元素即剧本的修改,例如,增加目标对象元素f,该f为虚拟防御塔,基于该虚拟防御塔确定对应的目标对象集合元素c,该目标对象集合元素c的聚类类型为防御塔,以此,对修改操作之后的三维结构元素集合中的事件元素进行更新,将事件元素的事件信息由“兵线对抗”修改为“防御塔兵线对抗”,实现对剧本的修改。
121.在步骤207中,服务器根据每一目标对象元素的属性数据进行匹配,确定对应的三维虚拟对象模型,生成预设的三维虚拟场景,接收对三维虚拟对象模型的选择指令。
122.其中,请一并参阅图4c所示,服务器根据每一目标对象元素的属性数据在3d模型库中进行匹配,找到相同属性数据的三维虚拟对象模型,例如,确定人物对应的三维虚拟对象模型、桌子对应的三维虚拟对象模型和树对应的三维虚拟对象模型,生成预设的三维虚拟场景,接收对人物对应的三维虚拟对象模型、桌子对应的三维虚拟对象模型和树对应的三维虚拟对象模型的选择指令,该选择指令携带三维虚拟对象模型放置在预设的三维虚拟场景中的目标三维位置数据。
123.在步骤208中,服务器响应选择指令,将三维虚拟对象模型加载至预设的三维虚拟场景中的目标三维位置数据指示的三维空间位置上。
124.其中,请继续参阅图4c所示,服务器响应该选择指令,将人物对应的三维虚拟对象模型、桌子对应的三维虚拟对象模型和树对应的三维虚拟对象模型加载至预设的三维虚拟场景中的目标三维位置数据指示的三维空间位置上。
125.在步骤209中,服务器根据事件信息对三维虚拟场景中的三维虚拟对象模型进行控制,设定每一虚拟摄像设备的虚拟拍摄运动路线。
126.其中,请继续参阅图4c所示,服务器可以根据生活场景的事件信息对三维虚拟场
景中的人物对应的三维虚拟对象模型、桌子对应的三维虚拟对象模型和树对应的三维虚拟对象模型进行控制,例如,控制该人物对应的三维虚拟对象模型在三维虚拟场景中进行日常生活活动,模拟三维的生活场景。
127.进一步的,该虚拟摄像设备的数量可以为任意的,如图4c所示,假设有4台虚拟摄像设备,创作者可以设定每一虚拟摄像设备在三维空间中的起始位置和虚拟拍摄运动路线,该虚拟拍摄运动路线可以为拉远、推进、平移或者摇动。
128.在步骤210中,服务器将每一虚拟摄像设备以虚拟拍摄运动路线进行移动拍摄,得到三维子视频,接收用户对三维子视频的编辑操作,生成目标三维视频。
129.其中,在剧本启动时,即服务器根据事件信息对三维虚拟场景中的三维虚拟对象模型控制之后,三维虚拟对象模型根据事件信息进行运动,服务器可以控制每一虚拟摄像设备以虚拟拍摄运动路线进行移动拍摄,得到每一虚拟摄像设备在虚拟拍摄运动路线上移动拍摄得到的四个三维子视频。
130.进一步的,用户可以在服务器上对拍摄得到的四个三维子视频中的视频进行编辑,例如,将需要的视频片段根据需求进行剪切,并将剪切后的视频片段根据个性化进行融合,生成具有个性化的目标三维视频,该目标三维视频中包含多个拍摄角度下拍摄的三维视频的合集。
131.由上述可知,本技术实施例通过对视频帧进行检测,确定视频帧中的目标对象和目标对象在三维空间中对应的目标对象元素;根据目标对象元素在聚类之后的关系确定对应的事件信息;将目标对象元素转化为对应的三维虚拟对象模型,并将三维虚拟对象模型加载至预设的三维虚拟场景中;根据事件信息对三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。以此,识别出视频帧中目标对象元素并确定对应的事件信息,将目标对象元素转化为三维虚拟对象模型加载至三维虚拟场景中,根据事件信息对三维虚拟对象模型进行控制,相对于现有技术需要大量表演者配合或者手动进行动漫情节创造的方案而言,本方案可以实现将二维视频快速渲染为三维视频,极大的提升了信息处理的效率。
132.进一步的,本技术实施例还可以实现用户佩戴虚拟现实设备对事件元素的事件信息进行设计修改,提供灵活的事件设计方式,进一步的提升了信息处理的效率。
133.为便于更好的实施本技术实施例提供的信息处理方法,本技术实施例还提供一种基于上述信息处理方法的装置。其中名词的含义与上述信息处理方法中相同,具体实现细节可以参考方法实施例中的说明。
134.请参阅图5,图5为本技术实施例提供的信息处理装置的结构示意图,其中该信息处理装置可以包括检测单元301、第一确定单元302、第二确定单元303、转化单元304以及控制单元305等。
135.检测单元301,用于对视频帧进行检测,确定所述视频帧中的目标对象。
136.第一确定单元302,用于确定所述目标对象在三维空间中对应的目标对象元素。
137.在一些实施方式中,该第一确定单元302,用于:
138.确定所述目标对象在所述视频帧中的位置信息;
139.基于每一目标对象的位置信息进行三维延伸,生成每一目标对象在三维空间中对应的目标对象元素。
140.第二确定单元303,用于根据所述目标对象元素在聚类之后的关系确定对应的事
件信息。
141.在一些实施方式中,该第二确定单元303,包括:
142.聚类子单元,用于根据所述目标对象元素的属性数据进行聚类,得到不同类型的目标对象集合,每一目标对象集合包括对应类型的目标对象集合元素;
143.确定子单元,用于基于所述目标对象集合元素之间的关系确定对应的事件元素,所述事件元素包括事件信息。
144.在一些实施方式中,该装置,还包括:
145.第三确定单元,用于根据所述事件信息确定所述目标对象集合元素对应的三维空间位置数据和所述事件元素对应的三维空间位置数据;
146.加载单元,用于基于所述目标对象集合元素对应的三维空间位置数据和所述事件元素对应的三维空间位置数据,对每一目标对象集合元素以及事件元素进行位置加载;
147.生成单元,用于根据在三维空间中的目标对象元素、目标对象集合元素以及事件元素之间的位置关系进行连接线连接,生成三维结构元素集合并进行显示。
148.在一些实施方式中,该装置,还包括:
149.修改单元,用于接收用户通过虚拟现实设备对所述三维结构元素集合中的修改对象的修改操作,所述修改对象包括目标对象元素或连接线中的至少一个;
150.更新单元,用于对修改操作之后的三维结构元素集合中的事件元素进行更新。
151.转化单元304,用于将所述目标对象元素转化为对应的三维虚拟对象模型,并将所述三维虚拟对象模型加载至预设的三维虚拟场景中。
152.在一些实施例中,该转化单元304,用于:
153.根据每一目标对象元素的属性数据进行匹配,确定对应的三维虚拟对象模型;
154.生成预设的三维虚拟场景;
155.接收对所述三维虚拟对象模型的选择指令,所述选择指令携带目标三维位置数据;
156.响应所述选择指令,将所述三维虚拟对象模型加载至预设的三维虚拟场景中的目标三维位置数据指示的三维空间位置上。
157.控制单元305,用于根据所述事件信息对所述三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。
158.在一些实施例中,该控制单元304,包括:
159.控制子单元,用于根据所述事件信息对所述三维虚拟场景中的三维虚拟对象模型进行控制;
160.拍摄子单元,用于通过至少一个虚拟摄像设备对所述三维虚拟场景进行拍摄,生成三维子视频;
161.接收子单元,用于接收用户对所述三维子视频的编辑操作,生成目标三维视频。
162.在一些实施例中,所述拍摄子单元,用于:
163.设定每一虚拟摄像设备的虚拟拍摄运动路线;
164.将每一虚拟摄像设备以虚拟拍摄运动路线进行移动拍摄,得到三维子视频。
165.在一些实施例中,所述拍摄子单元,还用于:
166.采集用户手持虚拟现实拍摄设备的图像;
167.根据所述图像中的虚拟现实拍摄设备生成三维虚拟场景中对应的虚拟拍摄设备;
168.基于所述虚拟现实拍摄设备的拍摄角度信息和拍摄位置信息对所述虚拟拍摄设备的拍摄角度和拍摄位置进行控制,以实现实时拍摄,生成三维子视频。
169.以上各个单元的具体实施可参见前面的实施例,在此不再赘述。
170.由上述可知,本技术实施例通过检测单元301对视频帧进行检测,确定视频帧中的目标对象;第一确定单元302确定目标对象在三维空间中对应的目标对象元素;第二确定单元303根据目标对象元素在聚类之后的关系确定对应的事件信息;转化单元304将目标对象元素转化为对应的三维虚拟对象模型,并将三维虚拟对象模型加载至预设的三维虚拟场景中;控制单元305根据事件信息对三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。以此,识别出视频帧中目标对象元素并确定对应的事件信息,将目标对象元素转化为三维虚拟对象模型加载至三维虚拟场景中,根据事件信息对三维虚拟对象模型进行控制,相对于现有技术需要大量表演者配合或者手动进行动漫情节创造的方案而言,本方案可以实现将二维视频快速渲染为三维视频,极大的提升了信息处理的效率。
171.本技术实施例还提供一种计算机设备,该计算机设备可以为服务器,如图6所示,其示出了本技术实施例所涉及的服务器的结构示意图,具体来讲:
172.该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图6中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
173.处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;可选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
174.存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
175.计算机设备还包括给各个部件供电的电源403,可选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
176.计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号
输入。
177.尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现前述实施例提供的各种方法步骤,如下:
178.对视频帧进行检测,确定所述视频帧中的目标对象;确定所述目标对象在三维空间中对应的目标对象元素;根据所述目标对象元素在聚类之后的关系确定对应的事件信息;将所述目标对象元素转化为对应的三维虚拟对象模型,并将所述三维虚拟对象模型加载至预设的三维虚拟场景中;根据所述事件信息对所述三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。
179.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对信息处理方法的详细描述,此处不再赘述。
180.由上述可知,本技术实施例的计算机设备可以通过对视频帧进行检测,确定视频帧中的目标对象;确定目标对象在三维空间中对应的目标对象元素;根据目标对象元素在聚类之后的关系确定对应的事件信息;将目标对象元素转化为对应的三维虚拟对象模型,并将三维虚拟对象模型加载至预设的三维虚拟场景中;根据事件信息对三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。以此,识别出视频帧中目标对象元素并确定对应的事件信息,将目标对象元素转化为三维虚拟对象模型加载至三维虚拟场景中,根据事件信息对三维虚拟对象模型进行控制,相对于现有技术需要大量表演者配合或者手动进行动漫情节创造的方案而言,本方案可以实现将二维视频快速渲染为三维视频,极大的提升了信息处理的效率。
181.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
182.为此,本技术实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本技术实施例所提供的任一种信息处理方法中的步骤。例如,该指令可以执行如下步骤:
183.对视频帧进行检测,确定所述视频帧中的目标对象;确定所述目标对象在三维空间中对应的目标对象元素;根据所述目标对象元素在聚类之后的关系确定对应的事件信息;将所述目标对象元素转化为对应的三维虚拟对象模型,并将所述三维虚拟对象模型加载至预设的三维虚拟场景中;根据所述事件信息对所述三维虚拟场景中的三维虚拟对象模型进行控制,生成目标三维视频。
184.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
185.以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
186.其中,该计算机可读存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。
187.由于该计算机可读存储介质中所存储的指令,可以执行本技术实施例所提供的任一种信息处理方法中的步骤,因此,可以实现本技术实施例所提供的任一种信息处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
188.以上对本技术实施例所提供的一种信息处理方法、装置及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献