一种从脚本到电影的生成方法及装置与流程

技术特征：
1.一种从脚本到电影的生成方法，其特征在于，包括：获取电影脚本；根据所述电影脚本生成视频；优化生成的所述视频直到满足通过条件；和输出生成的所述视频。2.根据权利要求1所述的方法，其特征在于，所述根据所述电影脚本生成视频包括：根据所述电影脚本生成第一动作列表；根据所述第一动作列表中的动作生成舞台表演；和使用摄影机拍摄所述舞台表演的视频。3.根据权利要求2所述的方法，其特征在于，所述优化生成的所述视频直到满足通过条件包括：评估所述视频的总审美失真值，所述视频由摄影机从所述舞台表演拍摄；根据所述视频生成第二动作列表，所述视频由摄影机从所述舞台表演拍摄；确定所述第一动作列表和所述第二动作列表之间的保真度误差e；和迭代优化摄影机设置和角色表演，以最小化总审美失真度d，从而满足所述通过条件，其中所述通过条件包括满足所述保真度误差e小于或等于预先设置的保真度误差阈值th
e
或最小化迭代次数的计数达到预先设置的计数阈值。4.根据权利要求3所述的方法，其特征在于：所述第一动作列表和所述第二动作列表中的各动作具有属性，所述属性包括主体、动作、对象、动作持续时间、主体开始位置、主体结束位置、主体情绪和动作风格。5.根据权利要求3所述的方法，其特征在于：所述第一动作列表由按时间顺序排列的动作列表表示{a
i
|i＝1,2,
…
,n}；和所述第二动作列表由按时间顺序排列的动作列表{a
′
i
|i＝1，2，...，n}表示；其中，a
i
表示第i个动作对象，所述动作对象包括在舞台表演的场景中一个或多个虚拟角色的信息；a
′
i
是第i个动作对象，所述动作对象包括在舞台表演的场景中一个或多个虚拟角色的信息；n是所述舞台表演的多个场景中多个角色执行的动作对象的总数。6.根据权利要求5所述的方法，其特征在于：所述舞台表演用{p
t
|t＝1，2，...，t}表示，其中p
t
为时间t时角色的舞台表演，t为总表演时间；和对应a
i
的所述舞台表演由表示，其中是动作a
i
的持续时间，和是从所述动作列表{a
i
|i＝1，2，...，n}导出的固定值。7.根据权利要求6所述的方法，其特征在于：对于{p
t
|t＝1，2，...，t}，优化后的所述摄影机设置由{c
t
|t＝1，2，...，t}表示；和对应{p
t
|t＝1，2，...，t}的视频由{f
t
|t＝1，2，...，t}表示。8.根据权利要求7所述的方法，其特征在于，所述评估所述视频的总审美失真值，所述视频由摄影机从所述舞台表演拍摄，包括：角色k在所述摄影机设置{c
t
|t＝1，2，...，t}下的角色可见性v(c
t
)通过计算来评估，r
k
是当前视频帧中所述角色k的大小与当前视频帧总大小的比值，i
(c
t
，k)表示摄影机c
t
和所述角色k之间的相关性，i(c
t
，k)的值越低表示角色k对所述摄影机c
t
的重要性更高；如果与所述摄影机c
t
绑定的角色k在时间t时有行动时，将角色动作a(c
t
)评估为0，否则为1；通过计算来评估所述摄影机c
t
的摄影机设置其中代表摄影机位置，代表拍摄方向，代表时间t时的动作对象，以及φ
c
()代表所述摄影机设置的失真成本函数；通过计算来评估屏幕连续性s(c
t
，c
t-1
)，所述屏幕连续性s(c
t
，c
t-1
)包括当前视频帧中各单独角色的位置变化的总结，其中p(k，c
t
)表示由所述摄影机c
t
拍摄的当前视频帧中角色k的位置，p(k，c
t-1
)表示由摄影机c
t-1
拍摄的当前视频帧中角色k的位置；如果角色k出现在所述摄影机c
t
的视图中，v(k，c
t
)＝1，否则v(k，c
t
)＝0；φ
s
()是对角色位置变化的惩罚，是关于角色位置p(k，c
t
)和角色位置p(k，c
t-1
)之间距离的非线性函数；通过计算来评估移动连续性m(c
t
，c
t-1
)，所述移动连续性m(c
t
，c
t-1
)包括角色移动方向变化，所述角色移动方向变化是由在所述摄影机c
t
的视图变化之前或之后的角色动作引起的，其中m(k，c
t
)表示由所述摄影机c
t
拍摄的当前视频帧中的角色运动方向向量，m(k，c
t-1
)表示由所述摄影机c
t-1
拍摄的当前视频帧中的角色运动方向向量；φ
m
()是角色运动方向变化的惩罚，是关于角色移动方向向量m(k，c
t
)与角色移动方向向量m(k，c
t-1
)之差的非线性函数；和通过计算来评估镜头持续时间失真其中是为每个场景设置的平均镜头持续时间，q是允许的最长镜头持续时间，φ
u
()是对于视频帧的镜头持续时间的惩罚，所述视频帧在[t-q，...，t]范围内改变了摄影机；所述总审美失真度所述总审美失真度所述总审美失真度ω0、ω1、ω2、ω3和ω4是0和1之间的值，是每个失真度分量的权重。9.根据权利要求8所述的方法，其特征在于，所述确定所述第一动作列表与所述第二动作列表之间的保真度误差e包括：计算以确定所述第一动作列表和所述第二动作列表的文本描述之间的动作差异，其中g()是glove词嵌入模型；定义函数w(t)当时间t等于a
i
的开始时间时，w(t)＝d
t
，否则w(t)＝0；和计算其中t是总执行时间。10.根据权利要求9所述的方法，其特征在于，所述优化摄影机设置以最小化总审美失真度d包括：将多个摄影机放置在绑定的角色的周围，每个摄影机都保持与绑定的所述角色的相对位置，从而针对不同的镜头尺寸、不同的轮廓角度和不同的摄影机高度对摄影机的放置位置进行优化。11.根据权利要求10所述的方法，其特征在于，所述迭代优化摄影机设置和角色表演，
以最小化总审美失真度d，从而满足所述通过条件，包括：以最小化总审美失真度d，从而满足所述通过条件，包括：使得12.根据权利要求11所述的方法，其特征在于：定义j
λ
(c
t
，a
t
)＝d λ
·
e，其中λ为拉格朗日乘数；和将将使得简化为minj
λ
(c
t
，a
t
)。13.根据权利要求12所述的方法，其特征在于：定义z
k
＝(c
k
，a
k
)；定义成本函数g
t
(z
t-q
，...，z
t
)来表示所有视频帧的保真度误差e和总审美失真度d的和的最小值；和14.根据权利要求13所述的方法，其中：以及其中：优化过程的未来步骤独立于所述未来步骤的过去步骤；所述优化过程转换为在有向无环图中寻找最短路径的图形理论问题；和所述优化过程的计算复杂度为o(t
×
|z|
q 1
)，并且比具有指数计算复杂度的穷举搜索算法更有效。15.一种从脚本到电影的生成装置，其特征在于，包括：存储程序指令的存储器；和与存储器耦合的处理器，所述处理器配置为执行程序指令以：获取电影脚本；根据所述电影脚本生成视频；优化生成的所述视频直到满足通过条件；和输出生成的所述视频。

技术总结
一种从脚本到电影的生成方法及装置，包括获取电影脚本，根据所述电影脚本生成视频，优化生成的所述视频直到满足通过条件和输出生成的所述视频。成的所述视频。成的所述视频。


技术研发人员：郁子潇 汪灏泓
受保护的技术使用者：TCL科技集团股份有限公司
技术研发日：2021.09.18
技术公布日：2022/7/1