支持多模态并行处理的电影译制推理方法、装置、设备、介质及系统与流程
本技术涉及电影译制与多模态数据处理,具体而言,涉及一种支持多模态并行处理的电影译制推理方法、装置、电子设备、计算机可读存储介质及系统。
背景技术:
1、随着影视内容跨语种传播需求持续增加,电影译制过程不再仅仅关注目标语文本转换,还需要同时兼顾原声发声节奏、画面动作变化、字幕语义承接以及译制内容回写到电影时间轴后的视听连续性。尤其在长片、多角色、多场景切换的译制任务中,电影数据通常包含音频、画面、文本等不同来源的数据内容,各类数据内容在时间轴上存在不同粒度的呈现关系,译制推理过程需要在处理效率和回写一致性之间取得较好的平衡。
2、现有电影译制处理方案通常采用集中式顺序处理流程。该方案先对电影文件进行拆分,提取音轨、字幕或对白文本,并按照时间顺序逐段生成目标语内容;随后对每一段目标语内容进行语音合成或字幕转换,并按原始时间位置写回电影文件;最后通过整体预览或统一校验方式对写回后的译制文件进行调整。
3、然而,上述顺序处理方案存在明显的技术缺陷。由于不同来源的数据内容通常被按照统一的线性顺序处理,难以在推理过程中同时兼顾不同数据内容之间的跨段关联和各处理任务的并行执行关系,容易出现后续片段需要读取前序片段信息而处理流程已经推进的情况;同时,顺序处理方案缺乏面向结果回写边界的过程约束,在多段译制内容集中写回时,容易出现处理结果等待、边界衔接反复调整以及处理通路利用率较低的问题,难以满足电影译制中多源内容并行推理和时间轴连续回写的处理需求。
技术实现思路
1、本技术提供一种支持多模态并行处理的电影译制推理方法、装置、电子设备、计算机可读存储介质及系统,以至少缓解上述技术问题。
2、一种支持多模态并行处理的电影译制推理方法,包括:
3、获取待译制电影数据和目标语译制配置,根据所述待译制电影数据中多种异构模态内容的呈现时序,生成模态分轨承载记录;所述模态分轨承载记录包含片段锚点和模态依赖标识,所述片段锚点用于界定译制内容在电影时间轴上允许回灌的可回灌时段,所述模态依赖标识用于表示不同片段锚点之间的跨片段读取关系;
4、根据所述片段锚点,从所述模态分轨承载记录中切取译制推理片段,并基于所述模态依赖标识为各所述译制推理片段分配并行承载通道,生成通道调度记录;所述通道调度记录记载各并行承载通道对应的片段锚点及其读取状态;
5、依据所述通道调度记录,驱动各所述并行承载通道分别读取对应的译制推理片段,使各并行承载通道在所述片段锚点界定的可回灌时段内生成通道译制结果,并将所述通道译制结果写入以片段锚点为索引的回收缓存;
6、当检测到所述回收缓存中属于同一片段锚点的通道译制结果满足回收就绪条件时,对所述通道译制结果执行时序回灌校准,得到电影译制推理结果。
7、可选地,所述根据所述待译制电影数据中多种异构模态内容的呈现时序生成模态分轨承载记录,包括:
8、解析所述待译制电影数据中的封装索引,根据所述封装索引中的时间戳信息建立统一时间轴;
9、依据所述异构模态内容的呈现时序,在所述统一时间轴上标定原声发声段;
10、将文本承载段映射到所述原声发声段对应的片段锚点,得到文本承载映射结果,所述文本承载映射结果携带所述文本承载段对应的片段锚点;
11、将画面动作段映射到所述原声发声段对应的片段锚点,得到画面动作映射结果,所述画面动作映射结果携带所述画面动作段对应的片段锚点;
12、根据所述文本承载映射结果和所述画面动作映射结果生成所述模态分轨承载记录,并在存在跨片段延续关系时,向所述模态分轨承载记录写入所述模态依赖标识。
13、可选地,所述模态依赖标识根据相邻片段锚点的画面连续状态和原声连续状态生成,包括:
14、从所述画面动作映射结果中获取相邻片段锚点对应的画面动作段,根据所述画面动作段的内容连续性确定所述画面连续状态;
15、从所述原声发声段中获取相邻片段锚点对应的发声边界,根据所述发声边界确定所述原声连续状态;
16、当所述画面连续状态和所述原声连续状态均指示存在跨片段延续关系时,生成指向前序片段锚点的模态依赖标识,并将该模态依赖标识写入当前片段锚点对应的模态分轨承载记录。
17、可选地,所述根据所述片段锚点从所述模态分轨承载记录中切取译制推理片段,包括:
18、读取所述模态分轨承载记录中的所述片段锚点和所述模态依赖标识;
19、根据所述片段锚点,从所述待译制电影数据中提取该片段锚点对应的源片段内容;
20、从所述目标语译制配置中获取所述源片段内容对应的目标语文本;
21、根据所述片段锚点界定的可回灌时段生成发声时长约束;
22、根据所述模态分轨承载记录中的画面动作映射结果生成画面贴合约束;
23、基于所述源片段内容、所述目标语文本、所述发声时长约束、所述画面贴合约束和所述模态依赖标识,生成所述译制推理片段,并将所述模态依赖标识作为所述译制推理片段的依赖承载字段。
24、可选地,所述基于所述模态依赖标识为各所述译制推理片段分配并行承载通道,生成通道调度记录,包括:
25、获取预先配置的并行承载通道列表,所述并行承载通道列表根据所述目标语译制配置预先建立,并记录各并行承载通道的通道标识和缓存状态;
26、提取所述译制推理片段中依赖承载字段所记载的模态依赖标识;
27、根据所述缓存状态和所述模态依赖标识,确定各所述译制推理片段的可并行性;
28、将处于可并行状态的译制推理片段置入对应并行承载通道的待处理槽,将未处于可并行状态的译制推理片段置入对应并行承载通道的延迟槽;
29、基于所述待处理槽和所述延迟槽各自对应的片段锚点及其读取状态,生成所述通道调度记录。
30、可选地,所述依据所述通道调度记录驱动各所述并行承载通道分别读取对应的译制推理片段,包括:
31、根据所述通道调度记录中的片段锚点和读取状态,为各并行承载通道设置锚点守门状态;
32、当所述锚点守门状态指示待处理槽中的译制推理片段不存在未满足的模态依赖标识时,允许对应的并行承载通道读取该译制推理片段;
33、当所述延迟槽中的译制推理片段所依赖的前序片段锚点,在所述通道调度记录中被标记有通道完成标识时,根据所述通道完成标识更新所述锚点守门状态,并将该译制推理片段从所述延迟槽转移至所述待处理槽,以供对应的并行承载通道读取。
34、可选地,所述通道译制结果包括同源片段锚点、通道完成标识、可回灌译制内容和边界保持标签;
35、所述使各并行承载通道在所述片段锚点界定的可回灌时段内生成通道译制结果,包括:
36、使各并行承载通道在所述片段锚点界定的可回灌时段内读取对应的译制推理片段;
37、根据所述译制推理片段中的目标语文本、发声时长约束和画面贴合约束,生成可回灌译制内容;
38、根据所述片段锚点界定的可回灌时段,生成包含起止保护点的边界保持标签,所述起止保护点用于指示所述可回灌时段的起始位置和终止位置;
39、将所述片段锚点作为同源片段锚点写入所述通道译制结果,并在所述通道译制结果中写入通道完成标识;
40、将携带所述同源片段锚点的通道译制结果写入所述回收缓存,并将所述通道完成标识回写至所述通道调度记录。
41、可选地,所述检测到所述回收缓存中属于同一片段锚点的通道译制结果满足回收就绪条件,包括:
42、以所述回收缓存中同源片段锚点对应的通道译制结果为对象,根据所述同源片段锚点在所述通道调度记录中查询已登记的并行承载通道;
43、当所述已登记的并行承载通道均具有通道完成标识时,确认满足通道回收条件;
44、当相邻片段锚点的边界保持标签所指示的起止保护点中,前一片段锚点的终止保护点与后一片段锚点的起始保护点在所述时间轴上相接续时,确认所述边界保持标签通过一致性校验;
45、当所述可回灌译制内容符合所述发声时长约束和所述画面贴合约束时,确认满足内容回灌条件;
46、在所述通道回收条件、所述一致性校验和所述内容回灌条件均满足时,判定所述回收就绪条件被满足;
47、若任一条件未满足,则将对应的通道译制结果保持在所述回收缓存中,并禁止该通道译制结果进入时序回灌校准。
48、可选地,所述对所述通道译制结果执行时序回灌校准,包括:
49、以满足所述回收就绪条件的通道译制结果为对象,根据所述同源片段锚点确定所述时间轴上对应的可回灌时段;
50、根据所述边界保持标签确定所述可回灌时段的起止保护点;
51、在所述起止保护点所限定的范围内,将所述可回灌译制内容写入所述可回灌时段;
52、根据已完成写入的可回灌时段,生成校准后的锚点状态,并将该校准后的锚点状态回写至所述通道调度记录,以使处于延迟槽的译制推理片段根据所述校准后的锚点状态恢复处理,得到所述电影译制推理结果。
53、本技术还提供一种支持多模态并行处理的电影译制推理装置,包括:
54、模态分轨承载模块,用于获取待译制电影数据和目标语译制配置,根据所述待译制电影数据中多种异构模态内容的呈现时序,生成模态分轨承载记录;所述模态分轨承载记录包含片段锚点和模态依赖标识,所述片段锚点用于界定译制内容在电影时间轴上允许回灌的可回灌时段,所述模态依赖标识用于表示不同片段锚点之间的跨片段读取关系;
55、通道调度记录生成模块,用于根据所述片段锚点,从所述模态分轨承载记录中切取译制推理片段,并基于所述模态依赖标识为各所述译制推理片段分配并行承载通道,生成通道调度记录;所述通道调度记录记载各并行承载通道对应的片段锚点及其读取状态;
56、并行承载执行模块,用于依据所述通道调度记录,驱动各所述并行承载通道分别读取对应的译制推理片段,使各并行承载通道在所述片段锚点界定的可回灌时段内生成通道译制结果,并将所述通道译制结果写入以片段锚点为索引的回收缓存;
57、时序回灌校准模块,用于当检测到所述回收缓存中属于同一片段锚点的通道译制结果满足回收就绪条件时,对所述通道译制结果执行时序回灌校准,得到电影译制推理结果。
58、本技术还提供一种电子设备,包括处理器以及存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使所述处理器执行前述支持多模态并行处理的电影译制推理方法。
59、本技术还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,实现前述支持多模态并行处理的电影译制推理方法。
60、本技术还提供一种支持多模态并行处理的电影译制推理系统,包括电影数据接入节点、通道调度节点、并行承载节点和回收回灌节点;
61、所述电影数据接入节点用于获取待译制电影数据和目标语译制配置,根据所述待译制电影数据中多种异构模态内容的呈现时序,生成模态分轨承载记录,并将所述模态分轨承载记录发送至所述通道调度节点;所述模态分轨承载记录包含片段锚点和模态依赖标识,所述片段锚点用于界定译制内容在电影时间轴上允许回灌的可回灌时段,所述模态依赖标识用于表示不同片段锚点之间的跨片段读取关系;
62、所述通道调度节点用于根据所述片段锚点,从所述模态分轨承载记录中切取译制推理片段,并基于所述模态依赖标识为各所述译制推理片段分配并行承载通道,生成通道调度记录,将所述通道调度记录发送至所述并行承载节点;所述通道调度记录记载各并行承载通道对应的片段锚点及其读取状态;
63、所述并行承载节点用于依据所述通道调度记录,驱动各所述并行承载通道分别读取对应的译制推理片段,使各并行承载通道在所述片段锚点界定的可回灌时段内生成通道译制结果,并将所述通道译制结果写入以片段锚点为索引的回收缓存;
64、所述回收回灌节点用于当检测到所述回收缓存中属于同一片段锚点的通道译制结果满足回收就绪条件时,对所述通道译制结果执行时序回灌校准,得到电影译制推理结果。
65、本技术还提供一种支持多模态并行处理的电影译制推理方法,包括:
66、获取待处理电影数据和译制约束配置,根据所述待处理电影数据中的多模态时序关联关系,生成时序承载信息,所述时序承载信息用于限定译制推理内容在电影时序中的处理边界以及不同处理边界之间的读取依赖关系;
67、依据所述时序承载信息构建译制推理承载对象,并根据所述读取依赖关系为所述译制推理承载对象配置并行执行指引,所述并行执行指引用于指示各译制推理承载对象的承载位置和读取状态;
68、按照所述并行执行指引驱动多个并行处理通路读取对应的译制推理承载对象,使所述多个并行处理通路在所述处理边界约束下生成通路译制结果,并将所述通路译制结果写入结果回收区;
69、当所述结果回收区中的通路译制结果满足用于表征同一处理边界内多通路结果可回灌的回收判定条件时,对所述通路译制结果进行时序校准处理,得到电影译制推理结果。
70、本技术提供的技术方案的技术好处:
71、本技术的支持多模态并行处理的电影译制推理方法,针对现有顺序处理方案难以同时兼顾不同数据内容之间跨段关联和并行执行关系的技术缺陷,先获取待译制电影数据和目标语译制配置,并根据待译制电影数据中多种异构模态内容的呈现时序生成模态分轨承载记录,使电影中的不同来源内容先被转换为能够随时间呈现关系进行承载的记录形式;同时,通过片段锚点界定译制内容在电影时间轴上允许回灌的可回灌时段,并通过模态依赖标识表示不同片段锚点之间的跨片段读取关系,相较于传统方案仅按文件时间顺序逐段处理的方式,本技术能够在译制推理开始前同时建立时间边界和跨片段读取关系,使后续并行处理不再脱离电影时间轴上的回写约束,也不再忽略相邻或相关片段之间的读取依赖,从而缓解顺序流程中后续片段需要读取前序片段信息却缺少承载标识的问题。
72、在已经生成模态分轨承载记录的基础上,本技术根据片段锚点从模态分轨承载记录中切取译制推理片段,并基于模态依赖标识为各译制推理片段分配并行承载通道,生成记载各并行承载通道对应的片段锚点及其读取状态的通道调度记录。相较于传统方案将全部片段放入单一顺序队列依次处理的方式,本技术并不是简单地将电影内容拆段后并发执行,而是利用片段锚点确定译制推理片段的处理对象,再利用模态依赖标识决定译制推理片段与并行承载通道之间的分配关系,使能够并行读取的片段进入并行处理过程,使存在跨片段读取关系的片段受到读取状态约束。由此,既能提高不同通道对译制推理片段的承载利用程度,又能降低无序并行导致依赖片段提前处理的风险,解决现有顺序处理方案中处理通路利用率较低以及并行改造后容易破坏片段关联关系的问题。
73、本技术依据通道调度记录驱动各并行承载通道分别读取对应的译制推理片段,使各并行承载通道在片段锚点界定的可回灌时段内生成通道译制结果,并将通道译制结果写入以片段锚点为索引的回收缓存。通过该处理方式,每一个通道译制结果在生成时均与对应的片段锚点以及可回灌时段保持关联,通道译制结果不是在生成后直接写回电影时间轴,而是先进入以片段锚点为索引的回收缓存。相较于传统方案中各段译制内容生成后直接按原位置写回、后续再统一检查的方式,本技术将并行生成和时序回写分离,使并行承载通道可以在各自的处理节奏下生成结果,同时通过片段锚点索引将结果归集到对应的回收位置,从而减少并行结果之间因生成先后不同而造成的回写等待和边界冲突,为后续统一判定同一片段锚点下结果是否可回灌提供数据基础。
74、当检测到回收缓存中属于同一片段锚点的通道译制结果满足回收就绪条件时,本技术对通道译制结果执行时序回灌校准,得到电影译制推理结果。该处理方式针对现有顺序处理方案缺乏面向结果回写边界的过程约束、容易在集中写回时发生边界衔接反复调整的问题,在通道译制结果进入电影时间轴之前增加回收就绪判断,使属于同一片段锚点的通道译制结果只有在满足可回灌要求时才进入时序回灌校准。相较于传统方案先写回再整体预览调整的方式,本技术以回收缓存和回收就绪条件作为并行结果进入时间轴的前置约束,并通过时序回灌校准将可回灌译制内容按照片段锚点对应的时间边界写入电影时序,从而使多通道生成结果与电影时间轴之间具有较好的衔接一致性,降低因多段译制内容集中写回产生的反复调整量,并使电影译制推理过程更适合多源内容并行处理和连续回灌的应用需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com