定位请求处理方法以及定位请求处理系统与流程

本说明书实施例涉及多模态数据处理，特别涉及一种定位请求处理方法以及一种定位请求处理系统。

背景技术：

1、随着多模态大语言模型技术的快速发展，对音频、视频等多模态数据中目标对象进行时间定位，已成为长视频检索、内容审核、会议质检等领域中支撑精细化内容处理的重要能力。

2、目前，针对多模态数据中目标对象的时间定位，通常可以采用基于时间感知的训练式方案，通过在模型结构中引入时间戳感知编码器或专用时间词元，并利用带时间标注的样本对模型进行训练，使模型能够输出目标对象对应的时间区间；此外，也存在在模型输入中显式添加时间显示信息，并结合针对目标对象的查询驱动模型进行时间定位的方案。

3、然而，上述技术方案在实际应用中存在一定的技术问题。训练式方案需要修改模型结构，并依赖大量时间标注样本重新训练，难以应用于模型参数固定或仅提供推理接口的模型；而显式添加时间显示信息的方案中，所添加的时间信息通常独立于目标对象在媒体中的证据内容呈现，模型难以将时间信息与证据内容进行关联，导致确定目标对象在目标多模态数据中对应时间区间的准确性较低。因此，亟须一种无需更新模型参数且时间区间定位更准确的定位请求处理方法。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种定位请求处理方法。本说明书一个或者多个实施例同时涉及一种定位请求处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决上述技术问题。

2、根据本说明书实施例的第一方面，提供了一种定位请求处理方法，包括：

3、获取目标多模态数据，以及针对目标多模态数据中目标对象的定位请求；

4、对目标多模态数据进行可视化处理，获得至少一个视觉数据，其中，视觉数据承载目标对象的证据内容；

5、将时间坐标渲染至视觉数据，获得带时间坐标的多模态数据，其中，时间坐标与证据内容位于同一视觉数据中；

6、将带时间坐标的多模态数据和定位请求输入预设的多模态数据处理模型，基于定位请求对带时间坐标的多模态数据进行推理，获得目标对象在目标多模态数据中对应的时间区间。

7、根据本说明书实施例的第二方面，提供了一种定位请求处理系统，包括前端接口和定位请求处理模块；

8、前端接口，用于接收目标多模态数据，以及针对目标多模态数据中目标对象的定位请求，并将目标多模态数据和定位请求发送至定位请求处理模块；

9、定位请求处理模块，用于获取目标多模态数据和定位请求，并执行如上述的定位请求处理方法，获得目标对象在目标多模态数据中对应的时间区间，并返回至前端接口。

10、根据本说明书实施例的第三方面，提供了一种计算设备，包括：

11、存储器和处理器；

12、存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，该计算机可执行指令被处理器执行时实现上述定位请求处理方法的步骤。

13、根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述定位请求处理方法的步骤。

14、根据本说明书实施例的第五方面，提供了一种计算机程序产品，包括计算机可执行指令，该计算机可执行指令被处理器执行时实现上述定位请求处理方法的步骤。

15、本说明书一个实施例实现了一种定位请求处理方法，通过对目标多模态数据进行可视化处理，将时间坐标渲染至承载目标对象证据内容的视觉数据，并将带时间坐标的多模态数据与定位请求输入多模态数据处理模型进行推理，确定目标对象在目标多模态数据中对应的时间区间。

16、通过获取目标多模态数据，以及针对目标多模态数据中目标对象的定位请求，为按目标对象进行时间定位提供了明确的输入基础；对目标多模态数据进行可视化处理，获得承载目标对象证据内容的视觉数据，使目标对象在目标多模态数据中的证据内容以统一的视觉形式呈现，为后续时间信息的注入提供了可承载的视觉载体；将时间坐标渲染至视觉数据，并使时间坐标与证据内容位于同一视觉数据中，使时间坐标与目标对象的证据内容在模型输入侧实现结构上的绑定，模型可以直接建立时间坐标与证据内容之间的对应关系，降低了对训练阶段时间表示学习的依赖；将带时间坐标的多模态数据与定位请求输入多模态数据处理模型进行推理，获得目标对象在目标多模态数据中对应的时间区间，充分利用了模型对多模态输入的推理能力完成时间定位，整个处理过程不涉及对模型参数的调整，可以作用于已训练完成的模型，拓宽了时间定位方案的适用范围，同时由于时间坐标以可见形式附着于证据内容所在的视觉数据，提高了确定目标对象对应时间区间的准确性。

1.一种定位请求处理方法，包括：

2.根据权利要求1所述的方法，所述目标多模态数据包括音频数据，所述视觉数据包括频谱图；

3.根据权利要求1所述的方法，所述目标多模态数据包括视频数据，所述视觉数据包括采样帧；

4.根据权利要求3所述的方法，在所述将所述视频数据的时间戳作为所述时间坐标打印至所述采样帧之前，还包括：

5.根据权利要求1所述的方法，在所述将所述带时间坐标的多模态数据和所述定位请求输入预设的多模态数据处理模型之前，还包括：

6.根据权利要求1至5任意一项所述的方法，所述基于所述定位请求对所述带时间坐标的多模态数据进行推理，获得所述目标对象在所述目标多模态数据中对应的时间区间，包括：

7.根据权利要求6所述的方法，在所述基于所述初始时间区间，确定所述目标对象在所述目标多模态数据中对应的时间区间之前，还包括：

8.根据权利要求6所述的方法，所述基于所述定位请求对所述带时间坐标的多模态数据进行推理，获得所述目标对象的初始时间区间，包括：

9.根据权利要求6所述的方法，在所述基于所述定位请求对所述带时间坐标的多模态数据进行推理，获得所述目标对象的初始时间区间之后，还包括：

10.根据权利要求9所述的方法，所述确定所述目标对象的时间信息在所述隐状态中的可读程度，以及所述时间信息在所述目标多模态数据的各模态之间的坐标兼容程度，包括：

11.根据权利要求9所述的方法，所述基于所述目标干预层和所述初始时间区间，确定所述目标对象在所述目标多模态数据中对应的时间区间，包括：

12.根据权利要求11所述的方法，所述将所述时间坐标对应的词元的隐状态沿锚点隐状态的方向进行定向插值，包括：

13.根据权利要求11所述的方法，所述基于所述修复时间区间和所述初始时间区间，确定所述目标对象在所述目标多模态数据中对应的时间区间，包括：

14.一种定位请求处理系统，包括前端接口和定位请求处理模块；

15.一种计算设备，包括：

16.一种计算机可读存储介质，其存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现权利要求1至13任意一项所述定位请求处理方法的步骤。

17.一种计算机程序产品，包括计算机可执行指令，所述计算机可执行指令被处理器执行时实现权利要求1至13任意一项所述定位请求处理方法的步骤。