一种数据处理方法、设备、程序产品、存储介质与流程

本申请涉及人工智能技术，尤其涉及一种数据处理方法、设备、程序产品、存储介质。

背景技术：

1、多模态违规行为分析是指通过融合视频、音频、文本等多种模态的数据，利用人工智能技术对公共场所或网络环境中的违规行为进行识别、分类和预警，可广泛应用于安防监控、内容审核、智能交通等领域，旨在提升违规行为识别的准确性与场景适应性，为安全管理提供智能化支持。然而现有的识别方式的精准度有待提高。

技术实现思路

1、为解决上述技术问题，本申请实施例提供一种数据处理方法、设备、程序产品、存储介质。

2、本申请提供的数据处理方法，所述方法包括：

3、获取第一区域内的多模态数据，所述多模态数据包括视频数据、传感器数据和文本数据；

4、将所述多模态数据进行融合生成多模态融合向量；

5、根据所述多模态融合向量确定图像子向量和传感器语义子向量；

6、根据所述传感器语义子向量确定文本数据中的第一文本向量，所述第一文本向量与所述传感器语义子向量相关；

7、根据所述图像子向量、传感器语义子向量和所述第一文本向量构建训练数据集合；所述训练数据集合用于训练第一识别模型，所述第一识别模型用于识别所述第一区域内多种类型的行为和所述多种类型的行为的执行者。

8、本申请提供的数据处理设备，包括：处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行上述数据处理方法。

9、本申请提供的一种计算机程序产品，包括：计算机程序，所述计算机程序在被处理器执行时实现上述数据处理方法。

10、本申请提供的计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行上述数据处理方法。

11、本申请的技术方案中，获取第一区域内的多模态数据，所述多模态数据包括视频数据、传感器数据和文本数据；将所述多模态数据进行融合生成多模态融合向量；根据所述多模态融合向量确定图像子向量和传感器语义子向量；根据所述传感器语义子向量确定文本数据中的第一文本向量，所述第一文本向量与所述传感器语义子向量相关；根据所述图像子向量、传感器语义子向量和所述第一文本向量构建训练数据集合；所述训练数据集合用于训练第一识别模型，所述第一识别模型用于识别所述第一区域内多种类型的行为和所述多种类型的行为的执行者。如此，在获取第一识别模型的训练数据的时候，同时考虑到多种维度的信息和多种维度信息的关联信息，提升第一识别模型的识别精准度。

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取第一区域内的多模态数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述多模态数据进行融合生成多模态融合向量，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述多尺度融合特征图集合和所述传感器数据确定所述多模态融合向量，包括：

5.根据权利要求4所述的方法，其特征在于，所述第三网络模型包括多个注意力头；所述根据所述多模态融合向量确定图像子向量和传感器语义子向量，包括：

6.根据权利要求1至5任一项所述的方法，其特征在于，在所述根据所述传感器语义子向量确定文本数据中的第一文本向量之前，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述传感器语义子向量确定文本数据中的第一文本向量，包括：

8.一种数据处理设备，其特征在于，包括：处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至7中任一项所述的方法。

9.一种计算机程序产品，其特征在于，包括：计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至7中任一项所述的方法。