双录交互数据的质检方法、装置及存储介质与流程
本技术涉及人工智能领域，具体而言，涉及一种双录交互数据的质检方法、装置及存储介质。
背景技术：
1、双录交互是金融机构在业务办理时同步采集录音录像数据的过程，对双录交互数据进行质检指的是针对上述录音录像数据开展的检查，从而确保业务办理的合规性和保护客户权益。
2、相关技术中，通常采用基于语音识别与视频动作识别的方式进行双录交互数据的质检，例如，通过语音识别将双录过程中的语音内容转换为文本，进而对文本进行关键词捕捉等分析，或者通过目标检测模型对视频中是否正确提供相关文件等关键动作进行检测。然而，在双录交互过程中，视频动作识别受环境因素影响可能出现不清晰等问题，背景噪音等也可能干扰语音识别的准确性，因此，双录质检的准确性不足。
3、针对相关技术中双录交互数据的质检准确性较低的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本技术的主要目的在于提供一种双录交互数据的质检方法、装置及存储介质，以解决相关技术中双录交互数据的质检准确性较低的问题。
2、为了实现上述目的，根据本技术的一个方面，提供了一种双录交互数据的质检方法。该方法包括：在获得第一对象和第二对象授权的情况下，获得第一对象和第二对象在双录交互过程中的视频数据集合和音频数据集合；按时间对视频数据集合和音频数据集合进行分片处理，得到不同阶段的视频数据和音频数据；依据每个阶段的视频数据和音频数据生成阶段对应的融合特征，得到多个融合特征，其中，至少一个融合特征是根据所属阶段的噪声干扰程度对视频数据和音频数据的特征进行融合得到的，噪声干扰程度包括视频干扰程度和音频干扰程度；将多个融合特征输入双录检测模型，并依据双录检测模型输出双录质检结果。
3、进一步地，按时间对视频数据集合和音频数据集合进行分片处理，得到不同阶段的视频数据和音频数据包括：在双录交互过程中，确定第一阶段的第一时间范围、第二阶段的第二时间范围和第三阶段的第三时间范围，其中，第一阶段用于身份核验，第二阶段用于产品介绍和风险提示，第三阶段用于签约确认；依据第一时间范围从视频数据集合中提取第一视频数据、从音频数据集合中提取第一音频数据，依据第二时间范围从视频数据集合中提取第二视频数据、从音频数据集合中提取第二音频数据，依据第三时间范围从视频数据集合中提取第三视频数据、从音频数据集合中提取第三音频数据。
4、进一步地，依据每个阶段的视频数据和音频数据生成阶段对应的融合特征，得到多个融合特征包括：依据第一阶段的视频干扰程度、第一视频数据和第一音频数据生成第一融合特征；依据第二阶段的音频干扰程度、第二视频数据和第二音频数据生成第二融合特征；依据第三阶段的第三视频数据和第三音频数据生成第三融合特征；集合第一融合特征、第二融合特征和第三融合特征，得到多个融合特征。
5、进一步地，依据第一阶段的视频干扰程度、第一视频数据和第一音频数据生成第一融合特征包括：依据第一视频数据确定多帧视频信息，并提取每帧视频信息对应的子视频特征，得到多个子视频特征；通过视频干扰检测确定每帧视频信息的视频干扰程度；依据视频干扰程度对多个子视频特征进行融合，得到第一视频特征；对第一音频数据进行特征提取以获取第一音频特征，融合第一视频特征和第一音频特征生成第一融合特征。
6、进一步地，依据视频干扰程度对多个子视频特征进行融合，得到第一视频特征包括：对视频干扰程度达到视频干扰阈值的子视频特征配置第一权重，对视频干扰程度未达到视频干扰阈值的子视频特征配置第二权重，其中，第一权重小于第二权重；依据第一权重、第二权重对多个子视频特征进行加权融合，得到第一视频特征。
7、进一步地，依据第二阶段的音频干扰程度、第二视频数据和第二音频数据生成第二融合特征包括：分别将第二音频数据和第二视频数据按预设的子时段进行拆分，得到多个子时段的音频子信息和视频子信息；提取音频子信息的音频子特征，提取视频子信息的视频子特征；对每个音频子信息进行音频干扰检测，得到多个音频干扰程度；依据音频干扰程度对每个子时段的音频子特征和视频子特征进行融合，得到多个子时段特征；对多个子时段特征进行融合，生成第二融合特征。
8、进一步地，依据音频干扰程度对每个子时段的音频子特征和视频子特征进行融合，得到多个子时段特征包括：对音频干扰程度达到音频干扰阈值的音频子特征配置第三权重，对音频干扰程度未达到音频干扰阈值的音频子特征配置第四权重，其中，第三权重小于第四权重；将每个权重配置后的音频子特征与相同子时段的视频子特征进行融合，得到多个子时段特征。
9、进一步地，双录检测模型的训练步骤包括：接收多个双录交互样本及每个双录交互样本的标签；提取每个双录交互样本的多个样本融合特征，并依据多个样本融合特征及对应的标签对预设神经网络模型进行训练，得到双录检测模型。
10、为了实现上述目的，根据本技术的另一方面，提供了一种双录交互数据的质检装置。该装置包括：获取单元，用于在获得第一对象和第二对象授权的情况下，获得第一对象和第二对象在双录交互过程中的视频数据集合和音频数据集合；分片单元，用于按时间对视频数据集合和音频数据集合进行分片处理，得到不同阶段的视频数据和音频数据；融合单元，用于依据每个阶段的视频数据和音频数据生成阶段对应的融合特征，得到多个融合特征，其中，至少一个融合特征是根据所属阶段的噪声干扰程度对视频数据和音频数据的特征进行融合得到的，噪声干扰程度包括视频干扰程度和音频干扰程度；输出单元，用于将多个融合特征输入双录检测模型，并依据双录检测模型输出双录质检结果。
11、进一步地，分片单元包括：时间范围确定模块，用于在双录交互过程中，确定第一阶段的第一时间范围、第二阶段的第二时间范围和第三阶段的第三时间范围，其中，第一阶段用于身份核验，第二阶段用于产品介绍和风险提示，第三阶段用于签约确认；数据提取模块，用于依据第一时间范围从视频数据集合中提取第一视频数据、从音频数据集合中提取第一音频数据，依据第二时间范围从视频数据集合中提取第二视频数据、从音频数据集合中提取第二音频数据，依据第三时间范围从视频数据集合中提取第三视频数据、从音频数据集合中提取第三音频数据。
12、进一步地，融合单元包括：第一融合模块，用于依据第一阶段的视频干扰程度、第一视频数据和第一音频数据生成第一融合特征；第二融合模块，用于依据第二阶段的音频干扰程度、第二视频数据和第二音频数据生成第二融合特征；第三融合模块，用于依据第三阶段的第三视频数据和第三音频数据生成第三融合特征；融合结果模块，用于集合第一融合特征、第二融合特征和第三融合特征，得到多个融合特征。
13、进一步地，第一融合模块包括：第一提取子模块，用于依据第一视频数据确定多帧视频信息，并提取每帧视频信息对应的子视频特征，得到多个子视频特征；第一检测子模块，用于通过视频干扰检测确定每帧视频信息的视频干扰程度；第一融合子模块，用于依据视频干扰程度对多个子视频特征进行融合，得到第一视频特征；第一生成子模块，用于对第一音频数据进行特征提取以获取第一音频特征，融合第一视频特征和第一音频特征生成第一融合特征。
14、进一步地，第一融合子模块包括：第一权重配置组件，用于对视频干扰程度达到视频干扰阈值的子视频特征配置第一权重，对视频干扰程度未达到视频干扰阈值的子视频特征配置第二权重，其中，第一权重小于第二权重；第一加权融合组件，用于依据第一权重、第二权重对多个子视频特征进行加权融合，得到第一视频特征。
15、进一步地，第二融合模块包括：时段拆分子模块，用于分别将第二音频数据和第二视频数据按预设的子时段进行拆分，得到多个子时段的音频子信息和视频子信息；第二提取子模块，用于提取音频子信息的音频子特征，提取视频子信息的视频子特征；第二检测子模块，用于对每个音频子信息进行音频干扰检测，得到多个音频干扰程度；第二融合子模块，用于依据音频干扰程度对每个子时段的音频子特征和视频子特征进行融合，得到多个子时段特征；第二生成子模块，用于对多个子时段特征进行融合，生成第二融合特征。
16、进一步地，第二融合子模块包括：第二权重配置组件，用于对音频干扰程度达到音频干扰阈值的音频子特征配置第三权重，对音频干扰程度未达到音频干扰阈值的音频子特征配置第四权重，其中，第三权重小于第四权重；第二加权融合组件，用于将每个权重配置后的音频子特征与相同子时段的视频子特征进行融合，得到多个子时段特征。
17、进一步地，该装置还包括：接收单元，用于接收多个双录交互样本及每个双录交互样本的标签；训练单元，用于提取每个双录交互样本的多个样本融合特征，并依据多个样本融合特征及对应的标签对预设神经网络模型进行训练，得到双录检测模型。
18、根据本技术的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行任意一种双录交互数据的质检方法。
19、根据本技术的另一方面，提供了一种电子设备，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，一个或多个程序被存储在存储器中，并且被配置为由一个或多个处理器执行，一个或多个程序包括用于执行任意一种双录交互数据的质检方法。
20、根据本技术的另一方面，提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现上述任意一项的双录交互数据的质检方法的步骤。
21、在本技术实施例中，通过在获得第一对象和第二对象授权的情况下，获得第一对象和第二对象在双录交互过程中的视频数据集合和音频数据集合；按时间对视频数据集合和音频数据集合进行分片处理，得到不同阶段的视频数据和音频数据；依据每个阶段的视频数据和音频数据生成阶段对应的融合特征，得到多个融合特征，其中，至少一个融合特征是根据所属阶段的噪声干扰程度对视频数据和音频数据的特征进行融合得到的，噪声干扰程度包括视频干扰程度和音频干扰程度；将多个融合特征输入双录检测模型，并依据双录检测模型输出双录质检结果，解决了现有技术中双录交互数据的质检准确性较低的技术问题。
22、通过将双录交互过程中的视频数据集合和音频数据集合按时间分片处理，得到不同阶段的视频数据和音频数据，并根据噪声干扰程度对至少一个阶段的视频数据和音频数据的特征进行融合得到以获取对应的融合特征，从而实现了关键特征的聚焦，提高了双录检测模型的预测准确性，提高了双录交互数据的质检准确性。