一种基于AI的智能标签检索方法及系统与流程

一种基于ai的智能标签检索方法及系统
技术领域
1.本发明涉及人工智能技术领域，具体涉及一种基于ai的智能标签检索方法及系统。


背景技术：

2.随计算机网络技术的发展，信息传送效率的提升，以视频为载体的信息传送方式逐渐替代图像或文字的方式，文字可以通过关键词快速进行检索提取，图像可以通过智能扫描识别引擎快速进行检索提取，视频信息作为计算机网络上信息传送的有效方式，难以实现快速检索提取。
3.在进行图像检索提取过程中，可以通过视频中的语音内容，进行语义识别，提取语音中的关键词，通过关键词对应时间轴，在所在视频中进行检索定位，实现提取目标素材，但是对应目标素材截取的起始点与截止点需要进行人工识别，且关键词作为检索标识信息，存在多次出现的概率，若关键词多次出现，会导致目标素材截取效率低，存在时间资源浪费的情况。
4.现有技术中存在难以快速准确检索提取目标素材，导致视频素材检索调取效率低的技术问题。


技术实现要素：

5.本技术通过提供了一种基于ai的智能标签检索方法及系统，解决了难以快速准确检索提取目标素材，导致视频素材检索调取效率低的技术问题，达到了采用音频特征标签与动图特征标签，精准提取目标素材，实现快速检索提取目标素材片段，提高视频素材检索调取效率的技术效果。
6.鉴于上述问题，本技术提供了一种基于ai的智能标签检索方法及系统。
7.本技术的第一个方面，提供了一种基于ai的智能标签检索方法，其中，所述方法包括：获取视频素材信息；基于所述视频素材信息，构建音频特征标签集与动图特征标签集；通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。
8.本技术的第二个方面，提供了一种基于ai的智能标签检索系统，其中，所述系统包括：素材信息获取单元，所述素材信息获取单元用于获取视频素材信息；标签集构建单元，所述标签集构建单元用于基于所述视频素材信息，构建音频特征标签集与动图特征标签集；冲突集获取单元，所述冲突集获取单元用于通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；标记集获取单元，所述标记集获取单元用于基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突
集，获取视频素材标记集；标记结果获取单元，所述标记结果获取单元用于基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；片段集获取单元，所述片段集获取单元用于通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；目标素材调取单元，所述目标素材调取单元用于通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。
9.本技术中提供的一个或多个技术方案，至少具有如下技术效果或优点：
10.由于采用了获取视频素材信息；构建音频特征标签集与动图特征标签集；在视频素材信息中进行标记验证，获取标记冲突集；基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；在所述视频素材信息进行标记，获取视频素材信息标记结果；进行智能剪切，获取视频素材片段集；通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。本技术实施例达到了采用音频特征标签与动图特征标签，精准提取目标素材，实现快速检索提取目标素材片段，提高视频素材检索调取效率的技术效果。
附图说明
11.图1为本技术一种基于ai的智能标签检索方法的流程示意图；
12.图2为本技术一种基于ai的智能标签检索方法的获取动图特征标签集的流程示意图；
13.图3为本技术一种基于ai的智能标签检索方法的获取动图素材人物特征集的流程示意图；
14.图4为本技术一种基于ai的智能标签检索系统的结构示意图。
15.附图标记说明：素材信息获取单元11，标签集构建单元12，冲突集获取单元13，标记集获取单元14，标记结果获取单元15，片段集获取单元16，目标素材调取单元17。
具体实施方式
16.本技术通过提供了一种基于ai的智能标签检索方法及系统，解决了难以快速准确检索提取目标素材，导致视频素材检索调取效率低的技术问题，达到了采用音频特征标签与动图特征标签，精准提取目标素材，实现快速检索提取目标素材片段，提高视频素材检索调取效率的技术效果。
17.实施例一
18.如图1所示，本技术提供了一种基于ai的智能标签检索方法，其中，所述方法包括：
19.步骤s100：获取视频素材信息；
20.步骤s200：基于所述视频素材信息，构建音频特征标签集与动图特征标签集；
21.具体而言，常见的，视频素材信息包括音频素材信息与动图素材信息，将音频素材信息与动图素材信息进行时间轴对应绑定，可以还原成所述视频素材信息，需要在视频素材信息中进行智能标签检索，从音频特征与动图特征两角度特征指标进行标签检索，为精准标记视频素材信息提供数据支持。
22.进一步具体说明，视频剪辑人员在进行视频剪辑过程中，一般是按照剧集内容，通过进度条进行快速跳转，从视频素材信息中截取需要的视频素材，通过音频特征与动图特
征生成特征标签集，通过标签进行快速提取，大大缩短了截取需要的视频素材所耗费的时间。
23.进一步的，基于所述视频素材信息，构建音频特征标签集与动图特征标签集，步骤s200包括：
24.步骤s210：对所述视频素材信息进行特征隔离，获取音频素材信息与动图素材信息；
25.步骤s220：在所述音频素材信息中进行音色特征分析，获取音频特征标签集；
26.步骤s230：在所述动图素材信息中分别进行场景特征分析与人物特征分析，获取动图特征标签集。
27.具体而言，视频素材信息包括音频素材信息与动图素材信息，对所述视频素材信息进行特征隔离，获取音频素材信息与动图素材信息，所述音频素材信息与动图素材信息的时间轴对应，所述音色特征包括但不限于频谱特征参数和包络特征参数，同一振动源发出的音频信息可以通过音色特征进行区分，通过所述音频素材信息进行音色特征分析，获取音频特征标签集，所述音频特征标签集的各个元素即频谱特征参数和/或包络特征参数不同的音色，音色不同于响度、频率等其他音频素材信息的特征指标，音色可以用于对声源进行辨识区分。
28.具体说明，将场景与人物隔离进行特征分析，所述场景特征包括环境特征(色温特征、亮度特征)、场景道具特征等相关指标特征，所述人物特征可以是人脸特征和检测对象相关的指标特征，分别进行场景特征分析与人物特征分析，将所得指标进行合并，获取动图特征标签集，进行特征隔离，为提高标签检索的精度提供支持。
29.进一步具体说明，若所述动图素材信息显示甲乙两对象交谈，对应的，音频素材信息对应的音频特征标签集包括甲对象的音色特征与乙对象的音色特征。
30.进一步的，如图2所示，在所述动图素材信息中分别进行场景特征分析与人物特征分析，获取动图特征标签集，步骤s230包括：
31.步骤s231：通过所述动图素材信息进行场景特征分析，获取动图素材场景特征集；
32.步骤s232：基于所述动图素材场景特征集，对同一场景的不同视角进行特征嵌套合并，获取动图场景信息；
33.步骤s233：通过所述动图素材信息进行人物特征分析，获取动图素材人物特征集；
34.步骤s234：基于所述动图素材人物特征集，对同一人物的不同状态进行特征组合，获取动图人物信息；
35.步骤s235：通过所述动图场景信息与所述动图人物信息，获取动图特征标签集。
36.具体而言，对所述动图素材信息进行场景特征分析，可以通过相关白平衡工具(图片后期处理工具)，获取色温特征，基于高准确亮度计，在获取视频素材信息的同时，同步进行亮度测量，获取亮度特征，所述场景道具特征包括道具颜色特征、道具形状特征及其他相关特征指标，对所述动图素材信息进行截取，可以通过所述动图素材信息的场景切换速度与环境复杂的场景，适应性调整截取频率，所述截取频率可以通过智能标签检索系统，进行自动以设定，对所述动图素材信息截取所得图像进行场景特征分析，整合所述环境特征、场景道具特征等相关指标特征，获取动图素材场景特征集，动图素材场景特征集进行场景位置标记，将位置标记一致的动图素材场景特征进行嵌套合并，获取动图场景信息。
37.具体而言，人物的面部特征在不同状态存在一定的差异，面部特征处于哭啼、咆哮、大笑状态，脸部肌肉因存在牵引运动，为保证识别精度，为保证特征标签的精度与完整度，基于所述动图素材人物特征集，对面部因肌肉牵引导致的变形进行标记区分，将标记区分的同一人物的不同状态进行特征组合，获取动图人物信息，对所述动图场景信息与所述动图人物信息进行合并，获取动图特征标签集，进一步细化特征标签，为保证动图特征标签集的精度提供支持。
38.进一步具体说明，所述场景位置标记包括位置区域面积标记与位置坐标标记，所述位置标记一致的动图素材场景特征即同一采集地点的不同角度的场景特征指标，上述方案是验证优选所得，可以实现快速获取视频素材的标签，为保证标记提取效率提供支持。
39.进一步的，如图3所示，通过所述动图素材信息进行人物特征分析，获取动图素材人物特征集，步骤s233包括：
40.步骤s233-1：搭载xml分类器，以灰度模式加载输入所述动图素材信息；
41.步骤s233-2：对所述动图素材信息进行预处理，获取正样本素材信息与负样本素材信息；
42.步骤s233-3：基于所述正样本素材信息，进行特征计算，寻找目标样本在帧/图像中的样本位置特征信息；
43.步骤s233-4：在所述样本位置特征信息进行检测提取，获取目标样本局部特征集；
44.步骤s233-5：通过所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集。
45.进一步的，通过所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集，步骤s233-5包括：
46.步骤s233-51：通过预设参数指标信息，在所述负样本素材信息中进行关联提取，获取指标特征关联集；
47.步骤s233-52：通过所述指标特征关联集，对所述目标样本局部特征集进行特征补充，获取动图素材人物特征集。
48.具体而言，在xml文件加载级联分类器，进行opencv训练搭载xml分类器，以灰度模式加载输入所述动图素材信息；对所述动图素材信息进行预处理，所述预处理包括图像裁剪处理、模糊处理和锐化处理等相关图像基本预处理操作，获取正样本素材信息与负样本素材信息，所述正样本素材信息可以是人脸位置的素材信息，手动创建负样本文件，所述负样本素材信息对应的负图像是没有人脸的素材信息；基于所述正样本素材信息，通过haar-like特征算法，在寻找人脸在帧或图像中的位置，所述目标样本可以设定为共同的人脸特性样本指标，具体的，所述目标样本可以是鼻子区域比眼睛区域像素更亮，具体需要结合实际的指标参数运算进行对照确定，此处不做说明，寻找目标样本在帧/图像中的样本位置特征信息；借助边缘检测、线检测和中心检测等检测方式，在所述样本位置特征信息中进行提取特征，在图片中形成一个矩形框来表示人脸的位置，在检测到人脸的所需区域中制作一个矩形框，使用矩形框的黑色矩形中的像素值之和减去白色矩形中的像素值之和，获取目标样本局部特征集；合并所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集，通过分类器能够快速进行特征区分识别，为保证标签检索效率提供技术支持。
49.具体而言，所述预设参数指标信息包括服饰指标信息、身高指标信息、发型指标信
息等相关指标信息，在所述负样本素材信息中进行关联提取，获取指标特征关联集，所述指标特征关联集的元素可以是服饰指标特征、身高指标特征、发型指标特征；以所述指标特征关联集，对所述目标样本局部特征集进行特征补充，获取动图素材人物特征集，为全面进行标记识别提供支持。
50.进一步的，在所述样本位置特征信息进行检测提取，获取目标样本局部特征集，步骤s233-4包括：
51.步骤s233-41：通过lbph算法，获取指标参数信息；
52.步骤s233-42：通过所述指标参数信息，对目标样本与身份id进行训练验证匹配，获取目标样本-身份id关联映射信息；
53.步骤s233-43：通过所述目标样本-身份id关联映射信息，使用突出面部特征以特定方式描述所述样本位置特征信息；
54.步骤s233-44：基于所述样本位置特征信息，采用所述指标参数信息进行网格划分，提取样本直方图；
55.步骤s233-45：通过多个所述样本直方图，计算欧氏距离，获取目标样本局部特征集。
56.具体而言，所述指标参数信息包括半径(围绕中心像素的半径，常设置为1)、neighbors(圆形二进制模式的样本点数)、grid x(水平方向的单元格数)、grid y(垂直方向的单元格数)，基于所述样本位置特征信息，通过lbph算法，获取指标参数信息；通过所述指标参数信息，在所述样本位置特征信息中，对目标样本与身份id(身份编码，具有唯一性)进行训练验证匹配，匹配所得特定人物的图像必须具有相同的id，获取目标样本-身份id关联映射信息；进行lbp计算创建中间图像，使用突出面部特征以特定方式描述所述样本位置特征信息；对身份id存在一致的匹配所得特定人物的图像创建新的直方图，通过所述指标参数信息进行网格划分，提取样本直方图，通过多个所述样本直方图，计算欧氏距离，判断所述欧氏距离是否满足模型识别预设标准，模型识别预设标准为一预设参数指标信息，若所述欧氏距离满足模型识别预设标准，获取目标样本局部特征集，所述目标样本局部特征集的元素即多组身份id的突出面部特征，通过目标样本-身份id关联映射信息与目标样本局部特征集，为后续进行特征匹配提供参数基础。
57.步骤s300：通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；
58.步骤s400：基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；
59.具体而言，分别使用所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标签标记验证，对标签标记出现重复的进行异常突出标记，获取标记冲突集，常见的，生物学上的同卵双胞胎的面部特征相似度极高，在面部特征识别精度有限的情况下，容易出现标记冲突现象；可以通过进行精度调整，获取视频素材标记集，所述视频素材标记集即不存在标记冲突现象的特征标签集合，为保证素材标签的可信度与精准度提供支持。
60.进一步的，基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集，步骤s400包括：
61.步骤s410：将所述标记冲突集导出，发送至智能标签检索系统相关管理人员，获取精度调整信号；
62.步骤s420：基于所述动图特征标签集，通过所述精度调整信号，调整指标参数信息，获取动图特征标签调整集；
63.步骤s430：通过所述音频特征标签集与所述动图特征标签调整集，进行标记验证，若验证通过，获取视频素材标记集。
64.具体而言，通过智能标签检索系统的反馈端，将所述标记冲突集导出，发送至智能标签检索系统相关管理人员，通过相关管理人员，获取精度调整信号，所述精度调整信号用于调整所述指标参数信息；通过所述精度调整信号，调整指标参数信息，所述动图特征标签调整集即指标参数信息调整后计算所得的动图特征标签集；通过所述音频特征标签集与所述动图特征标签调整集，再次进行标记验证，若验证通过，获取视频素材标记集，所述视频素材标记集即不存在标记冲突现象的特征标签集合，若验证仍未通过，需要获取标记冲突异常信号，进行人工排除存在冲突的标记，可能是因为传输稳定性不足，导致传输过程出现逻辑混乱，使得识别所得标记出现异常，具体需要结合实际数据进行具体分析，通过进行标记验证，为保障所述视频素材标记集的可信度提供技术支持。
65.步骤s500：基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；
66.步骤s600：通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；
67.步骤s700：通过目标素材调取检索符，在所述视频素材片段集中检索，得到目标素材信息。
68.具体而言，通过所述视频素材标记集，对所述视频素材信息进行标记，获取视频素材信息标记结果；对视频素材信息标记结果进行智能剪切，可以通过所述视频素材信息标记结果中的视频素材标记信息，确定剪切节点，进行剪切，获取视频素材片段集，所述视频素材片段集包括多段视频素材片段，视频素材片段集中的每一段视频素材片段的起始点可以是剪切节点或视频素材信息的起始点，视频素材片段集中的每一段视频素材片段的截止点可以是剪切节点或视频素材信息的截止点；所述目标素材即需要进行提取的素材，通过所述视频素材标记集，对所述目标素材进行素材标签标记，所述目标素材调取检索符包括检索符与所述目标素材的素材标签标记，通过目标素材调取检索符，在所述视频素材片段集中检索，进行检索提取，得到目标素材信息，实现快速提取，为保证视频素材截取效率提供支持。
69.综上所述，本技术所提供的一种基于ai的智能标签检索方法及系统具有如下技术效果：
70.由于采用了获取视频素材信息；构建音频特征标签集与动图特征标签集；在视频素材信息中进行标记验证，获取标记冲突集；基于音频特征标签集与动图特征标签集，通过标记冲突集，获取视频素材标记集；在视频素材信息进行标记，获取视频素材信息标记结果；进行智能剪切，获取视频素材片段集；通过目标素材调取检索符，在视频素材片段集中检索，调取目标素材信息，本技术通过提供了一种基于ai的智能标签检索方法及系统，达到了采用音频特征标签与动图特征标签，精准提取目标素材，实现快速检索提取目标素材片
段，提高视频素材检索调取效率的技术效果。
71.由于采用了通过动图素材信息进行场景特征分析，获取动图素材场景特征集，对同一场景的不同视角进行特征嵌套合并，获取动图场景信息；通过动图素材信息进行人物特征分析，获取动图素材人物特征集，对同一人物的不同状态进行特征组合，获取动图人物信息，结合动图场景信息，获取动图特征标签集，细化特征标签，提高动图特征标签集的精度，可以实现快速获取视频素材的标签，为保证标记提取效率提供支持。
72.由于采用了通过lbph算法，获取指标参数信息，对目标样本与身份id进行训练验证匹配，获取目标样本-身份id关联映射信息，使用突出面部特征以特定方式描述样本位置特征信息，采用指标参数信息进行网格划分，提取样本直方图；通过多个样本直方图，计算欧氏距离，获取目标样本局部特征集。为后续进行特征匹配提供参数基础。
73.实施例二
74.基于与前述实施例中一种基于ai的智能标签检索方法相同的发明构思，如图4所示，本技术提供了一种基于ai的智能标签检索系统，其中，所述系统包括：
75.素材信息获取单元11，所述素材信息获取单元11用于获取视频素材信息；
76.标签集构建单元12，所述标签集构建单元12用于基于所述视频素材信息，构建音频特征标签集与动图特征标签集；
77.冲突集获取单元13，所述冲突集获取单元13用于通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；
78.标记集获取单元14，所述标记集获取单元14用于基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；
79.标记结果获取单元15，所述标记结果获取单元15用于基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；
80.片段集获取单元16，所述片段集获取单元16用于通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；
81.目标素材调取单元17，所述目标素材调取单元17用于通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。
82.进一步的，所述系统包括：
83.特征隔离单元，所述特征隔离单元用于对所述视频素材信息进行特征隔离，获取音频素材信息与动图素材信息；
84.音色特征分析单元，所述单音色特征分析元用于在所述音频素材信息中进行音色特征分析，获取音频特征标签集；
85.特征标签集获取单元，所述特征标签集获取单元用于在所述动图素材信息中分别进行场景特征分析与人物特征分析，获取动图特征标签集。
86.进一步的，所述系统包括：
87.场景特征分析单元，所述场景特征分析单元用于通过所述动图素材信息进行场景特征分析，获取动图素材场景特征集；
88.特征嵌套合并单元，所述特征嵌套合并单元用于基于所述动图素材场景特征集，对同一场景的不同视角进行特征嵌套合并，获取动图场景信息；
89.人物特征分析单元，所述人物特征分析单元用于通过所述动图素材信息进行人物
特征分析，获取动图素材人物特征集；
90.特征组合单元，所述特征组合单元用于基于所述动图素材人物特征集，对同一人物的不同状态进行特征组合，获取动图人物信息；
91.特征标签集获取单元，所述特征标签集获取单元用于通过所述动图场景信息与所述动图人物信息，获取动图特征标签集。
92.进一步的，所述系统包括：
93.素材加载输入单元，所述素材加载输入单元用于搭载xml分类器，以灰度模式加载输入所述动图素材信息；
94.信息预处理单元，所述信息预处理单元用于对所述动图素材信息进行预处理，获取正样本素材信息与负样本素材信息；
95.特征计算单元，所述特征计算单元用于基于所述正样本素材信息，进行特征计算，寻找目标样本在帧/图像中的样本位置特征信息；
96.检测提取单元，所述检测提取单元用于在所述样本位置特征信息进行检测提取，获取目标样本局部特征集；
97.人物特征集获取单元，所述人物特征集获取单元用于通过所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集。
98.进一步的，所述系统包括：
99.指标参数获取单元，所述指标参数获取单元用于通过lbph算法，获取指标参数信息；
100.验证匹配单元，所述验证匹配单元用于通过所述指标参数信息，对目标样本与身份id进行训练验证匹配，获取目标样本-身份id关联映射信息；
101.关联映射单元，所述关联映射单元用于通过所述目标样本-身份id关联映射信息，使用突出面部特征以特定方式描述所述样本位置特征信息；
102.直方图提取单元，所述直方图提取单元用于基于所述样本位置特征信息，采用所述指标参数信息进行网格划分，提取样本直方图；
103.欧氏距离计算单元，所述欧氏距离计算单元用于通过多个所述样本直方图，计算欧氏距离，获取目标样本局部特征集。
104.进一步的，所述系统包括：
105.关联提取单元，所述关联提取单元用于通过预设参数指标信息，在所述负样本素材信息中进行关联提取，获取指标特征关联集；
106.特征补充单元，所述特征补充单元用于通过所述指标特征关联集，对所述目标样本局部特征集进行特征补充，获取动图素材人物特征集。
107.进一步的，所述系统包括：
108.调整信号获取单元，所述调整信号获取单元用于将所述标记冲突集导出，发送至智能标签检索系统相关管理人员，获取精度调整信号；
109.调整集获取单元，所述调整集获取单元用于基于所述动图特征标签集，通过所述精度调整信号，调整指标参数信息，获取动图特征标签调整集；
110.标记验证单元，所述标记验证单元用于通过所述音频特征标签集与所述动图特征标签调整集，进行标记验证，若验证通过，获取视频素材标记集。
111.本说明书和附图仅仅是本技术的示例性说明，在不脱离本技术的精神和范围的情况下，可对其进行各种修改和组合。本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术意图包括这些改动和变型在内。