一种基于深度学习及表情包数据集的视频弹幕生成系统的制作方法

1.本发明涉及机器学习深度学习相关领域，具体为一种基于深度学习及表情包数据集的视频弹幕生成系统。


背景技术：

2.随着信息技术和互联网的发展，在通过网络观看视频的当今，网络视频消费者在消费视频的同时也在消费视频的弹幕，一个视频配上好的弹幕能增加视频的趣味性的同时增加用户的黏性。而现今弹幕的生成方式主要有两种形式：一、用户自己生成。二、雇佣水军发弹幕。而这两种方式都是基于人工生成的，如水军按照模板发出来的弹幕更是乏善可陈，没有什么趣味性，而用户生成弹幕对于视频提供商而言是十分被动的。如何主动生成有趣味性的弹幕成为各个视频网站增加用户粘性及用户体验的一个重要事情，针对上述问题，设计了一种基于深度学习及表情包数据集的视频弹幕生成系统。


技术实现要素：

3.本发明因此需要一种新的技术方案，可以根据视频的画面信息主动生成有趣的弹幕从而刺激视频消费者生成弹幕或提高其观看视频的体验，而大部分网民都喜欢使用表情包/自己偶像的表情包去沟通聊天，所以我们又结合了有趣的表情包去作为我们的弹幕生成系统中的数据集，并以此数据集结合深度学习的encoder-decoder框架及卷积神经网络、循环神经网络去组建一个基于深度学习及表情包数据集的视频弹幕生成系统。
4.为实现上述目的，本发明提供如下技术方案：一种基于深度学习及表情包数据集的视频弹幕生成系统，包括数据集更新模块、模型训练保存更新模块和弹幕生成保存更新模块，
5.所述数据集更新模块用于根据统计后得到的新表情生成频率，通过调度系统调起表情包数据收集、预处理、保存脚本，得到最新的数据集；
6.所述模型训练保存更新模块通过使用定时更新的表情包数据集来训练深度神经网络，并将数据保存；
7.所述弹幕生成保存更新模块用于生成及保存、更新弹幕，包括opencv视频分帧、人脸侦测、深度学习模型生成弹幕、弹幕保存。
8.优选的，所述数据集更新模块工作流程包含以下步骤：
9.步骤1、通过数据收集算法获取、清洗并保存数据；
10.步骤2、根据新热点表情包更新频率确定数据集更新频率；
11.步骤3、根据确定的数据更新频率把对应的数据更新脚本配置到任务调度系统。
12.优选的，所述步骤1中，数据收集算法获取、清洗并保存数据包含对网络上热门表情包进行收集、去除无用的表情图片后将数据保存到数据库。
13.优选的，所述步骤2中，根据新热点表情包更新频率确定数据集更新频率是保证使最后生成的弹幕与时俱进，对数据集里表情包对应的时间进行统计，得到表情包更新换代
的近似频率，并以此频率作为数据集更新的频率。
14.优选的，所述步骤3中，根据确定的数据更新频率把对应的数据更新脚本配置到任务调度系统是由任务调度系统自行调用数据更新脚本，去除手动调起脚本、维护脚本等繁琐的工作。
15.优选的，所述模型训练保存更新模块采用tensorflow框架进行搭建，使用深度神经网络先进框架encoder-decoder架构，结合卷积神经网络、全连接神经网络及循环神经网络，将数据集更新模块更新保存的数据根据相关模型需要对数据集进行处理，提取训练集，测试集，且对表情包数据训练集进行模型训练，测试集进行模型预测分析准确率，调试相关参数重复若干次取最优参数并保存于算法模型系统。
16.优选的，所述encoder-decoder架构将卷积神经网络及循环神经网络结合起来的深度学习神经网络模型包括：图像预处理层；由卷积神经网络构建成的图像encoder层；全连接神经网络矩阵维度转换层；有循环神经构建成的decoder层。
17.优选的，所述弹幕生成保存更新模块由算法模型系统采用opencv对视频进行分帧，且弹幕生成保存更新模块工作流程包括以下步骤：
18.步骤1、根据特定时间间隔抽取某一帧的画面进行人脸侦测；
19.步骤2、对步骤1中截取人脸作为深度神经网络模型的输入；
20.步骤3、通过深度神经网络生成对应的弹幕；
21.步骤4、使用mysql保存对应的弹幕信息。
22.与现有技术相比，本发明的有益效果是：
23.1.本发明的系统设计简易便捷的数据集更新模块，对网络上新兴的表情定时收集，为后续深度学习模型的更新迭代提供数据支撑来源。
24.2.本发明的系统使用先进的人工智能神经网络模型及架构，通过encoder层的卷积神经网络捕获到更多人工对图像无法提取到的信息，并通过decoder层的循环神经网络gru将捕获的信息特征转换成弹幕，相较于传统的rnn模型，循环神经网络使用“门”的设计理念，可以更好地捕获到字符的信息特征。
25.3.本发明的系统设计合理的弹幕保存更新模块，使用opencv的人脸侦测对视频进行分帧以及人脸侦测，再把侦测到的人脸作为神经网络模型的输入生成对应的弹幕，并把最新的弹幕保存到mysql数据库。
附图说明
26.图1为本发明的整体工作流程框图；
27.图2为本发明的深度学习神经网络模型流程框图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.请参阅图1-2，本发明提供一种技术方案：一种基于深度学习及表情包数据集的视
频弹幕生成系统，包括数据集更新模块、模型训练保存更新模块和弹幕生成保存更新模块，
30.数据集更新模块用于根据统计后得到的新表情生成频率，通过调度系统调起表情包数据收集、预处理、保存脚本，得到最新的数据集；
31.模型训练保存更新模块通过使用定时更新的表情包数据集来训练深度神经网络，并将数据保存；
32.弹幕生成保存更新模块用于生成及保存、更新弹幕，包括opencv视频分帧、人脸侦测、深度学习模型生成弹幕、弹幕保存。
33.进一步的，数据集更新模块工作流程包含以下步骤：
34.步骤1、通过数据收集算法获取、清洗并保存数据；
35.步骤2、根据新热点表情包更新频率确定数据集更新频率；
36.步骤3、根据确定的数据更新频率把对应的数据更新脚本配置到任务调度系统。
37.进一步的，步骤1中，数据收集算法获取、清洗并保存数据包含对网络上热门表情包进行收集、去除无用的表情图片后将数据保存到数据库。
38.进一步的，步骤2中，根据新热点表情包更新频率确定数据集更新频率是保证使最后生成的弹幕与时俱进，对数据集里表情包对应的时间进行统计，得到表情包更新换代的近似频率，并以此频率作为数据集更新的频率
39.进一步的，步骤3中，根据确定的数据更新频率把对应的数据更新脚本配置到任务调度系统是由任务调度系统自行调用数据更新脚本，去除手动调起脚本、维护脚本等繁琐的工作。
40.进一步的，模型训练保存更新模块采用tensorflow框架进行搭建，使用深度神经网络先进框架encoder-decoder架构，结合卷积神经网络、全连接神经网络及循环神经网络，将数据集更新模块更新保存的数据根据相关模型需要对数据集进行处理，提取训练集，测试集，且对表情包数据训练集进行模型训练，测试集进行模型预测分析准确率，调试相关参数重复若干次取最优参数并保存于算法模型系统。
41.进一步的，encoder-decoder架构将卷积神经网络及循环神经网络结合起来的深度学习神经网络模型包括：图像预处理层；由卷积神经网络构建成的图像encoder层；全连接神经网络矩阵维度转换层；有循环神经构建成的decoder层。
42.其中深度学习神经网络模型具体工作包括：图像预处理层将图像加载并改变图片的大小，使其能作为卷积神经网络的输入，然后预处理好图像大小，并将其作为encoder卷积神经网络层的输入，通过卷积神经网路将图像转换成矩阵的形式，并且每一个矩阵代表一个图像；为了将图像对应的矩阵作为decoder层的输入，需要将矩阵转换成对应的大小，所以通过使用全连接层将矩阵转化成需要的大小；通过decoder循环神经网络将图像矩阵解析出一串与此图像相关的句子/词语/标点符号。
43.进一步的，弹幕生成保存更新模块由算法模型系统采用opencv对视频进行分帧，且弹幕生成保存更新模块工作流程包括以下步骤：
44.步骤1、根据特定时间间隔抽取某一帧的画面进行人脸侦测；
45.步骤2、对步骤1中截取人脸作为深度神经网络模型的输入；
46.步骤3、通过深度神经网络生成对应的弹幕；
47.步骤4、使用mysql保存对应的弹幕信息。
48.本发明的系统设计简易便捷的数据集更新模块，对网络上新兴的表情定时收集，为后续深度学习模型的更新迭代提供数据支撑来源；通过使用先进的人工智能神经网络模型及架构，通过encoder层的卷积神经网络捕获到更多人工对图像无法提取到的信息，并通过decoder层的循环神经网络gru将捕获的信息特征转换成弹幕，相较于传统的rnn模型，循环神经网络使用“门”的设计理念，可以更好地捕获到字符的信息特征；通过设计合理的弹幕保存更新模块，使用opencv的人脸侦测对视频进行分帧以及人脸侦测，再把侦测到的人脸作为神经网络模型的输入生成对应的弹幕，并把最新的弹幕保存到mysql数据库。
49.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。