一种基于广电网络的聚合媒资自动更新方法与流程

1.本发明涉及广电网络技术领域，特别涉及一种基于广电网络的聚合媒资自动更新方法。


背景技术：

2.目前，广电点播系统中当媒资提供商众多，当用户需要检索视频资源时，对视频的查找工作大多仍是人工操作，人工更新汇总不仅需要大量的人力和时间，而且要求人的精神保持高度集中，另外，人对视频的熟悉程度也是视频查找效率的影响因素，因此，开发一种对广电视频媒资供应商进行高效率、快速、自动化的聚合方法是一个亟待解决的问题。


技术实现要素：

3.针对上述技术问题，本发明提供了一种基于广电网络的聚合媒资自动更新方法，所述方法包括以下步骤：1）广电语音能力平台与若干个数据提供模块连接，为每个数据提供模块提供数据汇入接口；2）数据提供模块将数据文件自动上传到广电能力平台的/usr/local/ccdt/upload_media目录；3）python数据标准库对数据自动同步处理，首先，数据文件通过数据汇入接口进入，数据提供模块对接广电语音能力平台的媒资接口获取媒资数据，再通过媒资处理组件模块对媒资数据进行第一次媒资数据过滤后，将媒资数据保存到本地，广电语音能力平台中的媒资处理组件判断获取媒资数据行为是否为第一次，若是，则进行数据格式整理，若不是，则将媒资数据与保存的本地媒资对比后再进行数据格式整理，然后通过设置定时任务每小时自动上传至语音云端，即媒资上传完成；4）数据文件经过媒资处理组件处理后进入数据同步组件模块，数据同步组件读取数据文件，并录入到hdfs（分布式文件系统）的大数据仓库，再经过定期的mapreduce（map（映射）"和"reduce（归约））任务操作，输出数据统计分析结果到大数据的数据结果仓库，再经过sqoop（分布式的数据迁移工具）数同步组件，将最终结果数据增量方式同步到mysql数据库。
4.作为本发明的一种改进，所述步骤3）中的将最终结果数据增量方式同步到mysql数据库后经由后台系统组织数据，通过接口提供给web页面进行数据呈现。
5.作为本发明的一种改进，数据以http get方式传送，所述数据包括如下：provider（视频数据来源方），name（影视或者资源名称），serial_name（系列名称），alias_name（别名），type（类型），category（分类），tag（标签），director（导演），actor（演员），region（地域）等。
6.作为本发明的一种改进，所述步骤3）中的媒资处理组件读取数据文件，获取数据文件中的各个属性，针对媒资属性做不同的处理,去除特殊字符，调整字段格式等,处理完
成后数据同步组件将媒资数据上传。
7.作为本发明的一种改进，所述步骤3）中的自动同步处理，获取到媒资的属性信息后，对媒资的名称、导演、演员、年代等信息进行处理，处理掉特殊符号，处理成标准格式，通过编写的定时工具每小时上传到云端。
8.作为本发明的一种改进，所述步骤1）的广电语音能力平台包括媒资处理组件模块、接口数据汇入模块以及数据同步组件模块。
9.作为本发明的一种改进，所述数据处理模块包括媒资处理组件和数据汇入接口。
10.作为本发明的一种改进，所述媒资数据的种类包括频道、回看节目单、点播视频。
11.本发明的有益效果是：1）采用python数据标准库进行数据的并行处理，极大地提高数据清洗效率。
12.2）广电媒资自动聚合，实时同步更新，自动过滤，重复数据筛选，缺失数据补齐。
13.3）实现广电视频媒资快速、自动化的聚合，提高媒资更新效率，增强用户的体验。
附图说明
14.图1为本发明所述的更新方法实现框架示意图。
15.图2为本发明所述的数据自动同步处理流程图。
具体实施方式
16.以下将结合附图1至附图2对本发明做进一步地说明，但不应以此来限制本发明的保护范围。为了方便说明且理解本发明的技术方案，以下说明均以附图所展示为准。
17.实施例：一种基于广电网络的聚合媒资自动更新方法，所述方法包括以下步骤：1）广电语音能力平台与若干个数据提供模块连接，为每个数据提供模块提供数据汇入接口；2）数据提供模块将数据文件自动上传到广电能力平台的/usr/local/ccdt/upload_media目录；3）python数据标准库对数据自动同步处理，首先，数据文件通过数据汇入接口进入，数据提供模块对接广电语音能力平台的媒资接口获取媒资数据，再通过媒资处理组件模块对媒资数据进行第一次媒资数据过滤后，将媒资数据保存到本地，广电语音能力平台中的媒资处理组件判断获取媒资数据行为是否为第一次，若是，则进行数据格式整理，若不是，则将媒资数据与保存的本地媒资对比后再进行数据格式整理，然后通过设置定时任务每小时自动上传至语音云端，即媒资上传完成；4）数据文件经过媒资处理组件处理后进入数据同步组件模块，数据同步组件读取数据文件，并录入到hdfs的大数据仓库，再经过定期的mapreduce任务操作，输出数据统计分析结果到大数据的数据结果仓库，再经过sqoop数同步组件，将最终结果数据增量方式同步到mysql数据库。
18.所述步骤3）中的将最终结果数据增量方式同步到mysql数据库后经由后台系统组织数据，通过接口提供给web页面进行数据呈现，所述步骤3）中的媒资处理组件读取数据文件，获取数据文件中的各个属性，针对媒资属性做不同的处理，去除特殊字符，调整字段格式等，处理完成后数据同步组件将媒资数据上传，所述步骤1）的广电语音能力平台包括媒
资处理组件模块、接口数据汇入模块以及数据同步组件模块，所述数据处理模块包括媒资处理组件和数据汇入接口，所述媒资数据的种类包括频道、回看节目单、点播视频。
19.最后应说明的是：以上所述的实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换，而这些修改或替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。


技术特征：
1.一种基于广电网络的聚合媒资自动更新方法，所述方法包括以下步骤：1）广电语音能力平台与若干个数据提供模块连接，为每个数据提供模块提供数据汇入接口；2）数据提供模块将数据文件自动上传到广电能力平台的/usr/local/ccdt/upload_media目录；3）python数据标准库对数据自动同步处理，首先，数据文件通过数据汇入接口进入，数据提供模块对接广电语音能力平台的媒资接口获取媒资数据，再通过媒资处理组件模块对媒资数据进行第一次媒资数据过滤后，将媒资数据保存到本地，广电语音能力平台中的媒资处理组件判断获取媒资数据行为是否为第一次，若是，则进行数据格式整理，若不是，则将媒资数据与保存的本地媒资对比后再进行数据格式整理，然后通过设置定时任务每小时自动上传至语音云端，即媒资上传完成；4）数据文件经过媒资处理组件处理后进入数据同步组件模块，数据同步组件读取数据文件，并录入到hdfs的大数据仓库，再经过定期的mapreduce任务操作，输出数据统计分析结果到大数据的数据结果仓库，再经过sqoop数同步组件，将最终结果数据增量方式同步到mysql数据库。2.根据权利要求1所述的基于广电网络的聚合媒资自动更新方法，其特征在于，步骤3）中的将最终结果数据增量方式同步到mysql数据库后经由后台系统组织数据，通过接口提供给web页面进行数据呈现。3.根据权利要求2所述的基于广电网络的聚合媒资自动更新方法，其特征在于，数据以http get方式传送，所述数据包括如下：provider、name、serial_name、alias_name、type、category、tag、director、actor及region。4.根据权利要求3所述的基于广电网络的聚合媒资自动更新方法，其特征在于，步骤3）中的媒资处理组件读取数据文件，获取数据文件中的各个属性，针对媒资属性做去除特殊字符及调整字段格式处理，处理完成后数据同步组件将媒资数据上传。5.根据权利要求4所述的基于广电网络的聚合媒资自动更新方法，其特征在于，步骤3）中的自动同步处理，获取到媒资的属性信息后，对媒资的名称、导演、演员及年代信息进行处理，处理掉特殊符号，处理成标准格式，通过编写的定时工具每小时上传到云端。6.根据权利要求1所述的基于广电网络的聚合媒资自动更新方法，其特征在于，步骤1）的广电语音能力平台包括媒资处理组件模块、接口数据汇入模块以及数据同步组件模块。7.根据权利要求1所述的基于广电网络的聚合媒资自动更新方法，其特征在于，数据处理模块包括媒资处理组件和数据汇入接口。8.根据权利要求1所述的基于广电网络的聚合媒资自动更新方法，其特征在于，媒资数据的种类包括频道、回看节目单及点播视频。

技术总结
本发明公开了一种基于广电网络的聚合媒资自动更新方法，所述方法包括以下步骤：1）广电语音能力平台与若干个第三方媒资模块连接，为每个媒资数据提供模块提供数据汇入接口；2）数据提供模块将数据文件自动上传到广电能力平台的/usr/local/ccdt/upload_media数据目录下；3）Python数据标准库对数据自动同步处理，然后通过定时任务上传至语音云端，即媒资上传完成；4）数据文件经过媒资处理组件处理后进入数据同步组件模块，数据同步组件读取数据文件，并解析业务数据，本发明涉及广电网络技术领域，能够利用Python数据标准库对媒资数据清洗过程并行处理，极大地提高了媒资数据的聚合过程。合过程。合过程。


技术研发人员：王懿 占亿民 冒海波 栾书鹏 陈杰 庄崟 袁弼桓
受保护的技术使用者：江苏有线技术研究院有限公司
技术研发日：2021.01.05
技术公布日：2021/11/25