一种网络舆情数据处理方法及系统与流程

技术特征：
1.一种网络舆情数据处理方法，其特征在于，包括：服务端响应于舆情处理任务调度指令，生成与所述舆情处理任务调度指令对应的任务信息；所述服务端将所述任务信息发送给移动端，使得所述移动端根据接收到的所述任务信息，结合所述移动端中保存的，且与所述任务信息对应的舆情数据分析算法，执行舆情数据分析任务，以获得网络舆情数据处理结果，其中，所述舆情数据分析算法为所述服务端下发给所述移动端，并保存在所述移动端本地的算法，具体包括：网络舆情数据爬取子算法和舆情数据标注处理子算法。2.根据权利要求1所述的一种网络舆情数据处理方法，其特征在于，所述舆情处理任务调度指令的生成方式为：所述服务端根据用户输入的操作指令生成的。3.根据权利要求1所述的一种网络舆情数据处理方法，其特征在于，所述网络舆情数据爬取子算法是基于appium和puppeteer提供的api接口构建的，用于通过所述api接口控制浏览器及app，模拟用户操作作为爬虫访问页面，以收集舆情数据；所述舆情数据标注处理子算法是基于hanlp自然语言处理工具包构建的，用于通过基于所述hanlp自然语言处理工具包计算所述舆情数据与舆情关键词的相似度，以根据所述相似度对所述舆情数据进行标注处理，其中，所述舆情关键词存储在所述移动端接收到的任务信息中。4.根据权利要求1所述的一种网络舆情数据处理方法，其特征在于，所述生成与所述舆情处理任务调度指令对应的任务信息之后，且将所述任务信息发送给所述移动端之前还包括：所述服务端确定各个所述移动端的任务状态，以便将所述任务信息发送给所述任务状态为可用状态的移动端。5.根据权利要求4所述的一种网络舆情数据处理方法，其特征在于，所述任务状态的确定过程为：所述服务端判断所述移动端是否正在执行舆情数据分析任务，若否，则所述移动端的任务状态为可用状态，若是，则判断所述舆情数据分析任务的任务进度是否大于预置的任务进度阈值，若是，则所述移动端的任务状态为可用状态，若否，则所述移动端的任务状态为繁忙状态。6.根据权利要求1所述的一种网络舆情数据处理方法，其特征在于，所述生成与所述舆情处理任务调度指令对应的任务信息之后，且将所述任务信息发送给所述移动端之前还包括：所述服务端判断所述移动端是否保存有与所述任务信息对应的舆情数据分析算法，若否，则将所述舆情数据分析算法发送给所述移动端，以便所述移动端接收所述舆情数据分析算法，并将所述舆情数据分析算法保存在所述移动端本地。7.根据权利要求6所述的一种网络舆情数据处理方法，其特征在于，所述舆情数据分析算法发送给所述移动端具体包括：通过预设的算法封装协议，对所述舆情数据分析算法进行压缩封装处理，得到算法数据包，并将所述算法数据包发送给所述移动端，其中所述算法数据包包括：算法包序号、算法名称、算法包大小、算法包类型、算法语义内容、要求开始执行时间、执行顺序、接收成功
标志、算法执行进度反馈、算法包校验。8.根据权利要求7所述的一种网络舆情数据处理方法，其特征在于，所述将所述算法数据包发送给所述移动端之前还包括：通过数据压缩算法，对所述算法数据包进行二次压缩。9.根据权利要求1所述的一种网络舆情数据处理方法，其特征在于，还包括：所述服务端响应于新移动端发送的节点扩展请求，根据所述节点扩展请求中包含的移动端信息，对所述新移动端进行注册以及配置。10.一种网络舆情数据处理系统，其特征在于，包括：服务端和移动端，所述移动端与所述服务端通信连接；所述服务端被配置为：响应于舆情处理任务调度指令，生成与所述舆情处理任务调度指令对应的任务信息，并将所述任务信息发送给所述移动端；所述移动端被配置为：根据接收到的任务信息，结合所述移动端中保存的，且与所述任务信息对应的舆情数据分析算法，执行舆情数据分析任务，以获得网络舆情数据处理结果，其中，所述舆情数据分析算法为所述移动端接收所述服务端下发的所述舆情数据分析算法，并保存在所述移动端本地的算法，具体包括：网络舆情数据爬取子算法和舆情数据标注处理子算法。

技术总结
本申请公开了一种网络舆情数据处理方法及系统。服务端响应于舆情处理任务调度指令，生成与舆情处理任务调度指令对应的任务信息；服务端将任务信息发送给移动端，使得移动端根据接收到的任务信息，结合保存在移动端中，且与任务信息对应的舆情数据分析算法，执行舆情数据分析任务，以获得网络舆情数据处理结果。使得在相同的成本下，可以配置更多移动终端进行舆情数据处理，将集中处理的任务分发给移动终端本地化处理，减轻了服务器的运算要求，大大的降低的服务器的采购成本使得舆情数据的爬取和处理的效率得到较大的提升，解决了现有的舆情分析的爬虫技术对网络、PC硬件采集及维护、部署成本高而限制了舆情数据采集、处理的效率的技术问题。效率的技术问题。效率的技术问题。


技术研发人员：何绍钦
受保护的技术使用者：广州畅驿智能科技有限公司
技术研发日：2021.08.20
技术公布日：2021/11/21