基于多源异构的农产品电商大数据智能采集与集成系统

1.本发明涉及计算机应用技术领域，尤其是涉及一种基于多源异构的农产品电商大数据智能采集与集成系统。


背景技术：

2.现有的农业价格数据平台，已具有基本的价格展示和查询功能。用户可以在这些平台查找特定农产品的价格数据以及历史价格变化趋势，部分平台还提供不同农产品价格数据及其变化趋势之间的对比。
3.但是，现有农业价格数据平台的数据来源大多是线下批发市场的数据，而鲜有线上价格数据。现有农业价格数据平台仅仅对所搜集数据进行简单的展示，缺少进一步的分析，用户无法从这些平台中得到对农业市场和消费者的进一步洞察；展示的数据大多为价格，而缺少其他相关的信息，数据维度单一。另外，现有农业价格数据平台只允许用户浏览信息，用户无法从中便捷的获取所需要的数据。
4.因此，现有技术的缺陷是，已有农业价格数据平台数据来源不全面，没有将电商平台大数据纳入系统，所展示的数据维度较为单一，没有对所获取的价格数据利用大数据分析方法进行分析和处理；尚未与用户需求相匹配，用户无法便捷高效地浏览与获取农业农产品价格数据和相关信息，从而难以掌握农业农产品市场动态。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多源异构的农产品电商大数据智能采集与集成系统，推测各产品价格的变化趋势，提供丰富多样的可视化图表，更好的为用户提供全方面的农业营销信息支持。
6.本发明的目的可以通过以下技术方案来实现：
7.一种基于多源异构的农产品电商大数据智能采集与集成系统，包括农业价格采集子系统、农业价格分析子系统和农业价格展示子系统，所述农业价格采集子系统通过数据挖掘和数据爬虫获取电商的多源异构农产品数据，经农业价格分析子系统采用情感分析算法和价格预测算法，计算得到用户情感信息和价格变化趋势信息，由农业价格展示子系统通过可视化图表进行展示。
8.所述农业价格采集子系统一方面通过数据挖掘和网络爬虫技术，得到多个电商平台的农产品价格、农资价格和农机价格的历史数据并定时更新，另一方面获取线下农产品、农资农机调研调查数据、农业经营主体和商户调查数据，最终形成多源异构电商大数据数据库。
9.所述多源异构农产品数据包括商品名称、商品品类、商品价格和买家评论信息。
10.所述用户情感信息包括通过情感分析算法计算得到的农业产品电商平台用户画像、农产品电商平台受欢迎程度和重点关键词。
11.所述农业价格分析子系统包括价格播报模块、价格查询模块、推荐搜索模块、分析
对比模块、价格预测模块、词句识别模块和商品词云图模块。
12.所述价格播报模块的功能包括简要展示用户所在地相关的农产品、农资和农机价格信息。
13.所述价格查询模块的功能包括显示用户所查询的特定产品的价格信息、电商平台热度和产品关键词。
14.所述推荐搜索模块的功能包括提供多个与用户所在地相关的农产品、农资、农机关键词，检测到用户点击后会跳转至对应的价格查询页面。
15.所述分析对比模块的功能包括对农产品价格数据进行不同维度的对比。
16.所述价格预测模块的功能包括通过价格预测算法，基于农产品的历史价格数据，计算出其价格变化趋势信息，并输出各价格变化趋势信息的概率。
17.进一步地，所述价格预测模块内嵌于分析对比模块，变化趋势信息包括上升、下降或持平。
18.所述词句识别模块根据买家评论信息，通过情感分析算法识别出情感极性类别并输出相应的置信度。
19.进一步地，所述词句识别模块的功能还包括检测买家评论信息的真实程度。
20.所述商品词云图模块的功能包括根据选择的特定种类农产品、农资或农机产品，依据该种类商品在数据库中储存的评论文本数据，结合农产品、农资农机消费者特点，自动抽取评论文本中的观点和情绪，按照出现频率的高低进行排序并展示，同时会以词云的方式展示。
21.所述农业价格展示子系统包括看板展示模块、看板添加模块和看板输出模块。
22.所述看板展示模块的功能包括提供创建多个数据看板并自定义看板中的图表，提高用户获取信息的效率。
23.所述看板添加模块的功能包括创建包括多个图表的看板，所述图表的类型包括柱状图、折线图、饼图、指标卡和商品评价关键词词云。
24.所述看板输出模块的功能包括根据收到的看板输出指令，将对应的看板输出为图片或者pdf格式文档，方便用户在别处引用图表。
25.与现有技术相比，本发明具有以下有益效果：
26.1.本发明数据来源更加全面，不仅获取线下农产品价格数据，还进一步获取了线上电商平台农产品、农资、农机多源异构大数据，提高了农产品数据的全面性。
27.2.本发明将情感分析、价格预测算法应用到农业领域，结合农产品、农资农机市场特点，给出更符合农业市场特点的情感极性、价格预测和主管评论观点数据，为政府人员把握农产品、农资农机市场产品特点，把握市场动向提供决策依据，有效提高了农产品价格走势的预测结果的准确性。
28.3.本发明将农产品、农资农机大数据以更加丰富的形式呈现，并允许用户自由安排数据看板，有助于用户获取重点关注的信息。
附图说明
29.图1为本发明的结构示意图；
30.图2为本发明多源异构农产品数据的数据来源示意图。
具体实施方式
31.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
32.实施例
33.如图1所示，一种基于多源异构的农产品电商大数据智能采集与集成系统，包括农业价格采集子系统、农业价格分析子系统和农业价格展示子系统，农业价格采集子系统通过数据挖掘和数据爬虫获取电商的多源异构农产品数据，经农业价格分析子系统采用情感分析算法和价格预测算法，计算得到用户情感信息和价格变化趋势信息，由农业价格展示子系统通过可视化图表进行展示。
34.如图2所示，农业价格采集子系统一方面通过数据挖掘和网络爬虫技术，得到多个电商平台的农产品价格、农资价格和农机价格的历史数据并定时更新，另一方面获取线下农产品、农资农机调研调查数据、农业经营主体和商户调查数据，最终形成多源异构电商大数据数据库。
35.一方面利用数据挖掘和网络爬虫技术，获取各电商平台农产品、农资、农机价格的历史数据，同时定时更新最新数据，
36.多源异构农产品数据包括商品名称、商品品类、商品价格和买家评论信息，本实施例中，还包括商品日期。
37.用户情感信息包括通过情感分析算法计算得到的农业产品电商平台用户画像、农产品电商平台受欢迎程度和重点关键词。
38.农业价格分析子系统包括价格播报模块、价格查询模块、推荐搜索模块、分析对比模块、价格预测模块、词句识别模块和商品词云图模块。
39.价格播报模块的功能包括简要展示用户所在地相关的农产品、农资和农机价格信息，本实施例中，信息以列表的形式呈现，可以通过滚动条下拉列表。
40.价格查询模块的功能包括显示用户所查询的特定产品的价格信息、电商平台热度和产品关键词。本实施例中，价格查询包括产品、地区、价格来源、时间四个选项确定查询范围；热度查询包括产品、地区、时间三个选项确定查询范围。
41.推荐搜索模块的功能包括提供多个与用户所在地相关的农产品、农资、农机关键词，检测到用户点击后会跳转至对应的价格查询页面。
42.分析对比模块的功能包括对农产品价格数据进行不同维度的对比。本实施例中，以农产品、农资和农资作为第一大分类，在各大分类下，又细分了价格走势(产品价格随时间的变化趋势)和价格对比(不同产品在相同时间范围内的价格对比)板块，这两个板块还提供了价格数据来源(电商、批发)、地区、时间选项进行数据维度的细分。此外，若价格数据来源选择“电商价格”，右边会展示产品在电商平台上的关键词(通过词频分析得到)。
43.价格预测模块的功能包括通过价格预测算法，基于农产品的历史价格数据，计算出其价格变化趋势信息，并输出各价格变化趋势信息的概率。具体实施时，用户只要在此模块选择需要查询的产品种类，即可获得以数字形式呈现的各变化趋势概率，以及以概率最大的变化趋势呈现的曲线图。
44.价格预测模块内嵌于分析对比模块，变化趋势信息包括上升、下降或持平。具体实
施时，用户可自由选择是否呈现预测趋势。
45.词句识别模块根据买家评论信息，通过情感分析算法识别出情感极性类别并输出相应的置信度，本实施例中，情感极性包括积极、消极和中性。
46.词句识别模块的功能还包括检测买家评论信息的真实程度。
47.商品词云图模块的功能包括根据选择的特定种类农产品、农资或农机产品，依据该种类商品在数据库中储存的评论文本数据，结合农产品、农资农机消费者特点，自动抽取评论文本中的观点和情绪，按照出现频率的高低进行排序并展示，同时会以词云的方式展示。
48.农业价格展示子系统包括看板展示模块、看板添加模块和看板输出模块。
49.看板展示模块的功能包括提供创建多个数据看板并自定义看板中的图表，提高用户获取信息的效率。具体实施时，看板中的图表支持自由拖动。此外，看板可选择全屏展示。全屏展示的比例与看板界面比例一致，如果有未显示全面的图表，可以通过滚动条上下滚动的方式进行展示。
50.看板添加模块的功能包括创建包括多个图表的看板，图表的类型包括柱状图、折线图、饼图、指标卡和商品评价关键词词云。具体实施时，根据用户选择的数据指标和数据维度，图表标签会有明暗状态的变化，提醒用户该种图表类型是否可选。
51.看板输出模块的功能包括根据收到的看板输出指令，将对应的看板输出为图片或者pdf格式文档，方便用户在别处引用图表。
52.此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。