一种知识驱动的云边协同交通数据采集方法及系统与流程

1.本发明涉及交通大数据和智能交通领域，具体涉及一种知识驱动的云边协同交通数据采集方法及系统。


背景技术：

2.为保障大型赛事活动的平稳运行，需要采集的数据种类复杂、异构，来源和格式多样化，需要对接的系统包括赛事系统、场馆运行系统(包括产生大量流式数据的物联网系统)、政府部门的业务系统、互联网平台等。对接大量产生实时、流式数据的平台和系统时，对采集处理平台的计算存储资源、计算能力(甚至包括ai算力)的要求较高，且可能占用大量网络带宽。未经处理的原始流式数据直接提供给上层系统，
3.难于利用，而经过融合处理之后的数据更符合运行保障、态势推演的需求。因此，大多数原始数据采集及底层数据融合工作，需要在靠近业务系统的“边缘端”进行。因此，通过云边协同的方式采集数据十分有必要。
4.云边协同是建立在虚拟化和分布式技术基础上的，大量研究者聚焦于提高云边协同的性能和效率。kum等人设计了具有统一可访问接口的ai模型的基本容器，从而有利于将ai应用程序转换为微服务，随后按顺序分割模型，以加快模型的推理速度，达到降低时延的目的。kiss等人利用基于容器的开源云技术创建了一个基于微服务应用的动态编排框架micado。在动态编排应用时，首先通过api将成本和性能优化机制构建到应用程序代码中，然后不断收集应用性能指标并传递给编排组件，进而完成应用运行的自动编排。xiong等人介绍了边缘计算环境中的基础架构kubeedge，该架构通过kubernetes管理远程边缘节点并使用相同的api将应用程序部署到边缘节点进行管理，给应用程序带来了更好的性能，同时提升了用户体验。
5.交通领域包括大量的静态信息，例如路网信息、poi信息等，这些信息至关重要但是更新频率太慢，无法满足现有的需求。因此如何在已有的交通静态信息基础上，结合云边协同策略，制定交通数据采集策略是一个亟待解决的问题。


技术实现要素：

6.为了解决上述技术问题，本发明提供一种知识驱动的云边协同交通数据采集方法及系统。
7.本发明技术解决方案为：一种知识驱动的云边协同交通数据采集方法，包括：
8.步骤s1：采集赛事活动场馆的地理信息；采集监控区域内的路网信息和公交车站信息；根据所述路网信息、所述公交车站信息以及所述赛事活动场馆的地理信息，定义数据采集区域和数据采集规则，构建交通数据采集知识库；
9.步骤s2：通过数据源采集交通事件信息，利用模式匹配的方法筛选出与赛事活动相关的事件，通过ner技术解析交通事件信息，得到交通事件信息的格式化数据；读取所述交通数据采集知识库中所述监控区域内最近的路况客流信息，对其进行筛选，形成路况客
流信息的格式化数据，其中，所述格式化数据包括：时间、地点和事件的数据条目；
10.步骤s3：基于所述交通数据采集知识库、所述交通事件信息数据和所述路况客流数据，进行知识推理，对各个所述监控区域的交通态势进行分级，得到各个所述监控区域的交通态势级别，以知识驱动云端节点和边缘节点的协同工作；
11.步骤s4：云端节点根据各个所述监控区域交通态势级别生成对应的数据采集策略；各个边缘节点接收所述数据采集策略并执行采集任务；其中，所述数据采集策略包括：采集频率和采集范围；
12.步骤s5：在所述边缘节点执行数据采集任务时，所述云端节点要对所述边缘节点的健康度和任务完成情况进行监测，包括节点健康评分、监控区域态势级别、采集任务完成阶段、采集频率和采集范围、采集数据流量以及上传数据流量；
13.步骤s6：所述边缘节点采集数据完成后，根据所述数据采集策略对采集到的数据进行不同粒度的筛选，将有效数据上传到所述云端节点；所述云端节点接收各个所述边缘节点上传的数据之后，对各项数据进行分类存储和融合处理；其中，所述分类存储是指将同一类别的数据存储到一起；所述数据融合是指整理不同类别的数据，将相关的数据整合到一起，并进行数据可视化展示；
14.步骤s7：利用整合后数据对所述交通数据采集知识库进行更新，以保证所述交通数据采集知识库中静态交通信息和所述数据采集规则的有效性。
15.本发明与现有技术相比，具有以下优点：
16.1、本发明公开了一种知识驱动的云边协同交通数据采集方法，针对赛事期间的数据采集工作，采用云边协同的模式，靠近数据源的边缘节点负责原始数据的采集和初步的过滤，减轻了云端节点的计算压力和对网络负载能力的要求，且根据不同区域的交通态势级别采取不同数据采集策略，更加经济、高效。
17.2、本发明采用知识驱动的协同方式，充分利用了人在交通任务中的直觉和先验知识等辅助系统完成任务调度，并且知识库中的交通静态信息和调度策略等知识可以不断更新迭代，保证了调度的准确性。
18.3、本发明中云端节点监控边缘节点健康度和任务执行情况的各项指标也采用人易于接受的“知识”的表示方式，管理员在查看监控信息时更容易理解。
附图说明
19.图1为本发明实施例中一种知识驱动的云边协同交通数据采集方法的流程图；
20.图2为本发明实施例中构建交通数据采集知识库以及根据交通数据采集知识库对监控区域交通态势进行分级的流程示意图；
21.图3为本发明实施例中处理交通事件信息和路况客流数据的流程示意图；
22.图4为本发明实施例中云端节点和边缘节点协同执行任务的模型示意图；
23.图5为本发明实施例中一种知识驱动的云边协同交通数据采集系统的结构框图。
具体实施方式
24.本发明提供了一种知识驱动的云边协同交通数据采集方法，由边缘节点负责原始数据的采集和初步的过滤，减轻了云端节点的计算压力和对网络负载能力的要求，且根据
不同区域的交通态势级别采取不同数据采集策略，更加经济、高效。
25.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
26.实施例一
27.如图1所示，本发明实施例提供的一种知识驱动的云边协同交通数据采集方法，包括下述步骤：
28.步骤s1：采集赛事活动场馆的地理信息；采集监控区域内的路网信息和公交车站信息；根据路网信息、公交车站信息以及赛事活动场馆的地理信息，定义数据采集区域和数据采集规则，构建交通数据采集知识库；
29.步骤s2：通过数据源采集交通事件信息，利用模式匹配的方法筛选出与赛事活动相关的事件，通过ner技术解析交通事件信息，得到交通事件信息的格式化数据；交通数据采集知识库中监控区域内最近的路况客流信息，对其进行筛选，形成路况客流信息的格式化数据，其中，格式化数据包括：时间、地点和事件的数据条目；
30.步骤s3：基于交通数据采集知识库、交通事件信息数据和路况客流数据，进行知识推理，对各个监控区域的交通态势进行分级，得到各个监控区域的交通态势级别，以知识驱动云端节点和边缘节点的协同工作；
31.步骤s4：云端节点根据各个监控区域交通态势级别生成对应的数据采集策略；各个边缘节点接收数据采集策略并执行采集任务；其中，数据采集策略包括：采集频率和采集范围；
32.步骤s5：在边缘节点执行数据采集任务时，云端节点要对边缘节点的健康度和任务完成情况进行监测，包括节点健康评分、监控区域态势级别、采集任务完成阶段、采集频率和采集范围、采集数据流量以及上传数据流量；
33.步骤s6：边缘节点采集数据完成后，根据数据采集策略对采集到的数据进行不同粒度的筛选，将有效数据上传到云端节点；云端节点接收各个边缘节点上传的数据之后，对各项数据进行分类存储和融合处理；其中，分类存储是指将同一类别的数据存储到一起；数据融合是指整理不同类别的数据，将相关的数据整合到一起，并进行数据可视化展示；
34.步骤s7：利用整合后数据对交通数据采集知识库进行更新，以保证交通数据采集知识库中静态交通信息和数据采集规则的有效性。
35.如图2所示，在一个实施例中，上述步骤s1：采集赛事活动场馆的地理信息；采集监控区域内的路网信息和公交车站信息；根据路网信息、公交车站信息以及赛事活动场馆的地理信息，定义数据采集区域和数据采集规则，构建交通数据采集知识库，具体包括：
36.步骤s11：对需要监控的场馆多边形区域进行路段划分，其中，多边形区域是指，将赛事活动所在城市，通过泰森多边形进行区域划分，分别计算每个多边形区域的净流量，确定热点区域，每个场馆划定不同覆盖范围的多组热点多边形区域，得到赛事活动场馆的地理信息；
37.在本步骤中，首先查询赛事活动相关信息，确定该赛事活动会在哪些场馆举行。以这些场馆为中心划取泰森多边形，根据历史数据计算各个多边形的交通流量，选取热点多边形组成该场馆的监控区域，本发明实施例中选取不同范围的三组多边形，对应于3个级别的交通态势。获取监控区域中的路段，生成该监控区域的路段表。
38.步骤s12：提取路段连接情况和公交车站分布情况包括：从开源地图数据中获得道路表、节点表和poi表，通过读取道路表和节点表，获得每条道路的道路名、道路级别、车道数以及道路上的多个节点的坐标，再对每一个节点周边进行搜索，记录相关的路口和公交车站的信息，得到监控区域内的路网信息和公交车站信息；
39.步骤s13：根据路网信息、公交车站信息以及赛事活动场馆的地理信息，定义数据采集区域和数据采集规则，构建交通数据采集知识库。
40.由于路网数据是多对多的关系，且可能存在“环状关系”，因此本发明实施例中的路网数据采用“图”来进行知识表示。将路网数据构建为一个以道路名称为节点，道路的连接情况为节点间关系的图，并使用neo4j图数据库对知识图谱进行存储。
41.交通数据采集知识库包含多方面知识，如路网信息、车站分布信息、赛事场馆信息以及数据采集区域和数据采集规则。交通领域中存在大量先验知识，利用这些先验知识可以做出对交通态势的有效判断。这与常人在生活中的直觉相符，结合路网连接、历史经验等先验知识和路况、天气、交通管制等实时信息，可以对附近的交通情况有一个较为准确的判断。本发明实施例中构建的交通数据采集知识库，可以辅助云端节点判断各监控区域交通态势并生成相应的采集策略，驱动边缘节点完成采集任务，在充分利用有限资源的情况下保证各重点区域的数据采集需求能够得到满足，体现了知识驱动在交通领域的优势。
42.如图2和图3所示，在一个实施例中，上述步骤s2：通过数据源采集交通事件信息，利用模式匹配的方法筛选出与赛事活动相关的事件，通过ner技术解析交通事件信息，得到交通事件信息的格式化数据；读取交通数据采集知识库中监控区域内最近的路况客流信息，对其进行筛选，形成路况客流信息的格式化数据，其中，格式化数据包括：时间、地点和事件的数据条目，具体包括：
43.本发明实施例以北京为例，交通事件信息的数据源为北京本地宝、北京市交管局、北京市应急局等，获取的交通事件信息是纯文本的形式，难以直接利用。因此，首先使用模式匹配的方法对交通事件信息进行筛选，只保留与赛事场馆监控区域有关的交通信息交给机器学习模型处理，以减轻模型运算的压力。模型处理交通事件信息，提取出该交通事件的影响时间、影响地点、影响范围和事件内容等条目，形成格式化的交通事件数据。
44.交通路况和客流数据都是本发明实施例的数据采集任务的一部分，是由边缘节点采集而来的数据，经过边缘节点的初步筛选和云端节点的融合处理，已经是较为整齐的数据，只需要筛选出监控区域相关的部分即可。
45.在一个实施例中，上述步骤s3：基于交通数据采集知识库、交通事件信息数据和路况客流数据，进行知识推理，对各个监控区域的交通态势进行分级，得到各个监控区域的交通态势级别，以知识驱动云端节点和边缘节点的协同工作；其中，交通态势级别，具体包括：
46.一级的普通态势：当监控区域内没有交通事件发生且路况和客流都在预设阈值范围内；
47.二级的中等态势：当监控区域内少量与赛事场馆不直接相关的低级别道路有交通事件发生，路况和客流超出预设阈值范围20％；
48.三级的严重态势：当监控区域内大量与赛事场馆不直接相关的低级别道路或是与赛事场馆直接相关的高级别道路有交通事件发生，路况和客流超出预设阈值范围50％。
49.本发明实施例交通态势级别不限于三级，实际划分策略以交通数据采集知识库为
准，且交通数据采集知识库可以利用采集数据不断迭代和更新。
50.知识推理有多种形式，如演绎推理、溯因推理和类比推理等，每种推理形式又包含不同的方法。在本发明实施例中采用演绎推理的形式，即以交通事件信息数据和路况客流等数据和交通数据采集知识库作为前提，推理出监控区域的交通态势等级。以国家体育场为例，当监控区域内没有交通事件发生且路况和客流都在正常范围内，即一切正常时，该区域的交通态势为一级普通态势；当安立路(大屯路到慧忠北路)有交通事件发生，并且大屯路(安立路到北辰东路)轻微拥堵时，该区域交通态势为二级中等态势；当北辰西路(北四环中路到慧忠路路段)有交通事件发生，并且北辰东路(慧忠路到北四环中路)严重拥堵时，该区域交通态势为三级严重态势。
51.本发明实施例中，交通数据采集知识库和分级策略是可以更新迭代，推理的方法也是可以根据实际情况进行改变，在处理实际问题时更加灵活。
52.本步骤中的知识驱动是指在本交通数据采集方法中赛事区域交通态势分级、云边协同策略产生、数据筛选清洗以及数据融合等过程均有知识库中知识参与，知识是本方法能高效、有效完成数据采集任务的关键动力。
53.如图4所示，在一个实施例中，上述步骤s4：云端节点根据各个监控区域交通态势级别生成对应的数据采集策略；各个边缘节点接收数据采集策略并执行采集任务；其中，数据采集策略包括：采集频率和采集范围；
54.云端节点根据监控区域交通态势级别调度边缘节点执行采集任务，具体包括：云端节点根据监控区域态势级别组织调度信息，并将此信息发送给负责该区域数据采集的边缘节点。在本发明实施例中，调度信息采取如下组织方式，<t，l，i，d，o>，其中t表示任务发布时间；l表示该任务交通态势级别；i表示输入数据，是一个关于输入数据的集合；o代表输出数据，是经过该次任务之后的输出结果的格式；d表示任务执行容器，是执行该次任务将输入数据处理为对应输出结果的容器。
55.边缘节点接收到调度信息后，启动对应的任务容器，并按照调度信息中的态势级别制定数据采集策略，即以不同采集频率和采集范围获取数据，其中，数据采集频率是指每隔多长时间采集一次数据，数据采集范围是指采集多大多边形区域内的数据。
56.在一个实施例中，上述步骤s5：在边缘节点执行数据采集任务时，云端节点要对边缘节点的健康度和任务完成情况进行监测，包括节点健康评分、监控区域态势级别、采集任务完成阶段、采集频率和采集范围、采集数据流量以及上传数据流量；其中，节点健康评分，具体包括：在边缘节点的内存使用情况、cpu使用情况以及任务执行情况进行评分。
57.在本发明实施例中，边缘节点的健康度要考虑边缘节点的内存使用情况、cpu使用情况、任务执行情况等。在获取这些监控指标的数据后，也会使用交通数据采集知识库来辅助推理。边缘节点健康度的知识库采用打分制，总分100分，共五项，每项20分。各个指标的不同参考值与相应的分数产生联系，推断程序综合知识图谱根据各项指标的值可以推断出节点的健康度分数。其中有一项是比较特殊的，就是容器运行数目。先验知识认为，节点上未运行的容器越多，节点越不健康，说明节点没有及时清理运行错误或者运行完成的任务。因此，有一项指标就是未运行容器数目。为了综合各个任务的健康情况计算整个节点的健康度，在知识推断得出的分数上要乘一个系数，该系数是健康运行的容器数目与正在运行容器总数目之比，如公式(1)所示：
[0058][0059]
采集任务完成阶段有四个，分别为任务准备、数据采集、数据筛选、数据上传阶段。边缘节点每隔一段时间向云端节点汇报自己各个任务所在哪个阶段。
[0060]
在一个实施例中，上述步骤s6：边缘节点采集数据完成后，根据数据采集策略对采集到的数据进行不同粒度的筛选，将有效数据上传到云端节点；云端节点接收各个边缘节点上传的数据之后，对各项数据进行分类存储和融合处理；其中，分类存储是指将同一类别的数据存储到一起；数据融合是指整理不同类别的数据，将相关的数据整合到一起，并进行数据可视化展示，具体包括：
[0061]
在本发明实施例中，主要关注数据种类为路况数据、客流数据、事件数据、赛事数据等，云端节点对各个边缘节点采集回来的这些数据分类存储，以供上层应用便捷的调用。
[0062]
此外，云端节点对所有数据进行一个融合处理。在本发明实施例中，为每一个赛事场馆设置了一个数据可视化界面，展示该场馆最近的路况、天气、交通事件和赛事信息等数据。
[0063]
在一个实施例中，步骤s7：利用整合后数据对交通数据采集知识库进行更新，以保证交通数据采集知识库中静态交通信息和数据采集规则的有效性，具体包括：
[0064]
知识更新主要分为两种途径，第一种途径是人为添加新的知识或者修改已有知识，这种方法可以简单、快速、直接地将所需的知识更新到知识库中，但是如果知识的体量太大，或者更新周期太长，则会过多耗费人力；第二种途径是交通数据采集知识库的自我更新，主要包括知识补全、知识推理和知识融合等手段。在本发明实施例中，管理员可以手动更新知识库；也支持在一定时间的数据采集任务完成后，根据数据融合结果自动更新知识库，由于路网数据的变化周期很长，不需要经常考虑更新的问题。
[0065]
本发明公开了一种知识驱动的云边协同交通数据采集方法，针对赛事期间的数据采集工作，采用云边协同的模式，靠近数据源的边缘节点负责原始数据的采集和初步的过滤，减轻了云端节点的计算压力和对网络负载能力的要求，且根据不同区域的交通态势级别采取不同数据采集策略，更加经济、高效。本发明采用知识驱动的协同方式，充分利用了人在交通任务中的直觉和先验知识等辅助系统完成任务调度，并且知识库中的交通静态信息和调度策略等知识可以不断更新迭代，保证了调度的准确性。本发明中云端节点监控边缘节点健康度和任务执行情况的各项指标也采用人易于接受的“知识”的表示方式，管理员在查看监控信息时更容易理解。
[0066]
实施例二
[0067]
如图5所示，本发明实施例提供了一种知识驱动的云边协同交通数据采集系统，包括下述模块：
[0068]
构建交通数据采集知识库模块81，用于采集赛事活动场馆的地理信息；采集监控区域内的路网信息和公交车站信息；根据路网信息、公交车站信息以及赛事活动场馆的地理信息，定义数据采集区域和数据采集规则，构建交通数据采集知识库；
[0069]
获取交通事件信息和路况客流信息模块82，用于通过数据源采集交通事件信息，利用模式匹配的方法筛选出与赛事活动相关的事件，通过ner技术解析交通事件信息，得到交通事件信息的格式化数据；读取交通数据采集知识库中监控区域内最近的路况客流信
息，对其进行筛选，形成路况客流信息的格式化数据，其中，格式化数据包括：时间、地点和事件的数据条目；
[0070]
知识推理模块83，用于基于交通数据采集知识库、交通事件信息数据和路况客流数据，进行知识推理，对各个监控区域的交通态势进行分级，得到各个监控区域的交通态势级别，以知识驱动云端节点和边缘节点的协同工作；
[0071]
生成和执行数据采集策略模块84，用于云端节点根据各个监控区域交通态势级别生成对应的数据采集策略；各个边缘节点接收数据采集策略并执行采集任务；其中，数据采集策略包括：采集频率和采集范围；
[0072]
监测数据采集模块85，用于在边缘节点执行数据采集任务时，云端节点要对边缘节点的健康度和任务完成情况进行监测，包括节点健康评分、监控区域态势级别、采集任务完成阶段、采集频率和采集范围、采集数据流量以及上传数据流量；
[0073]
数据融合模块86，用于边缘节点采集数据完成后，根据数据采集策略对采集到的数据进行不同粒度的筛选，将有效数据上传到云端节点；云端节点接收各个边缘节点上传的数据之后，对各项数据进行分类存储和融合处理；其中，分类存储是指将同一类别的数据存储到一起；数据融合是指整理不同类别的数据，将相关的数据整合到一起，并进行数据可视化展示；
[0074]
更新交通数据采集知识库模块87，用于利用整合后数据对交通数据采集知识库进行更新，以保证交通数据采集知识库中静态交通信息和数据采集规则的有效性。
[0075]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。