一种智慧城市数据采集与预处理方法及系统与流程

本发明涉及大数据处理，更具体地说，它涉及一种智慧城市数据采集与预处理方法及系统。

背景技术：

1、随着智慧城市建设的不断深入推进，特别是在城市应急指挥、实时交通调度和公共安全预警等高时效性场景中，对数据获取的时效性与准确性提出了更高要求。首先，非结构化数据全量上云导致网络带宽压力剧增，传输延迟影响数据的时效性；其次，固化规则的预处理方式难以适应复杂多变的城市环境，噪声干扰问题影响后续数据质量；再次，边云资源采用静态分配模式，缺乏灵活性，无法根据业务负载与突发事件类型动态调整，造成资源利用率低下。上述问题相互交织，形成制约智慧城市数据采集与处理效率的核心技术瓶颈，难以满足不同城市场景下的实时响应需求。

2、因此，如何融合边缘进行感知，并对边缘噪声进行抑制以及动态资源调度与轻量化实时预处理的智慧城市数据采集与预处理系统成为亟待解决的技术问题。

技术实现思路

1、本发明提供一种智慧城市数据采集与预处理方法及系统，解决现有技术中难以满足毫秒级响应需求、固化规则预处理方式难以灵活适应复杂城市环境、噪声干扰影响后续数据质量，以及边缘资源静态分配缺乏动态调整能力造成资源利用率低下的技术问题。

2、本发明提供了一种智慧城市数据采集与预处理方法及系统，包括：

3、第一方面，一种智慧城市数据采集与预处理方法，包括以下步骤：

4、在智慧城市覆盖区域的边缘节点获取原始感知数据流；

5、基于所述原始感知数据流，实时获取边缘服务器的计算资源使用率，根据当前业务负载、网络带宽及边缘节点计算能力，制定动态资源调度策略；

6、根据所述动态资源调度策略，对所述原始感知数据流执行边缘节点噪声抑制，并进行实时分析和剔除冗余数据，以保留有效特征数据；

7、对所述有效特征数据进行轻量化实时预处理，生成标准化数据块；

8、基于所述标准化数据块的特征向量和预设的分类策略，对所述标准化数据块进行分类，生成至少一个数据类别标签；

9、根据所述数据类别标签和当前边云资源状态，生成数据传输策略；

10、根据所述动态资源调度策略确定预设上传阈值，按照所述数据传输策略和预设上传阈值将所述标准化数据块上传；

11、基于所述标准化数据块，持续优化并更新所述动态资源调度策略参数，将更新结果下发至所述边缘节点。

12、进一步地，获取当前的环境参数，其中，所述环境参数选自温度参数、湿度参数、光照参数、电磁干扰参数和设备状态参数中的至少一种；

13、根据所述环境参数确定自适应滤波系数，其中，所述自适应滤波系数通过将所述环境参数输入至预设的自适应滤波模型输出得到，所述自适应滤波模型为基于神经网络构建的模型；

14、使用所述自适应滤波系数分别对不同类型的原始感知数据流进行针对性滤波处理；所述原始感知数据流包含视频数据、图像数据、音频数据、环境传感数据及雷达数据；

15、其中，对视频流数据进行帧间差分运算以提取有效视频帧，剔除冗余帧数据；对音频数据进行时域频域转换处理，提取特征参数；对环境传感数据进行异常值检测与修正处理；对雷达数据进行点云滤波与距离多普勒处理，提取有效目标点云，剔除地面杂波及静态背景干扰；并对各类处理后的数据进行数据格式标准化、数据滤波及数据降维操作，生成边缘预处理数据。

16、进一步地，根据所述环境参数确定自适应滤波系数，包括：

17、将所述环境参数与预设的环境参数阈值范围进行比对；

18、当所述环境参数处于正常预设阈值区间时，采用第一预设滤波机制对所述感知数据流进行滤波处理；所述第一预设滤波机制以轻量化、低功耗为设计目标，具体包括：对视频流数据采用高斯空间域平滑滤波结合帧间差分去除轻微抖动噪声；对音频数据采用低阶维纳滤波器进行频谱平滑以消除环境白噪声；对环境传感数据采用一阶低通iir滤波器进行时序平滑；对雷达点云数据采用统计均值滤波进行离群点去除；并通过卡尔曼滤波对多源处理结果进行状态融合估计，在保证实时性的前提下输出平滑的感知数据流；

19、当所述环境参数处于异常预设阈值区间时，采用第二预设滤波机制对所述感知数据流进行滤波处理，其中，所述第二预设滤波机制的滤波强度大于所述第一预设滤波机制的滤波强度；所述第二预设滤波机制以强鲁棒性、多级联抑制为设计目标，具体包括：对视频流数据采用双边滤波与形态学滤波组合处理，在抑制强噪声的同时保留图像边缘特征；对音频数据采用谱减法与非负矩阵分解联合算法，分离混叠噪声成分以恢复有效音频信号；对环境传感数据采用中值滤波结合3σ准则进行双重异常值剔除；对雷达点云数据采用恒虚警率（cfar）检测算法抑制强杂波背景，提取有效目标回波；并通过自适应小波多尺度分解对各类数据进行深度去噪，以应对恶劣天气或强电磁干扰场景；

20、对滤波处理后的数据进行效果评估，并将评估结果反馈至所述自适应滤波模型以更新所述自适应滤波系数。

21、进一步地，所述至少一个数据类别标签和当前的边缘资源状态生成数据传输策略，包括：

22、获取当前的边云资源状态信息，其中，所述边云资源状态信息包括边缘服务器的计算资源使用率、存储资源使用率、网络带宽使用率和云端服务器的计算资源使用率；

23、将所述边云资源状态信息与预设的资源状态阈值进行比对，并结合所述数据类别标签对应的数据传输优先级，得到比对结果；

24、根据比对结果确定数据传输模式，其中，当所述边云资源状态满足第一预设条件时，采用实时传输模式；所述第一预设条件表示网络带宽使用率低于第一带宽阈值、边缘服务器计算资源使用率低于第一计算阈值，且所述数据类别标签对应的数据传输优先级为高优先级，即数据来源于城市应急指挥或公共安全预警场景，需立即上传以满足毫秒级(延迟小于100ms)响应需求；

25、当所述边云资源状态满足第二预设条件时，采用批量传输模式；所述第二预设条件为：网络带宽使用率处于第一带宽阈值与第二带宽阈值之间或边缘服务器计算资源使用率处于第一计算阈值与第二计算阈值之间，且所述数据类别标签对应的数据传输优先级为中等优先级，即数据来源于实时交通调度或城市环境监测场景，允许在边缘节点本地缓存后按预设批次间隔统一上传；

26、当所述边云资源状态满足第三预设条件时，采用延迟传输模式；所述第三预设条件为：网络带宽使用率高于第二带宽阈值或边缘服务器存储资源使用率超过存储预警阈值或云端服务器计算资源使用率超过云端负载阈值，且所述数据类别标签对应的数据传输优先级为低优先级，即数据为非实时归档类数据，将所述数据缓存至边缘节点本地存储，待资源状态恢复至第二预设条件以下后触发补传。

27、进一步地，采用实时传输模式，包括：

28、根据所述数据传输策略中确定的数据压缩比例，对所述边缘预处理数据进行压缩处理；

29、将压缩后的边缘预处理数据按照预设的数据包大小进行分包处理，生成多个数据子包；

30、按照预设的发送间隔，沿所述数据传输策略确定的数据传输路径依次发送所述多个数据子包至云端服务器；

31、对每个已发送的数据子包进行传输状态标记，其中，所述传输状态标记包括已发送、传输中和接收确认中的至少一种。

32、进一步地，采用批量传输模式，包括：

33、根据所述数据类别标签对所述边缘预处理数据进行分组，将同一类别的数据写入对应的本地缓存队列，并按时间戳进行有序排列；

34、实时监测各缓存队列的数据量，当任一缓存队列的数据量达到预设批次容量阈值或缓存时长达到预设批次时间间隔时，触发批量打包操作，将队列中的数据按所述数据传输策略中确定的数据压缩比例进行压缩后封装为批量数据包；

35、将所述批量数据包沿所述数据传输策略确定的数据传输路径发送至云端服务器，并对批量数据包进行完整性校验；若校验失败，则根据数据类别标签对应的传输优先级触发重传机制，优先重传高优先级数据包。

36、进一步地，采用延迟传输模式，包括：

37、将满足延迟传输条件的边缘预处理数据按照数据类别标签和时间戳写入边缘节点本地持久化存储队列，并记录各数据条目的存储时长；

38、实时监测当前边云资源状态，当边云资源状态从第三预设条件恢复至第二预设条件以下时，自动触发补传流程；

39、从本地持久化存储队列中按数据传输优先级由高至低依次取出待传数据，对所述待传数据进行去重校验及完整性检查，剔除超过预设最大存储时长的过期数据；

40、将通过校验的待传数据按所述数据传输策略确定的数据压缩比例压缩后发送至云端服务器，并在补传完成后清除本地持久化存储队列中对应的数据条目。

41、进一步地，根据业务场景类型动态调整数据采集频率，其中，所述业务场景类型选自城市应急指挥场景、实时交通调度场景、公共安全预警场景和城市环境监测场景中的至少一种；

42、建立业务场景类型与数据采集频率的映射关系，其中，当所述业务场景类型为城市应急指挥场景时，对应的数据采集频率为第一频率；当所述业务场景类型为实时交通调度场景时，对应的数据采集频率为第二频率；当所述业务场景类型为公共安全预警场景时，对应的数据采集频率为第三频率；

43、所述边缘计算节点的动态调度功能根据所述业务场景类型对应的数据采集频率，联动调整预处理优先级及上传阈值；所述云端服务器的资源池管理环节根据调度策略生成环节输出的资源分配策略，对各计算节点进行动态扩容或缩容，以支撑不同业务场景下的采集、处理与传输协同适配。

44、进一步地，对所述感知数据流进行质量评估，生成数据质量评分，其中，所述数据质量评估基于数据完整性、数据准确性和数据时效性进行确定；

45、根据所述数据质量评分确定数据处理优先级，其中，当所述数据质量评分大于第一预设评分时，赋予最高处理优先级；当所述数据质量评分大于第二预设评分且小于等于第一预设评分时，赋予次高处理优先级；当所述数据质量评分小于等于第二预设评分时，赋予普通处理优先级；

46、将所述数据质量评分反馈至所述云端服务器的效果评估环节，以更新噪声特征学习模型参数；并根据所述数据类别标签对不同处理优先级的数据实施差异化预处理策略，并将更新后的分类模型参数下发至边缘计算节点，形成质量驱动的端云协同优化闭环。

47、第二方面，一种智慧城市数据采集与预处理系统，包括：

48、数据获取模块：用于在智慧城市覆盖区域的边缘节点获取原始感知数据流；

49、资源调度模块：用于基于所述原始感知数据流，实时获取边缘服务器的计算资源使用率，根据当前业务负载、网络带宽及边缘节点计算能力，制定动态资源调度策略；

50、数据处理模块：用于根据所述动态资源调度策略，对所述原始感知数据流执行边缘节点噪声抑制，并进行实时分析和剔除冗余数据，以保留有效特征数据；对所述有效特征数据进行轻量化实时预处理，生成标准化数据块；

51、数据传输模块：用于基于所述标准化数据块的特征向量和预设的分类策略，对所述标准化数据块进行分类，生成至少一个数据类别标签；根据所述数据类别标签和当前边云资源状态，生成数据传输策略；

52、数据更新模块：用于根据所述动态资源调度策略确定预设上传阈值，按照所述数据传输策略和预设上传阈值将所述标准化数据块上传；基于所述标准化数据块，持续优化并更新所述动态资源调度策略参数，将更新结果下发至所述边缘节点。

53、本发明的有益效果在于：本发明通过在边缘节点进行原始感知数据流的获取和预处理，将噪声抑制和冗余数据剔除操作下沉至边缘侧执行，降低了云端数据传输量，网络带宽压力得到有效缓解，传输延迟大幅降低，满足了毫秒级(延迟小于100ms)响应需求；通过基于环境参数的自适应滤波系数动态调整机制，根据温度、湿度、光照、电磁干扰等环境因素实时计算滤波参数，采用第一预设滤波机制和第二预设滤波机制的切换策略，分别针对正常环境条件和异常环境条件进行针对性处理，固化规则预处理方式的灵活性不足问题得到解决，复杂多变城市环境下的噪声干扰得到有效抑制，后续数据质量提升；通过实时获取边缘服务器计算资源使用率、当前业务负载、网络带宽及边缘节点计算能力，制定动态资源调度策略，边云资源静态分配模式转变为动态自适应调整模式，资源利用率低下的技术问题得到根本解决，不同城市场景下的实时响应能力增强。

54、通过建立环境参数与自适应滤波模型之间的映射关系，将神经网络模型作为自适应滤波系数的计算核心，实现了滤波参数根据环境变化的自动学习和动态更新，环境适应能力增强；通过卡尔曼滤波对多源处理结果进行状态融合估计，保证了实时性条件下的感知数据流平滑输出，融合精度提高；通过第一预设滤波机制采用轻量化低功耗设计，第二预设滤波机制采用强鲁棒性多级联抑制设计，两种机制的切换边界清晰明确，处理效果与资源消耗之间的平衡得到优化。

55、通过将边云资源状态信息与预设资源状态阈值进行比对，结合数据类别标签对应的数据传输优先级，综合确定数据传输模式，实时传输模式、批量传输模式和延迟传输模式三种模式的切换逻辑完整，覆盖了高优先级实时场景、中等优先级调度场景和低优先级归档场景的全部需求，数据传输的时效性和可靠性得到兼顾；通过实时传输模式中的分包处理和传输状态标记机制，批量传输模式中的缓存队列管理和完整性校验机制，延迟传输模式中的本地持久化存储和补传触发机制，数据传输的可靠性和可追溯性得到保障。

56、通过建立业务场景类型与数据采集频率的映射关系，边缘计算节点的动态调度功能根据业务场景类型联动调整预处理优先级及上传阈值，云端服务器的资源池管理环节根据资源分配策略进行动态扩容或缩容，业务场景变化与资源调整之间的联动机制完整，不同业务场景下的采集、处理与传输协同适配能力增强；通过数据质量评估机制，基于数据完整性、准确性和时效性生成数据质量评分，根据评分确定处理优先级并实施差异化预处理策略，质量驱动的端云协同优化闭环形成，模型参数的迭代优化机制建立。