一种实时数据处理的轻量化智能终端及控制系统的制作方法

本发明涉及轻量化智能终端实时数据处理，尤其涉及一种实时数据处理的轻量化智能终端及控制系统。

背景技术：

1、随着工业互联网、泛在物联网的规模化落地，工业设备状态监测、野外新能源场站运维、城市物联网感知节点部署等场景对边缘侧实时数据处理能力的需求持续提升，行业核心需求聚焦于低部署成本、低运行功耗、低传输带宽占用、高实时响应四个维度，同时需要适配无外接供电、网络质量不稳定的复杂部署环境。

2、当前主流的技术路线之一为通用边缘终端搭配云端集中处理方案，该方案的工作原理为边缘终端仅承担原始数据采集功能，将全量原始采集数据直接上传至云端平台，所有数据预处理、异常识别、分析决策操作均由云端算力完成。该方案的实现方式为采用arm或x86架构的通用边缘终端，保留全量通用外设及计算单元，支持多类型传感器接入，云端配套搭建大数据处理平台及分布式推理集群。该方案的优势为终端侧开发难度低，云端算力充足可支撑复杂算法模型运行，适用于小批量、网络条件稳定的室内部署场景。但该方案存在明显缺陷：全量原始数据传输占用极高带宽，带宽运营成本居高不下，网络不稳定时易出现数据丢失、分析延迟超过数分钟的问题，无法满足实时性要求，同时通用边缘终端冗余外设多、功耗高，无法适配无外接供电的野外部署场景。

3、另一类主流技术路线为高性能边缘智能终端本地全量处理方案，该方案的工作原理为终端搭载高算力主控芯片，本地完成全量数据的处理、推理操作，仅上传最终分析结果。该方案的实现方式为边缘终端内置gpu或npu单元，搭载完整的深度学习推理框架，本地运行高精度浮点推理模型。该方案的优势为不依赖云端算力，响应延迟较低，数据无需全量上传可满足隐私保护要求。但该方案的缺陷也十分突出：高性能边缘终端的硬件成本为普通采集终端的5至10倍，且未做模型轻量化、算力调度优化，运行功耗居高不下，同样无法适配低功耗部署要求，大规模部署时整体投入成本过高，运维难度大。

4、两类现有技术均无法同时兼顾低功耗、低成本、低带宽、高实时性的多重要求，在大规模分布式物联网、工业监测场景下的适配性不足，行业亟需针对性的解决方案破解上述技术矛盾。

技术实现思路

1、本发明提出的一种实时数据处理的轻量化智能终端及控制系统，以解决上述现有技术中提到的现有边缘数据处理方案无法同时兼顾低功耗、低成本、低带宽与高实时性要求，野外弱网复杂场景适配性差的问题。

2、为了实现上述目的，本发明采用了如下技术方案：一种实时数据处理的轻量化智能终端，包括硬件层、运行在硬件层上的边缘数据处理层、数据传输层；

3、所述硬件层为面向工业数据采集场景裁剪冗余外设的低功耗精简架构硬件，移除所有非工业场景必需的消费电子类外设及通用计算单元，硬件成本及运行功耗仅为同算力通用边缘终端的三分之一以下；

4、所述边缘数据处理层内置实时数据预处理模块、动态算力调度模块、本地轻量推理模块；

5、所述实时数据预处理模块用于对接入的多源实时数据，包括工业传感器时序数据、设备运行状态数据、前端采集设备输出的结构化特征数据，依次进行无效值剔除、特征预提取处理，大幅降低后续处理的数据维度；

6、所述动态算力调度模块用于根据实时数据接入吞吐量、待处理任务队列长度动态分配硬件算力资源，优先保障高优先级数据处理任务的算力配额，避免任务积压导致的处理延迟升高；

7、所述本地轻量推理模块采用量化压缩的轻量化神经网络模型，不需要依托云端算力即可在本地完成数据异常识别、状态预测推理操作，推理延迟满足工业实时控制要求；

8、所述数据传输层预先配置数据上传规则，仅将经过预处理及异常识别后的有效特征数据和异常告警关联数据上传至上层控制系统，不需要上传全量原始采集数据，大幅降低传输带宽占用。

9、优选的，所述硬件层采用risc-v精简指令集架构的工业级主控芯片，裁剪非必要的通用浮点运算单元、多媒体编解码引擎、消费级显示接口、音频输入输出外设，集成专用时序数据加速处理核及支持掉电保护的低功耗固态存储单元，所述专用时序数据加速处理核专门针对时间序列数据的滤波、采样、聚合操作进行硬件级加速，运算效率远高于通用处理核，整机运行功耗远低于同算力通用边缘终端，支持电池供电、太阳能供电等低功耗部署模式，适配无外接供电的工业野外部署场景。

10、优选的，所述实时数据预处理模块采用可配置的滑动时间窗口校验机制，支持毫秒级至分钟级的窗口长度自定义配置，对单位时间窗口内的采集数据进行离群点检测、重复数据校验，超出预设置信区间的噪声数据、重复出现超过预设次数的冗余数据直接在本地缓存区进行剔除，仅保留符合数据有效性规则的原始数据用于后续特征预提取操作，特征预提取过程优先提取与异常识别强相关的统计特征、时序特征，进一步压缩后续处理的数据体积。

11、优选的，所述动态算力调度模块内置预先标定的算力映射表，所述算力映射表通过仿真环境下对不同数据接入吞吐量对应的算力需求进行标定生成，调度过程中实时监测每秒数据接入量、预处理队列长度、推理任务积压量三个核心指标，匹配对应的算力分配策略，空闲时段自动关闭闲置的处理核心及非必要外设接口，使终端进入低功耗休眠模式，仅当数据接入中断触发时才唤醒对应处理核心，大幅降低终端待机功耗。

12、优选的，所述本地轻量推理模块所采用的轻量化神经网络模型为经过结构化剪枝、int8权重量化处理后的轻量化分类或时序预测衍生模型，首先在云端完成基础浮点模型的训练，再剪掉模型中冗余的卷积核、全连接层神经元，随后将32位浮点权重量化为8位整数，模型体积远小于通用推理模型，运算复杂度大幅降低，适配低算力的精简架构硬件，本地单次推理耗时满足毫秒级实时处理要求，不需要等待云端返回结果即可在本地直接输出推理结论。

13、优选的，所述数据传输层内置断点续传及分片缓存单元，实时检测当前网络的丢包率、传输延迟、可用带宽三个网络质量参数，当检测到网络传输质量低于预设阈值时，暂停实时上传操作，将待上传的有效特征数据、异常告警数据按照时间戳顺序存入本地非易失性存储单元，每个数据块均添加完整性校验码，待网络质量恢复至合格阈值以上时，按照时间从旧到新的优先级自动补传缓存数据，补传完成后自动删除本地缓存副本，避免数据丢失的同时不会占用过多本地存储资源。

14、优选的，一种实时数据处理的轻量化智能终端控制系统，用于管控所述的轻量化智能终端，包括云端管控平台、终端配置管理模块、多源数据汇聚模块、全局可视化模块；

15、所述云端管控平台支持公有云、私有云、混合云多种部署模式，适配不同规模的工业场景部署需求；

16、所述终端配置管理模块支持批量配置和单终端自定义配置两种模式，向各接入的轻量化智能终端下发数据处理规则、推理模型判定阈值、算力调度策略、滑动窗口长度配置参数；

17、所述多源数据汇聚模块支持mqtt、http、coap多种工业常用传输协议，接收各轻量化智能终端上传的有效特征数据及异常告警数据，完成格式统一、去重处理后存入专用时序数据库；

18、所述全局可视化模块用于对接入终端的运行状态、算力负载、数据处理量、异常告警信息进行多维度可视化展示，支持按区域、按终端类型、按时间维度的筛选查询，为运维人员提供直观的系统运行状态参考。

19、优选的，还包括全局算力调度模块，所述全局算力调度模块用于实时采集所有接入终端的算力占用率、内存占用率、网络上传速率、待处理任务队列长度、区域数据接入量预测值多维度运行数据，根据各区域的实时数据处理需求动态调整任务分配策略，当检测到单终端负载超过预设阈值时，将该终端承担的部分非实时处理任务迁移至附近的低负载终端运行，均衡各终端的算力负载，避免单终端过载导致的处理延迟升高、数据丢失问题。

20、优选的，还包括模型迭代更新模块，所述模型迭代更新模块根据汇聚的有效特征数据和异常样本数据定期对轻量化推理模型进行重训练优化，将优化后的新版本模型与终端当前运行的旧版本模型进行差分对比，仅提取两个版本模型之间的权重差异部分生成差量更新包，差量更新包的体积远小于全量模型包，采用断点续传方式向终端下发差量更新包，终端收到更新包后在本地完成模型合并，无需重启终端即可完成模型更新，大幅降低模型更新时的带宽占用，同时不会影响终端的正常运行。

21、优选的，还包括安全管控模块，所述安全管控模块对所有接入终端采用基于x.509证书的双向身份认证机制，仅持有合法签发证书的终端可接入管控平台，对终端与云端之间传输的所有数据采用国密sm4对称加密算法进行端到端加密，实时监测终端的运行状态，当检测到终端出现非授权配置修改、上传异常格式数据、算力异常占用的异常运行状态时，自动对异常终端进行隔离，停止接收该终端的上传数据也不向其下发任何配置指令，避免安全风险扩散至整个系统。

22、与现有的技术相比，本发明的有益效果是：

23、本发明通过对终端硬件采用面向场景的精简架构裁剪，搭配量化压缩的轻量化推理模型与动态算力调度机制，大幅降低终端硬件成本与运行功耗，有效解决了现有通用边缘终端冗余外设多、功耗过高，高性能边缘终端硬件投入成本过高，均无法适配无外接供电的野外部署场景的缺陷，终端可通过低功耗供电方式长期稳定运行，大幅降低边缘节点的部署门槛。

24、本发明通过在终端侧本地完成数据预处理、异常推理全流程，仅上传有效特征与异常关联数据，搭配网络质量自适应的断点续传缓存机制，大幅降低数据传输带宽占用，实现边缘侧极低延迟的实时响应，有效解决了现有云端集中处理方案全量原始数据传输带宽成本高、推理延迟高、网络不稳定易出现数据丢失的缺陷，可在弱网环境下稳定运行，满足工业实时控制、异常实时告警的核心需求。

25、本发明配套的管控系统支持多模式部署、批量配置、差量模型更新与全局算力调度，搭配端到端的安全管控机制，大幅降低大规模部署后的运维成本，提升全系统算力资源利用率，有效解决了现有方案大规模部署时运维难度大、模型更新易中断业务、资源利用率低的缺陷，可适配小型工厂单站点、跨区域多站点等不同规模的部署需求，可广泛应用于工业设备状态监测、新能源场站运维、野外物联网感知等多个领域，具备极高的推广应用价值。