一种基于云边端协同的脱敏传输和一致性校验系统的制作方法
本发明涉及信息数据安全与隐私保护,尤其涉及一种基于云边端协同的脱敏传输和一致性校验系统。
背景技术:
1、随着工业互联网和智能制造的深入发展,工业现场的数据采集规模呈指数级增长,因此,确保工业现场数据从采集端到云端存储的完整性、真实性和不可篡改性,已成为工业数据治理的核心技术需求,目前,工业现场数据的采集与传输通常采用边缘采集终端配合中心云平台的架构。边缘端负责从可编程逻辑控制器、分布式控制系统、智能传感器及工业摄像头等设备采集数据,经初步处理后上传至云端进行集中存储和分析。然而,在实际工业部署环境中,尤其是化工、矿山、海上平台等场景,网络条件复杂多变,经常出现断网、高延迟、高丢包等情况,现有技术在上述场景下存在以下显著技术缺陷:
2、现有的脱敏方法往往破坏了数据的可用性,特别是仪器读数区域的过度脱敏可能导致关键实验数据丢失,影响后续分析的准确性,工业现场的网络环境具有间歇性连接、带宽波动大、丢包率高特点,现有传输方案通常采用简单的断点续传或固定的前向纠错编码,缺乏对链路质量的动态自适应能力,缺乏针对传输链路的安全防护,特别是对重放攻击的检测与防御能力不足。攻击者截获合法数据包后在后续时间重新发送,可能导致云端接收到重复或错乱的数据,影响数据的一致性和准确性。
3、针对上述的技术缺陷,现提出一种解决方案。
技术实现思路
1、本发明的目的在于:通过脱敏、链式签名存证、弱网自适应传输、断点续传、单调计数器防重放+滚动窗口校验、全局重排和冲突合并、哈希链审计和第三方时间戳存证,实现数据传输的隐私保护、安全防护以及证据可追证目的。
2、为了实现上述目的,本发明采用了如下技术方案:一种基于云边端协同的脱敏传输和一致性校验系统,包括脱敏处理模块,部署于边缘端,获取多模态数据,进行基于字段级策略的脱敏处理,生成脱敏事件序列及对应的链式哈希签名;
3、本地存证模块,用于在本地缓存所述脱敏事件序列及链式哈希签名,并在网络中断期间维持离线留存,待网络恢复后自动触发缓存数据的上传;
4、传输模块,用于在弱网环境下执行断点续传,并依据实时测量的链路质量指标自适应调整前向纠错编码参数,以进行脱敏事件序列的传输;
5、安全防护模块,部署于传输链路侧且与所述自适应传输模块连接,用于对重放攻击进行防护,基于滚动窗口与单调计数器实现消息序号校验,并记录传输链路事件至审计日志;
6、云端协同处理模块,用于接收来自脱敏处理模块的缓存事件,基于全局时间基准与序号进行全局重排与去重,执行冲突检测与合并操作,并对合并后的事件包进行哈希一致性校验,校验通过后将数据写入审计日志并获取第三方时间戳存证。
7、进一步的,进行基于字段级策略的脱敏处理,生成脱敏事件序列及对应的链式哈希签名,具体过程如下:
8、实时采集多模态数据,多模态数据类型包括视频、音频、仪器读数,采集后按类型进行分类标记,每种模态的数据进入对应的脱敏处理管道,包括以下处理执行方法:对于视频流和图像中的帧画面,采用人脸区域遮罩处理方法:采用人脸检测算法定位图像中的人脸区域,对该区域内的像素值进行高斯模糊处理或统一填充为预设灰度值,使个体身份不可辨识;
9、对图像、视频帧中的白板区域:识别图像、视频帧中的白板区域边界,对该区域内的文字和图形内容进行马赛克化处理,保留白板背景但不保留具体书写内容;
10、对音频进行语音个人标识信息替换处理:通过自动语音识别将语音转换为文本,识别其中的姓名、身份证号、电话号码个人标识信息,将对应音频片段替换为占位音、静音片段;
11、仪器读数区域保真处理:识别仪器显示屏区域的边界,对该区域内的读数数字和单位符号进行无损保留,对该区域以外的背景和人员信息进行遮罩处理;
12、将上述各模态脱敏处理后的结果按照采集时间顺序组装为脱敏事件序列,每个事件单元包含事件类型,人脸遮罩、白板遮罩、语音替换、仪器保真、事件发生时间戳、处理后的数据内容、脱敏元数据;
13、将脱敏事件序列按时间顺序切分为连续的事件块,对于第一个事件块,计算其哈希值:
14、,其中为前一个事件块的哈希值, 表示字节串拼接操作,任一事件块的哈希值变更将导致其后所有哈希值失效,形成可验证的防篡改链式结构;
15、记录每次脱敏操作的关键信息,生成脱敏审计日志,包括:操作时间、操作人员、系统标识、脱敏策略版本号、处理的事件数量、脱敏异常事件数量、链式哈希签名的根哈希值,生成脱敏事件序列及链式哈希签名。
16、进一步的,用于在本地缓存所述脱敏事件序列及链式哈希签名,并在网络中断期间维持离线留存,待网络恢复后自动触发缓存数据的上传,具体过程如下:
17、将存储空间划分为热数据区、温数据区和预留缓冲池区域,总容量不低于1gb,创建预分配文件和内存索引,记录每个时间段缓存的位置、事件数量及哈希链根值;
18、持续监测数据传输时的网络连通性,每5秒发送心跳包监测网络连通性,连续3次失败则切换至离线模式,连续2次心跳恢复则切回在线模式,切换事件写入本地状态日志;
19、进入离线模式后,进行停止上传、继续本地存储与缓存、缓存空间监控以及缓存压力处理操作,当网络恢复时,本地存证模块自动触发缓存数据的上传流程。
20、进一步的,用于在弱网环境下执行断点续传,并依据实时测量的链路质量指标自适应调整前向纠错编码参数,以进行脱敏事件序列的传输,具体过程如下:
21、在数据传输开始前及传输过程中,持续测量链路质量指标,进行发送端与接收端的往返时延测量、丢包率测量;
22、根据测量的丢包率动态调整前向纠错编码的纠错码率,当时,;
23、当时,3进行线性增加;
24、当时,1.43进行线性增加;
25、当时,进行调整,为设置的三个丢包率阈值;
26、将待传输数据切分为数据块,每块划分为 k个源包,根据当前码率生成冗余包,构建编码包,接收端收到任意 k个编码包即可恢复全部源数据;
27、传输过程中,接收端维护已成功接收并成功解码的数据块位图,每个比特位标记对应数据块是否已完成接收和校验发送端和接收端定期交换块确认状态,当传输因网络中断或其他原因中断时,执行断点续传流程,包括中断检测、状态保存、重连后恢复以及断点验证;
28、数据块传输完成后,接收端计算该块恢复后的哈希值,与发送端预先生成的链式哈希签名中的对应块哈希值进行比对,若一致,则发送成功确认;若不一致,说明解码过程中可能存在未被发现的错误,触发重传该数据块的所有源包。
29、进一步的,用于对重放攻击进行防护,基于滚动窗口与单调计数器实现消息序号校验,并记录传输链路事件至审计日志,具体过程如下:
30、在数据采集端与数据存储云端首次建立信任关系时,通过双向认证通道协商初始化参数,发送端每发一条消息,原子读取计数器当前值 作为消息序号附加于头部,随后计数器加1并持久化,云端接收维护预期序号,收到消息后比对,序号相等则正常接收,序号较大则暂存失序缓冲区等待重传,序号小于预期则进入重放检测流程;
31、序号在窗口内且未接收时正常处理并标记;序号在窗口内但已接收时比对消息哈希,相同判定为重传包并丢弃,不同判定为重放攻击,序号大于窗口上界时窗口前滑;序号小于窗口下界时直接判定为重放攻击;
32、当判定为重放攻击时,执行告警操作,所有传输链路事件均记录到不可篡改的审计日志中。
33、进一步的,所述云端协同处理模块还配置有联合访问控制与分级加密机制,具体过程如下:
34、采用基于角色与属性的组合访问控制模型,为每个用户分配至少一个角色,并为每个数据对象标记脱敏等级标签;
35、用户访问数据时,系统同时校验用户角色是否具备该类数据的访问权限以及用户的安全级别是否不低于数据对象的脱敏等级,两者均满足时方可授予读权限;
36、对数据中的敏感片段按脱敏等级执行分级加密,不同等级采用不同强度的加密算法,一级敏感片段使用sm4加密,二级敏感片段使用aes-128加密,三级敏感片段使用aes-256加密,并设置周期性密钥轮换策略,密钥轮换周期根据敏感等级动态设定,等级高轮换周期则缩短。
37、进一步的,基于全局时间基准与序号进行全局重排与去重,执行冲突检测与合并操作,并对合并后的事件包进行哈希一致性校验,具体过程如下:
38、接收缓存事件执行格式校验、数字签名验证、时间戳归一化及设备状态检查,校验不通过的事件存入死信队列,通过的事件按设备标识暂存于有序缓冲区;
39、对消息队列按全局时间戳进行排序,时间戳相同时按设备标识字典序及设备内序号升序排列,依次弹出堆顶元素输出到重排事件序列,并进行重复事件的去重检测与处理,内容哈希不同时触发冲突检测流程;
40、冲突类型包括属性值冲突、关系冲突和时序冲突,按以下优先级规则解决冲突:
41、人工标注事件优先于仪器采集事件,仪器采集事件优先于视觉识别事件;时间戳较早的事件优先。提取可信度最高的事件为主导事件,使用其值修正矛盾字段,生成合并记录追加至事件合并日志;
42、计算事件包的哈希值,验证链式哈希关系,并验证事件包的边缘端数字签名。校验通过则进入存证流程,校验失败则移入待复核队列并触发重传请求。
43、综上所述,由于采用了上述技术方案,本发明的有益效果是:
44、该一种基于云边端协同的脱敏传输和一致性校验系统,通过采集现场即对多模态数据执行字段级策略脱敏,人脸区域采用高斯模糊、白板内容采用马赛克化、语音个人标识采用占位音替换、仪器读数区域保真处理,实现敏感数据的精准就地脱敏,从源头保障隐私安全,将脱敏事件序列按块切分,每个块的哈希值依赖于前一个块的哈希值,形成链式哈希签名构建可验证的防篡改证据链,在离线模式下维持本地缓存,网络恢复后自动触发缓存数据上传,实现网络中断期间数据零丢失,断网续传能力显著增强,通过热数据区、温数据区、缓冲池三级存储结构,结合缓存使用率实时监控,在空间紧张时自动启动数据压缩,实现缓存空间的自适应管理避免存储溢出效果,基于实时测量的丢包率动态调整前向纠错码率,从而达到对弱网环境下的高可靠传输保障,传输中断后,仅重传缺失的编码包而非整个数据块,结合接收端的已接收包位图进行精确定位,提高传输时的效率,基于单调计数器的重放攻击精准检测,有效识别并阻断重放攻击,根据多源事件的全局重排还原真实时序,提供事件排序的精准性,依据智能冲突检测与合并保障数据一致性,将收到的事件包重新计算哈希值,验证数据从采集到入库的完整链路未被篡改,实现对数据的完整性验证。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com