一种盾构施工数据质量的异常隔离方法以及系统与流程
本发明涉及盾构施工,具体而言,涉及一种盾构施工数据质量的异常隔离方法以及系统。
背景技术:
1、盾构施工过程中,一台盾构机每天产生数以万计的plc传感器数据,涵盖刀盘扭矩、总推力、推进速度、土舱压力、螺旋机转速、泡沫管路流量与压力等数十个维度的参数。这些数据通过工业协议(opc ua、modbus tcp)实时采集后,流向数据清洗系统、标注系统、模型训练平台和风险诊断平台。
2、当前行业内对盾构施工数据的质量控制主要依赖以下方式:
3、方式一:人工巡检判断。 依赖现场工程师定期查看数据曲线,凭经验判断数据是否异常。此方式响应滞后,无法实时发现数据问题,且人工判断标准不统一。
4、方式二:单一阈值校验。 为每个参数设定一个固定的上下限阈值,超过阈值即判定为异常。此方式虽然可以实现自动化,但存在明显的技术缺陷:无法识别数据的突变异常(数值虽在阈值范围内但瞬间跳变幅度过大)、无法检测关联参数之间的逻辑矛盾(如螺旋机转速与推进速度的比例关系是否合理)、无法区分“数据缺失”和“数据异常”这两种不同性质的质量问题、无法追踪数据异常的来源。
5、现有技术的核心缺陷在于: 异常数据与正常数据混在一起流入下游的业务链路,导致标注人员将异常工况误标为正常工况,模型训练时将垃圾数据作为训练样本学习,风险诊断平台基于错误数据做出误判。
技术实现思路
1、本发明解决的问题:如何构建一套自动化的多级质量校验机制,能够同时检测盾构施工数据的物理范围异常、时序突变异常和关联参数逻辑矛盾的问题。
2、为解决上述问题,本发明实施例提供一种盾构施工数据质量的异常隔离方法,异常隔离方法包括:获取已封装的通用数据包的参数数组,并对参数数组进行解析;对参数数组内的每个个体参数按照校验规则执行多级效验,得到效验结果;根据校验结果为通用数据包分配质量等级标记,根据质量等级标记写入通用数据包的预设字段;当质量等级标记显示不合格时,自动对通用数据包启用隔离机制,阻止通用数据包进入下游消费链路;根据质量等级标记生成包含隔离标识符和失败原因的告警记录,并将告警记录发送至运维系统。
3、与现有技术相比,采用该技术方案所达到的技术效果:异常隔离方法通过实时、多维度的自动化校验、明确的质量等级标记、主动的隔离机制以及详细的告警追溯,有效解决了盾构施工数据质量控制中的核心难题,显著提升了数据质量和下游业务系统的运行效率与准确性。
4、在本发明的一个实施例中,对参数数组内的每个个体参数按照校验规则执行多级效验,得到效验结果,具体包括:判断参数数组中每个个体参数的参数值是否超出预设的物理范围;计算个体参数的参数值在预设时间窗口内的变化幅度,判断变化幅度是否超过突变阈值;判断存在物理关联的个体参数之间的比值和关系是否在预设区间内。
5、与现有技术相比,采用该技术方案所达到的技术效果:通过引入物理范围校验,能够快速过滤掉明显错误的离群数据,通过变化幅度校验,能够捕捉到瞬时剧烈波动的数据,弥补了静态阈值检测的不足,通过关联关系校验,能够发现单个参数正常但整体逻辑不符的隐蔽性异常。这种多级效验机制,使得盾构施工数据在进入下游消费链路之前,能够得到更全面、更深入的质量评估,显著提升了异常数据识别的准确性和覆盖率,从而有效阻止了异常数据包进入下游系统,避免了因数据质量问题导致的误判和错误决策。
6、在本发明的一个实施例中,判断参数数组中每个个体参数的参数值是否超出预设的物理范围,具体包括:个体参数包括泊松比、刀盘转速、推进速度、土舱压力、泡沫液体管路瞬时流量和泡沫气体管路瞬时流量;泊松比的取值范围为0.1至0.5,刀盘转速的取值范围为0至10转/分钟,推进速度的取值范围为0至120毫米/分钟,土舱压力的取值范围为0至10巴,泡沫液体管路瞬时流量的取值范围为0至500升/分钟,泡沫气体管路瞬时流量的取值范围为0至5000升/分钟;当个体参数的参数值位于取值范围之外时,判定个体参数为范围异常。
7、与现有技术相比,采用该技术方案所达到的技术效果:通过为泊松比、刀盘转速、推进速度、土舱压力、泡沫液体管路瞬时流量和泡沫气体管路瞬时流量等关键个体参数设定明确的物理取值范围,并据此判断数据是否超出这些范围,能够实现对盾构施工数据质量的精细化初筛。这种基于物理常识的硬性约束,能够快速、准确地识别出因传感器故障、传输错误或极端工况导致的离群值,从而有效过滤掉明显不符合物理逻辑的错误数据,提高了数据异常识别的准确性和效率,也为后续的突变异常和关联异常等更复杂的校验环节减轻了负担。
8、在本发明的一个实施例中,计算个体参数的参数值在预设时间窗口内的变化幅度,判断变化幅度是否超过突变阈值,具体包括:采用滑动窗口方法计算个体参数在预设时间间隔内的变化幅度,个体参数还包括刀盘扭矩、推进速度和土舱压力;刀盘扭矩每秒的跳变幅度不得超过500千牛·米,推进速度每秒的跳变幅度超过30毫米/分钟,否则判定为突变异常;土舱压力在30秒内持续下降不得超过2巴;泡沫液体管路瞬时流量每秒跳变幅度不得超过200升/分钟;泡沫气体管路瞬时流量每秒跳变幅度部分超过2000升/分钟;当个体参数超出突变阈值时,判定个体参数为突变异常。
9、与现有技术相比,采用该技术方案所达到的技术效果:通过引入动态变化幅度的校验机制,有效弥补传统静态阈值校验在时间维度上的不足,显著提升对盾构施工数据中突变异常的识别能力,通过引入滑动窗口方法和针对不同参数定制的动态突变阈值,系统能够实时捕捉数据流在连续时间序列上的波动特征,从而精准识别出那些数值未越界但变化趋势异常的数据。这使得盾构机运行过程中可能出现的突变性故障、传感器瞬时失效或工况急剧变化等情况能够被及时发现,避免了异常数据混入下游业务链路,导致误判或模型训练偏差。
10、在本发明的一个实施例中,判断存在物理关联的个体参数之间的比值和关系是否在预设区间内,具体包括:选取存在物理关联关系的至少两个个体参数记为关联参数组,计算关联参数组中每个个体参数之间的比值或函数关系;将计算结果与预设的理论合理区间进行比对;当偏差超过预设的合理区间时,判定关联参数组为关联异常;关联参数对包括:螺旋机转速与推进速度、刀盘扭矩与推进速度、泡沫注入比与各管路流量之和。
11、与现有技术相比,采用该技术方案所达到的技术效果:通过引入关联性校验机制,将盾构机各系统之间紧密的物理耦合关系纳入数据质量评估范畴,使得系统能够识别出那些虽然单个参数数值处于正常范围且无突变,但参数间逻辑关系违背物理规律的隐蔽性异常数据。这种多维度、深层次的校验方法,显著提升了盾构施工数据质量评估的全面性和准确性。
12、在本发明的一个实施例中,根据校验结果为通用数据包分配质量等级标记,根据质量等级标记写入通用数据包的预设字段,具体包括:当参数个体不存在范围异常、突变异常和关联异常时,分配质量等级标记为数据正常;当参数个体存在范围异常、突变异常和关联异常的其中一个时,分配质量等级标记为数据异常;当参数个体存在第一目标时间内不存在采集值时,分配质量等级标记为数据缺失;当参数个体存在第一目标时间内不存在采集值时,但在第二目标时间内通过算法补全数据后,分配质量等级标记为数据补全;其中,第二目标时间大于第一目标时间。
13、与现有技术相比,采用该技术方案所达到的技术效果:通过对通用数据包的数据质量进行数据正常、数据异常、数据缺失和数据补全的精细化分类,能够精准识别不同类型的质量问题,第一目标时间和第二目标时间的设置,为数据缺失提供了明确的识别标准和后续的算法补全机会。将这些质量等级标记写入通用数据包的预设字段,使得数据质量信息能够随数据一同流转,极大的提高了下游消费链路处理数据的灵活性和智能化水平。
14、在本发明的一个实施例中,当质量等级标记显示不合格时,自动对通用数据包启用隔离机制,阻止通用数据包进入下游消费链路,具体包括:当质量等级标记为数据缺失和数据异常时,将通用数据包标记为异常数据包;将异常数据包从正常数据流中分离,写入独立的隔离数据区。
15、与现有技术相比,采用该技术方案所达到的技术效果:通过建立自动化的数据隔离机制,有效防止不合格的盾构施工数据进入下游消费链路,从而避免了异常数据对数据清洗、模型训练和风险诊断等环节的污染。这显著提升了下游业务处理的准确性和可靠性,保障了基于盾构施工数据的决策和分析的质量,避免了因数据质量问题导致的误判或模型训练失效。
16、在本发明的一个实施例中,根据质量等级标记生成包含隔离标识符和失败原因的告警记录,并将告警记录发送至运维系统,具体包括:获取异常数据包的触发时间戳、触发校验的规则类型、参数值及其对应的预设阈值,将获取内容打包后生成告警记录;运维系统获取告警记录,当异常数据包的质量等级标记为数据缺失时,持续检测后续数据点位,若在第二目标时间内恢复,则启动差值补全,并将补全后的数据标记为数据补全;当异常数据包的质量等级标记为数据异常时,对异常数据包进行持续检测,若当前状态的持续时间超过预设时段,则升级告警级别。
17、与现有技术相比,采用该技术方案所达到的技术效果:通过获取异常数据包的触发时间戳、触发校验的规则类型、参数值及其对应的预设阈值并生成告警记录,为运维系统提供了完整且精细的数据上下文,针对数据缺失情况,通过在第二目标时间内持续检测后续数据点位并在恢复后启动差值补全,并将补全后的数据标记为数据补全,实现了对数据完整性的主动修复能力。这不仅将原本可能丢失的数据转化为可用数据,有效降低了数据丢失对后续分析和模型训练的影响,而且避免了因短暂数据中断而导致的误判和资源浪费。
18、在本发明的一个实施例中,隔离数据区内的异常数据包在异常数据包执行下一步操作后自动清理。
19、与现有技术相比,采用该技术方案所达到的技术效果:将清理动作与异常数据包的生命周期处理逻辑紧密结合的设计,确保了隔离数据区始终保持高效的存储利用率,避免了人工清理带来的滞后性和遗漏风险。
20、在本发明的一个实施例中,还提供一种盾构施工数据质量的异常隔离系统,上述实施例所记载的异常隔离方法应用于该异常隔离系统,异常隔离系统包括:数据接收模块,数据接收模块用于接收通用数据包;效验规则库,效验规则库用于对每个个体参数的效验过程提供效验规则;多级校验引擎,多级效验引擎用于执行多级效验并得到效验结果;质量标记模块,质量标记模块用于给通用数据包标记质量等级标记,该异常隔离系统具有上述异常隔离方法的全部技术特征,此处不再一一赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com