核电站数据清洗方法及装置与流程

技术特征：
1.一种核电站数据清洗方法，其特征在于，所述方法包括：确定需要进行数据清洗的数据源，创建数据清洗任务；针对所述数据清洗任务，按照数据清洗需求设置数据标准和清洗规则；根据所述数据标准从所述数据源采集数据，并根据所述清洗规则对采集到的数据进行数据清洗转换，得到清洗后的数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在检测到清洗后的数据与预设数据规则存在偏差的情况下，将该数据发送至关联的账户；在检测到清洗后的数据与预设数据规则相匹配的情况下，将该数据存储至目标数据源中。3.根据权利要求1所述的方法，其特征在于，所述数据清洗规则配置属性对应的数据清洗规则，每个属性配置一个或多个清洗规则。4.根据权利要求1所述的方法，其特征在于，所述数据源配置restful接口，通过调用所述数据源提供的restful接口，在通过预设的账户验证的情况下，从所述数据源采集数据。5.根据权利要求1所述的方法，其特征在于，通过统一接口调入待清洗的数据，各次调用接口的情况下，传入不同的实体名称、实体属性。6.一种核电站数据清洗装置，其特征在于，所述装置包括：创建模块，用于确定需要进行数据清洗的数据源，创建数据清洗任务；设置模块，用于针对所述数据清洗任务，按照数据清洗需求设置数据标准和清洗规则；采集清洗模块，用于根据所述数据标准从所述数据源采集数据，并根据所述清洗规则对采集到的数据进行数据清洗转换，得到清洗后的数据。7.根据权利要求6所述的装置，其特征在于，所述装置还包括：第一检测模块，用于在检测到清洗后的数据与预设数据规则存在偏差的情况下，将该数据发送至关联的账户；第二检测模块，用于在检测到清洗后的数据与预设数据规则相匹配的情况下，将该数据存储至目标数据源中。8.根据权利要求6所述的装置，其特征在于，所述数据清洗规则配置属性对应的数据清洗规则，每个属性配置一个或多个清洗规则。9.根据权利要求6所述的装置，其特征在于，所述数据源配置restful接口，通过调用所述数据源提供的restful接口，在通过预设的账户验证的情况下，从所述数据源采集数据。10.根据权利要求6所述的装置，其特征在于，通过统一接口调入待清洗的数据，各次调用接口的情况下，传入不同的实体名称、实体属性。11.一种核电站数据清洗装置，其特征在于，所述装置包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行权利要求1至5中任意一项所述的方法。12.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至5中任意一项所述的方法。

技术总结
本公开属于核电技术领域，具体涉及一种核电站数据清洗方法及装置。本公开主要依托各业务对象的数据标准，并通过给各生产业务对象属性配置数据清洗规则，以实现在对相关的生产业务对象数据采集时，按配置的规则进行数据清洗。在本公开提供的技术方案中，提供多种多样的数据清洗规则，规则支持自定义拓展，可根据自身业务诉求，进行自定义数据清洗规则拓展，灵活地满足核电厂数据相关人员不同的数据清洗需求。此外，本公开可与生产业务对象数据标准进行交互，保证数据的标准性、准确性、一致性。性。性。


技术研发人员：杨沥铭 伍吉泽 葛旭阳 张立侠 李强 郭强 刘忠良 潘炼 肖薇 吴宝华 陆萍
受保护的技术使用者：中核核电运行管理有限公司
技术研发日：2022.06.23
技术公布日：2022/12/19