一种基于Python的输电工程物资清册智能比对方法及系统与流程
本发明属于电力工程物资数据处理,具体涉及一种基于python的输电工程物资清册智能比对方法及系统。
背景技术:
1、在输变电工程建设物资采购管理工作中,物资需求计划以excel格式在多层级审核系统中流转。该类excel数据具有显著的异构特征:表头结构复杂,如表头为多层合并单元格,同一列语义由两行以上(或两列以上)单元格共同定义;或者为单层表头但字段结构动态调整(如列增减、顺序调整)的物资清册。单元格数据类型混排,同一列内可能同时存在none空值、空字符串、数值型、数字字符串、布尔标记及长文本规格型号;字段内容存在全角半角混用、中文数字与阿拉伯数字混用、前导零编码、同义表达及书写顺序不一致等格式噪声。
2、现有基于python的表格处理方案在应用于上述异构excel数据时,存在以下技术缺陷:
3、第一,单元格坐标漂移与字段边界错位。openpyxl库在解析包含多层合并单元格的excel文件时,若采用首行列名提取字段,合并单元格的跨列属性将导致后续列坐标整体偏移,产生字段边界漂移。在物资清册中,同一列语义由两行以上(或两列以上)单元格共同定义,按首行列名提取会使整列数据坐标错位,直接破坏数据比对的坐标对齐基础,导致比对结果完全失效。
4、第二,python类型系统的数值语义错位。python类型系统中bool类型为int的子类,在数值解析时true/false会被隐式转换为1/0。在物资清册中,布尔值通常表示“是否甲供物资”等业务条件,而1/0表示实际数量,二者语义完全不同。现有方案未对bool类型进行继承路径阻断,导致业务语义与数量语义混淆,产生类型系统层面的解析错误。
5、第三,长文本规格型号字段的字符级差异定位效率低。物资编码、规格型号字段为长文本字符串,常规文本比对采用逐字符循环对比,时间复杂度高,且无法输出字符级差异位置,难以处理"yjv22-8.7/15kv-3×240"与"3×240 yjv22 8.7/15kv"等书写顺序差异的精准定位,导致差异复核效率低下。
6、第四,单线程桌面应用界面响应阻塞。基于python的桌面应用通常采用单线程架构,当执行大规模excel比对运算时,若未采用事件驱动与计算内核解耦的架构设计,界面主循环将被阻塞,导致用户操作无响应甚至假死,系统稳定性差。
7、第五,比对结果元数据的异构持久化与内存级索引缺失。传统比对结果以分散文件形式保存,缺乏基于json schema的结构化序列化机制,历史数据无法通过treeview组件进行内存级快速索引与双击打开,导致版本追溯效率低下,无法满足审计与责任认定的数据完整性要求。
8、现有通用表格比对工具(如beyond compare、excel自带比对功能)通常仅支持基于坐标位置的文本差异定位,无法针对上述python类型系统语义错位、合并单元格坐标漂移、长文本lcs运算、单线程界面阻塞及异构数据持久化等技术问题进行底层优化,导致比对结果不可靠、系统资源占用高,难以满足输变电工程物资清册的数据处理需求。
技术实现思路
1、本发明旨在解决python处理异构excel数据时存在的单元格坐标漂移、类型系统语义错位、长文本差异定位效率低、单线程界面阻塞及异构数据持久化缺失的技术问题,提供一种基于python单元格对象模型与类型系统层级判定的输变电工程物资清册智能比对方法及系统。
2、为实现上述目的,本发明提供如下技术方案:
3、一种基于python的输变电工程物资清册智能比对方法,包括以下步骤:
4、s1、文件句柄校验与格式识别:通过操作系统文件句柄校验原文件与比对文件的路径有效性,提取文件后缀名进行excel格式识别;若校验不通过,则抛出ioerror异常并终止流程;
5、s2、基于字符串匹配算法的关键风险行索引构建:基于openpyxl库的load_workbook()接口在内存中创建workbook对象,加载原文件与比对文件两个excel工作簿;遍历比对文件各工作表的单元格矩阵,按预设列(如b列,column=2)索引扫描单元格值,基于字符串匹配算法命中预设高风险关键词(如“需求计划明细退回审批终止”)时,将该行数据在内存中构建为风险行索引列表;
6、s3、工作表集合差分运算与结构差异标记:提取两个workbook对象的工作表名称集合,执行集合差分运算;若比对文件工作表集合为子集,将差集工作表标记为内容减少;若原文件工作表集合为子集,将差集工作表标记为内容增加;将结构差异写入内存中的差异对象列表;
7、s4、基于单元格对象坐标遍历的逐对象比对与数据标准化:针对两文件中名称相同的公共工作表,基于openpyxl的worksheet对象按物理坐标(row, column)进行逐cell对象遍历,绕过首行列名提取路径;行范围取两边工作表已用行数的最小值,超出最小行数范围的行数据在s3中已标记;列范围取两边工作表的最大列数;对每个cell对象,读取其value属性后,基于python类型系统的原生类型层级判定执行数据标准化处理与等价判断;
8、所述数据标准化处理包括:
9、空值标准化:基于value is none或isinstance(value, str) and value.strip() == ""判定,将none、空字符串、仅包含空白字符的字符串统一归一化为空值语义;
10、数值标准化:基于isinstance(value, bool)明确阻断bool类型进入int继承判定路径,返回none;基于isinstance(value, (int, float))将数值类型转换为float;基于字符串正则匹配将符合数值格式(包括可选正负号、整数部分及可选小数部分)的字符串转换为float;明确排除bool类型参与数值解析;无法解析为数值的返回非数字标识;
11、等价判定优先级:首先判断两边是否均经空值标准化后为空,若是则判定为等价;其次判断两边是否均可解析为数字且数值相等,若是则判定为等价;否则使用原生==运算符进行原值比较;
12、s5、基于类型分支的差异分类与基于lcs算法的字符级差异定位:对不一致的cell对象,依据标准化后的float数值关系与空值状态自动判定差异类型,所述差异类型包括数量增加、数量减少、内容增加、内容减少、内容不一致;对文本型不一致数据,调用python标准库difflib中的sequencematcher,基于ratcliff/obershelp模式执行最长公共子序列(lcs)运算,生成包含replace、delete、insert标签的操作码序列(opcodes),输出字符级差异位置与差异片段;
13、s6、基于单元格对象属性的可视化标记与注释写入:在比对文件副本的workbook对象中,对每个差异cell对象按差异类型写入cell.fill.patterntype与cell.fill.fgcolor.rgb属性进行着色标记,并写入cell.comment属性存储固定格式的注释内容,所述注释内容包括错误类型、原文件名、原文件值、比对文件值;
14、s7、基于工作表对象模型的风险行追加与文件流序列化:基于worksheet对象模型的行追加操作,调用worksheet对象的append()方法,将s2中构建的风险行索引列表对应的行数据写入内存中的workbook对象,通过扩展工作表已用行范围实现数据追加;通过save()方法将内存中的workbook对象序列化写入文件流,按预设命名规则保存结果文件;
15、s8、基于tkinter事件循环的界面状态更新与弹窗反馈:通过tkinter的after()或事件绑定机制,在主事件循环中更新界面状态栏、刷新结果展示区treeview组件的数据绑定;若存在差异,弹出toplevel错误提示框;若无差异,弹出toplevel成功提示框;在界面指定区域以label组件醒目展示关键风险行信息,并启用结果文件打开按钮。
16、进一步,所述方法还包括基于json schema的历史记录管理步骤:在每次比对完成后,将时间戳、原文件信息、比对文件信息、结果文件存储路径及差异统计封装为字典对象,通过json.dumps()序列化为json字符串,追加写入预设日志文件;在界面中以tkinter的treeview组件绑定所述json数据,通过os.startfile()或等效系统调用实现双击打开对应结果文件。
17、进一步,步骤s5中依据标准化后的float数值关系与空值状态自动判定差异类型的规则包括:
18、若两边均为float且比对文件值大于原文件值,归类为数量增加;
19、若比对文件值小于原文件值,归类为数量减少;
20、若原文件值为空、比对文件值为非空,归类为内容增加;
21、若原文件值为非空、比对文件值为空,归类为内容减少;
22、其他情况归类为内容不一致。
23、本发明还提供了一种基于python的输变电工程物资清册智能比对系统,采用轻量化单体桌面应用架构,系统核心采用事件驱动型用户界面与规则引擎式比对内核的双核心架构,自顶向下划分为四层架构,包括表现层、应用控制层、领域引擎层及基础能力层;
24、所述表现层:基于tkinter/ttk的事件循环机制构建可视化交互界面,通过事件绑定响应用户操作指令,实现文件选择、操作指令触发、比对结果实时展示、状态反馈、历史记录查询功能,界面按功能划分为文件选择区、操作指令区、状态反馈区、结果展示区、历史日志区;该层部署有界面构建模块与文件输入与历史管理模块;
25、所述应用控制层:作为系统流程编排核心,负责参数校验、流程调度、异常捕获、结果汇总与界面更新,衔接所述表现层与所述领域引擎层;该层部署有比对流程编排模块;
26、所述领域引擎层:为系统核心比对内核,实现单元格逐行比对、数据标准化、差异智能分类、字符级定位、差异标记与结果生成、业务规则适配及历史日志管理;该层部署有数据标准化模块、智能差异决策模块、字符级差异定位模块、差异对象封装模块、比对结果落地模块、业务规则扩展模块及历史记录管理模块;
27、所述基础能力层:提供底层支撑功能,包括基于openpyxl的excel文件读写与单元格对象操作、基于pathlib与os的文件路径管理、基于pyinstaller的打包部署、系统级文件调用,保障上层功能稳定运行。
28、进一步,所述界面构建模块基于tkinter/ttk的frame、button、entry、treeview组件构建可视化界面,通过grid()或pack()布局管理器实现界面组件规范化渲染与布局自适应;
29、所述文件输入与历史管理模块基于filedialog.askopenfilename()采集文件路径,将文件上传时间、文件角色、存储路径封装为元组对象,写入内存列表并绑定至treeview组件数据源;
30、进一步,所述比对流程编排模块基于tkinter的button事件绑定触发比对流程,通过try-except块捕获全局异常,调度领域引擎层执行比对任务,接收引擎返回的差异对象列表,并调用after()方法更新界面状态。
31、进一步,所述数据标准化模块基于python类型系统的isinstance()层级判定实现多类型数据归一化:统一将none、空白字符、空字符串归一为空值;对数字字符串、带前缀数值、浮点型字符串进行数值标准化转换;通过isinstance(value, bool)明确阻断bool类型进入数值解析路径;
32、所述智能差异决策模块基于预设比对规则,对标准化后的数据进行等价性判定,对非等价数据执行差异分类,自动识别并归类为数量增加、数量减少、内容增加、内容减少、内容不一致五大类型,同时生成标准化差异说明;
33、所述字符级差异定位模块基于python标准库difflib中的sequencematcher,对文本型不一致数据执行最长公共子序列运算,生成操作码序列,识别替换、删除、插入三类字符差异,输出差异所在位置、差异片段与差异详情;
34、所述差异对象封装模块基于python的dataclass或namedtuple统一封装差异结果数据结构,承载工作表名称、单元格坐标、原文件值、比对文件值、差异类型、字符级定位细节全量信息,实现差异数据的标准化存储与传输;
35、所述比对结果落地模块基于openpyxl的patternfill与comment对象,对差异单元格进行着色标记与批注写入,通过workbook对象的save()方法自动生成结果文件;
36、所述业务规则扩展模块基于字符串匹配算法,遍历指定列索引的cell对象值,命中预设高风险关键词时,将该行数据追加至结果工作表末尾;
37、所述历史记录管理模块基于json序列化机制,将比对元数据封装为字典对象,通过json.dumps()持久化存储,在界面中以treeview组件绑定展示,支持双击事件触发os.startfile()打开对应结果文件。
38、本发明的有益效果:本发明通过基于openpyxl单元格对象模型的物理坐标(row,column)逐cell对象遍历,绕过首行列名提取路径,有效解决了多层合并单元格导致的字段边界漂移与列坐标整体偏移问题,避免了整列数据错位,保障了比对结果的坐标对齐可靠性;在此基础上,通过基于python类型系统isinstance()层级判定对bool类型明确阻断其进入int继承判定路径,消除了python中bool继承int导致的数值语义错位与业务条件/数量概念混淆,显著提升了数据标准化的准确性;与此同时,通过基于python标准库difflib的sequencematcher执行最长公共子序列运算,生成包含replace、delete、insert标签的操作码序列,有效克服了常规逐字符循环对比时间复杂度高且无法定位长文本规格型号字段字符级差异位置的技术障碍,将人工复核范围压缩至差异片段级,降低了长文本比对的时间复杂度。通过上述数据标准化、智能差异分类与字符级差异定位的协同作用,本发明实现了对输变电工程异构物资清册数据的高精度解析与精准差异识别。
39、在系统架构与工程化部署层面,本发明通过基于tkinter事件循环机制与after()异步调度实现事件驱动型用户界面与规则引擎式比对内核的双核心解耦架构,有效解决了单线程桌面应用执行大规模excel比对运算时界面主循环阻塞、用户操作无响应的技术问题,保障了单线程环境下界面响应与比对运算的协同稳定性;在此基础上,通过基于jsonschema的字典对象封装与json.dumps()序列化机制实现比对元数据的结构化持久化,并通过treeview组件绑定实现内存级快速索引与双击打开,有效克服了异构比对结果分散保存、缺乏结构化追溯机制的技术缺陷,显著提升了版本追溯效率;进一步,通过基于pyinstaller的打包部署将python脚本及依赖库封装为独立可执行文件,有效解决了python解释器与第三方库环境依赖复杂、部署门槛高的技术问题,实现了无需安装运行环境即可运行,显著降低了系统部署成本。通过上述系统架构优化与工程化部署手段的协同应用,本发明实现了轻量化、免部署、高效率的桌面级智能比对系统构建。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com