一种面向智能电表的隐性需求识别方法及系统与流程
本技术涉及智能电表需求识别,特别是涉及一种面向智能电表的隐性需求识别方法及系统。
背景技术:
1、智能电表产品面向海外市场,产品种类繁多,原始需求文档通常为多语言技术文档,篇幅数十至数百页,格式包括pdf(含扫描版)和word,文档中混杂文本、技术参数表格、电路图、接线图等。当前需求分析流程以人工条目化和人工模板匹配为主,面对百页级多语言技术文档,拆解工作量大且需求解析遗漏率高,存在以下技术问题:
2、1)多模态文档内容无法被单一解析通道完整提取:直接提取文本信息只适用于纯文字的需求文档,扫描版的需求文档会提取信息失败,图片承载的信息也会丢失,单增加ocr提取文字也会丢失信息,特别是文档中的技术图片(电路图、接线图等)所承载的连接关系,既不属于可ocr识别的文字,也不属于可文本提取的字符,形成了"信息盲区"。当需求参数仅存在于图片中时,该需求在后续流程中必然丢失。
3、2)现有文档切片方法按固定大小切分导致语句截断,且不识别章节结构:当前业内主流分片方法按固定大小切分并设置冗余,当切分点落在语句中间时,条目化阶段ai收到残缺输入导致解析错误;同时,固定大小切分不识别文档章节结构,同一章节的需求被拆散到不同切片中,丢失章节上下文。直接影响条目化需求的准确性,进而影响需求匹配和隐性需求识别的准确性。
4、3)通用大语言模型缺乏智能电表领域知识导致匹配失准:通用大语言模型未针对智能电表领域专有名词进行训练,在需求解析时容易误解专业术语。例如将"mdi"误解析为"显示界面功能"而非"maximum demand indicator(最大需求指示器)",或将"ctratio"理解为"current trip ratio"(脱扣电流比)而非"current transformer ratio"(电流互感器变比),这类术语混淆直接导致需求参数匹配错误。
5、4)文档切片与需求模板的粒度不匹配导致匹配失准:现有方法以文档切片为单位与需求模板匹配,但单个切片通常包含多条需求(一个章节可能涵盖参数规格、功能要求、测试条件等多类需求),而需求模板以单个需求项为匹配单元,两者粒度不一致。切片级匹配导致一条切片可能被模糊关联到多个模板项,匹配边界模糊,无法精确定位"哪条具体需求对应哪个模板项"。
6、5)现有需求分析方法仅关注已知需求项,缺乏隐性需求识别能力:现有流程将原始需求与产品需求模板逐项匹配,模板中已列明的参数项可以被匹配,但模板未列明的需求项在匹配完成后即被丢弃。这些模板外需求可能是客户新增的特殊要求或行业新标准的额外条款,遗漏后可能导致设计变更甚至认证失败。现有人工匹配工作量巨大,完成一轮需求匹配就结束了,未考虑未被使用到的条目化需求存在需求识别遗漏的风险。
7、6)ai匹配错误缺乏系统性纠偏机制导致准确率无法累积:ai匹配结果存在错误时,现有做法是人工逐条修正后结束,修正经验无法提供到其他人员和下一项目。缺乏"修正→经验沉淀→自动纠偏"的闭环机制,准确率与操作者个人经验正相关而非与系统使用次数正相关。
技术实现思路
1、鉴于此,本技术提供一种面向智能电表的隐性需求识别方法及系统。
2、本技术公开了一种面向智能电表的隐性需求识别方法,其包括:
3、步骤1:对多语言、多格式智能电表产品需求规格文档进行文本提取、ocr、视觉模型解析处理,按页码对解析结果进行融合处理,得到完整文档内容序列;
4、步骤2:对完整文档内容序列进行目录提取、章节层级识别与自适应分片,得到切片后的文档内容;
5、步骤3:对切片后的文档内容按分片进行条目化,生成条目化需求集合;
6、步骤4:对模板中的每个模板项,在条目化需求集合中检索语义相似度最高的前k条需求条目作为候选匹配集,将当前模板项、候选匹配集、专有名词知识库及经验库输入大语言模型,由大语言模型判断候选匹配集中被当前模板项采纳的需求条目,返回被采纳的需求条目及其匹配值、原文出处和置信度,形成映射关系;全部模板项循环完成后,已被至少一个模板项采纳的需求条目构成已匹配条目集t_matched,未被任何模板项采纳的需求条目构成匹配残余集t_unmatched=t-t_matched,t为候选匹配集,对低置信度的需求条目进行人工复核修正,修正后更新t_matched和t_unmatched,并将人工复核修正的需求条目记为修正记录,存入修正记录集;
7、步骤5:根据匹配残余集t_unmatched,得到隐性需求结果。
8、进一步地,所述步骤1包括:
9、配置文本、ocr、视觉三类解析通道分工协作,各通道解析内容相互补充、不可替代,同一文档页面能够启用ocr通道与视觉通道;
10、依据单页文本内容完整度与页面内嵌图片情况判定文档页面类型,将文本内容长度低于预设阈值且内嵌图片区域的页面判定为扫描页面,对扫描页面启用ocr通道提取页面文字;对完整文本页面启用文本通道提取文字内容,并将页面内表格数据结构化转换为markdown格式或json格式;对内嵌图片通过视觉大模型进行解析,提取图片中承载的所有信息并转化为标准文本,所有信息包含电路图、接线图的元件连接关系;将文本通道、ocr通道、视觉通道的全部解析结果按页码对齐合并,输出完整文档内容序列。
11、进一步地,所述步骤2包括:
12、若客户需求文档为标准pdf格式,直接转换为markdown格式,依托markdown多级标题语法识别章节层级;针对ocr解析得到的无格式纯文本,依托数字编号规则识别一级、二级子章节层级;
13、通过规则提取文档目录,获取各章节标题对应页码,建立章节标题与页码的一一映射关系;
14、循环目录章节对应页面,以完整章节为最小切片单元,以token为文本分片计量单位,当单章节内容的token总量超出预设阈值时,在语句终止位置进行二次切分,形成切片后的文档内容。
15、进一步地,所述步骤3包括:
16、对切片后的文档内容按分片进行条目化,将每个切片输入大语言模型,按需求语义单元拆解为需求条目,一个需求条目对应一个可独立匹配的需求语义单元,生成条目化需求集合t;每个需求条目包含需求内容、需求类型、所属分类维度和原文出处引用,原文出处通过章节树索引定位到具体章节路径;
17、加载模板,模板中的每个模板项包括以下字段:标题、取值范围、分类维度、是否必填、重要性等级,以模板项为主体循环,采用向量检索粗筛、专有名词知识库注入、大语言模型精排建立映射关系。
18、进一步地,所述采用向量检索粗筛、专有名词知识库注入、大语言模型精排建立映射关系,包括:
19、粗筛阶段,即向量检索:条目化完成时已对t中每条需求条目进行向量化编码并存储,模板m加载时已对每条模板项进行向量化编码并存储,粗筛阶段对每个模板项,在t的向量空间中检索语义相似度最高的前k条需求条目作为候选匹配集,k为预设候选数量;
20、精排阶段,即大语言模型判定:对每个模板项及其前k条候选条目,将、候选条目、专有名词知识库及经验库共同输入大语言模型,由大语言模型判断候选条目中被模板项采纳的需求条目,返回被采纳的需求条目及其匹配值、原文出处和置信度,形成映射关系。
21、进一步地,所述专有名词知识库提供专有名词知识库数据,用于统一智能电表专业术语释义,规避术语混淆导致的匹配偏差;
22、所述经验纠偏记录包括经验规则和当前模板项对应的修正记录集。
23、进一步地,获取所述经验库包括经验规则和当前模板项的历史少样本参考few-shot通道对应的修正记录:
24、规则纠偏通道:从修正记录集中提取高频修正模式,形成经验规则,将新的匹配结果与经验规则的条件进行命中判定,即特征精确匹配或语义相似度模糊匹配,若命中条件,则直接执行动作自动修正;
25、少样本参考few-shot通道:将修正记录按模板项索引存储,在匹配过程中,以当前正在循环的模板项为检索条件,查找该模板项的历史修正记录,注入大语言模型提示词作为few-shot参考示例,以避免重复同类错误。
26、进一步地,所述经验规则使用条件-动作对表示,经验规则对应的条件包括产品类型、参数类别、错误模式,经验规则对应的动作包括修正值和修正原因;
27、所述规则纠偏通道覆盖已知错误模式的确定性纠偏;
28、所述少样本参考few-shot通道覆盖当前模板项的历史纠错经验,使在同模板项的后续匹配中避免同类错误;
29、冲突规则定义为:当两条经验规则的条件同时命中但动作相互矛盾时判定为冲突,保留修正时间较晚的经验规则。
30、进一步地,所述步骤5包括:
31、当c_match包含c_m,即每条需求条目所属分类维度全覆盖时,t_unmatched中的全部需求条目作为隐性需求候选条目;当c_match属于c_m,即每条需求条目所属分类维度未全覆盖时,仅将t_unmatched中所属分类维度属于c_match的需求条目作为隐性需求候选条目,所属分类维度属于c_m\c_match的需求条目因所属分类未参与匹配而不作为隐性需求候选条目;c_m为模板m的分类维度集合,c_match为用户选择参与匹配的需求分类集合;对每个隐性需求候选条目,验证其条目化阶段标注的所属分类维度是否准确,同时评估可信度;若可信度大于或者等于阈值者,则将隐性需求候选条目纳入隐性需求结果,否则,需经人工确认后纳入隐性需求结果。
32、本技术还公开了一种面向智能电表的隐性需求识别系统,实现上述所述的面向智能电表的隐性需求识别方法,包括:
33、多模态文档解析模块,用于对多语言、多格式智能电表产品需求规格文档进行文本提取、ocr、视觉模型解析处理,按页码对解析结果进行融合处理,得到完整文档内容序列;
34、章节自适应切片模块,用于对完整文档内容序列进行目录提取、章节层级识别与自适应分片,得到切片后的文档内容;
35、向量化模块,用于对切片后的文档内容按分片进行条目化,生成条目化需求集合;
36、模板匹配与纠偏模块,用于对模板中的每个模板项,在条目化需求集合中检索语义相似度最高的前k条需求条目作为候选匹配集,将当前模板项、候选匹配集、专有名词知识库及经验库输入大语言模型,由大语言模型判断候选匹配集中被当前模板项采纳的需求条目,返回被采纳的需求条目及其匹配值、原文出处和置信度,形成映射关系;全部模板项循环完成后,已被至少一个模板项采纳的需求条目构成已匹配条目集t_matched,未被任何模板项采纳的需求条目构成匹配残余集t_unmatched=t-t_matched,t为候选匹配集,对低置信度的需求条目进行人工复核修正,修正后更新t_matched和t_unmatched,并将人工复核修正的需求条目记为修正记录,存入修正记录集;
37、隐性需求判定模块,用于根据匹配残余集t_unmatched,得到隐性需求结果。
38、由于采用了上述技术方案,本技术具有如下的优点:
39、实现客户需求解析从完全依赖多角色人工评审执行,到结合ai自动完成需求匹配,隐性需求识别,人工仅复核。
40、1、采用文本、ocr、视觉三通道并行解析,视觉大模型提取电路图、接线图内置参数,消除图片信息盲区,实现文档全部需求信息完整自动提取,避免图片内专属需求丢失。
41、2、按文档章节自适应分片,超长章节在语句边界切分保证语义完整;减少ai解析错误,通过原始需求条目化内容,和置信度计算,提升人工复核效率。
42、3、匹配过程引入专有名词知识库辅助大模型识别区分电表专业术语,消除术语误判,提升需求参数匹配准确度。
43、4、将文档内容拆分为与模板项粒度统一的独立需求条目,以单模板项循环匹配,实现单条需求与模板项精准对应,消除多需求混杂带来的匹配模糊问题。
44、5、通过分类覆盖度机制筛选匹配残余条目,过滤未参与匹配分类的已知需求,仅将有效残余作为隐性需求候选,经校验确认输出模板未记载的新增需求,避免需求遗漏引发设计、认证问题。
45、6、人工修正记录沉淀为经验规则与历史案例持久存储,匹配时自动复用实现自动纠偏,形成迭代闭环,匹配精度随经验库积累持续提升,不受人员变动影响。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com