文本处理方法、装置、电子设备、存储介质及程序产品与流程
本技术涉及文本处理,尤其涉及一种文本处理方法、装置、电子设备、存储介质及程序产品。
背景技术:
1、随着金融行业数字化转型,每日产生的信贷审批、合规审查等非结构化文档呈海量增长,急需通过自动化手段实现内容识别与风险评估。
2、相关技术中,传统规则引擎被广泛用于文本匹配与过滤,同时大语言模型(largelanguage model,llm)凭借强大的语义理解能力开始应用于文档处理,通常直接对全文进行调用。
3、但规则引擎误判率高、适应性差;直接调用llm处理全文导致接口调用成本随token数线性激增,算力资源紧张,且现有方法在处理表格、图像识别文本等异构数据时缺乏结构感知,易丢失表头等元数据,破坏语义完整性,难以满足金融合规检测的要求。
技术实现思路
1、本技术实施例提供文本处理方法、装置、电子设备、存储介质及程序产品,该方法在实现语义完整性和关键信息不丢失的前提下,通过语义单元粒度的筛选与重构大幅压缩输入目标识别模型的文本量,从而在降低模型调用成本与算力消耗的同时,提升目标任务识别的准确性和对异构数据的适应能力。
2、第一方面,本技术实施例提供一种文本处理方法,包括:
3、获取待识别文本,对所述待识别文本进行语义切分,得到多个语义单元;其中,每个语义单元表达一个独立且完整的语义;
4、从所述多个语义单元中筛选出至少一个目标语义单元;所述目标语义单元为筛选出的、用于构造目标识别模型的输入内容的语义单元;
5、基于所述目标语义单元,生成满足所述目标识别模型输入要求的输入内容;其中,所述输入内容被配置为输入所述目标识别模型后,触发所述目标识别模型进行目标任务识别。
6、在一种可能的实施方式中,所述从所述多个语义单元中筛选出至少一个目标语义单元,包括:
7、对于每个所述语义单元,确定所述语义单元的预计令牌消耗量以及语义要点密度;
8、根据各所述语义单元的所述预计令牌消耗量和所述语义要点密度,从所述多个语义单元中筛选出至少一个目标语义单元。
9、在一种可能的实施方式中,所述确定所述语义单元的预计令牌消耗量,包括:
10、确定所述语义单元中的第一类字符数量和第二类字符数量;其中,所述第一类字符为单字符所占令牌数符合第一预设规则的字符,所述第二类字符为单字符所占令牌数符合第二预设规则的字符;
11、根据所述第一类字符数量、所述第二类字符数量以及预设的令牌折算规则,确定所述语义单元的预计令牌消耗量。
12、在一种可能的实施方式中,所述令牌折算规则包括预设校准系数;
13、所述方法还包括:
14、初始化所述预设校准系数为默认值;其中,所述预设校准系数与所述目标识别模型相对应,不同目标识别模型分别具有各自的预设校准系数,且所述默认值为与所述目标识别模型对应的默认值;
15、每隔预设时间周期,获取所述时间周期内所述待识别文本在目标识别模型中的实际令牌消耗量,以及根据所述预设令牌折算规则计算得到的预计令牌消耗量;
16、若所述实际令牌消耗量与所述预计令牌消耗量之间的差值大于预设阈值,则对所述预设校准系数进行更新;
17、若所述差值小于或等于所述预设阈值,则保持所述预设校准系数的当前值不变。
18、在一种可能的实施方式中,所述对所述预设校准系数进行更新,包括:
19、构建校准验证集;所述校准验证集包含从已处理文本中抽取的多个样本;
20、针对所述校准验证集中的各样本,计算所述每个样本的基础令牌消耗量和实际令牌消耗量;
21、分别求和所有所述样本的基础令牌消耗量与实际令牌消耗量,得到基础令牌消耗总量和实际令牌消耗总量;
22、根据所述基础令牌消耗量与所述实际令牌消耗总量,确定候选校准系数;
23、若所述实际令牌消耗总量与所述基础令牌消耗总量的比值,与所述当前预设校准系数之间的差异值,大于预设收敛阈值,则根据所述比值采用平滑更新策略对所述当前预设校准系数进行处理,得到更新后的预设校准系数。
24、在一种可能的实施方式中,所述确定所述语义单元的语义要点密度,包括:
25、确定所述语义单元中的实体数量、否定结构标记值以及停用词占比;
26、其中,若所述语义单元在语义切分阶段被标记为包含否定结构,则所述否定结构标记值为第一预设值,否则为第二预设值;所述停用词占比为所述语义单元中停用词数量与总词数的比值;
27、基于所述实体数量、所述否定结构标记值、所述停用词占比、各自对应的预设权重系数,以及预设要点密度计算规则,确定所述语义单元的语义要点密度。
28、在一种可能的实施方式中,所述确定所述语义单元的语义要点密度,包括:
29、获取所述语义单元的初始语义要点密度;所述初始语义要点密度基于所述实体数量、所述否定结构标记值以及所述停用词占比计算得到;
30、检测所述语义单元中是否包含第一类预设语境词和/或第二类预设语境词;
31、根据检测结果、所述初始语义要点密度和预设语义要点密度调整规则,计算得到所述语义单元的语义要点密度;
32、其中,所述预设语义要点密度调整规则包括:若所述语义单元包含所述第一类预设语境词,则在所述初始语义要点密度的基础上增加第一预设权重值;若所述语义单元包含所述第二类预设语境词,则在所述初始语义要点密度的基础上减少第二预设权重值;所述第一预设权重值为正值,所述第二预设权重值为负值。
33、在一种可能的实施方式中,根据各所述语义单元的所述预计令牌消耗量和所述语义要点密度,从所述多个语义单元中筛选出至少一个目标语义单元,包括:
34、对于每个所述语义单元,根据所述语义单元的所述预计令牌消耗量和所述语义要点密度,计算所述语义单元的性价比分值;
35、按照所述性价比分值从高到低的顺序,对所述多个语义单元进行排序,得到排序后的语义单元序列;
36、从所述语义单元序列中的第一个语义单元开始,依次将各语义单元的预计令牌消耗量进行累计,得到累计令牌消耗量;
37、若所述累计令牌消耗量小于预设令牌消耗量阈值,则继续累计下一个语义单元的预计令牌消耗量;
38、若所述累计令牌消耗量大于或等于所述预设令牌消耗量阈值,则停止累计,并将当前累计所涉及的语义单元之前的所有语义单元确定为所述目标语义单元。
39、在一种可能的实施方式中,所述获取待识别文本,包括:
40、获取待识别的原始内容;所述原始内容包括文本内容、图像内容以及表格内容中的至少一项;
41、基于所述原始内容所属内容类型对应的文本提取策略,对所述原始内容进行文本提取处理,得到所述待识别文本。
42、在一种可能的实施方式中,所述原始内容包括表格内容;
43、所述基于所述原始内容所属内容类型对应的文本提取策略,对所述原始内容进行文本提取处理,得到所述待识别文本,包括:
44、识别所述表格内容中的表头区域和数据区域;
45、根据所述表头区域中的字段标识,将所述数据区域中的每条数据记录转换为键值对形式的文本语句,得到所述待识别文本;
46、其中,在生成所述待识别文本时,为所述表头区域对应的文本内容设置优先保留标识;所述优先保留标识用于指示在从语义单元中筛选目标语义单元以生成所述输入内容时,优先保留所述表头区域对应的语义单元。
47、在一种可能的实施方式中,所述原始内容包括文本内容;
48、所述基于所述原始内容所属内容类型对应的文本提取策略,对所述原始内容进行文本提取处理,得到所述待识别文本,包括:
49、获取所述文本内容中的多个文本块,计算每个文本块的内容特征;所述内容特征包括哈希特征和相似度特征中的至少一种;
50、将所述内容特征满足预设重复条件的文本块确定为冗余文本块,并滤除所述冗余文本块,以得到去除冗余后的待识别文本。
51、在一种可能的实施方式中,所述原始内容包括图像内容;
52、所述基于所述原始内容所属内容类型对应的文本提取策略,对所述原始内容进行文本提取处理,得到所述待识别文本,包括:
53、对所述图像内容进行光学字符识别,得到初始识别文本以及与所述初始识别文本对应的版面位置信息;
54、根据所述版面位置信息和/或所述初始识别文本中包含的格式控制字符,确定文本切分边界;
55、在所述文本切分边界处对所述初始识别文本进行切分,得到所述待识别文本。
56、在一种可能的实施方式中,所述对所述待识别文本进行语义切分,得到多个语义单元,包括:
57、根据标点符号,对所述待识别文本进行断句处理,得到多个初始文本段;
58、根据预设的语义完整性规则,对各所述初始文本段进行合并处理,得到所述多个语义单元。
59、在一种可能的实施方式中,所述根据预设的语义完整性规则,对各所述初始文本段进行合并处理,得到所述多个语义单元,包括:
60、对于每个所述初始文本段,检测所述初始文本段中是否包含预设否定词库中的否定词;
61、若所述初始文本段包含否定词,则判断所述初始文本段与其后一个初始文本段之间是否满足主语一致或主语省略条件;
62、若满足,则将所述初始文本段与其后一个初始文本段进行合并,得到一个语义单元。
63、在一种可能的实施方式中,所述根据预设的语义完整性规则,对各所述初始文本段进行合并处理,得到所述多个语义单元,包括:
64、对于每个所述初始文本段,检测所述初始文本段是否满足预设条件触发条件;其中,所述预设条件触发条件包括:所述初始文本段以预设条件引导词库中的词开头且语义不完整,或者所述初始文本段以逗号结尾且语义不完整;
65、若所述初始文本段满足所述预设条件触发条件,则检测所述初始文本段的后一个初始文本段中是否包含预设结果词库中的词;
66、若包含,则将所述初始文本段与所述后一个初始文本段合并,得到一个语义单元。
67、在一种可能的实施方式中,所述根据预设的语义完整性规则,对各所述初始文本段进行合并处理,得到所述多个语义单元,包括:
68、对于每个所述初始文本段,检测所述初始文本段中是否包含预设列举引导词库中的词;
69、若所述初始文本段包含所述预设列举引导词库中的词,则将该初始文本段确定为列举起始段;
70、从所述列举起始段开始,依次检测后一个初始文本段是否满足预设列举结束条件;
71、将所述列举起始段以及直至满足所述预设列举结束条件之前的所有后一个初始文本段合并,得到一个语义单元。
72、在一种可能的实施方式中,所述基于所述目标语义单元,生成满足所述目标识别模型输入要求的输入内容,包括:
73、获取各所述目标语义单元在所述待识别文本中的语义原始位置;
74、按照所述语义原始位置表征的先后顺序,对各所述目标语义单元进行排序,得到排序后的目标语义单元序列;
75、利用预设连接符,将所述目标语义单元序列中的各目标语义单元依次连接,得到连接文本;
76、利用预设提示模板,对所述连接文本进行封装,得到所述输入内容。
77、第二方面,本技术实施例提供一种文本处理装置,包括:
78、语义单元获取模块,用于获取待识别文本,对所述待识别文本进行语义切分,得到多个语义单元;其中,每个语义单元表达一个独立且完整的语义;
79、语义单元筛选模块,用于所述多个语义单元中筛选出至少一个目标语义单元;
80、输入内容生成模块,用于基于所述目标语义单元,生成目标输入内容;其中,所述目标输入内容为符合目标识别模型的输入要求、以由所述目标识别模型进行目标任务识别的内容。
81、第三方面,本技术实施例提供一种电子设备,包括:存储器,处理器;
82、所述存储器存储计算机执行指令;
83、所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如上第一方面和/或第一方面各种可能的实施方式。
84、第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。
85、第五方面,本技术实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。
86、本技术实施例提供的文本处理方法、装置、电子设备、存储介质及程序产品,通过将待识别文本切分为多个各自表达独立完整语义的语义单元,从源头上保证每个信息片段的语义完整性,使得后续筛选不会产生语义不完整的语义碎片。在此基础上,从全部语义单元中筛选出对文本内容识别最具价值的至少一个目标语义单元,将大量与风险判定无关的冗余内容排除在外。此外,仅将筛选后的精简且语义自洽的片段封装为输入内容送入目标识别模型,使得模型接收到的输入在信息密度上高度浓缩,在语义逻辑上仍保持完整闭合,从而在不增加模型推理负担、不产生额外令牌开销的前提下,保障了目标任务识别的召回率与准确率,实现了降低调用成本与提升识别可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com