基于多源异构数据的信息变化路径生成方法与流程
本发明涉及计算机数据处理,具体地涉及一种基于多源异构数据的信息变化路径生成方法。
背景技术:
1、随着企业信息公示、政务数据开放、金融合规监管以及多源数据融合应用的快速发展,业务系统需要处理的数据对象已不再局限于规整的数据库记录、标准格式报表或结构化的接口字段,而是大量包含网页公告文本、图片、证照扫描件、pdf文档等。该类数据通常来源广泛、格式多样、版式差异大、字段表达方式不稳定,且同一主体在不同时间、不同来源、不同载体中的信息往往存在重复表达、增量表达甚至差异表达,这给信息的统一处理和变化识别带来了极大困难。
2、现有技术虽然能够在局部环节实现一定程度的数据处理,但这些方案普遍围绕单一数据形态构建,缺乏对不同类型数据的统一接入、统一调度和统一结果组织能力,难以对多源异构数据进行协同处理。并且,现有技术通常只能输出离散的变化结论,缺乏将变化结果组织为可追踪、可计算、可复用、可供下游系统直接调用的标准化变化路径的技术机制,导致变化识别结果难以在风险预警、历史演化展示、审计监管等场景中被有效利用。
技术实现思路
1、本发明的目的之一在于提供一种多源数据归并异常的检测方法,以解决现有技术中在处理多源异构数据时,各处理环节之间缺乏可关联的信息追溯机制,导致最终识别得到的变化结果与原始数据之间的关系断裂的技术问题。
2、为了实现上述发明目的之一,本发明提供一种基于多源异构数据的信息变化路径生成方法,包括:分别获取目标主体在第一时间点和第二时间点的至少一个原始数据对象,从所述原始数据对象中提取至少一个目标字段的字段值及对应的证据锚点信息,所述证据锚点信息用于指示所述字段值在所述原始数据对象中的原始出处;基于所述第一时间点和所述第二时间点提取到的所述字段值和所述证据锚点信息分别确定第一标准化信息和第二标准化信息,所述第一标准化信息和所述第二标准化信息至少包括字段标准名称、标准化值以及对应的证据锚点信息;根据所述第一标准化信息和所述第二标准化信息中对应字段的标准化值的差异,确定至少一个变化路径节点;所述变化路径节点至少包括变化前的标准化值及对应的证据锚点信息和变化后的标准化值及对应的证据锚点信息;基于所述变化路径节点的变化时间和所述目标主体的标识,生成所述目标主体的信息变化路径。
3、在一个示例性实施例中,所述基于所述第一时间点和所述第二时间点提取到的所述字段值和所述证据锚点信息分别确定第一标准化信息和第二标准化信息,包括:分别将所述第一时间点和所述第二时间点提取到的所述目标字段的名称映射为标准字段名称,并将对应的所述字段值转换为标准格式,得到标准化值;将所述标准化值与所述证据锚点信息按照对应关系建立关联关系;基于所述标准字段名称、所述标准化值和所述关联关系,确定所述第一标准化信息和所述第二标准化信息。
4、在一个示例性实施例中,所述根据所述第一标准化信息和所述第二标准化信息中对应字段的标准化值的差异,确定变化路径节点,包括:确定待比对的字段类型,所述字段类型包括原子型字段、复合型字段或集合型字段中的一种;采用与所述字段类型匹配的对比方式,对所述第一标准化信息和所述第二标准化信息中对应字段的标准化值执行差异化比对,根据比对结果确定变化路径节点。
5、在一个示例性实施例中,所述采用与所述字段类型匹配的对比方式,对所述第一标准化信息和所述第二标准化信息中对应字段的标准化值执行差异化比对,根据比对结果确定变化路径节点,包括:当所述字段类型为原子型字段,则将所述第一标准化信息和所述第二标准化信息中对应字段的标准化值比对;若比对结果不同,根据所述第一标准化信息和所述第二标准化信息中对应字段的标准化值的语义相似度,确定变化路径节点;当所述字段类型为复合型字段,则分别将所述第一标准化信息和所述第二标准化信息中对应字段的标准化值拆分为多个子要素,并对每个子要素分别进行比对,根据子要素的比对结果确定变化路径节点;当所述字段类型为集合型字段,则将所述标准化值拆分为事项集合,计算所述第一标准化信息与所述第二标准化信息中对应集合的差集,根据差集结果确定变化路径节点。
6、在一个示例性实施例中,所述分别获取目标主体在第一时间点和第二时间点的至少一个原始数据对象,从所述原始数据对象中提取至少一个目标字段的字段值及对应的证据锚点信息,包括:获取来自至少一个数据源的原始数据对象,所述原始数据对象包括文本数据、图像数据、扫描数据、文档数据、表格数据、接口返回数据中的至少一种;对所述原始数据对象进行特征识别,基于特征识别结果将所述原始数据对象路由至对应的特征提取通道;所述特征提取通道包括结构化解析通道、半结构化解析通道、非结构化解析通道和文件解析通道中的至少一种;在对应的所述特征提取通道中,从所述原始数据对象中提取所述字段值及对应的证据锚点信息。
7、在一个示例性实施例中,所述在对应的所述特征提取通道中,从所述原始数据对象中提取所述字段值及对应的证据锚点信息,包括:当所述原始数据对象路由至结构化解析通道时,根据所述原始数据对象中字段标识与字段值的对应关系,提取目标字段的字段值及对应的数据存储路径作为证据锚点信息;当所述原始数据对象路由至半结构化解析通道时,识别所述原始数据对象中的版面结构特征,根据所述版面结构特征确定目标字段在所述原始数据对象中的定位锚点,基于所述定位锚点提取字段值及对应的证据文本片段和位置作为所述证据锚点信息;当所述原始数据对象路由至非结构化解析通道时,根据预设目标字段约束,利用语义理解模型从所述原始数据对象中识别并提取字段值及对应的证据文本片段和位置作为所述证据锚点信息;当所述原始数据对象路由至文件解析通道时,对所述原始数据对象进行图像识别和版面还原,得到包含文字内容和版面位置信息的中间表示结果,根据所述中间表示结果提取字段值及对应的证据文本片段和位置作为所述证据锚点信息。
8、在一个示例性实施例中,所述根据预设目标字段约束,利用语义理解模型从原始数据对象中识别并提取字段值及对应的证据文本片段和位置作为所述证据锚点信息,包括:获取预设的目标字段列表及每个目标字段的字段约束条件;基于语义理解模型和所述目标字段列表,在所述字段约束条件的约束下从所述原始数据对象中提取所述目标字段的字段值,并定位与所述目标字段对应的证据文本片段,以及所述证据文本片段在所述原始数据对象中的位置。
9、在一个示例性实施例中,所述方法还包括:在所述原始数据对象的大小大于预设阈值时,对所述原始数据对象的文本内容进行分页标记和段落切分,得到多个候选文本片段及每个候选文本片段的块编号;将所述候选文本片段、与所述候选文本片段相邻的片段、所述候选文本片段的标题信息和块编号,以及所述目标字段列表输入所述语义理解模型。
10、在一个示例性实施例中,所述方法还包括:当同一目标字段在多个所述候选文本片段中均提取到字段值时,根据各提取结果对应的证据位置、来源可信度、字段完整度、置信度和字段生效时间中的至少一种,对多个提取结果进行融合,得到所述目标字段对应的最终字段值及对应的证据锚点信息。
11、在一个示例性实施例中,所述字段约束条件包括以下至少之一:字段别名,用于指示目标字段在所述原始数据对象中的不同表述方式;输出格式,用于指示所述字段值的标准输出格式;取值约束,用于限定所述字段值的合法取值范围或合法性校验规则;变更指示信息,用于指示是否需要区分目标字段的变更前值和变更后值。
12、与现有技术相比,本发明实施例具有如下至少一种有益效果:
13、本发明采用一种基于多源异构数据的信息变化路径生成方法,通过为从原始数据中提取的每个字段值生成对应的证据锚点信息,并使该证据锚点信息在字段值标准化后与对应的标准化值保持关联,同时将带有证据锚点信息的标准化值组织为变化路径节点,进而形成一条从原始数据到变化结论的完整证据链条,使得变化路径中的每个变化节点均同时包括“变化了什么”和“变化的位”的双重信息,从而既支持从任意变化节点正向遍历该主体的完整变更历史,也支持从任意变化节点逆向回溯至其对应的原始数据出处,确保变化结果可追踪、可验证,提高多源异构数据在变化监测场景中的自动化处理能力和结果的可信度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com