一种基于影子表隔离的AI生成字段评估方法及系统

本发明涉及医学数据处理，尤其涉及一种基于影子表隔离的ai生成字段评估方法及系统。

背景技术：

1、在临床试验电子病例报告表填报、保险理赔要素录入、金融客户信息填报等场景中，机器（大语言模型或规则引擎）从源文档中抽取出的取值需要进入受监管的业务数据库。部分现有方案已经实现了机器产出先写入认证副本库、经人工核查后再镜像到正式业务系统的隔离确认流程，并通过留痕记录修改人、时间与内容以支持追溯；也有方案在数据整体提交时对其计算摘要哈希以支持源数据核查。但这些方案对源文档在人工确认之后再次发生修订这一情形的处理能力有限：或依赖复核人员定期人工发现变更，或仅能感知文档整体是否变化，无法在字段级别自动判定人工已确认的某个具体取值是否仍然等于该数据点当前的原始记录。

2、进一步分析可发现，即使引入字符级证据指针与邻域文本哈希比对，仍存在若干本领域特有、通用文本处理手段未能覆盖的技术障碍：其一，源文档修订会使取值紧邻文字整体位移，若直接按修订前的字符偏移在新版本中取字符将取到无关文本，而通用的锚点重定位技术又往往把取值紧邻的文字本身当作可用锚点，恰恰忽略了紧邻文字正是最可能被审计性修订的位置，导致该类修订被错误地判定为环境噪声而遗漏；其二，单一整体哈希比对无法区分取值本身被更改、取值未变但同句限定语被更改、取值所在语句之外的远端文字被无关改动这三种性质完全不同的原文变化，也无法识别同一时间窗口内后到的记录对原取值构成的实质性覆盖；其三，当同一字段存在多份来源记录时，简单地统计取值相同的来源数量作为一致性证据，既会把彼此转抄同一结果的记录误当作独立佐证从而虚高可信度，又会在存在真实的独立来源冲突时，允许模型自身的高置信度将该冲突平均掉，从而放行本该被拦截的高风险字段。

3、专利公开号为cn116703337a的发明专利公开了一种基于人工智能技术的项目文档审查系统及方法，该方案通过配置模块对项目数据源、文档类型及审查规则进行灵活配置，利用文档信息提取模块从文档中提取关键信息，并结合大语言模型模块与自动审查模块，依据预设的审查规则对提取的关键信息进行合规性、内容完整性等方面的自动审查，最终生成审查报告；该方案还支持通过可视化规则编排引擎配置字段间的相等、包含等逻辑关系，以提升文档审查的自动化程度与准确性。然而，该类方案针对的是文档提交时刻的一次性合规审查，在临床试验等需要长期留存和持续稽核的场景中，源文档往往会随病情进展等原因发生多次修订，若审查环节只在文档提交当下完成一次比对，一旦后续版本发生变化，先前已经通过审查或人工确认的字段取值便可能与当前最新记录脱节，而这种脱节在合规稽核或临床稽查阶段往往难以被追溯发现，构成了监管环境下文档数据可信度维护的一个现实难题。

技术实现思路

1、有鉴于此，本发明提供一种基于影子表隔离的ai生成字段评估方法及系统，以解决现有技术中在源文档发生后续版本修订的场景下，临床试验等强监管领域的文档审查缺乏持续性追溯手段，难以及时发现历史审查结果与当前源文档记录不一致的技术问题。

2、本发明的技术方案是这样实现的：一方面，本发明提供了一种基于影子表隔离的ai生成字段评估方法，包括以下步骤：

3、s1、获取ai生成的候选字段值以及所述候选字段值在源文档中的原文位置，将候选字段值写入影子表，所述影子表与正式数据表物理隔离，所述正式数据表为候选字段值经确认或复核后写入的数据表；

4、s2、响应针对候选字段值的人工确认或改写操作，根据所述原文位置，从执行该操作时所对应的源文档版本中提取候选字段值的原文内容作为原始记录，并提取基线信息，将原始记录和基线信息写入影子表；

5、s3、当源文档发生更新或接收到新的源文档时，基于所述基线信息在当前源文档中重新定位所述原始记录对应的内容，将重新定位得到的内容及其上下文与原始记录进行比对，并检测当前源文档中是否存在来源时间晚于原始记录且取值不同的数据覆盖所述候选字段值对应的字段；根据重新定位是否成功、比对是否一致以及是否存在覆盖，得到原始记录是否失效的第一判定结果；

6、s4、获取候选字段值对应字段在多个源文档中的来源数据，所述来源数据包括来源时间、来源角色和原文片段；基于来源数据之间的时间先后关系、角色关系及原文片段的关联关系，识别来源数据之间的转抄关系，将存在转抄关系的来源数据合并为同一独立来源，判断合并后各独立来源之间的取值是否一致，得到第二判定结果；

7、s5、当第一判定结果为原始记录失效，或第二判定结果为独立来源取值不一致时，生成针对候选字段值的复核任务，呈现用于复核裁决的相关信息，接收针对该复核任务的复核结果，将复核结果写入影子表；

8、s6、将基线信息、第一判定结果、第二判定结果和复核结果依次写入日志，日志中的记录以哈希值链接前后记录。

9、在以上技术方案的基础上，优选的，步骤s2中具体包括：

10、s21、根据原文位置，从执行人工确认或改写操作时所对应的源文档版本中截取包含所述原始记录的邻域文本，将邻域文本按子句边界划分为取值核区和限定语区，所述取值核区对应所述原始记录，所述限定语区对应所述原始记录的上下文；

11、s22、在排除取值核区后的邻域范围内提取路标，并计算路标相对取值核区起点的相对位移；

12、s23、对取值核区和限定语区分别提取指纹信息，并从限定语区中提取属于预设限定语集合的限定语；

13、s24、在取值核区邻近范围内提取字段标签，记录候选字段值的来源时间和来源角色；

14、s25、将原始记录写入影子表，将路标、相对位移、取值核区指纹信息、限定语区指纹信息、限定语、字段标签、来源时间和来源角色作为基线信息写入影子表。

15、在以上技术方案的基础上，优选的，步骤s22中，按取值核区的长度确定邻域搜索窗口，在邻域搜索窗口内排除取值核区后的范围中选取满足唯一性条件且长度最短的子串作为路标，路标相对位移按下式计算：

16、；

17、其中为相对位移，为取值核区起始字符位置，为选取的路标，表示子串在执行人工确认或改写操作时所对应的源文档版本中的起始字符位置。

18、在以上技术方案的基础上，优选的，步骤s23中，对取值核区和限定语区分别执行归一化处理后计算指纹信息：

19、；

20、；

21、其中为取值核区指纹信息，为限定语区指纹信息，d为执行人工确认或改写操作时所对应的源文档版本，为取值核区，为限定语区，表示归一化处理，表示哈希运算；将限定语区分词后与预设限定语集合取交集，得到限定语。

22、在以上技术方案的基础上，优选的，步骤s3具体包括：

23、s31、基于路标和相对位移，在当前源文档中重新定位取值核区和限定语区，得到定位结果；

24、s32、对重新定位后的取值核区提取指纹信息，与所述基线信息中的取值核区指纹信息进行比对，得到取值核区比对结果；

25、s33、对重新定位后的限定语区提取指纹信息及限定语，与所述基线信息中的限定语区指纹信息及限定语进行比对，得到限定语比对结果；

26、s34、基于字段标签、来源时间和来源角色，在当前源文档中检索来源时间晚于原始记录且取值不同的后到数据，得到后到覆盖检测结果；

27、s35、当定位结果为重新定位不成功，或取值核区比对结果、限定语比对结果中任一项为不一致，或后到覆盖检测结果为存在覆盖时，判定候选字段值对应的原始记录失效，得到第一判定结果。

28、在以上技术方案的基础上，优选的，步骤s31具体包括：

29、s311、在当前源文档中查找路标的起始字符位置，与相对位移相加得到候选定位位置，在候选定位位置邻近范围内进行匹配，得到重新定位后的取值核区位置；当路标在当前源文档中不唯一或未匹配到重新定位后的取值核区位置时，在排除取值核区后的邻域范围内，按满足唯一性条件的子串中长度递增的顺序选取下一个尚未选用的子串代替路标，重新计算相对位移并重新执行本步骤，直到得到重新定位后的取值核区位置或不存在尚未选用的子串；

30、s312、当不存在尚未选用的子串仍未得到重新定位后的取值核区位置时，采用与字符匹配不同的匹配方式对邻域文本进行匹配，得到重新定位后的取值核区位置或定位结果为重新定位不成功；

31、s313、按重新定位后的取值核区位置与限定语区的位置关系，得到重新定位后的限定语区，得到定位结果。

32、在以上技术方案的基础上，优选的，步骤s34中，在当前源文档中查找与字段标签匹配且属于同一来源时间窗口的数据，得到匹配数据的取值、来源时间和来源角色；当匹配数据同时满足来源角色为预设的原始来源角色、来源时间晚于基线信息中的来源时间、且取值与候选字段值不满足等值判据时，判定存在覆盖；后到覆盖检测结果按下式得到：

33、；

34、其中为后到覆盖检测结果，s=0表示存在覆盖，s=1表示不存在覆盖，为匹配数据的来源角色，为预设的原始来源角色，为匹配数据的来源时间，为基线信息中的来源时间，为匹配数据的取值，为候选字段值，为等值判据。

35、在以上技术方案的基础上，优选的，步骤s4中，所述来源角色包括预设的原始来源角色和转述来源角色；所述识别来源数据之间的转抄关系，具体包括：

36、对任意第一来源数据和第二来源数据，在第一来源数据的来源时间不晚于第二来源数据的来源时间、且第一来源数据与第二来源数据的取值满足等值判据的基础上，满足以下任一项，即判定第二来源数据由第一来源数据转抄而来：

37、①当第一来源数据的来源角色为原始来源角色，且第二来源数据的来源角色为转述来源角色；

38、②第二来源数据的原文片段包含第一来源数据的原文片段；

39、③第一来源数据与第二来源数据的原文片段之间的相似度不低于预设阈值。

40、在以上技术方案的基础上，优选的，步骤s4中，将来源数据中未由其他来源数据转抄而来的来源数据确定为独立来源；将存在转抄关系的来源数据合并至其转抄链条起点所对应的独立来源；当独立来源的数量不少于两个，且其中至少两个独立来源的取值不满足等值判据时，判定独立来源取值不一致，得到第二判定结果。

41、另一方面，本发明还提供一种基于影子表隔离的ai生成字段评估系统，包括：

42、影子表模块，与正式数据表物理隔离，所述正式数据表为候选字段值经确认或复核后写入的数据表；获取ai生成的候选字段值以及候选字段值在源文档中的原文位置并存储，存储原始记录、基线信息、第一判定结果、第二判定结果和复核结果；当第一判定结果为原始记录失效或第二判定结果为独立来源取值不一致时，生成针对候选字段值的复核任务，呈现用于复核裁决的相关信息，接收复核结果并存储；

43、文档校验模块，响应针对候选字段值的人工确认或改写操作，根据原文位置从执行该操作时所对应的源文档版本中提取候选字段值的原文内容作为原始记录，并提取基线信息；当源文档发生更新或接收到新的源文档时，基于基线信息在当前源文档中重新定位原始记录对应的内容，将重新定位得到的内容及其上下文与原始记录进行比对，并检测当前源文档中是否存在来源时间晚于原始记录且取值不同的数据覆盖所述候选字段值对应的字段，根据重新定位是否成功、比对是否一致以及是否存在覆盖，得到原始记录是否失效的第一判定结果；

44、来源分析模块，获取候选字段值对应字段在多个源文档中的来源数据，所述来源数据包括来源时间、来源角色和原文片段；基于来源数据之间的时间先后关系、角色关系及原文片段的关联关系，识别来源数据之间的转抄关系，将存在转抄关系的来源数据合并为同一独立来源，判断合并后各独立来源之间的取值是否一致，得到第二判定结果；

45、日志模块，将基线信息、第一判定结果、第二判定结果和复核结果依次写入日志，日志中的记录以哈希值链接前后记录。

46、本发明相对于现有技术具有以下有益效果：

47、（1）本发明通过将候选字段值写入与正式数据表物理隔离的影子表，ai生成字段在完成人工确认或复核裁决之前不进入正式数据集的查询、统计与导出路径，避免了未经核实的取值对下游正式数据造成污染，同时人工确认或改写操作本身又会触发基线信息的提取与留存，使数据验证过程与正式数据集的读写路径在物理层面分开，兼顾了字段抽取效率与正式数据的可信度。

48、（2）本发明通过路标结合相对位移的方式实现取值核区与限定语区在源文档跨版本之间的重新定位，并将定位结果、取值核区比对结果、限定语比对结果、后到覆盖检测结果作为四项互不补偿的独立判据，源文档发生修订后可能出现的取值本身变更、限定语性质变更、证据段落缺失、后到证据覆盖等不同性质的失配情形能够分别被识别，相比仅依赖单一整体比对方式的校验手段，降低了因单一判据覆盖不到某类失配情形而导致原始记录失效判断遗漏的可能性。

49、（3）本发明通过识别来源数据之间的转抄关系并将存在转抄关系的来源数据合并为同一独立来源，再对合并后的独立来源之间的取值一致性进行判断，避免了同一原始信息经多次转述后被重复计入一致性证据而掩盖独立来源之间真实存在的取值冲突，使多来源一致性判断的结论更贴近信息来源的实际独立程度。

50、（4）本发明通过将基线信息、第一判定结果、第二判定结果和复核结果依次写入以哈希值链接前后记录的日志，日志中任一历史记录被篡改都会导致该记录及其后续记录的哈希值与重新计算结果不一致，为候选字段值的评估过程和复核过程提供了可验证的留痕基础，满足临床试验等场景对数据可追溯性的审计要求。