事实观点分层与冲突消解的研判基准构建方法及系统

本发明属于电子文档处理与数据融合，具体涉及一种事实观点分层与冲突消解的研判基准构建方法及系统。

背景技术：

1、在战略情报分析场景中，信息通常来自官方公告、智库报告、新闻媒体、社交媒体、行业统计、跨境调研、公开数据库、专家访谈以及历史研判记录等不同异构来源。各类信息源之间常常存在格式异构、表达方式各异、表达口径不同、转载链路复杂、事实陈述与评论观点混杂等问题。上述信息可能包括事实性陈述、观点性判断、结构化指标、长文本叙述、权威发布、二次转载、评论推断和立场化表达等不同信息。若直接将这些来源数据不加处理的输入战略推演模型，极易导致推演输入口径不一致、事实状态失真、争议信息未标注、推演结果不可解释等技术问题。

2、现有技术中，多源异构数据处理通常包括数据采集、清洗、实体识别、实体对齐、知识图谱构建、文本摘要、语义检索和规则融合等环节。已有方案能够通过数据源统一包装、抽取规则配置、中间库去重和目标库汇聚等方式，实现多源数据接入、清洗统一和汇聚管理；也有方案基于规则管理、可信度管理和融合引擎，对多个来源中的相似实体、相似文档或相似字段进行合并，并根据融合结果或服务质量动态调整数据源可信度。此外，部分多源威胁情报融合方法重点关注基于语义相似度的重复情报判断、字段融合规则表以及与历史情报数据库的对比更新；部分面向情报分析的知识图谱构建方法覆盖数据采集、文本抽取、实体识别、语义分析和实体关系提取等环节；还有方案采用检索增强生成、多智能体任务分解或大模型辅助分析，将信息采集、信息抽取、知识图谱建设和技术研判分析进行模块化组织。上述方案表明，多源接入、规则可信度融合、情报去重与字段融合、知识图谱构建以及多智能体协同等技术已有较明确公开。

3、然而，在战略情报研判场景中，普通数据融合方法仍存在明显不足。第一，多源文本中事实性陈述与观点性陈述常常以混合形式同时出现，尚未形成针对战略情报场景的“事实层”与“观点层”分层处理机制，特别是未针对新闻、智库报告、政策文本中的事实陈述与立场表达进行显式解耦；现有方法容易将媒体评论、价值判断和事实断言混合处理，从而导致观点差异被误判为事实冲突，或将事实冲突简单概括为立场分歧。第二，现有多源融合方案通常以文档、记录或字段为融合对象，缺乏将事件状态、统计口径、证据片段、来源链路等作为事实内生属性的“原子事实单元”。第三，战略情报中的不一致往往并非单纯真假冲突，而可能源于时间口径、统计口径、事件状态、地理粒度、来源链路和语义表达差异。现有简单实体匹配和字段合并方法难以准确处理上述复杂口径差异。第四，现有可信度管理虽可动态更新，但通常主要围绕数据源整体可信度进行调整，尚未进一步区分某一事实是否来自一手来源、是否得到多个相互独立来源的共同印证、是否与其他高可信来源存在冲突，以及不同事实字段在历史上的准确表现等因素，因而难以对具体事实字段进行细粒度可信度评估。第五，现有融合结果多以摘要、知识图谱节点、融合数据库或问答答案形式输出，缺少面向战略推演的结构化研判基准，难以同时表达统一事实、争议事实、观点分布、证据链、消解规则、版本变化和推演适配状态。

4、因此，有必要提出一种新的多源异构战略情报融合校验与统一研判基准构建方法，使系统能够在保留全文证据的基础上，对长新闻和长报告进行结构化分段与候选信息筛选，对事实与观点进行分层处理，对复杂句式进行事件框架化解析，对跨源事实进行分层聚合和口径冲突校验，对观点分歧进行多视角保留，并进一步生成可追溯、可解释、可版本化、可供战略推演调用的统一研判基准。

技术实现思路

1、本发明的目的在于提出一种事实观点分层与冲突消解的研判基准构建方法及系统，以解决多源电子文档格式与来源关系不统一、事实与观点混杂、事件信息分散、跨源事件难以对齐、字段口径冲突及证据链和版本关系难以追溯的问题，达到生成可校验、可追溯、可更新且可供战略推演调用的系统可读基准数据的效果。

2、为实现上述目的，本发明采用以下技术方案。

3、一种事实观点分层与冲突消解的研判基准构建方法，包括以下步骤：

4、对包含战略对象型号、数量、位置、时间和状态数据的多源异构电子文档进行解析、标准化和来源登记，得到标准化文档数据和文档溯源数据；

5、根据所述标准化文档数据的文档结构和战略对象状态数据进行分段和证据筛选，得到证据片段及其在对应电子文档中的位置索引；

6、从所述证据片段中提取战略对象状态事实和观点文本，得到分别关联所述位置索引和文档溯源数据的事实记录和观点记录；

7、对不同电子文档中的事实记录和观点记录进行实体规范化和事件对齐，得到事实簇和观点簇；

8、对所述事实簇中对应字段的候选值、来源、时间、统计口径和战略对象状态进行一致性校验，并对所述观点簇中的观点记录进行差异标记，得到字段冲突数据和观点差异数据；

9、根据所述文档溯源数据、证据关联关系、时间关系、状态转换关系和跨源支持关系，对所述字段冲突数据中的候选值进行排序和冲突消解，得到采用事实记录和争议事实记录；

10、根据所述采用事实记录、争议事实记录、观点记录、观点差异数据、文档溯源数据和位置索引，生成包含证据链数据和版本关系数据的系统可读基准数据。

11、进一步地，对包含战略对象型号、数量、位置、时间和状态数据的多源异构电子文档进行解析、标准化和来源登记，包括：

12、对所述多源异构电子文档的文件内容和文档结构进行解析，得到解析文档数据；

13、对所述解析文档数据进行格式统一、数据标准化和相似文档去重，并登记来源元数据和来源链关系，得到标准化文档数据和文档溯源数据。

14、进一步地，对所述多源异构电子文档的文件内容和文档结构进行解析，得到解析文档数据，包括：

15、识别所述多源异构电子文档的文件格式，并提取文本内容、表格内容、图像识别内容和数据库记录，得到文档内容数据；

16、将所述文档内容数据与页面、文本块、段落、句子、表格单元格和图像文本区域中的至少一种位置关联，得到解析文档数据。

17、进一步地，对所述解析文档数据进行格式统一、数据标准化和相似文档去重，并登记来源元数据和来源链关系，包括：

18、对所述解析文档数据中的字符编码、语言、时间、地名、组织名称、计量单位、货币单位和数值格式进行统一，并提取来源元数据，得到规范化文档数据和来源元数据；

19、根据所述规范化文档数据的内容特征和所述来源元数据进行相似文档去重，并建立原始来源记录与转载来源记录之间的来源链关系，得到标准化文档数据和文档溯源数据。

20、进一步地，根据所述标准化文档数据的文档结构和战略对象状态数据进行分段和证据筛选，包括：

21、根据所述文档结构对所述标准化文档数据进行结构区域划分，得到关联结构类型和位置数据的文档片段；

22、根据所述文档片段的文本位置、实体信息、事件触发信息、时间地点信息、数值信息、观点信息、战略对象相关度和重复度进行证据筛选，得到证据片段及其在对应电子文档中的位置索引。

23、进一步地，根据所述文档片段的文本位置、实体信息、事件触发信息、时间地点信息、数值信息、观点信息、战略对象相关度和重复度进行证据筛选，包括：

24、根据所述文本位置、实体信息、事件触发信息、时间地点信息、数值信息、观点信息、战略对象相关度和重复度，确定各文档片段的信息价值等级；

25、根据所述信息价值等级，从所述文档片段中确定单一文档片段或相邻文档片段组合，并关联对应的位置数据，得到证据片段及其在对应电子文档中的位置索引。

26、进一步地，从所述证据片段中提取战略对象状态事实和观点文本，包括：

27、根据内容可验证特征和观点表达特征对所述证据片段进行事实观点分离，得到事实性证据片段和观点性证据片段；

28、根据所述事实性证据片段和所述观点性证据片段生成分别关联所述位置索引和文档溯源数据的事实记录和观点记录。

29、进一步地，根据所述事实性证据片段和所述观点性证据片段生成分别关联所述位置索引和文档溯源数据的事实记录和观点记录，包括：

30、从所述事实性证据片段中提取主体、动作、客体、时间、地点、数值、状态和统计口径，得到事件框架数据，并从所述观点性证据片段中提取观点对象、观点主体、立场、价值框架、情绪和归因路径，得到观点要素数据；

31、根据参与方角色、动作关系、客体关系和时序关系对所述事件框架数据进行事件划分，并将划分后的事件框架数据和所述观点要素数据分别与所述位置索引和文档溯源数据关联，得到事实记录和观点记录。

32、进一步地，对不同电子文档中的事实记录和观点记录进行实体规范化和事件对齐，包括：

33、对所述事实记录和观点记录中的实体提及进行规范化，建立实体提及、规范实体和实体组之间的映射关系，得到实体映射数据；

34、根据所述实体映射数据以及事件类型、参与方角色、客体、时间、地点、状态和语义表示，对所述事实记录和观点记录进行跨源对齐和聚合，得到事实簇和观点簇。

35、进一步地，根据所述实体映射数据以及事件类型、参与方角色、客体、时间、地点、状态和语义表示，对所述事实记录和观点记录进行跨源对齐和聚合，包括：

36、根据所述事件类型、参与方角色、客体、时间、地点、状态和语义表示，确定不同事实记录之间的事件关联类别；

37、根据所述事件关联类别将属于同一事件的事实记录聚合为事实簇，对未聚合的事实记录写入候选同一事件标识、相关事件标识或待复核标识，并将指向同一事件或战略对象的观点记录聚合为观点簇。

38、进一步地，对所述事实簇进行一致性校验并对所述观点簇中的观点记录进行差异标记，包括：

39、对所述事实簇中对应字段的候选值、来源、证据位置、来源链、时间、统计口径、战略对象状态和版本进行比对，得到字段冲突数据；

40、对所述观点簇中的观点对象、观点主体、来源属性、立场、价值框架、情绪、归因路径和证据位置进行比对，得到观点差异数据。

41、进一步地，对所述事实簇中对应字段的候选值、来源、证据位置、来源链、时间、统计口径、战略对象状态和版本进行比对，得到字段冲突数据，包括：

42、对所述候选值对应的时间口径、统计口径、地理层级和战略对象状态进行归一化，得到规范候选值；

43、对所述规范候选值、来源链、版本时间和语义极性进行比对，识别数值冲突、时间冲突、地点冲突、主体冲突、状态冲突、统计口径冲突、来源链冲突、语义极性冲突和版本冲突，得到字段冲突数据。

44、进一步地，对所述观点簇中的观点对象、观点主体、来源属性、立场、价值框架、情绪、归因路径和证据位置进行比对，得到观点差异数据，包括：

45、根据所述观点对象、观点主体、来源属性、立场、价值框架、情绪和归因路径识别观点差异，并从所述观点记录中分离事实性断言，得到观点差异标签和事实性断言记录；

46、将所述事实性断言记录与所述事实簇关联，并将所述观点差异标签和证据位置写入对应的观点记录，得到观点差异数据。

47、进一步地，根据所述文档溯源数据、证据关联关系、时间关系、状态转换关系和跨源支持关系，对所述字段冲突数据中的候选值进行排序和冲突消解，包括：

48、根据所述文档溯源数据中的原始来源标记、来源链层级和转载关系，以及所述证据关联关系、版本时间、跨源独立支持数量、来源历史校验记录和字段历史校验记录，确定所述候选值的优先级；

49、根据所述候选值的优先级以及所述字段冲突数据中的时间关系、统计口径、状态转换关系、地理层级和来源链关系，对所述候选值进行冲突消解，得到采用事实记录和争议事实记录。

50、进一步地，根据所述候选值的优先级以及所述字段冲突数据中的时间关系、统计口径、状态转换关系、地理层级和来源链关系，对所述候选值进行冲突消解，包括：

51、根据所述来源链关系进行来源追溯，并根据所述时间关系、统计口径、地理层级和状态转换关系对所述候选值进行归一化或状态映射，得到候选事实记录；

52、根据所述候选值的优先级和跨源支持关系，从所述候选事实记录中确定采用事实记录，并将无法确定采用值的候选事实记录确定为争议事实记录。

53、进一步地，根据所述采用事实记录、争议事实记录、观点记录、观点差异数据、文档溯源数据和位置索引生成系统可读基准数据，包括：

54、建立所述多源异构电子文档、位置索引、证据片段、事实记录、观点记录、事实簇、观点簇、字段冲突数据、观点差异数据、采用事实记录、争议事实记录和系统可读基准数据的版本之间的证据链关系，得到证据链数据；

55、根据所述采用事实记录、争议事实记录、观点记录、观点差异数据、证据链数据和文档溯源数据建立分层基准数据和版本关系数据，得到系统可读基准数据。

56、进一步地，建立所述多源异构电子文档、位置索引、证据片段、事实记录、观点记录、事实簇、观点簇、字段冲突数据、观点差异数据、采用事实记录、争议事实记录和系统可读基准数据的版本之间的证据链关系，包括：

57、将所述多源异构电子文档、证据片段、事实记录、观点记录和系统可读基准数据的版本确定为溯源实体，将文档标准化、证据筛选、记录生成、跨源对齐、一致性校验和冲突消解确定为溯源活动，并将数据源机构、任务执行单元、规则执行单元和复核终端确定为溯源主体；

58、建立所述溯源实体、溯源活动和溯源主体之间的数据使用关系、数据生成关系和数据归属关系，得到证据链数据。

59、进一步地，根据所述采用事实记录、争议事实记录、观点记录、观点差异数据、证据链数据和文档溯源数据建立分层基准数据和版本关系数据，包括：

60、根据所述字段冲突数据及其冲突消解结果生成冲突消解记录和口径映射数据，并将所述采用事实记录、争议事实记录、观点记录、观点差异数据、证据链数据、冲突消解记录和口径映射数据写入对应的数据层，得到分层基准数据；

61、将所述分层基准数据与基准版本标识、前序版本标识和变更记录关联，并写入数据存储系统，得到系统可读基准数据。

62、进一步地，将所述分层基准数据与基准版本标识、前序版本标识和变更记录关联，并写入数据存储系统，得到系统可读基准数据，包括：

63、根据所述分层基准数据中的层级字段、实体关系、事件关系和证据链关系，建立结构化字段映射、图关系映射和语义检索索引；

64、将所述分层基准数据、版本关系数据、结构化字段映射、图关系映射和语义检索索引写入关系数据库、文档数据库、图数据库或向量数据库中的至少一种，得到系统可读基准数据。

65、进一步地，还包括：

66、获取新增多源异构电子文档，对所述新增多源异构电子文档执行前述步骤，并将得到的采用事实记录、争议事实记录、观点记录和观点差异数据与所述系统可读基准数据进行比对，得到变更字段和受影响记录标识；

67、根据所述变更字段和受影响记录标识更新所述系统可读基准数据中的对应记录、证据链数据和版本关系数据，得到更新后的系统可读基准数据。

68、进一步地，还包括：

69、接收目标战略对象查询请求，根据所述目标战略对象查询请求从所述系统可读基准数据中召回采用事实记录、争议事实记录、观点记录、观点差异数据和对应的证据链数据，得到召回数据；

70、根据所述字段冲突数据、观点差异数据和证据链数据对所述召回数据进行关联，得到包含事实状态、争议状态、观点差异标签和证据位置的可追溯查询数据。

71、进一步地，根据所述采用事实记录、争议事实记录、观点记录、观点差异数据、文档溯源数据和位置索引生成系统可读基准数据，包括：

72、由分别执行文档解析、证据筛选、记录生成、跨源对齐、一致性校验和冲突消解的任务执行单元，通过数据接口汇集所述采用事实记录、争议事实记录、观点记录、观点差异数据、文档溯源数据和位置索引，得到汇集数据；

73、根据所述汇集数据生成系统可读基准数据。

74、一种事实观点分层与冲突消解的研判基准构建系统，包括：

75、文档标准化模块，用于对包含战略对象型号、数量、位置、时间和状态数据的多源异构电子文档进行解析、标准化和来源登记，得到标准化文档数据和文档溯源数据；

76、证据筛选模块，用于根据标准化文档数据的文档结构和战略对象状态数据进行分段和证据筛选，得到证据片段及其在对应电子文档中的位置索引；

77、记录生成模块，用于从证据片段中提取战略对象状态事实和观点文本，得到分别关联位置索引和文档溯源数据的事实记录和观点记录；

78、跨源对齐模块，用于对不同电子文档中的事实记录和观点记录进行实体规范化和事件对齐，得到事实簇和观点簇；

79、冲突校验模块，用于对事实簇中对应字段的候选值、来源、时间、统计口径和战略对象状态进行一致性校验，并对观点簇中的观点记录进行差异标记，得到字段冲突数据和观点差异数据；

80、冲突消解模块，用于根据文档溯源数据、证据关联关系、时间关系、状态转换关系和跨源支持关系，对字段冲突数据中的候选值进行排序和冲突消解，得到采用事实记录和争议事实记录；

81、基准构建模块，用于根据采用事实记录、争议事实记录、观点记录、观点差异数据、文档溯源数据和位置索引，生成包含证据链数据和版本关系数据的系统可读基准数据。

82、本发明取得了如下有益效果。

83、1.本发明对不同来源和不同文件格式的多源异构电子文档进行内容解析、结构解析、格式统一、数据标准化、相似文档去重和来源登记，建立原始来源记录与转载来源记录之间的来源链关系，能够统一字符编码、语言、时间、地名、组织名称、计量单位、货币单位和数值格式，并保持标准化文档数据与来源信息之间的可追溯关系。

84、2.本发明根据文档结构对标准化文档数据进行结构区域划分，并基于文本位置、实体信息、事件触发信息、时间地点信息、数值信息、观点信息、战略对象相关度和重复度进行证据筛选，在保留全文、段落索引和句子索引的基础上确定单一文档片段或相邻文档片段组合，能够减少低价值背景内容、重复内容和模板化噪声进入后续数据处理过程，并避免因逐句提取造成事件要素缺失。

85、3.本发明根据内容可验证特征和观点表达特征对证据片段进行事实观点分离，并根据主体、动作、客体、时间、地点、数值、状态、统计口径、参与方角色和时序关系生成事实记录，能够处理多主体、多动作、多客体、被动、否定、条件、推测和跨句补充内容，保持战略对象状态事实的事件结构完整性，减少观点文本被错误写入事实记录。

86、4.本发明通过建立实体提及、规范实体和实体组之间的映射关系，并结合事件类型、参与方角色、客体、时间、地点、状态和语义表示对不同电子文档中的事实记录进行事件对齐和聚合，能够识别同一事件、候选同一事件和相关事件，减少不同名称、不同语言表达、不同句式或不同事件阶段造成的错误聚合和遗漏。

87、5.本发明分别对事实簇和观点簇进行一致性校验与差异标记，通过对时间口径、统计口径、地理层级和战略对象状态进行归一化，识别数值、时间、地点、主体、状态、来源链、语义极性和版本冲突；同时保留立场、来源倾向、价值框架、情绪和归因路径的差异，并将观点记录中的事实性断言分离后关联至事实簇，从而避免将事实冲突、口径差异和观点差异混合处理。

88、6.本发明根据原始来源标记、来源链层级、转载关系、证据关联关系、版本时间、跨源独立支持数量、来源历史校验记录和字段历史校验记录确定候选值优先级，并结合时间关系、统计口径、状态转换关系、地理层级和来源链关系进行冲突消解，能够生成采用事实记录和争议事实记录，避免仅依据固定来源等级或单一来源确定字段值。

89、7.本发明建立多源异构电子文档、位置索引、证据片段、事实记录、观点记录、事实簇、观点簇、字段冲突数据、观点差异数据及基准版本之间的证据链关系，并将采用事实记录、争议事实记录、观点差异数据、口径映射数据和版本关系数据组织为系统可读基准数据，能够支持基准数据的来源回溯、冲突解释、增量更新和版本追踪，并为战略推演、态势分析、风险预警和能力评估提供一致的数据输入。