一种AI检索应答与舆情监测方法及系统与流程
本发明涉及大数据检索,具体而言,涉及一种ai检索应答与舆情监测方法及系统。
背景技术:
1、在数字化信息爆炸时代,舆情监测与智能检索应答已成为社会治理、公共安全及企业决策的关键支撑技术。随着大语言模型与检索增强生成技术的深度融合,人工智能系统已从简单的关键词匹配进化为具备语义理解与内容生成能力的智能体,广泛应用于政务舆情研判、金融风险预警、突发事件应急响应等高价值场景。这些场景对信息的时效性、真实性及结论的可信度具有极高要求,其分析结果直接关联公共政策制定、市场风险管控乃至社会稳定维护,因此,构建准确、可靠且合规的智能信息处理系统具有重要的现实意义与应用价值。
2、随着大语言模型与检索增强生成技术的快速发展,基于人工智能的检索应答系统已广泛应用于舆情监测、情报分析等信息密集型场景。现有技术通常采用查询-文档语义匹配范式进行信息检索,并结合转发量、引用量等传播指标评估信息重要性,同时利用单一时间衰减策略对历史信息进行降权处理,最终将检索结果输入大语言模型生成应答内容,形成从数据采集、检索排序到文本生成的单向数据处理流水线。
3、然而,现有技术方案在实际应用中传统检索增强生成系统缺乏对事件动态演化状态的感知能力,无法区分高相关但已过时的信息与低相关但反映最新事态的信息,造成信息时效错位;舆情监测系统未对重复传播产生的依附性信息进行权重剥离,导致单一来源信息通过重复传播制造虚假热度,干扰检索排序与预警准确性;大语言模型在证据不足或存在冲突时仍倾向于生成确定性结论,缺乏基于证据质量的显式生成控制机制,导致幻觉问题突出且输出结果难以溯源审计;单一时间衰减策略使过时信息被直接降权或丢弃,导致事件演化脉络断裂,无法兼顾信息的当下解释价值与历史追溯价值;单向数据处理流水线缺乏将新增数据与应答验证结果反馈至状态更新过程的闭环机制,无法实现事件状态的在线演化与主动态势感知。
4、上述技术问题共同制约了人工智能检索应答系统在高风险舆情场景下的准确性、可信度与合规性。
5、因此,亟需研发一种能够感知事件动态状态、剥离依附性信息权重、基于证据质量控制生成模式、兼顾信息当下价值与历史价值、并具备状态在线演化能力的ai检索应答与舆情监测方法,以解决现有技术在时效性、真实性、可信度方面的不足的技术问题。
技术实现思路
1、鉴于此,本发明提出了一种ai检索应答与舆情监测方法及系统,旨在解决现有技术中ai检索应答与舆情监测在时效性、真实性、可信度方面的不足的技术问题。
2、一方面,本发明公开一种ai检索应答与舆情监测方法,包括:
3、s1:获取多模态舆情数据,对所述多模态舆情数据进行信息抽取,生成包含事件主体、事件行为、事件时间和事件内容的事件单元;s2:基于所述事件单元之间的语义关联、实体关联、时间关联和模态关联,计算事件关联度,将满足关联度阈值的事件单元归并,构建动态事件关联图;
4、s3:基于来源可信度、证据质量以及时效衰减因子,计算各所述事件单元的证据有效性;所述证据有效性包括随时间衰减的当前状态有效性和不随时间衰减的历史证据价值;
5、s4:基于所述事件单元之间的传播关系和内容相似度,计算各所述事件单元的独立证据度;并基于所述事件单元的立场值差异,计算所述动态事件关联图对应事件的证据冲突指数;
6、s5:基于事件热度、传播速度、情绪状态、总体证据有效性、独立证据数量、所述证据冲突指数以及不确定度,生成当前时刻的动态事件状态向量;
7、s6:接收用户检索请求,识别所述检索请求对应的目标事件,获取所述目标事件的所述动态事件状态向量;将所述动态事件状态向量作为检索约束条件,结合所述证据有效性、所述独立证据度和所述证据冲突指数,对候选事件单元进行状态驱动检索与排序;
8、s7:基于排序后的候选事件单元计算证据充分性得分,根据所述证据充分性得分确定ai应答的回答模式,并基于所述回答模式和排序后的候选事件单元生成检索应答结果;
9、s8:获取新增多模态舆情数据,将其转化为新增事件单元并更新至所述动态事件关联图,重新计算并更新所述动态事件状态向量。
10、优选的,所述步骤s2中,计算事件关联度,包括:
11、采用多模态对比学习预训练模型,将所述事件单元中的文本、图像和视频内容映射至统一的特征空间,提取各事件单元的多模态特征向量,并计算任意两个事件单元的特征向量之间的余弦相似度,作为所述语义关联的量化值;
12、采用命名实体识别算法,分别从所述事件单元中提取人物、地点、组织机构和关键对象的实体集合,计算两个事件单元的实体集合的交集元素数量与并集元素数量的比值,将所述比值作为所述实体关联的量化值,并在分母中引入平滑常数以防止除零错误;
13、获取所述事件单元的发布时间,计算两个事件单元的发布时间差值的绝对值,采用指数衰减函数对所述时间差值进行映射,将映射结果作为所述时间关联的量化值,其中所述指数衰减函数的衰减速度由预设的时间衰减常数控制;
14、识别所述事件单元的模态类型,根据两个事件单元是否具有相同的模态类型或是否存在跨模态关联,按照预设的模态映射规则赋予对应的模态一致性数值,作为所述模态关联的量化值;
15、将所述语义关联、实体关联、时间关联和模态关联的量化值分别乘以各自对应的预设权重后进行求和,得到所述事件关联度;当所述事件关联度大于预设关联度阈值时,判定对应的两个事件单元属于同一舆情事件,并在所述动态事件关联图中建立两者之间的关联边。
16、优选的,所述步骤s3中,计算事件单元的证据有效性,包括:
17、获取所述事件单元的来源信息,基于预设的来源可信度评估规则或预训练的来源可信度分类模型,计算所述事件单元的来源可信度评分;
18、对所述事件单元的内容进行质量评估,基于预设的证据质量评估指标体系或预训练的证据质量分类模型,计算所述事件单元的证据质量评分;
19、获取所述事件单元的发布时间与当前系统时间的差值,采用指数衰减函数对所述时间差值进行映射,得到所述事件单元的时效衰减因子,其中所述指数衰减函数的衰减速度由预设的全局时间衰减常数控制;
20、将所述来源可信度评分乘以第一调节系数、所述证据质量评分乘以第二调节系数,时效衰减因子与第三调节系数的乘积进行求和,得到所述事件单元的综合证据有效性,其中,所述时效衰减因子的第三调节系数的取值根据所述事件单元所属的事件类型或领域预设;对于时效敏感型事件,所述第三调节系数的取值较大,对于长尾长效型事件,所述第三调节系数的取值较小;
21、将所述综合证据有效性拆分为双轨制指标,其中,
22、将受所述时效衰减因子影响的部分定义为当前状态有效性,用于评估所述事件单元对当前事件状态的解释能力;将不受所述时效衰减因子影响的来源可信度和证据质量部分定义为历史证据价值,用于事件演化链条的历史追溯,所述历史证据价值不随时间衰减。
23、优选的,所述步骤s4中,计算独立证据度和证据冲突指数,包括:
24、对于任意两个事件单元,计算两者之间的内容相似度,采用文本相似度算法或指纹算法对所述事件单元的内容进行比对,得到内容相似度数值;
25、基于所述内容相似度数值、所述事件单元的发布时间先后顺序以及所述事件单元的来源关系,推断两个事件单元之间是否存在传播关系以及传播方向,得到传播概率;
26、对于每一个事件单元,将其作为目标事件单元,遍历所有可能向其传播的其他事件单元,将各其他事件单元对所述目标事件单元的传播概率与对应的内容相似度数值的乘积进行求和,得到传播累积值;
27、将预设的归一化常数与所述传播累积值求和,再对求和结果取倒数,得到所述目标事件单元的独立证据度,所述独立证据度用于量化所述事件单元作为独立信息来源的证据权重,抑制因重复传播造成的虚假证据权重;
28、对所述事件内的所有事件单元进行立场检测,采用预训练的立场检测模型,将每个事件单元的立场映射为预设范围内的立场值,所述立场值用于表示所述事件单元对所述事件的正面或负面态度;
29、遍历所述事件内所有事件单元对,计算每对事件单元的立场值差值的绝对值,并以两个事件单元的证据有效性乘积作为权重进行加权求和,得到立场冲突加权值;
30、将所述立场冲突加权值除以所有事件单元对证据有效性乘积的总和与平滑常数之和,得到所述事件的证据冲突指数,当所述证据冲突指数大于预设冲突阈值时,判定所述事件存在显著证据冲突。
31、优选的,所述步骤s5中,生成动态事件状态向量,包括:
32、构建所述动态事件状态向量,所述状态向量包含事件热度、传播速度、情绪状态、证据冲突指数、总体证据有效性、不确定度六个维度的分量;
33、对于所述事件热度分量,遍历所述事件内的所有事件单元,将每个事件单元的证据有效性乘以基于所述事件单元发布时间与当前时间差值的指数衰减函数的结果进行求和,得到所述事件热度;
34、对于所述传播速度分量,计算当前时间窗口内的独立证据总数量与前一相邻时间窗口内的独立证据总数量的差值,除以所述时间窗口长度,得到所述传播速度,其中所述独立证据总数量为所述事件内所有事件单元的独立证据度之和;
35、对于所述情绪状态分量,遍历所述事件内的所有事件单元,将每个事件单元的证据有效性乘以其立场值进行求和,除以所有事件单元的证据有效性之和与平滑常数之和,得到所述情绪状态;
36、对于所述总体证据有效性分量,计算所述事件内所有事件单元的证据有效性的平均值,得到所述总体证据有效性;
37、对于所述不确定度分量,将所述总体证据有效性的补数乘以第一权重系数、所述证据冲突指数乘以第二权重系数、证据不足度乘以第三权重系数后进行求和,得到所述不确定度,其中所述证据不足度为基于所述事件的独立证据总数量与预期证据数量的比值计算得到;
38、采用状态转移函数对所述动态事件状态向量进行时间演化更新,将当前时刻的动态事件状态向量乘以预设的状态转移矩阵,加上新增证据特征增量乘以预设的增量影响矩阵,将结果通过非线性激活函数进行映射,得到下一时刻的动态事件状态向量。
39、优选的,所述步骤s6中,状态驱动检索与排序,包括:
40、将所述用户检索请求与所述动态事件状态向量进行拼接,构建增强查询向量,所述增强查询向量同时包含用户查询语义信息和当前事件状态信息;
41、对于每个候选事件单元,计算其与所述增强查询向量的检索评分,所述检索评分由以下因素加权求和构成:用户查询语义相关度、当前状态有效性、独立证据度、与目标事件的事件关联度,减去局部冲突风险值,各因素分别乘以对应的动态权重;
42、基于所述检索评分对所有候选事件单元进行降序排列,得到初始排序结果;
43、对所述初始排序结果进行多样性重排,统计排序结果中来自同一来源群组的事件单元数量,计算来源群组最大数量与总证据数量的比值,用预设常数减去所述比值,得到多样性得分;
44、当所述多样性得分小于预设多样性阈值时,从排序靠后的候选事件单元中,优先补充来自不同来源、不同模态或不同立场的事件单元,直至所述多样性得分达到所述预设多样性阈值,得到最终排序结果。
45、优选的,所述步骤s7中,计算证据充分性得分并确定回答模式,包括:
46、将所述总体证据有效性乘以第一调节系数、所述独立证据总数量乘以第二调节系数、证据多样性得分乘以第三调节系数后进行求和,再减去所述证据冲突指数乘以第四调节系数与所述不确定度乘以第五调节系数之和,得到所述证据充分性得分;
47、基于所述证据充分性得分与预设阈值的比较,确定回答模式:
48、当所述证据充分性得分大于预设的高充分性阈值时,采用直接回答模式,所述直接回答模式生成确定性的结论性表述;
49、当所述证据充分性得分介于预设的低充分性阈值与所述高充分性阈值之间时,采用条件式回答模式,所述条件式回答模式生成附带前提条件或限定说明的结论性表述;
50、当所述证据充分性得分小于所述低充分性阈值时,采用不确定性回答模式,所述不确定性回答模式明确输出证据不足或存在冲突的提示信息,避免生成缺乏充分证据支持的确定性结论。
51、优选的,在生成检索应答结果后,还包括结论验证与溯源步骤:
52、将生成的应答结果拆分为多个子结论;
53、对于每个子结论,从所述最终排序结果中检索与所述子结论语义相关的候选事件单元,计算所述语义相关的候选事件单元的证据有效性之和,作为所述子结论的证据支持度;
54、对于每个子结论,从所述最终排序结果中检索与所述子结论语义矛盾的候选事件单元,计算所述语义矛盾的候选事件单元的证据有效性之和,作为所述子结论的冲突度;
55、若所述证据支持度小于预设支持阈值,则从所述应答结果中删除该子结论;
56、若所述冲突度大于预设冲突阈值,则将该子结论的表述自动修改为不确定性表达;
57、建立每个保留的子结论与对应的候选事件单元之间的映射关系,生成带有来源标注的可溯源的检索应答结果。
58、优选的,所述步骤s8中,形成动态闭环,包括:
59、在生成所述检索应答结果后,持续监听并获取所述目标事件的新增多模态舆情数据;
60、将所述新增多模态舆情数据转化为新增事件单元,通过所述步骤s2归并至所述动态事件关联图中;
61、基于所述新增事件单元,通过所述步骤s3至s5重新计算并更新所述动态事件状态向量;
62、当更新后的所述动态事件状态向量相较于更新前的动态事件状态向量发生超过预设幅度的状态偏移时,主动触发舆情预警信号;
63、所述状态偏移的幅度通过计算更新前后的动态事件状态向量之间的欧氏距离或余弦距离进行量化,当所述距离超过预设偏移阈值时,判定发生超过预设幅度的状态偏移。
64、另一方面,本发明还公开了一种ai检索应答与舆情监测系统,包括:
65、事件单元生成模块,获取多模态舆情数据,对所述多模态舆情数据进行信息抽取,生成包含事件主体、事件行为、事件时间和事件内容的事件单元;
66、动态事件图构建模块,基于所述事件单元之间的语义关联、实体关联、时间关联和模态关联,计算事件关联度,将满足关联度阈值的事件单元归并,构建动态事件关联图;
67、证据评估模块,基于来源可信度、证据质量以及时效衰减因子,计算各所述事件单元的证据有效性;所述证据有效性包括随时间衰减的当前状态有效性和不随时间衰减的历史证据价值;
68、状态生成模块,基于所述事件单元之间的传播关系和内容相似度,计算各所述事件单元的独立证据度;并基于所述事件单元的立场值差异,计算所述动态事件关联图对应事件的证据冲突指数;
69、状态驱动检索模块,基于事件热度、传播速度、情绪状态、总体证据有效性、独立证据数量、所述证据冲突指数以及不确定度,生成当前时刻的动态事件状态向量;
70、排序模块,接收用户检索请求,识别所述检索请求对应的目标事件,获取所述目标事件的所述动态事件状态向量;将所述动态事件状态向量作为检索约束条件,结合所述证据有效性、所述独立证据度和所述证据冲突指数,对候选事件单元进行状态驱动检索与排序;
71、应答模块,基于排序后的候选事件单元计算证据充分性得分,根据所述证据充分性得分确定ai应答的回答模式,并基于所述回答模式和排序后的候选事件单元生成检索应答结果;
72、更新模块,获取新增多模态舆情数据,将其转化为新增事件单元并更新至所述动态事件关联图,重新计算并更新所述动态事件状态向量。
73、本发明公开的ai检索应答与舆情监测方法和系统,其有益效果在于:
74、通过独立证据度计算机制,基于传播关系推断与内容相似度量化,降低重复传播事件单元的检索权重,使检索排序与热度评估仅依赖独立信源的数量与质量,解决了重复传播导致的虚假热度对ai应答与舆情预警准确性的干扰问题。同时,方案生成动态事件状态向量作为检索约束条件,将检索目标从查询-文档语义匹配转换为查询-事件状态-文档三元匹配,使检索结果优先返回与当前事件状态向量匹配度最高的事件单元,提升了检索结果的时效性与ai应答的准确性。
75、基于证据充分性得分确定ai应答的回答模式,当证据充分性得分低于预设阈值时,系统自动切换至条件式回答模式或不确定性回答模式,避免在证据不足或存在冲突时生成确定性结论,降低了大模型幻觉率。配合证据冲突指数计算与多样性重排策略,当证据冲突指数超过预设冲突阈值时,系统强制补充不同立场、不同来源的事件单元,确保应答结果覆盖多方立场并标注分歧点,避免了单一立场导致的片面化输出。
76、采用证据有效性双轨制,将证据有效性拆分为随时间衰减的当前状态有效性与不随时间衰减的历史证据价值,当前状态有效性用于评估事件单元对当前事件状态的解释能力,历史证据价值用于事件演化链条的历史追溯,避免了单一时间衰减策略导致的历史事件单元丢失。系统通过闭环反馈模块将新增多模态舆情数据转化为新增事件单元并更新至动态事件关联图,重新计算动态事件状态向量,当更新后的状态向量相较于更新前的状态向量的偏移幅度超过预设偏移阈值时触发舆情预警信号,实现事件状态的在线演化与主动态势感知。最终,系统建立每个子结论与对应候选事件单元之间的映射关系,对证据支持度低于预设支持阈值的子结论进行删除,对冲突度高于预设冲突阈值的子结论修改为不确定性表达,确保输出的检索应答结果可溯源、可审计,满足高风险场景下ai应用的合规性要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com