一种非遗数据自然语言大模型交互方法与流程

摘要: 本发明涉及自然语言处理,尤其涉及一种非遗数据自然语言大模型交互方法。背景技术:1、随着非物质文化遗产数字化进程的推进,大量非遗资料以文本记录、口述转写及档案数据...
一种非遗数据自然语言大模型交互方法与流程

本发明涉及自然语言处理,尤其涉及一种非遗数据自然语言大模型交互方法。

背景技术:

1、随着非物质文化遗产数字化进程的推进,大量非遗资料以文本记录、口述转写及档案数据的形式被采集与存储,逐步形成面向公众服务与专业传承的数字资源库。现有技术中,通常通过关键词检索、知识图谱或基于自然语言处理的问答系统实现非遗数据的查询与交互,部分方案结合预训练语言模型对非遗内容进行语义理解与生成,以提升交互的智能化水平。然而,上述方法大多侧重通用语义匹配或基于统计特征的文本生成,缺乏对非遗知识中复杂语境结构的建模能力。

2、由于非遗知识具有显著的语境依赖特性,不同地域、流派或师承体系下的工艺流程、术语表达及操作规范存在差异,现有技术在处理多源非遗数据时,往往无法有效区分语境边界,容易在语义匹配过程中出现语境混淆问题。现有基于大模型的生成方法通常依赖通用语料训练结果,在生成具体工艺描述时缺乏针对性约束,难以保证步骤顺序、参数范围及术语使用的准确性,导致生成结果与实际传承规范存在偏差。

3、现有技术普遍缺乏对生成结果的可验证机制,无法基于原始证据数据对输出内容进行支撑性校验,也难以识别不同版本知识之间的冲突关系,导致结果可信度不足。在多版本并存的非遗知识体系中,缺乏有效的语境选择与证据筛选机制,进一步降低了非遗信息查询与教学应用的可靠性。

4、因此,如何提供一种非遗数据自然语言大模型交互方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种非遗数据自然语言大模型交互方法,本发明通过构建非遗语境格网、引入改进mpnet模型进行语境感知向量编码,并结合工艺规范可逆双层规范体与证据约束机制,实现对非遗数据的语境精准匹配与受控生成,通过断言支持度与对立断言支持度的比对机制完成结果校验,能够有效避免语境混淆和工艺流程错误,具备语境识别准确、生成结果可靠且可验证性强的优点。

2、根据本发明实施例的一种非遗数据自然语言大模型交互方法,包括:

3、构建非遗语境格网,对非遗数据进行解析生成语境节点集合,将各语境节点与对应的非遗文本数据、口述转写数据及档案记录数据绑定;

4、采用改进mpnet模型对用户输入文本、语境描述文本及证据文本进行多头掩码编码得到初始语义向量,对初始语义向量进行条件化旋转投影与残差融合,生成用户问题向量、语境节点向量及证据向量;

5、基于用户问题向量、语境节点向量及非遗语境格网生成语境竞争子图,按语境差异掩码将用户问题向量投影,计算投影向量对各语境节点的匹配值与排斥值差,选取差值最大的节点为目标语境节点,在证据向量分组中筛选目标证据集合;

6、在目标语境节点下构建工艺规范可逆双层规范体,所述双层规范体包括骨架规范和风格规范,建立文本内容与骨架规范之间的映射关系;

7、将用户输入文本、目标证据集合及工艺规范可逆双层规范体作为约束输入自然语言大模型,按骨架规范控制步骤顺序与参数区间、按风格规范限定术语表达,生成初始交互结果;

8、对初始交互结果进行断言提取,基于证据向量计算断言支持度并与对立断言支持度比对,若支持度达到预设阈值则输出最终交互结果及目标语境节点信息和证据来源信息,否则输出语境澄清提示或多版本结果。

9、可选的,所述构建非遗语境格网,包括:

10、解析非遗数据,抽取地域、流派或师承、时代阶段、应用场景及技艺对象五类语境属性;

11、以五类语境属性的不同组合生成初始语境节点,并为每一语境节点记录属性组合标识,对每一语境节点统计绑定数据量与属性覆盖度,按照统计结果为语境节点赋予权重值;

12、在语境节点之间建立两层关联关系:其一为同层关联,表示属性部分重合的节点可互为备选语境;其二为跨层继承关联,表示师承谱系或时代演变形成的语境演化路径;

13、在每一语境节点中设置版本分支指针,记录使用者反馈所产生的增量内容,并保持与原节点的可追溯链接;

14、建立语境节点与对应的非遗文本数据、口述转写数据及档案记录数据之间的映射关系,并进行分组存储形成非遗语境格网。

15、可选的,所述对初始语义向量进行条件化旋转投影与残差融合,生成用户问题向量、语境节点向量及证据向量,包括:

16、设置输入数据与输出数据,将用户输入文本作为问题输入序列,将语境描述文本作为语境输入序列,将证据文本作为证据输入序列,对三类输入序列分别执行分词、子词切分与位置编码,得到问题嵌入序列、语境嵌入序列和证据嵌入序列,并将三类嵌入序列的输出向量维度统一设为相同的嵌入维度;

17、构建改进mpnet模型的主干编码层,所述主干编码层由多层transformer编码块级联组成,每一transformer编码块包括多头自注意力子层和前馈网络子层,并在相邻子层之间设置残差连接与层归一化连接;

18、在主干编码层的第2层transformer编码块之后插入语境差异掩码注入模块,所述语境差异掩码注入模块基于地域、流派或师承、时代阶段、应用场景及技艺对象五类语境属性生成语境差异掩码,并将语境差异掩码作为门控向量与对应层输出逐维相乘以完成语境差异注入;

19、在主干编码层的第4层transformer编码块之后插入工艺术语对齐注意力模块,所述工艺术语对齐注意力模块接收证据嵌入序列与预设工艺术语表的术语嵌入序列,计算证据词元与术语词元之间的交叉注意力,得到术语对齐特征,并通过残差连接回注入至主干编码层输出;

20、在主干编码层的第6层transformer编码块之后插入师承谱系继承适配模块,所述师承谱系继承适配模块以语境格网中的跨层继承关联关系生成继承向量,将继承向量作为适配器分支与主干编码层输出并行连接后进行加和融合;

21、在主干编码层输出端插入条件化旋转投影融合模块,所述条件化旋转投影融合模块根据语境差异掩码生成旋转参数,对主干编码层输出向量执行条件化旋转投影并与未旋转的输出向量进行残差融合,得到语境加权语义表示向量;

22、对语境加权语义表示向量执行池化得到问题向量、语境节点向量和证据向量,并基于语境节点标签构建监督训练数据集,采用对比学习训练方式对改进mpnet模型进行训练。

23、可选的,所述计算投影向量对各语境节点的匹配值与排斥值差,选取差值最大的节点为目标语境节点,在证据向量分组中筛选目标证据集合,包括:

24、读取用户问题向量、语境节点向量及语境节点之间的同层关联关系和跨层继承关联关系,基于用户问题向量与语境节点向量的相似度对语境节点进行初筛,得到候选语境节点集合;

25、对候选语境节点集合执行语境冲突检测,所述语境冲突检测包括分别判断候选语境节点之间是否存在地域属性互斥、流派或师承属性互斥、时代阶段属性不重叠以及应用场景属性不兼容的冲突类型,将存在任一冲突类型的候选语境节点标记为对立节点对,将对立节点对记录为竞争约束清单;

26、基于竞争约束清单生成语境竞争子图,所述语境竞争子图包括候选语境节点作为图节点、同层关联关系和跨层继承关联关系作为连接边,并新增对立边以连接对立节点对;

27、对语境竞争子图中的每一候选语境节点生成语境差异掩码,并在语境差异掩码约束下对用户问题向量执行语境投影得到对应语境投影向量,计算语境投影向量与对应语境节点向量的匹配值,并计算语境投影向量与其余候选语境节点向量的排斥值;

28、对每一候选语境节点计算匹配值与排斥值之差作为竞争差值,选取竞争差值最大的候选语境节点为目标语境节点,在目标语境节点证据向量分组中依据用户问题向量与证据向量及语境节点向量与证据向量的相似度进行排序,选取预设数量的证据文本形成目标证据集合。

29、可选的,所述在目标语境节点下构建工艺规范可逆双层规范体,包括:

30、读取目标语境节点对应的非遗文本、口述转写和档案记录数据,按照句段边界与工艺动作触发词对数据进行分段,生成工艺描述单元集合;

31、对各工艺描述单元执行工艺要素抽取,抽取得到步骤要素、材料要素、工具要素、动作要素和条件要素,以步骤要素为节点、以动作要素与条件要素构建依赖边,形成步骤依赖结构,形成骨架规范;

32、对骨架规范中的每一步骤节点建立参数区间条目和禁忌规则条目,将参数区间条目及禁忌规则条目与对应步骤节点绑定形成骨架约束表;

33、基于目标语境节点的流派或师承属性构建风格规范,所述风格规范包括术语白名单、术语同义映射表和表述模板库;

34、构建可逆映射关系,所述可逆映射关系包括正向映射表和回读映射表,其中正向映射表将工艺描述单元映射至骨架规范中的步骤节点及骨架约束表,回读映射表将自然语言大模型生成的步骤描述反向解析为步骤节点、参数区间条目和禁忌规则条目,并基于反向解析结果与骨架规范进行一致性校验;

35、在一致性校验中,当回读映射表解析得到的步骤顺序、参数区间条目或禁忌规则条目与骨架规范不一致时,生成修正规则条目,将修正规则条目写入表述模板库或写入骨架约束表的异常处理分支,形成随目标语境节点更新的工艺规范可逆双层规范体。

36、可选的,所述参数区间条目包括时间区间条目、温度区间条目、湿度区间条目和力度区间条目,所述禁忌规则条目包括材料替换禁忌条目、步骤并行禁忌条目、跳步禁忌条目和术语禁用条目。

37、可选的,所述生成初始交互结果,包括:

38、将用户输入文本表示为词元序列并输入自然语言大模型编码端,得到问题表示序列,将目标证据集合中的证据文本表示为证据词元序列并输入自然语言大模型编码端,得到证据表示序列;

39、将所述问题表示序列与证据表示序列进行拼接,并结合目标语境节点对应的语境节点向量进行融合,得到上下文输入序列,并将所述上下文输入序列输入自然语言大模型解码端;

40、根据工艺规范可逆双层规范体中的骨架规范生成步骤约束矩阵和参数约束矩阵,将步骤约束矩阵和参数约束矩阵加载至自然语言大模型的解码注意力层中作为约束掩码;

41、根据风格规范中的术语白名单、术语同义映射表和表述模板库生成术语约束向量和模板约束向量,将术语约束向量和模板约束向量注入自然语言大模型的输出层,限定输出词元的选择范围及句式结构;

42、在解码过程中,对当前时间步生成的候选词元序列进行约束评分,所述约束评分由基础生成概率与步骤约束矩阵、参数约束矩阵、术语约束向量和模板约束向量共同确定,选择约束评分最高的候选词元作为当前输出,并逐步生成完整的初始交互结果。

43、可选的,所述基于证据向量计算断言支持度并与对立断言支持度比对,包括:

44、对初始交互结果进行分句与语义标注,提取得到断言集合,并为每一断言生成对应的断言表示向量,同时标记为步骤断言、材料断言或参数断言;

45、将各断言表示向量与目标证据集合中的证据向量逐一进行相似度计算,得到相似度序列,并根据证据向量与目标语境节点向量的相关程度对相似度进行加权累加,得到对应断言的支持度;

46、针对每一断言生成对立断言集合,对对立断言集合中的各对立断言生成对应的对立断言表示向量,并通过与证据向量的相似度计算及加权累加得到各对立断言的支持度,选取其中最大值作为断言的对立断言支持度;

47、对每一断言的支持度与对应的对立断言支持度进行比较,当断言支持度高于对立断言支持度且二者差值达到预设阈值时,将断言标记为有效断言,否则标记为不确定断言;

48、当断言集合中所有断言均为有效断言时输出最终交互结果及目标语境节点信息和证据来源信息,当存在不确定断言时,根据不确定断言生成语境澄清提示或多版本结果并输出。

49、本发明的有益效果是:

50、本发明通过构建非遗语境格网并引入语境竞争机制,实现了对多源非遗数据中地域、流派及师承等差异的结构化表达与精准区分,使用户输入能够在多语境条件下进行有效匹配,避免了现有技术中因语境混淆导致的检索偏差和理解错误,从而显著提升了非遗信息交互过程中的语义准确性与语境一致性。

51、本发明通过改进mpnet模型并结合工艺规范可逆双层规范体,对自然语言生成过程施加步骤顺序、参数区间及术语表达的多维约束,使生成结果能够严格符合目标语境下的工艺规范要求,有效解决了现有技术中生成内容随意性强、工艺步骤错误及术语不规范的问题,从而提升了非遗知识表达的规范性与专业性。

52、本发明通过引入基于证据向量的断言支持度与对立断言支持度比对机制,实现了对生成结果的可验证评估与冲突识别,在多版本非遗知识并存的情况下能够自动筛选可信内容并提供语境澄清或多版本输出,提高了交互结果的可信度与可追溯性,为非遗信息查询、教学传承及数字化应用提供了更加可靠的技术支撑。