一种基于大模型的联想输入方法

摘要: 本发明涉及自然语言处理与智能人机交互,具体涉及一种基于大模型的联想输入方法。该方法利用深度学习技术对蒙古文语义结构和上下文依赖关系进行建模,实现面向完整词语级别...
一种基于大模型的联想输入方法

本发明涉及自然语言处理与智能人机交互,具体涉及一种基于大模型的联想输入方法。该方法利用深度学习技术对蒙古文语义结构和上下文依赖关系进行建模,实现面向完整词语级别的智能联想预测,适用于蒙古文文本输入、写作辅助及人机对话等应用场景。

背景技术:

1、随着深度学习与大语言模型(large language model,llm)技术的迅猛发展,智能输入法已从传统的基于词库匹配或n-gram统计模型的方式,逐步演进为以上下文感知、语义理解为核心的生成式交互系统。在汉语、英语等高资源语言中,基于transformer架构的大语言模型已被广泛应用于词语级联想、句子补全乃至段落生成等任务,显著提升了用户输入效率与表达自然度。这类系统的核心优势在于:能够通过自回归建模捕捉长距离依赖关系,并在用户输入一个或多个完整词语后,智能预测后续语境中最可能出现的下一个完整词语,从而实现真正意义上的“语义联想”,而非简单的字符或音节补全。

2、然而,在蒙古文等低资源少数民族语言领域,智能输入技术的发展仍严重滞后。目前主流的蒙古文输入法多采用两种技术路径:其一是基于静态词典的前缀匹配机制,仅支持对当前未完成词的拼写补全;其二是引入简化的循环神经网络(rnn)或浅层transformer模型,但训练语料规模有限,且往往将蒙古文先转写为拉丁字母,再在拉丁序列上进行建模,最后通过映射表还原为传统蒙古文字符。此类转写-建模-还原的间接处理方式存在多重弊端:首先,拉丁转写过程不可避免地损失蒙古文特有的正字法信息(如元音和谐、辅音同化、词内连写规则等);其次,转写映射并非一一对应,易导致歧义或错误还原;更重要的是,模型学习的是拉丁符号的统计规律,而非蒙古文本身的语言结构,难以准确反映真实语用习惯。

3、此外,现有蒙古文输入系统普遍混淆“输入补全”与“上下文联想”的功能边界。前者面向未完成词(如用户输入“ᠪᠢᠳ”时补全为“ᠪᠢᠳᠡ”)(我们),属于字符级任务;而后者应在用户完成一个完整词(如“ᠰᠠᠶᠢᠬᠠᠨ”)(美丽)后,预测如“ᠬᠡᠦᠬᠡᠨ”(女孩)、“ᠦᠵᠡᠮᠵᠢ”(景色)等语义相关的后续词,属于词语级语义推理任务。目前尚无公开技术方案能以原始蒙古文unicode字符为直接输入输出单元,构建端到端的大语言模型,实现多轮、自回归、上下文感知的完整词语联想。

4、因此,亟需一种不依赖拉丁转写、不涉及字符编码转换、完全基于原始蒙古文语料训练的大语言模型驱动的联想输入方法,以突破现有技术在语义深度、语言保真度和交互智能性方面的瓶颈,为蒙古文信息化提供核心技术支撑。

技术实现思路

1、为克服现有蒙古文输入技术中语义理解浅层化、依赖拉丁转写、混淆补全与联想功能等缺陷,本发明提出一种基于大模型的联想输入方法。该方法以原始蒙古文unicode字符为基本处理单元,构建端到端的自回归语言模型,在用户输入一个完整蒙古文词语后,动态预测语境中最可能接续出现的下一个完整词语,并支持多轮交互式链式联想。

2、本发明所提供的具体技术方案如下:

3、一种基于大模型的联想输入方法,包括以下步骤:

4、步骤1:蒙古文大语言模型的构建:采集大规模蒙古文文本语料,经清洗与分词处理后,以原始蒙古文字符为基本单元,训练基于transformer架构的自回归蒙古文大语言模型;

5、步骤2:接收用户输入的当前蒙古文词语,所述蒙古文词语由标准蒙古文unicode字符构成;

6、步骤3:将所述蒙古文词语作为词元token输入至所述大语言模型,获取模型基于当前上下文预测的下一个完整蒙古文词语的概率分布。

7、步骤4:从所述概率分布中选取高概率词语,形成候选联想词列表,候选联想词列表仅包含语法合法且语义连贯的完整蒙古文词语;

8、步骤5:向用户展示所述候选联想词列表,接收用户对其中一个候选词的选择;

9、步骤6:将用户选择的词语追加至输入序列末尾,并重复执行步骤3至5,进行多轮自回归式词语联想,直至模型输出终止信号或用户主动结束。

10、进一步的,所述蒙古文大语言模型具体构建过程如下:

11、步骤1.1:获取蒙古文原始文本语料,所有文本均以unicode标准编码的传统蒙古文字符表示,然后进行语料清洗和标准化处理;

12、步骤1.2:采用基于子词单元的无监督分词策略对蒙古文进行切分,具体直接在原始蒙古文字符序列上训练分词器,不引入任何中间表示;

13、步骤1.3:采用标准transformer解码器架构构建自回归蒙古文大语言模型,该大语言模型由层堆叠的transformer层组成,训练采用最大似然估计准则。

14、进一步的,所述transformer层包含多头自注意力机制与位置前馈神经网络,并辅以残差连接与层归一化;

15、给定输入蒙古文词元序列,大语言模型首先通过嵌入层将其映射为稠密向量,然后引入位置编码得到最终输入;

16、随后各transformer层依次计算上下文感知的表示,多头自注意力机制允许大语言模型在不同子空间中并行关注上下文的不同部分;

17、大语言模型训练采用最大似然估计准则,通过最小化负对数似然损失函数学习蒙古文词语间的自然语言共现规律与语义依赖关系;

18、预测概率通过transformer解码器最后一层隐藏状态经线性投影与softmax归一化得到。

19、进一步的,所述用户输入的当前蒙古文词语是一个语法完整且语义独立的词语单位。

20、进一步的,所述候选联想词列表通过受限采样策略选择得到,然后对采样结果进行后过滤,后过滤包括剔除标点符号、功能词、子词片段及不符合蒙古语基本词类分布的异常项,最终形成由个完整蒙古文词语组成的候选联想词列表。

21、进一步的,还包括内置智能终止机制:在每次预测时,同时计算特殊终止词元的输出概率,当该概率超过预设阈值时,系统判定当前语义单元已完整,自动停止联想并提示用户结束输入。

22、进一步的,所述多轮自回归式词语联想具体如下:每一轮仅预测一个后续完整蒙古文词语,用户确认后将其加入上下文序列,作为下一轮预测的新前缀;在第轮预测时,系统缓存前个词元在各transformer层中计算得到的键与值矩阵,当处理新输入词元时,仅需计算其对应的查询矩阵,并与缓存中的键与值矩阵进行注意力计算,无需重复处理历史序列。

23、本发明的有益效果如下:

24、1.语言保真度高,避免信息丢失:本发明直接以原始蒙古文unicode字符为基本处理单元,无需经过拉丁转写或字符集映射。这有效避免了转写过程中蒙古文特有的正字法信息(如元音和谐律、辅音同化、词内连写规则)丢失,确保了模型学习的是蒙古文本身的语言结构而非拉丁符号的统计规律,显著提升了语言处理的准确性和保真度。

25、2.语义理解深入,实现词语级联想:区别于传统输入法的字符级拼写补全,本发明基于大语言模型实现完整词语级别的语义联想。模型能够捕捉长距离依赖关系,在用户输入完整词后预测语境中最可能出现的后续完整词,实现了真正的语义联想,大幅提升了输入内容的连贯性与自然度。

26、3.交互智能性强,支持链式扩展:本发明支持多轮交互式链式联想,每一轮预测结果均可作为下一轮的上下文。这种自回归式的交互方式能够辅助用户完成整句甚至段落的构建,特别适用于蒙古文文本输入、写作辅助及人机对话等场景。

27、4.推理效率高,响应速度快:在多轮联想过程中,本发明引入键值缓存(kv cache)技术,缓存历史序列的键与值矩阵,避免了每次预测时对历史上下文的重复计算。这将每轮推理的时间复杂度从线性降低至常数级,显著提升了响应速度,确保在资源受限设备上也能实现流畅交互。

28、5.泛化能力强,适应开放域场景:采用基于子词单元(如bpe或sentencepiece)的无监督分词策略,既能控制词表规模,又能通过子词组合机制处理未登录词(oov)。这使得模型在面对新词、专有名词或低频词时仍具有良好的泛化能力和预测准确性。