本发明涉及语言建模、问答系统，属于量子计算和深度学习领域的一个研究问题。提出了一种基于量子测量与酉变换技术的语言模型及其构建方法。
背景技术：
随着计算机科学的飞速发展以及人工智能的长足进步，自然语言处理作为人工智能领域的核心技术，其研究价值不言而喻。而且在自然语言处理中，语言模型是一重要研究方向。语言模型的基本任务就是利用计算机建模人类语言的内在规律，进而使计算机可以完成语言理解任务和语言生成任务。在应用领域，语言模型有助于自动问答、信息检索、机器翻译等任务的完成。
在语言模型发展初期，语言学家通过语言学知识创建一系列文法规则，设计出文法型语言模型[1，2]。但是这种语言模型不能处理稍微复杂的句子，它的问题有两点：(1)通过文法规则覆盖20％的真实句子，需要上万条文法规则，因此无法靠文法规则覆盖所有的真实句子；(2)即便可以统计出全部的文法规则，也很难使用计算机进行编码。由于文法型语言模型的缺陷，基于统计的语言模型应运而生。统计语言模型是从概率统计角度出发，解决自然语言上下文相关的特性的数学模型，通过计算概率分布参数，推断出自然语言片段出现的可能性。统计语言模型可以分为以下两种：
(1)词袋模型[3]，也称一元语言模型，假设一篇文档或词的序列可以看作是单词的组合，这些单词不存在顺序信息，是彼此相互独立的。这样做的结果导致不能建模词语之间的语义关联。因此，在一元语言模型的基础上推出了多元语言模型(n-gram)，它建模了当前单词与它前n个单词之间的相关性，公式表示为
p(xi＝xi|xi-1＝xi-1，xi-2＝xi-2，...，xi(n-1)＝xi(n-1)，)＝q(xi|xi-1，xi-2，...，xi-(n-1))
由多元语言模型建模出的句子概率可以表示为
但是多元语言模型的计算范围很小，不能建模长程依赖关系，因此在应用中，会限制它的实际效果。
(2)潜在语义索引模型[4]，本质上是把每个特征映射到了一个更低维的子空间，即将每一个单词嵌入到一个子空间中，这个子空间是由奇异值分解得到的特征向量张成的。在这个子空间中，存在语义关联的单词之间，其向量表示也是相似的。
最常用的语言模型建立在深度学习框架下的神经网络语言模型[5，6]。这一语言模型基于嵌入子空间的假设[7]，其基本原理为将词表中的词语表示为一个固定长度为m的向量形式c(w)，整个词表用一个m×|v|的矩阵表示，每一列为一个词向量。然后找到词wt的上下文context(wt)，最初设定的上下文context(wt)是词wt的前n-1个词语，并把这n-1个词语的词向量首尾相接，形成维度为(n-1)m的向量作为神经网络的输入，其中n小于5。所以nnlm输入层的大小已经确定为(n-1)m，隐层的规模由人工指定，输出层的大小为|v|，设定为|v|是因为输入特征为context(wt)对应的(n-1)m维的向量，通过神经网络语言模型后，期望的输出是词语wt，即输出类似于模型学习到的到标签的映射，因为共有|v|个词语，所以输出层维度为|v|，wt在词表v中的下标对应的维度就是映射wt的得分，softmax把该得分归一化为概率。
假设词w的上下文词拼接成一个向量xw，在神经网络中的计算如下
在向量yw＝{yw，1，yw，2，...，yw，|v|}中的每一个分量yw，i表示当前词为词表的第i个词，且上下文词为context(w)的概率，求概率还需要对yw做一个softmax归一化，如下所示
这里未知参数是神经网络中的权重w和u，以及偏差d1和d2。利用梯度上升来求解位置参数θ，即
其中r(θ)是正则化项，为了防止过拟合现象。目前常见的神经网络语言模型有bert[8]、gpt-2[9]、gpt-3[10]等。
目前，通过研究表明，在信息检索领域中，在计算文档相关性分数时，只是将不同的依赖信息或特征得到的分数做线性加权，并不能有机地将不同的依赖信息统一到一种原则性的语言模型框架下[11]。针对这一问题，由sordoni等[12]提出量子语言模型(quantumlanguagemodel，qlm)，主要思想是利用量子力学中的密度矩阵来建模单词之间的相互依赖关系。利用投影算子来表示单词或词组，使用密度矩阵用来测量每个可观测量子态的出现概率，即每个单词在句子中出现的概率，单词或词组的密度矩阵构成的集合组合一篇文档或查询，通过极大似然估计来求出文档或查询的密度矩阵，然后利用vn散度来计算文档和查询的相关性。在ad-hoc中，比一元语言模型的效果有显著提升。然而量子语言模型使用的是one-hot向量来表示单词，因此不能建模全局语义关系；而且不能进行端到端的训练，不能够将文本的表示、匹配，以及排序结合起来，不能联合优化，从而限制了他的使用范围和推广。针对这一问题，zhang等人[13]提出了端到端量子语言模型，它的思想同量子语言模型近似，也是使用密度矩阵来建模词与词之间的依赖关系，使用词向量来表示单词，在密度矩阵中建模了全局语义信息。使用单词的密度矩阵线性组合来表示question和answer，并将两组密度矩阵相乘，使用迹内积或卷积神经网络来计算两个矩阵之间的相似度，并进行反向传播，训练网络参数。在语音识别领域，量子语言模型[14]使用酉变换和量子测量来建模词序关系，对每一个单词对应词向量的每一维都定义一个酉矩阵。但是，单词的词向量维度比较大，因此也存在很多的参数需要学习优化。
同时，在自然语言也中存在量子性质，即单词之间建立的依赖关系存在量子纠缠现象[15]，在情感分析任务中，存在着量子干涉现象[16]。因此在自然语言处理领域中，在量子力学数学框架下发展语言模型是很有研究前景和价值的。
[参考文献]
[1]minskym.semanticinformationprocessing.cambridge：mitpress，1968.440-441
[2]schankr.conceptualinformationprocessing.amsterdam：elsevierscienceinc，1975.5-21
[3]harriszs.distributionalstructure.word，1954，10：146-162
[4]deerwesters，dumaisst，furnasgw，etal.indexingbylatentsemanticanalysis.jamsocinfsci，1990，41：391-407
[5]xuw,rudnickya.canartifificialneuralnetworkslearnlanguagemodels-in:procedingsofthe6thinternationalconferenceonspokenlanguageprocessing,2000
[6]bengioy，ducharmer，vincentp，etal.aneuralprobabilisticlanguagemodel.jmachlearnres，2003，3：1137-1155
[7]sunf，guoj，lany，etal.sparsewordembeddingsusingl1regularizedonlinelearning.in：proceedingsofthe25thinternationaljointconferenceonartifificialintelligence，2016.2915-2921
[8]devlinj，changmw，leek，etal.bert：pre-trainingofdeepbidirectionaltransformersforlanguageunderstanding[j].arxivpreprintarxiv：1810.04805，2018.
[9]radforda，wuj，childr，etal.languagemodelsareunsupervisedmultitasklearners[j].openaiblog，2019，1(8)：9.
[10]browntb，mannb，rydern，etal.languagemodelsarefew-shotlearners[j].arxivpreprintarxiv：2005.14165，2020.
[11]metzlerd，croftwb.amarkovrandomfifieldmodelfortermdependencies.in：proceedingsofthe28thannualinternationalacmsigirconferenceonresearchanddevelopmentininformationretrieval.salvador，2005.472-479
[12]sordonia，niej，bengioy.modelingtermdependencieswithquantumlanguagemodelsforir.in：proceedingsofthe36thinternationalacmsigirconferenceonresearchanddevelopmentininformationretrieval，dublin，2013.653-662
[13]zhangp，niuj，suz，etal.end-to-endquantum-likelanguagemodelswithapplicationtoquestionanswering[c]//proceedingsoftheaaaiconferenceonartificialintelligence.2018，32(1).
[14]basilei，tamburinif.towardsquantumlanguagemodels[c]//proceedingsofthe2017conferenceonempiricalmethodsinnaturallanguageprocessing.2017：l840-1849.
[15]xiem，houy，zhangp，eta1.modelingquantumentanglementsinquantumlanguagemodels[j].2015.
[16]wangb，zhangp，lij，etal.explorationofquantuminterferenceindocumentrelevancejudgementdiscrepancy[j].entropy，2016，18(4)：144.
技术实现要素：
本发明的目的是为了克服现有技术中的不足，提供一种基于量子测量与酉变换技术的语言模型及构建方法，并可以通过端到端的方法来训练网络模型。
本发明的目的是通过以下技术方案实现的：
一种基于量子测量与酉变换技术的语言模型的构建方法，基于量子测量技术对复合系统进行量子测量，并对量子测量后的复合系统进行酉变换，融合上文信息，然后求解约化密度矩阵，再与下文组成复合系统，并循环上述过程，最后生成文本表示，并进行下游任务。
本发明还提供一种基于量子测量与酉变换技术的语言模型，包括复合系统模块、量子测量模块、酉变换模块、约化密度矩阵模块和卷积模块；
复合系统模块用于将输入文本与特征矩阵进行张量积运算，构成复合系统；首先构建特征矩阵，特征矩阵是对answer特征的假设；之后将输入的question中每一个单词的词向量做外积，组成单词密度矩阵，并将所有单词的密度矩阵相加，获得question的密度矩阵表示；最终将特征矩阵与question的密度矩阵做张量积运算，得到复合系统；
量子测量模块用于通过使用测量算子对复合系统进行量子测量；首先构造测量算子，即单位矩阵和词向量外积矩阵的张量积，量子测量过程就是将测量算子与复合系统相乘，再乘上测量算子的共轭转置，最后得到经过量子测量后的复合系统；
酉变换模块用于将经过量子测量的复合系统进行演化，将量子测量的信息保留在特征矩阵中，进而建模出整个question序列的语义信息；得到经过量子测量和酉变换的复合系统；
约化密度矩阵模块用于将经过量子测量和酉变换的复合系统进行分解，得到关于特征矩阵的约化密度矩阵，约化密度矩阵包含了question序列的信息；
卷积模块用于对约化密度矩阵和answer密度矩阵构造的联合表示进行卷积池化操作，采用了一个二维的卷积神经网络提取联合表示的特征，提取的联合表示的特征表示文本之间的相似距离，最后进行匹配训练。
进一步的，复合系统ρsystm表示为：
question的密度矩阵表示为ρqustion；特征矩阵为ρfeature；|featurei>和|featurei′>表示特征矩阵的基向量，在经过一轮量子测量和酉变换后，表示为约化密度矩阵的单位正交化的特征向量；<featurei|和<featurei′|表示为|featurei>和|featurei′>的共轭转置；
进一步的，对复合系统的量子测量表示为
复合系统测量算子为∏system，question密度矩阵的测量算子为πw，复合系统为ρsystem，复合系统测量算子的共轭转置为
进一步的，酉变换模块中通过构造酉矩阵usystem，在初始化时，酉矩阵usystem表示为一个单位矩阵i，在经过一次训练后，对酉矩阵进行了参数更新，然后对更新后的酉矩阵进行奇异值分解计算，求出特征向量，然后对特征向量进行拼接得到下一轮的酉矩阵的近似表示；接下来进行酉变换，首先使用酉矩阵乘以经过量子测量后的复合系统，再乘以酉矩阵的共轭转置。
进一步的，约化密度矩阵看作是在理解了question信息的情况下，对answer特征的猜测，在后续进行矩阵相似度计算时，能够和正确answer的密度矩阵匹配到最高得分。
进一步的，使用卷积网络对约化密度矩阵和answer密度矩阵的联合矩阵进行卷积池化操作，计算约化密度矩阵和answer密度矩阵的匹配度得分，通过匹配度得分计算损失值，然后对整个网络进行参数更新。
进一步的，构造answer的密度矩阵与构造question的密度矩阵的过程相同。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1.本发明中，对question的编码方法与以往模型不同，本发明中的question编码采用了酉变换和量子测量技术，这样的设计使得单词的量子态表示的测量和演化保存了关于整个序列的信息，并存储在了特征矩阵中。首先将question中每个单词用密度矩阵表示，然后进行加权求和，接下来设一个对角矩阵作为特征矩阵，对角线元素值相等并且相加为1，将question的密度矩阵和特征矩阵求张量积，经过量子测量和酉变换，求出约化密度矩阵，这个约化密度矩阵是对question的理解后，可以理解为对answer的猜测。
2.本发明利用神经网络结构，反向传播训练网络参数，其中参数包括酉矩阵、卷积核权重与偏置、词向量。这样的设计同基于酉变换和量子测量的语音识别领域的量子语言模型相比，参数量大大减少，而且通过反向传播训练，使训练过程更加便捷；同问答系统的端到端量子语言模型相比，question的编码采用连续量子测量和酉变换，使question的信息编码在特征矩阵中，同时特征矩阵的初始化，是根据answer的特征假设均匀的分布在矩阵对角线上，因此特征矩阵也作为对answer的猜测进行更新数值。这样的编码方式更加符合序列建模的过程。
3.在wiki-qa数据集上，相比qlm模型，本发明在mrr值上提升了0.02，在map值上提升了0.02；在trac-qa数据集上，相比qlm模型，本发明咋mrr值上提升了0.01。
附图说明
图1是本发明语言模型的示意图。
图2是语言模型中卷积模块的示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1和图2所示，本发明提出的基于量子测量与酉变换技术建模语言模型中question编码部分包括四个模块：复合系统模块、量子测量模块、酉变换模块、约化密度矩阵模块，在计算矩阵相似度的部分，包括一个模块：卷积模块。
1.复合系统模块
复合系统模块的目的是创建一个特征矩阵和question密度矩阵经过张量积得到的一个复合系统，通过不断地量子测量和酉变换，将question序列的信息保存到特征矩阵中，并更新对answer的特征假设。
1.1创建特征矩阵
特征矩阵是对answer特征的假设，创建目的是和question密度矩阵构成复合系统，在经过量子测量时，可以将question中当前的单词信息整合到复合系统中，同时影响到特征矩阵的更新，进而在求解约化密度矩阵时，可以分解出带有question信息以及更新后的answer信息的特征矩阵。在初始化特征矩阵时，创建一个d×d维的对角矩阵即特征矩阵ρfeature，矩阵上对角线元素均为1/d，这表示初始时刻，由于没有任何先验知识作为假设背景，因此对answer的每个特征假设的概率是均等的。
1.2创建question密度矩阵
在创建question密度矩阵时，采用稠密的词向量作为输入，可以建模全局的语义信息到密度矩阵中，然后将每个单词的词向量做外积，得到单词的密度矩阵，再将question中所有的单词进行线性求和，得到question的密度矩阵表示。假设question中包含n个单词，词向量维度为d维，question中每个单词用dirac符号表示为|vi>，其中|vi>∈rd×1，那么question的密度矩阵ρquestion表示为
ρquestion＝∑i|pi∏i＝∑iλi|υi><υi|
其中question的密度矩阵ρquestion为一个对称矩阵，并且∑ipi＝1。λi表示词向量|υi>的权重。单词的词向量进行了单位化操作。这样表示出来的question密度矩阵能表达出单词之间的相互依赖关系。
1.3创建复合系统
复合系统的创建需要将特征矩阵和question密度矩阵进行张量积运算，表示为：
这个复合系统所在的复合系统空间表示为两个子系统空间的张量积，这个复合系统的基向量表示为子系统基向量之间的张量积，复合系统表示为：
其中question子系统空间为hquestion∈cd，特征矩阵子系统空间为hfeature∈cn，因此复合系统空间为hsystem∈cdn。使用这种方法的优点是，耦合系统随着时间进行演化，在两个纠缠的子系统之间产生相关性，从而通过量子测量和酉变换将序列的信息存储在特征矩阵中。然后，通过时间演化，这些信息被重新转换为单词的量子态，可以理解为将过去的序列信息成为特征矩阵的记忆，被保留下来，是多元语言模型思想的一种扩展。
2.量子测量模块
量子测量模块的目的是使用测量算子对复合系统进行量子测量。在量子力学中，量子测量包括投影测量、一般测量和povm测量。假设一个可观测的量子态|φ>在希尔伯特空间中处于叠加态的状态，可以表示为：
其中|ei〉表示希尔伯特空间的基向量，ai表示在基向量|ei>上的权重。使用本征空间中的一个测量算子，即πi＝|ei><ei|对可观测态|φ>进行量子测量，得到的概率p(ei|φ)表示为：
这个概率表示可观测态|φ〉坍缩到量子基本事件|ei〉的概率，进行量子测量后的可观测态表示为：
2.1创建测量算子
在复合系统中，首先要创建复合系统的测量算子，包括两个部分：question子系统测量算子
特征矩阵子系统测量算子πfeature表示为一个单位矩阵，即ifeature。将question子系统测量算子和特征矩阵子系统测量算子进行张量积计算，得到复合系统测量算子
2.2量子测量
在量子测量时，将复合系统左乘以复合系统测量算子，右乘以复合系统测量算子的共轭转置，即
复合系统测量算子为∏system；question密度矩阵的测量算子为πw；复合系统为ρsystem；复合系统测量算子的共轭转置为
3.酉变换模块
酉变换模块的目的是将经过量子测量的复合系统进行演化，将上一个量子测量的信息保留在特征矩阵中，进而建模出整个question序列的语义信息。在量子力学中，一个封闭的量子系统|φ>从时间t演化到时间t′，变成量子系统|φ′>，这个过程通过一个酉矩阵来刻画。
3.1创建酉矩阵
首先对于每次量子测量操作都匹配一个酉矩阵usystem，即酉矩阵的个数由量子测量次数决定。酉矩阵usystem表示为
其中ufeature为特征矩阵子系统的酉矩阵，
在初始化酉矩阵时，使用的是一个单位矩阵，因为酉矩阵u的性质表示为：
在进行训练时，酉矩阵是需要训练的参数，在反向传播后，需要保证酉矩阵仍能保证酉矩阵的性质，因此在训练后，需要将参数进行svd分解，将特征向量进行拼接，组成矩阵。
3.2进行酉变换
在创建完酉矩阵usystem后，接下来开始进行酉变换操作，即使用酉矩阵usystem乘以复合系统ρsystem′，再乘以酉矩阵的共轭转置
其中，|featurei>和|featurei′〉表示特征矩阵的基向量，在经过一轮量子测量和酉变换后，表示为约化密度矩阵的一组单位正交化的特征向量；<featurei|和<featurei′|表示为|featurei>和|featurei′>的共轭转置；
由此可以得到经过量子测量和酉变换之后的复合系统密度矩阵。复合系统的测量算子和酉矩阵应该是两个子系统的测量算子和酉矩阵的张量积，由于算力的限制，将两个过程分解为向量运算，这样大大减少了计算的开销。
4.约化密度矩阵模块
约化密度矩阵模块是将经过量子测量和酉变换的复合系统进行分解，得到关于特征矩阵的约化密度矩阵，这个约化密度矩阵包含了question信息，生成的约化密度矩阵可以看作是在“理解”了question信息的情况下，对answer特征的猜测，在后续进行矩阵相似度计算时，可以和正确answer的密度矩阵匹配到最高得分。计算约化密度矩阵的公式可以表示为：
其中，|featurei>和|featurei′>表示特征矩阵的基向量，在经过一轮量子测量和酉变换后，表示为约化密度矩阵的单位正交化的特征向量；<featurei|和<featurei′|表示为|featurei>和|featurei′>的共轭转置；
5.卷积模块
首先构造answer的密度矩阵表示，同构造question的密度矩阵是相同的过程。采用稠密的词向量作为输入，然后将每个单词的词向量做外积，得到单词的密度矩阵，再将answer中所有的单词进行线性求和，得到answer的密度矩阵表示。然后对约化密度矩阵ρfeature和answer密度矩阵ρanswer进行联合表示，即
接下来利用卷积神经网络对联合矩阵进行卷积池化操作，采用了一个二维的卷积神经网络提取联合表示的主要特征，这些特征表示文本之间的相似距离，然后进行匹配训练。
本实施例选用两个数据集作为实验材料，这些数据集被广泛应用于相关的研究中，分别为：trec-qa数据集和wiki-qa数据集。trec-qa是文本检索会议(trec)问答任务中使用的标准基准数据集。wiki-qa数据集是微软研究公司发布的一个开放领域问答数据集。其中每个question同时匹配5到6个answer，只有一个answer是正确的，所以每条数据除了question和answer，还有一个非0即1的标签数据，0表示当前问答对不匹配，1表示当前问答对相互匹配。数据集相关的具体信息见表1。对于模型的训练，将两个数据集分别划分了训练集、验证集和测试集。
本实施例中，使用mrr和map指标进行评估。mrr是把正确answer在被评价系统给出结果中的排序取倒数作为它的准确度，再对所有的question结果取平均。map是单个question的平均准确率，是每条正确answer检索出后的准确率的平均值。
表1数据集信息统计
表2的内容分别展示了本模型在两个数据集上的效果。通过性能评估结果可以看出，在不同数据集和不同评估的情况下，本发明模型都有了大的改善。本发明的基线模型主要包括四个，yu等人的模型、severyn等人的模型、wang等人的模型和qlm模型。其中qlm模型是量子信息检索中经典模型的模型。
表2基于三个数据集的评估对比结果
综上，相对于qlm使用极大似然估计的方法对文档或查询进行建模，进而对参数进行更新。本发明对question编码首先采用复合系统的方法，然后进行量子测量和酉变换，最后求出约化密度矩阵，通过反向传播，自动学习酉矩阵的参数，更新过程是一个联合优化过程，可以端到端的进行训练。而且通过不同顺序的量子测量和酉变换，可以很好的建模序列信息。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
