题目推荐方法、装置、设备及存储介质与流程

1.本技术实施例涉及人工智能(artificial intelligence，ai)技术领域，尤其涉及一种题目推荐方法、装置、设备及存储介质。


背景技术：

2.随着人工智能技术的不断进步，在线学习也越来越受学生的欢迎。而通过做题来巩固学习成果是学习过程中重要的一个环节。
3.现有的出题方法是：服务器将海量的题目存入题库，当需要考核用户某个单词时，服务器可以在该题库中匹配和该单词有关的题目，并向用户推荐该题目。然而，由于题目形式具有较大的多样性，题目数量庞大，给每一道题目打上知识点标签会耗费大量教研人力，因此录入的题目大多不包含知识点，这将导致无法评估用户做的题目包含什么知识点，只能通过题海战术来覆盖所有知识点，增加了学生重复练习的时间和课业负担，从而降低了用户体验感。


技术实现要素：

4.本技术提供一种题目推荐方法、装置、设备及存储介质，从而提高用户体验感。
5.第一方面，提供一种题目推荐方法，包括：获取待考核单词和待考核知识点；将待考核单词和待考核知识点输入至目标模型，以得到待推荐题目；向用户推荐待推荐题目。
6.在一些可实现方式中，将待考核单词和待考核知识点输入至目标模型，以得到待推荐题目之前，还包括：获取预训练语言模型和多个训练样本；通过多个训练样本训练预训练语言模型，以得到目标模型；其中，每个训练样本包括：题目、题目对应的答案和答案对应的知识点。
7.在一些可实现方式中，方法还包括：确定答案对应的知识点。
8.在一些可实现方式中，确定答案对应的知识点，包括：获取答案对应的pos标签或者pos标签组；根据答案对应的pos标签或者pos标签组与知识点的映射关系，确定答案对应的知识点。
9.在一些可实现方式中，获取答案对应的词性pos标签或者pos标签组，包括：将答案嵌入题目中；将带有答案的题目输入至词性标注模型中，以得到题目中各个单词的pos标签；从题目中各个单词的pos标签中获取答案对应的pos标签或者pos标签组。
10.在一些可实现方式中，获取预训练语言模型，包括：获取多个训练题目和自回归语言模型；通过多个训练题目训练自回归语言模型，以得到预训练语言模型。
11.第二方面，提供一种题目推荐装置，其特征在于，包括：第一获取模块、输入模块和推荐模块，其中，第一获取模块用于获取待考核单词和待考核知识点；输入模块用于将待考核单词和待考核知识点输入至目标模型，以得到待推荐题目；推荐模块用于向用户推荐待推荐题目。
12.在一些可实现方式中，装置还包括：第二获取模块和训练模块，第二获取模块用于
获取预训练语言模型和多个训练样本；训练模块用于通过多个训练样本训练预训练语言模型，以得到目标模型；其中，每个训练样本包括：题目、题目对应的答案和答案对应的知识点。
13.在一些可实现方式中，装置还包括：确定模块，用于确定答案对应的知识点。
14.在一些可实现方式中，确定模块具体用于：获取答案对应的pos标签或者pos标签组；根据答案对应的pos标签或者pos标签组与知识点的映射关系，确定答案对应的知识点。
15.在一些可实现方式中，确定模块具体用于：将答案嵌入题目中；将带有答案的题目输入至词性标注模型中，以得到题目中各个单词的pos标签；从题目中各个单词的pos标签中获取答案对应的pos标签或者pos标签组。
16.在一些可实现方式中，第二获取模块具体用于：获取多个训练题目和自回归语言模型；通过多个训练题目训练自回归语言模型，以得到预训练语言模型。
17.综上，本技术通过训练好的目标模型自动生成与单词和知识点对应的题目，使得该题目可以覆盖用户需要掌握的单词以及相关的知识点，帮助用户高效、全面地掌握单词和相关知识点，从而提高用户体验感。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本技术实施例提供的一种应用场景示意图；
20.图2为本技术实施例提供的一种题目推荐方法的流程图；
21.图3为本技术实施例提供的一种界面示意图；
22.图4为本技术实施例提供的目标模型的训练过程示意图；
23.图5为本技术实施例提供的一种题目推荐装置500的示意图；
24.图6是本技术实施例提供的电子设备600的示意性框图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
zoo yesterday”“a：went b：is going to c：go d：going to”。
41.示例2：假设用户输入的待考核单词是：“go”，待考核知识点是“be 现在分词以及介词”，服务器向用户推荐的题目可以是填空题：“he_to the zoo next week”，或者，选择题：“he_to the zoo next week”“a：went b：is going to c：go d：going to”。
42.本技术通过目标模型可以自动生成与待考核单词和待考核知识点对应的题目，使得该题目可以覆盖用户需要掌握的单词以及相关的知识点，帮助用户高效、全面地掌握单词和相关知识点，从而提高用户体验感。
43.下面将介绍目标模型的获取过程：
44.在一些可实现方式中，服务器可以利用多个训练题目，通过该训练题目来训练自回归语言模型，得到一个预训练语言模型。然后，服务器可以通过多个训练样本来训练该预训练语言模型，以得到目标模型，如图4所示。或者，服务器可以建立一个初始模型，该模型的输入是单词和知识点，输出是和该单词和知识点相关的题目，也就是说，该初始模型的输入和输出与该目标模型的输入和输出相同，不同的是，该初始模型的参数与目标模型的参数不同。进一步地，服务器可以通过多个训练样本来训练该初始模型，以得到目标模型。
45.应理解的是，上述多个训练题目均是无标注的训练题目，即没有进行词性标注的训练题目。例如可以将中小学英语题目作为训练题目。
46.应理解的是，根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的模型被称为自回归语言模型(autoregressive language model)。
47.在一些可实现方式中，自回归语言模型可以是结合双向和自回归转换器的模型(a model combining bidirectional and auto-regressive transformers，bart)模型、文本到文本传输转换器(text-to-text transfer transformer、t5)模型等，但不限于此。
48.bart是一种去噪自动编码器，建立了从被损坏的文档到原始文档的一个映射，它使用了一个序列至序列(seq2seq)的模型，在这个模型当中包含了一个双向的编码器(encoder)和一个从左到右的自回归解码器(autoregressive decoder)，预训练的时候bart是通过破坏文本再优化重建损失。
49.t5模型的基本思想是将每个自然语言处理(natural language processing，nlp)问题都视为文本到文本(text-to-text)的问题，即将文本作为输入并生成新的文本作为输出，这允许将相同的模型、目标、训练步骤和解码过程，直接应用于每个任务。
50.应理解的是，上述预训练语言模型也是一个自回归语言模型，它是后续生成题目的基础，可以有效建立词意、语法、题目结构等信息。
51.应理解的是，上述每个训练样本包括：题目、题目对应的答案和答案对应的知识点。
52.在一些可实现方式中，在训练预训练语言模型时，可以将题目对应的答案和该答案对应的知识点输入至预训练语言模型，以得到一个预测题目，根据该预测题目和训练样本中带的实际题目计算该预训练语言模型的损失，当损失小于预设值时，则停止训练预训练语言模型。或者，服务器判断对预训练语言模型的训练次数是否达到预设次数，如果达到预设次数，则停止训练预训练语言模型。又或者，服务器在通过上述多个训练样本训练预训练语言模型后，得到训练后的预训练语言模型的参数，服务器判断该参数是否收敛，如果收
敛，则停止训练预训练语言模型。总之，本技术针对预训练语言模型的训练方式不做限制，并且对训练停止条件也不做限制。
53.应理解的是，上述目标模型的输入是单词和知识点，输出是和该单词和知识点相关的题目。
54.应理解的是，上述每个训练样本中答案对应的知识点可以通过以下任一可实现方式得到，但不限于此：
55.在一种可实现方式中，服务器可以获取答案对应的词性(parts of speech，pos)标签或者pos标签组，并根据该答案对应的pos标签或者pos标签组与知识点的映射关系，确定答案对应的知识点。
56.在另一种可实现方式中，服务器可以直接将答案输入至一个神经网络模型中，通过该神经网络模型即可得到该答案对应的知识点。其中，该神经网络模型可以通过大量的训练样本得到，每个训练样本包括：答案和答案对应的知识点。
57.下面针对第一个可是实现方式进行详细阐述：
58.应理解的是，每个单词对应一个pos标签，而如果一个答案包括多个单词，则该答案中所有单词对应的pos标签构成一个pos标签组。
59.示例3：假设一个题目的答案是went，这是一个单词，而它对应的就是一个pos标签，如“vbd”，其表示动词过去式。
60.示例4：假设一个题目的答案是is going to，这是由三个单词构成的答案，因此该答案对应的则是一个pos标签组，如“is”对应的pos标签是“vbz”表示动词第三人称单数，“going”对应的pos标签是“vbg”，表示动词分词形式，“to”对应的pos标签是“in”，表示介词。那么该答案对应的pos标签组则是：“vbz”、“vbg”、“in”。
61.服务器可以将该答案嵌入题目中，将带有答案的题目输入至词性标注模型中，以得到题目中各个单词的pos标签，从题目中各个单词的pos标签中获取答案对应的pos标签或者pos标签组。
62.应理解的是，上述词性标注模型可以是现有的任何词性标注模型，本技术对此不做限制。
63.在一些可实现方式中，服务器可以建立一些高频的pos标签或者pos标签组与知识点的映射关系。
64.示例性的，表1所示的是一些高频的pos标签或者pos标签组与知识点的映射关系，如表1所示：
65.表1
66.67.[0068][0069]
进一步地，服务器在获取到上述高频的pos标签或者pos标签组与知识点的映射关系之后，可以通过查表的方式，查找上述答案对应的pos标签或者pos标签组所对应的知识点。
[0070]
示例5：假设一个题目的答案是went，这是一个单词，而它对应的就是一个pos标签，如“vbd”，通过查找表1可知，该标签对应的知识点是：动词过去式。
[0071]
示例6：假设一个题目的答案是is going to，这是由三个单词构成的答案，因此该答案对应的则是一个pos标签组，如“is”对应的pos标签是“vbz”表示动词第三人称单数，“going”对应的pos标签是“vbg”，表示动词分词形式，“to”对应的pos标签是“in”，表示不定式。那么该答案对应的pos标签组则是：“vbz”、“vbg”、“in”。通过查找表1可知，该标签对应的知识点是：be 现在分词以及介词。
[0072]
在本技术中，服务器可以建立一些高频的pos标签或者pos标签组与知识点的映射关系，基于此，服务器可以查找答案对应的知识点。
[0073]
图5为本技术实施例提供的一种题目推荐装置500的示意图，其中，该题目推荐装置500可以是如图1所示的服务器120，但不限于此，如图5所示，该题目推荐装置500包括：第一获取模块510、输入模块520和推荐模块530，其中，第一获取模块510用于获取待考核单词和待考核知识点；输入模块520用于将待考核单词和待考核知识点输入至目标模型，以得到待推荐题目；推荐模块530用于向用户推荐待推荐题目。
[0074]
在一些可实现方式中，题目推荐装置500还包括：第二获取模块540和训练模块550，第二获取模块540用于获取预训练语言模型和多个训练样本；训练模块550用于通过多个训练样本训练预训练语言模型，以得到目标模型；其中，每个训练样本包括：题目、题目对应的答案和答案对应的知识点。
[0075]
在一些可实现方式中，题目推荐装置500还包括：确定模块560，用于确定答案对应的知识点。
[0076]
在一些可实现方式中，确定模块560具体用于：获取答案对应的pos标签或者pos标签组；根据答案对应的pos标签或者pos标签组与知识点的映射关系，确定答案对应的知识点。
[0077]
在一些可实现方式中，确定模块560具体用于：将答案嵌入题目中；将带有答案的题目输入至词性标注模型中，以得到题目中各个单词的pos标签；从题目中各个单词的pos标签中获取答案对应的pos标签或者pos标签组。
[0078]
在一些可实现方式中，第二获取模块540具体用于：获取多个训练题目和自回归语言模型；通过多个训练题目训练自回归语言模型，以得到预训练语言模型。
[0079]
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图5所示的装置500可以执行图2对应的方法实施例，并且装置500中的各个模块的前述和其它操作和/或功能分别为了实现图2中的各个
方法中的相应流程，为了简洁，在此不再赘述。
[0080]
上文中结合附图从功能模块的角度描述了本技术实施例的装置500。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本技术实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本技术实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
[0081]
图6是本技术实施例提供的电子设备600的示意性框图。该电子设备600可以是如图1所示的服务器120，但不限于此。
[0082]
如图6所示，该电子设备600可包括：
[0083]
存储器610和处理器620，该存储器610用于存储计算机程序，并将该程序代码传输给该处理器620。换言之，该处理器620可以从存储器610中调用并运行计算机程序，以实现本技术实施例中的方法。
[0084]
例如，该处理器620可用于根据该计算机程序中的指令执行上述方法实施例。
[0085]
在本技术的一些实施例中，该处理器620可以包括但不限于：
[0086]
通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
[0087]
在本技术的一些实施例中，该存储器610包括但不限于：
[0088]
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0089]
在本技术的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器610中，并由该处理器620执行，以完成本技术提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。
[0090]
如图6所示，该电子设备还可包括：
[0091]
收发器630，该收发器630可连接至该处理器620或存储器610。
[0092]
其中，处理器620可以控制该收发器630与其他设备进行通信，具体地，可以向其他
设备发送信息或数据，或接收其他设备发送的信息或数据。收发器630可以包括发射机和接收机。收发器630还可以进一步包括天线，天线的数量可以为一个或多个。
[0093]
应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
[0094]
本技术还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本技术实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
[0095]
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本技术实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0096]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0097]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0098]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
[0099]
以上该，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以该权利要求的保护范围为准。