试题生成方法、试题生成装置、电子设备以及存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及自然语言处理、知识图谱、深度学习和智能搜索技术。具体地，涉及一种试题生成方法、试题生成装置、电子设备以及存储介质。


背景技术：

2.为了评估用户在学习或工作中相关知识和技能的掌握程度，可以通过考试的方式来实现。即，用户对试题进行答复，根据答复结果来评估用户对相关知识和技能的掌握程度。


技术实现要素：

3.本公开提供了一种试题生成方法、试题生成装置、电子设备以及存储介质。
4.根据本公开的一方面，提供了一种试题生成方法，包括：响应于试题生成请求，确定试题类型和考查内容；根据上述试题类型，确定试题处理策略；以及，利用上述试题处理策略，生成与考查内容相关的至少一个试题。
5.根据本公开的另一方面，提供了一种试题生成装置，包括：第一确定模块，用于响应于试题生成请求，确定试题类型和考查内容；第二确定模块，用于根据上述试题类型，确定试题处理策略；以及，第一生成模块，用于利用上述试题处理策略，生成与考查内容相关的至少一个试题。
6.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上所述的方法。
7.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上所述的方法。
8.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上所述的方法。
9.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
10.附图用于更好地理解本方案，不构成对本公开的限定。其中：
11.图1示意性示出了根据本公开实施例的可以应用试题生成方法及装置的示例性系统架构；
12.图2示意性示出了根据本公开实施例的试题生成方法的流程图；
13.图3示意性示出了根据本公开实施例的试题生成系统的示例示意图；
14.图4示意性示出了根据本公开实施例的试题生成装置的框图；以及
15.图5示意性示出了根据本公开实施例的适于实现试题生成方法的电子设备的框图。
具体实施方式
16.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
17.用户对试题进行答复，根据答复结果来评估用户对相关知识和技能的掌握程度。上述过程便涉及试题的生成。可以基于人工出题方式实现试题的生成。即，可以由出题人通过翻阅学科书籍、考试大纲和历史真题等方式获得的信息，对考查内容(即考点)和与考查内容对应的原试题进行修改的方式来生成与考查内容相关的试题。也可以根据获得的信息结合考查内容，生成与考查内容相关的试题。
18.基于人工出题的方式，人力成本较高，并且，受限于用户的思路，较难以生成创新性较高的试题。此外，上述方式的可泛化性较低，即，不同类别的考试依靠不同用户出题。
19.为此，本公开实施例提出了一种试题生成方案。响应于试题生成请求，确定试题类型和考查内容。根据试题类型，确定试题处理策略。利用试题处理策略，生成与考查内容相关的至少一个试题，实现了试题生成的自动化，因此，降低了人力成本且具有较高的可泛化性，此外，不受限于用户的思路，能够生成创新性较高的试题。
20.图1示意性示出了根据本公开实施例的可以应用试题生成方法及装置的示例性系统架构。
21.需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用试题生成方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的试题生成方法及装置。
22.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
23.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
24.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
25.服务器105可以是提供各种服务的各种类型的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
26.服务器105可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务(virtual private server，vps)中，存在的管理难度大，业务扩展性弱的缺陷。服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。
27.需要说明的是，本公开实施例所提供的试题生成方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的试题生成装置也可以设置于终端设备101、102、或103中。
28.或者，本公开实施例所提供的试题生成方法一般也可以由服务器105执行。相应地，本公开实施例所提供的试题生成装置一般可以设置于服务器105中。本公开实施例所提供的试题生成方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的试题生成装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
29.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
30.图2示意性示出了根据本公开实施例的试题生成方法的流程图。
31.如图2所示，该方法200包括操作s210～s230。
32.操作s210，响应于试题生成请求，确定试题类型和考查内容。
33.操作s220，根据试题类型，确定试题处理策略。
34.操作s230，利用试题处理策略，生成与考查内容相关的至少一个试题。
35.根据本公开的实施例，试题生成请求可以指用于请求处理生成与考查内容相关的试题的请求。试题生成请求可以响应于触发操作生成。触发操作可以包括选择操作。选择操作可以包括点击操作。试题类型可以包括客观题型和主观题型。客观题可以包括以下至少一项：选择题、判断题、连线题和填空题。主观题型可以包括以下至少一项：简答题、论述题、应用题和作文题。考查内容可以指需要考查的知识点。试题可以指针对各个领域的试题。例如，试题可以包括医学相关试题、法律相关试题或金融相关试题等。
36.根据本公开的实施例，试题处理策略可以指用于生成所利用的策略。试题处理策略可以包括试题生成策略和试题修改策略中的至少一项。从试题生成方式，试题类型可以包括与试题生成策略对应的类型和与试题修改策略对应的类型。针对上文所述的试题类型包括主观题和客观题，主观题或客观题均可以包括与试题生成策略对应的类型，还可以包括与试题修改策略对应的类型。
37.根据本公开的实施例，可以获取针对用于生成与考查内容相关的试题的试题生成请求，响应于试题生成请求，确定试题类型和考查内容。响应于试题生成请求，确定试题类型和考查内容可以包括：对试题生成请求进行解析，得到试题类型和考查内容。备选地，响应于试题生成请求，获取试题生成请求包括的试题类型和考查内容。
38.根据本公开的实施例，在确定试题类型和考查内容之后，可以根据试题类型确定与试题类型对应的试题生成策略。再基于试题生成策略，生成与考查内容相关的至少一个试题。
39.根据本公开的实施例，响应于试题生成请求，确定试题类型和考查内容。根据试题
类型，确定试题处理策略。利用试题处理策略，生成与考查内容相关的至少一个试题，实现了试题生成的自动化，因此，降低了人力成本且具有较高的可泛化性，此外，不受限于用户的思路，能够生成创新性较高的试题。
40.根据本公开的实施例，试题类型包括第一试题类型和第二试题类型。
41.根据本公开的实施例，试题处理策略包括试题生成策略和试题修改策略。
42.根据本公开的实施例，操作s220可以包括如下操作。
43.在确定试题类型是第一试题类型的情况下，确定试题处理策略是试题修改策略。在确定试题类型是第二试题类型的情况下，确定试题处理策略是试题生成策略。
44.根据本公开的实施例，试题修改策略可以指在原试题的基础上进行修改得到新试题的策略。试题生成策略可以指直接生成新试题的策略。第一试题类型可以指与试题修改策略对应的试题类型。第二试题类型可以指与试题生成策略对应的试题类型。
45.根据本公开的实施例，试题类型可以用试题类型标识表征。可以根据试题类型标识确定试题类型。在根据试题类型标识确定试题类型是第一试题类型的情况下，确定试题处理策略是试题修改策略。在根据试题类型标识确定试题类型是第二试题类型的情况下，确定试题处理策略是试题生成策略。
46.根据本公开的实施例，试题处理策略是试题修改策略。
47.根据本公开的实施例，操作s230可以包括如下操作。
48.根据考查内容，从目标试题库中确定与考查内容相关的原试题。利用试题修改策略对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题。
49.根据本公开的实施例，目标试题库可以存储多个类型各自的多个试题。如果确定试题处理策略是试题修改策略，则可以从目标试题库中确定与考查内容相关的原试题，再利用试题修改策略对原试题进行修改，使得修改后的试题满足预定要求，由此得到与考查内容相关的至少一个试题。
50.根据本公开的实施例，试题可以包括题干和选项。利用试题修改策略对原试题进行修改，得到与考查内容相关的至少一个试题可以包括：利用基于知识图谱对原试题进行修改，得到与考查内容相关的至少一个试题。备选地，利用基于数据增强对原试题进行修改，得到与考查内容相关的至少一个试题。
51.根据本公开的实施例，利用试题修改策略对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题，可以包括如下操作。
52.利用知识图谱对与考查内容相关的原试题进行修改，得到与所述考查内容相关的至少一个试题。
53.根据本公开的实施例，知识图谱可以表征任意两个实体、两个实体之间的关系和实体属性信息。在本公开实施例中，实体可以包括核心主体和非核心主体。实体属性信息可以包括核心主体的属性信息。还可以包括非核心主体的属性信息。非核心主体可以包括意图和目标实体。试题可以包括题干和选项。意图可以是根据题干确定的。意图可以指题干所指向的意思表达。例如，试题是医学相关试题。意图可以包括以下至少一项：检验、检查、诊断、鉴别诊断、治疗、病因、临床表现、药物、手术和并发症。试题是法律试题。意图可以包括以下至少一项：实施、判决和生效。
54.根据本公开的实施例，知识图谱可以包括至少两个粒度的知识图谱。至少两个粒
度的知识图谱可以是根据与学科相关的第一内容生成的。与学科相关的第一内容可以包括与学科相关的基础知识和延伸知识。延伸知识可以指将基础知识应用于实际业务中的知识。例如，试题是医学相关试题。延伸知识可以是临床知识。临床知识可以是与意图相关的知识。基础知识可以包括以下至少一项：病理学知识、生理学知识、微生物学知识和免疫学知识。临床知识可以包括以下至少一项：与检验相关的知识、与检查相关的知识、与诊断相关的知识和与治疗相关的知识。粒度可以表征知识图谱所涉及的层级。例如，层级可以包括实体层级和特征维度层级。相应的，至少两个粒度的知识图谱可以包括实体粒度图像和特征维度粒度图谱。
55.根据本公开的实施例，知识图谱可以包括实体粒度图谱和特征维度粒度图谱。
56.根据本公开的实施例，第一试题类型包括第一试题子类型和第二试题子类型。第一试题子类型表征与实体粒度相关的试题类型。第二试题子类型表征与特征维度粒度相关的试题类型。
57.根据本公开的实施例，利用知识图谱对与考查内容相关的原试题进行修改，得到与所述考查内容相关的至少一个试题，可以包括如下操作。
58.在确定第一试题类型是第一试题子类型的情况下，利用实体粒度图谱对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题。在确定第一试题类型是第二试题子类型的情况下，利用特征维度粒度图谱对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题。
59.根据本公开的实施例，实体粒度图谱可以表征与实体粒度层级对应的知识图谱。特征维度粒度图谱可以表征与特征维度层级对应的知识图谱。实体粒度图谱可以是以核心实体为核心，包括意图、目标实体、特征序列以及各自与核心实体之间关联关系的图谱。实体粒度图谱可以是以多元组的形式体现。即，实体粒度图谱可以是五元组{核心实体，意图，目标实体，特征序列}。特征维度图谱可以是以核心实体为核心，包括意图、目标实体、所属特征和各自与核心实体之间的关系关系的图谱。特征维度粒度图谱可以是以多元组的形式体现。即，特征维度粒度图谱可以是五元组{核心实体，意图，目标实体，所属特征}。所属特征也可以是以多元组的形式体现。
60.例如，目标实体是“新生儿呼吸窘迫综合征”。意图是“诊断理由”。“所属特征是“表现项类别、症状、临床表现、呼吸困难、特征序列1”。所属特征中“症状”是“表现项类型”的所属特征。“呼吸困难”和“特征序列1”是“临床表现”的所属特征。
61.例如，目标实体是“朗格汉斯细胞组织细胞增生症”。意图是“鉴别诊断”。所属特征是“推荐理由、在临床上难以与lch伴骨累及相鉴别。慢性多灶性骨髓炎可能与多灶性骨骼疾病混淆，可能少数患者有全身症状。组织活检：cd1a和langerhans蛋白(cd207)阴性。活检样品培养：细菌或非典型性分枝杆菌阳性、疾病项、骨髓炎”。所属特征中“在临床上难以与lch伴骨累及相鉴别。慢性多灶性骨髓炎可能与多灶性骨骼疾病混淆，可能少数患者有全身症状。组织活检：cd1a和langerhans蛋白(cd207)阴性。活检样品培养：细菌或非典型性分枝杆菌阳性”是“推荐理由”的所属特征。“骨髓炎”是“疾病项”的所属特征。
62.根据本公开的实施例，第一试题子类型是不涉及所属特征的试题类型。第二试题子类型是涉及所属特征的试题类型。实体粒度图谱可以用于实现试题类型是第一试题子类型的试题生成。特征维度粒度图谱可以用于实现试题类型是第二试题子类型的试题生成。
63.根据本公开的实施例，在根据试题类型确定第一试题类型是第一试题子类型的情况下，将实体粒度图谱确定为用于生成与考查内容相关的至少一个试题的知识图谱。在根据试题类型确定第一试题类型是第二试题子类型的情况下，将特征维度粒度图谱确定为用于生成与考查内容相关的至少一个试题的知识图谱。
64.根据本公开的实施例，利用实体粒度图谱对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题，可以包括如下操作。
65.确定与原试题对应的目标实体。根据实体粒度图谱，确定与目标实体相关的至少一个意图。根据实体粒度图谱，确定与至少一个意图中的每个意图对应的选项。利用至少一个意图替换原试题的意图，得到至少一个第一修改题干。根据至少一个第一修改题干和与至少一个意图中的每个意图对应的至少一个选项，得到与考查内容相关的至少一个试题。
66.根据本公开的实施例，可以对原试题进行命名实体识别，得到与原试题对应的目标实体。例如，可以将原试题输入命名实体模型，得到与原试题对应的目标实体。在确定目标实体之后，可以从知识图谱中确定与目标实体相关的一个或多个意图。再针对至少一个意图中的每个意图，将意图替换原试题的意图，并结合原试题的题干包括的其他部分，得到修改题干。确定与意图对应的正确选项。再从与至少一个意图中除该意图以外的其他意图对应的正确选项中确定预定数目的正确选项作为混淆选项，根据修改题干、正确选项和混淆选项，得到与考查内容相关的试题。由此可以得到与考查内容相关的至少一个试题。
67.例如，原试题的题干是“急性阑尾炎的初步诊断是()”。与原试题的题干对应的意图是“初步诊断”。目标实体是“急性阑尾炎”。针对“初步诊断”的解答不涉及所属特征，因此，可以确定试题类型是第一试题子类型。由此，可以根据实体粒度图谱，确定与目标实体相关的至少一个意图可以包括“检查”和“治疗”。例如，可以利用“检查”替换原试题的“初步诊断”，得到第一修改题干“急性阑尾炎的检查是()”。可以利用“治疗”替换原试题的“初步诊断”，得到第一修改题干“急性阑尾炎的治疗是()”。
68.根据本公开的实施例，利用特征维度粒度图谱对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题，可以包括如下操作。
69.确定与原试题对应的所属特征。根据特征维度粒度图谱，确定与所属特征相关的至少一个其他所属特征。保留原试题的正确选项，利用至少一个其他所属特征替换原试题的其他选项，得到与考查内容相关的至少一个试题。
70.根据本公开的实施例，原试题的题干是“急性阑尾炎的诊断理由是()”。与原试题的题干对应的意图是“诊断”。目标实体是“急性阑尾炎”。所属特征是“诊断理由”。针对“诊断理由”的解答涉及所属特征，因此，可以确定试题类型是第二试题子类型。由此，可以根据特征维度粒度图谱，确定与所属特征相关的至少一个其他所属特征，即，确定与所属特征相关的至少一个其他“诊断理由”。保留原试题的正确选项，利用至少一个其他“诊断理由”替换原试题的其他选项，得到与考查内容相关的试题。
71.根据本公开的实施例，上述试题生成方法还可以包括如下操作。
72.从目标试题库中确定至少一个相似试题。每个相似试题是与原试题之间的相似度满足相似度条件的试题。
73.根据本公开的实施例，利用试题修改策略对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题，可以包括如下操作。
74.针对至少一个相似试题中的每个相似试题，利用原试题的题干替换相似试题的题干，得到第二修改题干。利用原试题的正确选项替换相似试题的任意一个选项，根据第一候选选项集合确定相似试题的其他选项，得到第一修改选项集合。第一候选选项集合根据至少一个相似试题的选项确定。根据至少一个第二修改题干和至少一个第一修改选项集合，得到与考查内容相关的至少一个试题。
75.根据本公开的实施例，相似度可以表征两个对象之间的相似程度。相似度的数值越大，可以表征两个对象之间的相似程度越大。反之，两个对象之间的相似程度越小。相似度可以根据实际业务需求进行配置，在此不作限定。例如，相似度可以包括集合相似度、余弦相似度、皮尔逊相关系数、欧式距离或jaccard距离。集合相似度可以用dice距离表征。相似度条件可以用于作为从目标试题库中确定原试题的相似试题的条件。
76.根据本公开的实施例，可以确定原试题与目标试题库包括的多个试题各自的相似度。可以将多个相似度进行排序，得到第一排序结果。根据第一排序结果，从目标试题库包括的多个试题中确定至少一个相似试题。排序可以包括按照相似度由大到小排序或按照相似度由小到大排序。例如，如果排序按照相似度由小到大的顺序，则可以将与排序靠后的第一预定数目的相似度对应的试题均确定为相似试题。
77.根据本公开的实施例，可以利用基于题干的数据增强来实现对原试题进行修改，得到与考查内容相关的至少一个试题。即，针对至少一个相似试题中的每个相似试题，利用原试题的题干替换相似试题的题干，得到第二修改题干。根据至少一个相似试题的选项确定第一候选选项集合。再利用原试题的正确选项替换相似试题的任意一个选项，根据第一候选选项集合确定相似试题的其他选项，得到第一修改选项集合。根据第二修改题干和第一修改选项集合，得到与考查内容相关的试题。由此可以得到与考查内容相关的至少一个试题。
78.根据本公开的实施例，利用原试题的正确选项替换相似试题的任意一个选项，根据第一候选选项集合确定相似试题的其他选项，得到第一修改选项集合，可以包括如下操作。
79.在确定存在至少一个相似度满足置信度条件的情况下，确定第一候选选项子集合。第一候选选项子集合是由第一候选选项集合中相似度满足置信度条件的相似试题的选项组成的集合。在确定第一候选选项子集合包括的选项的数目等于数目阈值的的情况下，利用原试题的正确选项替换相似试题的任意一个选项，根据第一候选选项子集合确定相似试题的其他选项，得到第一修改选项集合。
80.根据本公开的实施例，目标试题库包括的试题的数目有限，因此，获得的与相似试题对应的选项未必都是合理的。可以根据置信度条件对至少一个相似试题进行筛选，得到满足置信度条件的相似试题。
81.例如，置信度条件可以是置信度阈值。置信度阈值可以根据实际业务需求进行配置，在此不作限定。例如，置信度阈值是0.9。可以根据多个相似度和置信度阈值，从至少一个相似试题中确定候选相似试题。例如，针对至少一个相似试题中的每个相似试题，在确定与相似试题对应的相似度大于或等于置信度阈值的情况下，可以将相似试题确定为候选相似试题。可以将与候选相似试题对应的选项确定为第一候选选项子集合的选项。
82.根据本公开的实施例，在确定第一候选选项子集合之后，可以确定第一候选选项
子集合包括的的选项的数目是否等于数目阈值。数目阈值可以根据实际业务需求进行配置，在此不作限定。例如，数目阈值可以是4。如果确定第一候选选项子集合包括的选项的数目等于数据阈值的情况下，则可以针对至少一个相似试题中的每个相似试题，可以利用原试题的正确选项替换相似试题的任意一个选项，根据第一候选选项子集合确定相似试题的其他选项，得到第一修改选项集合。
83.根据本公开的实施例，上述试题生成方法还可以包括如下操作。
84.在确定第一候选选项子集合包括的选项的数目小于数目阈值的情况下，基于知识图谱生成第二候选选项子集合。根据第一候选选项子集合和第二候选选项子集合，得到第二候选选项集合。第二候选选项集合包括的选项的数目等于数目阈值。利用原试题的正确选项替换相似试题的任意一个选项，根据第二候选选项集合确定相似试题的其他选项，得到第一修改选项集合。
85.根据本公开的实施例，如果确定第一候选选项子集合包括的选项的数目小于数目阈值，则可以基于知识图谱生成第二候选选项子集合，使得根据第一候选选项子集合和第二候选选项子集合得到的第二候选选项集合包括的选项的数目等于数目阈值。
86.根据本公开的实施例，基于知识图谱生成第二候选选项子集合可以包括：确定与原试题对应的第一目标实体。根据知识图谱，确定与第一目标实体相关的至少一个第一意图。根据知识图谱，确定与至少一个第一意图中的每个第一意图对应的至少一个第一选项。由此可以得到多个第一选项，多个第一选项组成第二候选选项子集合。
87.根据本公开的实施例，上述试题生成方法还可以包括如下操作。
88.在确定第一候选选项子集合包括的选项的数目大于数目阈值的情况下，确定第三候选选项子集合。第三候选选项子集合包括的选项的数目等于数目阈值，第三候选选项子集合是由第一候选选项子集合中相似度满足排序条件的相似试题的选项组成的集合。利用原试题的正确选项替换相似试题的任意一个选项，根据第三候选选项子集合确定相似试题的其他选项，得到第一修改选项集合。
89.根据本公开的实施例，如果确定第一候选选项子集合包括的选项的数目大于数目阈值，则可以根据与第一候选选项子集合包括的选项对应的相似度，对第一候选选项子集合包括的选项进行排序，得到第二排序结果。根据第二排序结果，从第一候选选项子集合包括的选项中确定满足排序条件的选项，得到第三候选选项子集合。例如，如果按照相似度由小到到大排序，则满足排序条件可以指排序靠后的第二预定数目的选项。
90.根据本公开的实施例，上述试题生成方还可以包括如下操作。
91.在确定全部所述相似度均不满足置信度条件的情况下，基于知识图谱生成第三候选选项集合。第三候选选项集合包括的选项的数目等于数目阈值。利用所述原试题的正确选项替换所述相似试题的任意一个选项，根据所述第三候选选项集合确定所述相似试题的其他选项，得到所述第一修改选项集合。
92.根据本公开的实施例，如果确定全部相似度均不满足置信度条件，即，如果确定相似度均小于置信度阈值，则可以基于知识图谱生成包括数目阈值的选项的第三候选选项集合。基于知识图谱生成第三候选选项子集合可以包括：确定与原试题对应的第二目标实体。根据知识图谱，确定与第二目标实体相关的至少一个第二意图。根据知识图谱，确定与至少一个第二意图中的每个第二意图对应的至少一个第二选项。由此可以得到多个第二选项，
多个第二选项组成第三候选选项集合。
93.根据本公开的实施例，利用试题修改策略对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题，可以包括如下操作。
94.将与考查内容相关的原试题的题干翻译为第一译文题干。将第一译文题干翻译为至少一个第二译文题干。将至少一个第二译文题干中的每个第二译文题干翻译为第三修改题干。每个第三修改题干和原试题的语种均相同。根据至少一个第三修改题干和原试题的选项，得到与考查内容相关的至少一个试题。
95.根据本公开的实施例，可以基于选项的数据增强来来实现对原试题进行修改，得到与考查内容相关的至少一个试题。不同第二译文题干的语种可以相同或不同。至少一个第二译文题干可以是在一次翻译过程中得到的，也可以是在多个翻译过程中得到的。
96.例如，原试题的语种可以是汉语。第一译文的语种可以是英语。第二译文的语种可以是法语。可以先将原试题的题干翻译为语种为英语的第一译文题干。再将第一译文题干翻译为语种为法语的第二译文题干。然后将第二译文题干翻译为语种为汉语的第三修改题干。
97.根据本公开的实施例，可以针对至少一个第三修改题干中的每个第三修改题干，可以根据第三修改提干和原试题的选项，得到与考查内容相关的试题。
98.根据本公开的实施例，试题处理策略是试题生成策略。
99.根据本公开的实施例，利用试题处理策略，生成与考查内容相关的至少一个试题，可以包括如下操作。
100.根据考查内容，从目标试题库中确定与考查内容相关的第一考查证据。利用试题生成模型处理第一考查证据，生成与考查内容相关的至少一个试题。试题生成模型是利用根据第一样本数据对预训练模型进行训练的，第一样本数据包括样本考查证据和与样本证据对应的第一样本试题。
101.根据本公开的实施例，考查证据可以指针对试题的解析，即，解答试题的依据。可以利用证据召回模型来召回目标试题库中与样本试题对应的样本考查证据。
102.根据本公开的实施例，预训练模型可以包括以下至少一项：单向特征表示的自回归预训练语言模型、双向特征表示的自编码预训练语言模型和双向特征表示的自回归预训练语言模型。单向特征表示的自回归预训练语言模型可以包括以下至少一项：elmo(embedding from language models)模型和gpt(generative pre-training，生成式预训练)模型。双向特征表示的自编码预训练语言模型可以包括enrie(enhanced language representation with informative entities)模型、enrie-gen模型、bert(bidirectional encoder representations from transformers)模型、mass(masked sequence to sequennce pre-training for language generation)模型和unilm(unified language model，统一语言)模型。双向特征表示的自回归预训练语言模型可以包括xlnet模型。
103.根据本公开的实施例，可以利用样本考查证据和与样本证据对应的第一样本试题对预训练模型进行训练，得到试题生成模型。在获得试题生成模型之后，可以将第一考查证据输入试题生成模型，得到与考查内容相关的至少一个试题。
104.例如，试题是医学相关试题。第一样本试题的题干可以是“如果需要了解肾结核患
者分侧肾功能、病变程度与范围，则首选方法是()”。第一样本试题的选项可以包括“a、ct(computed tomography，计算机断层扫描)平扫；b、静脉尿路造影；c、mri(magnetic resonance imaging，磁共振成像)；d、逆行肾盂造影；e、超声诊断”。
105.与第一样本试题对应的样本考查证据可以是“尿路平片可能见到病肾局灶或斑点状钙化影或全肾广泛钙化。局限的钙化灶应与肾结石鉴别。静脉尿路造影可以了解分侧肾功能、病变程度与范围，对肾结核治疗方案的选择必不可少。早期表现为肾盏边缘不光滑如虫蛀状，随着病变进展，肾盏失去杯形，不规则扩大或模糊变形。如果肾盏颈纤维化狭窄或完全闭塞，则可见空洞充盈不全或完全不显影。”106.预训练模型可以是ernie-gen模型。ernie-gen模型可以是医学领域的medical-ernie-gen模型。
107.根据本公开的实施例，上述试题生成方法还可以包括如下操作。
108.利用答案生成模型处理与考查内容相关的至少一个试题，得到与至少一个试题对应的答案。答案生成模型是利用根据第二样本数据对预训练模型进行训练的，第二样本数据包括第二样本试题和与第二样本试题对应的样本答案。
109.根据本公开的实施例，可以利用第二样本试题和与第二样本试题对应的样本答案对预训练模型进行训练，得到答案生成模型。在获得答案生成模型之后，可以将与考查内容相关的至少一个试题输入答案生成模型，得到与至少一个试题中的每个试题对应的答案。
110.根据本公开的实施例，上述试题生成方法还可以包括如下操作。
111.对与学科相关的第二内容进行结构化解析，得到结构化数据。与学科相关的第二内容包括与学科相关的考纲内容和原始试题库。根据结构化数据，创建目标试题库。
112.根据本公开的实施例，与学科相关的考纲内容和原始试题库可以包括多个考查内容和与每个考查内容对应的考查证据。可以对考查内容和与考查内容对应的考查证据进行结构化解析，得到结构化数据。例如，结构化数据可以是以元组的形式体现。例如，结构化数据可以是五元组形式的结构化数据，即，{考查内容，标题，来源，考查证据，标识信息}。
113.例如，学科是医学学科。标题可以包括以下至少一项：临床表现、检查、诊断、治疗、鉴别诊断、病因、摘要、预防、预后、病理、生理、微生物、医学免疫、病生理、解剖和其他等。
114.根据本公开的实施例，上述试题生成方法还可以包括如下操作。
115.根据本公开的实施例，基于elasticsearch并结合结构化数据，创建检索平台。检索平台可以包括倒排索引模块和分词器模块，可以结合题干和选项通过es检索，获取到相关性由高到低的考点证据，作为该题目的循证来源
116.根据本公开的实施例，上述试题生成方法还可以包括如下操作。
117.针对与考查内容相关的至少一个试题中的每个试题，利用知识召回模型处理试题，得到与试题相关的第二考查证据的概率值。在确定概率值大于或等于概率阈值的情况下，将试题确定为可信试题。在确定概率值小于概率阈值的情况下，将试题确定为不可信试题。
118.根据本公开的实施例，可以利用知识召回模型来获得与试题相关的第二考查证据的概率值。第二考查证据的概率值可以用于评估试题的可信程度。知识召回模型可以是利用根据第三样本数据对深度学习模型进行训练的。第三样本可以包括第三样本试题和与第三样本试题相关的样本考查证据的真实性标签。此外，第三样本数据还可以包括样本证据
来源和样本标题。概率阈值可以根据实际业务需求进行配置，在此不作限定。例如，概率阈值可以是0.9。
119.根据本公开的实施例，针对与考查内容相关的至少一个试题中的每个试题，可以将试题输入知识召回模型，得到与试题相关的第二考查证据的概率值。确定概率值是否大于或等于概率阈值。如果确定概率值大于或等于概率阈值，则可以将与概率值对应的第二考查证据所对应的试题确定为可信试题。如果确定概率值小于概率阈值，则可以将与概率值对应的第二考查证据所对应的试题确定为不可信试题。
120.根据本公开的实施例，与试题相关的第二考查证据的数目可以包括一个或多个。如果与试题相关的第二考查证据的数目包括多个，则可以从多个第二考查证据中选择概率值最高的第二考查证据来与概率阈值进行比较。
121.根据本公开的实施例，上述试题生成方法还可以包括如下操作。
122.展示可信试题。
123.根据本公开的实施例，在获得可信试题之后，可以将可信试题进行展示，以便用户可以利用可信试题执行后续操作。
124.根据本公开的实施例，上述试题生成方法还可以包括如下操作。
125.确定可信试题的参考评估值。在确定参考评估值大于或等于评估阈值的情况下，可以将可信试题添加至预定试题库。此外，还可以展示与可信试题相关的考查证据。例如，可以展示与可信试题相关的概率值最高的考查证据。还可以展示与可信试题相关的全部考查证据。
126.根据本公开的实施例，可以从预定试题库获取可信试题。可信试题的导出格式和存储格式可以根据实际业务需求进行配置，在此不作限定。例如，导出格式和存储格式可以是word格式。
127.下面参考图3，结合具体实施例对根据本公开实施例所述的试题生成方法做进一步说明。
128.图3示意性示出了根据本公开实施例的试题生成系统的示例示意图。
129.如图3所示，试题生成系统300可以包括目标试题库304、基于知识图谱的试题生成部分305、基于数据增强的试题生成部分306、基于考查证据的试题生成部分307、考查证据查询和试题筛选部分308和试题预览和导出部分315。基于数据增强的试题生成部分306可以包括基于题干的数据增强部分3060和基于选项的数据增强部分3061。基于考查证据的试题生成部分307可以包括试题生成模型3071和答案生成模型3073。考查证据查询和试题筛选部分308可以包括知识召回模型3080。
130.针对目标试题库304。即，对与学科相关的原始试题库301和考纲内容302进行解析，得到结构化数据303。根据结构化数据303，创建目标试题库304。目标试题库304存储的结构化数据可以是五元组形式的结构化数据，即，{考查内容，标题，来源，考查证据，标识信息}。
131.针对基于知识图谱的试题生成部分305。即，知识图谱是以核心实体为核心，包括意图、目标实体、特征序列和所属特征以及各自与核心试题之间的关联关系。
132.针对基于数据增强的试题生成部分307。即，可以利用第一样本试题和样本考查证据3070训练预训练模型，得到试题生成模型3071。利用第一样本试题和样本答案3072训练
预训练模型，得到答案生成模型3073。
133.针对考查证据查询和试题筛选部分308可以利用知识召回模型3080来获得概率值大于或等于概率阈值的第二考查证据，以及，用于评估试题的可信程度。试题的可信程度可以用与试题相关的第二考查证据的概率值表征。
134.针对试题预览和导出部分315可以用于实现试题预览和能够按照预定格式将试题导出。
135.可以响应于试题生成请求，确定试题类型和考查内容。试题类型可以包括第一试题类型和第二试题类型。如果确定试题类型是第一试题类型，则可以利用基于知识图谱的试题生成部分305或利用基于数据增强的试题生成部分306来对原试题进行修改，生成与考查内容相关的至少一个试题309。
136.如果确定试题类型是第二试题类型，则可以利用基于考查证据的试题生成部分307的试题生成模型3071来生成与考查内容相关的至少一个试题309。
137.在获得至少一个试题309之后，可以利用答案生成模型3073来生成与至少一个试题309对应的答案310。
138.在获得至少一个试题309之后，可以利用知识召回模型3080来获得与至少一个试题309中的每个试题相关的第二考查证据的概率值311。根据第二考查证据的概率值311和概率阈值312确定试题309的可信程度。例如，如果确定第二考查证据的概率值311大于或等于概率阈值312，则可以将与概率值311对应的第二考查证据所对应的试题309确定为可信试题314。如果确定第二考查证据的概率值311小于概率阈值312，则可以将与概率值311对应的第二考查证据所对应的试题309确定为不可信试题。
139.可以利用试题预览和导出部分315来对可信试题314进行预览和导出。例如，将可信试题314导出为预定格式的试题316。
140.下面以试题是执业医师资格考试试题为例利用图3所述的试题生成系统300来生成试题。
141.执业医师资格考试的试题类型可以包括5种类型，即a1、a2、a3、a4和b1。a1是知识题。a2～a4是以病历为题干的推理题。a2是一个病历对应一个试题。a3和a4是共用一个病历对应多个试题。b1是类型题，主要是围绕5个选项随机产生2～4个试题。每个试题的答案包含在选项中。
142.针对a1，可以利用基于知识图谱的试题生成部分305或基于数据增强的试题生成部分306来对原试题进行修改，得到与考查内容相关的至少一个试题。
143.针对a2，可以基于已有的疑似诊断服务，输入病历推理出高置信的诊断疾病。然后基于诊断疾病，利用利用基于知识图谱的试题生成部分305或基于数据增强的试题生成部分306来对原试题进行修改，得到与考查内容相关的至少一个试题。
144.针对a3和a4，可以考查如下至少一项意图：病因、临床表现、检查、检验、诊断、鉴别诊断、药物、手术和并发症。从中随机确定出2～3个意图进行考查，即作为考查内容。可以利用针对a2的方式生成与考查内容相关的至少一个试题。
145.针对b1，可以利用目标试题库304确定与考查内容相关的试题。利用知识召回模型3080来获得概率值大于或等于概率阈值的考查证据。利用试题生成模型3071处理至少一个考查证据，生成与考查内容相关的至少一个试题。
146.以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他试题生成方法，只要能够降低人力成本且具有较高的可泛化性，此外，不受限于用户的思路，能够生成创新性较高的试题即可。
147.需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
148.图4示意性示出了根据本公开实施例的试题生成装置的框图。
149.如图4所示，试题生成装置400可以包括第一确定模块410、第二确定模块420和第一生成模块430。
150.第一确定模块410，用于响应于试题生成请求，确定试题类型和考查内容。
151.第二确定模块420，用于根据所述试题类型，确定试题处理策略。
152.第一生成模块430，用于利用所述试题处理策略，生成与考查内容相关的至少一个试题。
153.根据本公开的实施例，试题类型包括第一试题类型和第二试题类型。
154.根据本公开的实施例，试题处理策略包括试题生成策略和试题修改策略。
155.根据本公开的实施例，第二确定模块420可以包括第一确定子模块和第二确定子模块。
156.第一确定子模块，用于在确定试题类型是第一试题类型的情况下，确定试题处理策略是试题修改策略。
157.第二确定子模块，用于在确定试题类型是第二试题类型的情况下，确定试题处理策略是试题生成策略。
158.根据本公开的实施例，试题处理策略是试题修改策略。
159.根据本公开的实施例，第一生成模块430可以包括第三确定子模块和第一获得子模块。
160.第三确定子模块，用于根据考查内容，从目标试题库中确定与考查内容相关的原试题。
161.第一获得子模块，用于利用试题修改策略对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题。
162.根据本公开的实施例，第一获得子模块可以包括第一获得单元。
163.第一获得单元，用于利用知识图谱对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题。
164.根据本公开的实施例，知识图谱包括实体粒度图谱和特征维度粒度图谱。
165.根据本公开的实施例，第一试题类型包括第一试题子类型和第二试题子类型，第一试题子类型表征与实体粒度相关的试题类型，第二试题子类型表征与特征维度粒度相关的试题类型。
166.根据本公开的实施例，第一获得单元可以包括第一获得子单元和第二获得子单元。
167.第一获得子单元，用于在确定第一试题类型是第一试题子类型的情况下，利用实体粒度图谱对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题。
168.第二获得子单元，用于在确定第一试题类型是第二试题子类型的情况下，利用特
征维度粒度图谱对与考查内容相关的原试题进行修改，得到与考查内容相关的至少一个试题。
169.根据本公开的实施例，第一获得子单元可以用于：确定与原试题对应的目标实体。根据实体粒度图谱，确定与目标实体相关的至少一个意图。根据实体粒度图谱，确定与至少一个意图中的每个意图对应的选项。利用至少一个意图替换原试题的意图，得到至少一个第一修改题干。根据至少一个第一修改题干和与至少一个意图中的每个意图对应的至少一个选项，得到与考查内容相关的至少一个试题。
170.根据本公开的实施例，第二获得子单元可以用于：确定与原试题对应的所属特征。根据特征维度粒度图谱，确定与所属特征相关的至少一个其他所属特征。保留原试题的正确选项，利用至少一个其他所属特征替换原试题的其他选项，得到与考查内容相关的至少一个试题。
171.根据本公开的实施例，上述试题生成装置400还可以包括第三确定模块。
172.第三确定模块，用于从目标试题库中确定至少一个相似试题。每个相似试题是与原试题之间的相似度满足相似度条件的试题。
173.根据本公开的实施例，第一生成模块430可以包括第二获得子模块、第三获得子模块和第四获得子模块
174.第二获得子模块，用于针对至少一个相似试题中的每个相似试题，利用原试题的题干替换相似试题的题干，得到第二修改题干。
175.第三获得子模块，用于利用原试题的正确选项替换相似试题的任意一个选项，根据第一候选选项集合确定相似试题的其他选项，得到第一修改选项集合。第一候选选项集合是根据至少一个相似试题的选项确定的。
176.第四获得子模块，用于根据至少一个第二修改题干和至少一个第一修改选项集合，得到与考查内容相关的至少一个试题。
177.根据本公开的实施例，第三获得子模块可以包括第一确定单元和第二获得单元。
178.第一确定单元，用于在确定存在至少一个相似度满足置信度条件的情况下，确定第一候选选项子集合。第一候选选项子集合是由第一候选选项集合中相似度满足置信度条件的相似试题的选项组成的集合。
179.第二获得单元，用于在确定第一候选选项子集合包括的选项的数目等于数目阈值的的情况下，利用原试题的正确选项替换相似试题的任意一个选项，根据第一候选选项子集合确定相似试题的其他选项，得到第一修改选项集合。
180.根据本公开的实施例，上述试题生成装置400还可以包括第二生成模块、第一获得模块和第二获得模块。
181.第二生成模块，用于在确定第一候选选项子集合包括的选项的数目小于数目阈值的情况下，基于知识图谱生成第二候选选项子集合。
182.第一获得模块，用于根据第一候选选项子集合和第二候选选项子集合，得到第二候选选项集合。第二候选选项集合包括的选项的数目等于数目阈值。
183.第二获得模块，用于利用原试题的正确选项替换相似试题的任意一个选项，根据第二候选选项集合确定相似试题的其他选项，得到第一修改选项集合。
184.根据本公开的实施例，上述试题生成装置400还可以包括第四确定模块和第三获
得模块。
185.第四确定模块，用于在确定第一候选选项子集合包括的选项的数目大于数目阈值的情况下，确定第三候选选项子集合。第三候选选项集合包括的选项的数目等于数目阈值。第三候选选项子集合包括的选项的数目等于数目阈值，第三候选选项子集合是由第一候选选项子集合中相似度满足排序条件的相似试题的选项组成的集合。
186.第三获得模块，用于利用原试题的正确选项替换相似试题的任意一个选项，根据第三候选选项子集合确定相似试题的其他选项，得到第一修改选项集合。
187.根据本公开的实施例，上述试题生成装置400还可以包括第三生成模块和第四获得模块。
188.第三生成模块，用于在确定全部相似度均不满足置信度条件的情况下，基于知识图谱生成第三候选选项集合。
189.第四获得模块，用于利用原试题的正确选项替换相似试题的任意一个选项，根据第三候选选项集合确定相似试题的其他选项，得到第一修改选项集合。
190.根据本公开的实施例，第一获得子模块可以包括第一翻译单元、第二翻译单元、第三翻译单元和第三获得单元。
191.第一翻译单元，用于将与考查内容相关的原试题的题干翻译为第一译文题干。
192.第二翻译单元，用于将第一译文题干翻译为至少一个第二译文题干。
193.第三翻译单元，用于将至少一个第二译文题干中的每个第二译文题干翻译为第三修改题干。每个第三修改题干和原试题的语种均相同。
194.第三获得单元，用于根据至少一个第三修改题干和原试题的选项，得到与考查内容相关的至少一个试题。
195.根据本公开的实施例，试题处理策略是试题生成策略；
196.根据本公开的实施例，第一生成模块430可以包括第四确定子模块和生成子模块。
197.第四确定子模块，用于根据考查内容，从目标试题库中确定与考查内容相关的第一考查证据。
198.生成子模块，用于利用试题生成模型处理第一考查证据，生成与考查内容相关的至少一个试题。试题生成模型是利用根据第一样本数据对预训练模型进行训练的，第一样本数据包括样本考查证据和与样本证据对应的第一样本试题。
199.根据本公开的实施例，上述试题生成装置400还可以包括第五获得模块。
200.第五获得模块，用于利用答案生成模型处理与考查内容相关的至少一个试题，得到与至少一个试题对应的答案。答案生成模型是利用根据第二样本数据对预训练模型进行训练的，第二样本数据包括第二样本试题和与第二样本试题对应的样本答案。
201.根据本公开的实施例，上述试题生成装置400还可以包括第六获得模块和创建模块。
202.第六获得模块，用于对与学科相关的第二内容进行结构化解析，得到结构化数据。与学科相关的第二内容包括与学科相关的考纲内容和原始试题库。
203.创建模块，用于根据结构化数据，创建目标试题库。
204.根据本公开的实施例，上述试题生成装置400还可以包括第七获得模块、第五确定模块和第六确定模块。
205.第七获得模块，用于针对与考查内容相关的至少一个试题中的每个试题，利用知识召回模型处理试题，得到与试题相关的第二考查证据的概率值。
206.第五确定模块，用于在确定概率值大于或等于概率阈值的情况下，将试题确定为可信试题。
207.第六确定模块，用于在确定概率值小于概率阈值的情况下，将试题确定为不可信试题。
208.根据本公开的实施例，上述试题生成装置400还可以包括展示模块。
209.展示模块，用于展示可信试题。
210.根据本公开的实施例，试题包括医学相关试题。
211.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
212.根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
213.根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。
214.根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。
215.图5示意性示出了根据本公开实施例的适于实现试题生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
216.如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram 503中，还可存储电子设备500操作所需的各种程序和数据。计算单元501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
217.电子设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
218.计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如试题生成方法。例如，在一些实施例中，试题生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或
者全部可以经由rom 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到ram 503并由计算单元501执行时，可以执行上文描述的试题生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行试题生成方法。
219.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
220.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
221.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
222.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
223.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
224.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通
过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。
225.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
226.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。