线上考评方法、装置、电子设备及存储介质与流程

1.本发明涉及人工智能技术领域，具体涉及一种线上考评方法、装置、电子设备及存储介质。


背景技术：

2.随着宠物行业的发展，围绕宠物为中心的一系列产业也随之飞速发展，同时，人们对这些行业的要求也越来越高。尤其是在宠物医师方面，一个好的医师可以确保宠物的身体健康，使宠物可以更加长久的陪伴其饲养者。
3.基于此，为了保证宠物医师的医疗水平与其现有的职称的匹配度，避免水平低的医师获取到高级的职称造成医疗事故的风险，需要按时对宠物医师进行考评。同时，宠物医师在进行职称进阶时，也需要进行相关的考评。
4.目前，宠物医师的考评都是线下进行，这种考评方式需要投入大量的人力和物力资源，且宠物医师需要前往指定的地点进行考评，导致考评效率低下，用户体验差。因此，亟需提供一种线上的宠物医师考评方法。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本技术实施方式提供了一种线上考评方法、装置、电子设备及存储介质，可以实现宠物医师的在线考评，提高了考评效率，且针对不同的待考评人，生成的试题也不相同，减少作弊几率。
6.第一方面，本技术的实施方式提供了一种线上考评方法，该方法包括：
7.根据考评请求信息确定待考评人的身份信息和工作信息，其中，工作信息用于记录待考评人的实际工作内容；
8.根据身份信息和工作信息，确定试题库、试卷组成信息和考题偏向信息，其中，试卷组成信息用于标识待考评人的试卷中，选择题和主观题的比重，考题偏向信息用于标识试卷中考题的考评方向；
9.根据试卷组成信息和考题偏向信息在试题库中匹配至少一个目标试题；
10.根据至少一个目标试题确定试题生成顺序；
11.根据试题生成顺序依次获取至少一个目标试题中每个目标试题的答案，得到标准答案序列；
12.根据试题生成顺序依次向待考评人展示至少一个目标试题，并接收待考评人输入的答案，得到考评答案序列；
13.根据标准答案序列和考评答案序列，确定待考评人的考评结果。
14.第二方面，本技术的实施方式提供了一种线上考评装置，包括：
15.身份确定模块，用于根据考评请求信息确定待考评人的身份信息和工作信息，其中，工作信息用于记录待考评人的实际工作内容；
16.试题匹配模块，用于根据身份信息和工作信息，确定试题库、试卷组成信息和考题
偏向信息，其中，试卷组成信息用于标识待考评人的试卷中，选择题和主观题的比重，考题偏向信息用于标识试卷中考题的考评方向；
17.试题确定模块，用于根据试卷组成信息和考题偏向信息在试题库中匹配至少一个目标试题，根据至少一个目标试题确定试题生成顺序；
18.答案确定模块，用于根据试题生成顺序依次获取至少一个目标试题中每个目标试题的答案，得到标准答案序列；
19.试题展示模块，用于根据试题生成顺序依次向待考评人展示至少一个目标试题，并接收待考评人输入的答案，得到考评答案序列；
20.结果分析模块，用于根据标准答案序列和考评答案序列，确定待考评人的考评结果。
21.第三方面，本技术实施方式提供一种电子设备，包括：处理器，处理器与存储器相连，存储器用于存储计算机程序，处理器用于执行存储器中存储的计算机程序，以使得电子设备执行如第一方面的方法。
22.第四方面，本技术实施方式提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序使得计算机执行如第一方面的方法。
23.第五方面，本技术实施方式提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机可操作来使计算机执行如第一方面的方法。
24.实施本技术实施方式，具有如下有益效果：
25.在本技术实施方式中，通过考评请求获取待考评人的身份信息和记录了待考评人的实际工作内容工作信息，继而根据身份信息和工作信息，确定试题库、标识待考评人的试卷中选择题和主观题的比重的试卷组成信息、以及标识试卷中考题的考评方向的考题偏向信息，并根据试卷组成信息和考题偏向信息在试题库中匹配至少一个目标试题。然后，根据该至少一个目标试题确定试题生成顺序，同时根据试题生成顺序依次获取至少一个目标试题中每个目标试题的答案，得到标准答案序列。最后，根据试题生成顺序依次向待考评人展示该至少一个目标试题，并接收待考评人输入的答案，得到考评答案序列，继而根据标准答案序列和考评答案序列，确定待考评人的考评结果。由此，实现了宠物医师的在线考评，提高了考评效率。并且通过待考评人的身份信息确定其相应的职称，并根据工作信息确定其工作的偏向，继而实时并动态的筛选出符合该职称和实际工作偏向的考评试题生成考评试卷，不但使得每个待考评人的考评试题均不相同，降低了作弊几率。同时，使得每个待考评人的考评试题更加贴切其当前的职称和实际工作，可以更好的反映出该待考评人的实际水平。
附图说明
26.为了更清楚地说明本技术实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1为本技术实施方式提供的一种线上考评装置的硬件结构示意图；
disc read-onlymemory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
45.在本实施方式中，存储器103可以独立存在，通过通信线路102与处理器101相连接。存储器103也可以和处理器101集成在一起。本技术实施方式提供的存储器103通常可以具有非易失性。其中，存储器103用于存储执行本技术方案的计算机执行指令，并由处理器 101来控制执行。处理器101用于执行存储器103中存储的计算机执行指令，从而实现本技术下述实施方式中提供的方法。
46.在可选的实施方式中，计算机执行指令也可以称之为应用程序代码，本技术对此不作具体限定。
47.在可选的实施方式中，处理器101可以包括一个或多个cpu，例如图1中的cpu0和cpu1。
48.在可选的实施方式中，该线上考评装置100可以包括多个处理器，例如图1中的处理器 101和处理器107。这些处理器中的每一个可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-cpu)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
49.在可选的实施方式中，若线上考评装置100为服务器，例如，可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。则线上考评装置100还可以包括输出设备 105和输入设备106。输出设备105和处理器101通信，可以以多种方式来显示信息。例如，输出设备105可以是液晶显示器(liquid crystal display，lcd)，发光二极管(light emittingdiode，led)显示设备，阴极射线管(cathode ray tube，crt)显示设备，或投影仪(projector) 等。输入设备106和处理器101通信，可以以多种方式接收用户的输入。例如，输入设备106 可以是鼠标、键盘、触摸屏设备或传感设备等。
50.上述的线上考评装置100可以是一个通用设备或者是一个专用设备。本技术实施方式不限定线上考评装置100的类型。
51.其次，图2为本技术实施方式提供的一种线上考评方法的系统框架图，具体而言，该系统可以包括：医师考评端201、身份验证装置202、线上考评装置203以及考评试题库204。其中，医师考评端201可以是智能手机(如android手机、ios手机、windows phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备mid(mobile internet devices，简称： mid)等，用于接收宠物医师提出的考评请求、身份信息、显示考评试题并接收宠物医师根据显示的考评试题所输入的答案。身份验证装置202可以是摄像转置、指纹采集装置等身份验证设备，用于验证当前进行考评的人和其输入的身份信息是否匹配。线上考评装置 203可以是服务器，用于接收医师考评端201发送的考评请求进行相关的考评处理，并对考评试题库204进行维护。
52.在本实施方式中，待考评的宠物医师通过医师考评端201登录考评系统平台，输入自身的身份信息，例如：姓名、身份证号、当前职称、考评目的等，进行考评请求。在接收到身
份信息后，医师考评端201向身份验证装置202发出身份验证指令，以启动身份验证装置202，并通过文字显示或语音提醒的方式，引导待考评的宠物医师配合身份验证装置202 进行身份验证。示例性的，当身份验证装置202为摄像装置时，可以引导待考评的宠物医师面向身份验证装置202，以便于身份验证装置202获取待考评的宠物医师的面部图像；当身份验证装置202为指纹采集装置时，可以引导待考评的宠物医师将任意一个手指放置于身份验证装置202的指纹采集面板上，以便于身份验证装置202获取待考评的宠物医师的指纹信息。由此，身份验证装置202可以根据获取到的面部图像或指纹信息调取该待考评的宠物医师的身份资料，与其输入的身份信息进行匹配验证，以确认当前待考评的宠物医师和其输入的身份信息是否匹配，并在验证通过时，向医师考评端201发出验证通过指令。
53.医师考评端201在确认当前待考评的宠物医师的身份无误后，可以根据该待考评的宠物医师所输入的身份信息获取该待考评的宠物医师的日常的工作信息，继而将身份信息和工作信息封装为考评请求并发送至线上考评装置203。然后，线上考评装置203根据该考评请求在考评试题库204中选取相应的考评试题。为了避免考评过程中作弊的问题，在选取与考评请求相对应的考评试题时，线上考评装置203首先在考评试题库204中选取与该身份信息中宠物医师的当前职称和考评目的相对应的子题库。并根据考评目的和工作信息确定试卷的组成信息。然后，在子题库中根据试卷的组成信息选择一定阈值数量和种类的，且与工作信息相对应的题目作为考评试题。同时，对选出的试题进行排序，并生成相对应的试题生成顺序和标准答案序列。然后，线上考评装置203将选出的试题和试题生成顺序发送至医师考评端201，以使医师考评端201根据试题生成顺序依次将选出的试题展示给待考评的宠物医师，并接收宠物医师输入的答案，生成考评答案序列并返回至线上考评装置203。
54.线上考评装置203在接收到考评答案序列后，将考评答案序列对应的文本与标准答案序列对应的标准文本进行相似度计算。根据相似度值和标准分数，得到最终的考评结果。并将该考评结果存入考评试题库204中，可以便于后续医师考评端201的查询，或者后续其他活动的需要。
55.在本实施方式中，可以解决线下考评耗费大量人力物力的问题，通过线上考评的方式实现待考评的宠物医师考试地点不限的问题。并且，通过待考评的宠物医师的身份信息和工作信息，实时且动态的抽取考试试题，确保了考试的公平性，以及减少了待考评的宠物医师投机取巧的可能性。
56.最后，需要说明的是，本技术所提供的一种线上考评方法可以适用于宠物医师考评、教师职称考评等各类职称考评或工作水平考评场景。在本实施方式中，将以宠物医师的线上考评场景为例，对本技术所提供的一种线上考评方法进行说明，其他场景下的线上考评方法与宠物医师的线上考评场景下的线上考评方法相似，在此不再赘述。
57.以下，将以宠物医师的线上考评场景为例，对本技术所公开的线上考评方法进行说明：
58.参阅图3，图3为本技术实施方式提供的一种线上考评方法的流程示意图。该线上考评方法包括以下步骤：
59.301：根据考评请求信息确定待考评人的身份信息和工作信息。
60.在本实施方式中，工作信息用于记录待考评人的实际工作内容。示例性的，待考评人可以通过医师考评端201进行考评请求和登录，继而输入自身的身份信息。具体而言，待
考评人可以在医师考评端201中安装与线上考评装置203相关联的应用程序进行登录考评；或者可以通过与线上考评装置203相关联的微信小程序进行实名认证登录考评，继而无需手动填写身份信息，进一步的提高用户体验；再或者可以通过线上考试网站中点击与线上考评装置203对应的链接，实名认证进入考试界面，填写相关身份信息。
61.在本实施方式中，以线上考试网站的信息填写界面为例，如图4所示，身份信息可以包括：姓名、年龄、性别、身份证、当前职称信息、考核目的信息等，其中，姓名、年龄和身份证可以通过文本框的形式进行填写，性别、当前职称信息和考核目的信息则可以通过点击打开二级菜单进行选择。待考评人填写完相关信息后，可以通过点击确定按钮，将填写的身份信息提交至医师考评端201。然后，医师考评端201可以根据身份信息中的姓名、年龄、性别和当前职称信息，查询与该信息相匹配的医师信息，并调用其历史工作日志，作为该待考核人的工作信息。继而将身份信息和工作信息封装为考评请求，并发送至线上考评装置203。以上方式的好处在于可以实现线上参与考评，无需线下报道参加考评。可以节约大量的人力和物力，为考评举办方和待考评人都带来了便利。
62.在可选的实施方式中，医师考评端201还可以调用身份验证装置202采集该待考核人的生理特征，例如：面部图像、虹膜、指纹、声纹等，继而对其身份进行进一步验证。示例性的，身份验证装置202可以通过安装于医师考评端201中的应用程序或微信小程序调用医师考评端201的摄像头，采集该待考核人面部图像、虹膜等；或者可以通过安装于医师考评端201中的应用程序或微信小程序调用医师考评端201的麦克风，采集该待考核人声纹；再或者可以通过相关联的外部指纹采集设备，采集该待考核人指纹。然后，根据采集到的面部图像、虹膜、指纹、声纹等信息，在对应的人物数据库中进行匹配，得到与采集到的面部图像、虹膜、指纹、声纹等信息相对应的人物信息，继而将该任务信息发送至医师考评端201进行进一步的身份验证。具体而言，当返回的人物信息与待考评人输入的身份信息不同时，可以确定该待考评人为代考者，可以直接取消该待考评人的考试资格，继而降低待考评人投机取巧的可能性。
63.302：根据身份信息和工作信息，确定试题库、试卷组成信息和考题偏向信息。
64.在本实施方式中，试卷组成信息用于标识待考评人的试卷中，选择题和主观题的比重。示例性的，该试卷组成信息可以是选择题的数量与主观题的数量的比值，也可以是选择题的总分与主观题的总分的比值。而考题偏向信息用于标识试卷中考题的考评方向，例如：是以偏向理论方向的考题为主，还是以偏向实操方向的考题为主，具体可以以标签的方式进行表示，例如：[考评方向，方向占比]。具体而言，当考题偏向信息为：[实操方向，80％] 时，说明本次选取的考题以考验实操方面的问题为主，并且相关的考题数量或得分的占比至少为80％。
[0065]
在本实施方式中，提供了一种根据身份信息和工作信息，确定试题库、试卷组成信息和考题偏向信息的方法，如图5所示，该方法包括：
[0066]
501：根据身份信息确定待考评人的当前职称信息和考评目的信息。
[0067]
在本实施方式中，如步骤301中所述，身份信息可以包括：姓名、年龄、性别、当前职称信息、考核目的信息等。因此，可以通过对身份信息进行关键字识别，从而根据识别出的关键字所在的位置，获取该待考评人的当前职称信息和考评目的信息。
[0068]
502：根据当前职称信息和考评目的信息，确定试题库。
[0069]
在本实施方式中，如图6所示，首先，可以对当前职称信息进行关键词提取，得到第一关键词。示例性的，对于宠物医师而言，其职称分为国家职业资格四级、国家职业资格三级和国家职业资格二级。基于此，可以根据不同职业职称的特性，对关键词的位置进行预先设定，继而根据身份信息对当前职称信息进行关键词提取。具体而言，对于宠物医师的职业职称，可以将职称的最后两个字设定为关键词位置，继而对于职称“国家职业资格四级”而言，对应的关键词即为“四级”。然后，获取第一关键词对应的第一等级。在本实施方式中，职位越高对应的等级越高，该第一等级只用于区分同职业职称的位置高度，不同职业的职称对应的第一等级之间并无可比关系。示例性的，对于宠物医师的职业职称，国家职业资格四级对应的第一等级为1级、国家职业资格三级对应的第一等级为2级和国家职业资格二级对应的第一等级为3级。
[0070]
同时，在本市实施方式中，需要对考评目的信息进行关键词提取，得到第二关键词。通常而言，职称考评的目的无非为：职称维持和职称进阶。因此，可以对考评目的信息进行分词后，确定每个分词的词性，继而将词性为动词的分词作为第二关键词。示例性的，对考评目的信息“职称进阶”而言，其分词结果为“进阶”和“职称”。其中“进阶”的词性为动词，而“职称”的词性为名词，因此，该考评目的信息“进阶职称”对应的第二关键词即为“进阶”。然后，获取第二关键词对应的等级增量。在本实施方式中，根据职称考评的规则，每次职称进阶只能上升一级。基于此，对于第二关键词“进阶”而言，其对应的等级增量即为“1”，而第二关键词“维持”所对应的考核目的是维持当前的职称，因此，其对应的等级增量为“0”。
[0071]
然后，在本市实施方式中，将第一等级和等级增量的和作为第二等级，从而根据该第二等级确定出该待考核人的考核目标职称。以宠物医师为例，若该待考核人的当前职称对应的第一等级为1级，即当前职称为国家职业资格四级，其考评目的信息对应的等级增量为1级，则其考核目的对应的第二等级即为1 1，即2级。换而言之，该待考核人的考核目标职称为国家职业资格三级。
[0072]
最后，在本市实施方式中，可以根据第一等级和第二等级确定考评范围信息。具体而言，可以分别确定第一等级和第二等级对应的职业职称，继而获取每个职业职称的标准工作范围。继而将第一等级对应的标准工作范围和第二等级对应的标准工作范围的和作为该考评范围信息。由此，即可根据考评范围信息和第二等级，在所有候选试题中获取至少一个第一候选试题组成试题库，其中，该至少一个第一候选试题中的每个第一候选试题的考评范围属于考评范围信息所标识的范围，且每个第一候选试题的试题等级与第二等级相同。
[0073]
503：根据工作信息确定待考评人的工作偏向信息。
[0074]
在本实施方式中，工作偏向信息可以用于标识待考评人在实际工作中，文字类型的工作和实操类型的工作的比重。换而言之，即待考评人在日常的工作中是偏向于理论类型的工作，还是实操类型的工作。具体而言，如图7所示，工作信息可以是该待考评人在预设时间段内，例如近三个月内的历史工作日志。基于此，可以通过分析该历史工作日志，确定在近三个月内该待考评人理论类型的工作量和实操类型的工作量分别在总工作量中的占比，从而得到该待考评人的工作偏向信息。
[0075]
504：根据考评目的信息和工作偏向信息，确定试卷组成信息和考题偏向信息。
[0076]
在本实施方式中，根据考评目的信息可以确定该待考核人的考评目的职业，继而
可以进一步的确定对该待考核人考评的偏向，继而结合工作偏向信息，确定出试卷组成信息和考题偏向信息。
[0077]
示例性的，当考评目的信息为进阶时，首先，可以根据考评目的信息获取进阶职称信息，继而进一步的获取进阶职称信息对应的第一标准工作分布信息。该第一标准工作分布信息用于标识对应的职称在实际工作中，文字类型的工作和实操类型的工作的比重。具体而言，当考评目的为进阶时，可以通过分析进阶目标的日常工作要求，对待考核人进行适应性的考核，从而确定待考核人是否满足进阶目标职称的工作要求，使得考评的结果更加精准。
[0078]
然后，可以根据第一标准工作分布信息，确定第一试卷组成信息；同时，根据工作偏向信息，确定第二试卷组成信息；继而将第一试卷组成信息和第二试卷组成信息作为试卷组成信息。具体而言，在进阶考评中，除了对待考核人进阶目的职称的考评之外，还需要对待考核人当前职称的掌握程度进行考评。基于此，可以分别通过反映进阶目的职称的工作需求的第一标准工作分布信息确定出试卷一半的试题组成，用来考评待考核人对进阶目的职称的掌握程度；同时，通过反映当前职称的工作需求的第二标准工作分布信息确定出试卷另一半的试题组成，用来考评待考核人对当前职称的掌握程度。示例性的，可以将标准工作分布信息中文字类型的工作和实操类型的工作的比重作为试卷中选择题和主观题的数量的比重。
[0079]
最后，可以将工作偏向信息中，比重高的工作类型信息作为考题偏向信息。具体而言，比重高的工作类型信息反映的是该待考评人自身偏向的工作类型。换而言之，即该待考评人更加喜欢的工作类型。基于此，可以针对性的将考核该工作类型的题目作为考评的主要方向，从而可以考评出该待考评人的最高水平。
[0080]
示例性的，当考评目的信息为维持时，由于考核前后的职称是不变化的，因此，主要的考核目的是验证待考评人对当前职称的掌握程度。基于此，首先可以根据考评目的信息获取维持职称信息，继而直接获取维持职称信息对应的第二标准工作分布信息。具体而言，该第二标准工作分布信息用于标识对应的职称在实际工作中，文字类型的工作和实操类型的工作的比重。然后，可以根据第二标准工作分布信息和工作偏向信息，确定目标偏向信息，继而将目标偏向信息作为试卷组成信息。最后，将目标偏向信息中，比重高的工作类型信息作为考题偏向信息。
[0081]
303：根据试卷组成信息和考题偏向信息在试题库中匹配至少一个目标试题。
[0082]
在本实施方式中，试题库是由通过步骤402确定出的考评范围信息和试题等级所筛选出的所有试题组成。因此，需要结合步骤302中确定出的试卷组成信息和考题偏向信息，对试题库中的试题进行进一步的筛选，继而得到适用于该待考评人的考评试卷。
[0083]
示例性的，首先，可以根据考题偏向信息在试题库中确定至少一个第二候选试题，该至少一个第二候选试题中的每个第二候选试题的考核内容与考题偏向信息之间的匹配度大于第一阈值。具体而言，可以对试题库中的每个第一候选试题进行关键词提取，得到至少一个第三关键词。例如，可以分别采用元数2、3、4的n-gram分割法对每个第一候选试题进行分词。具体而言，n-gram分割法是一种将句子分割成若干个分别由n个字符组成的片段序列的方法，每个片段称作一个n-gram。在n＝1时，n-gram分割法可以称作uni-gram (一元gram)，在n＝2时，n-gram分割法可以称作bi-gram(二元gram)，在n＝3时，n-gram 分割法可
以称作tri-gram(三元gram)。示例性的，如图7所示，如果使用bi-gram去分割候选试题“宠物中耳炎的症状有哪些？”，那么可以得到字段“宠物”、“物中”、“中耳”、“耳炎”、“炎的”、“的症”、“症状”、“状有”、“有哪”和“哪些”。
[0084]
由此，在本实施方式中，得到分割结果后，可以对分割结果进行过滤清洗，滤除没有意义的分割结果，例如：“物中”、“中耳”、“炎的”、“的症”、“状有”和“有哪”，保留包含一定语义的分割结果，例如：“宠物”、“耳炎”、“症状”和“哪些”作为第三关键词。
[0085]
在本实施方式中，在得到至少一个第三关键词后，可以对至少一个第三关键词中的每个第三关键词进行特征提取，得到和至少一个第三关键词一一对应至少一个关键词向量。然后，将该至少一个关键词向量进行拼接，得到可以反应该第一候选试题的语义及领域的融合词向量。由此，可以根据该融合词向量确定出每个第一候选试题的考评方向信息，继而计算每个第一候选试题的考评方向信息和考题偏向信息之间的匹配度。
[0086]
具体而言，在本实施方式中，可以通过点积计算每个第一候选试题的考评方向信息和考题偏向信息对应的特征之间的夹角余弦值，并用该夹角余弦值作为每个第一候选试题的考评方向信息和考题偏向信息之间的匹配度。
[0087]
具体而言，假定每个第一候选试题的考评方向信息对应的特征为：x＝[x1，x2，
…
， xi，
…
，xn]，和考题偏向信息对应的特征为：y＝[y1，y2，
…
，yi，
…
，yn]，其中，i＝1， 2，
…
，n。则，每个第一候选试题的考评方向信息和考题偏向信息对应的特征之间的夹角余弦值可以通过公式
①
表示：
[0088][0089]
其中，x
·
y表示特征x与特征y的内积，||为取模符号，|x|表示特征x的模，|y|表示特征y的模。
[0090]
进一步的，特征x与特征y的内积可以通过公式
②
表示：
[0091][0092]
进一步的，特征x的模可以通过公式
③
表示：
[0093][0094]
在本实施方式中，将该夹角余弦值作为每个第一候选试题的考评方向信息和考题偏向信息之间的匹配度，由于余弦值的取值范围为[-1，1]，这使得余弦值在高维的情况下依然拥有相同时为1、正交时为0、相反时为-1的性质。即，余弦值越趋近于1，代表两个特征之间的方向越接近，匹配度越高；越趋近于-1，他们的方向越相反，匹配度越低；接近于0，表示两个特征近乎于正交，可以体现两个特征方向上的相对差异。由此，采用余弦值作为每个第一候选试题的考评方向信息和考题偏向信息之间的匹配度，可以精确的表示每个第一候选试题的考评方向信息和考题偏向信息之间的匹配程度。
[0095]
在确定每个第一候选试题的考评方向信息和考题偏向信息之间的匹配度后，根据匹配度在试题库中确定至少一个第二候选试题，其中，至少一个第二候选试题中的每个第二候选试题的考评方向信息和考题偏向信息之间的匹配度大于第一阈值。
[0096]
然后，可以获取每个第二候选试题的试题类型和分值，即，每个第二候选试题是选择题还是主观题，每个第二候选试题的分值是多少。
[0097]
最后，即可根据试卷总分和试卷组成信息，以及每个第二候选试题的试题类型和分值，在至少一个第二候选试题确定至少一个目标试题。具体而言，可以使至少一个目标试题中选择题和主观题的比重和试卷组成信息中设定的比重相同，且该至少一个目标试题对应的分值的和等于试卷总分。
[0098]
由此，可以针对每个不同的待考评人的考核目的和实际工作，实时生成考评试题，不但使生成的试题可以更加精确的考评出待考评人的实际水平，提升考评精度，还使得考评试题的内容和考评目的高度相关，更能体现出待考评人是否可以胜任其考评目的对应的职称。此外，实时且动态的试题也杜绝了待考评人作弊的可能性，使考评结果的可信度进一步提升。
[0099]
304：根据至少一个目标试题确定试题生成顺序。
[0100]
在本实施方式中，可以根据预设的试题类型顺序，例如：[选择题-主观题]的顺序，对至少一个目标试题进行初步排序。简单而言，即将所有的选择题排列在主观题的前面。然后，在选择题或主观题的内部进行随机排序，得到试题生成顺序。此外，还可以根据试题的难易程度进行排序，或根据试题间的关联程度进行排序，得到相应的试题生成顺序。
[0101]
305：根据试题生成顺序依次获取至少一个目标试题中每个目标试题的答案，得到标准答案序列。
[0102]
306：根据试题生成顺序依次向待考评人展示至少一个目标试题，并接收待考评人输入的答案，得到考评答案序列。
[0103]
307：根据标准答案序列和考评答案序列，确定待考评人的考评结果。
[0104]
在本实施方式中，对于选择题，可以计算标准答案序列和考评答案序列中选择题部分的字符串的相似度来确定本次考核中，待考评人选择题的正确率，继而得到该待考评人在本次考评中的选择提的分。
[0105]
同时，对于主观题，在本实施方式中，如图8所示，可以分别在标准答案序列和考评答案序列中获取序列位置相同的两份文本，既而根据标准答案序列中的第一文本进行分析，得到第一语义向量和若干个关键词。由此，对考评答案序列中的第二文本进行分析，确认其包含通过第一文本确定出的若干个关键词的情况和第二语义向量。最后，通过计算第一语义向量和第二语义向量之间的相似度，以及第二文本中包括的关键词的数量，确定该主观题的考评得分。
[0106]
在本实施方式中，主观题的考评得分可以通过公式
④
进行表示：
[0107][0108]
其中，d表示主观题的考评得分，f表示主观题的总分，k表示通过第一文本确定出的若干个关键词的数量，g表示第二文本包括的关键词的数量，s表示第一语义向量和第二语义向量之间的相似度。
[0109]
最后，将每个考题的得分进行累加，即可得到该待考评人的考评结果。
[0110]
综上所述，本发明所提供的线上考评方法中，通过考评请求获取待考评人的身份信息和记录了待考评人的实际工作内容工作信息，继而根据身份信息和工作信息，确定试题库、标识待考评人的试卷中选择题和主观题的比重的试卷组成信息、以及标识试卷中考题的考评方向的考题偏向信息，并根据试卷组成信息和考题偏向信息在试题库中匹配至少
一个目标试题。然后，根据该至少一个目标试题确定试题生成顺序，同时根据试题生成顺序依次获取至少一个目标试题中每个目标试题的答案，得到标准答案序列。最后，根据试题生成顺序依次向待考评人展示该至少一个目标试题，并接收待考评人输入的答案，得到考评答案序列，继而根据标准答案序列和考评答案序列，确定待考评人的考评结果。由此，实现了宠物医师的在线考评，提高了考评效率。并且通过待考评人的身份信息确定其相应的职称，并根据工作信息确定其工作的偏向，继而实时并动态的筛选出符合该职称和实际工作偏向的考评试题生成考评试卷，不但使得每个待考评人的考评试题均不相同，降低了作弊几率。同时，使得每个待考评人的考评试题更加贴切其当前的职称和实际工作，可以更好的反映出该待考评人的实际水平。
[0111]
参阅图9，图9为本技术实施方式提供的一种线上考评装置的功能模块组成框图。如图 9所示，该线上考评装置900包括：
[0112]
身份确定模块901，用于根据考评请求信息确定待考评人的身份信息和工作信息，其中，工作信息用于记录待考评人的实际工作内容；
[0113]
试题匹配模块902，用于根据身份信息和工作信息，确定试题库、试卷组成信息和考题偏向信息，其中，试卷组成信息用于标识待考评人的试卷中，选择题和主观题的比重，考题偏向信息用于标识试卷中考题的考评方向；
[0114]
试题确定模块903，用于根据试卷组成信息和考题偏向信息在试题库中匹配至少一个目标试题，根据至少一个目标试题确定试题生成顺序；
[0115]
答案确定模块904，用于根据试题生成顺序依次获取至少一个目标试题中每个目标试题的答案，得到标准答案序列；
[0116]
试题展示模块905，用于根据试题生成顺序依次向待考评人展示至少一个目标试题，并接收待考评人输入的答案，得到考评答案序列；
[0117]
结果分析模块906，用于根据标准答案序列和考评答案序列，确定待考评人的考评结果。
[0118]
在本发明的实施方式中，在根据身份信息和工作信息，确定试题库、试卷组成信息和考题偏向信息方面，试题匹配模块902，具体用于：
[0119]
根据身份信息确定待考评人的当前职称信息和考评目的信息；
[0120]
根据当前职称信息和考评目的信息，确定试题库；
[0121]
根据工作信息确定待考评人的工作偏向信息，其中，工作偏向信息用于标识待考评人在实际工作中，文字类型的工作和实操类型的工作的比重；
[0122]
根据考评目的信息和工作偏向信息，确定试卷组成信息和考题偏向信息。
[0123]
在本发明的实施方式中，在根据当前职称信息和考评目的信息，确定试题库方面，试题匹配模块902，具体用于：
[0124]
对当前职称信息进行关键词提取，得到第一关键词；
[0125]
获取第一关键词对应的第一等级；
[0126]
对考评目的信息进行关键词提取，得到第二关键词；
[0127]
获取第二关键词对应的等级增量；
[0128]
将第一等级和等级增量的和作为第二等级；
[0129]
根据第一等级和第二等级确定考评范围信息；
[0130]
根据考评范围信息和第二等级，在所有候选试题中获取至少一个第一候选试题组成试题库，其中，至少一个第一候选试题中的每个第一候选试题的考评范围属于考评范围信息所标识的范围，且每个第一候选试题的试题等级与第二等级相同。
[0131]
在本发明的实施方式中，当考评目的信息为进阶时，在根据考评目的信息和工作偏向信息，确定试卷组成信息和考题偏向信息方面，试题匹配模块902，具体用于：
[0132]
根据考评目的信息获取进阶职称信息；
[0133]
获取进阶职称信息对应的第一标准工作分布信息，其中，第一标准工作分布信息用于标识对应的职称在实际工作中，文字类型的工作和实操类型的工作的比重；
[0134]
根据第一标准工作分布信息，确定第一试卷组成信息；
[0135]
根据工作偏向信息，确定第二试卷组成信息；
[0136]
将第一试卷组成信息和第二试卷组成信息作为试卷组成信息；
[0137]
将工作偏向信息中，比重高的工作类型信息作为考题偏向信息。
[0138]
在本发明的实施方式中，当考评目的信息为维持时，在根据考评目的信息和工作偏向信息，确定试卷组成信息和考题偏向信息方面，试题匹配模块902，具体用于：
[0139]
根据考评目的信息获取维持职称信息；
[0140]
获取维持职称信息对应的第二标准工作分布信息，其中，第二标准工作分布信息用于标识对应的职称在实际工作中，文字类型的工作和实操类型的工作的比重；
[0141]
根据第二标准工作分布信息和工作偏向信息，确定目标偏向信息；
[0142]
将目标偏向信息作为试卷组成信息；
[0143]
将目标偏向信息中，比重高的工作类型信息作为考题偏向信息。
[0144]
在本发明的实施方式中，在根据试卷组成信息和考题偏向信息在试题库中匹配至少一个目标试题方面，试题确定模块903，具体用于：
[0145]
根据考题偏向信息在试题库中确定至少一个第二候选试题，其中，至少一个第二候选试题中的每个第二候选试题的考核内容与考题偏向信息之间的匹配度大于第一阈值；
[0146]
获取每个第二候选试题的试题类型和分值；
[0147]
根据试卷总分和试卷组成信息，以及每个第二候选试题的试题类型和分值，在至少一个第二候选试题确定至少一个目标试题，其中，至少一个目标试题中选择题和主观题的比重和试卷组成信息相同，且至少一个目标试题对应的分值的和等于试卷总分。
[0148]
在本发明的实施方式中，在根据考题偏向信息在试题库中确定至少一个第二候选试题方面，试题确定模块903，具体用于：
[0149]
对试题库中的每个第一候选试题进行关键词提取，得到至少一个第三关键词；
[0150]
对至少一个第三关键词中的每个第三关键词进行特征提取，得到至少一个关键词向量，其中，至少一个关键词向量和至少一个第三关键词一一对应；
[0151]
将至少一个关键词向量进行拼接，得到融合词向量；
[0152]
根据融合词向量确定每个第一候选试题的考评方向信息；
[0153]
计算每个第一候选试题的考评方向信息和考题偏向信息之间的匹配度；
[0154]
根据匹配度在试题库中确定至少一个第二候选试题，其中，至少一个第二候选试题中的每个第二候选试题的考评方向信息和考题偏向信息之间的匹配度大于第一阈值。
[0155]
参阅图10，图10为本技术实施方式提供的一种电子设备的结构示意图。如图10所
示，电子设备1000包括收发器1001、处理器1002和存储器1003。它们之间通过总线1004连接。存储器1003用于存储计算机程序和数据，并可以将存储器1003存储的数据传输给处理器 1002。
[0156]
处理器1002用于读取存储器1003中的计算机程序执行以下操作：
[0157]
根据考评请求信息确定待考评人的身份信息和工作信息，其中，工作信息用于记录待考评人的实际工作内容；
[0158]
根据身份信息和工作信息，确定试题库、试卷组成信息和考题偏向信息，其中，试卷组成信息用于标识待考评人的试卷中，选择题和主观题的比重，考题偏向信息用于标识试卷中考题的考评方向；
[0159]
根据试卷组成信息和考题偏向信息在试题库中匹配至少一个目标试题；
[0160]
根据至少一个目标试题确定试题生成顺序；
[0161]
根据试题生成顺序依次获取至少一个目标试题中每个目标试题的答案，得到标准答案序列；
[0162]
根据试题生成顺序依次向待考评人展示至少一个目标试题，并接收待考评人输入的答案，得到考评答案序列；
[0163]
根据标准答案序列和考评答案序列，确定待考评人的考评结果。
[0164]
在本发明的实施方式中，在根据身份信息和工作信息，确定试题库、试卷组成信息和考题偏向信息方面，处理器1002，具体用于执行以下操作：
[0165]
根据身份信息确定待考评人的当前职称信息和考评目的信息；
[0166]
根据当前职称信息和考评目的信息，确定试题库；
[0167]
根据工作信息确定待考评人的工作偏向信息，其中，工作偏向信息用于标识待考评人在实际工作中，文字类型的工作和实操类型的工作的比重；
[0168]
根据考评目的信息和工作偏向信息，确定试卷组成信息和考题偏向信息。
[0169]
在本发明的实施方式中，在根据当前职称信息和考评目的信息，确定试题库方面，处理器1002，具体用于执行以下操作：
[0170]
对当前职称信息进行关键词提取，得到第一关键词；
[0171]
获取第一关键词对应的第一等级；
[0172]
对考评目的信息进行关键词提取，得到第二关键词；
[0173]
获取第二关键词对应的等级增量；
[0174]
将第一等级和等级增量的和作为第二等级；
[0175]
根据第一等级和第二等级确定考评范围信息；
[0176]
根据考评范围信息和第二等级，在所有候选试题中获取至少一个第一候选试题组成试题库，其中，至少一个第一候选试题中的每个第一候选试题的考评范围属于考评范围信息所标识的范围，且每个第一候选试题的试题等级与第二等级相同。
[0177]
在本发明的实施方式中，当考评目的信息为进阶时，在根据考评目的信息和工作偏向信息，确定试卷组成信息和考题偏向信息方面，处理器1002，具体用于执行以下操作：
[0178]
根据考评目的信息获取进阶职称信息；
[0179]
获取进阶职称信息对应的第一标准工作分布信息，其中，第一标准工作分布信息用于标识对应的职称在实际工作中，文字类型的工作和实操类型的工作的比重；
[0180]
根据第一标准工作分布信息，确定第一试卷组成信息；
[0181]
根据工作偏向信息，确定第二试卷组成信息；
[0182]
将第一试卷组成信息和第二试卷组成信息作为试卷组成信息；
[0183]
将工作偏向信息中，比重高的工作类型信息作为考题偏向信息。
[0184]
在本发明的实施方式中，当考评目的信息为维持时，在根据考评目的信息和工作偏向信息，确定试卷组成信息和考题偏向信息方面，处理器1002，具体用于执行以下操作：
[0185]
根据考评目的信息获取维持职称信息；
[0186]
获取维持职称信息对应的第二标准工作分布信息，其中，第二标准工作分布信息用于标识对应的职称在实际工作中，文字类型的工作和实操类型的工作的比重；
[0187]
根据第二标准工作分布信息和工作偏向信息，确定目标偏向信息；
[0188]
将目标偏向信息作为试卷组成信息；
[0189]
将目标偏向信息中，比重高的工作类型信息作为考题偏向信息。
[0190]
在本发明的实施方式中，在根据试卷组成信息和考题偏向信息在试题库中匹配至少一个目标试题方面，处理器1002，具体用于执行以下操作：
[0191]
根据考题偏向信息在试题库中确定至少一个第二候选试题，其中，至少一个第二候选试题中的每个第二候选试题的考核内容与考题偏向信息之间的匹配度大于第一阈值；
[0192]
获取每个第二候选试题的试题类型和分值；
[0193]
根据试卷总分和试卷组成信息，以及每个第二候选试题的试题类型和分值，在至少一个第二候选试题确定至少一个目标试题，其中，至少一个目标试题中选择题和主观题的比重和试卷组成信息相同，且至少一个目标试题对应的分值的和等于试卷总分。
[0194]
在本发明的实施方式中，在根据考题偏向信息在试题库中确定至少一个第二候选试题方面，处理器1002，具体用于执行以下操作：
[0195]
对试题库中的每个第一候选试题进行关键词提取，得到至少一个第三关键词；
[0196]
对至少一个第三关键词中的每个第三关键词进行特征提取，得到至少一个关键词向量，其中，至少一个关键词向量和至少一个第三关键词一一对应；
[0197]
将至少一个关键词向量进行拼接，得到融合词向量；
[0198]
根据融合词向量确定每个第一候选试题的考评方向信息；
[0199]
计算每个第一候选试题的考评方向信息和考题偏向信息之间的匹配度；
[0200]
根据匹配度在试题库中确定至少一个第二候选试题，其中，至少一个第二候选试题中的每个第二候选试题的考评方向信息和考题偏向信息之间的匹配度大于第一阈值。
[0201]
应理解，本技术中的线上考评装置可以包括智能手机(如android手机、ios手机、 windows phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备mid(mobileinternet devices，简称：mid)、机器人或穿戴式设备等。上述线上考评装置仅是举例，而非穷举，包含但不限于上述线上考评装置。在实际应用中，上述线上考评装置还可以包括：智能车载终端、计算机设备等等。
[0202]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算
机，服务器，或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。
[0203]
因此，本技术实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施方式中记载的任何一种线上考评方法的部分或全部步骤。例如，所述存储介质可以包括硬盘、软盘、光盘、磁带、磁盘、优盘、闪存等。
[0204]
本技术实施方式还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施方式中记载的任何一种线上考评方法的部分或全部步骤。
[0205]
需要说明的是，对于前述的各方法实施方式，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施方式均属于可选的实施方式，所涉及的动作和模块并不一定是本技术所必须的。
[0206]
在上述实施方式中，对各个实施方式的描述都各有侧重，某个实施方式中没有详述的部分，可以参见其他实施方式的相关描述。
[0207]
在本技术所提供的几个实施方式中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0208]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0209]
另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
[0210]
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0211]
本领域普通技术人员可以理解上述实施方式的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器 (英
文：random access memory，简称：ram)、磁盘或光盘等。
[0212]
以上对本技术实施方式进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施方式的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。