自然语言训练模型训练方法、装置、计算机设备及介质与流程

1.本发明涉及计算机技术领域，具体涉及自然语言训练模型训练方法、装置、计算机设备及介质。


背景技术：

2.现有的涉及人机交互功能的应用程序功能比较单一，例如只能是根据用户提问做出一个设定好的答复。或者，当用户需要利用应用程序创建某操作系统时，需要根据应用程序的智能指导按步骤操作；整个操作过程比较繁琐，还容易出错。
3.虽然，现有技术中存在某些训练手段可以通过大量样本数据进行训练来优化应用程序的性能，以提升应用程序的灵活性和可用性。但是现有的训练过程中，例如设置有对照组和训练组，利用训练组对神经网络进行训练，利用对照组验证训练结果。但是执行过程中，一旦训练组和对照组随机选取的参数不同，就容易导致对照组和训练组的处理速度和效率存在差异，使得最终终有一方需要等待另一方的运行完成后才能执行结果验证。导致整个训练过程占用太多时间，工作效率低。


技术实现要素：

4.有鉴于此，本发明提供了一种自然语言训练模型训练方法、装置、计算机设备及介质，以解决现有技术中训练过程中对照组和训练组由于随机选取的参数不同，导致两组训练的处理速度和效率存在差异的问题。
5.第一方面，本发明提供了一种自然语言训练模型训练方法，该方法包括：
6.在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试，其中，用例库中包括与多个功能模块分别对应的测试用例，且与每一个功能模块对应的测试用例均包括至少一个；
7.当确定任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池；
8.控制两个自然语言训练模型均停止对第一功能模块的测试用例的训练，并分别利用两个自然语言训练模型进行除第一功能模块之外的其他功能模块的训练，直至当本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者当阻塞池中测试用例的数量达到预设数值时结束操作。
9.本发明提供的一种自然语言训练模型训练方法，具有如下优点：
10.在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试。当确定任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池，在本迭代周期内，两个自然语言训练模型都将停止对该第一功能模块的测试用例的训练。而是继续训练用例库中的下一个功能模块对应的测试用例。直至本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者阻塞池中的功能模块的数量达到预设数值时结束操作。在该过程中，任一自
然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件，如果另一自然语言训练模型继续完成对第一功能模块的测试，必然会导致两个自然语言训练模型对用例库中功能模块的测试的不同步，例如包括处理速度和效率等的不同步。而利用本技术的方法，两个自然语言训练模型同时停止对第一功能模块的训练，将其加入到阻塞池中，继续同步对用例库中的其他功能模块对应的测试用例的训练，保证两个自然语言训练模型的训练同步，避免训练过程占用太多时间，大大提升工作效率。而在下一次迭代过程中，依然对用例库中所有的功能模块的用例进行训练，所以，通常情况下，用例库中所有的功能模块的用例都将被训练到，不存在遗漏的情况。
11.在一种可选的实施方式中，每一个功能模块均配置有关键测试用例，在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试，具体包括：
12.针对每一个功能模块，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的关键测试用例进行测试；
13.当关键测试用例测试成功时，对功能模块对应的除关键测试用例之外的其他测试用例进行测试；
14.或者，当关键测试用例测试失败时，直接将功能模块加速阻塞池。
15.具体的，每一个功能模块都对应有至少一个测试用例，而每一个测试用例在该功能模块中所起到的作用不同。例如每个功能模块中可能包括有关键测试用例，如果关键测试用例测试不通过，其他测试用例即使测试通过意义也不是很大。所以，需要针对每一个功能模块，首先针对关键测试用例进行训练测试。一旦训练测试过程中，关键测试用例测试失败，则该功能模块的后续的其他测试用例也无需再进行测试，直接停止对该功能模块的测试用例的训练，将该功能模块加入至阻塞池，其中，关键测试用例为优先级相较于其他普通用例的优先级更高。通过该方式，提高训练效率。
16.在一种可选的实施方式中，用例库中的多个功能模块均配置优先级；
17.功能模块的优先级，决定功能模块的测试顺序，其中功能模块的优先级根据功能模块的测试用例的数量确定。
18.具体的，功能模块越重要，越应该首先被进行训练测试。且功能模块越重要，其对应的测试用例的数量也将会更多。
19.在一种可选的实施方式中，预设数值为零，或者为，小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值。
20.具体的，当预设数值为零时，则说明阻塞池中没有功能模块，也就相当于说明整个用例库中的所有功能模块均测试成功。或者，当预设数值为小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值时，则表示用例库中最重要的功能模块已经在多轮测试中训练测试失败，才导致阻塞池中的用例数量达到了预设数值，此时则需要停止训练并通知工作人员检测阻塞池中所存在的功能模块，是否存在最重要的功能模块，并采取有效的措施。
21.在一种可选的实施方式中，预设停止条件包括：
22.确定两个自然语言训练模型中的第一自然语言训练模型对第一功能模块对应的第一测试用例的训练测试失败，其中，第一测试用例为至少一个测试用例中的任一个；
23.或者，
24.确定两个自然语言训练模型针对第一功能模块对应的测试用例测试的累计时间之间的差值大于预设时间阈值。
25.具体的，当确定两个自然语言训练模型中第一自然语言训练模型对第一功能模块对应的任一测试用例的训练测试失败时，则说明这个功能模块不能直接被应用，所以需要加入到阻塞池；或者，两个自然语言训练模型针对第一功能模块的累计时间之间的差值大于预设时间阈值，则说明两个自然语言训练模型针对第一功能模块的训练不同步，会存在速度差异，或者效率差异，需要将该功能模块加入到阻塞池中，并进行其他功能模块的训练。
26.在一种可选的实施方式中，该方法还包括：
27.当本迭代周期并非为预设数量的迭代周期中的最后一个迭代周期时，在本迭代周期的训练结束后进入下一迭代周期的训练流程；
28.在下一迭代周期的训练流程中，若确定第二功能模块的所有测试用例均训练成功时，将第二功能模块对应的测试用例从阻塞池中移除，第二功能模块为阻塞池中的任一功能模块。
29.具体的，当本迭代周期并非为预设数量的迭代周期中的最后一个迭代周期时，在本迭代周期的训练结束后进入下一迭代周期的训练流程，并在下一迭代周期的训练流程中，若第二功能模块的所有测试用例均训练成功，则将第二功能模块从阻塞池中移除。通过该方式，减少阻塞池中的测试用例的数量。
30.在一种可选的实施方式中，当阻塞池中的功能模块数量达到预设数值时，该方法还包括：
31.生成提示信息，其中，当预设数值为零时，提示信息用以指示用例库中的所有功能模块均训练完成；
32.或者，当预设数值为小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值时，提示信息用以指示两个自然语言训练模型中至少一个已发生故障。
33.具体的，通过提示信息，告知工作人员目前的训练已经完成，或者用以提示故障告警。
34.第二方面，本发明提供了一种自然语言训练模型训练装置，该装置包括：
35.训练模块，用于在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试，其中，用例库中包括与多个功能模块分别对应的测试用例，且与每一个功能模块对应的测试用例均包括至少一个；
36.确定模块，用于当确定任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池；
37.处理模块，控制两个自然语言训练模型均停止对第一功能模块的测试用例的训练，并分别利用两个自然语言训练模型进行除第一功能模块之外的其他功能模块的训练，直至当本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者当阻塞池中测试用例的数量达到预设数值时结束操作。
38.本发明提供的一种自然语言训练模型训练装置，具有如下优点：
39.在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试。当确定任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池，在本迭代周期内，两个自然语言训练模型都将停止对该第一功能模块的测试用例的训练。而是继续训练用例库中的下一个功能模块对应的测试用例。直至本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者阻塞池中的功能模块的数量达到预设数值时结束操作。在该过程中，任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件，如果另一自然语言训练模型继续完成对第一功能模块的测试，必然会导致两个自然语言训练模型对用例库中功能模块的测试的不同步，例如包括处理速度和效率等的不同步。而利用本技术的方法，两个自然语言训练模型同时停止对第一功能模块的训练，将其加入到阻塞池中，继续同步对用例库中的其他功能模块对应的测试用例的训练，保证两个自然语言训练模型的训练同步，避免训练过程占用太多时间，大大提升工作效率。而在下一次迭代过程中，依然对用例库中所有的功能模块的用例进行训练，所以，通常情况下，用例库中所有的功能模块的用例都将被训练到，不存在遗漏的情况。
40.在一种可选的实施方式中，每一个功能模块均配置有关键测试用例，训练模块，具体用于：
41.针对每一个功能模块，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的关键测试用例进行测试；
42.当关键测试用例测试成功时，对功能模块对应的除关键测试用例之外的其他测试用例进行测试；
43.或者，当关键测试用例测试失败时，直接将功能模块加速阻塞池。
44.具体的，每一个功能模块都对应有至少一个测试用例，而每一个测试用例在该功能模块中所起到的作用不同。例如每个功能模块中可能包括有关键测试用例，如果关键测试用例测试不通过，其他测试用例即使测试通过意义也不是很大。所以，需要针对每一个功能模块，首先针对关键测试用例进行训练测试。一旦训练测试过程中，关键测试用例测试失败，则该功能模块的后续的其他测试用例也无需再进行测试，直接停止对该功能模块的测试用例的训练，将该功能模块加入至阻塞池，其中，关键测试用例为优先级相较于其他普通用例的优先级更高。通过该方式，提高训练效率。
45.在一种可选的实施方式中，用例库中的多个功能模块均配置优先级；
46.功能模块的优先级，决定功能模块的测试顺序，其中功能模块的优先级根据功能模块的测试用例的数量确定。
47.具体的，功能模块越重要，越应该首先被进行训练测试。且功能模块越重要，其对应的测试用例的数量也将会更多。
48.在一种可选的实施方式中，预设数值为零，或者为，小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值。
49.具体的，当预设数值为零时，则说明阻塞池中没有功能模块，也就相当于说明整个用例库中的所有功能模块均测试成功。或者，当预设数值为小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值时，则表示用例库中最重要的功能模块已经在多轮测试中训练测试失败，才导致阻塞池中的用例数量达到了预设数值，此时则需
要停止训练并通知工作人员检测阻塞池中所存在的功能模块，是否存在最重要的功能模块，并采取有效的措施。
50.在一种可选的实施方式中，预设停止条件包括：
51.确定两个自然语言训练模型中的第一自然语言训练模型对第一功能模块对应的第一测试用例的训练测试失败，其中，第一测试用例为至少一个测试用例中的任一个；
52.或者，
53.确定两个自然语言训练模型针对第一功能模块对应的测试用例测试的累计时间之间的差值大于预设时间阈值。
54.具体的，当确定两个自然语言训练模型中第一自然语言训练模型对第一功能模块对应的任一测试用例的训练测试失败时，则说明这个功能模块不能直接被应用，所以需要加入到阻塞池；或者，两个自然语言训练模型针对第一功能模块的累计时间之间的差值大于预设时间阈值，则说明两个自然语言训练模型针对第一功能模块的训练不同步，会存在速度差异，或者效率差异，需要将该功能模块加入到阻塞池中，并进行其他功能模块的训练。
55.在一种可选的实施方式中，装置还包括处理模块，用于当本迭代周期并非为预设数量的迭代周期中的最后一个迭代周期时，在本迭代周期的训练结束后进入下一迭代周期的训练流程；
56.处理模块，用于在下一迭代周期的训练流程中，若确定第二功能模块的所有测试用例均训练成功时，将第二功能模块对应的测试用例从阻塞池中移除，第二功能模块为阻塞池中的任一功能模块。
57.具体的，当本迭代周期并非为预设数量的迭代周期中的最后一个迭代周期时，在本迭代周期的训练结束后进入下一迭代周期的训练流程，并在下一迭代周期的训练流程中，若第二功能模块的所有测试用例均训练成功，则将第二功能模块从阻塞池中移除。通过该方式，减少阻塞池中的测试用例的数量。
58.在一些可选的实施方式中，装置还包括：
59.生成模块，当阻塞池中的功能模块数量达到预设数值时，生成提示信息，其中，当预设数值为零时，提示信息用以指示用例库中的所有功能模块均训练完成；
60.或者，当预设数值为小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值时，提示信息用以指示两个自然语言训练模型中至少一个已发生故障。
61.具体的，通过提示信息，告知工作人员目前的训练已经完成，或者用以提示故障告警。
62.第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的自然语言训练模型训练方法。
63.第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的自然语言训练模型训练方法。
附图说明
64.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
65.图1是本发明实施例提供的自然语言训练模型训练方法的流程图；
66.图2是本发明提供的云计算虚拟化平台结构示意图；
67.图3是本发明提供的云平台层结构示意图；
68.图4是本发明实施例提供的另一种自然语言训练模型训练方法的流程示意图；
69.图5是本发明实施例提供的又一种自然语言训练模型训练方法的流程图；
70.图6是根据本发明实施例的一种自然语言训练模型训练装置结构框图；
71.图7是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
72.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
73.在自动化训练过程中存在有很多不确定性，环境，配置，选取参数的不同，可能会对自动化训练的流程产生影响，例如，在训练生成json语句的准确性时，采用一种同步训练的方法，由于随机参数的选取不同，可能会遇到以下几种情况：
74.1.两边运行时间差异的累积导致训练效率下降；
75.例如对照组下的命令参数位数比较多，而训练组的参数只有个位，导致双方的处理速度和效率是有差异的，随着这种差异的累积，就可能导致一方需要停止训练，等待另一方跟上进度之后再继续；
76.2.由于环境，配置的影响，虽然尽可能的选取了相同的环境，相同的配置，但是在实际的日常工作中，依然会存在环境不同，和/或配置不同的情况发生，而且频率可能也不是很低。从而造成了训练双方的某一方，或双方产生了自动化流程错误。
77.例如，需要测虚拟交换机的功能，但是实际情况中某个模型中的配置存在虚拟交换机未创建成功的情况，导致该模型中后续针对虚拟交换机有关的测试，都会得到错误的训练。
78.为解决上述问题，本发明实施例，提供了一种自然语言训练模型训练实施例，需要说明的是，在附图的流程图示出的步骤可以在包括诸如一组计算机可执行指令的计算机系统(计算机设备)中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
79.在本实施例中提供了一种自然语言训练模型训练方法，可用于上述的终端机设备，如手机、平板电脑等，图1是本发明实施例提供的自然语言训练模型训练方法的流程图，如图1所示，该流程包括如下步骤。
80.在介绍本发明实施例的方法步骤之前，首先介绍本发明实施例的具体应用场景。
81.本发明主要应用于云计算虚拟化平台的自然语言处理模型训练，通过本方法可以为云计算虚拟化平台训练出专属高效的自然语言处理工具，更好的帮助用户使用虚拟化平台。相较于传统的用户手册，本方案训练出的自然语言训练模型在了解本产品功能的基础上，也能为客户提供诸如基本的计算机命令提示，基础的网络故障定位等服务。相较于其他传统的网页端人工智能对话机器人，通过本方案训练出来的自然语言训练模型不仅可以指导客户进行系统操作，同时也能够通过客户输入的语句完成客户所指定的相关命令(如：创建虚拟交换机，增加虚拟磁盘等)。
82.云计算虚拟化平台一般由三部分组成：前端，平台，底层(业务层)。如图2，其中前端为用户操作界面，通过图形和文字界面帮助用户方便快捷的下发命令。平台的作用为接收前端下发的命令，并向底层传达。底层，则是用来接收平台层下发的命令，完成实际的需求。需要注意的是平台层大多又分为控制层、服务层和持久层。其中，具体参见图3所示，图3限定了云平台层结构。控制层用于接收前端发送来的json语句并将其封装，服务层对封装好的数据进行检查并调用相关的业务逻辑将数据向底层下发，当收到底层执行命令成功的反馈之后，再将相关数据在持久层进行存储，保证平台层和底层的一致性。
83.本发明实施例的方法步骤，参见如下，包括：
84.步骤s101，在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试。
85.具体的，用例库中包括有多个功能模块，每一个功能模块又分别配置有至少一个测试用例。
86.所以，在当前迭代周期内，需要分别利用两个自然语言训练模型对用例库中每一个功能模块对应的全部测试用例进行训练测试。其中，一个自然语言训练模型对测试用例的测试可以理解为是训练组，另一个自然语言训练模型对测试用例的测试可以理解为对照组。通过对照组获取的测试结果来验证训练组的训练结果。
87.步骤s102，当确定任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池。
88.步骤s103，控制两个自然语言训练模型均停止对第一功能模块的测试用例的训练，并分别利用两个自然语言训练模型进行除第一功能模块之外的其他功能模块的训练，直至当本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者当阻塞池中测试用例的数量达到预设数值时结束操作。
89.具体的，当任一自然语言训练模型，通常指的是训练组的自然语言模型对第一功能模块对应的测试用例的训练测试符合预设停止条件，则这两个自然语言训练模型都将停止对该功能模块的测试用例的测试，并将第一功能模块对应的所有测试用例都加入到阻塞池中。
90.而加入阻塞池后，并不代表该功能模块后续将不再被执行训练测试，仅仅是在本迭代周期内不再被执行训练测试。下一迭代周期内将继续被执行训练测试。加入阻塞池的目的是为了防止该功能模块的训练测试迟迟不能成功，会导致自然语言训练模型不能继续对其他功能模块进行训练测试，或者，耽误较长时间后才能对其他功能模型进行训练测试。如此一来，另一个自然语言训练模型的测试进程将远远超过当前的自然语言训练模型的测试进程。导致二者的对照没有太大意义。将迟迟不能测试成功的功能模块加入到阻塞池后，
直接进入下一测试环节，也即是两个自然语言训练模型同步训练下一个功能模块的测试用例。进程依然是同步的。那么两组结果的对照和验证等将更加有意义。
91.本实施例提供的自然语言训练模型训练方法，在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试。当确定任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池，在本迭代周期内，两个自然语言训练模型都将停止对该第一功能模块的测试用例的训练。而是继续训练用例库中的下一个功能模块对应的测试用例。直至本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者阻塞池中的功能模块的数量达到预设数值时结束操作。在该过程中，任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件，如果另一自然语言训练模型继续完成对第一功能模块的测试，必然会导致两个自然语言训练模型对用例库中功能模块的测试的不同步，例如包括处理速度和效率等的不同步。而利用本技术的方法，两个自然语言训练模型同时停止对第一功能模块的训练，将其加入到阻塞池中，继续同步对用例库中的其他功能模块对应的测试用例的训练，保证两个自然语言训练模型的训练同步，避免训练过程占用太多时间，大大提升工作效率。而在下一次迭代过程中，依然对用例库中所有的功能模块的用例进行训练，所以，通常情况下，用例库中所有的功能模块的用例都将被训练到，不存在遗漏的情况。
92.在本实施例中提供了一种自然语言训练模型训练方法，可用于上述的移动终端，如手机、平板电脑等，图4是本发明实施例提供的另一种自然语言训练模型训练方法的流程图，如图4所示，该流程包括如下步骤：
93.步骤s401，在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试。
94.具体而言，用例库中包括与多个功能模块分别对应的测试用例，且与每一个功能模块对应的测试用例均包括至少一个。且，每一个功能模块均配置有关键测试用例。
95.因此，在一个可选的实施方式中，在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试，具体包括：
96.步骤s4011，针对每一个功能模块，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的关键测试用例进行测试。
97.步骤s4012，当关键测试用例测试成功时，对功能模块对应的除关键测试用例之外的其他测试用例进行测试。
98.步骤s4013，或者，当关键测试用例测试失败时，直接将功能模块加速阻塞池。
99.具体而言，关键测试用例是支撑一个功能模块的功能的主要测试用例。如果关键测试用例作为该功能模块的基础功能测试不成功，那么针对其他测试用例的测试就显得无关紧要。因此，首先需要针对每一个功能模块，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的关键测试用例进行测试。只有当关键测试用例测试成功时，对功能模块对应的除关键测试用例之外的其他测试用例进行测试。否则，当关键测试用例测试失败时，直接将功能模块加速阻塞池。
100.步骤s402，当确定任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池。
101.步骤s403，控制两个自然语言训练模型均停止对第一功能模块的测试用例的训练，并分别利用两个自然语言训练模型进行除第一功能模块之外的其他功能模块的训练，直至当本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者当阻塞池中测试用例的数量达到预设数值时结束操作。
102.步骤s402和步骤s403的介绍，详细请参见图1所示实施例的步骤s102和步骤103，在此不再赘述。
103.本发明实施例提供的一种自然语言训练模型训练方法，每一个功能模块都对应有至少一个测试用例，而每一个测试用例在该功能模块中所起到的作用不同。例如每个功能模块中可能包括有关键测试用例，如果关键测试用例测试不通过，其他测试用例即使测试通过意义也不是很大。所以，需要针对每一个功能模块，首先针对关键测试用例进行训练测试。一旦训练测试过程中，关键测试用例测试失败，则该功能模块的后续的其他测试用例也无需再进行测试，直接停止对该功能模块的测试用例的训练，将该功能模块加入至阻塞池，其中，关键测试用例为优先级相较于其他普通用例的优先级更高。通过该方式，提高训练效率。
104.在一个可选的实施方式中，在前述任一个实施例的基础上，用例库中的多个功能模块均配置优先级；
105.功能模块的优先级，决定功能模块的测试顺序，其中功能模块的优先级根据功能模块的测试用例的数量确定。
106.也即是，在针对功能模块的测试用例进行训练测试之前，首先还需要根据功能模块的优先级，对功能模块进行排序。然后按照排序顺序，对功能模型进行测试。其中，功能模块的优先级，根据功能模块对应的测试用例的数据确定。即功能模块越重要，越应该首先被进行训练测试。且功能模块越重要，其对应的测试用例的数量也将会更多。
107.在一个可选的实施方式中，在前述任一实施例的基础上，预设数值为零，或者为，小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值。
108.具体而言，当预设数值为零时，则说明阻塞池中没有功能模块，也就相当于说明整个用例库中的所有功能模块均测试成功。或者，当预设数值为小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值时，则表示用例库中最重要的功能模块已经在多轮测试中训练测试失败，才导致阻塞池中的用例数量达到了预设数值，此时则需要停止训练并通知工作人员检测阻塞池中所存在的功能模块，是否存在最重要的功能模块，并采取有效的措施。
109.在一个可选的实施方式中，预设停止条件包括：
110.确定两个自然语言训练模型中的第一自然语言训练模型对第一功能模块对应的第一测试用例的训练测试失败，其中，第一测试用例为至少一个测试用例中的任一个；
111.或者，
112.确定两个自然语言训练模型针对第一功能模块对应的测试用例测试的累计时间之间的差值大于预设时间阈值。
113.具体而言，当确定两个自然语言训练模型中第一自然语言训练模型对第一功能模块对应的任一测试用例的训练测试失败时，则说明这个功能模块不能直接被应用，所以需要加入到阻塞池；或者，两个自然语言训练模型针对第一功能模块的累计时间之间的差值
大于预设时间阈值，则说明两个自然语言训练模型针对第一功能模块的训练不同步，会存在速度差异，或者效率差异，需要将该功能模块加入到阻塞池中，并进行其他功能模块的训练。
114.在本实施例中提供了一种自然语言训练模型训练方法，可用于上述的移动终端，如手机、平板电脑等，图5是本发明实施例提供的又一种自然语言训练模型训练方法的流程图，如图5所示，该流程包括如下步骤：
115.步骤s501，在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试。
116.步骤s502，当确定任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池。
117.步骤s503，控制两个自然语言训练模型均停止对第一功能模块的测试用例的训练，并分别利用两个自然语言训练模型进行除第一功能模块之外的其他功能模块的训练，直至当本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者当阻塞池中测试用例的数量达到预设数值时结束操作。
118.步骤s502至步骤503的介绍，详细请参见前述实施例1的步骤s101至步骤103，在此不再赘述。
119.步骤s504，当本迭代周期并非为预设数量的迭代周期中的最后一个迭代周期时，在本迭代周期的训练结束后进入下一迭代周期的训练流程。
120.步骤s505，在下一迭代周期的训练流程中，若确定第二功能模块的所有测试用例均训练成功时，将第二功能模块对应的测试用例从阻塞池中移除，第二功能模块为阻塞池中的任一功能模块。
121.其中，第二功能模块为阻塞池中的任一功能模块。
122.具体的，当本迭代周期并非为预设数量的迭代周期中的最后一个迭代周期是，自然需要在本迭代周期的训练结束后进入下一迭代周期的训练流程。并且，在在下一迭代周期的训练流程中，若确定第二功能模块的所有测试用例均训练成功，则说明阻塞池中存储第二功能模块对应的测试用例已经没有意义，还将占用存储空间。因此，可以将第二功能模块对应的测试用例从阻塞池中移除，而且还可以减少阻塞池中的测试用例的数量，防止训练测试被停止。
123.在前述任一个可选的实施方式中，当阻塞池中的功能模块数量达到预设数值时，方法还包括：
124.生成提示信息，其中，当预设数值为零时，提示信息用以指示用例库中的所有功能模块均训练完成；
125.或者，当预设数值为小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值时，提示信息用以指示两个自然语言训练模型中至少一个已发生故障。
126.具体的，通过提示信息，告知工作人员目前的训练已经完成，或者用以提示故障告警。
127.在前述任一个可选的实施方式中，在自然语言训练模型中，不同的功能模块可能需要不同的数据集和训练方法。因此，在本技术实施例中，可以将这些功能模块的训练任务
并行化，提高训练效率。
128.首先，我们需要将不同功能模块的用例准备好，并将其划分为适当的训练集和验证集。每个功能模块的用例可能包含输入文本、预期输出和相应的标签。然后，在每一个自然语言训练模型中，设置适当的线程数。每个线程负责执行一个功能模块的训练任务。在每个线程中，可以加载相应的训练数据集，并使用合适的训练方法对模型进行训练。训练方法可以根据具体的功能模块和任务要求进行选择，例如使用深度学习模型进行序列标注、分类或生成等任务。
129.在训练过程中，我们可以定期监控每个功能模块的训练进度，并记录模型在验证集上的性能指标。用以评估不同功能模块的训练效果，并做出相应的调整和优化。同时进行多个功能模块的训练任务，充分利用系统的计算资源，提高训练效率。同时，还可以限制并发任务的数量，避免系统过载和性能下降。
130.在一个具体的该应用实例中，应用于云计算虚拟化平台的自然语言处理模型以及训练方案。
131.首先介绍所需组件，原始自然语言处理模型、相同版本的两台云计算虚拟化主机以及虚拟化平台、云计算虚拟化平台自动化测试工具。
132.原始自然语言处理模型的选择有很多种，在选择开源模型的时候，应尽量选择可以本地部署的，较少参数的模型。
133.云计算虚拟化主机以及虚拟化平台，目前大多数的云计算虚拟化平台架构基本上都是前端 平台 底层的部署方式，因此选择时选择前端 平台 底层架构的即可，如开源的openstack，本发明采用incloud sphere作为讲解。
134.云计算虚拟化平台自动化测试工具，是一种用于模拟用户操作，自动化执行所有用例操作，并根据底层的反馈进行测试结果输出。自动化测试工具包含了，用例库(记录用例标号和内容，例如，采用用例创建虚拟机上行链路)、编译模块(人工创建的json语句库，将用例库中的每项用例编译成为能够被平台控制层所接受的json语句)、验证模块(对当前用例执行结果进行验证分析)、结果输出模块(用于接收验证模块的执行结果并汇总，根据每项用例执行结果，进行汇总，并输出报告)。
135.本技术文件中需要被训练的对象即为云计算虚拟化平台自动化测试工具，采用前述方法对云计算虚拟化平台自动化测试工具进行测试，最终获取一个较优的虚拟化平台自动化测试工具。
136.在本实施例中还提供了一种自然语言训练模型训练装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
137.本实施例提供一种自然语言训练模型训练装置，如图6示，包括：训练模块601、确定模块602、处理模块603。
138.训练模块601，用于在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试，其中，用例库中包括与多个功能模块分别对应的测试用例，且与每一个功能模块对应的测试用例均包括至少一个；
139.确定模块602，用于当确定任一自然语言训练模型对第一功能模块对应的测试用
例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池；
140.处理模块603，控制两个自然语言训练模型均停止对第一功能模块的测试用例的训练，并分别利用两个自然语言训练模型进行除第一功能模块之外的其他功能模块的训练，直至当本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者当阻塞池中测试用例的数量达到预设数值时结束操作。
141.可选的，每一个功能模块均配置有关键测试用例，训练模块601，具体用于：
142.针对每一个功能模块，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的关键测试用例进行测试；
143.当关键测试用例测试成功时，对功能模块对应的除关键测试用例之外的其他测试用例进行测试；
144.或者，当关键测试用例测试失败时，直接将功能模块加速阻塞池。
145.可选的，用例库中的多个功能模块均配置优先级；
146.功能模块的优先级，决定功能模块的测试顺序，其中功能模块的优先级根据功能模块的测试用例的数量确定。
147.可选的，预设数值为零，或者为，小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值。
148.可选的，预设停止条件包括：
149.确定两个自然语言训练模型中的第一自然语言训练模型对第一功能模块对应的第一测试用例的训练测试失败，其中，第一测试用例为至少一个测试用例中的任一个；
150.或者，
151.确定两个自然语言训练模型针对第一功能模块对应的测试用例测试的累计时间之间的差值大于预设时间阈值。
152.可选的，装置还包括处理模块603，用于当本迭代周期并非为预设数量的迭代周期中的最后一个迭代周期时，在本迭代周期的训练结束后进入下一迭代周期的训练流程；
153.处理模块603，用于在下一迭代周期的训练流程中，若确定第二功能模块的所有测试用例均训练成功时，将第二功能模块对应的测试用例从阻塞池中移除，第二功能模块为阻塞池中的任一功能模块。
154.可选的，装置还包括生成模块604；
155.生成模块604，用于当阻塞池中的功能模块数量达到预设数值时，生成提示信息，其中，当预设数值为零时，提示信息用以指示用例库中的所有功能模块均训练完成；
156.或者，当预设数值为小于用例库中优先级最高的功能模块对应的测试用例总数的预设倍数的固定数值时，提示信息用以指示两个自然语言训练模型中至少一个已发生故障。
157.本实施例中的自然语言训练模型训练装置是以功能模块的形式来呈现，这里的模块是指专用集成电路(application specific integrated circuit，简称asic)，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
158.上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
159.本发明实施例提供的一种自然语言训练模型训练装置，。
160.本发明实施例还提供一种计算机设备，具有上述图6所示的自然语言训练模型训练装置。
161.请参阅图7，图7是本发明可选实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器10为例。
162.处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
163.其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。
164.存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种小程序落地页的展现的计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
165.存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
166.该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图7中以通过总线连接为例。
167.输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。
168.本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随
机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
169.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。