用于处理文本数据的机器学习系统的自适应训练的系统和方法与流程

技术特征：
1.一种用于被配置为预测与文本数据相关联的问题的答案的机器学习系统的自适应训练的方法，所述方法包括：接收与文本数据相关联的问题的预测答案，所述预测答案至少部分地基于机器学习系统的一个或多个第一模型生成，所述一个或多个第一模型与第一准确度分数相关联；至少部分地基于质量控制参数确定是否需要由一个或多个外部实体对所述问题进行评估；响应于至少部分地基于所述质量控制参数确定需要由一个或多个外部实体对所述问题进行评估，将所述文本数据和与所述文本数据相关联的所述问题发送到所述一个或多个外部实体进行评估；从所述一个或多个外部实体接收所述问题的真实答案；至少部分地基于所述真实答案和所述预测答案确定一个或多个准确度参数；响应于所述一个或多个准确度参数小于预定最小阈值：识别准确度降低事件；以及增加所述质量控制参数；响应于至少一个问题的真实计数大于第一预定真实阈值：生成一个或多个第二模型；以及确定与所述一个或多个第二模型相关联的第二准确度分数；以及响应于所述第二准确度分数大于与所述一个或多个第一模型相关联的所述第一准确度分数，在所述机器学习系统处利用所述一个或多个第二模型替换所述一个或多个第一模型。2.如权利要求1所述的方法，其特征在于，所述质量控制参数指示所需由所述一个或多个外部实体执行的评估的数量。3.如权利要求2所述的方法，其特征在于，至少部分地基于质量控制参数确定是否需要由一个或多个外部实体对所述问题进行评估包括至少部分地基于所确定的一个或多个准确度参数增加所需评估的数量。4.如权利要求1所述的方法，其特征在于，生成一个或多个第二模型包括至少部分地基于真实数据的一个或多个组合训练所述一个或多个第二模型，所述真实数据包括所述真实答案和与所述真实答案相关联的所述文本数据。5.如权利要求4所述的方法，其特征在于，所述真实数据的一个或多个组合包括在识别所述准确度降低事件之后生成的真实数据。6.如权利要求4所述的方法，其特征在于，所述真实数据的一个或多个组合包括在识别所述准确度降低事件之前和之后生成的真实数据。7.如权利要求4所述的方法，其特征在于，确定与所述一个或多个第二模型相关联第二准确度分数包括基于所述真实数据确定所述一个或多个第二模型中的每个模型的准确度分数。8.如权利要求1所述的方法，其特征在于，如果所述一个或多个第二模型中的每个模型的准确度分数大于所述一个或多个第一模型中的每个模型的准确度分数，则所述第二准确度分数大于所述第一准确度分数。9.如权利要求1所述的方法，进一步包括：
响应于所述第二准确度分数小于或等于所述第一准确度分数，等待所述真实计数进一步增加；以及响应于所述真实计数大于第二预定真实阈值：生成所述一个或多个第二模型；以及确定与所述一个或多个第二模型相关联的所述第二准确度分数。10.如权利要求1所述的方法，进一步包括：至少部分地基于质量控制参数确定是否需要由一个或多个外部实体对所述问题进行评估，直到所述准确度降低事件被清除。11.如权利要求1所述的方法，进一步包括：响应于所述一个或多个准确度参数等于或大于所述预定最小阈值，清除所述准确度降低事件。12.如权利要求1所述的方法，其特征在于，响应于请求或推送事件接收对与文本数据相关联的问题的所述预测答案。13.如权利要求12所述的方法，进一步包括：至少部分地基于一个或多个因素生成所述质量控制参数，所述一个或多个因素包括与所述文本数据相关联的一个或多个静态配置参数、与所述文本数据相关联的当前环境、与所述请求相关联的请求者的身份、与所述预测答案相关联的置信度，以及请求频率。14.如权利要求1所述的方法，其特征在于，从所述一个或多个外部实体接收所述问题的真实答案包括由所述一个或多个外部实体基于所述文本数据，通过机械评估、虚拟评估或自然评估来评估所述问题。15.如权利要求14所述的方法，其特征在于，由所述一个或多个外部实体在不知道所述预测答案下，基于所述文本数据来评估所述问题。16.如权利要求1所述的方法，进一步包括：将所确定的一个或多个准确度参数存储在存储器中以供所述机器学习系统检取。17.如权利要求16所述的方法，进一步包括：将准确度偏差存储在所述存储器中以供所述机器学习系统检取，所述准确度偏差等于所述一个或多个准确度参数与所述预定最小阈值的差。18.如权利要求1所述的方法，进一步包括：响应于所述准确度降低事件被清除：确定评估数量，所述评估数量指示由一个或多个外部实体从识别所述准确度降低事件的时间起执行的评估的数量；以及将所述评估数量和所述真实计数存储在存储器中以供所述机器学习系统检取。19.如权利要求18所述的方法，进一步包括：基于所存储的评估数量改变所述第一预定真实阈值。20.如权利要求1所述的方法，进一步包括：响应于识别所述准确度降低事件，将所述真实计数存储在存储器中以供所述机器学习系统检取。21.如权利要求1所述的方法，进一步包括：响应于所述第一精确分数随着时间增加而增加所述预定最小阈值。
22.一种用于被配置为预测与文本数据相关联的问题的答案的机器学习系统的自适应训练的系统，所述系统包括：一个或多个处理器；以及存储器，所述存储器存储指令，当由所述一个或多个处理器执行时，所述指令使得所述系统执行：接收与文本数据相关联的问题的预测答案，所述预测答案至少部分地基于机器学习系统的一个或多个第一模型生成，所述一个或多个第一模型与第一准确度分数相关联；至少部分地基于质量控制参数确定是否需要由一个或多个外部实体对所述问题进行评估；响应于至少部分地基于所述质量控制参数确定需要由一个或多个外部实体对所述问题进行评估，将所述文本数据和与所述文本数据相关联的所述问题发送到所述一个或多个外部实体进行评估；从所述一个或多个外部实体接收所述问题的真实答案；至少部分地基于所述真实答案和所述预测答案确定一个或多个准确度参数；响应于所述一个或多个准确度参数小于预定最小阈值：识别准确度降低事件；以及增加所述质量控制参数；响应于至少一个问题的真实计数大于第一预定真实阈值：生成一个或多个第二模型；以及确定与所述一个或多个第二模型相关联的第二准确度分数；以及响应于所述第二准确度分数大于与所述一个或多个第一模型相关联的所述第一准确度分数，在所述机器学习系统处利用所述一个或多个第二模型替换所述一个或多个第一模型。23.如权利要求22所述的系统，其特征在于，所述质量控制参数指示所需由所述一个或多个外部实体执行的评估的数量。24.如权利要求23所述的系统，其特征在于，至少部分地基于质量控制参数确定是否需要由一个或多个外部实体对所述问题进行评估包括至少部分地基于所确定的一个或多个准确度参数增加所需评估的数量。25.如权利要求22所述的系统，其特征在于，生成一个或多个第二模型包括至少部分地基于真实数据的一个或多个组合训练所述一个或多个第二模型，所述真实数据包括所述真实答案和与所述真实答案相关联的所述文本数据。26.如权利要求25所述的系统，其特征在于，所述真实数据的一个或多个组合包括在识别所述准确度降低事件之后生成的真实数据。27.如权利要求25所述的系统，其特征在于，所述真实数据的一个或多个组合包括在识别所述准确度降低事件之前和之后生成的真实数据。28.如权利要求25所述的系统，其特征在于，确定与所述一个或多个第二模型相关联的第二准确度分数包括基于所述真实数据确定所述一个或多个第二模型中的每个模型的准确度分数。29.如权利要求22所述的系统，其特征在于，如果所述一个或多个第二模型中的每个模
型的准确度分数大于所述一个或多个第一模型中的每个模型的准确度分数，则所述第二准确度分数大于所述第一准确度分数。30.一种存储一个或多个程序的非瞬态计算机可读存储介质，所述一个或多个程序包括指令，当由一个或多个处理器执行时，所述指令使得用于被配置为预测与文本数据相关联的问题的答案的机器学习系统的自适应训练的系统执行：接收与文本数据相关联的问题的预测答案，所述预测答案至少部分地基于机器学习系统的一个或多个第一模型生成，所述一个或多个第一模型与第一准确度分数相关联；至少部分地基于质量控制参数确定是否需要由一个或多个外部实体对所述问题进行评估；响应于至少部分地基于所述质量控制参数确定需要由一个或多个外部实体对所述问题进行评估，将所述文本数据和与所述文本数据相关联的所述问题发送到所述一个或多个外部实体进行评估；从所述一个或多个外部实体接收所述问题的真实答案；至少部分地基于所述真实答案和所述预测答案确定一个或多个准确度参数；响应于所述一个或多个准确度参数小于预定最小阈值：识别准确度降低事件；以及增加所述质量控制参数；响应于至少一个问题的真实计数大于第一预定真实阈值：生成一个或多个第二模型；以及确定与所述一个或多个第二模型相关联的第二准确度分数；以及响应于所述第二准确度分数大于与所述一个或多个第一模型相关联的所述第一准确度分数，在所述机器学习系统处利用所述一个或多个第二模型替换所述一个或多个第一模型。

技术总结
用于处理文本数据的机器学习系统的自适应训练的系统和方法。例如，一种用于被配置为预测对与文本数据相关联的问题的答案的机器学习系统的自适应训练的方法，包括接收与文本数据相关联的问题的预测答案。预测答案至少部分地基于机器学习系统的一个或多个第一模型生成。一个或多个第一模型与第一准确度分数相关联。该方法进一步包括基于质量控制参数确定是否需要由一个或多个外部实体对问题进行评估。响应于基于质量控制参数确定需要由一个或多个外部实体对问题进行评估，将与文本数据和文本数据相关联的问题发送到一个或多个外部实体进行评估。实体进行评估。实体进行评估。


技术研发人员：D
受保护的技术使用者：雷克斯股份有限公司
技术研发日：2020.04.03
技术公布日：2022/3/10