对机器人系统的性能的洞察的制作方法

技术特征：
1.一种方法，包括：由分析系统的事件收集器收集与和机器人系统的一组对话相关联的一个或多个事件的一个或多个属性；通过分析系统的分析引擎使用由用户选择的一个或多个过滤准则，基于所述一个或多个事件的所述一个或多个属性从所述一组对话中选择一个或多个对话；由分析系统的分析引擎为所选择的一个或多个对话生成聚合路径图，所述聚合路径图包括多个节点和所述多个节点之间的多个连接，其中：所述多个节点中的每个节点对应于所述一个或多个对话期间机器人系统的相应状态，其中每个节点的状态命名机器人系统的组件，该组件提供所述一个或多个对话中该点处所需的功能；以及所述多个连接中的每个连接表示在所述一个或多个对话期间从机器人系统的一个状态到机器人系统的另一个状态的转变；以及在gui上以图形方式显示所述聚合路径图，其中显示所述聚合路径图提供了在所述一个或多个对话期间在每个节点处机器人系统的状态的用户上下文，并且其中所述上下文包括紧接在所述聚合路径图内的其它节点之前的节点的状态和为所述聚合路径图中的每个状态定义的组件。2.如权利要求1所述的方法，其中：所述一个或多个过滤准则包括未完成的结果；所述属性是交谈状态属性、意图解析属性、实体解析属性、错误和超时属性、或者它们的组合；以及显示所述聚合路径图包括：将所述多个节点中的每个节点显示为用户可选择的项目，并且显示所述多个节点中的指示所述一个或多个对话的停止点的节点，该停止点导致所述未完成的结果。3.如权利要求2所述的方法，还包括：通过gui接收指示所述停止点的节点的第一用户选择；以及基于第一用户选择在gui上以图形方式显示由机器人系统在停止所述一个或多个对话之前接收到的一个或多个话语。4.如权利要求3所述的方法，还包括：基于第一用户选择在gui上以图形方式显示所述一个或多个对话的一个或多个文字本的用户可选择的项目；通过gui接收所述一个或多个对话的所述一个或多个文字本的第二用户选择；以及基于第二用户选择在gui上以图形方式显示用户与机器人系统之间在停止所述一个或多个对话之前的所述一个或多个对话的所述一个或多个文字本。5.如权利要求3所述的方法，还包括由分析系统至少基于由机器人系统在停止所述一个或多个对话之前接收到的所述一个或多个话语来训练机器人系统。6.如权利要求1所述的方法，其中所述聚合路径图包括与每个相应连接相关联的数字，其中所述数字指示所述一个或多个对话中的包括由相应连接表示的转变的对话的总数。7.如权利要求1所述的方法，还包括：由分析系统的分析引擎为所选择的一个或多个对话生成一个或多个报告；
在gui上以图形方式显示来自所述一个或多个报告的第一报告以及与第一报告相关联的一个或多个用户可选择的项目，其中所述一个或多个用户可选择的项目包括用于从所述一组对话中选择与特定最终用户意图相关联的对话的菜单；通过gui接收对所述一组对话中与所述特定最终用户意图相关联的对话中的对话的用户选择；以及基于所述用户选择在gui上以图形方式显示来自所述一个或多个报告的包括所述对话的第二报告。8.一种存储可由一个或多个处理器执行的多条指令的非暂态计算机可读存储器，所述多条指令包括当由所述一个或多个处理器执行时使所述一个或多个处理器执行处理的指令，所述处理包括：由分析系统的事件收集器收集与和机器人系统的一组对话相关联的一个或多个事件的一个或多个属性；通过分析系统的分析引擎使用由用户选择的一个或多个过滤准则，基于所述一个或多个事件的所述一个或多个属性从所述一组对话中选择一个或多个对话；由分析系统的分析引擎为所选择的一个或多个对话生成聚合路径图，所述聚合路径图包括多个节点和所述多个节点之间的多个连接，其中：所述多个节点中的每个节点对应于所述一个或多个对话期间机器人系统的相应状态，其中每个节点的状态命名机器人系统的组件，该组件提供所述一个或多个对话中该点处所需的功能；以及所述多个连接中的每个连接表示在所述一个或多个对话期间从机器人系统的一个状态到机器人系统的另一个状态的转变；以及在gui上以图形方式显示所述聚合路径图，其中显示所述聚合路径图提供了在所述一个或多个对话期间在每个节点处机器人系统的状态的用户上下文，并且其中所述上下文包括紧接在所述聚合路径图内的其它节点之前的节点的状态和为所述聚合路径图中的每个状态定义的组件。9.如权利要求8所述的非暂态计算机可读存储器，其中：所述一个或多个过滤准则包括未完成的结果；所述属性是交谈状态属性、意图解析属性、实体解析属性、错误和超时属性、或者它们的组合；以及显示所述聚合路径图包括：将所述多个节点中的每个节点显示为用户可选择的项目，并且显示所述多个节点中的指示所述一个或多个对话的停止点的节点，该停止点导致所述未完成的结果。10.如权利要求9所述的非暂态计算机可读存储器，其中所述处理还包括：通过gui接收指示所述停止点的节点的第一用户选择；以及基于第一用户选择在gui上以图形方式显示由机器人系统在停止所述一个或多个对话之前接收到的一个或多个话语。11.如权利要求10所述的非暂态计算机可读存储器，其中所述处理还包括：基于第一用户选择在gui上以图形方式显示所述一个或多个对话的一个或多个文字本的用户可选择的项目；
通过gui接收所述一个或多个对话的所述一个或多个文字本的第二用户选择；以及基于第二用户选择在gui上以图形方式显示用户与机器人系统之间在停止所述一个或多个对话之前的所述一个或多个对话的所述一个或多个文字本。12.如权利要求10所述的非暂态计算机可读存储器，其中所述处理还包括由分析系统至少基于由机器人系统在停止所述一个或多个对话之前接收到的所述一个或多个话语来训练机器人系统。13.如权利要求8所述的非暂态计算机可读存储器，其中所述聚合路径图包括与每个相应连接相关联的数字，其中所述数字指示所述一个或多个对话中的包括由相应连接表示的转变的对话的总数。14.如权利要求8所述的非暂态计算机可读存储器，其中所述处理还包括：由分析系统的分析引擎为所选择的一个或多个对话生成一个或多个报告；在gui上以图形方式显示来自所述一个或多个报告的第一报告以及与第一报告相关联的一个或多个用户可选择的项目，其中所述一个或多个用户可选择的项目包括用于从所述一组对话中选择与特定最终用户意图相关联的对话的菜单；通过gui接收对所述一组对话中与所述特定最终用户意图相关联的对话中的对话的用户选择；以及基于所述用户选择在gui上以图形方式显示来自所述一个或多个报告的包括所述对话的第二报告。15.一种系统，包括：一个或多个处理器；以及存储器，耦合到所述一个或多个处理器，所述存储器存储可由所述一个或多个处理器执行的多条指令，所述多条指令包括当由所述一个或多个处理器执行时使所述一个或多个处理器执行处理的指令，所述处理包括：由分析系统的事件收集器收集与和机器人系统的一组对话相关联的一个或多个事件的一个或多个属性；通过分析系统的分析引擎使用由用户选择的一个或多个过滤准则，基于所述一个或多个事件的所述一个或多个属性从所述一组对话中选择一个或多个对话；由分析系统的分析引擎为所选择的一个或多个对话生成聚合路径图，所述聚合路径图包括多个节点和所述多个节点之间的多个连接，其中：所述多个节点中的每个节点对应于所述一个或多个对话期间机器人系统的相应状态，其中每个节点的状态命名机器人系统的组件，该组件提供所述一个或多个对话中该点处所需的功能；以及所述多个连接中的每个连接表示在所述一个或多个对话期间从机器人系统的一个状态到机器人系统的另一个状态的转变；以及在gui上以图形方式显示所述聚合路径图，其中显示所述聚合路径图提供了在所述一个或多个对话期间在每个节点处机器人系统的状态的用户上下文，并且其中所述上下文包括紧接在所述聚合路径图内的其它节点之前的节点的状态和为所述聚合路径图中的每个状态定义的组件。16.如权利要求15所述的系统，其中：
所述一个或多个过滤准则包括未完成的结果；所述属性是交谈状态属性、意图解析属性、实体解析属性、错误和超时属性、或者它们的组合；以及显示所述聚合路径图包括：将所述多个节点中的每个节点显示为用户可选择的项目，并且显示所述多个节点中的指示所述一个或多个对话的停止点的节点，该停止点导致所述未完成的结果。17.如权利要求16所述的系统，其中所述处理还包括：通过gui接收指示所述停止点的节点的第一用户选择；以及基于第一用户选择在gui上以图形方式显示由机器人系统在停止所述一个或多个对话之前接收到的一个或多个话语。18.如权利要求17所述的系统，其中所述处理还包括：基于第一用户选择在gui上以图形方式显示所述一个或多个对话的一个或多个文字本的用户可选择的项目；通过gui接收所述一个或多个对话的所述一个或多个文字本的第二用户选择；以及基于第二用户选择在gui上以图形方式显示用户与机器人系统之间在停止所述一个或多个对话之前的所述一个或多个对话的所述一个或多个文字本。19.如权利要求17所述的系统，其中所述处理还包括由分析系统至少基于由机器人系统在停止所述一个或多个对话之前接收到的所述一个或多个话语来训练机器人系统。20.如权利要求15所述的系统，其中所述聚合路径图包括与每个相应连接相关联的数字，其中所述数字指示所述一个或多个对话中的包括由相应连接表示的转变的对话的总数。

技术总结
本公开一般而言涉及用于分析和改进机器人系统的技术，更特别地，涉及一种与机器人系统集成的用于监视、分析、可视化、诊断和改进机器人系统的性能的分析系统。例如，分析系统与机器人系统集成，用于监视、分析、可视化和改进机器人系统的性能。分析系统监视最终用户和机器人系统之间对话中发生的事件、聚合和分析收集到的事件、并且在图形用户界面上以图形方式提供关于对话的信息作为不同概括级别的洞察报告。洞察报告提供面向开发人员的分析，以查明技能问题，以便用户可以在问题出现之前解决这些问题。这些洞察让用户可以随时间跟踪对话趋势、识别执行路径、确定其意图解析的准确性以及访问整个对话文字本。以及访问整个对话文字本。


技术研发人员：S
受保护的技术使用者：甲骨文国际公司
技术研发日：2020.03.25
技术公布日：2021/11/30