用于经由视听异步通道进行多媒体联系中心交互的系统和方法与流程

用于经由视听异步通道进行多媒体联系中心交互的系统和方法


背景技术：

1.本发明整体涉及电信系统和方法，以及网站内通信手段的集成。更具体地讲，本发明涉及顾客通过网站的参与。
2.要求优先权
3.本文要求于2019年5月23日提交的名称也为“system and method for multimedia contact center interactions via an audiovisual asynchronous channel”的美国专利申请16/420258的优先权。


技术实现要素：

4.提供了一种用于经由视听异步消息传递通道进行多媒体联系中心交互的系统和方法。在一个实施方案中，组织可运营网站，该网站包括信息并且用于提供与联系中心通信的入口点。通信通道可与组织的网站直接集成，该网站包括可编辑视听界面。用户可通过多种方式与可编辑界面进行交互，包括在网页上勾画和记录以在网页上创建视听异步查询的视频形式。对该交互进行分析并且将其路由到代理以进行处理。该代理然后可通过异步通道连接到用户。
5.在一个实施方案中，提供了一种用于在联系中心系统中传输交互式视听异步查询的方法，该方法包括：由web服务器向与第一方相关联的web使能用户设备提供可编辑视听界面；由web服务器记录第一方与可编辑视听界面的交互；由web服务器根据所记录的交互生成针对联系中心系统的异步查询；由视听分析系统处理该异步查询的音频和视频中的至少一者；由视听分析系统确定从经处理的视频生成的意图；由视听分析系统将所确定的意图和异步查询传输至路由服务器；以及由路由服务器将用于路由异步查询的信号传输至第二方，其中所确定的意图用于确定异步查询的第二方接收人。
6.可编辑视听界面包括用于使第一方能够在用户设备的网页上执行以下各项中的一者或多者的工具：绘图、指向、写入文本和输入语音。
7.处理还包括确定在异步查询期间由第一方执行的动作。处理同样还可包括确定在异步查询期间接合在用户设备的网页上的对象。处理同样还可包括确定音频的需要被拼接到异步查询的对应视频的部分。
8.第二方可以是虚拟代理。第二方也可通过可编辑视听界面对所记录的交互作出响应。
9.意图包括路由参数，其中路由参数包括以下各项中的至少一者：顾客类型、网页类型、意图类型、用户意图、关键字、情绪、优先级和情感。
10.响应包括：由web服务器向第二方提供可编辑视听界面；由web服务器记录第二方与可编辑视听界面的交互；由视听分析系统记录用于由联系中心保存的第二方交互；以及由视听分析系统通过异步通道将第二方交互传输至第一方。
11.意图确定包括：由视听分析系统确定异步查询中指示由第一方在查询的视频中执
行的动作的帧；由视听分析系统根据查询生成多个视听片段，将该查询与指示由第一方执行的动作的所确定的帧划分开；由视听分析系统处理所生成的视听片段中的一个视听片段，其中该处理包括使用动作辨识应用程序来确定在所生成的视听片段期间执行的动作；由视听分析系统通过实体辨识应用程序处理所生成的视听片段，该实体辨识应用程序用于在所生成的视听片段期间确定交互实体；由视听分析系统处理查询的需要拼接到从视听片段识别出的对应动作的音频；由视听分析系统通过语音辨识应用程序处理所生成的视听片段，该语音辨识应用程序用于从所生成的视听片段导出语音内容；由视听分析系统生成视听片段输出，该视听片段输出由所确定的动作、交互实体以及从经处理的生成的视听片段中导出的语音内容组成；以及由视听分析系统根据所生成的视听片段输出来确定第一方意图。
12.在所生成的视听片段期间执行的动作是由第一方在查询的视频中的绘图。在所生成的视听片段期间执行的动作是由第一方在查询的视频中的键入文本。
13.交互实体是web浏览器窗口中的web浏览器对象。
14.响应包括异步自动化响应。响应还可包括以下步骤：由web服务器向第一方提供可编辑视听界面；由web服务器为第一方提供交互点；由web服务器响应于第一方与交互点进行交互而提供推荐窗口；由web服务器接收指示由第一方从该推荐窗口进行的选择的信号；由推荐引擎确定对于由第一方从推荐窗口进行的选择是否存在异步自动化响应；以及如果对于由最终用户从推荐窗口进行的选择存在异步自动化响应，则由web服务器向最终用户传输异步自动化响应，否则将交互路由到第二方以进行处理。
15.交互点与在web使能最终用户设备上示出的web浏览器对象相关联。推荐引擎根据从其他查询生成的意图和实体分类的数据库来生成从推荐窗口进行的选择。
附图说明
16.图1是示出了联系中心系统的实施方案的图。
17.图2是示出了视听处理服务器的实施方案的图。
18.图3a是示出了显示web浏览器窗口的web连接用户设备的实施方案的图。
19.图3b是示出了显示web浏览器窗口的web连接用户设备的实施方案的图。
20.图4是示出了用于使用可编辑视听界面的入站异步视听通道的过程的实施方案的流程图。
21.图5是示出了用于使用可编辑视听界面的出站异步视听通道的过程的实施方案的流程图。
22.图6是示出了用于异步视听通道的视听处理的过程的实施方案的流程图。
23.图7a是示出了显示web浏览器窗口和可编辑界面的web连接用户设备的实施方案的图。
24.图7b是示出了显示web浏览器窗口和可编辑界面的web连接用户设备的实施方案的图。
25.图8是示出了用于通过异步视听通道提供推荐异步解决方案的实施方案的流程图。
26.图9a是示出了计算设备的实施方案的图。
27.图9b是示出了计算设备的实施方案的图。
具体实施方式
28.为了促进理解本发明原理的目的，现在将参考附图中示出的实施方案，并且将使用特定语言来描述这些实施方案。然而，应当理解，由此不旨在限制本发明的范围。如本发明所涉及的领域的技术人员通常会想到的，设想了所述实施方案中的任何改变和进一步修改，以及如本文所述的本发明原理的任何进一步应用。
29.将视听媒体包括进来以实现顾客和商业企业之间的通信会允许企业传达品牌故事、解释价值主张以及在顾客和产品之间建立关系。一般来讲，商业企业主要使用视听技术来进行有效营销、增加销售和展示其品牌标识。然而，企业也可在其他通道部署视听技术。例如，在联系中心中，动态创建的视听媒体与图像辨识和人工智能相结合，可用作有效和高效的自助服务通道。联系中心的最终用户(即，顾客)创建视听媒体可有助于代理为最终用户提供准确的解决方案并且力图提高首次呼叫解决率。
30.在联系中心创建允许用户生成视听媒体的新的自我服务通道可允许解决使用联系中心的顾客所面临的一些问题。联系中心当前存在许多“差距”示例，这些“差距”阻碍了顾客从联系中心获取所需信息以解决顾客问题的能力。例如，如果顾客在非营业时间期间进行在线购买并且需要有关订购的阐明，则顾客可能不想等到下一个工作日才能阐明订单。在另一个示例中，顾客可能发现很难通过电子邮件表达他们在业务中面临的问题。如果顾客认为电子邮件会花费很长时间来生成并由企业回答，则可能尤其如此。在另一个示例中，顾客可能强烈偏向于不希望遍历联系中心的交互式语音响应(ivr)系统并等待与熟练代理交互。在又另一个示例中，用户可能想要在所有代理都繁忙时的高峰时间期间得到立即服务。
31.本公开描述了具有异步视听通道的可编辑界面的实施方案，顾客可使用该可编辑界面用勾画和记录工具来叙述其查询。此类手势通过视频例如与伴随的音频同步进行捕获以用于回放。在一个实施方案中，用户交互将被记录为单个压缩视频并被发送到联系中心。可对这些视频进行分析并且可提取有意义的信息以用于诸如向顾客提供准确的解决方案以及选择最适当的代理来进行处理的目的。
32.联系中心系统
33.图1是示出了大体以100指示的联系中心系统的实施方案的图。例如，图1示出了用于在提供联系中心服务时支持联系中心的系统。联系中心可以是业务或企业的内部设施，以用于在相对于通过企业可得的产品和服务执行销售和服务功能时服务于企业。在另一个方面，联系中心可由第三方服务提供方操作。在一个实施方案中，联系中心可作为混合系统操作，其中联系中心系统的一些部件被托管在联系中心楼宇处并且其他部件被远程托管(例如，在基于云的环境中)。联系中心可被部署在专用于企业或第三方服务提供方的装备上，和/或部署在远程计算环境中，诸如具有用于为多个企业支持多个联系中心的基础设施的私有或公共云环境。联系中心系统的各种部件也可分布在各种地理位置和计算环境中，并且不一定包含在单个位置、计算环境或甚至计算设备中。
34.大体以100指示的通信基础设施的部件包括：多个最终用户设备105a、105b、105c；通信网络110；交换机/媒体网关115；呼叫控制器120；imr服务器125；路由服务器130；存储
设备135；统计服务器140；包括工作仓146a、146b、146c的多个代理设备145a、145b、145c；多媒体/社交媒体服务器150；web服务器155；ixn服务器160；ucs 165；推荐服务器170；以及视听处理服务器175。
35.在一个实施方案中，联系中心系统管理资源(例如，人员、计算机、电信装备等)以使得能够经由电话或其他通信机制递送服务。此类服务可取决于联系中心的类型而变化，并且其范围可从顾客服务到帮助台、紧急响应、远程营销、接订单等。
36.期望从联系中心接收服务的顾客、潜在顾客或其他用户(统称为顾客或最终用户)可经由最终用户设备105a、105b和105c(统称为105)发起到联系中心的入站通信(例如，电话呼叫、电子邮件、聊天等)。最终用户设备105中的每一者可以是本领域中常规的通信设备，诸如电话、无线电话、智能电话、个人计算机、电子平板电脑、膝上型电脑等(列举一些非限制性示例)。操作最终用户设备105的用户可发起、管理和响应于电话呼叫、电子邮件、聊天、文本消息、web浏览会话和其他多媒体交易。虽然为简单起见在100处示出了三个最终用户设备105，但可存在任何数量的最终用户设备。
37.来自和到达最终用户设备105的入站通信和出站通信可遍历网络110，这取决于正在使用的设备的类型。网络110可包括电话、蜂窝和/或数据服务的通信网络，并且还可包括专用或公共交换电话网络(pstn)、局域网(lan)、专用广域网(wan)和/或公共wan诸如互联网(列举非限制性示例)。网络110还可包括无线运营商网络，该无线运营商网络包括码分多址(cdma)网络、全球移动通信系统(gsm)网络或本领域中常规的任何无线网络/技术，包括但不限于3g、4g、lte等。
38.在一个实施方案中，联系中心系统包括耦接到网络110的交换机/媒体网关115以用于在最终用户和联系中心之间接收和传输电话呼叫。交换机/媒体网关115可包括电话交换机或通信交换机，其被配置为用作用于中心内的代理级别路由的中心交换机。交换机可以是硬件交换系统或经由软件实现的软交换机。例如，交换机115可包括自动呼叫分配器、专用交换分机(pbx)、基于ip的软件交换机和/或具有专用硬件和软件的任何其他交换机，该专用硬件和软件被配置为从顾客接收互联网来源的交互和/或电话网络来源的交互，并且将那些交互路由到例如代理电话或通信设备。在该示例中，交换机/媒体网关通过例如在顾客的电话设备和代理电话设备之间建立连接来建立呼叫顾客和代理电话设备之间的语音路径/连接(未示出)。
39.在一个实施方案中，交换机耦接到呼叫控制器120，该呼叫控制器可例如用作交换机与联系中心的路由、监测和其他通信处理部件的其余部分之间的适配器或接口。呼叫控制器120可被配置为处理pstn呼叫、voip呼叫等。例如，呼叫控制器120可被配置有用于与交换机/媒体网关和联系中心装备接合的计算机电话集成(cti)软件。在一个实施方案中，呼叫控制器120可包括用于处理sip呼叫的会话发起协议(sip)服务器。呼叫控制器120还可提取关于顾客交互的数据，诸如呼叫者的电话号码(例如，自动号码识别(ani)号码)、顾客的互联网协议(ip)地址或电子邮件地址，并且在处理交互时与系统100的其他部件通信。
40.在一个实施方案中，系统100还包括交互式媒体响应(imr)服务器125。imr服务器125也可被称为自助系统、虚拟助理等。imr服务器125可类似于交互式语音响应(ivr)服务器，不同的是imr服务器125不限于语音并且另外可覆盖各种媒体通道。在示出语音的示例中，imr服务器125可被配置有imr脚本以用于向顾客查询其需求。例如，银行的联系中心可
经由imr脚本告知顾客如果他们希望检索其账户余额，则“按下1”。通过与imr服务器125继续交互，顾客可以能够完成服务而无需与代理说话。imr服务器125还可询问开放式问题，诸如“我怎样可以帮助您？”，并且顾客可说出或以其他方式输入联系该联系中心的原因。路由服务器130可使用顾客的响应以将呼叫或通信路由到适当的联系中心资源。
41.如果要将通信路由到代理，则呼叫控制器120与路由服务器(也称为编排服务器)130交互以找到用于处理交互的适当代理。用于路由入站交互的适当代理的选择可基于例如路由服务器130所采用的路由策略，并且进一步基于有关例如由统计服务器140提供的代理可用性、技能和其他路由参数的信息。
42.在一个实施方案中，路由服务器130可查询顾客数据库，该顾客数据库存储关于现有顾客端的信息，诸如联系信息、服务级别协议(sla)要求、先前顾客联系的性质以及联系中心为解决任何顾客问题而采取的动作等。数据库可以是例如cassandra或任何nosql数据库，并且可存储在大容量存储设备135中。数据库也可以是sql数据库并且可由任何数据库管理系统管理，诸如oracle、ibm db2、microsoft sql服务器、microsoft access、postgresql等(列举一些非限制性示例)。路由服务器130可经由ani从顾客数据库查询顾客信息或查询由imr服务器125收集的任何其他信息。
43.一旦适当代理被识别为可用于处理通信，就可在顾客与所识别代理的代理设备145a、145b和/或145c(统称为145)之间建立连接。虽然为简单起见在图1中示出了三个代理设备，但可存在任何数量的设备。关于顾客和/或顾客历史信息的所收集的信息也可被提供给代理设备，以帮助代理更好地为通信提供服务。就这一点而言，每个代理设备145可包括适于常规电话呼叫、voip呼叫等的电话。代理设备145还可包括用于与联系中心的一个或多个服务器通信并执行与联系中心操作相关联的数据处理，以及用于经由语音和其他多媒体通信机制与顾客进行交互的计算机。
44.联系中心系统100还可包括多媒体/社交媒体服务器150以用于参与除与最终用户设备105和/或web服务器155的语音交互之外的媒体交互。媒体交互可与例如电子邮件、语音邮件(通过电子邮件的语音邮件)、聊天、视频、文本消息收发、网络、社交媒体、共同浏览等相关。多媒体/社交媒体服务器150可采用本领域中常规的具有用于接收、处理和转发多媒体事件的专用硬件和软件的任何ip路由器的形式。
45.web服务器155可包括例如最终用户可订阅的各种已知社会交互站点(诸如facebook、twitter、instagram等，列举几个非限制性示例)的社会交互站点主机。在一个实施方案中，尽管web服务器155被描绘为联系中心系统100的一部分，但web服务器也可由第三方提供和/或保持在联系中心楼宇之外。web服务器155还可为正由联系中心系统100支持的企业提供网页。最终用户可浏览网页并获取关于企业的产品和服务的信息。网页还可提供用于经由例如网络聊天、语音呼叫、电子邮件、网络实时通信(webrtc)等来联系该联系中心的机制。
46.在一个实施方案中，除实时交互之外，还可将可延期的交互/活动路由到联系中心代理。可延期的交互或活动可包括后台工作或可离线执行的工作，诸如对电子邮件、信件的响应，参加训练，或不需要与顾客的实时通信的其他活动。交互(ixn)服务器160与路由服务器130进行交互以用于选择适当的代理来处理活动。一旦被分配给代理，活动就可被推送给代理，或者可作为要由代理完成的任务出现在代理的工作仓146a、146b、146c(统称146)中。
代理的工作仓可经由本领域中常规的任何数据结构(诸如链接列表、阵列等)来实现。在一个实施方案中，工作仓146可例如保持在每个代理设备145的缓冲存储器中。
47.在一个实施方案中，大容量存储设备135可存储与代理数据(例如，代理配置文件、计划表等)、顾客数据(例如，顾客配置文件)、交互数据(例如，与顾客的每个交互的细节，包括但不限于：交互的原因、处置数据、等待时间、处理时间等)等相关的一个或多个数据库。在另一个实施方案中，一些数据(例如，顾客配置文件数据)可被保持在托管于大容量存储设备135或其他地方的顾客关系管理(crm)数据库中。大容量存储设备135可采用如本领域中常规的硬盘或磁盘阵列的形式。在一个实施方案中，大容量存储设备135可通过包括联系中心100的多个服务器来访问。联系中心可由与包括联系中心100的特定服务器相关联的大容量存储设备135的市政当局组成。
48.在一个实施方案中，联系中心系统可包括通用联系服务器(ucs)165，其被配置为检索存储在crm数据库中的信息并引导将信息存储在crm数据库中。ucs 165还可被配置为有利于保持顾客偏好历史和交互历史，并且捕获和存储关于来自代理的评论、顾客通信历史等的数据。
49.联系中心系统还可包括推荐服务器170，该推荐服务器配置有推荐引擎以便为联系中心系统100的最终用户生成自助解决方案和建议。推荐服务器170上的推荐引擎可根据从现有企业faq页面和顾客知识库收集的信息进行预训练。推荐服务器170还可动态地将所提取的问题和答案组中的每一组映射到由企业提供的特定商品和/或服务。推荐服务器可使用来自大容量存储设备135的数据，包括代理数据、顾客数据和交互数据。推荐服务器可使用来自其他联系中心系统(诸如web服务器155)的数据，包含关于企业商品和/或服务的信息。推荐服务器170还可基于动作学习用户行为。例如，基于用户过去的购买、网页遍历、愿望清单、异步视听查询视频等，系统可收集关于用户行为的信息(例如，用户对折扣产品的亲和力、用户对一组品牌的偏好等)并将用户分组为各种类别。
50.联系中心系统还可包括视听处理服务器175，该视听处理服务器被配置为处理联系中心所接收的视听媒体并将视听媒体转换成联系中心可用的其他数据。例如，视听处理服务器175可接收输入到联系中心的视频，分析所输入的视频的内容，并且向联系中心提供由描述在视频期间发生的某些动作的文本文件组成的输出。在另一个实施方案中，输出还可包括从映射到相关联实体的视频收集到的意图。实体能够被归入广泛类别，使得针对实体所接收的意图可被一般化为属于该类别的所有实体。图2中一般地指示了视听处理服务器的实施方案并在下文更详细地进行描述。
51.图1的各种服务器可各自包括执行计算机程序指令并且与用于执行本文所述的各种功能的其他系统部件进行交互的一个或多个处理器。计算机程序指令存储在使用标准存储器设备诸如随机存取存储器(ram)来实现的存储器中。计算机程序指令还可存储在其他非暂态计算机可读介质(诸如，例如cd
‑
rom、闪存驱动器等)中。虽然每个服务器的功能被描述为由特定服务器提供，但本领域的技术人员应当认识到，在不脱离本公开的实施方案的范围的情况下，各种服务器的功能可被组合或集成到单个服务器中，或者特定服务器的功能可分布在一个或多个其他服务器上。
52.在一个实施方案中，术语“交互”和“通信”可互换使用，并且通常是指使用任何通信通道的任何实时和非实时交互，包括但不限于电话呼叫(pstn或voip呼叫)、电子邮件、语
音邮件、视频、聊天、屏幕共享、文本消息、社交媒体消息、webrtc呼叫等。
53.可编辑视听界面
54.图2是示出了视听处理服务器175的框图的实施方案的图。视听处理服务器175可以是联系中心100的一部分，并且还可由两个系统组成：视频处理系统205和语音辨识系统210。视频处理系统205也可由以下各项组成：特征检测应用程序206、动作检测应用程序207、光学字符辨识(ocr)应用程序208和实体检测应用程序209。在一个实施方案中，特征检测应用程序206、动作检测应用程序207、ocr应用程序208和实体检测应用程序209可被实现为能够由视频处理系统205访问的服务或被实现为与视频处理系统205协作工作的单独系统。
55.在一个实施方案中，特征检测应用程序206可用于将传入视频文件划分成各个视频帧、各个视频帧的分组或较短的视频片段。特征检测应用程序206可使用尺度不变特征变换(sift)来执行特征检测。sift可被部署用于将视频作为输入并将其分成帧。视频被分割成的帧数可基于每分钟视频设定的帧数来预先确定。其开始使用sift方法来执行图像处理，从这些帧执行局部特征提取。对每个帧进行处理并且将其与之前和之后的帧进行比较。在存在移动的情况下，帧不断变化，并且该方法认识到存在正在执行的连续动作。当各动作之间存在停顿时，帧保持相同，并且该方法将视频分成多个视频片段。这可在循环中重复执行，以基于所执行的动作将视频分成所需数量的视频片段。在将视频划分成多个视频片段之后，可利用每个视频片段的最后一帧来使用动作检测应用程序207和光学字符辨识(ocr)应用程序208对每个视频片段执行附加分析。实体检测应用程序209可用于在所生成的视听片段期间检测交互实体。实体可包括web浏览器窗口中的web浏览器对象。拼接系统211可用于识别与视频动作有关的音频部分，并且然后将它们拼接在一起。
56.在一个实施方案中，动作检测应用程序207可被配置为检测和辨识传入视频文件中描绘的动作。动作检测应用程序207可部署适当的方法(例如，卷积神经网络)以对视频中的帧进行分类，诸如以确定正在视频帧中的特定对象上采取的动作。例如，如果在传入视频文件的视频中绘制了圆圈，则动作检测应用程序207可被配置为检测在绘制圆圈的时间段期间已发生了动作。动作检测应用程序207还可被配置为识别屏幕上与正在绘制的特定圆圈相关联的任何对象。
57.在一个实施方案中，ocr应用程序208可被配置为检测和辨识在传入视频文件期间键入的文本，以确定在传入视频文件中的帧上写入的文本。ocr应用程序208可部署适当的方法来对视频中的文本进行分类。例如，stn
‑
ocr—由空间变换网络(其可用于检测帧中的文本区域)和文本辨识网络(其辨识所识别的文本区域的文本内容)组成的单个半监督深度神经网络(dnn)可被部署在ocr应用程序208中。ocr应用程序208可提供与动作检测应用程序207所检测到的某些动作同步的文本信息。
58.语音辨识系统210可被配置为检测和辨识语音模式，并且将口头词语转录成书面文本。语音辨识系统210可部署适当的方法来辨识音频文件中的口头词语。例如，自然语言处理(nlp)和受监督的机器学习(ml)可被部署在语音辨识系统210中。语音辨识系统210还可生成与动作检测应用程序207所检测到的某些动作同步的文本信息。
59.图3a是示出了大体所指示的显示web浏览器窗口的web连接用户设备的实施方案的图。web连接用户设备305可以是个人计算机、移动设备、平板电脑、智能电视、游戏机或可
例如呈现html代码以在计算设备上生成文本和图形网页的其他设备。web连接用户设备305可包含用于查看所呈现的网页的屏幕或监视器。web连接用户设备305可显示web浏览器窗口310。web浏览器窗口310可通过web连接用户设备305上的web或互联网浏览器应用程序或程序(例如，internet explorer或谷歌的chrome)来生成。
60.web浏览器对象315a、315b、315c(统称315)是在web浏览器窗口310中看到的元素。web浏览器对象315可包括由web连接用户设备305上的web或互联网浏览器应用程序或程序在web浏览器窗口310中呈现的内容。被显示为web浏览器对象315的内容可包括但不限于文本、图形、表格、超链接和嵌入式对象。虽然为简单起见仅示出了三个web浏览器对象315，但web浏览器窗口310可包含任何数量的web浏览器对象315。
61.web浏览器窗口310还可包含可编辑视听界面接合对象320，该可编辑视听界面接合对象可用于接合可编辑视听界面325，该可编辑视听界面有助于捕获将由联系中心处理的查询(在图3b中更详细地描述)。可编辑视听界面接合对象320可被描绘为在web浏览器窗口310中示出的按钮或可点击图像。对象320的位置可位于窗口310中的任何合理位置。在图3a中，其大体在例如右下角中示出。
62.可编辑视听界面接合对象320可通过平台或服务提供，该平台或服务的来源不同于web浏览器窗口310的内容的来源(例如，genesys telecommunications laboratories,inc.提供的genesys web engagement)。例如，商业企业(诸如网上商城)可具有在web浏览器窗口310中示出的网站，该网站包含示出了供商业企业销售的特定产品的网页。在一个实施方案中，联系中心可通过不受商业企业控制的web服务器155将可编辑视听界面接合对象320提供为web浏览器窗口310中的覆盖。然而，对于web浏览器窗口310的用户而言，其可看起来是单个集成网页。
63.图3b是示出了大体指示的显示web浏览器窗口的web连接用户设备的实施方案的图。图3b中描述的实施方案还可包括用于web浏览器窗口的可编辑视听界面。可编辑视听界面325可按多种方式进行显示。在一个实施方案中，界面325可被显示为用户设备305的web浏览器内的单独窗口。在另一个实施方案中，其可被显示为web浏览器窗口310顶部的覆盖窗口。在另一个实施方案中，其可被显示为可与web浏览器窗口310进行交互的单独应用程序。
64.可编辑视听界面325可在用户与可编辑视听界面接合对象320接合之后被显示在web浏览器窗口310上。可编辑视听界面325也可在从通信(诸如电子邮件或sms文本消息)向用户提供链接以接合可编辑视听界面325之后被显示在web浏览器窗口310上。可编辑视听界面325也可如由远程系统(诸如联系中心)指导的那样被显示在web浏览器窗口310上，联系中心的代理据此可指导可编辑视听界面325的接合。
65.在一个实施方案中，可编辑视听界面325可被配置为生成要发送到联系中心的多媒体启用和富集的视频邮件。可编辑视听界面325可允许最终用户在web浏览器窗口310内创建富集视频，从而将web浏览器对象315并入到该富集视频中。在web浏览器窗口310内创建富集视频允许可编辑视听界面325的用户在疑问或问题的起源点处识别或捕获针对商业企业的查询或问题。例如，如果顾客存在从企业的某个网页呈现的疑问，则顾客能够寻求帮助以直接从该网页回答该疑问。在另一个示例中，如果顾客正在网上零售商处购物并且对网页上的特定产品供应有疑问，则顾客能够创建专门识别提出问题的网页部分的富集视
频，而不必切换到另一介质(例如，电子邮件或电话呼叫)来寻找答案。
66.可编辑视听界面325可包括记录对象335以发起富集视频的创建。记录对象335可被呈现为文本、按钮、图形或已知描绘。可点击或选择记录对象335来发起富集视频的创建。可第二次选择记录对象335来终止富集视频的创建。可编辑视听界面325可包括动作对象330a、330b和330c(统称330)。包括所提供的工具在内的动作对象330可允许可编辑视听界面325的用户在web浏览器对象315的部分上说话、指向、绘图、评论和缩放。例如，一旦记录开始，用户就可开始说话，缩放帧，并且在需要的情况下写注释。此类手势可与伴随的音频同步进行捕获，并且一起通过富集视频创建视听通信。
67.图4是示出了大体以400指示的用于使用可编辑视听界面的入站异步视听通道的过程的实施方案的流程图。过程400可在联系中心100中发生。
68.在操作402中，浏览网站的一方(诸如顾客)与可编辑视听界面325接合。顾客可通过点击web浏览器窗口310中的可编辑视听界面接合对象320来发起与可编辑视听界面325的接合。例如，顾客可能正在电子商务家具店浏览桌子。在逛电子商务家具店之前，顾客对桌子的颜色、价格和规格具有一定的期望。在网站上未发现满足这些预期的情况下，顾客可能试图发起与可编辑视听界面325的接合，以表达对顾客所需桌子的预期。顾客可能想要给定规格的黑色桌子，但只能找到棕色的桌子。顾客还可通过以下方式发起与可编辑视听界面325的接合：选择web浏览器窗口310上所呈现的超链接，选择通过经由web服务器155进行的电子邮件通信提供的链接，或通过经由多媒体/社交媒体服务器150在移动设备上的文本或sms通信中的链接。控制行进到操作404并且过程继续。
69.在操作404中，记录顾客与可编辑视听界面325的交互。该交互可包括在web浏览器对象315的顶部并且与web浏览器对象协作采取动作。动作可包括勾画，其包括绘图、添加文本、注释、划线、加亮、滚动、指向、缩放等。参见该桌子，在发起对顾客交互的记录之后，顾客可选择动作对象330以在web浏览器对象315上进行徒手绘图。在一个实施方案中，可通过顾客点击记录对象335来发起记录。顾客可在类似于顾客所需桌子规格的桌子的web浏览器对象315周围画圆圈。顾客可在web浏览器对象315上徒手绘制。顾客还可在类似于顾客所需桌子规格的桌子的web浏览器对象315上键入文本(“我想要黑色的这种桌子”)。作为创建增强视频的一部分，顾客还可发起语音记录。顾客可通过第二次点击(或选择)记录对象335来结束记录通过可编辑视听界面325进行的交互。控制行进到操作406并且过程继续。
70.在操作406中，对所记录的情况进行处理。例如，可通过视频和语音处理系统来处理顾客交互。视频处理系统可针对用户在会话期间采取的关键动作来分析所记录的顾客交互。语音处理系统可针对会话期间的口头关键字来分析所记录的顾客交互。音频视频拼接系统211识别需要将音频的哪个部分与动作的哪个部分相关联/拼接。视频处理系统可辨识顾客与之交互的web浏览器对象315包括桌子。语音处理系统可辨识用户使用了字词“黑色”和“桌子”。如上所述，可包括适当的视频和语音处理系统作为视听处理服务器175的一部分。在一个实施方案中，顾客交互可由视听处理服务器175利用操作600来分析，如下文更详细所述。控制行进到操作408并且过程继续。
71.在操作408中，可生成意图。例如，可根据所记录的交互来生成顾客意图。在操作406处使用的所提供的视频和语音处理系统连同拼接系统211一起可根据所记录的顾客交互来生成内容信息。处理系统可生成适当的输出，诸如可由联系中心100的其他系统利用的
json对象。例如，处理系统可基于来自所记录的交互的经处理的视频和语音来生成顾客正在查找黑色桌子的意图。可获得附加信息，诸如，顾客识别信息(包括顾客联系信息)。控制行进到操作410并且过程继续。
72.在操作410中，交互被路由。在一个实施方案中，可基于所导出的顾客意图将交互路由到代理以进行处理。适当的路由设备(诸如路由服务器130)可利用操作408所生成的顾客意图来确定最适当的代理以处理对交互的响应。代理可以是人造代理，诸如由多媒体/社交媒体服务器150指导的聊天机器人、由imr服务器125指导的imr设备或利用代理设备145的实时代理。路由设备可确定聊天机器人是最有可能提供满足顾客意图中顾客期望的响应的代理。聊天机器人可能能够在覆盖在web浏览器窗口310中的聊天会话中提供链接，从而提供建议桌子的链接，该建议桌子更接近于满足顾客搜索黑色桌子的所确定的顾客意图。在另一个实施方案中，路由设备还可确定实时代理将最有可能提供满足顾客期望的响应。顾客交互可被转发至代理的代理设备145，包括增强视频的记录，以及具有所确定的顾客意图的信息的处理系统的输出。代理然后可使用适当的通信通道(诸如网络聊天、视频通话、语音通话或电子邮件等)来处理交互。代理可在观看顾客交互的视频之前查看提供给代理设备145的所生成的顾客意图。
73.在一个实施方案中，交互可基于所确定的顾客意图被路由到联系中心分析系统以用于分析和数据存储。分析系统可能能够聚集所确定的顾客意图并且向企业提供关于未满足的顾客期望的市场信息。商业企业可能能够使用所聚集的顾客意图来添加、移除或修改产品供应。例如，如果所聚集的顾客意图数据表明多个顾客正在寻找黑色桌子，但电子商务家具店目前未提供黑色桌子，则电子商务家具店可试图添加黑色桌子作为其产品供应的一部分。
74.图5是示出了大体以500指示的用于针对联系中心使用可编辑视听界面的出站异步视听通道的过程的实施方案的流程图。过程500可在联系中心100中发生。
75.正如顾客可利用异步视听通道通过联系中心向商业企业表达顾客期望，联系中心的代理也可利用异步视听通道来联系顾客。代理可使用异步视听通道来对先前接收到的所记录的顾客交互作出响应或对通过其他联系中心通道(诸如语音呼叫、文本消息或网络聊天)接收到的来自顾客的通信作出响应。
76.在操作502中，代理接收所记录的顾客交互。在一个实施方案中，如果路由服务器130确定实时代理将提供最佳有利解决方案机会，则路由设备可传输所记录的顾客交互以供代理设备145的工作仓146接收以由代理处理。然而，即使顾客不提供传入的所记录的顾客交互，来自异步视听通道的可编辑视听界面也可供实时代理使用以提供与顾客的联系。控制行进到操作504并且过程500继续。
77.在操作504中，代理与可编辑视听界面接合。代理可回顾所记录的交互并且使用来自顾客所使用的异步视听通道的可编辑视听界面来编辑视频。在一个实施方案中，实时代理可使用作为代理设备145的一部分的可编辑视听界面接合对象320来激活来自异步视听通道的可编辑视听界面325。一旦被激活，代理就可按如在操作400的操作402中所述的方式与可编辑视听界面325进行交互。控制行进到操作506并且过程继续。
78.在操作506中，可记录代理与可编辑界面的交互。在一个实施方案中，代理交互可包括在web浏览器对象315的顶部并且与web浏览器对象协作采取动作，诸如勾画或添加语
音。代理可通过点击记录对象335来发起对交互的记录。代理然后可从动作对象330选择以标记web浏览器对象315。代理可通过第二次点击记录对象335来结束记录，从而完成富集视频的创建。控制行进到操作508并且过程继续。
79.在操作508中，所记录的代理交互被路由到顾客，并且过程500结束。例如，联系中心可使用联系中心(包括从顾客收集的信息)的适当装置来将所记录的代理交互路由给顾客，该适当装置为诸如路由服务器130、多媒体/社交媒体服务器150、web服务器155或其他适当的通信装置。在一个实施方案中，顾客可接收作为所记录的代理交互的链接的代理交互，该链接被嵌入在电子邮件、文本消息或其他适当的通信应用程序或通道中。在一个实施方案中，所记录的代理交互可被保存在适当的介质诸如存储设备135中。存储设备135还可存储顾客交互和交互数据，以供联系中心用于针对商业企业的其他适当用途。
80.在一个实施方案中，操作400和操作500的用途组合允许联系中心启用全双工异步视听通道，从而允许顾客和代理异步地使用所记录的交互以通过联系中心进行通信。
81.图6是示出了大体以600指示的用于异步视听通道的视听处理的过程的实施方案的流程图。过程600可发生在视听处理服务器200或类似的视听处理系统中。
82.在操作602中，记录由视听处理系统接收。例如，视听处理服务器200接收通过可编辑视听界面325生成的视听界面记录。可如操作400中针对顾客发起的联系所述那样生成记录。在处理系统接收到记录时，控制行进到操作604并且过程继续。
83.在操作604中，将记录划分成多个视频片段。在一个实施方案中，该划分可由作为视频处理系统205的一部分的特征检测应用程序206执行。特征检测应用程序206可使用尺度不变特征变换(sift)来将输入视频分割成帧。对可编辑视听界面记录的每个帧进行处理并且将其与周围的帧进行比较。该比较是搜索移动或停顿。例如，在可编辑视听界面记录中存在移动的情况下，诸如当用户在屏幕上绘制徒手圆圈(仅举非限制性示例)时，视频的帧不断变化，并且该方法认识到存在正在执行的连续动作。在另一个示例中，当在动作之间存在停顿时，帧保持相同，并且特征检测应用程序206可在视频中记录对应于在动作之间存在停顿的地方的帧。在特征检测应用程序206完成对视频中对应于在动作之间存在停顿的地方的帧的处理和记录之后，对操作600的控制行进到操作606并且过程继续。
84.在操作606中，根据可编辑视听界面记录生成多个较短的视听片段。为简单起见，这在图6中示出为606a、606b和606c(统称606)。可生成任何数量的视听片段，其中n(606c)表示这一点。利用由特征检测应用程序206执行的分析来确定来自可编辑视听界面记录的动作中的停顿，通过在动作中所确定的停顿处划分可编辑视听界面记录来生成视听片段。图6描绘了根据视听界面记录对至少三个独特片段的生成，但所生成的片段的数量不是被设定为三个，因为可根据视听界面记录生成1至n个片段数量。在处理系统接收到视听界面记录时，对操作600的控制行进到操作608并且过程继续。
85.在操作608a、608b和608c(统称608)中，分别对来自操作606的每个所生成的视听片段执行动作辨识。动作辨识可由适当的处理系统诸如动作检测应用程序207来执行。动作检测应用程序207可部署适当的方法来对视频中的帧进行分类，诸如确定正对视频帧中的特定对象采取的动作。例如，如果在所生成的视听片段的视频中绘制了圆圈，则动作检测应用程序207可被配置为检测在绘制圆圈的时间段期间已发生动作。动作检测应用程序207还可指示视频的帧中正在执行动作的位置。ocr应用程序208可被配置为检测和辨识在传入视
频文件期间键入的文本，以确定在传入视频文件中的帧上写入的文本。对操作600的控制行进到操作610并且过程继续。
86.在操作610a、610b和610c(统称610)中，对每个所生成的视听片段中执行实体辨识。实体辨识可由适当的处理系统诸如动作检测应用程序207来执行。使用来自操作608的视频的帧中正在执行动作的所识别位置，动作检测应用程序207可识别屏幕上与来自操作608的所检测动作相关联的任何对象。例如，如果在所生成的视听片段的视频中的桌子的图片周围绘制了圆圈，则动作检测应用程序207将在操作610处试图在视频帧中辨识桌子。对操作600的控制行进到操作612并且过程继续。
87.在一个实施方案中，操作608、610和612不需要按600处所示的顺序发生，而是可按由管理员设置或由联系中心选择的顺序发生。
88.在操作612a、612b和612c(统称612)中，拼接系统211识别与视频动作有关的音频部分并且将这些部分拼接在一起。对每个所生成的视听片段执行语音辨识。语音辨识可由适当的处理系统诸如语音辨识系统210来执行。语音辨识系统210可被配置为检测和辨识语音模式，并且将口头词语转录成书面文本。语音辨识系统210可部署适当的方法来辨识音频文件中的口头词语。例如，自然语言处理(nlp)和受监督的机器学习(ml)可被部署在语音辨识系统210中。语音辨识系统210可生成与动作检测应用程序214所检测到的某些动作同步的文本信息。对操作600的控制行进到操作614并且过程继续。
89.在操作614a、614b和614c(统称614)中，生成来自视听片段的视听处理的输出数据。例如，该输出数据将根据动作辨识608、实体辨识610和语音辨识612生成的数据组合成输出数据。对操作600的控制行进到操作616并且过程继续。
90.在操作616中，根据来自操作614的视听片段的视听处理的输出数据来确定顾客意图。例如，适当的处理系统会将在过程600中收集的信息关联在一起，以从意图中提取不同的参数。所确定的顾客意图可包括例如对特定产品或服务供应的期望、对特定产品或服务供应的修改的期望、顾客情绪(即，顾客在生气吗？)、顾客提出的问题的紧急性以及对用于处理对记录的响应的适当部门的识别。还可生成路由参数以路由到适当的代理以进行处理。在一个实施方案中，所确定的顾客意图可被表达为json对象、bson对象、yaml格式等。
91.图7a是示出了大体所指示的显示web浏览器窗口和可编辑界面的web连接用户设备的实施方案的图。图7a包括用于web浏览器窗口中的web浏览器对象的接口点702。web对象接口点702为可编辑视听界面325提供交互点以与web浏览器对象315a进行交互。在一个实施方案中，web对象接口点702可被描绘为视觉表示，诸如在web连接用户设备302上所示的圆圈，或者可以是未在web连接用户设备302上描绘的“虚拟”圆圈。web对象接口点702允许用户通过用户选择来访问与web浏览器对象315相关联的附加信息。
92.图7b是示出了大体所指示的显示web浏览器窗口和可编辑界面的web连接用户设备的实施方案的图。在一个实施方案中，图7b还可包括弹出式常见问题窗口。在用户与web对象接口点702交互之后，推荐窗口704可出现在web连接用户设备305上。推荐窗口704可包含通过推荐引擎170生成的内容，该推荐引擎与通过源自其他顾客在可编辑视听界面325的记录的信息所确定的内容相关联。推荐窗口704可表现为与和web浏览器对象315链接的接口点702相关联的先前识别问题或常见问题的列表。在一个实施方案中，推荐窗口可表现为针对实体、网页或由用户或这些的任何组合最常询问的问题的列表。
93.图8是示出了大体以800指示的用于通过异步视听通道提供推荐异步解决方案的实施方案的流程图。
94.在操作802中，顾客接合可编辑视听界面325。用户可发起可编辑视听界面325，如先前在操作400的操作404中所述。然后可在web连接用户设备302上显示可编辑视听界面325。控制行进到操作804并且过程800继续。
95.在操作804中，可编辑视听界面325在web浏览器对象315上提供交互点。该交互点可使用界面作为所公开的web对象接口点702。可为每个web浏览器对象315或仅为某些web浏览器对象315提供交互点。当接口点702被选择时，也可提供视觉指示。控制行进到操作806并且过程继续。
96.在操作806中，当用户与接口点702交互时，出现推荐窗口。例如，推荐窗口可表现为推荐窗口704，其可包括推荐或先前所问问题的列表。可从推荐服务器170接收列表的内容。可使用来自大容量存储设备135的数据(包括代理数据、顾客数据和交互数据)来预填充服务器170上的推荐引擎，以汇编关于企业所供应的商品和/或服务的已知问题和答案的列表。推荐引擎可使用利用异步视听通道从顾客的先前交互中提取的信息。例如，推荐引擎可使用所确定的意图(例如，“顾客想要黑色的这种桌子”)来对向推荐引擎提出的问题做添补(例如，“这种桌子有别的颜色吗？”)。推荐引擎可将企业所供应的特定商品和/或服务与关于那些特定商品和/或服务的特定先前所问问题相关联。推荐引擎可将特定商品和/或服务与指示那些商品和/或服务的特定web浏览器对象315相关联，从而将特定先前所问问题与特定web浏览器对象315相关联。推荐窗口704可按预定数量的推荐或通过与推荐质量相关联的设定阈值来提供与特定web浏览器对象315相关联的特定数量的推荐。控制行进到操作808并且过程继续。
97.在操作808中，用户在操作808处从推荐窗口704中选择推荐。用户选择可通过例如点击推荐窗口704中所填充的推荐来进行。控制行进到操作810并且过程继续。
98.在操作810中，确定来自操作808的所选推荐是否与已知解决方案或问题标签(本文另选地称为“推荐选项标签”)相关联。如果确定所选推荐与已知解决方案相关联，则控制行进到操作814并且过程继续。如果来自操作808的所选推荐与问题标签相关联，则控制行进到操作812并且过程继续。
99.已知解决方案可被定义为对作为问题提出的推荐的确定答案。例如，对于推荐“这种桌子有别的颜色吗？”，具有已知解决方案的推荐将对该问题作出响应，诸如“是，这种桌子有白色”或“否，这种桌子没有其他颜色”。问题标签与当前对作为问题提出的推荐没有确定答案的推荐相关联。例如，对于推荐“这种桌子有别的尺寸吗”，如果推荐引擎对该问题没有已知响应，则其可仅具有与推荐相关联的问题标签“尺寸”。
100.在操作812中，与所选推荐相关联的问题标签与当前顾客交互相关联。问题标签可被呈现为不同媒体的组合。在这种情况下，如果从推荐窗口704中选择所选推荐“我想了解其他颜色”，则该“我想了解其他颜色”标签将被添加到可编辑视听界面记录中。操作800结束，允许使用可编辑视听界面的顾客继续通过可编辑视听界面进行记录。在一个实施方案中，可将该交互发送到实时代理以进行处理。
101.在操作814中，提示顾客查看与所选推荐相关联的已知解决方案的选项。例如，已知解决方案可按以下形式提供给顾客：来自常见问题的文本、网站的另一部分的链接、通过
异步视听通道进行的先前记录或通过向顾客传达信息的其他可接受方法。已知解决方案还可向顾客提供其内容的概要，该概要具有查看与所选推荐相关联的已知解决方案的选项。控制行进到操作816并且过程继续。
102.在操作816中，响应于所选推荐，确定顾客是否接受提供给顾客的已知解决方案。如果顾客接受已知解决方案，则在操作818处将已知解决方案呈现给顾客，并且操作800结束。这表明顾客发现已知解决方案是可接受的，并且可能不需要向顾客提供进一步的信息。如果顾客不接受已知解决方案，则已知解决方案可能不是对所选推荐的可接受响应，并且推荐引擎可能需要对与所选推荐相关联的已知解决方案进行进一步细化。如果顾客不接受已知解决方案，则对操作800的控制行进到操作820，由此根据所选推荐生成问题标签并且操作800继续回到操作812。
103.计算机系统
104.在一个实施方案中，所述附图中的各种服务器、控件、交换机、网关、引擎和/或模块(统称为服务器)中的每一者经由硬件或固件(例如，asic)来实现，如本领域的技术人员将理解的。各种服务器中的每一者可以是在一个或多个计算设备(例如，图9a、图9b)中的一个或多个处理器上运行的过程或线程，其执行计算机程序指令并与用于执行本文所述的各种功能的其他系统部件进行交互。计算机程序指令存储在存储器中，该存储器可使用标准存储器设备(诸如ram)在计算设备中实现。计算机程序指令还可存储在其他非暂态计算机可读介质中，诸如cd
‑
rom、闪存驱动器等。本领域的技术人员应当认识到，计算设备可经由固件(例如，专用集成电路)、硬件，或软件、固件和硬件的组合来实现。本领域的技术人员还应当认识到，在不脱离所公开的实施方案的范围的情况下，各种计算设备的功能可组合或集成到单个计算设备中，或者特定计算设备的功能可分布在一个或多个其他计算设备上。服务器可为软件模块，其也可简称为模块。联系中心中的该组模块可包括服务器和其他模块。
105.各种服务器可在与联系中心的代理相同的物理位置处位于现场的计算设备上，或者可在地理上不同的位置处(例如，在远程数据中心中)位于现场外(或在云中)，该地理上不同的位置经由网络(诸如互联网)连接到联系中心。此外，服务器中的一些服务器可在联系中心处位于现场的计算设备中，而其他服务器可位于现场外的计算设备中，或者提供冗余功能的服务器可经由现场计算设备和现场外计算设备两者提供以提供更大的故障容限。在一些实施方案中，由位于现场外的计算设备上的服务器提供的功能可通过虚拟专用网络(vpn)来访问和提供，就像此类服务器在现场一样，或者可使用软件即服务(saas)来提供功能以使用各种协议来通过互联网提供功能，诸如通过使用以可扩展标记语言(xml)或javascript对象表示法(json)编码的数据来交换数据。
106.图9a和图9b是示出了大体以900指示的可在本发明的实施方案中采用的计算设备的实施方案的图。每个计算设备900包括cpu 905和主存储器单元910。如图9a所示，计算设备900还可包括存储设备915、可移除介质接口920、网络接口925、输入/输出(i/o)控制器930、一个或多个显示设备935a、键盘535b和指向设备935c(例如，鼠标)。存储设备915可包括但不限于用于操作系统和软件的存储装置。如图9b所示，每个计算设备900还可包括附加可选元件，诸如存储器端口940、桥接器945、一个或多个附加输入/输出设备935d、935e以及与cpu 905通信的高速缓存存储器950。输入/输出设备935a、935b、935c、935d和935e在本文
中可统称为535。
107.cpu 905是响应并处理从主存储器单元910获取的指令的任何逻辑电路。其可例如以集成电路实现，以微处理器、微控制器或图形处理单元的形式实现，或者以现场可编程门阵列(fpga)或专用集成电路(asic)实现。主存储器单元910可以是能够存储数据并允许中央处理单元505直接访问任何存储位置的一个或多个存储器芯片。如图9a所示，中央处理单元905经由系统总线955与主存储器910通信。如图9b所示，中央处理单元905还可经由存储器端口940与主存储器910直接通信。
108.在一个实施方案中，cpu 905可包括多个处理器，并且可提供用于同时执行多个指令或用于对多于一条数据同时执行一个指令的功能。在一个实施方案中，计算设备900可包括具有一个或多个核的并行处理器。在一个实施方案中，计算设备900包括共享存储器并行设备，该共享存储器并行设备具有多个处理器和/或多个处理器核，从而访问所有可用存储器作为单个全局地址空间。在另一个实施方案中，计算设备900是具有多个处理器的分布式存储器并行设备，每个处理器仅访问本地存储器。计算设备900可既具有共享的某种存储器，也具有可仅由特定处理器或处理器子集访问的某种存储器。cpu 905可包括多核微处理器，该多核微处理器将两个或更多个独立处理器组合成单个封装，例如，组合成单个集成电路(ic)。例如，计算设备900可包括至少一个cpu 905和至少一个图形处理单元。
109.在一个实施方案中，cpu 905提供单指令多数据(simd)功能，例如，对多条数据同时执行单个指令。在另一个实施方案中，cpu 905中的若干处理器可提供用于对多条数据同时执行多个指令(mimd)的功能。cpu905还可在单个设备中使用simd核和mimd核的任何组合。
110.图9b描绘了其中cpu 905经由第二总线(有时称为背侧总线)与高速缓存存储器950直接通信的实施方案。在其他实施方案中，cpu 905使用系统总线955与高速缓存存储器950通信。高速缓存存储器950通常具有比主存储器910更快的响应时间。如图9a所示，cpu 905经由本地系统总线955与各种i/o设备935通信。各种总线可用作本地系统总线955，包括但不限于视频电子标准协会(vesa)本地总线(vlb)、工业标准架构(isa)总线、扩展工业标准架构(eisa)总线、微通道架构(mca)总线、外围部件互连(pci)总线、pci扩展(pci
‑
x)总线、pci
‑
express总线或nubus。对于其中i/o设备是显示设备935a的实施方案，cpu 905可通过高级图形端口(agp)与显示设备935a通信。图9b描绘了其中cpu 905与i/o设备935e直接通信的计算机900的实施方案。图9b还描绘了其中本地总线和直接通信进行混合的实施方案：cpu 905使用本地系统总线955与i/o设备935d通信，同时与i/o设备935e直接通信。
111.多种i/o设备535可存在于计算设备900中。输入设备包括一个或多个键盘935b、鼠标、触控板、轨迹球、麦克风和绘图表，列举了几个非限制性示例。输出设备包括视频显示设备935a、扬声器和打印机。如图9a所示的i/o控制器930可控制一个或多个i/o设备，诸如，例如键盘935b和指向设备935c(例如，鼠标或光学笔)。
112.再次参考图9a，计算设备900可支持一个或多个可移除介质接口520，诸如软盘驱动器、cd
‑
rom驱动器、dvd
‑
rom驱动器、各种格式的磁带驱动器、usb端口、安全数字或紧凑型flashtm存储卡端口，或适用于从只读介质读取数据或适用于从读写介质读取数据或向读写介质写入数据的任何其他设备。i/o设备535可以是系统总线955和可移除介质接口920之间的桥接器。
113.可移除介质接口920可例如用于安装软件和程序。计算设备900还可包括用于存储操作系统和其他相关软件以及用于存储应用软件程序的存储设备915，诸如一个或多个硬盘驱动器或硬盘驱动器阵列。任选地，可移除介质接口920也可用作存储设备。例如，操作系统和软件可从可自引导介质(例如，可自引导cd)运行。
114.在一个实施方案中，计算设备900可包括或连接到多个显示设备935a，每个显示设备可具有相同或不同的类型和/或形式。因此，i/o设备535和/或i/o控制器930中的任一者可包括任何类型和/或形式的合适硬件、软件或硬件和软件的组合，以支持、启用或提供计算设备900对多个显示设备935a的连接和使用。例如，计算设备900可包括任何类型和/或形式的视频适配器、视频卡、驱动器和/或库以便接合、通信、连接或以其他方式使用显示设备935a。在一个实施方案中，视频适配器可包括多个连接器以接合到多个显示设备935a。在另一个实施方案中，计算设备900可包括多个视频适配器，其中每个视频适配器连接到显示设备935a中的一者或多者。在其他实施方案中，显示设备935a中的一者或多者可由一个或多个其他计算设备提供，经由网络连接到例如计算设备900。这些实施方案可包括任何类型的软件，该软件被设计和构造成使用另一个计算设备的显示设备作为计算设备900的第二显示设备935a。本领域的普通技术人员将认识到并理解计算设备900可被配置为具有多个显示设备935a的各种方式和实施方案。
115.在图9a和图9b中大体指示的计算设备的实施方案可在操作系统的控制下操作，该操作系统控制任务的调度和对系统资源的访问。计算设备900可运行任何操作系统、任何嵌入式操作系统、任何实时操作系统、任何开源操作系统、任何专有操作系统、移动计算设备的任何操作系统或能够在计算设备上运行并执行本文所述的操作的任何其他操作系统。
116.计算设备900可以是任何工作站、台式计算机、膝上型计算机或笔记本计算机、服务器机器、手持式计算机、移动电话或其他便携式远程通信设备、媒体播放设备、游戏系统、移动计算设备，或能够通信并且具有足够的处理器功率和存储器容量以执行本文所述的操作的任何其他类型和/或形式的计算、电信或媒体设备。在一些实施方案中，计算设备900可具有与设备一致的不同处理器、操作系统和输入设备。
117.在其他实施方案中，计算设备900是移动设备。示例可包括支持java的蜂窝电话或个人数字助理(pda)、智能电话、数字音频播放器或便携式媒体播放器。在一个实施方案中，计算设备900包括设备的组合，诸如与数字音频播放器或便携式媒体播放器组合的移动电话。
118.计算设备900可以是由网络连接的多个机器中的一者，或者其可包括如此连接的多个机器。网络环境可以包括一个或多个本地机器、客户端、客户端节点、客户端机器、客户端计算机、客户端设备、端点或端点节点，其经由一个或多个网络与一个或多个远程机器(其通常也可以被称为服务器机器或远程机器)通信。在一个实施方案中，本地机器具有用作寻求对由服务器机器提供的资源的访问的客户端节点，以及用作为其他客户端提供对托管的资源的访问的服务器机器的能力。网络可以是lan或wan链路、宽带连接、无线连接或上述任何或全部的组合。可使用多种通信协议来建立连接。在一个实施方案中，计算设备900经由任何类型和/或形式的网关或隧道协议(诸如安全套接层(ssl)或传输层安全(tls))与其他计算设备900进行通信。网络接口可包括内置网络适配器(诸如网络接口卡)，其适于将计算设备接合到能够通信并执行本文所述的操作的任何类型的网络。i/o设备可以是系统
总线和外部通信总线之间的桥接器。
119.在一个实施方案中，网络环境可以是虚拟网络环境，其中网络的各种部件被虚拟化。例如，各种机器可以是被实现为在物理机器上运行的基于软件的计算机的虚拟机。虚拟机可共享相同的操作系统。在其他实施方案中，可在每个虚拟机实例上运行不同的操作系统。在一个实施方案中，实现了“虚拟机管理程序”类型的虚拟化，其中多个虚拟机在相同主机物理机器上运行，每个虚拟机的作用就好像其具有自身的专用盒一样。虚拟机还可在不同的主机物理机器上运行。
120.还设想了其他类型的虚拟化，诸如网络(例如，经由软件定义联网(sdn))。功能(诸如会话边界控制器的功能和其他类型的功能)也可被虚拟化，诸如经由网络功能虚拟化(nfv)。
121.根据一个或多个所公开的实施方案，在不脱离所公开的实施方案的精神和范围的情况下，除非另外指明，否则可省略上述各种操作，或者可包括附加操作。此外，在不脱离所公开的实施方案的精神和范围的情况下，除非另有说明或暗示，否则可修改或改变操作的顺序。
122.本发明的实施方案中的系统的许多功能单元可被实现为计算机化电话装备、计算机服务器和各个工作站中的代码例程。众所周知，程序员是高度个性化的，并且可通过明显不同的例程来实现类似的功能。另外，本发明可应用于千差万别的硬件系统。此外，用于实践本发明的硬件可在许多方面不同。类似地，在本文所述的实施方案中存在许多其他更改，这些更改在其所述若干方面将落入所公开的实施方案的精神和范围内。本发明仅受以下权利要求书的范围的限制。