客服总机菜单无障碍控制方法、装置、服务器及存储介质与流程

1.本发明涉及通信技术领域，尤其涉及一种客服总机菜单无障碍控制方法、装置、服务器及存储介质。


背景技术：

2.随着5g技术的发展，基于ims(ip multimedia subsystem，ip多媒体系统)的语音业务，比如volte(voice over long-term evolution，长期演进语音承载)、vonr(voice over new radio，5g网络的语音承载)等高清音视频通话业务也得到了升级和发展，并将逐渐形成5g新通话模式。
3.目前，在常规的客服总机通话场景或基于5g新通话模式的客服总机通话场景下，菜单控制的方式是由用户在用户界面按键进行，但对于视障人士来说，操作智能手机本身就是很困难的事，而在语音通话中，手机自带读屏软件无法播放界面信息，一不小心就容易挂断电话，导致增大了操作难度，体验感较差。


技术实现要素：

4.本发明的主要目的在于：提供一种客服总机菜单无障碍控制方法、装置、服务器及存储介质，旨在解决现有技术的客服总机通话场景下，菜单操作对于视障人士存在难度较大的技术问题。
5.为实现上述目的，本发明采用如下技术方案：
6.第一方面，本发明提供了一种客服总机菜单无障碍控制方法，应用于服务器，所述方法包括以下步骤：
7.在客户端与客服总机建立呼叫连接时，获取用户标签信息；
8.根据所述用户标签信息，发送无障碍菜单给所述客户端，以从所述客户端获取用户根据所述无障碍菜单输入的操作意图语音信息；
9.对所述操作意图语音信息进行预处理，获得文本序列；
10.将所述文本序列输入训练获得的转换模型，获得按键序列，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建；
11.根据所述按键序列，发送对应的菜单操作结果给所述客户端。
12.可选地，上述客服总机菜单无障碍控制方法中，所述根据所述用户标签信息，发送无障碍菜单给所述客户端，以从所述客户端获取用户根据所述无障碍菜单输入的操作意图语音信息的步骤，具体包括：
13.根据所述用户标签信息，判断用户是否为需要提供无障碍控制的对象；
14.若所述用户是需要提供无障碍控制的对象，发送无障碍菜单给所述客户端，以从所述客户端获取所述用户根据所述无障碍菜单输入的操作意图语音信息。
15.可选地，上述客服总机菜单无障碍控制方法中，所述将所述文本序列输入训练获得的转换模型，获得按键序列的步骤之前，所述方法还包括：
16.获取训练数据集，所述训练数据集包括文本数据和按键序列数据；
17.对所述文本数据进行预处理，获得文本序列数据；
18.将所述文本序列数据输入初始化的神经网络模型，进行长短期记忆编码和解码，获得按键序列训练数据；
19.根据所述按键序列训练数据和所述按键序列数据，更新所述神经网络模型的参数，以获得更新后的神经网络模型；
20.将所述文本序列数据输入更新后的所述神经网络模型，获得按键序列训练数据，并根据所述按键序列训练数据和所述按键序列数据，获得更新后的神经网络模型；
21.返回所述将所述文本序列数据输入更新后的所述神经网络模型的步骤，循环至达到收敛条件，获得转换模型。
22.可选地，上述客服总机菜单无障碍控制方法中，所述神经网络模型包括依次连接的输入层、嵌入层、编码层、解码层和输出层，所述输入层的神经元数量与所述文本数据的数量一致，为所述文本序列数据设置序列长度；所述嵌入层利用词嵌入对所述文本序列数据进行向量映射，获得多维空间向量；所述编码层将所述多维空间向量编码为上下文向量；所述解码层利用长短期记忆将所述上下文向量解码为向量序列；所述输出层的神经元数量与所述按键序列数据的数量一致。
23.第二方面，本发明提供了一种客服总机菜单无障碍控制方法，应用于客户端，所述方法包括以下步骤：
24.发送呼叫信号给客服总机，以使服务器在所述客户端与所述客服总机建立呼叫连接时，获取用户标签信息，并根据所述用户标签信息，发送无障碍菜单给所述客户端；
25.接收所述无障碍菜单，并将用户根据所述无障碍菜单输入的操作意图语音信息发送给所述服务器，以使所述服务器对所述操作意图语音信息进行预处理，获得文本序列，并将所述文本序列输入训练获得的转换模型，获得按键序列，以及根据所述按键序列，发送对应的菜单操作结果给所述客户端，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建。
26.第三方面，本发明提供了一种转换模型训练方法，所述方法包括以下步骤：
27.获取训练数据集，所述训练数据集包括文本数据和按键序列数据；
28.对所述文本数据进行预处理，获得文本序列数据；
29.将所述文本序列数据输入初始化的神经网络模型，进行长短期记忆编码和解码，获得按键序列训练数据；
30.根据所述按键序列训练数据和所述按键序列数据，更新所述神经网络模型的参数，以获得更新后的神经网络模型；
31.将所述文本序列数据输入更新后的所述神经网络模型，获得按键序列训练数据，并根据所述按键序列训练数据和所述按键序列数据，获得更新后的神经网络模型；
32.返回所述将所述文本序列数据输入更新后的所述神经网络模型的步骤，循环至达到收敛条件，获得转换模型。
33.第四方面，本发明提供了一种客服总机菜单无障碍控制装置，应用于服务器，所述装置包括：
34.信息获取模块，用于在客户端与客服总机建立呼叫连接时，获取用户标签信息；
35.操作意图获取模块，用于根据所述用户标签信息，发送无障碍菜单给所述客户端，以从所述客户端获取用户根据所述无障碍菜单输入的操作意图语音信息；
36.预处理模块，用于对所述操作意图语音信息进行预处理，获得文本序列；
37.转换模块，用于将所述文本序列输入训练获得的转换模型，获得按键序列，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建；
38.操作结果发送模块，用于根据所述按键序列，发送对应的菜单操作结果给所述客户端。
39.第五方面，本发明提供了一种客服总机菜单无障碍控制装置，应用于客户端，所述装置包括：
40.主叫模块，用于发送呼叫信号给客服总机，以使服务器在所述客户端与所述客服总机建立呼叫连接时，获取用户标签信息，并根据所述用户标签信息，发送无障碍菜单给所述客户端；
41.无障碍处理模块，用于接收所述无障碍菜单，并将用户根据所述无障碍菜单输入的操作意图语音信息发送给所述服务器，以使所述服务器对所述操作意图语音信息进行预处理，获得文本序列，并将所述文本序列输入训练获得的转换模型，获得按键序列，以及根据所述按键序列，发送对应的菜单操作结果给所述客户端，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建。
42.第六方面，本发明提供了一种服务器，所述服务器包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，实现如上述的客服总机菜单无障碍控制方法。
43.第七方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序可被一个或多个处理器执行，以实现如上述的方法。
44.本发明提供的上述一个或多个技术方案，可以具有如下优点或至少实现了如下技术效果：
45.本发明提出的一种客服总机菜单无障碍控制方法、装置、设备及存储介质，通过在客户端与客服总机建立呼叫连接时，由服务器获取用户标签信息，并根据用户标签信息发送无障碍菜单到客户端，用户在客户端根据无障碍菜单输入操作意图语音信息，服务器获取到操作意图语音信息后，进行预处理，再输入转换模型中，将语音信息转换为按键序列，服务器再根据按键序列发送对应的菜单操作结果到客户端，实现了用户在客户端对客服总机菜单的无障碍控制，为视力障碍人群与客服总机通话提供便利，提升了用户体验度。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的这些附图获得其他的附图。
47.图1为本发明客服总机菜单无障碍控制方法第一实施例的流程示意图；
48.图2为本发明涉及的服务器的硬件结构示意图；
49.图3为本发明客服总机菜单无障碍控制方法第二实施例的流程示意图；
50.图4为本发明客服总机菜单无障碍控制方法第二实施例中客户端、客服总机和服务器的交互示意图；
51.图5为本发明客服总机菜单无障碍控制方法第二实施例中步骤160的细化流程示意图；
52.图6为本发明客服总机菜单无障碍控制方法第二实施例中神经网络模型的结构示意图；
53.图7为本发明客服总机菜单无障碍控制方法第三实施例的流程示意图；
54.图8为本发明客服总机菜单无障碍控制装置第一实施例的功能模块示意图；
55.图9为本发明客服总机菜单无障碍控制装置第二实施例的功能模块示意图。
56.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
57.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
58.需要说明，在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。另外，在本发明中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
59.对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。另外，各个实施例的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
60.对现有技术的分析发现，随着5g技术的发展，基于ims的语音业务，比如volte、vonr等高清音视频通话业务也得到了升级和发展，并将逐渐形成5g新通话模式。运营商可基于volte/vonr高清音视频通话服务来升级用户的通话体验，以免安装app、基于号码、确定性网络体验保障等ott(over the top，物联网公司越过运营商)应用所不具备的优势提升流量收入。全球移动通信系统协会(global system for mobile communications association，简称gsma)在融合通信(rich communication suite，简称rcs)中提出了丰富通话(enriched calling)，在通话中引入增强能力，定义了通话前(pre-call)、通话中(in-call)、通话后(post-call)三大场景。在通话前，主叫可以给被叫发送呼叫主题、重要性、图片、位置等信息；在通话中，主被叫双方可以互相发送任意文件、发送im消息、共享位置、共享地图、共享涂鸦、实时视频等；在被叫未接通时，主叫可以给被叫发送文字留言或语音留言。运营商可以基于通话前、通话中和通话后这三大场景升级volte/vonr高清音视频通话服务。
61.第三代合作伙伴计划(3gpp)也制定了ims数据通道(data channel)标准，其基于volte/vonr高清音视频通话与webrtc(web real-time communication，网页即时通信)技术结合，通过扩展ims数据通道，让语音和视频通话与扩展的数据通道同步，从而能在高清音视频通话中实现屏幕共享，叠加ar，甚至是听觉、视觉、触觉、动觉等同步的全沉浸式体验。ims数据通道基于udp(user datagram protocol，用户数据报协议)提供高实时性的单流或多流数据交互通道，可以在通话过程中同时进行桌面共享、白板共享及发送文件等操作。
62.通过引入实时ims数据通道，面向垂直行业在高清实时多媒体通话过程中增加行业特色交互式应用。端到端qos(quality of service，服务质量)保障已经不仅仅是语音、视频两种特定的qos策略和执行，还要针对不同数据业务类型进行定制化的qos策略控制，支持根据多场景协商媒体qos属性。ims数据通道不关注所传递通道中内容及其格式，仅需要通信双方对于通信格式达成一致，可采用webpage(网页) javascript(解释型或即时编译型的编程语言)脚本通用方式通过ims数据通道传递多样化应用内容。
63.基于前述这一背景的分析发现，目前，在常规的客服总机通话场景或基于5g新通话模式的客服总机通话场景下，客服总机的菜单控制方式一般是由用户在用户界面按键进行。但对于视障人士来说，操作智能手机本身就是很困难的事，而在语音通话中，手机自带读屏软件无法播放界面信息，导致需要耗费较长时间来寻找其所需要的菜单操作，一不小心就容易挂断电话，导致增大了操作难度。同时，对于不太懂智能手机操作方式的高龄人士亦是如此，可能存在看不清屏幕的情况，也可能存在不懂如何调取通话过程中的键盘的情况。而现有技术中，尚没有针对这些人群提供专门的服务，因此，针对视障人士或高龄人士等对操作客服总机菜单有障碍的人群来说，操作客服总机菜单难度较大，体验感较差。
64.鉴于现有技术的客服总机通话场景下，菜单操作对于视障人士存在难度较大的技术问题，本发明提供了一种客服总机菜单无障碍控制方法，总体思路如下：
65.在客户端与客服总机建立呼叫连接时，获取用户标签信息；根据所述用户标签信息，发送无障碍菜单给所述客户端，以从所述客户端获取用户根据所述无障碍菜单输入的操作意图语音信息；对所述操作意图语音信息进行预处理，获得文本序列；将所述文本序列输入训练获得的转换模型，获得按键序列，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建；根据所述按键序列，发送对应的菜单操作结果给所述客户端。
66.通过上述技术方案，在客户端与客服总机建立呼叫连接时，由服务器获取用户标签信息，并根据用户标签信息发送无障碍菜单到客户端，用户在客户端根据无障碍菜单输入操作意图语音信息，服务器获取到操作意图语音信息后，进行预处理，再输入转换模型中，将语音信息转换为按键序列，服务器再根据按键序列发送对应的菜单操作结果到客户端，实现了用户在客户端对客服总机菜单的无障碍控制，为视力障碍人群与客服总机通话提供便利，提升了用户体验度。
67.实施例一
68.参照图1的流程示意图，提出本发明客服总机菜单无障碍控制方法的第一实施例，该客服总机菜单无障碍控制方法应用于服务器。
69.所述服务器是指能够实现网络连接的终端设备或网络连接设备，可以是服务器、云平台等网络设备。
70.如图2所示，为服务器的硬件结构示意图。所述设备可以包括：处理器1001，例如cpu(central processing unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。
71.本领域技术人员可以理解，图2中示出的硬件结构并不构成对本发明服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
72.具体的，通信总线1002用于实现这些组件之间的连接通信；
73.用户接口1003用于连接上位机，与上位机进行数据通信，用户接口1003可以包括输出单元，如显示屏、输入单元，如键盘，可选的，用户接口1003还可以包括其他输入/输出接口，比如标准的有线接口、无线接口；
74.网络接口1004用于连接后台终端，与后台终端进行数据通信，网络接口1004可以包括输入/输出接口，比如标准的有线接口、无线接口，如wi-fi接口；
75.存储器1005用于存储各种类型的数据，这些数据例如可以包括该服务器中任何应用程序或方法的指令，以及应用程序相关的数据，存储器1005可以是高速ram存储器，也可以是稳定的存储器，例如磁盘存储器，可选的，存储器1005还可以是独立于所述处理器1001的存储装置；
76.具体的，继续参照图2，存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序；
77.处理器1001用于调用存储器1005中存储的计算机程序，并执行以下操作：
78.在客户端与客服总机建立呼叫连接时，获取用户标签信息；
79.根据所述用户标签信息，发送无障碍菜单给所述客户端，以从所述客户端获取用户根据所述无障碍菜单输入的操作意图语音信息；
80.对所述操作意图语音信息进行预处理，获得文本序列；
81.将所述文本序列输入训练获得的转换模型，获得按键序列，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建；
82.根据所述按键序列，发送对应的菜单操作结果给所述客户端。
83.基于上述的服务器，下面结合图1所示的流程示意图，对本实施例的客服总机菜单无障碍控制方法进行详细描述。所述方法可以包括以下步骤：
84.步骤s110：在客户端与客服总机建立呼叫连接时，获取用户标签信息。
85.具体的，客户端为手机、电话等可以与客服总机实现呼叫连接的终端，客服总机为接收客户端呼叫，并与客户端建立呼叫连接的终端，客户端与客服总机可以通过ims网络实现连接，具体通过cscf(call session control function，呼叫会话控制功能)实现连接。当客户端与客服总机建立呼叫连接时，ims数据通道将此信息发送到服务器，服务器则从运营管理中心，比如计费中心中获取该客户端对应号码的用户标签信息，用户标签信息包括该客户端对应的用户是否为需要提供无障碍控制的对象。
86.步骤s130：根据所述用户标签信息，发送无障碍菜单给所述客户端，以从所述客户端获取用户根据所述无障碍菜单输入的操作意图语音信息。
87.具体的，当用户标签信息标注该用户属于需要提供无障碍菜单的人群时，发送无障碍菜单给客户端，用户在客户端接收到无障碍菜单后，输入操作意图语音信息即可；当该用户不属于需要提供无障碍菜单的人群时，则直接发送常规菜单给客户端，接收客户端的
按键操作信息即可。
88.步骤s150：对所述操作意图语音信息进行预处理，获得文本序列。
89.具体的，服务器接收到用户根据所述无障碍菜单输入的操作意图语音信息后，对该操作意图语音信息进行预处理，比如进行数据清洗和文本序列化等操作，将语音信息转换为文本序列的形式。
90.步骤s170：将所述文本序列输入训练获得的转换模型，获得按键序列，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建。
91.具体的，服务器继续将文本序列输入到训练获得的转换模型，转换模型基于注意力机制和长短期记忆神经网络构建，利用注意力机制和长短期记忆神经网络的特点，对该文本序列进行编码，编码成一个固定长度的向量，即上下文向量，再进行解码，解码为序列输出，即可得到按键序列。
92.步骤s190：根据所述按键序列，发送对应的菜单操作结果给所述客户端。
93.具体的，针对转换模型输出的按键序列，发送对应的菜单操作结果，比如该按键对应的业务或者该按键对应的子菜单等结果给客户端，用户即可知晓本次无障碍操作是否成功，并可继续后续操作，以此实现了对于客服总机的无障碍控制。
94.本实施例提供的客服总机菜单无障碍控制方法，通过在客户端与客服总机建立呼叫连接时，由服务器获取用户标签信息，并根据用户标签信息发送无障碍菜单到客户端，用户在客户端根据无障碍菜单输入操作意图语音信息，服务器获取到操作意图语音信息后，进行预处理，再输入转换模型中，将语音信息转换为按键序列，服务器再根据按键序列发送对应的菜单操作结果到客户端，实现了用户在客户端对客服总机菜单的无障碍控制，为视力障碍人群与客服总机通话提供便利，提升了用户体验度。
95.实施例二
96.基于同一发明构思，参照图3至图6，提出本发明客服总机菜单无障碍控制方法的第二实施例，该客服总机菜单无障碍控制方法应用于服务器。
97.下面结合图3所示的流程示意图，对本实施例的客服总机菜单无障碍控制方法进行详细描述。所述方法可以包括以下步骤：
98.步骤s110：在客户端与客服总机建立呼叫连接时，获取用户标签信息。
99.具体的，所述步骤s110，可以包括：
100.步骤s111:通过ims数据通道与客户端和客服总机建立连接关系，以接收客户端与客服总机建立呼叫连接时的通知信息。
101.具体的，客户端为手机、电话等可以与客服总机实现呼叫连接的终端，客服总机为接收客户端呼叫，并与客户端建立呼叫连接的终端，客户端通过ims核心网发送用户主叫信号到客服总机，客服总机在接收到用户主叫信号时，根据该用户主叫信号与客户端建立呼叫连接，具体通过cscf呼叫会话控制功能实现连接，客户端与客服总机分别通过sbc(session border controller，会话边界控制)网元与ims数据通道的volte as(application server，应用服务器)网元连接。当客户端与客服总机建立呼叫连接时，ims数据通道的volte as网元通过rest(representational state transfer，表征状态转移)接口将客户端与客服总机建立呼叫连接的通知信息发送到服务器，如图4所示为客户端、客服总机和服务器的交互示意图，。
102.步骤s112：生成查询请求，并将所述查询请求发送给运营管理中心，以获取用户标签信息。
103.具体的，服务器接收到客户端与客服总机建立呼叫连接的通知信息后，生成查询请求，并将所述查询请求发送给运营管理中心，比如计费中心，获取该客户端对应号码的用户标签信息，用户标签信息包括该客户端对应的用户是否为需要提供无障碍控制的对象。
104.步骤s130：根据所述用户标签信息，发送无障碍菜单给所述客户端，以从所述客户端获取用户根据所述无障碍菜单输入的操作意图语音信息。
105.具体的，所述步骤s130，可以包括：
106.步骤s131：根据所述用户标签信息，判断用户是否为需要提供无障碍控制的对象。
107.具体的，根据所述用户标签信息，判断发起主叫的客户端对应的用户是否为需要提供无障碍控制的对象，若是，说明该用户为视障人士或高龄人士等操作菜单有困难的用户，若不是，说明该用户为普通用户，可以直接发送常规菜单到客户端，待用户在客户端触控键盘，产生键盘序列后，进行步骤190，即根据该按键序列，发送对应的菜单操作结果给客户端，实现客户总机菜单的常规控制。
108.步骤s132：若所述用户是需要提供无障碍控制的对象，发送无障碍菜单给所述客户端，以从所述客户端获取所述用户根据所述无障碍菜单输入的操作意图语音信息。
109.具体的，若所述用户是需要提供无障碍控制的对象，通过ims数据通道发送专门特定的无障碍菜单给客户端，比如，a服务请说1、b服务请说2等等。用户在客户端听到该无障碍菜单后，输入操作意图语音信息，由客户端采集并通过ims数据通道发送该操作意图语音信息至服务器。
110.步骤s150：对所述操作意图语音信息进行预处理，获得文本序列。
111.具体的，所述步骤s150，可以包括：
112.步骤s151：对所述语音信息进行文本识别，获得文本信息；
113.步骤s152：对所述文本信息进行数据清洗和序列化处理，获得文本序列。
114.在具体实施过程中，对操作意图语音信息进行文本识别，获得文本信息，进行数据清洗，比如对所述文本信息进行标点符号移除，防止影响识别准确度，从而影响后续转换的准确度；再对数据清洗后的文本进行序列化处理，比如，若文本为中文则对文本进行分词，若文本为英文则将字母统一为小写，同时将每个词索引化(tokenize)，使得每一段文本被转化成一段索引数字，并且对未达到最大文本长度的序列补零。
115.步骤s160：基于注意力机制和长短期记忆神经网络构建神经网络模型，并对神经网络模型进行训练，获得转换模型。
116.具体的，如图5所示的流程示意图，所述步骤s160，可以包括：
117.步骤s161：获取训练数据集，所述训练数据集包括文本数据和按键序列数据。
118.具体的，从历史数据中获取用户输入的操作意图文本信息，人工将每一条菜单操作意图文本信息转换为菜单操作按键序列，形成由菜单操作意图文本数据和按键序列数据构成的训练数据集。
119.步骤s162：对所述文本数据进行预处理，获得文本序列数据。
120.具体的，参照步骤s152，对训练数据集中的文本数据进行数据清洗和序列化处理，获得文本序列数据，此处不再赘述。
121.步骤s163：将所述文本序列数据输入初始化的神经网络模型，进行长短期记忆编码和解码，获得按键序列训练数据。
122.长短期记忆(lstm，long short-term memory)是一种特殊的循环神经网络类型，所谓的循环神经网络即同一个神经网络被重复使用。lstm可以学习长期依赖信息，通过控制缓存中的值保存的时间，可以记住长期的信息，适合进行长序列的学习，在长序列的学习上具有较好的效果。
123.更具体的，如图6所示为神经网络模型的结构示意图，所述神经网络模型包括依次连接的输入层、嵌入层、编码层、解码层和输出层，所述输入层的神经元数量与所述文本数据的数量一致，为所述文本序列数据设置序列长度；所述嵌入层利用词嵌入对所述文本序列数据进行向量映射，获得多维空间向量；所述编码层将所述多维空间向量编码为上下文向量；所述解码层利用长短期记忆将所述上下文向量解码为向量序列；所述输出层的神经元数量与所述按键序列数据的数量一致。
124.本实施例中，定义文本序列数据为其中，i表示文本序列号，n表示客服总机包含的菜单层级；
125.定义按键序列数据为其中，j表示按键序列号；
126.取文本序列数据的最长长度l作为其索引序列长度，取其词典大小为need_vocab_size，取按键序列数据的最长长度m作为其索引序列长度，取其词典大小为sequence_vocab_size。将训练数据集划分为训练集和测试集，比如，将总数据集的80％划为训练集，总数据集的20％划为测试集。训练集用于训练模型，测试集用于测试模型。
127.输入层：输入索引化后的文本序列数据，每条信息序列长度为l，因此该层输出数据的形状为(none，l)；
128.嵌入层：利用词嵌入(word embedding)将每个词转化为向量，输入数据维度为need_vocab_size，输出设置为需要将词转换为128维度的空间向量，输入序列长度为l，因此该层输出数据的形状为(none，l，128)，对文本序列数据进行向量映射，获得128维的固定形状的多维空间向量；
129.编码层：包含128个lstm神经元，激活函数设置为relu函数，该层输出数据的形状为(none，l，128)，编码成1个固定长度的上下文向量h；
130.解码层：包含128个注意力lstm神经元，激活函数也设置为relu函数，该层输出数据的形状为(none，l，128)；
131.输出层：包含全连接神经元个数为sequence_vocab_size，激活函数设置为softmax(逻辑回归)函数，将逻辑回归函数的输出结果送入多类交叉熵损失函数，该层的输出数据的形状为(none,sequence_vocab_size)。
132.本实施例利用注意力编解码神经网络可按需聚焦于输入序列中的相关部分的特点，抽取同类场景中不同切片应用的共性需求、舍弃同类场景中不同切片应用的个性需求。编解码神经网络是一种组织循环神经网络的方式，主要用于解决含多个输入或多个输出的序列预测问题。编码层即编码器，负责将输入的序列进行逐字编码，编码成一个固定长度的向量，即上下文向量，解码层即解码器，负责读取编码器输出的上下文向量，并生成输出序列。
133.注意力(attention)机制解决了编解码器结构的局限，首先它将从编码器获得的更加丰富的上下文提供给解码器，编码器会传递更多的数据给解码器，相比传统模型中编码器只传递编码阶段的最后一个隐藏状态，注意力机制模型中，编码器可以传递所有的隐藏状态给解码器。
134.步骤s164：根据所述按键序列训练数据和所述按键序列数据，更新所述神经网络模型的参数，以获得更新后的神经网络模型。
135.注意力机制提供这样一种学习机制，当预测每一个时步上输出的序列时，解码器可以学习在更加丰富的上下文中需要聚焦于何处。注意力网络会给每一个输入分配一个注意力权重，如果该输入与当前操作越相关则注意力权重越接近于1，反之则越接近于0，这些注意力权重在每一个输出步骤都会重新计算。因此，神经网络模型的参数包括注意力权重，定义为a。
136.本实施例中，编码层、解码层和输出层的具体过程中，注意力权重为：
137.ai＝softmax(dense(xi,y
i-1
))，
138.其中，i表示时间步骤，ai表示当前时间步i的注意力权重，softmax表示全连接层即输出层的函数，dense表示全连接层，xi表示当前时间步i的输入，y
i-1
表示上一时间步i-1的输出；
139.然后，计算注意力权重和输入的乘积之和，得到解码层的输出，即上下文ci：
[0140][0141]
其中，m表示训练次数；
[0142]
再将得到的上下文ci输入到编码层，即长短期记忆层，得到最终输出层的输出：
[0143]
yi＝lstm(ci)。
[0144]
步骤s165：将所述文本序列数据输入更新后的所述神经网络模型，获得按键序列训练数据，并根据所述按键序列训练数据和所述按键序列数据，获得更新后的神经网络模型。
[0145]
步骤s166：返回所述将所述文本序列数据输入更新后的所述神经网络模型的步骤，循环至达到收敛条件，获得转换模型。
[0146]
具体的，收敛条件包括所述输出层输出的按键序列训练数据与训练数据集的测试集中按键序列数据相比，准确度达到预设目标准确度或训练次数达到预设训练次数。
[0147]
本实施例中，可以设定该神经网络模型的预设训练次数为1000，定义epochs＝1000，批处理大小设置为100，定义batch_size＝100，选择categorical crossentropy多类交叉熵函数作为损失函数即目标函数，定义loss＝'categorical_crossentropy'，梯度下降优化算法选择adam优化器用于改善传统梯度下降的学习速度，定义optimizer＝'adam'。神经网络通过梯度下降，可以找到使目标函数最小的最优权重值。
[0148]
通过上述参数定义，当该神经网络模型的训练次数达到1000，或者获得的按键序列训练数据与训练数据集的测试集中按键序列数据相比，得到的准确度达到98％时，判定模型训练达到收敛，导出该模型的注意力权重，并保存，以备以后训练使用。以及，将该注意力权重对应的最后一次训练的模型作为最终的神经网络模型，即可得到训练好的转换模
型。
[0149]
步骤s170：将所述文本序列输入训练获得的转换模型，获得按键序列。
[0150]
步骤s190：根据所述按键序列，发送对应的菜单操作结果给所述客户端。
[0151]
具体的，根据按键序列，服务器以语音或h5(html5，第五代html的标准)的方式通过ims数据通道发送对应的菜单操作结果给客户端。服务器可以直接发送对应的菜单操作结果给所述客户端，也可以驱动客服总机发送对应的菜单操作结果给所述客户端，具体根据实际情况设定。菜单操作结果包括进行具体的服务或产生对应的子菜单；当菜单操作结果为产生子菜单时，子菜单仍然为专门的无障碍菜单，此时，服务器可以直接发送对应的菜单操作结果给所述客户端，然后返回步骤130，继续获取用户针对子菜单的操作意图语音信息；当菜单操作结果为具体的服务，比如，转接人工服务、办理某业务等服务时，此时可以驱动客服总机发送对应的菜单操作结果给所述客户端，由客服总机进行对应的服务。
[0152]
本实施例提供的客服总机菜单无障碍控制方法，通过
……
[0153]
提升了视障人士或高龄人士等对于客服总机操作有障碍人群的用户体验。
[0154]
实施例三
[0155]
基于同一发明构思，参照图7，提出本发明客服总机菜单无障碍控制方法的第三实施例，该客服总机菜单无障碍控制方法应用于客户端。
[0156]
下面结合图7所示的流程示意图，对本实施例的客服总机菜单无障碍控制方法进行详细描述。所述方法可以包括以下步骤：
[0157]
步骤s210：发送呼叫信号给客服总机，以使服务器在所述客户端与所述客服总机建立呼叫连接时，获取用户标签信息，并根据所述用户标签信息，发送无障碍菜单给所述客户端。
[0158]
步骤s230：接收所述无障碍菜单，并将用户根据所述无障碍菜单输入的操作意图语音信息发送给所述服务器，以使所述服务器对所述操作意图语音信息进行预处理，获得文本序列，并将所述文本序列输入训练获得的转换模型，获得按键序列，以及根据所述按键序列，发送对应的菜单操作结果给所述客户端，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建。
[0159]
上述方法步骤的具体实施方式中更多实施细节可参见实施例二中具体实施方式的描述，为了说明书的简洁，此处不再重复赘述。
[0160]
实施例四
[0161]
基于同一发明构思，参照图4，提出本发明转换模型训练方法的第一实施例，该转换模型训练方法可以应用于服务器。
[0162]
下面结合图4所示的流程示意图，对本实施例的转换模型训练方法进行详细描述。所述方法可以包括以下步骤：
[0163]
步骤s161：获取训练数据集，所述训练数据集包括文本数据和按键序列数据。
[0164]
步骤s162：对所述文本数据进行预处理，获得文本序列数据。
[0165]
步骤s163：将所述文本序列数据输入初始化的神经网络模型，进行长短期记忆编码和解码，获得按键序列训练数据。
[0166]
具体的，所述神经网络模型包括依次连接的输入层、嵌入层、编码层、解码层和输出层，所述输入层的神经元数量与所述文本数据的数量一致，为所述文本序列数据设置序
列长度；所述嵌入层利用词嵌入对所述文本序列数据进行向量映射，获得多维空间向量；所述编码层将所述多维空间向量编码为上下文向量；所述解码层利用长短期记忆将所述上下文向量解码为向量序列；所述输出层的神经元数量与所述按键序列数据的数量一致。
[0167]
步骤s164：根据所述按键序列训练数据和所述按键序列数据，更新所述神经网络模型的参数，以获得更新后的神经网络模型。
[0168]
步骤s165：将所述文本序列数据输入更新后的所述神经网络模型，获得按键序列训练数据，并根据所述按键序列训练数据和所述按键序列数据，获得更新后的神经网络模型。
[0169]
步骤s166：返回所述将所述文本序列数据输入更新后的所述神经网络模型的步骤，循环至达到收敛条件，获得转换模型。
[0170]
本领域人员可以理解，该训练方法还可应用于较多文本序列的转换，比如将文本系列转换为语音序列，将文本序列转换为图片序列等实质上输入与输出具有关联的序列之间的转换，具体可以根据实际情况设定。
[0171]
上述方法步骤的具体实施方式中更多实施细节可参见实施例二中具体实施方式的描述，为了说明书的简洁，此处不再重复赘述。
[0172]
实施例五
[0173]
基于同一发明构思，参照图8，提出本发明客服总机菜单无障碍控制装置的第一实施例，该客服总机菜单无障碍控制装置可以为虚拟装置，应用于服务器。
[0174]
下面结合图8所示的功能模块示意图，对本实施例提供的客服总机菜单无障碍控制装置进行详细描述，所述装置可以包括：
[0175]
信息获取模块，用于在客户端与客服总机建立呼叫连接时，获取用户标签信息；
[0176]
操作意图获取模块，用于根据所述用户标签信息，发送无障碍菜单给所述客户端，以从所述客户端获取用户根据所述无障碍菜单输入的操作意图语音信息；
[0177]
预处理模块，用于对所述操作意图语音信息进行预处理，获得文本序列；
[0178]
转换模块，用于将所述文本序列输入训练获得的转换模型，获得按键序列，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建；
[0179]
操作结果发送模块，用于根据所述按键序列，发送对应的菜单操作结果给所述客户端。
[0180]
进一步地，所述操作意图获取模块，可以包括：
[0181]
用户判断模块，用于根据所述用户标签信息，判断用户是否为需要提供无障碍控制的对象；
[0182]
菜单发送模块，用于若所述用户是需要提供无障碍控制的对象，发送无障碍菜单给所述客户端，以从所述客户端获取所述用户根据所述无障碍菜单输入的操作意图语音信息。
[0183]
进一步地，所述装置还可以包括：
[0184]
模型训练模块，用于基于注意力机制和长短期记忆神经网络构建神经网络模型，并对神经网络模型进行训练，获得转换模型
[0185]
更进一步地，所述模型训练模块，可以包括：
[0186]
训练数据单元，用于获取训练数据集，所述训练数据集包括文本数据和按键序列
数据；
[0187]
预处理单元，用于对所述文本数据进行预处理，获得文本序列数据；
[0188]
初始化单元，用于将所述文本序列数据输入初始化的神经网络模型，进行长短期记忆编码和解码，获得按键序列训练数据；
[0189]
参数更新单元，用于根据所述按键序列训练数据和所述按键序列数据，更新所述神经网络模型的参数，以获得更新后的神经网络模型；
[0190]
模型更新单元，用于将所述文本序列数据输入更新后的所述神经网络模型，获得按键序列训练数据，并根据所述按键序列训练数据和所述按键序列数据，获得更新后的神经网络模型；
[0191]
循环优化单元，用于返回所述将所述文本序列数据输入更新后的所述神经网络模型的步骤，循环至达到收敛条件，获得转换模型。
[0192]
具体的，所述神经网络模型包括依次连接的输入层、嵌入层、编码层、解码层和输出层，所述输入层的神经元数量与所述文本数据的数量一致，为所述文本序列数据设置序列长度；所述嵌入层利用词嵌入对所述文本序列数据进行向量映射，获得多维空间向量；所述编码层将所述多维空间向量编码为上下文向量；所述解码层利用长短期记忆将所述上下文向量解码为向量序列；所述输出层的神经元数量与所述按键序列数据的数量一致。
[0193]
需要说明，本实施例提供的客服总机菜单无障碍控制装置中各个模块可实现的功能和对应达到的技术效果可以参照本发明客服总机菜单无障碍控制方法第一或第二实施例中具体实施方式的描述，为了说明书的简洁，此处不再赘述。
[0194]
实施例六
[0195]
基于同一发明构思，参照图9，提出本发明客服总机菜单无障碍控制装置的第二实施例，该客服总机菜单无障碍控制装置可以为虚拟装置，应用于客户端。
[0196]
下面结合图9所示的功能模块示意图，对本实施例提供的客服总机菜单无障碍控制装置进行详细描述，所述装置可以包括：
[0197]
主叫模块，用于发送呼叫信号给客服总机，以使服务器在所述客户端与所述客服总机建立呼叫连接时，获取用户标签信息，并根据所述用户标签信息，发送无障碍菜单给所述客户端；
[0198]
无障碍处理模块，用于接收所述无障碍菜单，并将用户根据所述无障碍菜单输入的操作意图语音信息发送给所述服务器，以使所述服务器对所述操作意图语音信息进行预处理，获得文本序列，并将所述文本序列输入训练获得的转换模型，获得按键序列，以及根据所述按键序列，发送对应的菜单操作结果给所述客户端，其中，所述转换模型基于注意力机制和长短期记忆神经网络构建。
[0199]
需要说明，本实施例提供的客服总机菜单无障碍控制装置中各个模块可实现的功能和对应达到的技术效果可以参照本发明客服总机菜单无障碍控制方法第三实施例中具体实施方式的描述，为了说明书的简洁，此处不再赘述。
[0200]
实施例七
[0201]
基于同一发明构思，参照图2，为本发明各实施例涉及的服务器的硬件结构示意图。本实施例提供了一种服务器，所述服务器可以包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现本发明客服总机菜单无障碍控
制方法第一或第二实施例和转换模型训练方法第一实施例的全部或部分步骤。
[0202]
具体的，所述服务器是指能够实现网络连接的终端设备或网络连接设备，可以是服务器、云平台等网络设备。
[0203]
可以理解，所述设备还可以包括通信总线，用户接口和网络接口。
[0204]
其中，通信总线用于实现这些组件之间的连接通信。
[0205]
用户接口用于连接上位机，与上位机进行数据通信，用户接口可以包括输出单元，如显示屏、输入单元，如键盘，可选的，用户接口还可以包括其他输入/输出接口，比如标准的有线接口、无线接口。
[0206]
网络接口用于连接后台终端，与后台终端进行数据通信，网络接口可以包括输入/输出接口，比如标准的有线接口、无线接口，如wi-fi接口。
[0207]
存储器用于存储各种类型的数据，这些数据例如可以包括该服务器中任何应用程序或方法的指令，以及应用程序相关的数据。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘，可选的，存储器还可以是独立于所述处理器的存储装置。
[0208]
处理器用于调用存储器中存储的计算机程序，并执行如上述的客服总机菜单无障碍控制方法或转换模型训练方法，处理器可以是专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件，用于执行如上述客服总机菜单无障碍控制方法第一或第二实施例和转换模型训练方法第一实施例的全部或部分步骤。
[0209]
实施例八
[0210]
基于同一发明构思，本实施例提供了一种客户端，所述客户端可以包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现本发明客服总机菜单无障碍控制方法第三实施例的全部或部分步骤。
[0211]
具体的，所述客户端是指手机、电话等可以与客服总机实现呼叫连接的终端。该终端可以包括：rf(radio frequency，射频)单元、wifi模块、音频输出单元、a/v(音频/视频)输入单元、传感器、显示单元、用户输入单元、接口单元、存储器、处理器以及电源等部件。其中，
[0212]
射频单元可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器处理；另外，将上行的数据发送给基站。通常，射频单元包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元还可以通过无线通信与网络和其他设备通信。
[0213]
wifi属于短距离无线传输技术，客户端通过wifi模块可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。
[0214]
音频输出单元可以在客户端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元或wifi模块接收的或者在存储器中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元还可以提供与客户端执行的特定功能相关的音频输出，例如，呼叫信号接收声音、消息接收声音等等。音频输出单元可以包括扬声器、蜂鸣器等等。
[0215]
a/v输入单元用于接收音频或视频信号。具体地，a/v输入单元可包括图形处理器和麦克风，图形处理器对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图像或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元上。经图形处理器处理后的图像帧可以存储在存储器(或其它存储介质)中或者经由射频单元或wifi模块进行发送。麦克风可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(或音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元发送到移动通信基站的格式输出。麦克风可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
[0216]
客户端还包括至少一种传感器，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在客户端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
[0217]
显示单元用于显示由用户输入的信息或提供给用户的信息。显示单元可以包括显示面板，可以采用液晶显示器、有机发光二极管等形式来配置。
[0218]
用户输入单元可用于接收输入的数字或字符信息，以及产生与客户端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元可包括触控面板以及其他输入设备。触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程式驱动相应的连接装置。可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板。除了触控面板，用户输入单元还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、触控笔等中的一种或多种，具体此处不做限定。
[0219]
进一步的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在显示面板上提供相应的视觉输出。
[0220]
接口单元用作至少一个外部装置与客户端连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元可以用于接收来自外部装置的输入(例如，数据信息、电力等
等)并且将接收到的输入传输到客户端100内的一个或多个元件，或者可以用于在客户端和外部装置之间传输数据。
[0221]
存储器可用于存储软件程序以及各种数据，存储器可为一种计算机存储介质，其上存储有本发明客服总机菜单无障碍控制方法第三实施例的计算机程序。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0222]
处理器是客户端的控制中心，利用各种接口和线路连接整个客户端的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行客户端的各种功能和处理数据，从而对客户端进行整体监控。如处理器执行存储器中的计算机程序，以实现本发明客服总机菜单无障碍控制方法第三实施例的全部或部分步骤。处理器可包括一个或多个处理单元；可选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
[0223]
客户端还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0224]
可以理解，客户端还可以包括蓝牙模块等，在此不再赘述。
[0225]
实施例九
[0226]
基于同一发明构思，本实施例提供了一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，所述存储介质上存储有计算机程序，所述计算机程序可被一个或多个处理器执行，所述计算机程序被处理器执行时可以实现本发明客服总机菜单无障碍控制方法各个实施例和转换模型训练方法第一实施例的全部或部分步骤。
[0227]
需要说明，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0228]
以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。