终端通信方法、装置、服务器和存储介质与流程

1.本技术涉及通信领域，尤其涉及一种终端通信方法、装置、服务器和存储介质。


背景技术：

2.在终端的通信过程中，经常会遇到被叫终端占线的情况。虽然，目前被叫终端在通话过程中，再次遇到呼叫时可以通过提示音提示有呼叫请求接入，但是被叫终端无法了解该呼叫请求的意图，以确定是否挂起或挂断当前通话，影响了用户的使用体验。
3.另外，在一些终端通话场景下，如终端与各类客服系统之间的通话，在客服系统指示终端办理相关业务时，单纯依靠语音播报菜单，可能导致办事效率低下，同样影响了用户的使用体验。


技术实现要素：

4.本技术提供一种终端通信方法、装置、服务器和存储介质，能够在终端通话时，为终端提供数据传输服务，实现数据与语音的同步传输，提升用户体验。
5.为达到上述目的，本技术采用如下技术方案：
6.第一方面，提供一种终端通信方法，包括：响应于主叫终端的呼叫请求，为主叫终端和被叫终端预留媒体资源；媒体资源包括第一媒体资源和第二媒体资源，第一媒体资源用于传输语音媒体流，第二媒体资源用于传输数据流；在主叫终端和被叫终端的会话连接建立完成时，通过第二媒体资源为主叫终端和/或被叫终端提供数据流传输服务；在主叫终端和被叫终端通话时，通过第一媒体资源为主叫终端和被叫终端提供语音媒体流传输服务。
7.结合第一方面，一种可能的实现方式中，在主叫终端和被叫终端通话时，上述方法还包括：若主叫终端的第一签约语言类型和被叫终端的第二签约语言类型不同，则通过第一媒体资源获取主叫终端的第一语音媒体流和被叫终端的第二语音媒体流；根据第一语音媒体流确定第二签约语言类型对应的第一目标语音媒体流，并根据第二语音媒体流确定第一签约语言类型对应的第二目标语音媒体流；将第一目标语音媒体流通过第一媒体资源发送给被叫终端，并将第二目标语音媒体流通过第一媒体资源发送给主叫终端。
8.结合第一方面，一种可能的实现方式中，在主叫终端和被叫终端通话时，上述方法还包括：确定主叫终端的第一签约语言类型和被叫终端的第二签约语言类型。
9.结合第一方面，一种可能的实现方式中，上述根据第一语音媒体流确定第二签约语言类型对应的第一目标语音媒体流，并根据第二语音媒体流确定第一签约语言类型对应的第二目标语音媒体流，包括：确定第一语音媒体流对应的第一语音文本，以及第二语音媒体流对应的第二语音文本；根据第一语音文本确定第二签约语言类型对应的第一译文文本，并根据第二语音文本确定第一签约语言类型对应的第二译文文本；确定第一译文文本对应的第一目标语音媒体流，以及第二译文文本对应的第二目标语音媒体流。
10.结合第一方面，一种可能的实现方式中，在确定第一目标语音媒体流和第二语音
媒体流之后，上述方法还包括：将第一语音文本和第一译文文本通过第二媒体资源发送给被叫终端，将第二语音文本和第二译文文本通过第二媒体资源发送给主叫终端。
11.结合第一方面，一种可能的实现方式中，将第一目标语音媒体流通过第一媒体资源发送给被叫终端，并将第二目标语音媒体流通过第一媒体资源发送给主叫终端时，上述方法还包括：将第一语音媒体流通过第一媒体资源发送给被叫终端，将第二语音媒体流通过第一媒体资源发送给主叫终端。
12.第二方面，提供一种终端通信装置，包括：资源预留模块，用于响应于主叫终端的呼叫请求，为主叫终端和被叫终端预留媒体资源；媒体资源包括第一媒体资源和第二媒体资源，第一媒体资源用于传输语音媒体流，第二媒体资源用于传输数据流；在主叫终端和被叫终端的会话连接建立完成时，数据传输模块，用于通过第二媒体资源为主叫终端和/或被叫终端提供数据流传输服务；在主叫终端和被叫终端通话时，语音传输模块，用于通过第一媒体资源为主叫终端和被叫终端提供语音媒体流传输服务。
13.结合第二方面，一种可能的实现方式中，上述装置还包括获取模块、翻译模块和发送模块；在主叫终端和被叫终端通话时，获取模块，用于在主叫终端的第一签约语言类型和被叫终端的第二签约语言类型不同时，通过第一媒体资源获取主叫终端的第一语音媒体流和被叫终端的第二语音媒体流；翻译模块，用于根据获取模块获取的第一语音媒体流确定第二签约语言类型对应的第一目标语音媒体流，并根据获取模块获取的第二语音媒体流确定第一签约语言类型对应的第二目标语音媒体流；发送模块，用于将翻译模块确定的第一目标语音媒体流通过第一媒体资源发送给被叫终端，并将翻译模块确定的第二目标语音媒体流通过第一媒体资源发送给主叫终端。
14.结合第二方面，一种可能的实现方式中，上述装置还包括语言确定模块；语言确定模块，用于确定主叫终端的第一签约语言类型和被叫终端的第二签约语言类型。
15.结合第二方面，一种可能的实现方式中，上述翻译模块包括音文转换子模块、文本转换子模块和文音转换子模块；音文转换子模块，用于确定第一语音媒体流对应的第一语音文本，以及第二语音媒体流对应的第二语音文本；文本转换子模块，用于根据第一语音文本确定第二签约语言类型对应的第一译文文本，并根据第二语音文本确定第一签约语言类型对应的第二译文文本；文音转换子模块，用于确定第一译文文本对应的第一目标语音媒体流，以及第二译文文本对应的第二目标语音媒体流。
16.结合第二方面，一种可能的实现方式中，发送模块，还用于在确定第一目标语音媒体流和第二语音媒体流之后，将音文转换子模块确定的第一语音文本和文本转换子模块确定的第一译文文本通过第二媒体资源发送给被叫终端，将音文转换子模块确定的第二语音文本和文本转换子模块确定的第二译文文本通过第二媒体资源发送给主叫终端。
17.结合第二方面，一种可能的实现方式中，上述将第一目标语音媒体流通过第一媒体资源发送给被叫终端，并将第二目标语音媒体流通过第一媒体资源发送给主叫终端时，发送模块，还用于将第一语音媒体流通过第一媒体资源发送给被叫终端，将第二语音媒体流通过第一媒体资源发送给主叫终端。
18.第三方面，提供一种终端通信服务器，包括：信令处理模块、数据签约模块、媒体处理模块、语音增强管理模块和翻译接口模块；信令处理模块，用于与互联网多媒体子系统ims网络通信，并指示媒体处理模块为终端预留媒体资源；媒体资源包括第一媒体资源和第
二媒体资源，第一媒体资源用于传输语音媒体流，第二媒体资源用于传输数据流；数据签约模块，用于存储终端的签约语言类型；数据签约模块，还用于在主叫终端和被叫终端的签约语言类型不同时，指示媒体处理模块获取主叫终端和被叫终端的语音媒体流；数据签约模块，还用于在媒体资源预留成功之后，指示翻译接口模块启动语音翻译服务；媒体处理模块，还用于将主叫终端和被叫终端的语音媒体流传输至翻译接口模块；媒体处理模块，还用于获取第三方应用提供的数据服务，为主叫终端和/或被叫终端提供数据传输服务；语音增强管理模块，用于提供第三方应用提供的数据服务；翻译接口模块，用于提供对外语音接口。
19.结合第三方面，一种可能的实现方式中，信令处理模块，还用于对ims网络传输的信令进行转换；媒体处理模块，还用于对终端的语音媒体流进行编码转换。
20.结合第三方面，一种可能的实现方式中，上述服务器还包括语音识别模块、文本翻译模块和语音转换模块；语音识别模块，用于从翻译接口模块获取语音媒体流，并将语音媒体流识别为语音文本；文本翻译模块，用于将语音文本转换为译文文本；译文文本为终端对端的签约语言类型对应的文本；语音转换模块，用于将译文文本转换为翻译语音媒体流；媒体处理模块，还用于通过翻译接口模块获取翻译语音媒体流，并将翻译语音媒体流传输至对应的终端；翻译接口模块，还用于获取语音文本和译文文本，并将语音文本和译文文本传输给媒体处理模块；媒体处理模块，还用于通过第二媒体资源将语音文本和译文文本传输至对应的终端。
21.结合第三方面，一种可能的实现方式中，上述服务器还包括开通模块和话单模块；开通模块，用于为终端开通语音实时翻译业务，并将终端对应的签约数据存储至数据签约模块；话单模块，用于根据数据签约模块生成的话单记录生成话单；话单包括主叫终端和被叫终端之间的语音通话记录，以及主叫终端和被叫终端之间的数据传输记录。
22.第四方面，提供一种终端通信装置，包括存储器、处理器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当终端通信装置运行时，处理器执行存储器存储的计算机执行指令，以使终端通信装置执行如第一方面提供的终端通信方法。
23.第五方面，提供一种计算机可读存储介质，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得计算机执行如第一方面提供的终端通信方法。
24.本技术提供的终端通信方法中，在主叫终端和被叫终端建立会话连接时，终端通信装置可以为主叫终端和被叫终端预留媒体资源，包括传输语音媒体流的第一媒体资源和传输数据流的第二媒体资源；在主叫终端和被叫终端会话建立完成后，即可以通过第二媒体资源在主叫终端和被叫终端之间传输数据流，例如，这些数据流可以为第三方提供的应用服务，通过这些应用服务可以实现主叫终端和被叫终端的交互，如向主叫终端或被叫终端传输文字信息(如操作指示)；主叫终端与被叫终端间的数据传输可以在通话接通之间进行，也可以在通话建立完成后进行，在通话建立完成后，主叫终端和被叫终端间的数据流传输和语音媒体流传输可以同时进行；在终端的语音通话过程中，还可以在两端显示数据数据流传输的内容，提高用户的使用体验。
附图说明
25.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本技术实施例提供的一种终端通信服务器的结构示意图之一；
27.图2为本技术实施例提供的一种终端通信服务器的结构示意图之二；
28.图3为本技术实施例提供的一种终端通信服务器的结构示意图之三；
29.图4为本技术实施例提供的一种终端通信架构的示意图；
30.图5为本技术实施例提供的一种终端通信方法的流程示意图之一；
31.图6为本技术实施例提供的一种主被叫终端的会话建立流程之一；
32.图7为本技术实施例提供的一种主被叫终端的会话建立流程之二；
33.图8为本技术实施例提供的一种终端间建立数据通道及语音通道的流程示意图；
34.图9为本技术实施例提供的一种终端通信方法的流程示意图之二；
35.图10为本技术实施例提供的一种终端之间进行数据传输的示意图；
36.图11为本技术实施例提供的一种终端通信服务器对语音媒体流的采集流程示意图；
37.图12为本技术实施例提供的一种终端通信服务器对语音媒体流的翻译流程示意图之一；
38.图13为本技术实施例提供的一种终端通信方法的流程示意图之三；
39.图14为本技术实施例提供的一种终端通信服务器对语音媒体流的翻译流程示意图之二；
40.图15为本技术实施例提供的一种终端通信装置的结构示意图；
41.图16为本技术实施例提供的又一种终端通信装置的结构示意图。
具体实施方式
42.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
43.需要说明的是，本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
44.为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
45.由于目前不同人员之间的翻译通常是依靠翻译软件或翻译终端实现的，这种翻译方式限制了不同地区间人员的远程翻译活动。
46.针对上述问题，如图1所示，本技术实施例提供一种终端通信服务器01，终端通信服务器01包括信令处理模块011、数据签约模块012、媒体处理模块013、翻译接口模块014和语音增强管理模块015。
47.一种可能的实现方式中，信令处理模块011，用于与互联网多媒体子系统(internet protocol multimedia subsystem，ims)网络通信，并指示媒体处理模块013为终端预留媒体资源；媒体资源包括第一媒体资源和第二媒体资源，第一媒体资源用于传输语音媒体流，第二媒体资源用于传输数据流。
48.数据签约模块012，用于存储终端的签约语言类型。
49.数据签约模块012，还用于在主叫终端和被叫终端的签约语言类型不同时，指示媒体处理模块013获取主叫终端和被叫终端的语音媒体流。这里媒体处理模块013对语音媒体流的采集可以通过实时传输协议(real
‑
time transport protocol，rtp)实现。
50.数据签约模块，还用于在媒体资源预留成功之后，指示翻译接口模块启动语音翻译服务。
51.媒体处理模块013，还用于将主叫终端和被叫终端的语音媒体流传输至翻译接口模块014。
52.媒体处理模块，还用于获取第三方应用提供的数据服务，为主叫终端和/或被叫终端提供数据传输服务。
53.语音增强管理模块，用于提供第三方应用提供的数据服务。
54.翻译接口模块014，用于提供对外语音接口。
55.具体地，在终端开通实时翻译业务时，终端对应的签约数据可以存储在数据签约模块012，签约数据包括终端用户使用的语言类型，如终端用户使用中文，则该签约数据内终端的签约数据指示其签约语言为中文。
56.一种可能的实现方式中，签约数据还可以包括终端对数据传输业务的开通标识。若主叫终端和被叫终端开通数据传输业务，则主叫终端和被叫终端通话时，可以同时在主叫终端和被叫终端之间传输数据流，以在主叫终端和被叫终端的显示界面显示数据流对应的内容，如显示文本信息，也可以显示交互界面(如远程操作界面)。
57.在主叫终端通过ims网络向被叫终端发起呼叫请求时，ims网络可以与信令处理模块011建立通信，从而完成主叫终端与被叫终端之间的会话流程。在信令处理模块011为主叫终端和被叫终端建立会话流程时，可以与媒体处理模块013交互信令，为主叫终端和被叫终端在媒体处理模块013上预留媒体资源。
58.主叫终端和被叫终端通话时，媒体处理模块013可以分别通过为主叫终端和被叫终端预留的第一媒体资源采集对应的终端的语音媒体流，而通过翻译接口模块014将这些语音媒体流传输至相应的翻译模块，实现对语音媒体流的实时翻译。
59.一些实施例中，在翻译模块对语音媒体流的实时翻译过程中，翻译接口模块014可以将语音媒体流对应的语音文本和译文文本传输给媒体处理模块013，以使得媒体处理模块013通过第二媒体资源将语音文本和译文文本传输给相应的终端。
60.一些实施例中，由于媒体处理模块013用于处理终端的语音媒体流，而媒体处理模块013能够同时处理的媒体资源是有限的，因此为了避免多个终端同时使用媒体处理模块013传输媒体资源时，造成网络拥塞，无法对部分语音媒体进行实时翻译，因此终端通信服
support system，bss)连接，以为终端开通实时翻译业务。话单模块020则可以与移动运营商的计费系统连接，实现对终端的计费。
78.如图4所示，本技术实施例提供一种终端通信架构，该架构包括终端通信服务器10、终端对应的ims网络11、多媒体电话应用服务器(multi media telephony application server，mmtel as)12。
79.其中，终端通信服务器10的功能可以参照上述图3中的终端通信服务器，这里不再赘述。
80.ims网络11包括代理呼叫会话控制功能(proxy
‑
call session control funtion，p
‑
cscf)网元：提供代理功能，用于接收终端的业务请求并进行转发；询问呼叫会话控制功能(interrogating
‑
call session control funtion，i
‑
cscf)网元：提供域内服务器节点分配和路由查询功能；服务呼叫会话控制功能(serving
‑
call session control funtion，s
‑
cscf)网元：负责终端的注册鉴权和会话控制；以及媒体网关控制功能(media gateway control function，mgcf)网元：提供ims网络与公共交换电话网络(public switched telephone network，pstn)或电路交换(circuit switched，cs)域的控制面交互。
81.其中，会话边界控制(session border control，sbc)网元是核心网与ip接入网及其他ip核心网的交界处的功能实体，用于连接包括sip和普通用户综合接入设备(integrated access device，iad)在内的终端与ims核心网，确保两者之间的信息出入安全控制，实现防火墙与地址转换功能。mmtel as12：提供多媒体电话基本业务和补充业务。
82.上述ims网络11、mmtel as12为通信领域通用网络设备，上述内容仅简述了其部分功能，具体功能可以参照本领域惯用技术，这里不再赘述。
83.终端接入ims网络11之后，可以通过ims网络11与终端通信服务器10交互，实现对终端语音媒体流的翻译，以及为终端提供数据传输服务。进一步的，终端对应的ims网络11可以与其他ims网络、pstn或cs域连接，实现移动终端之间的语音实时翻译，以及移动终端与固定终端之间的语音实时翻译，以及移动终端之间的数据传输。当然，在实现移动终端与固定终端间的语音实时翻译时，上述图3所示的终端通信服务器10中的数据签约模块可以同时存储移动终端和固定终端的语言类型信息。
84.基于上述的终端通信服务器及终端通信架构，本技术实施例提供一种终端通信方法，应用于上述的终端通信服务器，如图5所示，该方法包括s21
‑
s24。
85.s21、响应于主叫终端的呼叫请求，终端通信服务器为主叫终端和被叫终端预留媒体资源。
86.其中，媒体资源包括第一媒体资源和第二媒体资源，第一媒体资源用于传输语音媒体流，第二媒体资源用于传输数据流。
87.作为一种可能的实现方式，终端通信服务器为ims网络内一种新增的应用服务器，这里终端通信服务器为主叫终端和被叫终端预留媒体资源，以使得主叫终端可以通过终端通信服务器对应的预留媒体资源传输语音媒体流和数据流，同样的，被叫终端也可以通过终端通信服务器对应的预留媒体资源传输语音媒体流和数据流。
88.终端通信服务器为主叫终端和被叫终端预留媒体资源的流程，可以是ims会话流程的建立流程，区别在于本技术实施例在ims会话流程内添加了终端通信服务器预留媒体资源的流程。
89.进一步的，由于终端通信服务器包括多个模块，因此，这里终端通信服务器为主叫终端和被叫终端预留媒体资源的流程可以如图6所示，主叫终端通过主叫ims网络发起呼叫请求，即主叫终端向主叫ims网络发送invite信令，区别在于本技术中主叫ims网络将该invite信令转发至终端通信服务器内的信令处理模块。
90.信令处理模块可以将invite信令转发给被叫ims网络，由被叫ims网络将invite信令转发给被叫终端；此时，被叫终端可以预留媒体资源，用于建立与主叫终端间的语音会话。
91.被叫终端预留媒体资源之后，可以通过被叫ims网络向信令处理模块返回183临时响应消息；此时，信令处理模块可以将183临时响应消息传递给主叫ims网络，以使主叫ims网络将183临时响应消息转发给主叫终端，使得主叫终端了解被叫终端已预留媒体资源。
92.主叫终端接收183临时响应消息之后，可以通过主叫ims网络、信令处理模块和被叫ims网络向被叫终端发送prack消息，该prack消息的作用为：为保证被叫终端了解主叫终端已经收到其发送的183临时响应消息；被叫终端接收prack消息之后，即可以以同样的流程向主叫终端返回200ok消息，用于对prack消息进行确认回复。主叫终端接收200ok消息之后，即可以预留媒体资源，用于建立与被叫终端间的语音会话。
93.上述主叫终端和被叫终端之间会话流程的建立，是被叫终端处于空闲态。
94.一些实施例中，在被叫终端处于非空闲态时，如图7所示，上述流程之后，主叫终端可以通过主叫ims网络、信令处理模块和被叫ims网络向被叫终端发送update信令，更新被叫终端的状态；在被叫终端由非空闲态转变为空闲态时，可以已同样的方式向主叫终端返回200ok消息，指示被叫终端处于空闲态。此时，被叫终端还可以通过被叫ims网络向信令处理模块发送180响应消息，指示被叫终端处于空闲态。
95.信令处理模块接收180响应消息之后，即可以向媒体处理模块发送媒体资源请求，以使得媒体处理模块为主叫终端和被叫终端预留媒体资源。这里媒体处理模块为主叫终端和被叫终端预留的媒体资源包括第一媒体资源和第二媒体资源，第一媒体资源用于传输语音媒体流，第二媒体资源用于传输数据流。媒体处理模块为主叫终端和被叫终端预留媒体资源之后，可以向信令处理模块返回媒体资源预留成功消息，指示已为主叫终端和被叫终端预留媒体资源。
96.信令处理模块接收媒体资源预留成功消息之后，即可以通过主叫ims网络向主叫终端返回update信令，通过被叫ims网络向被叫终端返回update信令，以查询主叫终端和被叫终端的状态。与上述更新被叫终端的状态的流程相同的，主叫终端可以通过主叫ims网络向信令处理模块返回200ok消息，被叫终端可以通过被叫ims网络向信令处理模块返回200ok消息。
97.进一步的，为使主叫终端了解被叫终端的状态，信令处理模块接收被叫终端的200ok消息之后，可以向主叫终端返回180响应消息，指示被叫终端处于空闲态。
98.需要注意的是，在信令处理模块指示媒体处理模块为主叫终端和被叫终端预留媒体资源时，相应的信令消息内可以携带主叫终端和被叫终端的终端标识，如主叫终端的国际移动用户识别码(international mobile subscriber identity，imsi)，以及被叫终端的imsi，以及主叫终端和被叫终端开通相应业务的业务标识，如终端与ims网络交互信令时，信令内可以携带特征标签feature tag，该特征标签的值可以为“webrtc
‑
datachannel”，以指示终端开启数据传输业务；相应的，这些信令内还可以包括指示语音实时翻译业务的标签。
99.一些实施例中，在上述流程中，若被叫终端处于非空闲态，则被叫终端可以向主叫终端透传录音通知，该录音通知可以通过被叫ims网络、信令处理模块和主叫ims网络透传，录音通知可以为彩铃等。
100.需要说明的是，这里预留的媒体资源为保证主叫终端和被叫终端所协商的媒体会话可以建立，空口为主叫终端和被叫终端分配媒体资源之前，无法确保主叫终端和被叫终端之间的媒体会话建立成功。
101.上述实施例中涉及的invite信令、183临时响应消息、prack消息、200ok消息、update信令和180响应消息均为会话建立流程中的通用信令，这里不再具体赘述。
102.s22、在主叫终端和被叫终端的会话连接建立完成时，终端通信服务器通过第二媒体资源为主叫终端和/或被叫终端提供数据流传输服务。
103.s23、在主叫终端和被叫终端通话时，终端通信服务器通过第一媒体资源为主叫终端和被叫终端提供语音媒体流传输服务。
104.作为一种可能的实现方式，在终端通信服务器为主叫终端和被叫终端分别预留媒体资源之后，由于媒体资源可以包括传输语音媒体流的第一媒体资源和传输数据流的第二媒体资源。因此，在会话连接建立完成后，即可以通过第二媒体资源传输数据流，这些数据流可以是第三方应用提供的数据服务。
105.示例性的，如图8所示，主叫终端与被叫终端建立会话连接请求，并由终端通信服务器建立与被叫终端之间的语音通道和数据通道之后，终端通信服务器可以建立与被叫终端的数据通道承载，主叫终端通过该数据通道承载在通话接通之间即可以向被叫终端发送说明信息，该说明信息可以指示主叫终端号码和呼叫意图。
106.在被叫终端摘机之后，还可以通过语音通道对应的语音通道承载传输语音。
107.具体流程如：
108.主叫终端通过ims网络向被叫终端发起呼叫流程，即向被叫终端发送invite消息，该消息携带主叫终端开通数据传输业务的标识；被叫终端接收invite消息之后，可以向主叫终端返回183响应消息或180响应消息，该消息携带被叫终端的状态指示。
109.主叫终端和被叫终端的会话连接建立完成之后，终端通信服务器可以建立与被叫终端间的数据通道，并通过数据通道向被叫终端发送说明信息。
110.在被叫终端摘机之后，即可以建立主叫终端与被叫终端间的通话连接，通过语音通道传输语音媒体流。
111.需要说明的是，上述主叫终端和被叫终端间的语音通道和数据通道的建立可以参照本领域惯用的技术手段，这里不做赘述。当然，这里的语音通道和数据通道可以通过媒体处理模块预留第一媒体资源和第二媒体资源实现。
112.一些实施例中，结合图5，如图9所示，上述方法还包括：
113.s24、在主叫终端和被叫终端通话时，若主叫终端的第一签约语言和被叫终端的第二签约语言不同，则终端通信服务器通过预留媒体资源获取主叫终端的第一语音媒体流和被叫终端的第二语音媒体流。
114.作为一种可能的实现方式，在上述会话流程建立完成之后，若被叫终端摘机，则主
叫终端可以开始与被叫终端通话。此时主叫终端和被叫终端之间的通话流程如图11所示：
115.被叫终端摘机之后，向主叫终端返回200ok消息，指示被叫终端已摘机。这里200ok消息的传输可以参照上述s21中200ok消息的传输。
116.被叫终端摘机，接通主叫终端与被叫终端之间的通话之后，信令处理模块向数据签约模块发送语音翻译业务指示消息，该语音翻译业务指示消息可以包括主叫终端和被叫终端的终端标识，如主叫终端的国际移动用户识别码(international mobile subscriber identity，imsi)，以及被叫终端的imsi；数据签约模块根据主叫终端的imsi和被叫终端的imsi查询内部的签约数据，即可以确定主叫终端的签约语言类型，以及被叫终端的签约语言类型，还可以确定主叫终端和被叫终端是否开启数据传输业务。上述语音翻译业务指示消息还可以指示主叫终端和被叫终端的呼叫建立成功，以及主叫终端和被叫终端间的语音通道和数据通道建立完成。
117.在数据签约模块确定主叫终端和被叫终端的签约语言类型不同时，可以向翻译接口模块发送翻译业务启动消息，该翻译业务启动消息可以指示启动语音实时翻译业务；翻译接口模块接收翻译业务启动消息之后，可以向媒体处理模块发送语音采集指示消息，以指示媒体处理模块采集主叫终端和被叫终端的语音媒体流。当然，另一种可能的实现方式中，数据签约模块还可以将翻译业务启动消息发送给媒体处理模块，指示媒体处理模块采集主叫终端和被叫终端的语音媒体流。
118.媒体处理模块接收语音采集指示消息之后，即可以采集主叫终端的第一语音媒体流，以及被叫终端的第二语音媒体流。这里媒体处理模块对第一语音媒体流和第二语音媒体流的采集，可以分别通过其为主叫终端和被叫终端预留的媒体资源实现。
119.一种可能的实现方式中，在媒体处理模块接收语音采集指示消息之后，还可以通过数据通道向主叫终端和被叫终端下发网络产品界面设计(website user interface，web ui)，web ui可以包括多个功能按键，如双语通话记录，指示主叫终端和被叫终端同时播报原始语音媒体流和翻译后的语音媒体流。当然，web ui还可以包括其他功能按键，本领域的技术人员可以根据需要设置，本技术实施例不做限定。
120.示例性的，这里提供一种终端通过web ui实现数据交互的场景，如图10所示，主叫终端和被叫终端之间建立会话连接，同时建立两者之间的语音承载。
121.终端通信服务器通过ims网络为主叫终端建立数据通道，同时向主叫终端下发web ui，主叫终端通过web ui选择相应的功能，如通过ims网络向终端通信服务器发送屏幕共享请求。
122.终端通信服务器接收屏幕共享请求之后，通过ims网络触发主叫终端和被叫终端之间的数据传输业务，以使主叫终端和被叫终端通过数据通道承载向对端传输共享数据，
123.需要说明的是，由于语音通道和数据通道用户传输不同的内容，因此语音通道和数据通道的网络质量要求不同，且通过不同的承载实现。主叫终端和被叫终端间可以通过互联网多媒体子系统接入点(ip multimedia subsystem access point name，ims apn)实现，两者间的信令通过无保障比特流(no
‑
guaranteed bit rate，no
‑
gbr)承载，其对应的服务质量(quality of service，qos)为5qi＝5；语音通过gbr承载，其对应的qos为5qi＝1。
124.终端与终端通信服务器间的数据通道也可以通过ims apn实现，两者间的信令通过no
‑
gbr承载，其对应的qos为5qi＝5；数据通过gbr或no
‑
gbr承载，其对应的qos为5qi＝9、
71、72、73、74、76等。
125.上述对语音通道和数据通道的建立仅简单说明了相应的网络质量要求，具体过程可以参照本领惯用的技术手段。
126.s25、终端通信服务器根据第一语音媒体流确定第二签约语言类型对应的第一目标语音媒体流，并根据第二语音媒体流确定第一签约语言类型对应的第二目标语音媒体流。
127.s26、终端通信服务器将第一目标语音媒体流发送给被叫终端，并将第二目标语音媒体流发送给主叫终端。
128.作为一种可能的实现方式，在s24中终端通信服务器获取第一语音媒体流和第二语音媒体流之后，即可以将第一语音媒体流翻译为被叫终端的第二签约语言类型对应的第一目标语音媒体流，将第二语音媒体流翻译为主叫终端的第一签约语言类型对应的第二目标语音媒体流。
129.终端通信服务器确定翻译后的第一目标语音媒体流和第二目标语音媒体流后，即可以将其发送给对应的主叫终端或被叫终端。
130.需要说明的是，终端通信服务器对语音媒体流的翻译可以通过内部的翻译软件实现，也可以通过第三方的翻译软件实现。
131.如图12所示，在翻译软件通过翻译接口模块获取相应终端的语音媒体流之后，即可以将其翻译为目标语音媒体流，并通过翻译接口模块将目标语音媒体流发送给媒体处理模块，由媒体处理模块将相应的目标语音媒体流发送给对应的终端，如将第一目标语音媒体流发送给被叫终端，将第二目标语音媒体流发送给主叫终端。
132.一些实施例中，由于终端通信服务器内存储了终端的签约数据，因此在终端通信服务器为主叫终端和被叫终端建立会话连接之后，可以根据内部的签约数据确定终端的签约语言类型，即在主叫终端和被叫终端通话时，终端通信服务器可以根据内部的签约数据确定主叫终端的第一签约语言类型和被叫终端的第二签约语言类型。
133.在第一签约语言类型和第二签约语言类型不同时，执行上述步骤s22；在第一签约语言类型和第二签约语言类型相同时，则终端通信服务器不再启动语音实时翻译业务，此时主叫终端的第一语音媒体流和被叫终端的第二语音媒体流通过对应的ims网络传输，不再由媒体处理模块传输。
134.一些实施例中，结合图9，如图13所示，上述步骤s25具体包括s251
‑
s253。
135.s251、终端通信服务器确定第一语音媒体流对应的第一语音文本，以及第二语音媒体流对应的第二语音文本。
136.作为一种可能的实现方式，这里第一语音文本和第二语音文本的确定可以由上述的语音识别模块实现，具体如图14所示。
137.翻译接口模块可以向语音识别模块发送语音识别消息，一种可能的实现方式中，该语音识别消息可以包括第一语音识别消息和第二语音识别消息，第一语音识别消息包括第一语音媒体流，第二语音识别消息包括第二语音媒体流。
138.语音识别模块接收语音识别消息之后，即可以将其内的第一语音媒体流识别为第一语音文本，将第二语音媒体流识别为第二语音文本。
139.s252、终端通信服务器根据第一语音文本确定第二签约语言对应的第一译文文
本，并根据第二语音文本确定第一签约语言对应的第二译文文本。
140.作为一种可能的实现方式，在语音识别模块确定第一语音文本和第二语音文本之后，如图14所示，语音识别模块可以将第一语音文本和第二语音文本通过译文请求消息发送给文本翻译模块，由文本翻译模块将这些语音文本确定为译文文本。
141.一种可能的实现方式中，译文请求消息可以包括第一译文请求消息和第二译文请求消息，第一译文请求消息可以包括第一语音文本，第二译文请求消息可以包括第二语音文本。
142.由于终端通信服务器内存储了终端的签约数据，且媒体处理模块已经确定了主叫终端和被叫终端的签约语言类型，因此译文请求消息内可以包括译文指示信息，用于指示将主叫终端(被叫终端)的语音文本确定为对端的签约语言类型的语音文本。如将主叫终端的第一语音文本确定为被叫终端的第二签约语言对应的第一译文文本。
143.示例性的，若主叫终端的第一签约语言类型为中文，被叫终端的第二签约语言类型为英文，则主叫终端对应的第一译文请求消息内的译文指示信息可以为zh
‑
en，指示将中文类型的第一语音文本确定为英文类型的第一译文文本。
144.若主叫终端的第一签约语言类型为中文，被叫终端的第二签约语言类型为英文，则被叫终端对应的第二译文请求消息内的译文指示信息可以为en
‑
zh，指示将英文类型的第二语音文本确定为中文类型的第二译文文本。
145.一些实施例中，第一语音文本和第二语音文本可以由语音识别模块发送给文本翻译模块，也可以通过翻译接口模块传输给文本翻译模块。
146.s233、终端通信服务器确定第一译文文本对应的第一目标语音媒体流，以及第二译文文本对应的第二目标语音媒体流。
147.作为一种可能的实现方式，如图14所示，文本翻译模块确定第一译文文本和第二译文文本之后，可以通过文音翻译指示消息将第一译文文本和第二译文文本传输给语音转换模块，以使得语音转换模块将第一译文文本确定为被叫终端的签约语言类型对应的第一目标语音媒体流，将第二译文文本确定为主叫终端的签约语言类型对应的第二目标语言媒体流。
148.一种可能的实现方式中，文音翻译指示消息可以包括第一文音翻译指示消息和第二文音翻译指示消息，第一文音翻译指示消息可以包括第一译文文本，第二文音翻译指示消息可以包括第二译文文本。
149.一些实施例中，第一译文文本和第二译文文本可以由文本翻译模块发送给语音转换模块，也可以通过翻译接口模块传输给语音转换模块。
150.一些实施例中，在s25之后，上述方法还包括：
151.s27、将第一语音文本和第一译文文本通过第二媒体资源发送给被叫终端，将第二语音文本和第二译文文本通过第二媒体资源发送给主叫终端。
152.作为一种可能的实现方式，一些语音翻译场景下，翻译系统可能因用户的口音不清等原因造成翻译错误等问题，因此本技术实施例在将目标语音媒体流发送给相应终端的同时，还可以将语音文本和译文文本均发送给相应的终端，使得用户可以通过语音文本和译文文本实现对目标语音媒体流的查错。
153.一些实施例中，将第一目标语音媒体流发送给被叫终端，并将第二目标语音媒体
流发送给主叫终端时，上述方法还包括：
154.将第一语音媒体流通过第一媒体资源发送给被叫终端，将第二语音媒体流通过第一媒体资源发送给主叫终端。
155.作为一种可能的实现方式，在媒体处理模块将目标语音媒体流发送给相应的终端时，可以将语音媒体流发送给对端。例如，将第一语音媒体流发送给被叫终端，将第二语音媒体流发送给主叫终端。被叫终端接收第一语音媒体流和第一目标语音媒体流之后，可以优先播放第一语音媒体流，再播放第一目标语音媒体流；同样的，在主叫终端接收第二语音媒体流和第二目标语音媒体流之后，也可以优先播放第二语音媒体流，再播放第二目标语音媒体流。
156.这里将主叫终端和被叫终端的语音媒体流发送给对端，是由于终端通信服务器翻译语音媒体流时，可能需要一定的时延，因此这里可以将语音媒体流也发送给对端，避免对端用户的空等，提高用户使用体验。当然，这里也可以仅将目标语音媒体流发送给相应的终端，本技术实施例不做限定。
157.本技术实施例提供的终端通信方法中，在主叫终端和被叫终端建立会话连接时，终端通信装置可以为主叫终端和被叫终端预留媒体资源，包括传输语音媒体流的第一媒体资源和传输数据流的第二媒体资源；在主叫终端和被叫终端会话建立完成后，即可以通过第二媒体资源在主叫终端和被叫终端之间传输数据流，例如，这些数据流可以为第三方提供的应用服务，通过这些应用服务可以实现主叫终端和被叫终端的交互，如向主叫终端或被叫终端传输文字信息(如操作指示)；主叫终端与被叫终端间的数据传输可以在通话接通之间进行，也可以在通话建立完成后进行，在通话建立完成后，主叫终端和被叫终端间的数据流传输和语音媒体流传输可以同时进行；在终端的语音通话过程中，还可以在两端显示数据数据流传输的内容，提高用户的使用体验。
158.如图15所示，本技术实施例提供一种终端通信装置30，该终端通信装置30可以为上述终端通信服务器内的装置。如图15所示，语音实时翻译装置30包括：资源预留模块301、数据传输模块302、语音传输模块303、获取模块304、翻译模块305、语言确定模块306和发送模块307。
159.资源预留模块301，用于响应于主叫终端的呼叫请求，为主叫终端和被叫终端预留媒体资源；媒体资源包括第一媒体资源和第二媒体资源，第一媒体资源用于传输语音媒体流，第二媒体资源用于传输数据流。
160.在主叫终端和被叫终端的会话连接建立完成时，数据传输模块302，用于通过第二媒体资源为主叫终端和/或被叫终端提供数据流传输服务。
161.在主叫终端和被叫终端通话时，语音传输模块303，用于通过第一媒体资源为主叫终端和被叫终端提供语音媒体流传输服务。
162.可选的，一些实施例中，在主叫终端和被叫终端通话时，获取模块304，用于在主叫终端的第一签约语言类型和被叫终端的第二签约语言类型不同时，通过预留媒体资源获取主叫终端的第一语音媒体流和被叫终端的第二语音媒体流。
163.翻译模块305，用于根据获取模块304获取的第一语音媒体流确定第二签约语言类型对应的第一目标语音媒体流，并根据获取模块304获取的第二语音媒体流确定第一签约语言类型对应的第二目标语音媒体流。
164.发送模块307，用于将翻译模块305确定的第一目标语音媒体流发送给被叫终端，并将翻译模块305确定的第二目标语音媒体流发送给主叫终端。
165.一些实施例中，上述语言确定模块306，用于确定主叫终端的第一签约语言类型和被叫终端的第二签约语言类型。
166.一些实施例中，翻译模块305包括音文转换子模块3051、文本转换子模块3052和文音转换子模块3053。
167.音文转换子模块3051，用于确定第一语音媒体流对应的第一语音文本，以及第二语音媒体流对应的第二语音文本。
168.文本转换子模块3052，用于根据音文转换子模块3051确定的第一语音文本确定第二签约语言类型对应的第一译文文本，并根据音文转换子模块3051确定的第二语音文本确定第一签约语言类型对应的第二译文文本。
169.文音转换子模块3053，用于确定文本转换子模块3052确定的第一译文文本对应的第一目标语音媒体流，以及第二译文文本对应的第二目标语音媒体流。
170.一些实施例中，发送模块307，还用于在确定第一目标语音媒体流和第二语音媒体流之后，将音文转换子模块3051确定的第一语音文本和文本转换子模块3052确定的第一译文文本通过第二媒体资源发送给被叫终端，将音文转换子模块3051确定的第二语音文本和文本转换子模块3052确定的第二译文文本通过第二媒体资源发送给主叫终端。
171.一些实施例中，将第一目标语音媒体流通过第一媒体资源发送给被叫终端，并将第二目标语音媒体流通过第一媒体资源发送给主叫终端时，发送模块307，还用于将第一语音媒体流通过第一媒体资源发送给被叫终端，将第二语音媒体流通过第一媒体资源发送给主叫终端。
172.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
173.参照图16所示，本技术实施例还提供另一种终端通信装置，包括存储器41、处理器42、总线43和通信接口44；存储器41用于存储计算机执行指令，处理器42与存储器41通过总线43连接；当终端通信装置运行时，处理器42执行存储器41存储的计算机执行指令，以使终端通信装置执行如上述实施例提供的语音实时翻译方法。作为一个示例，结合图15，终端通信装置中的资源预留模块301、数据传输模块302、语音传输模块303、获取模块304、翻译模块305、语言确定模块306和发送模块307实现的功能与图16中的处理器42的功能相同。
174.在具体的实现中，作为一种实施例，处理器42(42
‑
1和42
‑
2)可以包括一个或多个cpu，例如图16中所示的cpu0和cpu1。且作为一种实施例，终端通信装置可以包括多个处理器42，例如图16中所示的处理器42
‑
1和处理器42
‑
2。这些处理器42中的每一个cpu可以是一个单核处理器(single
‑
cpu)，也可以是一个多核处理器(multi
‑
cpu)。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
175.存储器41可以是只读存储器(read
‑
only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read
‑
only memory，eeprom)、只读光盘(compact disc read
‑
only memory，cd
‑
rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用
光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器41可以是独立存在，通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。
176.在具体的实现中，存储器41，用于存储本技术中的数据和执行本技术的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序，以及调用存储在存储器41内的数据，终端通信装置的各种功能。
177.通信接口44，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如控制系统、无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。通信接口44可以包括接收单元实现接收功能，以及发送单元实现发送功能。
178.总线43，可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component interconnect，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示，图16中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
179.本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得计算机执行如上述实施例提供的终端通信方法。
180.本技术实施例还提供一种计算机程序，该计算机程序可直接加载到存储器中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述实施例提供的终端通信方法。
181.本领域技术人员应该可以意识到，在上述一个或多个示例中，本技术所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
182.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
183.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以
位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
184.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
185.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。