消息发放方法、装置、服务器及存储介质与流程

1.本发明涉及深度学习技术领域，尤其涉及一种消息发放方法、装置、服务器及存储介质。


背景技术：

2.在一般情况下，需要行业客户在每个5g消息发送请求中带上 up2.4或up1.0的下发版本和短信的下发版本，因此针对每个下发的 5g消息需要预先人工制作两个版本。
3.但由于目前终端版本参差不齐，支持up2.4或up1.0版本的终端仍较少。而如果让行业客户为每一类型终端都制作适配的消息则费时费力且效率低下，将导致行业客户下发5g消息的难度大大增加，而目前消息请求中需行业客户准备的两个消息版本并不能很好的发挥各终端的能力。。


技术实现要素：

4.本发明的主要目的在于提出一种消息发放方法、装置、服务器及存储介质，旨在解决如何提高行业客户消息下发的便利性的技术问题。
5.为实现上述目的，本发明提供一种消息发放方法，所述消息发放方法包括以下步骤：
6.在接收到消息开放平台发送的待发送消息的发送请求时，提取所述发送请求中被叫号码；
7.根据所述被叫号码确定被叫终端的支持类型；
8.在所述支持类型均未支持所述待发送消息时，将所述待发送消息和支持类型通过被叫终端消息差异化适配模型进行特征合并，生成适配被叫终端的待发送消息；
9.将所述适配被叫终端的待发送消息发送至所述被叫终端。
10.可选地，所述将所述适配被叫终端的待发送消息发送至所述被叫终端之前，还包括：
11.将所述适配被叫终端的待发送消息发送至消息开放平台，以使所述消息开放平台对所述适配被叫终端的待发送消息进行核验，并反馈核验结果；
12.在所述核验结果为核验通过时，执行将所述适配被叫终端的待发送消息发送至所述被叫终端的步骤。
13.可选地，所述被叫终端消息差异化适配模型包括编码器和注意力解码器；
14.所述在所述支持类型均未支持所述待发送消息时，将所述待发送消息和支持类型通过被叫终端消息差异化适配模型进行特征合并，生成适配被叫终端的待发送消息，包括：
15.在所述支持类型均未支持所述待发送消息时，分别将所述待发送消息和支持类型通过被叫终端消息差异化适配模型中的解码器进行特征提取，得到消息特征向量和支持类型特征向量；
16.将所述消息特征向量和支持类型特征向量进行合并，得到合并消息特征向量；
17.将所述合并消息特征向量通过所述被叫终端消息差异化适配模型中的注意力解码器进行学习，并将学习到的特征进行注意力聚合，生成适配被叫终端的待发送消息。
18.可选地，所述将所述适配被叫终端的待发送消息发送至消息开放平台，以使所述消息开放平台对所述适配被叫终端的待发送消息进行核验，并反馈核验结果之后，还包括：
19.在所述核验结果为未核验通过时，获取所述消息开放平台反馈的核验意见；
20.将所述消息开放平台反馈的核验意见通过所述被叫终端消息差异化适配模型中的编码器进行文本特征提取，得到核实特征向量；
21.将所述核实特征向量、所述消息特征向量以及所述支持类型特征向量进行合并，得到合并核实特征向量；
22.将所述合并核实特征向量通过所述被叫终端消息差异化适配模型中的注意力解码器进行学习，并将学习到的特征进行注意力聚合，生成更新后的适配被叫终端的待发送消息；
23.将所述更新后的适配被叫终端的待发送消息发送至所述被叫终端。
24.可选地，所述在所述支持类型均未支持所述待发送消息时，将所述待发送消息和支持类型通过被叫终端消息差异化适配模型进行特征合并，生成适配被叫终端的待发送消息之前，还包括：
25.获取历史待发送消息集、被叫终端历史支持类型集、历史核验意见集以及对应的历史适配被叫终端消息集；
26.分别将所述历史待发送消息集、历史核验意见集以及对应的历史适配被叫终端消息集中的消息进行文本序列化处理，得到历史待发送消息文本序列、历史核验意见文本序列以及对应的历史适配被叫终端消息文本序列；
27.将所述被叫终端历史支持类型集中的属性数值进行归一化处理，得到核验数值；
28.将所述历史待发送消息文本序列、历史核验意见文本序列以及对应的历史适配被叫终端消息文本序列和核验数值通过基于长短期记忆神经元的注意力编解码神经网络模型进行训练，生成被叫终端消息差异化适配模型。
29.可选地，所述将所述历史待发送消息文本序列、历史核验意见文本序列以及对应的历史适配被叫终端消息文本序列和核验数值通过基于长短期记忆神经元的注意力编解码神经网络模型进行训练，生成被叫终端消息差异化适配模型之前，还包括：
30.获取编码器和解码器，其中，所述编码器包括输入层、嵌入层、长短期记忆神经元编码层以及合并层，所述解码器包括基于注意力的长短期记忆神经元解码层和输出层；
31.根据所述输入层、嵌入层、长短期记忆神经元编码层、合并层、基于注意力的长短期记忆神经元解码层以及输出层建立基于长短期记忆神经元的注意力编解码神经网络模型。
32.可选地，所述将所述历史待发送消息文本序列、历史核验意见文本序列以及对应的历史适配被叫终端消息文本序列和核验数值通过基于长短期记忆神经元的注意力编解码神经网络模型进行训练，生成被叫终端消息差异化适配模型，包括：
33.分别将所述历史待发送消息文本序列、历史核验意见文本序列分别输入至所述输入层、嵌入层、长短期记忆神经元编码层进行特征提取，得到历史文本向量；
34.将所述核验数值输入至所述输入层和长短期记忆神经元编码层进行特征提取，得
到历史核验向量；
35.将所述历史核验向量和历史文本向量输入至所述合并层进行合并，得到历史合并向量；
36.将所述历史合并向量输入至所述基于注意力的长短期记忆神经元解码层以及输出层，生成目标适配消息；
37.将所述目标适配消息与历史适配被叫终端消息文本序列进行比较，根据比较结果得到被叫终端消息差异化适配模型。
38.此外，为实现上述目的，本发明还提出一种消息发放装置，所述消息发放装置包括：
39.提取模块，用于在接收到消息开放平台发送的待发送消息的发送请求时，提取所述发送请求中被叫号码；
40.获取模块，用于根据所述被叫号码确定被叫终端的支持类型；
41.合并模块，用于在所述支持类型均未支持所述待发送消息时，将所述待发送消息和支持类型通过被叫终端消息差异化适配模型进行特征合并，生成适配被叫终端的待发送消息；
42.发送模块，用于将所述适配被叫终端的待发送消息发送至所述被叫终端。
43.此外，为实现上述目的，本发明还提出一种消息发放服务器，所述消息发放服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的消息发放程序，所述消息发放程序配置为实现如上文所述的消息发放方法。
44.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有消息发放程序，所述消息发放程序被处理器执行时实现如上文所述的消息发放方法。
45.本发明提出的消息发放方法，通过在接收到消息开放平台发送的待发送消息的发送请求时，提取所述发送请求中被叫号码；根据所述被叫号码确定被叫终端的支持类型；在所述支持类型均未支持所述待发送消息时，将所述待发送消息和支持类型通过被叫终端消息差异化适配模型进行特征合并，生成适配被叫终端的待发送消息；将所述适配被叫终端的待发送消息发送至所述被叫终端，从而根据被叫侧终端的处理能力，自动为被叫终端提供差异化消息服务，使提供的发送消息与被叫终端适配，避免发送的消息被叫终端不支持的情况，达到提升行业客户消息下发的便利性以及被叫终端用户的消息体验的目的。
附图说明
46.图1是本发明实施例方案涉及的硬件运行环境的消息发放方法设备结构示意图；
47.图2为本发明消息发放方法第一实施例的流程示意图；
48.图3为本发明消息发放方法一实施例的消息发放整体流程示意图；
49.图4为本发明消息发放方法一实施例的长短期记忆神经网络结合注意力编解码神经网络的网络模型示意图；
50.图5为本发明消息发放方法第二实施例的流程示意图；
51.图6为本发明消息发放方法第三实施例的流程示意图；
52.图7为本发明消息发放方法一实施例的被叫终端消息差异化适配模型示意图；
53.图8为本发明消息发放装置第一实施例的功能模块示意图。
54.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
55.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
56.参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
57.如图1所示，该设备可以包括：处理器1001，例如cpu，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
58.本领域技术人员可以理解，图1中示出的消息发放方法设备结构并不构成对消息发放方法设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
59.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及消息发放方法程序。
60.在图1所示的消息发放方法设备中，网络接口1004主要用于连接服务器，与服务器进行数据通信；用户接口1003主要用于连接用户终端，与终端进行数据通信；本发明消息发放方法设备通过处理器 1001调用存储器1005中存储的消息发放方法程序，并执行本发明实施例提供的消息发放方法。
61.基于上述硬件结构，提出本发明消息发放方法实施例。
62.参照图2，图2为本发明消息发放方法第一实施例的流程示意图。
63.在第一实施例中，所述消息发放方法包括以下步骤：
64.步骤s10，在接收到消息开放平台发送的待发送消息的发送请求时，提取所述发送请求中被叫号码。
65.需要说明的是，本实施例的执行主体可为消息发放服务器，消息发放服务器设有消息发放方法程序，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，在本实施例中，以消息发放服务器为例进行说明，在消息发放服务器上设有消息发放应用程序，可根据消息发放应用程序进行消息差异化发放。
66.可以理解的是，本实施例以5g消息的发放为例进行说明，还可包括其他类型的消息发放，本实施例对此不做限制，5g消息面向行业客户提供增强的个人与应用间消息服务，实现“消息即服务”，并且引入了新的消息交互模式-chatbot聊天机器人，通过chatbot在消息窗口直观便捷地享受缴费充值、票务订购、酒店预订、物流查询、餐饮订座以及外卖下单等各类5g应用服务。其中chatbot是一种行业客户向终端用户提供的以对话形式呈现的服务，该服务通常基于人工智能软件，模拟人类智能对话，向用户提供特定服务功能。
67.5g消息系统，包括5g消息中心(5gmc)、行业5g消息业务 (messaging as a platform，maap)系统，maap系统含maap平台管理模块和maap平台，及群聊服务器等设备。5g消息中心是5g消息业务的核心网元。它具有接入、路由模块及功能，作为整体虚拟化网络功
能(virtualized network function，vnf)进行部署，又具备短消息中心的处理能力和外部接口。该网元将统一提供针对短消息和基础多媒体消息的处理、发送、存储和转发等功能。maap系统是行业5g消息业务的核心网元，该网元将为行业用户提供5g商业消息(maap) 业务接入及消息上下行能力，为用户提供行业聊天机器人搜索、详情查询、消息上下行等功能。群聊服务器为5g消息提供群聊功能，包括群聊消息收发以及群信息管理等功能。
68.所述5g消息应用开放平台为行业客户按需实现多场景的a2p沟通，企业可通过平台快速完成消息应用的部署，无需进行复杂的代码开发，帮助行业客户简单便捷的创建5g消息应用。
69.本实施例的应用场景为行业客户chatbot将5g消息发送请求通过5g消息开放平台发送至maap平台，maap平台将该5g消息发送请求传递至5gmc，5gmc根据发送请求中所填的被叫号码判断被叫终端类型是否支持接收5g消息，以根据被叫终端支持的消息类型对发送消息进行差异化处理，以适配不同消息支持能力的被叫终端。如图3的消息发放整体流程示意图。
70.步骤s20，根据所述被叫号码确定被叫终端的支持类型。
71.在具体实现中，为了获取被叫终端的消息支持能力，在获取被叫号码时，在信息记录表中记录有被叫号码对应的被叫终端以及被叫终端对应的支持消息类型，根据被叫终端以及被叫终端对应的支持消息类型确定被叫终端的支持类型，从而可根据被叫终端支持的消息类型进行差异化的消息发送，提高消息发放的灵活性。
72.在本实施例中，为了获取信息记录表，可获取用户的通话信息，其中通话信息包括用户身份信息、电话号码信息以及对应的终端信息，根据终端信息得到对应的消息支持类型信息，根据电话号码信息将对应的用户身份信息、终端信息以及终端信息得到对应的消息支持类型信息进行管理，以生成信息记录表，从而实现被叫终端消息支持类型的查找，其中，被叫终端消息支持类型为被叫终端支持能力。
73.步骤s30，在所述支持类型均未支持所述待发送消息时，将所述待发送消息和支持类型通过被叫终端消息差异化适配模型进行特征合并，生成适配被叫终端的待发送消息。
74.继续如3所示，若所述支持类型均支持所述待发送消息，则将该 5g消息通过5gmc发送至被叫终端，若所述支持类型均未支持所述待发送消息时，则由5gmc将待发送的5g消息发送至原始5g消息预处理模块进行文本序列化，同时将被叫终端支持能力发送至终端支持能力预处理模块进行数值归一化，将经预处理后的待发送5g消息和被叫终端支持能力，分别输入至基于注意力编解码神经网络的被叫终端消息差异化适配模块，即被叫终端消息差异化适配模型，通过被叫终端消息差异化适配模型编码器中的主叫5g消息特征提取器对待发送的5g消息进行文本特征提取，同时被叫终端消息接收能力特征提取器对被叫终端消息接收能力属性值进行特征提取，将提取特征后的两个特征向量进行合并，通过注意力解码器对学习到的特征进行注意力聚合，生成适配被叫终端能力的消息，然后将生成的适配被叫终端能力的消息传递至5g消息开放平台，以实现对待发送消息的差异化处理。
75.需要说明的是，被叫终端消息差异化适配模型为利用基于长短期记忆神经元的注意力编解码神经网络模型进行训练得到的，因此，具备长短期记忆神经网络以及注意力编解码神经网络的特性。
76.可以理解的是，编解码神经网络是一种组织循环神经网络的方式，主要用于解决
含多个输入或多个输出的序列预测问题，包含编码器和解码器。编码器负责将输入的序列进行逐字编码，编码成一个固定长度的向量，即上下文向量，解码器负责读取编码器输出的上下文向量，并生成输出序列。
77.而注意力(attention)机制解决了编解码器结构的局限，首先它将从编码器获得的更加丰富的上下文提供给解码器，编码器会传递更多的数据给解码器，相比传统模型中编码器只传递编码阶段的最后一个隐藏状态，而注意力机制模型中编码器传递所有的隐藏状态给解码器。同时注意力提供这样一种学习机制，当预测每一个时步上输出的序列时，解码器可以学习在更加丰富的上下文中需要聚焦于何处。注意力网络会给每一个输入分配一个注意力权重，如果该输入与当前操作越相关则注意力权重越接近于1，反之则越接近于0，这些注意力权重在每一个输出步骤都会重新计算，如图4所示的长短期记忆神经网络结合注意力编解码神经网络的网络模型示意图，t
x
表示输入时间步骤的个数，ty表示输出时间步骤的个数，注意力i表示在输出时间步骤i的注意力权重，ci表示在输出时间步骤i的上下文(context)，计算注意力权重attentioni，权重长度为t
x
，所有权重之和为1，x表示输入参数，y表示输出参数：
78.attentioni＝softmax(dense(x,y
i-1
))；
79.计算注意力权重和输入的乘积之和，得到的结果成为上下文：
[0080][0081]
将所得的上下文输入到长短期记忆神经层中，得到输出参数：
[0082]
yi＝lstm(ci)；
[0083]
本提案的神经元均采用长短期记忆。所述长短期记忆(lstm， long short-term memory)是一种特殊的循环神经网络类型，所谓的循环神经网络即同一个神经网络被重复使用。lstm可以学习长期依赖信息，通过控制缓存中的值保存的时间，可以记住长期的信息，适合进行长序列的学习。每个神经元有四个输入和一个输出，每个神经元内有一个cell存放记忆的数值，每一个lstm神经元中含有三个门控：遗忘门、输入门以及输出门。长短期记忆神经网络在长序列的学习上具有较好的效果。
[0084]
步骤s40，将所述适配被叫终端的待发送消息发送至所述被叫终端。
[0085]
利用被叫终端消息差异化适配模型中的注意力编解码神经网络可按需聚焦于输入序列中的相关部分的特点，生成适配被叫终端能力的消息，根据被叫侧终端的处理能力，自动提供差异化服务体验，使得行业客户chatbot5g消息下发更加便利。例如针对支持基础多媒体消息接收的终端，将发送基础多媒体消息；针对不支持的终端，将发送短消息，如表1所述的消息对照表。
[0086]
在本实施例中，通过在接收到消息开放平台发送的待发送消息的发送请求时，提取所述发送请求中被叫号码；根据所述被叫号码确定被叫终端的支持类型；在所述支持类型均未支持所述待发送消息时，将所述待发送消息和支持类型通过被叫终端消息差异化适配模型进行特征合并，生成适配被叫终端的待发送消息；将所述适配被叫终端的待发送消息发送至所述被叫终端，从而根据被叫侧终端的处理能力，自动为被叫终端提供差异化消息服务，使提供的发送消息与被叫终端适配，避免发送的消息被叫终端不支持的情况，达到提升行业客户消息下发的便利性以及被叫终端用户的消息体验的目的。
[0087]
表1消息对照表
[0088][0089]
表1
[0090]
在一实施例中，如图5所示，基于第一实施例提出本发明消息发放方法第二实施例，所述步骤s40之前，还包括：
[0091]
步骤s401，将所述适配被叫终端的待发送消息发送至消息开放平台，以使所述消息开放平台对所述适配被叫终端的待发送消息进行核验，并反馈核验结果。在所述核验结果为核验通过时，执行步骤 s40。
[0092]
在具体实现中，核验结果包括消息是否通过以及如果不通过，不通过的原因，从而可根据不通过的原因进行文字提取，得到需要的关键信息，根据提取的关键信息对待发送消息进行重新调整，从而保证待发送的消息可以通过核验，实现消息的再次处理。
[0093]
在本实施例中，将生成的适配被叫终端能力的消息传递至5g消息开放平台，经行业客户核实后将核实结果反馈至被叫终端消息差异化适配模块，被叫终端消息差异化适配模块根据行业客户反馈结果判断该行业客户是否核实通过，若核实通过，则将生成的适配消息通过 5gmc下发给被叫终端。
[0094]
在一实施例中，所述被叫终端消息差异化适配模型包括编码器和注意力解码器，所述步骤s30，包括：
[0095]
在所述支持类型均未支持所述待发送消息时，分别将所述待发送消息和支持类型通过被叫终端消息差异化适配模型中的解码器进行特征提取，得到消息特征向量和支持类型特征向量；将所述消息特征向量和支持类型特征向量进行合并，得到合并消息特征向量；将所述合并消息特征向量通过所述被叫终端消息差异化适配模型中的注意力解码器进行学习，并将学习到的特征进行注意力聚合，生成适配被叫终端的待发送消息。
[0096]
在一实施例中，所述步骤s401之后，还包括：
[0097]
在所述核验结果为未核验通过时，获取所述消息开放平台反馈的核验意见；将所述消息开放平台反馈的核验意见通过所述被叫终端消息差异化适配模型中的编码器进行文本特征提取，得到核实特征向量；将所述核实特征向量、所述消息特征向量以及所述支持类型特征向量进行合并，得到合并核实特征向量；将所述合并核实特征向量通过所述被叫终端消息差异化适配模型中的注意力解码器进行学习，并将学习到的特征进行注意力聚合，生成更新后的适配被叫终端的待发送消息；将所述更新后的适配被叫终端的待发送消息发送至所述被叫终端。
[0098]
继续如图3所示，若核实通过，则将生成的适配消息通过5gmc 下发给被叫终端，若核实未通过，则将行业客户反馈的核实意见传入行业客户核实意见预处理模块进行文本序列化，并将预处理后的核实意见输入被叫终端消息差异化适配模块，经过核实意见特征提取器进行文本特征提取后，与已经过特征提取的主叫5g消息特征向量和被叫终端消息支持能力特征向量合并后，通过注意力解码器对合并后的特征进行注意力聚合，生成根据行业客户核实意见更新的适配被叫终端能力消息，从而保证消息发送的准确性。
[0099]
在本实施例中，在通过被叫终端消息差异化适配模型进行特征合并生成适配被叫终端的待发送消息后，对所述适配被叫终端的待发送消息进行核验，在核验未通过时，根据核验结果对适配被叫终端的待发送消息进行调整，以保证适配被叫终端的待发送消息的准确性。
[0100]
在一实施例中，如图6所示，基于第一实施例或第二实施例提出本发明消息发放方法第三实施例，以第一实施例为例进行说明，所述步骤s30之前，还包括：
[0101]
步骤s301，获取历史待发送消息集、被叫终端历史支持类型集、历史核验意见集以及对应的历史适配被叫终端消息集。
[0102]
本实施例着重说明数据的预处理，为了保证数据的准确性以及提高数据处理的效率，将历史学习数据放入模型中训练之前，需要对历史数据进行预处理，其具体处理过程为：首先从5g消息开放平台中获取历史待发送5g消息集、被叫终端消息接收能力集、行业客户核实意见集以及对应人工标记的适配被叫终端能力的消息集，作为模型总数据集，将待发送的5g消息、行业客户核实意见、及适配被叫终端能力的消息进行文本序列化处理，同时对被叫终端消息接收能力进行数值归一化处理。
[0103]
步骤s302，分别将所述历史待发送消息集、历史核验意见集以及对应的历史适配被叫终端消息集中的消息进行文本序列化处理，得到历史待发送消息文本序列、历史核验意见文本序列以及对应的历史适配被叫终端消息文本序列。
[0104]
步骤s303，将所述被叫终端历史支持类型集中的属性数值进行归一化处理，得到
核验数值。
[0105]
步骤s304，将所述历史待发送消息文本序列、历史核验意见文本序列以及对应的历史适配被叫终端消息文本序列和核验数值通过基于长短期记忆神经元的注意力编解码神经网络模型进行训练，生成被叫终端消息差异化适配模型。
[0106]
在具体实现中，从5g消息开放平台中获取历史待发送5g消息集、被叫终端消息接收能力集以及对应人工标记的适配被叫终端能力的消息集，作为模型总数据集。
[0107]
第i个待发送5g消息可表示为{v
1i
、v
2i
、v
3i
、
…
、v
li
}；
[0108]
第i个被叫终端消息接收能力，例如终端具备p2p 5g消息能力但不支持chatbot消息、终端不具备p2p 5g消息能力但支持基础多媒体消息、终端支持基础多媒体消息接收、终端不支持基础多媒体消息接收等n个类型。并对消息数据类型进行独热编码，编码长度为n，可表示为{s
1i
、s
2i
、s
3i
、
…
、s
ni
}；
[0109]
第i个行业客户核实意见可表示为{x
1i
、x
2i
、x
3i
、
…
、x
li
}；
[0110]
所生成适配被叫终端能力的消息，可表示为{r
1i
、r
2i
、r
3i
、
…
、 r
mi
}。
[0111]
首先将待发送的5g消息、行业客户核实意见及适配被叫终端能力的消息进行文本序列化处理。保留所有标点符号，若文本为中文则对文本进行分词、若文本为英文则将字母统一为小写，同时将每个词索引化，使得每一段文本被转化成一段索引数字，并且对未达到最大文本长度的序列补零。
[0112]
然后取待发送5g消息集的最长长度l作为其索引序列长度，取其词典大小为message_vocab_size，取行业客户核实意见集的最长长度p作为其索引序列长度，取其词典大小为feedback_vocab_size，取对应的适配被叫终端能力的消息集的最长长度m作为其索引序列长度，取其词典大小为output_vocab_size。
[0113]
其次对被叫终端消息接收能力进行数值归一化处理： (x-mean)/std。计算时对每个维度分别进行，将数据按属性(按列进行)减去其均值，并除以其方差。标准化后将提升模型的收敛速度、提升模型的精度。
[0114]
最后将总数据集划分为训练集和测试集，总数据集的80％划为训练集，总数据集的20％划为测试集。训练集用于训练模型，测试集用于测试模型。
[0115]
在一实施例中，所述步骤s304之前，还包括：
[0116]
获取编码器和解码器，其中，所述编码器包括输入层、嵌入层、长短期记忆神经元编码层以及合并层，所述解码器包括基于注意力的长短期记忆神经元解码层和输出层；根据所述输入层、嵌入层、长短期记忆神经元编码层、合并层、基于注意力的长短期记忆神经元解码层以及输出层建立基于长短期记忆神经元的注意力编解码神经网络模型。
[0117]
本实施例着重说明被叫终端消息差异化适配模型的模型搭建及离线训练。搭建基于长短期记忆神经元的编解码神经网络，通过编码器中的主叫5g消息特征提取器对待发送的5g消息进行文本特征提取，行业客户核实意见特征提取器对行业客户反馈的消息核实意见进行文本特征提取，同时被叫终端消息接收能力特征提取器对被叫终端消息接收能力属性值进行特征提取，分别单独编码为3个固定长度的上下文向量，将其经过合并层合并为1个上下文向量h后输入解码器，通过注意力解码器对学习到的特征进行注意力聚合，生成适配被叫终端能力的消息，再与正确的适配消息结果比较来计算目标函数，利用梯度下降逐渐找到使目标函数最小的权重值。如图7所示，被叫终端消息差异化适配模型示意图。
[0118]
(1)编码器(encoder lstm)：包含主叫5g消息特征提取器、被叫终端消息接收能力特征提取器、行业客户核实意见特征提取器。主叫5g消息特征提取器对待发送的5g消息进行文本特征提取，行业客户核实意见特征提取器对行业客户反馈的消息核实意见进行文本特征提取，同时被叫终端消息接收能力特征提取器对被叫终端消息接收能力属性值进行特征提取，分别单独编码为3个固定长度的上下文向量，将其经过合并层合并为1个上下文向量h后输入解码器。
[0119]
第一层为输入层：分别输入预处理后的主叫5g消息、被叫终端消息接收能力、行业客户反馈的消息核实意见(若核实通过则该项为空)；
[0120]
第二层为嵌入层(embedding)：利用词嵌入(word embedding) 将每个词转化为向量，输入数据维度分别为message_vocab_size、feedback_vocab_size，输出设置为需要将词转换为128维度的空间向量，输入序列长度为l和p，因此该层输出数据的形状为(none,l， 128)和(none,p，128)。该层的作用是对输入的词进行向量映射，将每个词的索引转换为128维的固定形状向量；
[0121]
第三层为lstm编码层：包含3个并列的lstm层，每层含128 个lstm神经元，激活函数设置为“relu”，编码成3个固定长度的上下文向量；
[0122]
第四层为合并层(concatenate)：将3个固定长度的上下文向量按列维度进行拼接合并为1个固定长度的上下文向量h；
[0123]
(2)解码器(encoder lstm)：通过注意力解码器对学习到的特征进行注意力聚合，生成适配被叫终端能力的消息。
[0124]
第五层为注意力lstm解码层：含256个lstm神经元,激活函数设置为“relu”；
[0125]
第六层全连接(dense)层(输出层)：包含dense全连接神经元个数为output_vocab_size，激活函数设置为“softmax”，将softmax输出结果送入多类交叉熵损失函数。该层输出数据的形状为(none, output_vocab_size),生成可支持被叫终端能力的消息格式，从而实现模型的搭建。
[0126]
在一实施例中，所述根据所述输入层、嵌入层、长短期记忆神经元编码层、合并层、基于注意力的长短期记忆神经元解码层以及输出层建立基于长短期记忆神经元的注意力编解码神经网络模型，包括：
[0127]
分别将所述历史待发送消息文本序列、历史核验意见文本序列分别输入至所述输入层、嵌入层、长短期记忆神经元编码层进行特征提取，得到历史文本向量；将所述核验数值输入至所述输入层和长短期记忆神经元编码层进行特征提取，得到历史核验向量；将所述历史核验向量和历史文本向量输入至所述合并层进行合并，得到历史合并向量；将所述历史合并向量输入至所述基于注意力的长短期记忆神经元解码层以及输出层，生成目标适配消息；将所述目标适配消息与历史适配被叫终端消息文本序列进行比较，根据比较结果得到被叫终端消息差异化适配模型。
[0128]
需要说明的是，在进行模型训练的过程中，将训练回合数设置为 1000(epochs＝1000)，批处理大小设置为100(batch_size＝100)，选择categorical crossentropy多类交叉熵作为损失函数即目标函数 (loss＝'categorical_crossentropy')，梯度下降优化算法选择adam优化器用于改善传统梯度下降的学习速度(optimizer＝'adam')。与正确的适配消息结果比较来计算目标函数，利用梯度下降逐渐找到使目标函数最小的权重值。将训
练收敛后的模型作为训练完成的模型。
[0129]
在本实施例中，通过将经预处理后的待发送5g消息和被叫终端支持能力，分别输入至基于注意力编解码神经网络的被叫终端消息差异化适配模块。通过编码器中的主叫5g消息特征提取器对待发送的 5g消息进行文本特征提取，同时被叫终端消息接收能力特征提取器对被叫终端消息接收能力属性值进行特征提取，将提取特征后的两个特征向量进行合并，通过注意力解码器对学习到的特征进行注意力聚合，生成适配被叫终端能力的消息；若行业客户核实未通过，则将行业客户反馈的核实意见传入行业客户核实意见预处理模块进行文本序列化，并将预处理后的核实意见输入被叫终端消息差异化适配模块，经过核实意见特征提取器进行文本特征提取后，与已经过特征提取的主叫5g消息特征向量和被叫终端消息支持能力特征向量合并后，通过注意力解码器对合并后的特征进行注意力聚合，生成根据行业客户核实意见更新的适配被叫终端能力消息。从而根据被叫侧终端的处理能力，自动为被叫终端提供差异化消息服务，提升行业客户chatbot5g 消息下发的便利性、以及被叫终端用户的消息体验。
[0130]
本发明进一步提供一种消息发放装置。
[0131]
参照图8，图8为本发明消息发放装置第一实施例的功能模块示意图。
[0132]
本发明消息发放装置第一实施例中，该消息发放装置包括：
[0133]
提取模块10，用于在接收到消息开放平台发送的待发送消息的发送请求时，提取所述发送请求中被叫号码。
[0134]
可以理解的是，本实施例以5g消息的发放为例进行说明，还可包括其他类型的消息发放，本实施例对此不做限制，5g消息面向行业客户提供增强的个人与应用间消息服务，实现“消息即服务”，并且引入了新的消息交互模式-chatbot聊天机器人，通过chatbot在消息窗口直观便捷地享受缴费充值、票务订购、酒店预订、物流查询、餐饮订座以及外卖下单等各类5g应用服务。其中chatbot是一种行业客户向终端用户提供的以对话形式呈现的服务，该服务通常基于人工智能软件，模拟人类智能对话，向用户提供特定服务功能。
[0135]
5g消息系统，包括5g消息中心(5gmc)、行业5g消息业务 (messaging as a platform，maap)系统，maap系统含maap平台管理模块和maap平台，及群聊服务器等设备。5g消息中心是5g消息业务的核心网元。它具有接入、路由模块及功能，作为整体虚拟化网络功能(virtualized network function，vnf)进行部署，又具备短消息中心的处理能力和外部接口。该网元将统一提供针对短消息和基础多媒体消息的处理、发送、存储和转发等功能。maap系统是行业5g消息业务的核心网元，该网元将为行业用户提供5g商业消息(maap) 业务接入及消息上下行能力，为用户提供行业聊天机器人搜索、详情查询、消息上下行等功能。群聊服务器为5g消息提供群聊功能，包括群聊消息收发以及群信息管理等功能。
[0136]
所述5g消息应用开放平台为行业客户按需实现多场景的a2p沟通，企业可通过平台快速完成消息应用的部署，无需进行复杂的代码开发，帮助行业客户简单便捷的创建5g消息应用。
[0137]
本实施例的应用场景为行业客户chatbot将5g消息发送请求通过5g消息开放平台发送至maap平台，maap平台将该5g消息发送请求传递至5gmc，5gmc根据发送请求中所填的被叫号码判断被叫终端类型是否支持接收5g消息，以根据被叫终端支持的消息类型对发送消息进行差异化处理，以适配不同消息支持能力的被叫终端。如图3的消息发放整体流程示
意图。
[0138]
获取模块20，用于根据所述被叫号码确定被叫终端的支持类型。
[0139]
在具体实现中，为了获取被叫终端的消息支持能力，在获取被叫号码时，在信息记录表中记录有被叫号码对应的被叫终端以及被叫终端对应的支持消息类型，根据被叫终端以及被叫终端对应的支持消息类型确定被叫终端的支持类型，从而可根据被叫终端支持的消息类型进行差异化的消息发送，提高消息发放的灵活性。
[0140]
在本实施例中，为了获取信息记录表，可获取用户的通话信息，其中通话信息包括用户身份信息、电话号码信息以及对应的终端信息，根据终端信息得到对应的消息支持类型信息，根据电话号码信息将对应的用户身份信息、终端信息以及终端信息得到对应的消息支持类型信息进行管理，以生成信息记录表，从而实现被叫终端消息支持类型的查找，其中，被叫终端消息支持类型为被叫终端支持能力。
[0141]
合并模块30，用于在所述支持类型均未支持所述待发送消息时，将所述待发送消息和支持类型通过被叫终端消息差异化适配模型进行特征合并，生成适配被叫终端的待发送消息。
[0142]
继续如3所示，若所述支持类型均支持所述待发送消息，则将该 5g消息通过5gmc发送至被叫终端，若所述支持类型均未支持所述待发送消息时，则由5gmc将待发送的5g消息发送至原始5g消息预处理模块进行文本序列化，同时将被叫终端支持能力发送至终端支持能力预处理模块进行数值归一化，将经预处理后的待发送5g消息和被叫终端支持能力，分别输入至基于注意力编解码神经网络的被叫终端消息差异化适配模块，即被叫终端消息差异化适配模型，通过被叫终端消息差异化适配模型编码器中的主叫5g消息特征提取器对待发送的5g消息进行文本特征提取，同时被叫终端消息接收能力特征提取器对被叫终端消息接收能力属性值进行特征提取，将提取特征后的两个特征向量进行合并，通过注意力解码器对学习到的特征进行注意力聚合，生成适配被叫终端能力的消息，然后将生成的适配被叫终端能力的消息传递至5g消息开放平台，以实现对待发送消息的差异化处理。
[0143]
需要说明的是，被叫终端消息差异化适配模型为利用基于长短期记忆神经元的注意力编解码神经网络模型进行训练得到的，因此，具备长短期记忆神经网络以及注意力编解码神经网络的特性。
[0144]
发送模块40，用于将所述适配被叫终端的待发送消息发送至所述被叫终端。
[0145]
在本实施例中，通过在接收到消息开放平台发送的待发送消息的发送请求时，提取所述发送请求中被叫号码；根据所述被叫号码确定被叫终端的支持类型；在所述支持类型均未支持所述待发送消息时，将所述待发送消息和支持类型通过被叫终端消息差异化适配模型进行特征合并，生成适配被叫终端的待发送消息；将所述适配被叫终端的待发送消息发送至所述被叫终端，从而根据被叫侧终端的处理能力，自动为被叫终端提供差异化消息服务，使提供的发送消息与被叫终端适配，避免发送的消息被叫终端不支持的情况，达到提升行业客户消息下发的便利性以及被叫终端用户的消息体验的目的。
[0146]
在一实施例中，所述消息发放装置还包括：核验模块；
[0147]
所述核验模块，用于将所述适配被叫终端的待发送消息发送至消息开放平台，以使所述消息开放平台对所述适配被叫终端的待发送消息进行核验，并反馈核验结果。
[0148]
在一实施例中，所述被叫终端消息差异化适配模型包括编码器和注意力解码器；
[0149]
所述合并模块，还用于在所述支持类型均未支持所述待发送消息时，分别将所述待发送消息和支持类型通过被叫终端消息差异化适配模型中的解码器进行特征提取，得到消息特征向量和支持类型特征向量；
[0150]
将所述消息特征向量和支持类型特征向量进行合并，得到合并消息特征向量；
[0151]
将所述合并消息特征向量通过所述被叫终端消息差异化适配模型中的注意力解码器进行学习，并将学习到的特征进行注意力聚合，生成适配被叫终端的待发送消息。
[0152]
在一实施例中，所述核验模块，还用于在所述核验结果为未核验通过时，获取所述消息开放平台反馈的核验意见；
[0153]
将所述消息开放平台反馈的核验意见通过所述被叫终端消息差异化适配模型中的编码器进行文本特征提取，得到核实特征向量；
[0154]
将所述核实特征向量、所述消息特征向量以及所述支持类型特征向量进行合并，得到合并核实特征向量；
[0155]
将所述合并核实特征向量通过所述被叫终端消息差异化适配模型中的注意力解码器进行学习，并将学习到的特征进行注意力聚合，生成更新后的适配被叫终端的待发送消息；
[0156]
将所述更新后的适配被叫终端的待发送消息发送至所述被叫终端。
[0157]
在一实施例中，所述消息发放装置还包括：训练模块；
[0158]
所述训练模块，用于获取历史待发送消息集、被叫终端历史支持类型集、历史核验意见集以及对应的历史适配被叫终端消息集；
[0159]
分别将所述历史待发送消息集、历史核验意见集以及对应的历史适配被叫终端消息集中的消息进行文本序列化处理，得到历史待发送消息文本序列、历史核验意见文本序列以及对应的历史适配被叫终端消息文本序列；
[0160]
将所述被叫终端历史支持类型集中的属性数值进行归一化处理，得到核验数值；
[0161]
将所述历史待发送消息文本序列、历史核验意见文本序列以及对应的历史适配被叫终端消息文本序列和核验数值通过基于长短期记忆神经元的注意力编解码神经网络模型进行训练，生成被叫终端消息差异化适配模型。
[0162]
在一实施例中，所述训练模块，还用于获取编码器和解码器，其中，所述编码器包括输入层、嵌入层、长短期记忆神经元编码层以及合并层，所述解码器包括基于注意力的长短期记忆神经元解码层和输出层；
[0163]
根据所述输入层、嵌入层、长短期记忆神经元编码层、合并层、基于注意力的长短期记忆神经元解码层以及输出层建立基于长短期记忆神经元的注意力编解码神经网络模型。
[0164]
在一实施例中，所述训练模块，还用于分别将所述历史待发送消息文本序列、历史核验意见文本序列分别输入至所述输入层、嵌入层、长短期记忆神经元编码层进行特征提取，得到历史文本向量；
[0165]
将所述核验数值输入至所述输入层和长短期记忆神经元编码层进行特征提取，得到历史核验向量；
[0166]
将所述历史核验向量和历史文本向量输入至所述合并层进行合并，得到历史合并向量；
[0167]
将所述历史合并向量输入至所述基于注意力的长短期记忆神经元解码层以及输出层，生成目标适配消息；
[0168]
将所述目标适配消息与历史适配被叫终端消息文本序列进行比较，根据比较结果得到被叫终端消息差异化适配模型。
[0169]
此外，为实现上述目的，本发明还提出一种消息发放服务器，所述消息发放服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的消息发放程序，所述消息发放程序配置为实现如上文所述的消息发放方法。
[0170]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有消息发放程序，所述消息发放程序被处理器执行时实现如上文所述的消息发放方法。
[0171]
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
[0172]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0173]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0174]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台智能终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0175]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。