包含未见软件数据的半监督业务感知训练推理方法和系统

1.本发明涉及一种包含未见软件数据的半监督业务感知训练推理方法和系统，具体是一种面向通信领域的包含未见软件数据的半监督业务感知训练推理方法和系统，使用特殊的机器学习模型训练方法来解决业务感知任务上利用大量未见软件数据进行训练的问题。


背景技术：

2.随着手机等便携设备的出现，各种应用软件(app)也层出不穷。由于不同的app功能和形式不同，导致其需要的内存、计算资源和网络传输带宽大不相同。为了节省网络传输带宽和优化网络传输资源的分配，往往需要为特定的app定制相应的通信方案。例如，短视频等娱乐应用对网络延迟要求比较小，可容忍一定的滞后性，然而游戏体育等赛事直播对于网络延迟的要求较高，需要保持实时性。因此，在通信领域，通信基站所在的服务器需要对网络上的流量进行识别检测，判断其来自于哪一种app。使用机器学习算法训练业务感知模型来识别流量中的app类型是一种可能的解决方案。
3.机器学习模型经常基于大数量级的有标记训练数据，但是由于业务感知模型的时效性，其很难在短时间内收集到足够的数据进行有监督训练。例如，一个刚上线的视频app或是承担运动会转播的直播app很难收集到足够的数据。一种方案是采用半监督学习的思想，利用大量其他app产生的数据或是已经过时的历史数据帮助业务感知模型训练(这些未在业务范围内的app被称为未见app)。这些数据中有可能存在与当前感知任务相关的数据，例如，已经停运的交友论坛可能产生与微博相似的流量。但更有可能存在无关的数据，机器学习在无关数据存在的情况下往往面临着性能下降。因此，如何利用大量可能存在无关未见类的无标记数据帮助业务感知模型进行半监督训练，是一个广泛且有意义的问题。


技术实现要素：

4.发明目的：业务感知领域经常面临业务app训练数据不足的情况，一种可行的方案是利用大量其他app产生的作为无标记数据进行半监督训练，然而这样的无标记数据中往往会存在未见类数据，即无关数据，一般的半监督学习模型往往在有无关数据存在的情况下会有性能下降的问题，因此本发明通过引入无关数据识别的机制，对有关数据和无关数据进行分别处理，从而提升业务感知的整体性能。
5.技术方案：一种包含未见软件数据的半监督业务感知训练推理方法，应用于通信领域，包括样机信号搜集步骤、业务感知模型预训练步骤、业务感知模型半监督训练步骤和业务感知模型推理步骤。所述样机信号搜集步骤中，通过部署样机搜集业务app以及其他各种未见 app传输的通信包信号；所述业务感知模型预训练步骤和业务感知模型半监督训练步骤分别利用收集到的业务app和未见app通信包数据通过新提出的半监督学习技术训练一个业务感知模型；所述业务感知模型推理步骤中，将业务感知模型部署进行推理使用。
6.所述样机信号搜集步骤具体为：
7.步骤100，选择多样性的智能便携设备作为样机；
8.步骤101，在不同样机上下载不同的app，包含业务app以及其他未见app；
9.步骤102，将样机通过有线或者无线方式连接到一台服务器；
10.步骤103，样机和服务器之间建立协议，允许服务器获取样机app发送的通信包；
11.步骤104，在样机上使用app；
12.步骤105，在服务器上搜集各样机使用app过程使用到的通信包信号，对于业务app，保存其对应的app名称。
13.所述业务感知模型预训练步骤具体为：
14.步骤200，在服务器上将搜集到的业务app信号组织成“(通信包，app名称)”形式的样本格式，作为本预训练步骤的训练样本；
15.步骤201，将样本中的“通信包”以二进制的形式进行解码；
16.步骤202-203，对通信包进行截断或者填充为最大长度l；
17.步骤204，将样本中的app名称映射为其在所有不同业务app中的索引；
18.步骤205，将所有训练样本组织成(xi,yi)，i＝1，2，
…
，n的形式，xi代表通信包信号， yi∈{1,2,
…
,k}代表业务app类别；
19.步骤206，确定额外app类别的数量k；
20.步骤207，初始化用于k k类分类的神经网络模型f作为业务感知模型；
21.步骤208，将xi通过业务感知模型获得其预测的类别分布f(xi)＝(f1(xi),
…fk k
(xi))，其中fj(xi)表达了模型推测的通信包信号xi属于第j类的概率；
22.步骤209，计算交叉熵损失l＝-∑
i＝1,2,
…
,n
∑
c＝1,2,
…
,k,k 1,
…
,k k
i{yi＝c}log fc(xi)；
23.步骤210，根据交叉熵损失计算业务感知模型的参数梯度；
24.步骤211，使用梯度下降方法进行更新业务感知模型的参数；
25.步骤212，重复步骤208至211直至达到最大迭代轮次；
26.步骤213，将业务感知模型(f)保存在服务器硬盘。
27.所述业务感知模型半监督训练步骤具体为：
28.步骤300，将未见app的通信包做步骤201至203的处理；
29.步骤301，将未见app的通信包信号表示为xi,i＝n 1，
…
，n m的形式；
30.步骤302，获得模型预训练步骤中的保存的业务感知模型f；
31.步骤303，对于每个未见app的通信包信号xi,i＝n 1，
…
，n m，通过业务感知模型获得其预测的类别分布f(xi)；
32.步骤304，根据其预测的类别分布得到其属于某个业务app类别的置信度s(xi)＝ max
c∈{1,
…
,k}
fc(xi)；
33.步骤305，收集所有样本的置信度，通过otsu算法确定阈值τ；
34.步骤306，对于每个未见app的通信包信号xi,i＝n 1，
…
，n m，如果s(xi)≥τ，跳转至步骤307。如果s(xi)《τ，跳转至步骤308；
35.步骤307，将xi标记其中跳转至步骤310；
36.步骤308，将xi加入集合b；
37.步骤309，在集合b上使用k-means算法将所有样本聚类成k个蔟，并赋予其标记
其中为蔟的序号；
38.步骤310，将所有的未见app的通信包信号连同赋予的标记与业务app数据(xi,yi)，i＝1，2，
…
，n合并；
39.步骤311，在合并后的数据上使用步骤208至211更新业务感知模型；
40.步骤312，重复步骤303至311直至达到最大迭代轮次；
41.步骤313，将最终的业务感知模型(f)保存在服务器硬盘。
42.所述业务感知模型推理步骤具体为：
43.步骤400，加载训练好的业务感知模型(f)；
44.步骤401，将待测试的通信包信号x通过业务感知模型获得预测类别分布f(xi)；
45.步骤402，输出预测的app类型j＝argmax
c∈{1,2,
…
,k}
fc(x)。
46.一种包含未见软件数据的半监督业务感知训练推理系统，应用于通信领域，包括样机信号搜集模块、业务感知模型预训练模块、业务感知模型半监督训练模块和业务感知模型推理模块；所述样机信号搜集模块，通过部署样机搜集业务app以及其他各种未见app传输的通信包信号；所述业务感知模型预训练模块和业务感知模型半监督训练模块分别利用收集到的业务app和未见app通信包数据通过半监督学习技术训练一个业务感知模型；所述业务感知模型推理模块，将业务感知模型部署进行推理使用。
47.样机信号搜集模块、业务感知模型预训练模块、业务感知模型半监督训练模块和业务感知模型推理模块的具体实现过程分别和样机信号搜集步骤、业务感知模型预训练步骤、业务感知模型半监督训练步骤和业务感知模型推理步骤相同。
48.本发明适用于利用大量未见类别的app数据辅助的业务感知模型训练，使用神经网络提前特征并采用交叉熵损失训练业务感知分类模型。
49.一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的包含未见软件数据的半监督业务感知训练推理方法。
50.一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的包含未见软件数据的半监督业务感知训练推理方法的计算机程序。
51.有益效果：本发明通过引入大量未见app的通信包数据，辅助业务模型的训练，具体来讲，通过在业务app数据上预训练得到的模型，识别与业务app功能相似的通信包数据，增加业务app数据量，同时在与业务功能不相似的通信包数据上进行聚类，挖掘其内在的语意结构，提高模型的性能，起到了提升业务感知模型泛化性能的作用。
附图说明
52.图1为本发明实施例的样机信号收集步骤流程图；
53.图2为本发明实施例的业务感知模型预训练步骤流程图；
54.图3为本发明实施例的业务感知模型半监督训练步骤流程图；
55.图4为本发明实施例的业务感知模型推理步骤流程图。
具体实施方式
56.下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明
而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
57.下面的实施例以手机端业务app感知为具体实施例进行阐述。
58.如图1所示，业务感知模型预训练步骤依次为：使用样机下载业务app，以及其他类型的app(步骤100，101)，将手机连接到linux服务器，并与服务器建立数据传输协议(步骤102，103)，在手机和linux服务器之间建立数据传输协议(步骤104)，在服务器上搜集各样机使用app过程使用到的通信包信号，对于业务app，保存其对应的app名称(步骤 105)。
59.如图2所示，数据分析步骤依次为：
60.步骤200，在服务器上将搜集到的业务app信号组织成“(通信包，app名称)”形式的样本格式，作为本预训练步骤的训练样本；
61.步骤201，将样本中的“通信包”以二进制的形式进行解码；
62.步骤202，对于长度超过最长序列长度l的“通信包”进行截断为长度l；
63.步骤203，对于长度不足最长序列长度l的“通信包”进行填充0值直到长度为l；
64.步骤204，将样本中的“app名称”映射为其在所有不同业务app中的下标；
65.步骤205，将所有训练样本组织成(xi,yi)，i＝1，2，
…
，n的形式，xi代表通信包信号， yi∈{1,2,
…
,k}代表业务app类别；
66.步骤206，确定额外app类别的数量k，可估计为未知app的数量，或者设置为固定的值；
67.步骤207，初始化用于k k类分类的神经网络模型f作为业务感知模型；
68.步骤208，将xi通过业务感知模型获得其预测的类别分布f(xi)＝(f1(xi),
…fk k
(xi))；
69.步骤209，计算交叉熵损失l＝-∑
i＝1,2,
…
,n
∑
c＝1,2,
…
,k,k 1,
…
,k k
i{yi＝c}logfc(xi)；
70.步骤210，根据交叉熵损失计算业务感知模型的参数梯度；
71.步骤211，使用梯度下降方法进行更新业务感知模型的参数；
72.步骤212，重复步骤208至211直至达到最大迭代轮次；
73.步骤213，将业务感知模型(f)保存在服务器硬盘。
74.如图3所示，业务感知模型半监督训练步骤依次为：将未见app的通信包做步骤201至 203的处理(步骤300)，将未见app的通信包信号表示为xi,i＝n 1，
…
，n m的形式(步骤301)，获得模型预训练步骤中的保存的模型f(步骤302)，对于每个未见app的通信包信号xi,i＝n 1，
…
，n m，通过业务感知模型获得其预测的类别分布f(xi)(步骤303)，根据其预测的类别分布得到其属于某个业务app类别的置信度s(xi)＝max
c∈{1,
…
,k}
fc(xi)(步骤 304)，收集所有样本的置信度，通过otsu算法确定阈值τ(步骤305)，对于每个未见app的通信包信号xi,i＝n 1，
…
，n m，如果s(xi)≥τ，跳转至步骤307。如果s(xi)《τ，跳转至步骤308(步骤306)，将xi标记其中跳转至步骤310(步骤307)，将xi加入集合b(步骤308)，在集合b上使用k-means算法将所有样本聚类成k个蔟，并赋予其标记其中为蔟的序号(步骤309)，将所有的未见app的通信包信号连同赋予的标记与业务app数据(xi,yi)，i＝1，2，
…
， n合并(步骤310)，在合并后的数据上使用步骤208至211更新业务感知模型(步骤311)，重复步骤303
至311直至达到最大迭代轮次(步骤312)，将最终的业务感知模型(f)保存在服务器硬盘(步骤313)。
75.如图4所示，业务感知模型推理步骤依次为：加载业务感知模型(f)(步骤400)，将待测试的通信包信号x通过业务感知模型获得预测类别分布f(x)(步骤401)，输出预测的 app类型j＝argmax
c∈{1,2,
…
,k}
fc(x)(步骤402)。
76.一种包含未见软件数据的半监督业务感知训练推理系统，应用于通信领域，包括样机信号搜集模块、业务感知模型预训练模块、业务感知模型半监督训练模块和业务感知模型推理模块；样机信号搜集模块，通过部署样机搜集业务app以及其他各种未见app传输的通信包信号；业务感知模型预训练模块和业务感知模型半监督训练模块分别利用收集到的业务 app和未见app通信包数据通过半监督学习技术训练一个业务感知模型；业务感知模型推理模块，将业务感知模型部署进行推理使用。
77.显然，本领域的技术人员应该明白，上述的本发明实施例的包含未见软件数据的半监督业务感知训练推理方法各步骤或包含未见软件数据的半监督业务感知训练推理系统各模块可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。