用于网络请求日志打标的方法及装置、电子设备、存储介质与流程

1.本技术涉及计算机技术领域，例如涉及一种用于网络请求日志打标的方法及装置、电子设备、存储介质。


背景技术：

2.随着移动互联网的兴起，随之而来的是移动大数据的涌现。移动大数据具有较高的商业价值，根据移动大数据中用户的app(application，应用程序)使用情况可以客观的反映出用户的兴趣爱好、行为习惯等，从而能够进一步根据用户的兴趣向用户推荐用户感兴趣的产品。但是，目前所收集到的用户的网络请求日志中并没有对应的app信息，因此需要为用户的网络请求日志添加上对应的app标签。相关技术中，通常收集少量带有网站域名和app标签的网络请求日志，然后直接将网站域名关联最多的app标签作为网站域名对应的app，形成网站域名与app的对应关系列表，根据对应关系列表为网络请求日志进行打标。但是，直接根据对应关系列表
3.为网络请求日志标注app标签，没有结合实际情况，使得为网络请求日志
4.标注的app标签准确率较低。


技术实现要素：

5.为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
6.本公开实施例提供了一种用于网络请求日志打标的方法及装置、电子设备、存储介质，以提高为网络请求日志标注的app标签准确率。
7.在一些实施例中，所述用于网络请求日志打标的方法，包括：获取待训练网络请求日志和若干个系统出厂app；所述待训练网络请求日志被标注有app标签和用户标识；利用各所述系统出厂app和所述待训练网络请求日志构建app打标模型；利用所述app打标模型标注app标签。
8.在一些实施例中，所述用于网络请求日志打标的装置，包括：获取模块，被配置为获取待训练网络请求日志和若干个系统出厂app；所述待训练网络请求日志被标注有app标签和用户标识；构建模块，被配置为利用各所述系统出厂app和所述待训练网络请求日志构建app打标模型；打标模块，被配置为利用所述app打标模型标注app标签。
9.在一些实施例中，所述电子设备，包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行上述的用于网络请求日志打标的方法。
10.在一些实施例中，所述存储介质，所述程序指令在运行时，执行上述的用于网络请求日志打标的方法。
11.本公开实施例提供的用于网络请求日志打标的方法及装置、电子设备、存储介质，可以实现以下技术效果：通过获取待训练网络请求日志和若干个系统出厂app。利用各系统
出厂app和待训练网络请求日志构建app打标模型。利用app打标模型标注app标签。这样，构建的app打标模型能够结合实际情况进行打标，提高了为网络请求日志标注的app标签准确率。
12.以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。
附图说明
13.一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
14.图1是本公开实施例提供的一个用于网络请求日志打标的方法的示意图；
15.图2是本公开实施例提供的第二个用于网络请求日志打标的方法的示意图；
16.图3是本公开实施例提供的第三个用于网络请求日志打标的方法的示意图；
17.图4是本公开实施例提供的第四个用于网络请求日志打标的方法的示意图；
18.图5是本公开实施例提供的一个用于网络请求日志打标的装置的示意图；
19.图6是本公开实施例提供的一个电子设备的示意图。
具体实施方式
20.为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
21.本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
22.除非另有说明，术语“多个”表示两个或两个以上。
23.本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。
24.术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，a和/或b，表示：a或b，或，a和b这三种关系。
25.本技术应用于为网络请求日志标注app标签，通过获取待训练网络请求日志和若干个系统出厂app。利用各系统出厂app和待训练网络请求日志构建app打标模型。利用app打标模型标注app标签。这样，构建的app打标模型能够结合实际情况进行打标，提高了为网络请求日志标注的app标签准确率。
26.结合图1所示，本公开实施例提供一种用于网络请求日志打标的方法，包括：
27.步骤s101，电子设备获取待训练网络请求日志和若干个系统出厂app。待训练网络请求日志被标注有app标签和用户标识。
28.步骤s102，电子设备利用各系统出厂app和待训练网络请求日志构建app打标模型。
29.步骤s103，电子设备利用app打标模型标注app标签。
30.采用本公开实施例提供的用于网络请求日志打标的方法，通过获取待训练网络请求日志和若干个系统出厂app。利用各系统出厂app和待训练网络请求日志构建app打标模型。利用app打标模型标注app标签。这样，构建的app打标模型能够结合实际情况进行打标，提高了为网络请求日志标注的app标签准确率。
31.系统出厂app为系统出厂时自带的，且无法卸载的app，例如：日历、时钟、天气、计算器等。网络请求日志包括网站域名。待训练网络请求日志为标注有用户标识和app标签的网络请求日志。在一些实施例中，被标注有用户标识的网络请求日志，例如：
32.1630399183,p3-webcast.douyinpic.com、
33.1630399186,api5-normal-c-lf.amemv.com、
34.1630399184,mon11-misc-lf.amemv.com、
35.1630399190,p9-webcast.douyinpic.com、1630399204,short.weixin.qq.com等，
36.其中1630399183为用户标识，p3-webcast.douyinpic.com为网络请求日志。用户标识为发送网络请求日志的设备的唯一编码。用户标识，例如：手机imei(international mobile equipment identity，国际移动设备标识)。
37.可选地，利用各系统出厂app和待训练网络请求日志构建app打标模型，包括：根据各系统出厂app调整待训练网络请求日志被标注的app标签，获得第一待训练数据。根据用户标识和预设的滑动窗口切分第一待训练数据，获得若干第二待训练数据。利用各第二待训练数据构建app打标模型。
38.结合图2所示，本公开实施例提供一种用于网络请求日志打标的方法，包括：
39.步骤s201，电子设备获取待训练网络请求日志和若干个系统出厂app。待训练网络请求日志被标注有app标签和用户标识。
40.步骤s202，电子设备根据各系统出厂app调整待训练网络请求日志被标注的app标签，获得第一待训练数据。
41.步骤s203，电子设备根据用户标识和预设的滑动窗口切分第一待训练数据，获得若干第二待训练数据。
42.步骤s204，电子设备利用各第二待训练数据构建app打标模型。
43.步骤s205，电子设备利用app打标模型标注app标签。
44.采用本公开实施例提供的用于网络请求日志打标的方法，通过获取待训练网络请求日志和若干个系统出厂app。根据各系统出厂app调整待训练网络请求日志被标注的app标签，获得第一待训练数据。根据用户标识和预设的滑动窗口切分第一待训练数据，获得若干第二待训练数据。利用各第二待训练数据构建app打标模型。利用app打标模型标注app标签。这样，构建的app打标模型能够结合实际情况进行打标，提高了为网络请求日志标注的app标签准确率。
45.可选地，根据各系统出厂app调整待训练网络请求日志被标注的app标签，获得第一待训练数据，包括：将与各系统出厂app相同的app标签确定为待替换标签。利用预设的备选标签替换待训练网络请求日志被标注的待替换标签，获得第一待训练数据。其中，系统出厂app为系统出厂时自带且无法卸载的app，例如：日历、时钟、天气、计算器等。app标签为app名称，例如：抖音、微信等。预设的备选标签为不是app名称的字符与汉字的组合或者纯
字符，例如：非app、非应用程序、os_app等。待替换标签为待训练网络请求日志被标注的app标签中与系统出厂app相同的app标签。这样，由于在获取网络请求日志时，无法将系统出厂app对应的网络请求日志去过滤掉，因此，利用预设的备选标签替换待训练网络请求日志被标注的待替换标签，不需要精准识别网络请求日志属于那一个系统出厂app。能够减少app打标模型的运算量，更快速的构建app打标模型。
46.在一些实施例中，获取系统出厂app为“时钟”、“日历”和“计算器”。获取待训练网络请求日志，例如：1630399182,203.119.211.140,计算器；其中，计算器是网络请求日志203.119.211.140的app标签，1630399182是网络请求日志203.119.211.140的用户标识。网络请求日志的app标签“计算器”与系统出厂app“计算器”相同，将“计算器”确定为待替换标签。利用预设的备选标签“os_app”替换待替换标签“计算器”。获得第一待训练数据为1630399182,203.119.211.140,os_app。
47.可选地，根据用户标识和预设的滑动窗口切分第一待训练数据，获得若干第二待训练数据，包括：将第一待训练数据按照用户标识分为若干备选训练数据；对各备选训练数据分别利用预设的第一滑动窗口进行切分，获得各备选训练数据对应的各第二待训练数据。其中，备选训练数据利用预设的第一滑动窗口进行切分后，获得备选训练数据对应的备选训练数据片段。将按照预设顺序排列的备选训练数据片段确定为备选训练数据对应的第二待训练数据。预设的第一滑动窗口，例如：时间窗口为30秒，滑动长度为20秒。预设顺序为第一滑动窗口切分的顺序。这样，按照用户标识对第一待训练数据进行分类获得各个用户的备选训练数据。然后将备选训练数据进行切分获得第二待训练数据。能够使得单个第二待训练数据是属于同一用户的待训练网络请求日志。能够使得在构建app打标模型的时候，app打标模型能够依次结合每个用户的使用习惯进行模型训练，使得构建的app打标模型在进行app打标时更加准确。
48.可选地，利用各第二待训练数据构建app打标模型，包括：将各第二待训练数据输入预设的crf(conditional random field，条件随机场)条件随机场模型，获得app打标模型。这样，由crf模型能够结合用户的上下文使用情况，从而使得训练出来的app打标模型识别app标签时更加准确。
49.可选地，利用app打标模型标注app标签，包括：获取待标注网络请求日志；将待标注网络请求日志输入app打标模型标注app标签。其中，待标注网络请求日志为未标注app标签的网络请求日志。
50.可选地，将待标注网络请求日志输入app打标模型标注app标签，包括：对待标注网络请求日志利用预设的第二滑动窗口进行切分，获得各待标注请求日志片段；将各待标注请求日志片段依次输入app打标模型标注app标签。其中，预设的第二滑动窗口与预设的第一滑动窗口相同。这样，对待标注网络请求日志进行切分，使得待标注网络请求日志的长度与进行训练的第二待训练数据的长度相同。能够使得app打标模型标注app标签时更加准确。
51.进一步的，将各待标注请求日志片段依次输入app打标模型标注app标签，包括：将各待标注请求日志片段按照第二滑动窗口切分的顺序依次输入app打标模型标注app标签。
52.结合图3所示，本公开实施例提供一种用于网络请求日志打标的方法，包括：
53.步骤s301，电子设备获取待训练网络请求日志和若干个系统出厂app。待训练网络
请求日志被标注有app标签和用户标识。
54.步骤s302，电子设备利用各系统出厂app和待训练网络请求日志构建app打标模型。
55.步骤s303，电子设备获取待标注网络请求日志。
56.步骤s304，电子设备对待标注网络请求日志利用预设的第二滑动窗口进行切分，获得各待标注请求日志片段。
57.步骤s305，电子设备将各待标注请求日志片段依次输入app打标模型标注app标签。
58.采用本公开实施例提供的用于网络请求日志打标的方法，通过获取待训练网络请求日志和若干个系统出厂app。利用各系统出厂app和待训练网络请求日志构建app打标模型。获取待标注网络请求日志。对待标注网络请求日志利用预设的第二滑动窗口进行切分，获得各待标注请求日志片段。将各待标注请求日志片段依次输入app打标模型标注app标签。这样，构建的app打标模型能够结合实际情况进行打标。提高了为网络请求日志标注的app标签准确率。同时，对待标注网络请求日志进行切分，使得待标注网络请求日志的长度与进行训练的第二待训练数据的长度相同。能够使得app打标模型标注app标签时更加准确。
59.可选地，利用app打标模型标注app标签后，还包括：将标注的app标签展示给用户。
60.可选地，将标注的app标签展示给用户，包括：将标注的app标签推送到预设的客户端，触发客户端对标注的app标签进行展示。
61.可选地，将标注的app标签展示给用户，包括：将标注的app标签发送到预设的显示屏，触发显示屏对标注的app标签进行展示。
62.结合图4所示，本公开实施例提供一种用于网络请求日志打标的方法，包括：
63.步骤s401，电子设备获取待训练网络请求日志和若干个系统出厂app。待训练网络请求日志被标注有app标签和用户标识。
64.步骤s402，电子设备利用各系统出厂app和待训练网络请求日志构建app打标模型。
65.步骤s403，电子设备利用app打标模型标注app标签。
66.步骤s404，电子设备将标注的app标签展示给用户。
67.采用本公开实施例提供的用于网络请求日志打标的方法，通过获取待训练网络请求日志和若干个系统出厂app。利用各系统出厂app和待训练网络请求日志构建app打标模型。利用app打标模型标注app标签。这样，构建的app打标模型能够结合实际情况进行打标，提高了为网络请求日志标注的app标签准确率。同时，将标注的app标签展示给用户，便于用户查看app标签，根据app标签用于实现更精准的用户画像，进一步提升用户体验，提高用户黏度和向用户的定向营销。使得在数据能力技术领域完成了数据挖掘。
68.在一些实施例中，被标注有app标签和用户标识待训练网络请求日志通过如下方式获得：在征得用户同意的电子设备上安装专门的app标签应用。app标签应用能够直接收集网络请求日志及网络请求日志来源于哪一个app。app标签应用为网络请求日志标注对应的app标签及用户标识。用户标识用于区分网络请求日志是否来源于同一用户的电子设备。从而获得被标注有app标签和用户标识待训练网络请求日志。
69.结合图5所示，本公开实施例公开一种用于网络请求日志打标的装置，包括：获取模块501、构建模块502和打标模块503。获取模块，被配置为获取待训练网络请求日志和若干个系统出厂app；待训练网络请求日志被标注有app标签和用户标识；构建模块，被配置为利用各系统出厂app和待训练网络请求日志构建app打标模型；打标模块，被配置为利用app打标模型标注app标签。
70.采用本公开实施例提供的用于网络请求日志打标的装置，通过获取模块获取待训练网络请求日志和若干个系统出厂app。构建模块利用各系统出厂app和待训练网络请求日志构建app打标模型。打标模块利用app打标模型标注app标签。这样，构建的app打标模型能够结合实际情况进行打标，提高了为网络请求日志标注的app标签准确率。
71.可选地，构建模块还被配置为通过以下方式利用各系统出厂app和待训练网络请求日志构建app打标模型：根据各系统出厂app调整待训练网络请求日志被标注的app标签，获得第一待训练数据；根据用户标识和预设的滑动窗口切分第一待训练数据，获得若干第二待训练数据；利用各第二待训练数据构建app打标模型。
72.可选地，构建模块还被配置为通过以下方式根据各系统出厂app调整待训练网络请求日志被标注的app标签，获得第一待训练数据：将与各系统出厂app相同的app标签确定为待替换标签；利用预设的备选标签替换待训练网络请求日志被标注的待替换标签，获得第一待训练数据。
73.可选地，构建模块还被配置为通过以下方式根据用户标识和预设的滑动窗口切分第一待训练数据，获得若干第二待训练数据：将第一待训练数据按照用户标识分为若干备选训练数据；对各备选训练数据分别利用预设的第一滑动窗口进行切分，获得各备选训练数据对应的各第二待训练数据。
74.可选地，构建模块还被配置为通过以下方式利用各第二待训练数据构建app打标模型：将各第二待训练数据输入预设的crf条件随机场模型，获得app打标模型。
75.可选地，打标模块hia被配置为通过以下方式利用app打标模型标注app标签：获取待标注网络请求日志；将待标注网络请求日志输入app打标模型标注app标签。
76.可选地，打标模块还被配置为通过以下方式将待标注网络请求日志输入app打标模型标注app标签：对待标注网络请求日志利用预设的第二滑动窗口进行切分，获得各待标注请求日志片段；将各待标注请求日志片段依次输入app打标模型标注app标签。
77.结合图6所示，本公开实施例提供一种电子设备，包括处理器(processor)600和存储器(memory)601。可选地，该装置还可以包括通信接口(communication interface)602和总线603。其中，处理器600、通信接口602、存储器601可以通过总线603完成相互间的通信。通信接口602可以用于信息传输。处理器600可以调用存储器601中的逻辑指令，以执行上述实施例的用于网络请求日志打标的方法。
78.此外，上述的存储器601中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
79.存储器601作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器600通过运行存储在存储器601中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于网络请求日志打标的方法。
80.存储器601可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器601可以包括高速随机存取存储器，还可以包括非易失性存储器。
81.可选地，电子设备为计算机或服务器。
82.采用本公开实施例的电子设备，通过获取待训练网络请求日志和若干个系统出厂app。利用各系统出厂app和待训练网络请求日志构建app打标模型。利用app打标模型标注app标签。这样，构建的app打标模型能够结合实际情况进行打标，提高了为网络请求日志标注的app标签准确率。
83.本公开实施例提供了一种存储介质，存储有程序指令，所述序指令在运行时，执行上述用于网络请求日志打标的方法。
84.本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于网络请求日志打标的方法。
85.上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
86.本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
87.以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本技术中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本技术中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本技术中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
88.本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员
可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
89.本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
90.附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。