一种基于CNN使用日志频谱分析的用户分类方法及系统与流程

一种基于cnn使用日志频谱分析的用户分类方法及系统
技术领域
1.本发明涉及大数据技术领域，尤其涉及一种基于cnn使用日志频谱分析的用户分类方法及系统。


背景技术：

2.互联网用户基数庞大，尤其是社交、电商以及金融等服务平台，或者是为了促进用户在平台的活跃度，或者是给对应用户做对应的商品推荐，或者是在社交中做好友匹配，都要涉及到用户分类，可以说用户分类是互联网最重要的技术之一。
3.目前，因为用户日志数据过大，并且日志数据之间还存在时间相关性，导致无法直接使用日志数据来训练模型，但现有的技术是基于日志统计结果的，结果导致统计结束后，大部分时间信息会损失，导致分类效果不够准确。


技术实现要素：

4.针对现有技术中存在的问题，本发明实施例提供一种基于cnn使用日志频谱分析的用户分类方法及系统。
5.本发明实施例提供一种基于cnn使用日志频谱分析的用户分类方法，包括：检测到用户分类请求时，获取所述用户分类请求对应的目标用户及请求目标，基于所述请求目标确定对应的请求时间段，基于所述请求时间段获取所述目标用户的历史日志数据中的目标历史数据；根据所述请求目标确定对应的请求因子，基于所述请求因子确定所述目标历史数据中的用户分类数据，并获取所述用户分类数据对应的数据时间，基于所述用户分类数据及对应的数据时间，生成目标用户对应的时间序列；将所述时间序列根据所述数据时间的时间间隔分为时间序列集，并对所述时间序列集进行标准化，得到标准化后的时间序列集，并将标准化后的所述时间序列集通过傅里叶变换转换为对应的频谱图；基于所述请求目的、请求因子搭建对应的cnn卷积神经网络模型，将所述频谱图输入至cnn卷积神经网络模型进行分类训练，基于分类训练结果确定所述目标用户的分类结果。
6.在其中一个实施例中，所述方法还包括：获取预设周期内包含所述请求目标的用户分类请求的请求次数，基于所述请求次数确定所述用户分类请求的优先级，并基于所述优先级确定对应的用户分类请求序列；基于所述用户分类请求序列中的优先级确定对应的请求目标的优先级，并基于所述请求目标的优先级调整所述cnn卷积神经网络中卷积层的学习权重。
7.在其中一个实施例中，所述方法还包括：基于所述分类结果，生成对应的分类标签，并基于所述请求时间段确定对应的更新周期；
将所述分类标签保存至对应目标用户的历史日志数据，并基于所述更新周期对所述分类标签进行更新。
8.在其中一个实施例中，所述方法还包括：基于所述用户分类数据获取历史对照集，并将所述历史对照集按照预设比例分为标准集及验证集，所述历史对照集为数据库中与所述用户分类数据关联的、已完成分类的历史数据；生成标准集数据对应标准频谱图，将所述标准匹配图及对应的分类结果输入至所述cnn卷积神经网络作为神经网络模型的标准参数；获取所述cnn卷积神经网络模型的分类训练结果，并将所述分类训练结果与验证集数据进行对比，若对比结果满足预设的准确度要求，确定所述分类训练对应的所述目标用户的分类结果。
9.在其中一个实施例中，所述方法还包括：所述标准化为z-score标准化。
10.本发明实施例提供一种基于cnn使用日志频谱分析的用户分类系统，包括：检测模块，用于检测到用户分类请求时，获取所述用户分类请求对应的目标用户及请求目标，基于所述请求目标确定对应的请求时间段，基于所述请求时间段获取所述目标用户的历史日志数据中的目标历史数据；序列模块，用于根据所述请求目标确定对应的请求因子，基于所述请求因子确定所述目标历史数据中的用户分类数据，并获取所述用户分类数据对应的数据时间，基于所述用户分类数据及对应的数据时间，生成目标用户对应的时间序列；频谱模块，用于将所述时间序列根据所述数据时间的时间间隔分为时间序列集，并对所述时间序列集进行标准化，得到标准化后的时间序列集，并将标准化后的所述时间序列集通过傅里叶变换转换为对应的频谱图；训练模块，用于基于所述请求目的、请求因子搭建对应的cnn卷积神经网络模型，将所述频谱图输入至cnn卷积神经网络模型进行分类训练，基于分类训练结果确定所述目标用户的分类结果。
11.在其中一个实施例中，所述系统还包括：获取模块，用于获取预设周期内包含所述请求目标的用户分类请求的请求次数，基于所述请求次数确定所述用户分类请求的优先级，并基于所述优先级确定对应的用户分类请求序列；权重模块，用于基于所述用户分类请求序列中的优先级确定对应的请求目标的优先级，并基于所述请求目标的优先级调整所述cnn卷积神经网络中卷积层的学习权重。
12.在其中一个实施例中，所述系统还包括：标签模块，用于基于所述分类结果，生成对应的分类标签，并基于所述请求时间段确定对应的更新周期；更新模块，用于将所述分类标签保存至对应目标用户的历史日志数据，并基于所述更新周期对所述分类标签进行更新。
13.本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于cnn使用日志频谱
分析的用户分类方法的步骤。
14.本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于cnn使用日志频谱分析的用户分类方法的步骤。
15.本发明实施例提供的一种基于cnn使用日志频谱分析的用户分类方法及系统，检测到用户分类请求时，获取用户分类请求对应的目标用户及请求目标，基于请求目标确定对应的请求时间段，基于请求时间段获取目标用户的历史日志数据中的目标历史数据；根据请求目标确定对应的请求因子，基于请求因子确定所述目标历史数据中的用户分类数据，并获取用户分类数据对应的数据时间，基于用户分类数据及对应的数据时间，生成目标用户对应的时间序列；将时间序列根据数据时间的时间间隔分为时间序列集，并对时间序列集进行标准化，得到标准化后的时间序列集，并将时间序列集通过傅里叶变换转换为对应的频谱图；基于请求目的、请求因子搭建对应的cnn卷积神经网络模型，将频谱图输入至cnn卷积神经网络模型进行分类训练，基于分类训练结果确定目标用户的分类结果。这样能够将用户的日志数据分析从时域转到频域中进行分析，从而避免了时间信息的损失，也进一步提高了分类效果的准确性。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例中一种基于cnn使用日志频谱分析的用户分类方法的流程图；图2为本发明实施例中一种时间序列转频谱图的结构图；图3为本发明实施例中一种cnn卷积神经网络模型分类训练的流程图；图4为本发明实施例中一种基于cnn使用日志频谱分析的用户分类系统的结构图；图5为本发明实施例中电子设备结构示意图。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.图1为本发明实施例提供的一种基于cnn使用日志频谱分析的用户分类方法的流程示意图，如图1所示，本发明实施例提供了一种基于cnn使用日志频谱分析的用户分类方法：步骤s101，检测到用户分类请求时，获取所述用户分类请求对应的目标用户及请求目标，基于所述请求目标确定对应的请求时间段，基于所述请求时间段获取所述目标用户的历史日志数据中的目标历史数据。
20.具体地，接收到对数据库中的历史用户进行分类的用户分类请求后，确定用户分类请求对应的目标用户及请求目标，其中，目标用户为本次用户分类请求指向的用户或用
户群，可以包括所有的历史用户，也可以附加筛选条件，比如所有男性用户，所有18岁以下用户等等，请求目标为用户分类请求对应的请求目的，比如用户分类的目标可以为进行对应的商品推荐、好友匹配等请求目标，然后基于请求目标确定对应的请求时间段，基于请求时间段获取目标用户的历史日志数据中的目标历史数据，其中，请求时间段可以根据日志数据中的数据更新频率进行划分，也可以根据用户上一次日志数据更新的最近时间进行划分，在数据库中，通常用户日志数据是按照数据时间进行排序的，在接收到用户分类请求后，在消耗极少计算资源的情况下，依照请求时间段获取目标用户的历史日志数据中的目标历史数据。
21.步骤s102，根据所述请求目标确定对应的请求因子，基于所述请求因子确定所述目标历史数据中的用户分类数据，并获取所述用户分类数据对应的数据时间，基于所述用户分类数据及对应的数据时间，生成目标用户对应的时间序列。
22.具体地，在确定用户分类请求的请求目标后，确定请求目标对应的请求因子，比如当请求目标为商品推荐时，则请求因子包括商品属性，比如商品类型、商品价格等，请求目标为好友匹配时，则请求因子包括好友属性，比如好友性别、好友年龄、好友爱好等，根据请求因子对目标历史数据进行分类，确定对应的用户分类数据，并获取用户分类数据对应进行日志数据的数据时间，基于用户分类数据及对应的数据时间，生成目标用户对应的时间序列。
23.步骤s103，将所述时间序列根据所述数据时间的时间间隔分为时间序列集，并对所述时间序列集进行标准化，得到标准化后的时间序列集，并将标准化后的所述时间序列集通过傅里叶变换转换为对应的频谱图。
24.具体地，将时间序列根据数据时间的时间间隔分为不同时间段对应的时间序列集，较短的时间序列集能够满足后续步骤中的傅里叶变换的需求，然后对时间序列集进行标准化，标准化步骤可以比如z-score标准化，标准化是通过变换使得数据符合均值为0，方差为1的分布，z-score标准化只能使得数据变换为均值为0，方差为1，不会改变原数据的分布，在进行标准化后，将时间序列集通过傅里叶变换转换为对应的频谱图，其中，傅里叶变换用于确定信号随时间变化的局部部分的正弦频率和相位内容。计算傅里叶变换的过程是将较长时间的信号分成等长的较短段，然后在每个较短段上分别计算傅里叶变换。这揭示了每个较短段上的傅立叶谱。然后通常将变化的频谱绘制为时间的函数，称为频谱图。经过短时傅里叶变换后，如图2所示，用户时间序列集从时域体现到频域中，将频谱图保存作为代表用户分类特征的用户特征图。
25.步骤s104，基于所述请求目的、请求因子搭建对应的cnn卷积神经网络模型，将所述频谱图输入至cnn卷积神经网络模型进行分类训练，基于分类训练结果确定所述目标用户的分类结果。
26.具体地，基于请求目标、请求因子确定卷积神经网络模型的训练项，其中，并将频谱图输入至cnn卷积神经网络模型进行分类训练，cnn卷积神经网络模型通过对图像进行卷积运算，其中，cnn卷积神经网络模型进行分类训练的训练过程如图3所示，确定分类训练结果中频谱图对应的分类结果，即为目标用户的分类结果。
27.另外，还可以基于分类结果，生成与目标用户对应的分类标签，并基于请求时间段确定对应的更新周期，然后将分类标签保存至对应目标用户的历史日志数据，并基于更新
周期对分类标签进行更新，方便在后续接收到用户分类请求时，根据分类标签确定对应用户的分类，并及时对用户的分类标签进行更新。
28.另外，在上述步骤s101中，获取预设周期内包含请求目标的用户分类请求的请求次数，然后基于请求次数确定用户分类请求的优先级，即根据请求次数确定目标用户分类倾向的迫切程度，并基于优先级确定对应的用户分类请求序列，然后基于用户分类请求序列中的优先级确定对应的请求目标的优先级。并基于请求目标的优先级调整cnn卷积神经网络中卷积层的学习权重，这样能够更具有针对性的分配模型训练资源，使模型训练资源能够更着重于处理优先级更高的用户分类请求，从而达到更好，更符合用户特征的用户分类结果。
29.本发明实施例提供的一种基于cnn使用日志频谱分析的用户分类方法，在缓存队列中配置基础准入阈值，并在通过基础准入阈值对输入数据进行筛选确定缓存数据后，计算接收到数据请求时，缓存数据的数据命中率，并对基础准入阈值进行迭代调整，计算调整后的调整命中率，基于调整后的标准准入阈值与调整命中率确定映射关系；重复迭代调整过程，并在迭代调整过程中调整输入数据的数据属性，结合马尔克夫模型，统计不同数据属性下，标准准入阈值与调整命中率确定映射关系；当接收到目标数据后，获取目标数据的数据属性，并基于目标数据的数据属性对应的映射关系确定目标调整阈值，通过目标调整阈值对目标数据进行筛选确定目标缓存数据；获取目标数据对应的数据分类及数据场景，并根据数据分类及数据场景确定目标数据的选择结果及优先级排序结果，并基于选择结果对目标缓存数据进行数据选择，并对数据选择后的目标缓存数据根据优先级排序结果进行优先级排序，确定优先级排序后的优先缓存数据；获取优先缓存数据中的元数据，统计元数据对应的吞吐量，基于吞吐量对优先缓存数据中的元数据进行筛选，确定筛选后的最终缓存数据，将最终缓存数据排入缓存队列。这样能够自动确定活动数据的最佳缓存级别，优化对象命中率，提升应用程序执行速度，并且通过优先级排序和选择性分配，可对能提升性能的存储元素进行识别和高速缓存，对于元数据分类缓存，提升特定场景的性能。
30.在另一实施例中，所述一种基于cnn使用日志频谱分析的用户分类方法，还包括：基于所述用户分类数据获取历史对照集，并将所述历史对照集按照预设比例分为标准集及验证集，所述历史对照集为数据库中与所述用户分类数据关联的、已完成分类的历史数据；生成标准集数据对应标准频谱图，将所述标准匹配图及对应的分类结果输入至所述cnn卷积神经网络作为神经网络模型的标准参数；获取所述cnn卷积神经网络模型的分类训练结果，并将所述分类训练结果与验证集数据进行对比，若对比结果满足预设的准确度要求，确定所述分类训练对应的所述目标用户的分类结果。
31.在本实施例中，为了进一步提高cnn卷积神经网络模型训练结果的准确性，在进行cnn卷积神经网络模型训练时，基于用户分类数据获取历史对照集，并将历史对照集按照预设比例分为标准集及验证集，比如8∶2的比例进行划分，其中，历史对照集为数据库中与用户分类数据关联的、已完成分类的历史数据，比如类型上与用户分类数据相同或相似的历史数据，然后生成标准集数据对应标准频谱图，将标准匹配图及对应的分类结果输入至cnn卷积神经网络作为神经网络模型的标准参数，获取cnn卷积神经网络模型的分类训练结果，
并将分类训练结果与验证集数据进行对比，若对比结果满足预设的准确度要求，比如准确度大于90%后，确定分类训练对应的目标用户的分类结果，这样能够更一步的通过标准集和数据集提高分类结果的准确性。
32.图4为本发明实施例提供的一种基于cnn使用日志频谱分析的用户分类系统，包括：检测模块s201、序列模块s202、频谱模块s203、训练模块s204，其中：检测模块s201，用于检测到用户分类请求时，获取所述用户分类请求对应的目标用户及请求目标，基于所述请求目标确定对应的请求时间段，基于所述请求时间段获取所述目标用户的历史日志数据中的目标历史数据。
33.序列模块s202，用于根据所述请求目标确定对应的请求因子，基于所述请求因子确定所述目标历史数据中的用户分类数据，并获取所述用户分类数据对应的数据时间，基于所述用户分类数据及对应的数据时间，生成目标用户对应的时间序列。
34.频谱模块s203，用于将所述时间序列根据所述数据时间的时间间隔分为时间序列集，并对所述时间序列集进行标准化，得到标准化后的时间序列集，并将标准化后的所述时间序列集通过傅里叶变换转换为对应的频谱图。
35.训练模块s204，用于基于所述请求目的、请求因子搭建对应的cnn卷积神经网络模型，将所述频谱图输入至cnn卷积神经网络模型进行分类训练，基于分类训练结果确定所述目标用户的分类结果。
36.在其中一个实施例中，所述系统还包括：获取模块，用于获取预设周期内包含所述请求目标的用户分类请求的请求次数，基于所述请求次数确定所述用户分类请求的优先级，并基于所述优先级确定对应的用户分类请求序列。
37.权重模块，用于基于所述用户分类请求序列中的优先级确定对应的请求目标的优先级，并基于所述请求目标的优先级调整所述cnn卷积神经网络中卷积层的学习权重。
38.在其中一个实施例中，所述系统还包括：标签模块，用于基于所述分类结果，生成对应的分类标签，并基于所述请求时间段确定对应的更新周期。
39.更新模块，用于将所述分类标签保存至对应目标用户的历史日志数据，并基于所述更新周期对所述分类标签进行更新。
40.关于基于cnn使用日志频谱分析的用户分类系统的具体限定可以参见上文中对于基于cnn使用日志频谱分析的用户分类方法的限定，在此不再赘述。上述基于cnn使用日志频谱分析的用户分类系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
41.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)301、存储器(memory)302、通信接口(communications interface)303和通信总线304，其中，处理器301，存储器302，通信接口303通过通信总线304完成相互间的通信。处理器301可以调用存储器302中的逻辑指令，以执行如下方法：检测到用户分类请求时，获取用户分类请求对应的目标用户及请求目标，基于请求目标确定对应的请求时间段，基于请求时间段获取目标用户的历史日志数据中的目标历史数据；根据请求目标确定对应
的请求因子，基于请求因子确定所述目标历史数据中的用户分类数据，并获取用户分类数据对应的数据时间，基于用户分类数据及对应的数据时间，生成目标用户对应的时间序列；将时间序列根据数据时间的时间间隔分为时间序列集，并对时间序列集进行标准化，得到标准化后的时间序列集，并将时间序列集通过傅里叶变换转换为对应的频谱图；基于请求目的、请求因子搭建对应的cnn卷积神经网络模型，将频谱图输入至cnn卷积神经网络模型进行分类训练，基于分类训练结果确定的分类结果。
42.此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，randomaccess memory）、磁碟或者光盘等各种可以存储程序代码的介质。
43.另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：检测到用户分类请求时，获取用户分类请求对应的目标用户及请求目标，基于请求目标确定对应的请求时间段，基于请求时间段获取目标用户的历史日志数据中的目标历史数据；根据请求目标确定对应的请求因子，基于请求因子确定所述目标历史数据中的用户分类数据，并获取用户分类数据对应的数据时间，基于用户分类数据及对应的数据时间，生成目标用户对应的时间序列；将时间序列根据数据时间的时间间隔分为时间序列集，并对时间序列集进行标准化，得到标准化后的时间序列集，并将时间序列集通过傅里叶变换转换为对应的频谱图；基于请求目的、请求因子搭建对应的cnn卷积神经网络模型，将频谱图输入至cnn卷积神经网络模型进行分类训练，基于分类训练结果确定的分类结果。
44.以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
45.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
46.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。