一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

人群圈定任务拆分方法、装置、设备及存储介质与流程

2021-11-03 21:42:00 来源:中国专利 TAG:
1.本发明涉及数据管理平台
技术领域
:,尤其涉及一种人群圈定任务拆分方法、装置、设备及存储介质。
背景技术
::2.随和广告推荐的不断兴起,很多公司都有自己的数据管理平台(datamanagementplatform,dmp)平台。同时随着运营的需求增加开发成本也不断增加,因此很多公司都有一套基于dmp平台的自主圈人群功能。然而自主圈人群功能底层是由多张表组成作为基础数据。因此每一个人群查询指令需要对多张表进行查询,传统查询多张表都是串行执行,这样查询效率极低。所以如何在执行任务时将多表查询的串行执行方案变成并行执行方案是亟待解决的问题。3.上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。技术实现要素:4.本发明的主要目的在于提供一种人群圈定任务拆分方法、装置、设备及存储介质,旨在解决现有技术如何在执行任务时将多表查询的串行执行方案变成并行执行方案的技术问题。5.为实现上述目的,本发明提供了一种人群圈定任务拆分方法,所述方法包括以下步骤:6.获取人群圈定任务;7.根据所述人群圈定任务生成对应的预设格式指令数据;8.基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据;9.存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分。10.可选地,所述根据所述人群圈定任务生成对应的预设格式指令数据,包括:11.获取预设配置规则;12.基于所述预设配置规则通过预设数据管理平台将所述人群圈定任务转换程对应的预设格式指令数据。13.可选地,所述基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据之前,还包括:14.判断所述预设格式指令数据是否符合预设指令执行条件;15.若所述预设格式指令数据符合所述预设指令执行条件时,执行基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据的步骤。16.可选地,所述判断所述预设格式指令数据是否符合预设指令执行条件,包括:17.识别所述预设格式指令数据中的字段数据,得到对应的目标字段数据;18.判断所述目标字段数据中是否包含创建人数据、人群描述数据、人群识别号数据、人群名称数据、版本号数据、规则数据以及多表查询语句数据中至少一项。19.可选地,所述基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据,包括:20.通过预设解析工具对所述预设格式指令数据进行分层提取,得到第一层预设格式指令数据和第二层预设格式指令数据;21.通过预设解析工具对所述第二层预设格式指令数据进行解析,得到对应的关键值数据、目标值数据以及备注数据;22.将所述第一层预设格式指令数据、关键值数据、目标值数据以及备注数据作为解析数据。23.可选地,所述预设标识管理容器包括:唯一标识管理容器、规则标识管理容器以及查询标识管理容器;24.所述存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分,包括:25.将所述解析数据中的标识字段数据存储至所述唯一标识管理容器;26.将所述解析数据中的规则关系数据存储至所述规则标识管理容器;27.添加预设字段至所述解析数据中的表格名称数据,得到对应的查询指令数据;28.将所述查询指令数据存储至所述查询标识管理容器。29.可选地,所述存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分之后,还包括:30.执行所述解析数据对应的查询指令,得到对应的目标任务结果;31.将所述目标任务结果存储至预设分区表中,所述预设分区表的目标分区字段包括人群圈定任务识别号、人群圈定任务版本号以及结果表名称。32.此外,为实现上述目的,本发明还提出一种人群圈定任务拆分装置,所述人群圈定任务拆分装置包括:33.获取模块,用于获取人群圈定任务;34.生成模块,用于根据所述人群圈定任务生成对应的预设格式指令数据;35.拆分模块,用于基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据;36.存储模块,用于存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分。37.此外,为实现上述目的,本发明还提出一种人群圈定任务拆分设备,所述人群圈定任务拆分设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人群圈定任务拆分程序,所述人群圈定任务拆分程序配置为实现如上文所述的人群圈定任务拆分方法。38.此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有人群圈定任务拆分程序,所述人群圈定任务拆分程序被处理器执行时实现如上文所述的人群圈定任务拆分方法。39.本发明通过获取人群圈定任务;根据所述人群圈定任务生成对应的预设格式指令数据;基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据;存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分。通过上述方式,利用预设解析工具将指令数据进行拆分,得到的解析数据存储至预设标识管理容器,最终完成人群圈定任务的拆分,拆分后的任务将多表查询的串行执行方案变成并行执行方案,提高了查询效率。附图说明40.图1是本发明实施例方案涉及的硬件运行环境的人群圈定任务拆分设备的结构示意图;41.图2为本发明人群圈定任务拆分方法第一实施例的流程示意图;42.图3为本发明人群圈定任务拆分方法一实施例的整体流程示意图;43.图4为本发明人群圈定任务拆分方法一实施例的指令判断示意图;44.图5为本发明人群圈定任务拆分方法第二实施例的流程示意图;45.图6为本发明人群圈定任务拆分装置第一实施例的结构框图。46.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。具体实施方式47.应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。48.参照图1,图1为本发明实施例方案涉及的硬件运行环境的人群圈定任务拆分设备结构示意图。49.如图1所示,该人群圈定任务拆分设备可以包括:处理器1001,例如中央处理器(centralprocessingunit,cpu),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless‑fidelity,wi‑fi)接口)。存储器1005可以是高速的随机存取存储器(randomaccessmemory,ram)存储器,也可以是稳定的非易失性存储器(non‑volatilememory,nvm),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。50.本领域技术人员可以理解,图1中示出的结构并不构成对人群圈定任务拆分设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。51.如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及人群圈定任务拆分程序。52.在图1所示的人群圈定任务拆分设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明人群圈定任务拆分设备中的处理器1001、存储器1005可以设置在人群圈定任务拆分设备中,所述人群圈定任务拆分设备通过处理器1001调用存储器1005中存储的人群圈定任务拆分程序,并执行本发明实施例提供的人群圈定任务拆分方法。53.本发明实施例提供了一种人群圈定任务拆分方法,参照图2,图2为本发明一种人群圈定任务拆分方法第一实施例的流程示意图。54.本实施例中,所述人群圈定任务拆分方法包括以下步骤:55.步骤s10:获取人群圈定任务。56.需要说明的是,本实施例的执行主体为数据管理平台(datamanagementplatform,dmp),能够把分散的多方数据进行整合纳入统一的技术平台,并对这些数据进行标准化和细分,让用户可以把这些细分结果推向现有的互动营销环境里的平台,如图3所示,数据管理平台中的查询指令模块获取人群圈定任务,并根据人群圈定任务生成对应的预设格式指令,指令解析模块对预设格式指令进行判断是符合执行要求,指令拆分模块通过预设解析工具对预设格式指令进行拆分,得到解析数据,指令管理模块将解析数据进行存储,指令计算存储模块通过多个程序执行查询标识管理容器中的sql语句,最终将人群圈定任务由串行变为并行方案。57.需要说明的是,所述人群圈定任务指的是根据业务需要圈定特定人群任务。58.步骤s20:根据所述人群圈定任务生成对应的预设格式指令数据。59.需要说明的是,所述预设格式指令数据指的是json格式指令数据,dmp平台通过配置规则将获取到的人群圈定任务转换成对应的json格式指令数据。60.在具体实现中,为了能够生成更为准确的预设格式指令数据,进一步地,所述根据所述人群圈定任务生成对应的预设格式指令数据,包括:获取预设配置规则;基于所述预设配置规则通过预设数据管理平台将所述人群圈定任务转换程对应的预设格式指令数据。61.需要说明的是,所述预设配置规则指的是dmp平台内置的将任务指令转换为特定格式指令的规则。62.可以理解的是,在获取到dmp平台的预设配置规则之后,通过预设配置规则即可根据人群圈定任务获取对应的json格式指令数据即预设格式指令数据。63.步骤s30:基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据。64.需要说明的是,所述预设解析工具指的是fastjson解析工具,通过fastjson解析工具对人群圈定任务对应的json格式指令数据进行json计息,得到对应的解析数据。65.可以理解的是,预设格式指令数据由json组成结构,总计由两层json,通过预设解析工具进行数据拆分,能够将json格式指令数据中的两层json数据提取出来,最终得到对应的解析数据。66.在具体实现中,为了能够更为准确的对预设格式指令数据进行解析,进一步地,所述基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据之前,还包括:判断所述预设格式指令数据是否符合预设指令执行条件;若所述预设格式指令数据符合所述预设指令执行条件时,执行基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据的步骤。67.需要说明的是,所述预设指令执行条件指的是json标准,在执行拆分任务时,若所述json格式指令数据符合执行要求,则基于json格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据;若所述json格式指令数据不符合执行要求,则需退出当前任务重新进行指令转换。68.在具体实现中,为了能够对当前的预设格式指令数据进行准确判断,进一步地,所述判断所述预设格式指令数据是否符合预设指令执行条件,包括:识别所述预设格式指令数据中的字段数据,得到对应的目标字段数据;判断所述目标字段数据中是否包含创建人数据、人群描述数据、人群识别号数据、人群名称数据、版本号数据、规则数据以及多表查询语句数据中至少一项。69.需要说明的是,所述预设指令执行条件为json格式指令数据中包含必填字段,必填字段包括:creator(创建人)、crowddesc(人群描述)、crowdid(人群id)、crowdname(人群名称)、version(版本号)、rule(规则)、table(多表查询语句)。70.可以理解的是,所述目标字段数据即为json格式指令数据中的必填字段,判断目标字段数据中是否包含创建人数据即creator、人群描述数据即crowddesc、人群识别号数据即crowdid、人群名称数据即crowdname、版本号数据即version、规则数据即rule以及多表查询语句数据即table。71.在具体实现中,如图4所示,判断json格式指令数据是否符合执行要求,如果json格式数据指令不符合json标准则退出任务,如果json格式指令数据中必填字段为空则退出任务,如果json格式指令数据符合执行要求,则基于预设格式指令数据进行指令拆分。72.步骤s40:存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分。73.需要说明的是,所述预设标识管理容器包括唯一标识管理容器、规则标识管理容器以及查询标识管理容器。74.可以理解的是,将拆分后的解析数据进行拆分,分别存储至对应的标识管理容器中,最终通过多个程序并行执行预设标识管理容器中的查询标识管理容器中的sql语句。75.在具体实现中,为了能够更好的将解析数据进行存储,进一步地,所述预设标识管理容器包括:唯一标识管理容器、规则标识管理容器以及查询标识管理容器;所述存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分,包括:将所述解析数据中的标识字段数据存储至所述唯一标识管理容器;将所述解析数据中的规则关系数据存储至所述规则标识管理容器;添加预设字段至所述解析数据中的表格名称数据,得到对应的查询指令数据;将所述查询指令数据存储至所述查询标识管理容器。76.需要说明的是,所述唯一标识管理容器存储了当前人群圈定任务对应的解析数据中所有的标识字段,其中对于一个解析数据唯一标识字段由人群id加上版本号组成,版本由日期加上版本次数,如下表1所示。77.可以理解的是,所述规则标识管理容器存储了解析数据中多表的关系即规则关系数据。例如,表a&&表b意思是表a和表b的交集,表a||表b意思是表a和表b的并集,如下表2所示。78.表1[0079][0080]表2[0081][0082]可以理解的是,所述查询标识管理容器存储了解析数据中的表格名称及对应数据,查询标识管理容器在一个查询指令中可能会对一张表进行查询,因此为了进行唯一标识,采用表名称 特定字符 数字组成,特定字符可以根据管理员或用户需求自行设定,本实施例对比不加以限制,如下表3所示,本实施例采用的特定字符为“$”。[0083]在具体实现中,为了提高任务执行效率,在完成任务拆分后,基于拆分后的解析数据查询数据,进一步地,所述存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分之后,还包括:执行所述解析数据对应的查询指令,得到对应的目标任务结果;将所述目标任务结果存储至预设分区表中,所述预设分区表的目标分区字段包括人群圈定任务识别号、人群圈定任务版本号以及结果表名称。[0084]表3[0085][0086]本实施例通过获取人群圈定任务;根据所述人群圈定任务生成对应的预设格式指令数据;基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据;存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分。通过上述方式,利用预设解析工具将指令数据进行拆分,得到的解析数据存储至预设标识管理容器,最终完成人群圈定任务的拆分,拆分后的任务将多表查询的串行执行方案变成并行执行方案,提高了查询效率。[0087]参考图5,图5为本发明一种人群圈定任务拆分方法第二实施例的流程示意图。[0088]基于上述第一实施例,本实施例人群圈定任务拆分方法中所述步骤s30,包括:[0089]步骤s301:通过预设解析工具对所述预设格式指令数据进行分层提取,得到第一层预设格式指令数据和第二层预设格式指令数据。[0090]需要说明的是,所述预设格式指令数据由json组成结构总计有两层json。[0091]可以理解的是,通过预设fastjson解析工具对json格式指令数据进行分层提取,将第一层json和第二层json提取出来[0092]步骤s302:通过预设解析工具对所述第二层预设格式指令数据进行解析,得到对应的关键值数据、目标值数据以及备注数据。[0093]需要说明的是,通过预设fastjson解析工具先将第一层json提取出来,其次对预设格式指令数据中的第二层json数据进行解析,即将table中的json为第二层json数据,再次对table中的数据进行再次解析并提取,得到关键值数据即key、目标值数据即value以及备注数据,并得到预设格式指令数据中key值为table的value。[0094]步骤s303:将所述第一层预设格式指令数据、关键值数据、目标值数据以及备注数据作为解析数据。[0095]需要说明的是,在对预设格式指令数据进行解析拆分后,将解析并拆分后的第一层预设格式指令数据、关键值数据、目标值数据、备注数据作为解析数据进行存储。[0096]本实施例通过预设解析工具对所述预设格式指令数据进行分层提取,得到第一层预设格式指令数据和第二层预设格式指令数据;通过预设解析工具对所述第二层预设格式指令数据进行解析,得到对应的关键值数据、目标值数据以及备注数据;将所述第一层预设格式指令数据、关键值数据、目标值数据以及备注数据作为解析数据,对预设格式指令数据完成更为细致全面的解析拆分,使对人群圈定任务的拆分能够更加准确并对拆分任务进行执行。[0097]此外,参照图6,本发明实施例还提出一种人群圈定任务拆分装置,所述人群圈定任务拆分装置包括:[0098]获取模块10,用于获取人群圈定任务。[0099]生成模块20,用于根据所述人群圈定任务生成对应的预设格式指令数据。[0100]拆分模块30,用于基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据。[0101]存储模块40,用于存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分。[0102]本实施例通过获取人群圈定任务;根据所述人群圈定任务生成对应的预设格式指令数据;基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据;存储所述解析数据至预设标识管理容器,完成所述人群圈定任务的拆分。通过上述方式,利用预设解析工具将指令数据进行拆分,得到的解析数据存储至预设标识管理容器,最终完成人群圈定任务的拆分,拆分后的任务将多表查询的串行执行方案变成并行执行方案,提高了查询效率。[0103]在一实施例中,所述生成模块20,还用于获取预设配置规则;[0104]基于所述预设配置规则通过预设数据管理平台将所述人群圈定任务转换程对应的预设格式指令数据。[0105]在一实施例中,所述拆分模块30,还用于判断所述预设格式指令数据是否符合预设指令执行条件;[0106]若所述预设格式指令数据符合所述预设指令执行条件时,执行基于所述预设格式指令数据通过预设解析工具进行数据拆分,得到对应的解析数据的步骤。[0107]在一实施例中,所述拆分模块30,还用于识别所述预设格式指令数据中的字段数据,得到对应的目标字段数据;[0108]判断所述目标字段数据中是否包含创建人数据、人群描述数据、人群识别号数据、人群名称数据、版本号数据、规则数据以及多表查询语句数据中至少一项。[0109]在一实施例中,所述拆分模块30,还用于通过预设解析工具对所述预设格式指令数据进行分层提取,得到第一层预设格式指令数据和第二层预设格式指令数据;[0110]通过预设解析工具对所述第二层预设格式指令数据进行解析,得到对应的关键值数据、目标值数据以及备注数据;[0111]将所述第一层预设格式指令数据、关键值数据、目标值数据以及备注数据作为解析数据。[0112]在一实施例中,所述存储模块40,还用于将所述解析数据中的标识字段数据存储至所述唯一标识管理容器;[0113]将所述解析数据中的规则关系数据存储至所述规则标识管理容器;[0114]添加预设字段至所述解析数据中的表格名称数据,得到对应的查询指令数据;[0115]将所述查询指令数据存储至所述查询标识管理容器。[0116]在一实施例中,所述存储模块40,还用于执行所述解析数据对应的查询指令,得到对应的目标任务结果;[0117]将所述目标任务结果存储至预设分区表中,所述预设分区表的目标分区字段包括人群圈定任务识别号、人群圈定任务版本号以及结果表名称。[0118]由于本装置采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。[0119]此外,本发明实施例还提出一种存储介质,所述存储介质上存储有人群圈定任务拆分程序,所述人群圈定任务拆分程序被处理器执行时实现如上文所述的人群圈定任务拆分方法的步骤。[0120]由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。[0121]需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。[0122]另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的人群圈定任务拆分方法,此处不再赘述[0123]此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。[0124]上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。[0125]通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(readonlymemory,rom)/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。[0126]以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的
技术领域
:,均同理包括在本发明的专利保护范围内。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献