一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种数据处理方法、装置、电子设备及计算机存储介质与流程

2022-11-16 11:28:17 来源:中国专利 TAG:
1.本发明涉及数据处理
技术领域
:,尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。
背景技术
::2.国内运价系统引入了规则运价,可以基于已有的运价,通过规则定义,动态、批量生成新的运价,以降低航空公司发布运价的人工成本,提高了运价数据维护的效率。3.随着规则运价产品的广泛使用,规则运价数据每年成倍增长。对生产数据分析后,发现大量的规则运价产品之间存在冗余数据,大部分字段内容相同,只有个别的字段有差异,尤其是针对不同旅客类型的折扣代码字段,很多数据只有这一个字段不同。这种情况下,需要人工重复录入大量的近似数据,增加了数据维护的成本。而且系统将数据全部装载到内存中,因此在数据容量方面,会大量占用内存空间,从而造成数据冗余。技术实现要素:4.有鉴于此,本发明实施例提供一种数据处理方法、装置、电子设备及计算机存储介质,以解决数据冗余的问题。5.为实现上述目的,本发明实施例提供如下技术方案:6.本发明实施例第一方面示出了一种数据处理方法,所述方法包括:7.获取用户基于规则运价界面上传的运价规则数据;8.基于所述运价规则数据,确定旅客类型的数量;9.若所述旅客类型的数量为多个时,基于所述规则运价数据的规则id,生成对应的识别编码;10.基于所述运价规则数据,生成多条记录;11.基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录。12.可选的,所述基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录,包括:13.对多条记录中数据项对应的内容数据进行分析处理,确定内容数据相同的数据项和内容数据不同的数据项;14.对所述内容数据相同的数据项进行合并,得到合并结果;15.基于所述合并结果和所述识别编码组成第一目标记录;16.基于所述内容数据不同的数据项和所述识别编码生成与所述规则id对应的第二目标记录。17.可选的,还包括:18.若所述旅客类型的数量为1个时,基于所述运价规则数据,生成第三目标记录,并存储于规则运价细节表。19.可选的,还包括:20.建立所述第一目标记录与目标数据项之间的索引,所述目标数据项是基于预设规则确定的;21.建立所述第三目标记录与目标数据项之间的索引,所述目标数据项是基于预设规则确定的。22.本发明实施例第二方面示出了一种数据处理装置,所述装置包括:23.获取单元,用于获取用户基于规则运价界面上传的运价规则数据;24.确定单元,用于基于所述运价规则数据,确定旅客类型的数量;25.处理单元,用于若所述旅客类型的数量为多个时,基于所述规则运价数据的规则id,生成对应的识别编码;基于所述运价规则数据,生成多条记录;基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录。26.可选的,所述基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录的处理单元,具体用于:27.对多条记录中数据项对应的内容数据进行分析处理,确定内容数据相同的数据项和内容数据不同的数据项;对所述内容数据相同的数据项进行合并,得到合并结果;基于所述合并结果和所述识别编码组成第一目标记录;基于所述内容数据不同的数据项和所述识别编码生成与所述规则id对应的第二目标记录。28.可选的,所述处理单元,还用于:若所述旅客类型的数量为1个时,基于所述运价规则数据,生成第三目标记录,并存储于规则运价细节表。29.可选的,还包括:30.建立单元,用于建立所述第一目标记录与目标数据项之间的索引,所述目标数据项是基于预设规则确定的;建立所述第三目标记录与目标数据项之间的索引,所述目标数据项是基于预设规则确定的。31.本发明实施例第三方面示出了一种电子设备,所述电子设备用于运行程序,其中,所述程序运行时执行如本发明实施例第一方面示出的数据处理方法。32.本发明实施例第四方面示出了一种计算机存储介质,所述存储介质包括存储程序,其中,在所述程序运行时控制所述存储介质所在设备执行如本发明实施例第一方面示出的数据处理方法。33.基于上述本发明实施例提供的一种数据处理方法、装置、电子设备及计算机存储介质,所述方法包括获取用户基于规则运价界面上传的运价规则数据;基于所述运价规则数据,确定旅客类型的数量;若所述旅客类型的数量为多个时,基于所述规则运价数据的规则id,生成对应的识别编码;基于所述运价规则数据,生成多条记录;基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录。通过上述方法将相同的数据进行合并以减少运价系统的数据容量,同时通过建立索引的方式提升运价计算性能。附图说明34.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。35.图1为本发明实施例示出的一种数据处理方法的流程示意图;36.图2为本发明实施例示出的规则运价的界面示意图;37.图3为本发明实施例示出确定第一目标记录和第二目标记录的流程示意图;38.图4为本发明实施例示出的一种数据处理装置的结构示意图;39.图5为本发明实施例示出的另一种处理装置的结构示意图。具体实施方式40.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。41.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。42.需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。43.在本技术中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。44.由
背景技术
:可知,在规则运价中定义多个旅客类型折扣代码时,需要重复录入多条记录,修改规则运价细则数据记录id、规则运价数据记录和发布规则运价数据的航空公司营业部的字段。在这种表结构设计中,维护多个旅客类型折扣代码时,会产生大量的冗余数据,除了规则运价细则数据记录标识码的fare_by_rule_dtl_id和折扣代码discount_code两个字段的内容不同,其它字段内容完全一样。这种设计极大的浪费了存储空间,并且维护起来也不灵活,需要重复录入数据。45.在本发明实施例中,获取用户基于规则运价界面上传的运价规则数据;基于所述运价规则数据,确定旅客类型的数量;若所述旅客类型的数量为多个时,基于所述规则运价数据的规则id,生成对应的识别编码;基于所述运价规则数据,生成多条记录;基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录。通过上述方法将相同的数据进行合并以减少运价系统的数据容量,同时通过建立索引的方式提升运价计算性能。46.参见图1,为本发明实施例示出的一种数据处理方法的流程示意图,该方法包括:47.步骤s101:获取用户基于规则运价界面上传的运价规则数据。48.可选的,如图2所示,为本发明实施例示出的规则运价界面的界面示意图。49.该界面包括所发送的规则的折扣代码的数据项和折扣代码子表。50.该界面进而还包括所发送的规则的销售生效日期、销售截止日期、最早旅行日期、最晚旅行日期、始发地信息、目的地信息、航程种类、是否直达、舱位代码、适用舱位、y舱价格范围、适用大客户编码、发布状态和备注等数据项。51.其中,始发地信息包括选择城市、机场或国家对应的编码和名称,目的地信息包括选择城市、机场或国家对应的编码和名称。52.在具体实现步骤s101的过程中,在用户登录对应的运价规则系统后,基于上述数据项输入的运价规则数据。53.所述运价规则数据包括发布规则运价的航空公司carr_code、发布规则运价数据的航空公司营业部location_code、规则运价数据记录标识码fare_by_rule_id、规则id、规则运价细则数据记录标识码fare_by_rule_dtl_id、以及上述示出的数据项所对应的信息及旅客类型的数量等信息。54.可选的,如图2所示,用户可录入多个旅客类型折扣代码,以斜线分割。若录入一个旅客类型折扣代码,仍然保存折扣代码discount_code字段的数据项,但此时dis_code_table_no字段为空;若录入多个旅客类型折扣代码,则可以斜线分割方式录入多个旅客类型折扣代码,折扣代码discount_code字段为空,dis_code_table_no字段的数据项存储规则运价折扣代码表号。55.旅客类型可包括成人ad、儿童ch或婴儿in。56.步骤s102:基于所述运价规则数据,确定旅客类型的数量。57.在具体实现步骤s102的过程中,计算所述运价规则数据中旅客类型的数量。58.步骤s103:确定所述旅客类型的数量是否为一个或多个,若所述旅客类型的数量为多个时,执行步骤s104至步骤s106,若所述旅客类型的数量为一个时,执行步骤s107。59.在具体实现步骤s103的过程中,判断所述旅客类型的数量是否为一个或多个,若所述旅客类型的数量为多个时,执行步骤s104至步骤s106,若所述旅客类型的数量为一个时,执行步骤s107。60.步骤s104:基于所述规则运价数据的规则id,生成对应的识别编码。61.在具体实现步骤s104的过程中,利用随机数生成算法生成与唯一识别所述规则运价数据的规则id的识别编码。62.需要说明的是,识别编码可为数字或是数字与字母的组合。63.步骤s105:基于所述运价规则数据,生成多条记录。64.在具体实现步骤s105的过程中,基于所述运价规则数据,建立相应的记录。65.需要说明的是,由于旅客类型的数量为多个,因此所建立的记录也为多个。66.步骤s106:基于所述多条记录和识别编码进行数据处理,确定规则运价细节表的第一目标记录,及规则运价折扣代码表中与所述id对应的第二目标记录。67.需要说明的是,具体实现步骤s106基于所述多条记录和识别编码进行数据处理,确定规则运价细节表的第一目标记录,及规则运价折扣代码表中与所述id对应的第二目标记录的过程,如图3所示,包括:68.步骤s301:对多条记录中数据项对应的内容数据进行分析处理,确定内容数据相同的数据项和内容数据不同的数据项。69.在具体实现步骤s301的过程中,比较多条记录中的同一数据项所对应的内容是否一致,若一致,确定内容数据相同的数据项和内容数据不同的数据项。70.步骤s302:对所述内容数据相同的数据项进行合并,得到合并结果。71.在具体实现步骤s302的过程中,为避免了数据冗余,可将内容数据相同的数据项进行合并,以去除相同的数据,得到合并结果。72.步骤s303:基于所述合并结果和所述识别编码组成第一目标记录。73.在具体实现步骤s303的过程中,将述合并结果和所述识别编码组成一条记录,即将多条记录可以合并为一条记录,并存储至规则运价细节表中。74.步骤s304:基于所述内容数据不同的数据项和所述识别编码生成与id对应的第二目标记录。75.在具体实现步骤s304的过程中,将所述内容数据不同的数据项和所述识别编码生成多条记录,即第二目标记录,并写入规则运价折扣代码表中。76.例如:假设xx航空公司的bjs营业部用户想发布一个规则id为“xyz100”的规则运价,该规则运价适用于旅客类型包括成人ad、儿童ch和婴儿in,以及其他的运价规则数据a,xx航空公司的bjs营业部用户可通过规则运价界面输入规则id为“xyz100”的规则运价,在图2的“规则运价”菜单下的“折扣代码”文本框里面输入“ad/ch/in”,以及输入其他的运价规则数据a的内容。数据录入系统后,基于规则id、旅客类型、和其他运价规则数据a建立3条相应的记录。比较3条记录中的同一数据项所对应的内容是否一致,若一致,确定内容数据相同的数据项和内容数据不同的数据项。为避免了数据冗余,可将内容数据相同的数据项,比如发布规则运价的航空公司carr_code、发布规则运价数据的航空公司营业部location_code、fare_by_rule_id、和规则运价细则数据记录标识码fare_by_rule_dtl_id等数据项进行合并,以去除相同的数据,得到合并结果。将述合并结果和所述识别编码组成一条记录,即将多条记录可以合并为一条记录,并存储至规则运价细节表中,如表(1)所示。将所述内容数据不同的数据项,比如序号segment_no、折扣代码discount_code和所述识别编码dis_code_table_no生成多条记录,即第二目标记录,并写入规则运价折扣代码表中,如表(2)所示。77.表(1):78.79.表(2):80.dis_code_table_nosegment_nodiscount_code63671968971ad63671968972ch63671968973in81.其中,规则运价细节表的折扣代码discount_code字段内容为空,并且规则运价细则数据记录标识码的fare_by_rule_dtl_id和dis_code_table_no,以及规则运价折扣代码表中的dis_code_table_no和segment_no,这四个字段的内容是系统自动生成的,由低到高递增。系统会根据规则运价细节表中的dis_code_table_no字段的表号,在规则运价折扣代码表中建立相应的记录。在此例中,系统会在规则运价折扣代码表中建立3条记录,dis_code_table_no字段的值都为“6367195796”,segment_no字段的内容从“1”开始,递增到“3”,折扣代码discount_code字段的内容分别为“ad”、“ch”和“in”。82.步骤s107:基于所述运价规则数据,生成第三目标记录,并存储于规则运价细节表。83.在具体实现步骤s107的过程中,基于所述运价规则数据,建立相应的第三目标记录,并存储于规则运价细节表。84.例如:假设xx航空公司的bjs营业部用户想发布一个“xyz200”的规则运价,该规则运价仅适用于儿童(ch)。该航空公司用户可以在图2的“规则运价”菜单下的“折扣代码”文本框里面输入“ch”。数据录入系统后,会产生如下表(3)的数据,其中规则运价细节表的折扣代码discount_code字段内容为“ch”,dis_code_table_no字段内容为空,系统不需要在规则运价折扣代码表中建立数据记录。85.表(3):[0086][0087]在本发明实施例中,获取用户基于规则运价界面上传的运价规则数据;基于所述运价规则数据,确定旅客类型的数量;若所述旅客类型的数量为多个时,基于所述规则运价数据的规则id,生成对应的识别编码;基于所述运价规则数据,生成多条记录;基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录。通过上述方法将相同的数据进行合并以减少运价系统的数据容量,同时通过建立索引的方式提升运价计算性能。[0088]基于上述本发明实施例示出的数据处理方法,该数据处理方法还包括以下步骤:[0089]步骤s11:建立所述第一目标记录与目标数据项之间的索引。[0090]在步骤s11中,所述目标数据项是基于预设规则确定的。[0091]在具体实现步骤s11的过程中,按照预设规则从第二目标记录中选择一个数据项作为目标数据项,并对该目标项的内容数据建立索引,使其指向规则运价细节表记录,即建立与所述第一目标记录之间的索引,从而使得第一目标记录与第二目标记录之间,可通过其中的任意一数据项索引得到。[0092]例如:表(1)示出的规则运价细节表中dis_code_table_no字段内容不为空,此时在表(3)规则运价折扣代码表中遍历dis_code_table_no字段值为“6367195796”的记录,获取表(3)每条记录中折扣代码discount_code字段内容的值,并对该目标项的内容数据“ad”、“ch”和“in”建立索引,使其指向其相对应的规则运价细节表记录,即第一记录。也就是说,通过多个旅客类型折扣代码复用一条规则运价细节记录,节省了存储空间。[0093]需要说明的是,预设规则是技术人员预先设置,一般为旅客类型。[0094]步骤s12:建立所述第三目标记录与目标数据项之间的索引,所述目标数据项是基于预设规则确定的。[0095]在具体实现步骤s12的过程中,按照预设规则从第三目标记录中选择一个数据项作为目标数据项,并对该目标项的内容数据建立索引,使其指向规则运价细节表记录,也就是说,通过第三目标记录中的任意数据项可查找到该记录的其他数据项。[0096]可选的,在运价计算的过程中,获取运价计算请求中携带的旅客类型。基于所述旅客类型索引出对应的规则运价细节记录,并进行运价计算。减少遍历规则运价细节记录,避免无效的校验。比如,旅客类型折扣代码最后校验,对于某条规则运价细节记录,其它字段都校验通过了,但是旅客类型折扣代码校验失败,该规则运价细节记录的最终结果是不可使用,因此,之前的校验属于无效校验。而规则运价细节表中的字段很多,这种无效校验十分影响性能。经过数据预处理,即建立索引后,可以通过索引快速筛选出有限的候选规则运价细节记录,提升计算性能。[0097]在本发明实施例中,建立所述第一目标记录与目标数据项之间的索引;建立所述第三目标记录与目标数据项之间的索引,所述目标数据项是基于预设规则确定的。通过上述方法通过建立索引,以可以通过索引快速筛选出有限的候选规则运价细节记录,提升计算性能。[0098]基于上述本发明实施例示出的数据处理方法,相应的,本发明实施例示出了一种数据处理装置的结构示意图,如图4所示,该装置包括:[0099]获取单元401,用于获取用户基于规则运价界面上传的运价规则数据;[0100]确定单元402,用于基于所述运价规则数据,确定旅客类型的数量;[0101]处理单元403,用于若所述旅客类型的数量为多个时,基于所述规则运价数据的规则id,生成对应的识别编码;基于所述运价规则数据,生成多条记录;基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录。[0102]需要说明的是,上述本发明实施例公开的数据处理装置中的各个单元具体的原理和执行过程,与上述本发明实施示出的数据处理方法相同,可参见上述本发明实施例公开的数据处理方法中相应的部分,这里不再进行赘述。[0103]在本发明实施例中,获取用户基于规则运价界面上传的运价规则数据;基于所述运价规则数据,确定旅客类型的数量;若所述旅客类型的数量为多个时,基于所述规则运价数据的规则id,生成对应的识别编码;基于所述运价规则数据,生成多条记录;基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录。通过上述方法将相同的数据进行合并以减少运价系统的数据容量,同时通过建立索引的方式提升运价计算性能。[0104]可选的,基于上述本发明实施例示出的数据处理装置,所述基于所述多条记录和识别编码进行数据处理,确定第一目标记录,及与所述id对应的第二目标记录的处理单元403,具体用于:[0105]对多条记录中数据项对应的内容数据进行分析处理,确定内容数据相同的数据项和内容数据不同的数据项;对所述内容数据相同的数据项进行合并,得到合并结果;基于所述合并结果和所述识别编码组成第一目标记录;基于所述内容数据不同的数据项和所述识别编码生成与所述规则id对应的第二目标记录。[0106]可选的,基于上述本发明实施例示出的数据处理装置,所述处理单元403,还用于:若所述旅客类型的数量为1个时,基于所述运价规则数据,生成第三目标记录,并存储于规则运价细节表。[0107]可选的,基于上述本发明实施例示出的数据处理装置,结合图4,参见图5,该数据处理装置还包括:建立单元404。[0108]建立单元404,用于建立所述第一目标记录与目标数据项之间的索引,所述目标数据项是基于预设规则确定的;建立所述第三目标记录与目标数据项之间的索引,所述目标数据项是基于预设规则确定的。[0109]在本发明实施例中,建立所述第一目标记录与目标数据项之间的索引;建立所述第三目标记录与目标数据项之间的索引,所述目标数据项是基于预设规则确定的。通过上述方法通过建立索引,以可以通过索引快速筛选出有限的候选规则运价细节记录,提升计算性能。[0110]本发明实施例还公开了一种电子设备,该电子设备用于运行数据库存储过程,其中,所述运行数据库存储过程时执行上述图1和图2公开的数据处理方法。[0111]本发明实施例还公开了一种计算机存储介质,所述存储介质包括存储数据库存储过程,其中,在所述数据库存储过程运行时控制所述存储介质所在设备执行上述图1和图2公开的数据处理方法。[0112]在本公开的上下文中,计算机存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备或上述内容的任何合适组合。[0113]本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。[0114]专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。[0115]对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。当前第1页12当前第1页12
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献