一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种数据处理方法、装置、电子设备和介质与流程

2021-12-01 01:41:00 来源:中国专利 TAG:
1.本技术涉及计算机处理技术,具体涉及一种数据处理方法、装置、电子设备和介质。
背景技术
::2.随着大数据技术与应用的发展,企业管理的数据量越来越庞大,大数据分析已成为驱动企业业务发展的必备手段。数据分析的准确性取决于数据模型的准确性,数据模型是根据源数据表(源表)得到的。而当源数据表中的字段改变时,由于数据模型不能同步改变结构,导致源表结构和数据模型结构不一致,进而造成数据模型准确性下降甚至数据同步失败。技术实现要素:3.有鉴于此,本技术实施例提供一种数据处理方法、装置、电子设备和介质,以实现在源表的数据结构发生变化时,对数据模型的结构进行更新,提高数据分析的准确性。4.为实现上述目的,本技术实施例提供的技术方案如下:5.在本技术实施例第一方面,提供了一种数据处理方法,其特征在于,所述方法包括:6.响应于第一源表的数据结构发生变化,获取数据模型的第一数据结构,所述数据模型为对所述第一源表中的数据进行分析时所对应的数据表,所述第一数据结构为所述第一源表的数据结构发生变化前所述数据模型对应的数据结构;7.将所述第一源表的数据结构与所述数据模型的第一数据结构进行匹配,获得匹配结果,所述第一源表的数据结构为发生变化后所述第一源表对应的数据结构;8.根据所述匹配结果对所述数据模型的第一数据结构进行调整,获得所述数据模型的第二数据结构。9.在本技术实施例第二方面,提供了一种数据处理装置,所述装置包括:10.获取单元,用于响应于第一源表的数据结构发生变动,获取数据模型的第一数据结构,所述数据模型为对所述第一源表中的数据进行分析时所对应的数据表,所述第一数据结构为所述第一源表的数据结构发生变化前所述数据模型对应的数据结构;11.匹配单元,用于将所述第一源表中的数据结构与所述数据模型的第一数据结构进行匹配,获得匹配结果,所述第一源表的数据结构为发生变化后所述第一源表对应的数据结果;12.调整单元,用于根据所述匹配结果对所述数据模型的第一数据结构进行调整,获得所述数据模型的第二数据结构。13.在本技术实施例第三方面,提供了一种电子设备,所述设备包括:处理器和存储器;14.所述存储器,用于存储指令或计算机程序;15.所述处理器,用于执行所述存储器中的所述指令或计算机程序,以使得所述电子设备执行第一方面所述的数据处理方法。16.在本技术实施例第四方面,提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行第一方面所述的数据处理方法。17.由此可见,本技术实施例具有如下有益效果:18.本技术实施例可以对第一源表的数据结构进行监测,当监测到第一源表的数据结构发生变动时,获取数据模型的第一数据结构,该第一数据结构为第一源表的数据结构发生变化之前,数据模型所对应的数据结构。其中,数据模型用于对第一源表中的数据进行分析,该数据模型物理上对应一张数据表,该数据表是根据第一源表的数据获得的。将第一源表中的数据结构(发生变化后的数据结构)与数据模型的第一数据结构进行匹配,获得匹配结果,并根据匹配结果对数据模型的第一数据结构进行调整,获得数据模型的第二数据结构。可见,通过本技术实施例提供的方法,使得数据模型的数据结构与第一源表的数据结构保持一致,从而提高数据分析的准确性。附图说明19.图1为本技术实施例提供的一种数据处理方法流程图;20.图2a为本技术实施例提供的一种数据源表的数据结构调整示意图;21.图2b为本技术实施例提供的一种数据结构调整对比示意图;22.图2c为本技术实施例提供的另一种数据结构调整对比示意图;23.图3a为本技术实施例提供的一种自动更新数据模型的数据结构框架图;24.图3b为本技术实施例提供的一种手动更新数据模型的数据结构框架图;25.图4为本技术实施例提供的一种数据处理装置结构图;26.图5为本技术实施例提供的一种电子设备结构图。具体实施方式27.为使本技术的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本技术实施例作进一步详细的说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本技术,并非对本技术的限定。另外,还需要说明的是,为便于描述,附图中仅示出了与本技术相关的部分,并非全部结构。28.为便于理解本技术实施例提供的技术方案,下面将先对本技术实施例所涉及的技术名词进行说明。29.源表:数据源表,用来存储数据的原始表,为用户侧的数据。30.数据模型:用于对源表中的数据进行分析,其在物理上对应一张底表。31.底表:用来存储数据模型的结构和源表中数据的数据表,数据模型的结构与底表的结构一致。其中,底表中数据的读取速度高于源表中数据的读取速度。32.字段:为源表中的列名或底表的列名。33.同步任务:用于将源表中的数据同步到底表中。34.在实际应用中,在获取到源表后,用户可以根据源表的数据和相关配置生成一张底表,以用于存储数据模型的结构和数据。当源表中的数据更新时,同步任务会自动将新数据从源表中同步到底表。然而,当源表的数据结构发生变化时,例如,源表中增加新的字段,由于底表的结构未相应改变,导致底表的数据结构和源表的数据结构不一致,导致数据丢失以及同步任务失败。35.基于此,本技术实施例提供的一种数据处理方法,当监测到第一源表的数据结构发生变化时,获取数据模型的第一数据结构,该第一数据结构为第一源表的数据结构发生变化之前,数据模型所对应的数据结构,并将第一源表的数据结构(发生变化后的数据结构)与数据模型的第一数据结构进行匹配,获得匹配结果。在获得匹配结果后,根据匹配结果对数据模型的第一数据结构进行调整,获得数据模型的第二数据结构。即,在监测到第一源表的数据结构发生变动且对数据模型中的数据进行同步之前,先对第一源表的数据结构和数据模型的第一数据结构进行比对,获得比对结果,并根据比对结果对数据模型的第一数据结构进行调整,从而使得数据模型的第二数据结构与第一源表的数据结构一致,进而保证同步任务的顺利进行,提高数据分析的准确性。36.为便于理解,下面将结合附图对本技术实施例提供的技术方案进行说明。37.参见图1,该图为本技术实施例提供的一种数据处理方法流程图,如图1所示,该方法可以包括:38.s101:响应于第一源表的数据结构发生变化,获取数据模型的第一数据结构。39.本实施例中,可以监测第一源表的数据结构,当监测到第一源表的数据结构发生变化时,则获取数据模型的第一数据结构。其中,第一数据结构为第一源表的数据结构发生变化之前,数据模型所对应的数据结构,数据模型为根据第一源表生成的新的数据表,该数据表可以对第一源表中的数据进行分析。即,数据模型中所包括的数据与第一源表中的数据一致,但数据模型中的数据可以具有属性信息,例如生命周期。其中,第一源表的数据结构发生变化可能为在第一源表中增加字段、删除字段以及修改字段等操作。例如图2a所示,以修改字段为例,修改之前,字段为password,修改后字段为pwd。40.s102:将第一源表的数据结构与数据模型的数据结构进行匹配,获得匹配结果。41.在获取到数据模型的第一数据结构后,将第一源表的数据结构与数据模型的第一数据结构进行匹配,从而确定出数据模型的第一数据结构中与第一源表的数据结构不一致的内容,从而得到匹配结果。其中,第一源表的数据结构为发生变化后第一源表所对应的数据结构。其中,匹配结果可以包括增加字段、删除字段、修改字段中的一种或多种。例如,图2b所示,第一源表的数据结构与数据模型的第一数据结构比较,匹配结果为修改字段。如2c所示,第一源表的数据结构与数据模型的第一数据结构比较,匹配结果为增加字段。42.s103:根据匹配结果对数据模型的第一数据结构进行调整,获得数据模型的第二数据结构。43.在确定出匹配结果后,根据匹配结果对数据模型的第一数据结构进行调整,获得数据模型的第二数据结构。进一步地,在调整完数据模型的第一数据结构后,根据第一源表的数据结构对应的数据,对数据模型的第二数据结构对应的数据进行更新,从而完成同步任务。44.具体地,当匹配结果为增加字段时,在数据模型的第一数据结构中添加相应字段。当匹配结果为删除字段时,将数据模型的第一数据结构中相应字段进行删除。当匹配结果为修改字段时,先删除数据模型的第一数据结构中修改前的字段;再在数据模型的第一数据结构中添加修改后的字段。例如,将第一源表中的字段password修改为字段pwd,则在对数据模型的第一数据结构进行调整时,先删除字段password,再增加字段pwd,从而得到数据模型的第二数据结构。45.需要说明的是,在一些应用场景中,一个数据模型可以对应多个源表,当出现第一源表的数据结构中所添加的字段名称和/或修改的字段名称与第二源表的数据结构中字段名称重复的情况下,且对数据模型的第一数据结构进行调整时,则在字段名称后中添加对应的源表标识,从而区分来自不同源表的字段。例如,数据模型对应第一源表和第二源表。其中,第一源表中的字段password改为字段pwd,而第二源表中包括字段pwd,则对数据模型进行修改时,将数据模型的第一数据结构中第一源表的字段password修改为pwd.1,以及将数据模型的第一数据结构中第二源表中的字段pwd修改为pwd.2。另外,当对第一源表进行删除操作时,则可以不调整数据模型的第一数据结构。46.需要说明的是,在确定出匹配结果后,可以自动触发更新数据模型的第一数据结构的任务,也可以通知用户进行手动更新。当手动更新与自动更新同时执行时,不仅会造成资源浪费,也可能会引发更新错误。基于此,为解决上述问题,通过添加调整标志位的方式来避免手动更新和自动更新同时执行。具体地,如果自动更新的任务先发起,则可以将调整标志位修改为第二信息,例如,将调整标志为修改为“修改中”,当用户手动发起更新任务时,由于此时调整标志位为第二信息,则不再执行更新操作。当对数据模型的第一数据结构完成调整后,将调整标志位修改为第一信息,例如,将调整标志位设置为空或无修改。47.因此,在根据匹配结果对数据模型的第一数据结构进行调整之前,首先获取调整标志为所对应的信息,当该调整标志位的信息为第一信息时,表明当前不存在其它更新操作,则将调整标志位的信息修改为第二信息,并对数据模型的第一数据结构进行调整。在完成对数据模型的第一数据结构完成调整后,将调整标志位的信息修改为第一信息。其中,调整标志位用于指示数据模型的第一数据结构是否正在被修改。48.为便于理解调整标志位的处理实现,分别参见图3a和图3b所示。其中,图3a为同步任务中自动触发的更新数据模型的第一数据结构的处理流程,首先,判断调整标志为是否为修改中,如果否,则将调整标志为配置为“修改中”,并对数据模型的第一数据结构进行修改,修改完成后,执行数据更新任务。在执行完数据更新任务后,将调整标志为配置为“空”。如果调整标志为“修改中”,则结束。图3b为手动更新数据模型的第一数据结构,首先判断调整标志位是否为修改中,如果否,将调整标志为配置为“修改中”则手动修改数据模型的第一数据结构,并保存修改后的数据结构,即第二数据结构。在完成对数据模型的第一数据结构的修改后,将调整标志为配置为“空”。如果调整标志位为“修改中”,则结束。49.可见,在监测到第一源表的数据结构发生变动且对数据模型中的数据进行同步之前,先对第一源表的数据结构(变化后的数据结构)和数据模型的第一数据结构(为第一源表的数据结构发生变化前数据模型所对应的数据结构)进行比对,获得比对结果,并根据比对结果对数据模型的第一数据结构进行调整,从而使得数据模型的第二数据结构与第一源表的数据结构一致,进而保证同步任务的顺利进行,提高数据分析的准确性。50.基于上述方法实施例,本技术实施例提供了一种数据处理装置,下面将结合附图对该装置进行说明。51.参见图4,该图为本技术实施例提供的一种数据处理装置结构图,如图4所示,该装置可以包括:52.获取单元401,用于响应于第一源表的数据结构发生变动,获取数据模型的第一数据结构,所述数据模型为对所述第一源表中的数据进行分析时所对应的数据表,所述第一数据结构为所述第一源表的数据结构发生变化前所述数据模型对应的数据结构;53.匹配单元402,用于将所述第一源表中的数据结构与所述数据模型的第一数据结构进行匹配,获得匹配结果,所述第一源表的数据结构为发生变化后所述第一源表对应的数据结构;54.调整单元403,用于根据所述匹配结果对所述数据模型的第一数据结构进行调整,获得所述数据模型的第二数据结构。55.在一种具体的实现方式中,所述匹配结果包括增加字段、删除字段和修改字段中的一种或多种。56.在一种具体的实现方式中,所述调整单元403,具体用于在所述匹配结果为所述修改字段时,删除所述数据模型中的第一数据结构中修改前的字段;在所述数据模型中的第一数据结构中添加修改后的字段,获得所述数据模型的第二数据结构。57.在一种具体的实现方式中,所述装置还包括:添加单元;58.所述添加单元,具体用于在增加字段的字段名称和/或修改字段的字段名称与第二源表中的字段名称重复时,在所述数据模型的第二数据结构中相应字段的字段名称后添加对应的源表标识,所述数据模型为对所述第二源表中的数据进行分析时所对应的数据表。59.在一种具体的实现方式中,所述装置还包括:修改单元;60.所述获取单元,还用于获取调整标志位所对应的信息;61.修改单元,用于在调整标志位为第一信息时,将所述调整标志位修改为第二信息。62.在一种具体的实现方式中,所述修改单元,还用于在获得所述数据模型的第二数据结构后,将所述调整标志位修改为所述第一信息。63.在一种具体的实现方式中,所述装置还包括:更新单元;64.所述更新单元,用于根据所述第一源表的数据结构所对应的数据,对所述数据模型的第二数据结构所对应的数据进行更新。65.需要说明的是,本实施例中各个单元的实现可以参见上述方法实施例的相关描述,本实施例在此不再赘述。66.下面参考图5,其示出了适于用来实现本技术实施例的电子设备500的结构示意图。本技术实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(personaldigitalassistant,个人数字助理)、pad(portableandroiddevice,平板电脑)、pmp(portablemediaplayer,便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv(television,电视机)、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本技术实施例的功能和使用范围带来任何限制。67.如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。68.通常,以下装置可以连接至i/o接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。69.特别地,根据本技术的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本技术的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从rom502被安装。在该计算机程序被处理装置501执行时,执行本技术实施例的方法中限定的上述功能。70.本技术实施例提供的电子设备与上述实施例提供的数据处理方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。71.本技术实施例提供一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如上述任一实施例所述的数据处理方法。72.需要说明的是,本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd‑rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。73.在一些实施方式中,客户端、服务器可以利用诸如http(hypertexttransferprotocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“lan”),广域网(“wan”),网际网(例如,互联网)以及端对端网络(例如,adhoc端对端网络),以及任何当前已知或未来研发的网络。74.上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。75.上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述数据处理方法。76.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。77.附图中的流程图和框图,图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。78.描述于本技术实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元/模块的名称在某种情况下并不构成对该单元本身的限定,例如,语音数据采集模块还可以被描述为“数据采集模块”。79.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。80.在本技术的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd‑rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。81.需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。82.应当理解,在本技术中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。83.还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。84.对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献