一种基于网页的Excel数据处理方法和装置与流程

一种基于网页的excel数据处理方法和装置
技术领域
1.本发明涉及数据处理技术领域，具体涉及一种基于网页的excel数据处理方法和装置。


背景技术：

2.在新药研发或新材料研发的过程中，对新药分子或新材料的成分进行检测是一个必须经历的过程。在这些检测过程中，会形成大量的检测结果文件，其中有很大一部分数据会形成excel格式的文件。但是，这些结果文件的内容格式多种多样，特别是对于不同种检测类型或不同检测过程，其文件中所存储的数据的样式，基本都是不一样的，即使是相同的检测类型或检测过程，在不同的单位内部，也会由于不同单位的要求不同而形成不同样式的数据文件(后续将excel中数据填写的不同样式称之为模板)。
3.由于检测样品的数量比较大，检测的类型比较多，并且这种检测是个长期执行的操作，因此长时间下来，将会生成大量的检测结果文件，这些文件中的数据如何提取和使用，是一个较难解决的问题。其一，由于模板文件不同导致无法统一处理，其二，由于数据存放在各个excel文件中，无法一次将分散在各个文件中的数据一次性提取出来。目前，只能通过人工逐个打开文件通过复制粘贴的方式将其中的数据提取出来，这需要花费大量的人力及时间，导致数据提取效率较低，人工成本较高。


技术实现要素：

4.为此，本发明实施例提供一种基于网页的excel数据处理方法和装置，以至少部分解决现有技术中表格数据提取效率较低，人工和时间成本较高的技术问题。
5.为了实现上述目的，本发明实施例提供如下技术方案：
6.一种基于网页的excel数据处理方法，所述方法包括：
7.获取待提取数据的目标文件；
8.响应于页面操作指令，获取与所述页面操作指令匹配的预存的数据模板，利用预存的数据模板所对应的预存的数据转换模型，提取所述目标模板中的数据；
9.其中，所述数据转换模型通过对在网页上展示的文件样本进行数据处理得到。
10.进一步地，创建所述数据转换模型具体包括：
11.获取文件样本和所述文件样本的模板类型，并将所述文件样本显示于网页上；
12.对显示于网页的文件样本进行处理，并将处理过程创建为所述数据转换模型；
13.将所述数据转换模型和文件样本的模板类型以序列形式存储于数据库中。
14.进一步地，将所述文件样本显示于网页上，具体包括：
15.解析所述文件样本中的数据及数据在所述样本文件中所处的位置；
16.基于读取的数据在文件样本中的位置，通过表格的方式在网页中进行显示。
17.进一步地，解析所述文件样本中的数据及数据在所述样本文件中所处的位置时，当读取的数据存在合并了单元格的数据，则拆分所述文件样本中合并了单元格的数据，并
将拆分得到的数据放置于拆分后的第一个单元格中，并以拆分后的第一个单元格作为拆分后得到的数据的位置。
18.进一步地，对显示于网页的文件样本进行处理，具体包括：
19.将文件样本中的第一列数据作为表头显示，并作为字段名称存储；
20.设置各列的数据格式，并作为字段类型存储；
21.删除数据中的空行；
22.将选中列中不同的数值转换为不同的列；
23.将不需要的数据行从数据表中筛除。
24.进一步地，创建的所述数据转换模型具体为：
[0025]“使用第一行作为表头
”‑“
数据类型
”‑“
删除行
”‑“
透视列
”‑“
筛选行”。
[0026]
本发明还提供一种基于网页的excel数据处理装置，所述装置包括：
[0027]
模板获取单元，用于获取待提取数据的目标文件；
[0028]
数据提取单元，用于响应于页面操作指令，获取与所述页面操作指令匹配的预存的数据模板，利用预存的数据模板所对应的预存的数据转换模型，提取所述目标模板中的数据；
[0029]
其中，所述数据转换模型通过对在网页上展示的文件样本进行数据处理得到。
[0030]
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。
[0031]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
[0032]
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
[0033]
本发明所提供的基于网页的excel数据处理方法和装置，通过获取待提取数据的目标文件，并识别所述目标文件所采用的目标模板；遍历预存的数据模板，并在任一预存的数据模板与所述目标模板的模板类型相同时，利用该预存的数据模板所对应的预存的数据转换模型，提取所述目标模板中的数据；其中，所述数据转换模型通过对在网页上展示的文件样本进行数据处理得到。该方法和装置能够实现表格数据的自动处理和提取，解决了现有技术中表格数据提取效率较低，人工和时间成本较高的技术问题。
附图说明
[0034]
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0035]
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
[0036]
图1为本发明所提供的基于网页的excel数据处理方法一种具体实施方式的流程
图；
[0037]
图2为图1所示方法中数据转换模型的创建流程图；
[0038]
图3为本发明所提供的基于网页的excel数据处理装置一种具体实施方式的结构框图；
[0039]
图4为本发明所提供的一种计算机设备的结构框图。
具体实施方式
[0040]
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
为了解决excel文件中的数据难以结构化存储、数据难以查询和数据难以批量提取的问题，本发明提供了一种在web端(网页端)通过浏览器中对excel 数据进行预览和操作，生成数据转换模型，实现对excel文件数据的提取，并将提取的数据存储到数据库中，以实现数据信息的快速提取和处理。
[0042]
请参考图1，图1为本发明所提供的基于网页的excel数据处理方法一种具体实施方式的流程图。
[0043]
在一种具体实施方式中，本发明所提供的基于网页的excel数据处理方法包括以下步骤：
[0044]
s101：获取待提取数据的目标文件；
[0045]
s201：响应于页面操作指令，获取与所述页面操作指令匹配的预存的数据模板，利用预存的数据模板所对应的预存的数据转换模型，提取所述目标模板中的数据；
[0046]
其中，所述数据转换模型通过对在网页上展示的文件样本进行数据处理得到。
[0047]
在数据转换模型被建立并保存后，可应用到已被打开的当前excel文件的其它表单(sheet)上，或已被打开的其它excel的所有表单上，也可以在数据转换规则管理页面，将其应用到其它未打开的excel文件上，从而对其它 excel文件中的数据按照规则中相同的数据处理流程进行数据的处理，显然地，这些表单均可作为待提取数据的目标文件。
[0048]
在一些实施例中，如图2所示，创建所述数据转换模型具体包括以下步骤：
[0049]
s201：获取文件样本和所述文件样本的模板类型，并将所述文件样本显示于网页上。具体地，首先，解析所述文件样本中的数据及数据在所述样本文件中所处的位置；而后，基于读取的数据在文件样本中的位置，通过表格的方式在网页中进行显示。
[0050]
在一些使用场景中，表格中的数据可能会存在合并了的单元格，对于这些合并了的单元格，在解析所述文件样本中的数据及数据在所述样本文件中所处的位置时，当读取的数据存在合并了单元格的数据，则拆分所述文件样本中合并了单元格的数据，并将拆分得到的数据放置于拆分后的第一个单元格中，并以拆分后的第一个单元格作为拆分后得到的数据的位置。
[0051]
也就是说，为了能在网页中将excel文件数据导入到数据库，首先需要通过浏览器来展示excel文件内容，以便对其进行处理。浏览器在读取excel 文件后，解析excel文件中的数据及数据在文件中所处的位置，然后将读取的数据按照它们在excel中的位置，通过表
格的方式在网页中显示出来。这个过程中，对excel文件中合并了单元格的数据，会进行拆分，并将数据放置于拆分后的第一个单元格中，这么做的目的是为了更方便的将数据在表格中展示，减少数据展示时所需要花费的计算量。
[0052]
s202：对显示于网页的文件样本进行处理，并将处理过程创建为所述数据转换模型。具体地，在对显示于网页的文件样本进行处理时，先将文件样本中的第一列数据作为表头显示，并作为字段名称存储，设置各列的数据格式，并作为字段类型存储；删除数据中的空行；将选中列中不同的数值转换为不同的列；将不需要的数据行从数据表中筛除。据此创建的所述数据转换模型具体为：“使用第一行作为表头
”‑“
数据类型
”‑“
删除行
”‑“
透视列
”‑“
筛选行”。
[0053]
在一个具体使用场景中，为了将excel文件中的数据整理成能在数据库中存储的格式，需要对文件数据进行处理并可以在操作端设置相应的处理工具。具体地，使用第一行作为表头：第一行每个值作为该列的列名取代覆盖原列名，整体数据表向上移动1行。删除最前几行：删除数据中的前面几行(行数由用户输入)。数据类型：设置选中列的数据类型(文本，数值，日期，布尔值)。按分隔符拆分列：根据用户输入的分隔符将选中列拆分成多列。列名重命名：将选中的列重新设置列名。逆透视列：将主列外的其他多列数据合并成一个列，即将列装换成行，然后将主列中原始值扩展成多个重复数值与合并后的新列产生对应关系，以便进行后续分析计算。透视列：列下所有的n个非重复数据转换成n个新列，然后对原始数据进行汇总合并来计算新列中的每一行值。值替换：将用户选定的值替换为用户输入的新值。删除列：删除用户选中的列。筛选行：根据用户输入的筛选条件筛选行数据。删除行：删除某些行(由用户输入，如前面几行，后面几行，指定行，空行)。转置：将当前表的行列互换。数据获取：根据用户输入的数据提取规则获取excel中指定位置的数据。
[0054]
在提供了excel数据在浏览器页面上的展示和数据处理工具后，可以在页面上使用处理工具对数据按需进行处理，如：首先使用“使用第一行作为表头”工具，将excel数据中的第一列数据，作为表头显示，同时也会在后续将这些数据存储到数据库中时，将其作为字段名称存储。第二步使用多个“数据类型”工具，设置各列的数据格式，比如日期格式，数值格式，这些数据在后续存储到数据库中时，相应的字段也会用对应的字段类型进行存储。第三步使用“删除行”工具，删除数据中的空行，以免在后续存储到数据库中时，将无效的数据也做了存储。第四步使用“透视列”工具，将选中列中不同的数值转换为不同的列。最后使用“筛选行”工具，将不需要的数据行从数据表中筛除。
[0055]
s203：将所述数据转换模型和文件样本的模板类型以序列形式存储于数据库中。
[0056]
经过这些操作，系统将生成一个数据转换规则：“使用第一行作为表头
”ꢀ‑“
数据类型
”‑“
删除行
”‑“
透视列
”‑“
筛选行”，这个数据转换规则可被存储，从而实现数据库的创建。
[0057]
在上述具体实施方式中，本发明所提供的基于网页的excel数据处理方法，通过获取待提取数据的目标文件，并识别所述目标文件所采用的目标模板；遍历预存的数据模板，并在任一预存的数据模板与所述目标模板的模板类型相同时，利用该预存的数据模板所对应的预存的数据转换模型，提取所述目标模板中的数据；其中，所述数据转换模型通过对在网页上展示的文件样本进行数据处理得到。该方法和装置能够实现表格数据的自动处理和提取，解决了现有技术中表格数据提取效率较低，人工和时间成本较高的技术问题。
[0058]
除了上述方法，本发明还提供一种基于网页的excel数据处理装置，如图 3所示，
所述装置包括：
[0059]
模板获取单元100，用于获取待提取数据的目标文件，并识别所述目标文件所采用的目标模板；
[0060]
数据提取单元200，用于遍历预存的数据模板，并在任一预存的数据模板与所述目标模板的模板类型相同时，利用该预存的数据模板所对应的预存的数据转换模型，提取所述目标模板中的数据；
[0061]
其中，所述数据转换模型通过对在网页上展示的文件样本进行数据处理得到。
[0062]
在一种具体实施方式中，本发明所提供的基于网页的excel数据处理装置，通过获取待提取数据的目标文件，并识别所述目标文件所采用的目标模板；遍历预存的数据模板，并在任一预存的数据模板与所述目标模板的模板类型相同时，利用该预存的数据模板所对应的预存的数据转换模型，提取所述目标模板中的数据；其中，所述数据转换模型通过对在网页上展示的文件样本进行数据处理得到。该装置能够实现表格数据的自动处理和提取，解决了现有技术中表格数据提取效率较低，人工和时间成本较高的技术问题。
[0063]
在一个实施例中，本发明还提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和模型预测。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的模型预测用于存储静态信息和动态信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述方法实施例中的步骤。
[0064]
本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0065]
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种砝码检定系统执行如上所述的方法。
[0066]
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述方法。
[0067]
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific工ntegrated circuit，简称asic)、现场可编程门阵列(fieldprogrammable gate array，简称fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0068]
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储
器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
[0069]
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
[0070]
其中，非易失性存储器可以是只读存储器(read-only memory，简称rom)、可编程只读存储器(programmable rom，简称prom)、可擦除可编程只读存储器(erasable prom，简称eprom)、电可擦除可编程只读存储器(electricallyeprom，简称eeprom)或闪存。
[0071]
易失性存储器可以是随机存取存储器(random access memory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，简称sram)、动态随机存取存储器 (dynamic ram，简称dram)、同步动态随机存取存储器(synchronous dram，简称sdram)、双倍数据速率同步动态随机存取存储器(double dataratesdram，简称ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，简称esdram)、同步连接动态随机存取存储器(synchlink dram，简称sldram)和直接内存总线随机存取存储器(directrambus ram，简称drram)。
[0072]
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
[0073]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0074]
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。