一种数据整编方法及系统与流程

1.本发明涉及数据处理技术领域，尤其涉及一种数据整编方法及系统。


背景技术：

2.在通信网络中，网络资源数据类型繁多，数据价值密度也相对较低，通常达不到处理速度快和高时效性的要求。
3.由于原始数据都是零星的、分散的和非系统化的，只能表明各个被调查单位的具体情况，不能说明对象的总体全貌，也不能说明事务的本质特征，也无法揭示事物的发展规律。因此，必须对这些数据进行加工和整理，以实现各单位、各部门之间以及各应用系统之间提供可靠的消息和文件传输，实现多种数据信息同步，包括结构化、半结构化和非结构化数据的交换共享，还有对数据交换过程的有序管理。
4.因此，需要提出一种新的数据整编方法。


技术实现要素：

5.本发明提供一种数据整编方法及系统，用以解决现有技术中存在的缺陷。
6.第一方面，本发明提供一种数据整编方法，包括：
7.获取已通过质量审核的数据资产；
8.根据业务需求从数据仓库的产品目录中订阅数据产品及服务，基于订阅的数据产品及服务对所述数据资产进行初步整理；
9.按照多维度对初步整理后的数据资产进行编目管理，提供数据目录的查询和浏览，得到数据资产整编分类结果。
10.在一个实施例中，所述获取已通过质量审核的数据资产，之前还包括：
11.对用户进行身份认证和访问控制鉴权。
12.在一个实施例中，所述按照多维度对初步整理后的数据资产进行编目管理，提供数据目录的查询和浏览，得到数据资产整编分类结果，之后还包括：
13.查看订阅的数据服务的数据详情，以及查看订阅服务的访问日志。
14.在一个实施例中，所述根据业务需求从数据仓库的产品目录中订阅数据产品及服务，基于订阅的数据产品及服务对所述数据资产进行初步整理，包括：
15.输出数据订阅的预设菜单栏模块，所述预设菜单栏模块包括我的订阅、订阅申请、我的申请、服务审批和服务产品；
16.基于所述预设菜单栏模块对所述数据资产进行操作订阅，输出初步整理后的数据资产。
17.在一个实施例中，所述按照多维度对初步整理后的数据资产进行编目管理，提供数据目录的查询和浏览，得到数据资产整编分类结果，包括：
18.输出编目管理的预设管理模块，所述预设管理模块包括编目管理和订阅目录；
19.基于所述预设管理模块对所述初步整理后的数据资产进行编目管理，输出所述数
据资产整编分类结果。
20.在一个实施例中，所述对用户进行身份认证和访问控制鉴权，包括：
21.通过数据源管理，保存数据源信息，连接访问数据源库，由用户进行预设访问操作；
22.通过用户管理，显示用户信息，由用户进行预设用户操作。
23.在一个实施例中，所述查看订阅的数据服务的数据详情，以及查看订阅服务的访问日志，还包括：
24.通过数据查询显示服务名称和更新时间。
25.第二方面，本发明还提供一种数据整编系统，包括：
26.获取模块，用于获取已通过质量审核的数据资产；
27.订阅模块，用于根据业务需求从数据仓库的产品目录中订阅数据产品及服务，基于订阅的数据产品及服务对所述数据资产进行初步整理；
28.整编模块，用于按照多维度对初步整理后的数据资产进行编目管理，提供数据目录的查询和浏览，得到数据资产整编分类结果。
29.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据整编方法的步骤。
30.第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据整编方法的步骤。
31.本发明提供的数据整编方法及系统，解决了不同单位之间的数据交换问题，提供可靠的消息和文件传输，实现多种数据信息同步，并对数据交换全过程进行有序管理。
附图说明
32.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1是本发明提供的数据整编方法的流程示意图；
34.图2是本发明提供的数据整编系统的结构示意图；
35.图3是本发明提供的电子设备的结构示意图。
具体实施方式
36.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.图1是本发明提供的数据整编方法的流程示意图，如图1所示，包括：
38.s1，获取已通过质量审核的数据资产；
39.s2，根据业务需求从数据仓库的产品目录中订阅数据产品及服务，基于订阅的数
据产品及服务对所述数据资产进行初步整理；
40.s3，按照多维度对初步整理后的数据资产进行编目管理，提供数据目录的查询和浏览，得到数据资产整编分类结果。
41.具体地，本发明提出的基于通信资源数据的数据整编方法，其中的数据整编是指对通过质量审核的数据进行整理，然后再对数据资产进行多维度编目管理，它是数据统计分析的基础。数据整编是根据统计任务和要求，对统计采集到的大量原始资料进行审核、分组、汇总，使之条理化、系统化，得出能够反映总体综合特征的统计资料的工作过程；并且，对已经整编过的资料进行再加工也属于数据整编。数据整编技术可以分成3类：群集、分类和预测。
42.群集技术就是在无序的方式下集中信息。群集的一个例子就是对未知特点的群体商业客户的分析，对这一例子输入相关信息就可以很好的定义客户的特点；分类技术就是集中和制定对象预先确定事先定义好的集合。集合通常用前述技术来形成，可以举一个例子就是把客户按照他们的收入水平分成特定的销售群体；预测技术就是对某些特定的对象和目录输入已知值，并且把这些值应用到另一个类似集合中以确定期望值或结果。比如，一组戴头盔和肩章的人是足球队的，那么也认为另一组戴头盔和肩章的人也是足球队的。
43.需要说明的是，数据订阅模块用户可以根据业务需求从数据仓库的产品目录中订阅相关数据产品及服务。支持对用户的权限进行审核，具备对数据订阅的管控能力。目录管理模块数据管理员提供界面化工具，支持按照多个维度对数据资产进行编目管理；同时提供数据目录的注册手段，将数据的来源、拥有者、时间等信息在全网进行公开发布；提供基于分类导航的目录查询和订阅产品基于信息的浏览功能，提升对数据产品的分类管理能力。
44.本发明提出的基于通信资源数据的数据整编方法，对采集到的大量原始数据进行分组、汇总，使之条理化、系统化，达到数据交换过程进行有序管理。
45.基于上述实施例，该方法步骤s1之前还包括：
46.对用户进行身份认证和访问控制鉴权。
47.此处，本发明通过用户管理模块支持用户身份认证和访问控制鉴权，提供精细化的权限模型，为不同用户分配不同的操作权限，满足数据安全性要求。
48.基于上述任一实施例，该方法步骤s3之后还包括：
49.查看订阅的数据服务的数据详情，以及查看订阅服务的访问日志。
50.此处，本发明通过数据查询模块能够查看订阅的数据服务的数据详情，并能查看订阅服务的访问日志，提升对数据使用情况的监视能力。
51.基于上述任一实施例，该方法步骤s2具体包括：
52.输出数据订阅的预设菜单栏模块，所述预设菜单栏模块包括我的订阅、订阅申请、我的申请、服务审批和服务产品；
53.基于所述预设菜单栏模块对所述数据资产进行操作订阅，输出初步整理后的数据资产。
54.具体地，本发明提出的数据订阅功能分为我的订阅、订阅申请、我的申请、服务审批、服务产品。我的订阅显示产品名称、服务名称、运行状态、调度方式、调度时间/频率、同步方式、接收库、接收表、最近运行时间、最近故障时间、运行日志的信息；用户可以筛选、查
看服务详情、暂停/启用、删除订阅、复制、立即执行操作。订阅申请显示产品名称、更新时间、使用方式、审批状态的信息；用户可以搜索、查看订阅配置操作。我的申请显示服务名称、申请状态、申请时间、审核时间的信息；用户可以筛选、查看服务详情、审核记录、删除服务操作。服务审批显示所有服务目录列表，选择目录信息显示服务详细信息；用户可以删除、添加内部服务、添加外部服务、添加产品操作。
55.基于上述任一实施例，该方法步骤s3具体包括：
56.输出编目管理的预设管理模块，所述预设管理模块包括编目管理和订阅目录；
57.基于所述预设管理模块对所述初步整理后的数据资产进行编目管理，输出所述数据资产整编分类结果。
58.具体地，本发明提出的目录管理功能分为编目管理和订阅目录。编目管理显示资源编目，根据资源编目可以查看资源数据列表，显示名称、类别、来源、更新情况、数据类型、内容描述、申请人、审批状态、数据发布时间的信息；用户可以筛选、查看资源详情、添加、修改、删除、导入、导出的操作。订阅目录显示产品名称、服务名称、运行状态、服务来源、服务类型、数据更新时间、接口数据信息；用户可以查询、查看订阅产品接口数据信息。
59.基于上述任一实施例，所述对用户进行身份认证和访问控制鉴权，包括：
60.通过数据源管理，保存数据源信息，连接访问数据源库，由用户进行预设访问操作；
61.通过用户管理，显示用户信息，由用户进行预设用户操作。
62.具体地，本发明提出的用户管理功能分为数据源管理和用户管理。数据源管理根据用户配置的名称、数据库类别、ip、端口、服务名、用户、密码、库文件路径的信息进行保存，可以连接访问数据源库；用户可以添加、删除、修改、测试访问操作。用户管理显示登录名、工作单位、相关资源分类、相关数据产品、用户创建时间的信息；用户可以添加、修改、删除用户操作。
63.基于上述任一实施例，所述查看订阅的数据服务的数据详情，以及查看订阅服务的访问日志，还包括：
64.通过数据查询显示服务名称和更新时间。
65.具体地，本发明还提供数据查询现实服务名称和更新时间，用户可以查看产品服务详细信息、查看数据、运行日志的操作。
66.本发明通过实现不同单位和系统之间提供可靠的消息、文件传输，实现多种数据信息同步，包括结构化、半结构化、非结构化数据的交换共享，以成熟、灵活、安全、可靠的技术手段实现稳定、可靠、高效的数据传递，并对数据交换全过程进行有序管理。
67.下面对本发明提供的数据整编系统进行描述，下文描述的数据整编系统与上文描述的数据整编方法可相互对应参照。
68.图2是本发明提供的数据整编系统的结构示意图，如图2所示，包括：获取模块21、订阅模块22和整编模块23，其中：
69.获取模块21用于获取已通过质量审核的数据资产；订阅模块22用于根据业务需求从数据仓库的产品目录中订阅数据产品及服务，基于订阅的数据产品及服务对所述数据资产进行初步整理；整编模块23用于按照多维度对初步整理后的数据资产进行编目管理，提供数据目录的查询和浏览，得到数据资产整编分类结果。
70.本发明提出的基于通信资源数据的数据整编方法，对采集到的大量原始数据进行分组、汇总，使之条理化、系统化，达到数据交换过程进行有序管理。
71.图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communicationsinterface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行数据整编方法，该方法包括：获取已通过质量审核的数据资产；根据业务需求从数据仓库的产品目录中订阅数据产品及服务，基于订阅的数据产品及服务对所述数据资产进行初步整理；按照多维度对初步整理后的数据资产进行编目管理，提供数据目录的查询和浏览，得到数据资产整编分类结果。
72.此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
73.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的数据整编方法，该方法包括：获取已通过质量审核的数据资产；根据业务需求从数据仓库的产品目录中订阅数据产品及服务，基于订阅的数据产品及服务对所述数据资产进行初步整理；按照多维度对初步整理后的数据资产进行编目管理，提供数据目录的查询和浏览，得到数据资产整编分类结果。
74.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的数据整编方法，该方法包括：获取已通过质量审核的数据资产；根据业务需求从数据仓库的产品目录中订阅数据产品及服务，基于订阅的数据产品及服务对所述数据资产进行初步整理；按照多维度对初步整理后的数据资产进行编目管理，提供数据目录的查询和浏览，得到数据资产整编分类结果。
75.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
76.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
77.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。