基于黑箱模式的数据计算处理方法、装置、电子设备及存储介质与流程

1.本技术涉及数据处理技术领域，尤其是涉及一种基于黑箱模式的数据计算处理方法、装置、电子设备及存储介质。


背景技术：

2.在很多应用场景下，需要多个合作方的隐私数据参与计算任务，例如，数据使用方通过数据提供方的数据，通过一定的策略算法，进行数据分析、模型训练或数据核查等。在某些情况下，双方的源数据是可以共享给对方的，但也有很多情况下，数据双方的源数据出于安全策略，是不能共享给对方的。
3.相关技术中，可以通过双方信任的第三方来进行数据计算，也可在无可信第三方的情况下，通过特定的加解密或隐私数据拆分等方法来实现数据安全。
4.在实践过程中，发明人发现该技术中至少存在如下问题：对双方的数据未能较好地实现保护，对数据处理使用的策略算法不能实现双方互信，无法对计算结果较好地核验。


技术实现要素：

5.为了解决上述问题，本技术提供一种基于黑箱模式的数据计算处理方法、装置、电子设备及存储介质，能够较好地实现数据提供方和数据使用方的数据保护，并且对数据处理的计算策略算法和计算结果都能实现双方核验。
6.第一方面，本技术提供的一种基于黑箱模式的数据计算处理方法，采用如下的技术方案：一种基于黑箱模式的数据计算处理方法，应用于服务器中，所述方法包括：获取数据提供方上传的资源目录数据，其中，所述资源目录数据包括提供方源数据的资源目录；向数据使用方发送所述资源目录数据；获取所述数据使用方上传的使用方源数据，以及数据使用方或数据提供方上传的计算策略算法，其中，所述计算策略算法由数据使用方或数据提供方根据所述资源目录数据和使用方源数据编制而成；若所述提供方源数据为数据非共享方式，则向所述数据提供方发送所述计算策略算法，以及所述使用方源数据或所述使用方源数据与提供方源数据之间产生的交互数据，用于所述数据提供方进行数据计算处理并生成计算结果；获取所述数据提供方上传的所述计算结果；向所述数据使用方发送所述计算结果。
7.通过上述技术方案，数据使用方或数据提供方可根据资源目录数据编制计算策略算法，算法需经数据提供方核验；在数据非共享的前提下，由数据提供方执行计算策略算法
并得到计算结果，计算结果也需由数据使用方进行核验。
8.在一些实施方式中，还包括：若所述提供方源数据为数据共享方式，则根据所述计算策略算法、使用方源数据和提供方源数据进行数据计算处理，并生成计算结果；向所述数据使用方发送所述计算结果。
9.通过上述技术方案，在数据共享的前提下，可以由黑箱计算服务器根据双方源数据进行数据计算。
10.在一些实施方式中，所述获取数据提供方上传的资源目录数据之后，还包括：对所述提供方源数据所对应的元数据进行管理，提供元数据的定义、存储、查询及维护；对所述资源目录数据进行管理，提供目录的生成、注册、查询及维护；对已生成的资源目录数据进行审核发布，包括对目录类别、目录项及目录文字的审核发布，形成可查询显示的目录内容和访问地址；对已发布的资源目录数据进行维护管理，包括对目录删除、停用、更新、重组、备份及恢复；对已发布的资源目录数据提供多维度的目录查询及列表查询。
11.通过上述技术方案，黑箱计算服务器可对资源目录数据进行管理，包括生成、审核、发布等。
12.在一些实施方式中，所述获取数据使用方或数据提供方上传的计算策略算法，还包括：对所述计算策略算法进行验证测试；若验证测试通过，则向数据提供方发送所述计算策略算法，用于所述数据提供方对所述计算策略算法进行审核；若审核通过，则对所述计算策略算法进行部署发布。
13.通过上述技术方案，对计算策略算法经过测试、审核后进行部署发布。
14.在一些实施方式中，所述计算策略算法包括触发条件和在此触发条件下执行的操作；所述触发条件包括一个或多个，满足所述触发条件时会执行一个或多个操作。
15.在一些实施方式中，对所述提供方源数据和使用方源数据进行加密计算，以使数据提供方和数据使用方无法基于计算结果逆推出原始输入数据或隐私信息。
16.在一些实施方式中，所述数据使用方根据计算策略算法对所述计算结果进行审核。
17.通过上述技术方案，由数据提供方执行计算策略算法后得到的计算结果，还需要由数据使用方根据计算策略算法进行审查核验。
18.第二方面，本技术提供的一种基于黑箱模式的数据计算处理装置，采用如下的技术方案：一种基于黑箱模式的数据计算处理装置，包括：目录数据获取模块，用于获取数据提供方上传的资源目录数据，其中，所述资源目录数据包括提供方源数据的资源目录；目录数据发送模块，用于向数据使用方发送所述资源目录数据；
计算策略获取模块，用于获取所述数据使用方上传的使用方源数据，以及数据使用方或数据提供方上传的计算策略算法，其中，所述计算策略算法由数据使用方或数据提供方根据所述资源目录数据和使用方源数据编制而成；计算结果生成模块，用于判断所述提供方源数据是否为数据非共享方式，若是，则向所述数据提供方发送所述计算策略算法，以及所述使用方源数据或所述使用方源数据与提供方源数据之间产生的交互数据，用于所述数据提供方进行数据计算处理并生成计算结果；计算结果获取模块，用于获取所述数据提供方上传的所述计算结果；计算结果发送模块，用于向所述数据使用方发送所述计算结果。
19.第三方面，本技术提供了一种电子设备，采用如下的技术方案：一种电子设备，包括：至少一个处理器；存储装置，用于存储至少一个计算机程序；当所述至少一个计算机程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述技术方案所述的方法。
20.第四方面，本技术提供了一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述技术方案所述的方法。
21.综上所述，本技术包括以下至少一种有益技术效果：1．采用黑箱计算服务的模式，并根据数据提供方的源数据是否可以进行共享的实际情况，来确定计算策略算法如何执行，对数据提供方和数据使用方的数据能实现较好地保护。
22.2．对数据处理使用的计算策略算法，可以根据资源目录数据进行任意编制，编制完成后需要由双方进行核验，实现了计算策略算法的双方互认互信。
23.3．计算结果可以由双方根据计算策略算法进行核验。
附图说明
24.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1为本技术的一种实施例提供的基于黑箱模式的数据计算处理方法的整体架构示意图；图2为本技术的一种实施例提供的基于黑箱模式的数据计算处理方法的流程示意图；图3为本技术的一种实施例提供的对计算策略算法测试审核的流程示意图；图4为本技术的一种实施例提供的基于黑箱模式的数据计算处理装置的框架示意图。
具体实施方式
26.为使得本技术的发明目的、特征、优点能够更加的明显和易懂，下面将结合本技术的一种实施例中的附图，对本技术的一种实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.本技术实施例的基于黑箱模式的数据计算处理方法，可以实现以下功能：1）数据提供方通过黑箱计算服务上传数据资源目录；2）数据使用方或数据提供方根据数据提供方提供的数据资源目录 数据使用方原始数据（使用方源数据） 限制规则通过黑箱计算服务创建计算规则算法并上传；3）数据提供方或数据使用方核验确认黑箱计算规则算法，通过后用于黑箱计算；4）数据提供方使用定义好的计算策略算法 数据使用方原始数据，并将计算结果反馈给数据使用方；5）数据使用方解析数据提供方反馈的计算结果，基于计算策略算法审查计算结果。
28.数据使用方或数据提供方编制黑箱计算规则，经提供方核验确认过后，将计算规则算法用于数据核查，实现算法互认互信；数据使用方、数据提供方双方不涉及隐私数据共享，只基于黑箱计算策略算法计算结果，避免双方隐私数据泄露风险；黑箱计算服务数据加密传输，防止数据泄露；记录操作过程，用于后续的过程记录查询。本技术实施例的数据计算处理方法，适用于数据使用方、数据提供方不共享数据的情况，通过黑箱计算策略算法独立核验结果；还可适用于数据使用方、数据提供方基于黑箱计算服务进行金融行业的债务人财务数据核查计算的情况，也可适用于其他各个领域的多个合作方进行数据处理的场景，数据提供方可根据实际情况确定数据是否可以共享，先提供资源目录数据，再由数据使用方编制计算策略算法。
29.本技术实施例中，还可以由数据提供方来进行计算策略算法的编制，数据提供方编制完成策略算法后，也需另一方进行验证测试，并经过数据使用方进行审核后，才可以在服务器端进行部署发布。
30.以下结合附图1至4对本技术作进一步详细说明。
31.图1为本技术实施例提供的基于黑箱模式的数据计算处理方法的整体架构示意图，其以金融行业为例，数据提供方提供用户的账单流水数据，数据使用方根据用户的银行账户及申报流水记录，由数据使用方来编制账单核验策略（计算策略方法），数据提供方执行策略，并得到计算结果，计算结果由数据使用方下载并审核。
32.另，较少的情况下，也可以由数据提供方来编制计算策略方法。
33.如图2所示的基于黑箱模式的数据计算处理方法，可以实施以下步骤：101、获取数据提供方上传的资源目录数据，其中，所述资源目录数据包括提供方源数据的资源目录。
34.获取资源目录数据之后，还包括：对提供方源数据所对应的元数据进行管理，提供元数据的定义、存储、查询及维护；
对资源目录数据进行管理，提供目录的生成、注册、查询及维护；对已生成资源目录数据信息进行审核发布，包括对目录类别、目录项及目录文字的审核发布，形成可查询显示的目录内容和访问地址；对已发布的资源目录数据信息进行维护管理，包括对目录删除、停用、更新、重组、备份及恢复；对已发布的资源目录数据提供多维度的目录查询及列表查询。
35.本技术实施例中，黑箱计算服务器提供了数据资源目录服务管理，包括元数据管理、目录编目、目录发布、目录维护、目录查询、目录订阅等功能，其中：元数据管理，是对政务信息资源的标识、内容、分发、数据质量、数据表现、数据模式、图示表达、限制和维护等信息进行统一管理，提供元数据的定义、存储、查询及维护等功能，以利于发现与定位信息资源、管理与整合信息资源，改进系统有效存储、检索和移动数据的能力。
36.目录编目，是对目录数据进行管理，提供目录的生成、注册、查询及维护等功能，以利于跨部门、跨层级以及部门内部进行信息共享的索引。
37.目录发布，是对已生成目录信息进行审核发布，包括对目录类别、目录项、目录文字等审核发布，形成可查询显示的目录内容和访问地址。
38.目录维护，是对已发布的目录信息进行维护管理，包括对目录删除、停用、更新、重组、备份、恢复等功能。
39.目录查询，是对已发布的目录提供多维度的目录查询、列表查询等功能。
40.102、向数据使用方发送所述资源目录数据。
41.数据使用方获取资源目录数据，可进行数据分析，确定根据此数据是否可以使用。
42.103、获取所述数据使用方上传的使用方源数据，以及数据使用方或数据提供方上传的计算策略算法，其中，所述计算策略算法由数据使用方或数据提供方根据所述资源目录数据和使用方源数据编制而成。
43.数据使用方或数据提供方根据资源目录数据和使用方源数据以及期望得到的数据计算结果，来编制计算策略算法；该计算策略算法的编制通过黑箱计算服务器提供的相关编写模块来实现。
44.所述计算策略算法包括触发条件和在此触发条件下执行的操作；所述触发条件包括一个或多个，满足所述触发条件时会执行一个或多个操作。
45.本技术实施例中，黑箱计算服务器提供了计算分析服务，是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。接受数据输入，解释业务规则，并根据规则做出业务决策。原理：可以在系统工作时，将外部的业务规则加载到系统中，并使得系统按照该业务规则进行工作。计算规则：一个业务规则包含一组条件和在此条件下执行的操作，它们表示业务规则应用程序的一段业务逻辑。业务规则通常应该由业务分析人员和策略管理者开发和修改，但有些复杂的业务规则也可以由技术人员使用面向对象的技术语言或脚本来定制。业务规则的理论基础是:设置一个或多个条件，当满足这些条件时会触发一个或多个操作。
46.104、若所述提供方源数据为数据非共享方式，则向所述数据提供方发送所述计算策略算法，以及所述使用方源数据或所述使用方源数据与提供方源数据之间产生的交互数
据，用于所述数据提供方进行数据计算处理并生成计算结果。
47.对所述提供方源数据和使用方源数据进行加密计算，以使数据提供方和数据使用方无法基于计算结果逆推出原始输入数据或隐私信息。
48.本技术实施例中，黑箱计算服务器提供了分析及加解密算法，在处理和分析计算数据的过程中能保持数据不透明、不泄露、无法被计算方法以及其他非授权方获取。加密计算的目标是在完成计算任务的基础上，实现数据计算过程和数据计算结果的隐私保护。数据计算过程的隐私保护指参与方在整个计算过程中难以得到除计算结果以外的额外信息，数据计算结果的隐私保护指参与方难以基于计算结果逆推原始输入数据和隐私信息。可以通过隐私求交的算法进行双方数据的交集计算。通过数据碰撞的方式产生交互数据，对交互数据再进行计算处理，使得双方的数据都能保证其安全性。
49.105、获取所述数据提供方上传的所述计算结果。
50.106、向所述数据使用方发送所述计算结果。
51.数据使用方根据计算策略算法对所述计算结果进行审核。
52.本技术实施例中，还可以实施以下步骤：107、若所述提供方源数据为数据共享方式，则根据所述计算策略算法、使用方源数据和提供方源数据进行数据计算处理，并生成计算结果；108、向所述数据使用方发送所述计算结果。
53.如图3所示的基于黑箱模式的数据计算处理方法，可以实施以下步骤：201、对所述计算策略算法进行验证测试。
54.计算策略算法的验证测试方式可以包括模拟在线测试方式和线下测试方式。
55.202、若验证测试通过，则向数据提供方或数据使用方发送所述计算策略算法，用于所述数据提供方或数据使用方对所述计算策略算法进行审核。
56.若所述计算策略算法由数据使用方编制，则向数据提供方发送所述计算策略算法，由数据提供方对该计算策略算法进行审核；若所述计算策略算法由数据提供方编制，则向数据使用方发送所述计算策略算法，由数据使用方对该计算策略算法进行审核；203、若审核通过，则对所述计算策略算法进行部署发布。
57.计算策略算法在审核通过后可以在服务器端进行正式的部署发布，此时可用于数据提供方和数据使用方的下载查看。
58.本技术实施例中，黑箱计算服务器提供了计算策略配置服务，包括策略配置、策略验证及测试、策略部署等功能，其中：策略配置管理，根据资源目录数据，用户通过该功能定义业务规则。
59.策略验证及测试，对已编制好的策略数据进行验证测试管理，提供模拟在线测试功能，只有测试通过的策略才能部署发布。
60.策略部署，对已编制的策略信息进行审核发布，包括对策略类别、策略正确性等审核发布，形成可执行的策略规则。
61.策略维护，对已发布的策略信息进行维护管理，包括对策略删除、停用、更新、备份、恢复等功能。
62.策略查询，对已发布的策略提供多维度的查询、列表查询等功能。
63.如图4所示的基于黑箱模式的数据计算处理装置的框架示意图，本技术的一种实施例提供的一种基于黑箱模式的数据计算处理装置，包括：目录数据获取模块301，用于获取数据提供方上传的资源目录数据，其中，所述资源目录数据包括提供方源数据的资源目录；目录数据发送模块302，用于向数据使用方发送所述资源目录数据；计算策略获取模块303，用于获取所述数据使用方上传的使用方源数据，以及数据使用方或数据提供方上传的计算策略算法，其中，所述计算策略算法由数据使用方或数据提供方根据所述资源目录数据和使用方源数据编制而成；计算结果生成模块304，用于判断所述提供方源数据是否为数据非共享方式，若是，则向所述数据提供方发送所述计算策略算法，以及所述使用方源数据或所述使用方源数据与提供方源数据之间产生的交互数据，用于所述数据提供方进行数据计算处理并生成计算结果；计算结果获取模块305，用于获取所述数据提供方上传的所述计算结果；计算结果发送模块306，用于向所述数据使用方发送所述计算结果。
64.本技术实施例中，黑箱计算服务器还提供了安全认证服务，可通过集成化的中央管理控制系统，实现数据全流程可追踪，始终处于可监控状态；采用软硬件加密或客户定制化需求加密的方式，实现数据传输通道安全；实行数据存储与操作相隔离，不做落地行为，杜绝人为直接接触数据的可能性，实现数据控制安全；采用人员授权控制，进行用户权限隔离管理，实现数据安全管理；对数据进行隔离控制，不同客户数据采用不同数据库存储，实现数据存储位置的物理隔离控制安全。
65.本技术实施例中，黑箱计算服务器可以部署于数据使用方和/或数据提供方，为保证数据安全，可以部署在数据使用方和数据提供方的外部，也可以部署在数据使用方和/或数据提供方的专网网络内。
66.在一些可能的实施方式中，根据本技术实施方式的电子设备可以至少包括至少一个处理器、以及至少一个存储装置。其中，所述存储装置存储有至少一个计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行本说明书上述技术方案中描述的根据本技术各种具体实施方式的方法中的步骤。
67.在一些可能的实施方式中，本技术的各个方面还可以实现为一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时用于实现本说明书上述技术方案中描述的根据本技术各种具体实施方式的方法中的步骤。
68.计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。
69.可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、rf等，或者上述的任意合适的组合。
70.可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的
过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网（lan）或广域网（wan）—连接到用户电子设备，或者，可以连接到外部电子设备（例如利用因特网服务提供商来通过因特网连接）。
71.所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
72.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。