服务质量标准决定的自动化操作数据管理的制作方法

服务质量标准决定的自动化操作数据管理
发明领域
1.本发明总体涉及计算机系统，具体涉及保持分布式计算系统中的服务质量标准的方法。


背景技术：

2.多年来，计算系统已变得明显更加复杂。在计算的早期，用单个计算机来处理与项目相关的所有任务。随着更多辅助系统的出现以及随着网络计算(特别是英特网)的出现，许多计算世界正转向分布式计算。分布式计算或分布式系统是其组件在不同位置处(诸如不同的联网计算机)实现的系统。示例包括对等网络、在线游戏、电话和数据管理。
3.数据管理通常是与数据(即信息)的采购、维护和使用有关的技术。数据本身可能简单得如客户详细信息(诸如名称和地址)一样，对于也可能更加广泛得如例如金融犯罪调查解决方案的金融服务的情况中的一样。在这样的系统中，数据的操作管理非常复杂。在使用诸如微服务的分布式功能处理架构的系统中，这种挑战尤其真实。微服务是一种软件开发技术，其允许将应用程序构造成松散耦合的服务的集合。将应用程序分解成不同的较小服务的好处是提高了模块化，使得应用程序更容易理解、开发、测试，并且对架构侵蚀变得更有弹性。可以认为微服务是尤其是使用诸如超文本传输协议(http)的技术不可知协议在网络上进行通信以实现任何目标的分立的过程。
4.所使用的特定微服务的性质很大程度上取决于应用程序。例如，在金融服务欺诈检测应用程序中，微服务可以包括：接收服务，其将交易置于队列中；附件处理器服务，其检查任何附件，如果存在，则将其发送到另一微服务，诸如光学字符识别服务；上下文创建器服务，其分析当前交易并且将其与与其相关的任何过去交易相关联；决策执行引擎，其执行已经由客户端设置的规则以识别违规；分析引擎，其检查交易并标记任何异常值；案例管理器服务，其基于任何识别的问题决定是否创建案例用于人类跟进；通知管理器，其将关于每个交易的处理的更新传递回客户的费用/采购系统。
5.如同所有计算系统一样，重要的是能够监控分布式计算系统，以确保它们满足服务质量(qos)要求。qos是服务(诸如电话或计算机网络、或云计算服务)的总体性能、特别是由网络用户所看到的性能的测量。为了定量地测量服务质量，通常会考虑网络服务的几个相关方面。与微服务一样，qos要求的特定性质取决于所涉及的特定应用程序。可以在服务水平协议中设置qos标准，标识例如基于数据类型和包括时间和数据限定条件的上下文限定条件的响应时间要求。


技术实现要素：

6.在至少一个实施例中，本发明总体涉及管理分布式处理系统中操作数据的方法，包括：接收对数据源和数据目标的以及对数据源和数据目标的服务质量标准的定义；监控分布式处理系统的操作工作负荷以建立数据源与数据目标之间操作数据移动的当前评估；接收分布式处理系统中先前操作数据移动的历史信息，其包括导致所述服务质量标准中的
一个或多个服务质量标准受损害的操作数据移动的先前实例；从当前评估和历史信息确定即将进行的操作数据动作将不满足所述服务质量标准中的特定服务质量标准；响应于所述确定，自动地应用适于根据所述定义提升特定服务质量标准的数据管理优化基础设施。在示例性实施例中，服务水平协议模型提供服务质量标准，服务水平协议模型包括数据类型、上下文限定条件、时间/日期限定条件和响应时间要求；数据移动执行历史模型提供历史信息，数据移动执行历史模型包括服务统计历史、服务资源消耗和服务类型执行预测；当前系统负荷模型提供所述对操作工作负荷的监控，当前系统负荷模型包括资源利用、当前群集大小和容量评估；数据类型和qos要求模型提供所述定义和关于数据类型的特征，数据类型和qos要求模型包括数据类型定义和数据服务质量定义；过程控制机制控制数据管理优化基础设施按需在远离过程控制机制的网络位置产生工作者线程以满足所述服务质量标准，过程控制机制包括数据优化选择、数据服务、服务反馈和数据移动调度。响应时间要求基于数据类型、上下文限定条件、以及时间/数据限定条件。所述确定可使用用历史信息训练的认知系统，认知系统基于当前评估来预测操作结果，操作结果提供特定服务质量标准将得不到满足的指示。当前评估包括分布式处理系统的资源的资源使用、资源的容量、以及资源的响应时间。数据管理优化基础设施包括多个可扩展数据背板服务。在示例性应用中，分布式处理系统提供欺诈检测解决方案，其中数据源和数据目标具有的数据类型包括诸如姓名、地址、电话号码、社会安全号码或税务标识号码的大量客户信息，诸如交易额和交易类型(电汇、ach、贷记、借记)的交易信息以及用于跟踪前述客户和金融信息集合的案例管理数据；服务质量标准包括资源分配、数据完整性规范和服务正常运行时间；数据背板业务包括消息传送接口、应用程序接口、流或其它数据通信载体。
7.在以下的详细书面描述中，本发明的各种实施例中的上述以及其他目标、特征以及优点将变得显而易见。
附图说明
8.通过参考附图，本领域技术人员可以更好地理解本发明，并且其各种实施例的众多目的、特征和优点对于本领域技术人员来说变得显而易见。图1是根据本发明的一个实现方式的被编程为执行由服务质量标准规定的自动化操作数据管理的计算机系统的框图；图2是根据本发明一个实现方式的云计算环境的图示；图3是描绘根据本发明一个实施例的操作数据管理系统的功能模块的框图；图4是示出了根据本发明一个实现方式的用于自动化操作数据管理的一个解决方案的模型图，该解决方案使用服务水平协议模型、数据移动执行历史模型、当前系统负荷模型、以及数据类型和qos要求模型；图5是根据本发明的一个实现方式预测图3的操作数据管理系统的操作结果的认知系统的框图；图6是示出根据本发明一个实施例的数据管理过程的逻辑流程的图。
9.在不同的附图中使用相同的附图标记来指示相似或相同的项目。
具体实施方式
10.尽管分布式计算和微服务的使用提供了若干优点，但是其也给系统设计者带来了新问题。历史上，单体应用程序可以作为单个大型功能单元运行，并访问可能针对最小数据移动和复制而优化的数据。数据可以容易地存在于单个公共数据存储中，它可以通过联合机制来进行分发和访问，并且它可以存在于多种类型的数据结构(数据库、基于文件等)中但仍允许一个数据访问api层。在任何这些情况下，都一直在努力不依赖于数据移动和冗余，因为数据移动和冗余可能产生数据完整性、不一致性和时效性问题。
11.所有这些假设随着分布式计算系统而改变。困难在于，为了利用分段的服务，必须经常复制数据。例如，在金融服务应用程序中，期望利用许多技术组件来支持金融犯罪调查解决方案。这可能涉及例如使用组件技术将银行交易数据关联为属于同一个人、理解个人网络关联或对数据执行机器学习分析以识别潜在的欺诈行为模式。为这些功能利用现有服务很重要，但是设计者经常面对这样的问题：这些服务需要访问类似的数据记录(客户信息、事务记录等)，并且他们期望以特定格式获得它，驻留在特定模式，或使用到期望的数据服务的特定数据访问接口。在那些情况下，应用程序创建者不具有对数据预期如何可用以及如何最小化数据移动和复制的控制。该问题成为整个解决方案提供商管理的问题，并且今天需要逐个项目地进行管理，因为组件可以改变，但问题仍然存在。
12.因此，希望设计一种管理这样的分布式系统中的数据的改进方法。如果该方法可以被自动化以满足所涉及的特定系统所特有的服务质量(qos)要求，则这将更有利。在本发明的各种实施例中，通过使用定向的qos方法来定义系统如何管理整个系统中的数据移动，来提供满足数据移动、复制和时效性需要的解决方案，从而实现这些和其他优点。该系统允许应用程序开发者定义特定数据元素的源和目标，并提供显示需要多快地移动数据(时效性)、一致性的目标是什么(例如，确保的一致性、最终的一致性等)、预期如何删除数据、以及在何处创建复制的数据的qos特征。系统可以使用可扩展的基础设施进行数据移动(包括更新和删除)，使得可以通过基础设施的弹性缩放来满足qos目标。
13.现在参考附图，具体参见图1，描绘了根据本发明可以实现自动化操作数据管理的计算机系统的一个实施例10。计算机系统10是具有连接至系统总线14的多个处理器12a、12b的对称多处理器(smp)系统。系统总线14进一步连接到组合式存储器控制器/主机桥(mc/hb)16并与之通信，该存储器控制器/主机桥向系统存储器18提供接口。系统存储器18可以是本地存储器设备，或者可替代地可以包括多个分布式存储器设备，优选地是动态随机存取存储器(dram)。在存储器层次结构中可以有未示出的附加结构，诸如板载(l1)和二级(l2)或三级(l3)高速缓存。系统存储器18中加载了根据本发明的一个或多个应用程序或软件模块，包括执行分布式系统的特定功能所需的操作程序、数据定义、qos标准、系统监控器、数据优化、各种背板服务、以及用于预测操作结果的认知系统，所有这些将在下面进一步详细解释。虽然图1在单个存储器18中示出了这些各种组件，但是应当理解，这些组件中的一些部件可以驻留在与计算机系统10类似或不同的其他联网的(远程定位的)计算机系统中。特别地，可以在远离数据优化的多个网络位置实施背板服务。
14.mc/hb 16还具有到外围组件互连(pci)快速链路20a、20b和20c的接口。每个pci express(pcie)链路20a、20b连接到相应的pcie适配器22a、22b，并且每个pcie适配器22a、22b连接到相应的输入/输出(i/o)设备24a、24b。mc/hb 16另外还可以有到i/o总线26的接
口，该i/o总线26连接到交换机(i/o结构)28。交换机28提供i/o总线到多个pci链路20d、20e、20f的扇出。这些pci链路连接到更多的pcie适配器22c、22d、22e，其进而支持更多的i/o设备24c、24d、24e。i/o设备可以包括但不限于键盘、图形定点设备(鼠标)、麦克风、显示设备、扬声器、永久存储设备(硬盘驱动器)或这样的存储设备的阵列、接收诸如cd或dvd的光盘25(计算机可读存储介质的一个示例)的光盘驱动器、以及网络卡。每个pcie适配器提供pci链路与相应i/o设备之间的接口。mc/hb 16提供低延迟路径，处理器12a、12b可以通过该低延迟路径访问映射在总线存储器或i/o地址空间内的任何地方的pci设备。mc/hb 16进一步提供高带宽路径以允许pci设备访问存储器18。交换机28可提供不同端点之间的对等通信，并且如果该数据流量不涉及高速缓存一致性存储器传送，则该数据流量不需要被转发到mc/hb 16。交换机28被示出为单独的逻辑组件，但其可以被集成到mc/hb 16中。
15.在该实施例中，pci链路20c将mc/hb 16连接至服务处理器接口30以允许i/o设备24a与服务处理器32之间的通信。服务处理器32经由jtag接口34连接到处理器12a、12b，并使用中断处理器12a、12b的操作的关注线36。服务处理器32可以具有其自身的本地存储器38，并且连接到存储用于系统启动的不同程序指令的只读存储器(rom)40。服务处理器32还可以访问硬件操作者面板42以提供系统状态和诊断信息。
16.在替代实施例中，计算机系统10可以包括这些硬件组件或其互连或附加组件的修改，因此所描绘的示例不应被解释为暗示关于本发明的任何架构限制。本发明还可以在等效的云计算网络中实现。
17.当计算机系统10初始通电时，服务处理器32使用jtag接口34来询问系统(主机)处理器12a、12b和mc/hb 16。在完成询问之后，服务处理器32获取计算机系统10的清单和拓扑结构。服务处理器32然后在计算机系统10的组件上执行不同测试，如内置自测试(bist)、基本保证测试(bat)和存储器测试。服务处理器32将在测试期间检测到的故障的任何错误信息报告给操作者面板42。如果在取出在测试期间发现故障的任何组件之后系统资源的有效配置仍是可能的，则允许计算机系统10继续进行。可执行代码被加载到存储器18中，并且服务处理器32释放主机处理器12a、12b以执行程序代码，例如操作系统(os)，所述操作系统用于启动应用程序，具体而言启动本发明的自动化操作数据管理应用程序，其结果可以存储在系统的硬盘驱动器(i/o设备24)中。当主处理器12a、12b在执行程序代码时，服务处理器32可以进入监控和报告模式，监控和报告任何操作参数或错误，如冷却风扇速度和操作、热传感器、电源调节器、以及由处理器12a、12b、存储器18和mc/hb 16中的任一者报告的可恢复和不可恢复错误。服务处理器32可以基于错误的类型或定义的阈值采取进一步的行动。
18.本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质。
19.计算机可读存储介质可以是可保留和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式紧凑盘只读存储器(cd-rom)、数字通用盘(dvd)、记忆棒、软盘、诸如穿孔卡或具有记录在其上的指令的槽中的凸出结构之类的机械编码设备、以及上述各项的任何合适的组合。如本
文所使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。
20.本文中所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
21.用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或以一种或多种编程语言的任何组合编写的源代码或目标代码，这些编程语言包括面向对象的编程语言(如java、smalltalk、c 等)和常规的过程编程语言(如“c”编程语言或类似的编程语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(lan)或广域网(wan))连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。
22.下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
23.这些计算机可读程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的或多个框中指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读存储介质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制造品。
24.也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的或多个方框中规定的功能/动作。
25.附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个框可表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些备选实现中，框中标注的功能可以不按照图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。也要
注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作或执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。
26.计算机系统10执行用于自动化操作数据管理过程的程序指令，该过程使用新颖的优化技术来管理分布式系统中的数据。因此，体现本发明的程序可以另外包括不同数据管理工具的常规方面，并且在参考本公开时，这些细节对于本领域技术人员将变得显而易见。那些工具中的一些可涉及云计算。应当理解，虽然本公开包括关于云计算的详细描述，但是本文所引用的教导的实现不限于云计算环境。相反，本发明的实施例能够结合现在已知的或以后开发的任何其他类型的计算环境来实现。
27.云计算是服务交付的模型，用于使得能够方便地、按需地网络访问可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池，所述可配置计算资源可以以最小的管理努力或与所述服务的提供者的交互来快速供应和释放。该云模型可包括不同特征、服务模型和部署模型。
28.特征可以包括但不限于按需服务、广泛网络接入、资源池、快速弹性和测量服务。按需自助服务是指云消费者单方面地按需自动提供计算能力(诸如服务器时间和网络存储)而不要求与服务的提供者的人类交互的能力。广泛的网络接入指在网络上可用的并且通过标准机制访问的能力，该标准机制促进异构瘦客户机平台或厚客户机平台(例如，移动电话、膝上型计算机和个人数字助理等)的使用。资源池化发生在提供者的计算资源被池化以使用多租户模型来服务多个消费者时，其中不同的物理和虚拟资源根据需要动态地分配和重新分配。存在位置独立性的感觉，因为消费者通常不具有对所提供的资源的确切位置的控制或了解，但可能能够以较高抽象级别(例如，国家、州或数据中心)指定位置。快速弹性意味着能够快速和弹性地提供能力，在一些情况下自动地快速缩小和快速释放以快速放大。对于消费者而言，可用于供应的能力通常显得不受限制并且可以在任何时间以任何数量购买。测量的服务是云系统通过在适合于服务类型(例如，存储、处理、带宽、和活动用户账户)的某个抽象级别处利用计量能力来自动控制和优化资源使用的能力。可以监控、控制和报告资源使用，为所利用的服务的提供者和消费者提供透明度。
29.服务模型可以包括但不限于软件作为服务、平台作为服务和基础设施作为服务。软件即服务(saas)是指提供给消费者使用在云基础设施上运行的提供者的应用的能力。可通过诸如web浏览器之类的瘦客户端接口从不同客户端设备访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储或甚至单独的应用能力的底层云基础设施，可能的例外是有限的用户特定应用配置设置。平台即服务(paas)是指提供给消费者部署在云基础结构上的能力，所述云基础结构是使用由提供者支持的编程语言和工具创建的消费者创建的或获取的应用。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施，但是对所部署的应用和可能的应用托管环境配置具有控制。基础设施即服务(iaas)是指提供给消费者供应处理、存储、网络和消费者能够部署和运行任意软件(可包括操作系统和应用)的其他基本计算资源的能力。消费者不管理或控制底层云基础设施，而是具有对操作系统、存储、所部署的应用的控制以及对所选联网组件(例如，主机防火墙)的可能受限的控制。
30.部署模型可以包括但不限于私有云、社区云、公共云和混合云。私有云是指云基础
设施仅针对组织操作。它可以由组织或第三方管理，并且可以存在于场所内或场所外。社区云具有由若干组织共享的云基础设施，并且支持共享了关注(例如，任务、安全要求、策略和合规性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于场所内或场所外。在公共云中，云基础架构对于普通公众或大型行业组可用，并且由销售云服务的组织拥有。混合云的云基础架构是两个或更多个云(私有、社区或公共)的组合，这些云保持唯一实体但通过使数据和应用程序能够移植的标准化或专有技术(例如，云突发以用于云之间的负荷平衡)绑定在一起。
31.云计算环境可以是面向服务的，集中于无状态、低耦合、模块性和语义互操作性。云计算的核心是包括互连节点网络的基础设施。在图2中描绘了说明性云计算环境50。如图所示，云计算环境50包括网络56中的一个或多个云计算节点52，云消费者使用的本地计算设备(例如，个人数字助理(pda)或蜂窝电话54a、台式计算机54b、膝上型计算机54c和/或汽车计算机系统54d)可以与云计算节点52通信。节点52也可以彼此通信。它们可在物理上或虚拟地在一个或多个网络中被分组(未示出)，诸如如上所述的私有云、社区云、公共云或混合云、或其组合。这允许云计算环境50提供基础设施、平台和/或软件作为云消费者不需要为其维护本地计算设备上的资源的服务。应当理解，图2所示的计算设备54a-54d的类型仅旨在是说明性的，并且计算节点52和云计算环境50可以(例如，使用网络浏览器)通过任何类型的网络和/或网络可寻址连接与任何类型的计算机化设备通信。
32.现在参见图3，描绘了根据本发明构造的操作数据管理系统60的一个实施例。操作数据管理系统60总体包括操作功能或模块62、系统监控功能或模块64和数据移动优化功能或模块66。操作模块60包括数据工程(信息工程)68、服务水平协议70以及数据类型/对象特征和地址的集合72。数据工程68包括操作模块62的主力并且涉及用于规划、分析、设计和实现应用程序的架构方法。其具体功能将因具体应用程序而异。服务水平协议70是服务提供商与一个或多个客户之间的合约。服务提供商和客户端之间就服务的诸如质量、可用性和责任之类的特定方面达成同意。服务水平协议可以包含关于相应服务水平目标的许多服务性能指标。对于金融服务示例而言，服务水平协议指标可包括服务可用性、成本权衡和支持响应时间。在操作模块62中体现的服务水平协议70反映合同中的量化值。数据类型/对象特征和地址用于描述适于数据工程68或服务水平协议70的应用程序的相关数据特征。特征可以包括数据类型的基本特征以及更高级的特征(数据结构、类等)。对于金融服务示例，特定特征可包括结构化和非结构化数据、图形数据、以及要求大数据实现的大量信息，其中数据源和数据目标具有诸如姓名、地址、电话号码、社会保障号码或税务id或其他标识号码的数据类型。地址是待存储数据和从其检索数据的网络位置(物理的或虚拟的)，取决于所使用的协议(http、tcp/ip等)而可能具有不同形式。
33.系统监控器模块64跟踪分布式数据系统的组件的当前和过去的操作性能。系统监控器模块64从不同硬件工具76(诸如中央处理单元(cpu)、磁盘驱动器或其他永久(非易失性)存储器、易失性存储器(即ram)、这些或其他资源的群集等)接收当前信息。该信息可以包括与设备相关联的任何参数，诸如性能使用、分配、功耗、资源可用性等。该信息用于构建当前系统容量78。系统监控器64还包括历史操作性能信息80，即，与不同参数(诸如时间段(例如，峰值使用时间))、特定客户端或特定服务相关的设备使用和容量的历史。
34.数据移动优化模块66包括单独的监控器82，其跟踪特别是与系统设计者提供的规
范相关的分布式数据系统内的数据移动，以及其他数据性能因素，例如一致性和时效性。该信息也可以被提供给系统监控器模块64的历史操作性能80。数据移动优化模块然后可以基于当前数据性能因素按需调用数据同步服务84，如下面进一步解释的那样。这些服务可以例如包括文件系统副本、消息传送、数据库访问、传输协议等。按需相应地优化服务工作者86。
35.在示例性实现方式中，本发明使用不同的模型来提供用于优化数据管理的输入。如图4所示，过程控制机制90接收来自服务水平协议模型92、数据移动执行历史模型94、当前系统负荷模型96以及数据类型和qos要求模型98的输入。这些特征中的任何一个或全部都可以体现在计算机系统10中。服务水平协议模型92提供数据源、目标和各自的相关qos标准的定义供存储。该模型定义了数据在整个系统中的布局和管理方式。一般而言，应用程序开发者将仅创建该定义，然后在运行时数据将由系统自动移动和管理，因此解决方案开发者将无需专注于系统操作的那部分，而是可以专注于域值，并且还可灵活地采用数据架构更改，而无需在该领域进行基础结构编码投资。在示例性实现方式中，服务水平协议模型92包括数据类型、上下文限定条件、时间/日期限定条件和响应时间要求的列表。
36.数据移动执行历史模型94反映了数据移动请求的历史操作，处理控制机构90可以使用数据移动请求来从过去的操作中学习，以便预测当前操作结果并对为满足(符合)标准应将多少资源应用于工作努力进行知情评估。如以下结合图5进一步解释的那样，数据移动执行历史模型94可以使用机器学习和预测技术来确保系统在最佳阈值下运行。在示例性实现方式中，数据移动执行历史模型94包括服务统计历史、服务资源消耗和服务类型执行预测。当前系统负荷模型96跟踪系统的现有工作负荷。需要该信息来了解系统的当前容量以及满足即将进行的数据移动操作的qos标准的能力。与具有可用资源的轻负荷系统相比，负荷较重的系统可能需要更多的背板操作线程来完成工作。当然，这可能会实时变化，因此有必要进行主动监控和调整。在示例性实现方式中，当前系统负荷模型96包括资源利用、当前集群大小和容量评估。数据类型和qos要求模型98描述了关于各种数据类型的特征以及如何实现qos定义。例如，针对具有低延迟时效性要求的实时一致性在关系数据库、分布式文件系统、块存储等之间的实现上将有所不同。在示例性实现方式中，数据类型和qos要求模型98包括数据类型定义和数据qos定义。
37.过程控制机制90指示弹性微服务100(数据背板)调用工作者线程来满足要移动的数据的需要。弹性微服务100构成跨异构系统组件和技术实际移动(更新或删除)数据的可扩展基础设施。这些系统是常规的，具有众所周知的且可以预期的多种行为特征。数据背板服务是一种用于数据架构中的数据通信的机制。apache的kafka就是一个例子。kafka是一种开源流处理软件平台，为处理实时数据馈送提供统一、高吞吐量、低延迟的通信机制。欺诈检测解决方案的数据背板服务可能包括此类消息传送接口、应用程序接口(api)、流或其他用于数据通信的工具。弹性缩放指的是根据需求动态地扩大或缩小基础设施的能力，即根据应用程序在特定时刻的需要，增加或减少诸如物理盘空间、存储器、cpu等的资源。
38.在示例性实现方式中，过程控制机制90包括数据优化选择、数据服务、服务反馈和数据移动调度。数据优化选择从服务水平协议模型92接收响应时间要求，并选择将由数据服务处理的服务的顺序。数据服务从数据类型和qos要求模型98接收数据类型和qos定义，并确定哪些背板服务适合于特定数据类型。数据服务然后可以命令数据移动调度来发起必
要的数据背板服务。数据背板服务向过程控制机制90的服务反馈提供反馈，过程控制机制90的服务反馈也可以更新数据移动执行历史模型94中的服务统计历史。
39.在优选实现方式中，数据管理系统的预测功能体现在新颖的认知系统中。认知系统(有时称为深度学习、深度思维或深度问答)是一种使用机器学习和问题求解的人工智能形式。尽管存在替代性设计，但是认知系统通常采用神经网络。神经网络可以是各种类型的。前馈神经网络是一种人工神经网络，其中单元之间的连接不形成循环。前馈神经网络是最早设计的也是最简单类型的人工神经网络。在前馈神经网络中，信息仅在一个方向上移动，从输入节点向前，通过隐藏节点(如果有的话)，到达输出节点。网络中没有循环或环路。因此，它不同于递归神经网络。递归神经网络是一类人工神经网络，其中单元之间的连接形成定向循环的。这会创建网络的内部状态，使其能表现出动态的时间行为。不同于前馈神经网络，递归神经网络可以使用其内部存储器来处理任意输入序列。卷积神经网络是一种基于动物视觉感知的特定类型的前馈神经网络，因此在处理图像数据方面特别有用。卷积神经网络类似于普通神经网络，但是由具有可学习权重和偏差的神经元组成。
40.对于用于机器学习的神经网络，存在许多替代方案，诸如支持向量机(svm)。svm基本上基于训练示例构造多维数学空间，并在该空间中提供允许对输入进行二元分类的边界，例如，分类为“好”答案与“差”答案。另一种方法涉及贝叶斯网络，其用有向无环图来表示一组变量。然后用网络来计算变量之间的概率关系。认知系统不限于使用单一方法，即它可以合并任何数量的这些机器学习算法。
41.人工智能的现代实现是ibm watson
tm
认知技术，其将先进的自然语言处理、信息检索、知识表示、自动推理和机器学习技术应用于开放域问答的领域。这种认知系统可以依赖现有的文档(语料库)并以不同方式分析它们，以便提取与诸如人、位置、组织和特定对象的查询相关的答案，或者识别正面和负面情绪。可以使用不同的技术来分析自然语言、识别源、查找和生成假设、查找证据和并为证据评分、以及合并假设和对假设进行排名。可以基于大的问题(输入)和答案(输出)对集合来训练对答案进行评分和排名的模型。独立找到相同答案的算法越多，答案越可能是正确的，从而产生总体得分或置信度水平。
42.图5示出了如何根据本发明的一种实施方式训练和应用新颖的认知系统120。认知系统120的预测功能基于用作训练数据122的历史信息。在该示例中，用认知系统来为提供欺诈检测解决方案的金融服务应用程序提供持续的操作结果。训练数据122因此构成不同情况下的操作因素的先前示例，具有关于qos要求的实际结果。例如，训练数据122可以包括反映活动中的峰值使用时间或活动间歇的时域信息(日中时间、星期几、月中日期或其他日历日期等)、资源可用性的快照、正在服务的特定客户(或仅客户数)、交易负荷(即，最近请求了或当前正在处理多少交易)以及由操作系统所使用的通信线路上的网络流量。训练数据122中的每个数据点可以包括与相比于qos要求的(所有数据类型的)数据移动参数相关的这个和其他信息。换言之，数据点将提供输入因素，后者导致给定的数据管理状态，其中一些qos要求被满足而其他qos要求未被满足(历史操作结果)。该训练教导认知系统120对于给定的操作情况来说某些qos需求将得不到满足的可能性。历史操作因素可以用来自数据背板服务的服务反馈进行更新。
43.一旦认知系统120得到了如此的训练，它就可以被操作数据管理系统用于基于当前因素来预测可能的行为。当前系统操作因素124被馈送到认知系统120；这些因素将包括
与训练数据相同类型的输入(时间、资源等)。利用在认知系统120中实施的特定机器学习算法，可以将预测操作结果转发到数据管理系统的数据移动优化126。进一步对于该欺诈检测示例，认知系统可以提供任何或所有计算、资源、数据分配或服务正常运行时间要求现在或不久的将来可能会受到损害的指示。数据移动优化126随后可以基于受损害的特定qos要求来对为更有效地处置这些缺陷所需的数据背板服务进行优先级排序。在一种实现方式中，预测操作结果可以(基于由认知系统生成的给定qos标准将得不到满足的置信值)分配量化形式的、指示qos失败的可能性的不同值，并且数据移动优化126可以对与被指示为最可能失败的要求相关联的服务进行优先级排序，即，首先调用那些服务和/或将那些服务更多地提供给具有较高失败可能性的qos标准。
44.可以参见图6的流程图进一步理解本发明，该图示出了根据一个实现方式的用于数据管理过程150的逻辑流程。可以在任何计算机系统(包括计算机系统10或分布式系统)上执行的过程150开始于接收源和目标的数据定义以及那些源和目标的服务质量标准152。这些定义可以由应用程序开发者根据所使用的特定编码和变量来提供。数据管理系统连续地监控操作工作负荷154。所监控的因素可例如包括资源使用、容量和响应时间。由此为进行中的操作数据流建立当前评估156。用当前评估来预测即将发生的操作结果158。这些结果可以由认知系统使用关于过去的操作数据移动的历史信息160来识别。预测的结果允许数据移动优化以识别哪些qos标准处于风险162。有些qos标准可能具有更大的风险，因此相应地在资源分配中被授予优先级。然后，数据移动优化可以应用适当的优化基础设施来提升所识别的qos标准164。优化基础设施(数据背板服务)按需产生工作者线程以满足要实现的qos目标。只要继续进行操作166，该过程就迭代地返回至框154以继续进行监控。
45.因此，本发明结合工作负荷的监控和随后的预测缩放来提供数据背板满足qos标准的优异弹性，使得数据背板可以动态地适应应用程序在特定时刻的需要。虽然已经参考特定实施例描述了本发明，但是该描述不意味着被解释为限制性的。在参考本发明的描述后，所公开的实施例的各种修改以及本发明的替代实施例对于本领域的技术人员将变得显而易见。因此，可以预期的是，在不背离所附权利要求中限定的本发明的精神或范围的情况下，可以进行这种修改。