一种基于数据流的旁路风控网关的制作方法

1.本发明涉及金融领域的风控网关，具体涉及一种基于数据流的旁路风控网关。


背景技术：

2.随着全高速交易链路的逐步实践，越来越多的客户选择通过高速链路进行交易。同时交易所为了保障市场稳定，对扰乱市场的交易行为进行了多种监控，特别地在未来若第三方接入放开，监管要求券商建立与信息系统外部接入相关活动的复杂程度和风险状况相适应的风险管理系统，可以实时监测相关证券交易情况，并具备干预外部接入的相关功能。
3.但是，目前高效的订单交易系统大都缺乏对交易行为的监控和风险管理能力。另一方面，在多个柜台交易的投资者可能存在关联交易行为，而各柜台间相互独立，甚至为不同供应商。为了满足现有监管要求和应对未来的监管，需要保证高效订单系统有足够的风险控制能力，能够提前通知客户可能触碰到相应的交易所规则或者制止这种交易行为，需要建设一套独立的风控系统，能够管理多个交易柜台关联账号交易的监控，防止或者提前发现违规现象，在尽可能不提升交易延迟的情况下，对系统和客户进行保护。
4.现有的对多柜台的异常交易监控系统，在一定程度上都会介入到交易链路中，对交易延时存在一定的影响，也增加了交易链路的风险。


技术实现要素：

5.以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
6.本发明的目的在于解决上述问题，提供了一种基于数据流的旁路风控网关，在多柜台的异常交易监控过程中降低交易延时和交易链路的风险。
7.本发明的技术方案为：本发明揭示了一种基于数据流的旁路风控网关，网关包括风控核心模块、报盘服务模块、行情网关、数据上场服务模块、数据下场服务模块、场下数据库、风控管理后台系统，其中：
8.风控核心模块，用于接收包括委托、成交、行情在内的业务数据，并进行风控指标计算；
9.报盘服务模块，用于对接柜台和交易所，支持实时查询或接收交易所回报信息，基于旁路模式进行数据无感采集；
10.行情网关，对接券商本地行情源或行情系统，接收实时行情快照；
11.场下数据库，用于数据持久化操作，并通过数据上场服务模块、数据下场服务模块提供上下场服务；
12.数据上场服务模块，读取存储在场下数据库中的基础数据并发送至风控核心模
块；
13.数据下场服务模块，将风控核心模块在业务处理过程中产生的流水数据进行场下数据库的入库；
14.风控管理后台系统，供用户管理风控指标配置参数。
15.根据本发明的基于数据流的旁路风控网关的一实施例，风控核心模块、报盘服务模块、行情网关、数据上场服务模块、数据下场服务模块、场下数据库、风控管理后台系统之间采用fib总线进行通讯。
16.根据本发明的基于数据流的旁路风控网关的一实施例，风控核心模块支持按照指定业务关键字进行水平扩展。
17.根据本发明的基于数据流的旁路风控网关的一实施例，风控核心模块支持冷备和热备两种故障恢复方式。
18.根据本发明的基于数据流的旁路风控网关的一实施例，报盘服务模块基于旁路模式的无感采集进一步包括：在连接柜台系统和交易所系统的交换机设备上针对连接交易所系统的端口做端口映射，以将交易链路数据流复制一份至流量镜像服务器相连接的端口，以使所有的数据采集在做端口映射后的端口上实现，完成数据的旁路采集，其中流量镜像服务器是报盘服务模块所在的服务器。
19.根据本发明的基于数据流的旁路风控网关的一实施例，基于数据流的旁路风控网关还包括数据处理程序，程序执行以下的步骤：
20.步骤1：数据上场服务模块从场下数据库中读取风控核心模块所需的数据并发送至风控核心模块以完成数据上场；
21.步骤2：通过行情网关从券商本地行情系统或本地行情源处接收行情数据，处理为内部行情结构的数据后推送至风控核心模块，以完成行情数据接入；
22.步骤3：报盘服务模块从柜台和交易所链路上的镜像数据流中采集到订单及回报信息，推送至风控核心模块；
23.步骤:4：风控核心模块对步骤1、步骤2和步骤3获取的数据进行解析处理，再对解析后的数据进行规则的检查和计算；
24.步骤5：风控核心模块在业务处理过程中产生的数据，通过数据下场服务模块完成场下数据库的入库。
25.根据本发明的基于数据流的旁路风控网关的一实施例，在数据处理程序的步骤3中，报盘服务模块首先基于pcap底层方法完成数据采集，再对采集到的数据进行解析处理，包括针对上证交易所传来的外部数据采用tds协议解析处理，针对深证交易所传来的外部数据采用binary协议解析处理。
26.根据本发明的基于数据流的旁路风控网关的一实施例，风控核心模块进一步配置为：风控核心模块接收报盘服务模块转发的订单与回报消息，对订单进行排序并记录交易流水序号，由内含的复杂事件处理引擎根据构建好的风控规则模型对订单消息进行验证和检查并保持到场下数据库，同时将校验结果和同步数据发送给数据下场服务模块，通过数据下场服务模块将校验结果和同步数据保存到场下数据库。
27.本发明对比现有技术有如下的有益效果：本发明完全基于旁路采集交易流水相关数据，不会对于原有交易链路产生任何影响，将系统接入风险降到了最低。通过端口映射镜
像数据，并采用pcap技术抓包实时分析，保证了数据采集的及时性，使得对异常交易行为的监控和反馈更及时、更准确。
附图说明
28.在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
29.图1示出了本发明的基于数据流的旁路风控网关的一实施例的架构图。
30.图2示出了图1所示的基于数据流的旁路风控网关的实施例的内部数据处理流程图。
31.图3示出了图1所示的基于数据流的旁路风控网关的实施例中的风控核心模块的内部线程处理的示意图。
32.图4示出了图1所示的基于数据流的旁路风控网关的实施例中的端口映射方式复制链路数据流的示意图。
33.图5示出了图1所示的基于数据流的旁路风控网关的实施例中采用pcap抓包技术采集数据并内部处理的示意图。
具体实施方式
34.以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
35.图1示出了本发明的基于数据流的旁路风控网关的一实施例的架构。请参见图1，本实施例的基于数据流的旁路风控网关包括：风控核心模块、报盘服务模块、行情网关、数据上场服务模块、数据下场服务模块、场下数据库、风控管理后台系统。
36.风控核心模块用于接收委托、成交、行情等业务数据，并进行风控指标计算。风控核心模块本身支持按照指定业务关键字(例如按客户)进行水平扩展。此外，风控核心模块还同时支持冷备和热备两种故障恢复方式。
37.报盘服务模块对接柜台和交易所(例如上证sqlserver接口库和深证tgw网关)，支持实时查询或接收交易所回报信息，旁路模式下可以做到无感采集。根据对接交易所的不同，分别对应urfront和urfront_sz服务。
38.行情网关对接券商本地行情源或行情系统，接收实时行情快照。
39.本实施例的旁路风控网关的场下数据库采用oracle数据库，进行业务数据持久化，并通过数据上场服务模块、数据下场服务模块提供上下场服务。
40.数据上场服务模块读取存储在场下数据库中的基础数据并发送至风控核心模块。而风控核心模块在业务处理过程中产生的流水数据，通过数据下场服务模块完成入库。
41.风控管理后台系统供用户管理风控指标配置参数。
42.旁路风控网关内部各模块之间采用高性能fib总线进行通讯。
43.图2示出了本实施例的基于数据流的旁路风控网关内部的数据处理程序的流程。如图2所示，内部数据处理流程的各个步骤详述如下。
44.步骤1：数据上场。
45.风控核心模块所需的基础数据存储在场下数据库中，经由数据上场服务模块读取并发送至风控核心模块。所发送的数据主要包括基础持仓数据、股东代码、风控指标等交易和风控计算所依赖的数据。
46.步骤2：行情数据接入。
47.通过行情网关从券商本地行情系统或本地行情源处接收行情数据，处理为内部行情结构的数据后，推送至风控核心模块。
48.步骤3：采集订单及回报信息推送至风控核心模块。
49.委托、成交等外部数据在不同的应用场景下需要通过不同类型的报盘服务模块接入，报盘服务模块首先基于pcap底层方法完成外部数据的采集，即从柜台和交易所链路的镜像数据流中采集订单及回报信息，再由发布订阅线程推送至风控核心模块。
50.步骤4：风控核心模块对获取的数据进行解析处理，再对解析后的数据进行风控规则的检查和计算。
51.风控核心模块接收到步骤1，步骤2和步骤3的相关数据后，先进行解析处理，解析处理例如是针对上证交易所传来的外部数据采用tds协议解析处理，针对深证交易所传来的外部数据采用binary协议解析处理。再对解析后的数据进行风控规则的检查和计算，即：实时计算更新指标的参数值，并通过与预设阈值的比较判定风控检查结果。
52.步骤5：数据下场。
53.风控核心模块在业务处理过程中产生的需要数据下场的流水数据，通过数据下场服务模块完成场下数据库的入库。所入库的数据主要包括委托、成交记录，持仓的更新信息，以及风控预警信息。
54.如图3所示，风控核心模块作为旁路风控网关的风控计算中心，分别与数据上场服务模块(urtinit)、数据下场服务模块(urtmdb)、行情网关(mscffex)、报盘服务模块(urfront/urfront_sz)建立数据连接关系。其中交易数据订阅线程主要负责接收数据上场服务模块发送过来的基础数据和报盘服务模块同步的订单及回报等信息；而行情数据接收线程主要负责接收行情网关发送的实时行情数据，并在内存中维护一份行情快照，记录最新的行情切片数据，供后续新进订单计算相关指标时使用；风控核心模块用于接收报盘服务模块转发的订单与回报消息，trade series(交易流水序号)是对订单进行排序并记录交易流水序号，由内含的复杂事件处理引擎(cep)根据构建好的风控规则模型对订单消息进行验证和检查并保持到内存数据库，同时将校验结果和同步数据(datasync)发送给数据下场服务模块(urtmdb)，通过数据下场服务模块将校验结果和同步数据保存到场下数据库中；数据发布线程负责将风控核心模块的处理结果数据发送给相关模块，包括订单、成交，以及计算过程中产生的持仓、错单等数据，将发送给数据下场模块；此外，已检查的订单、确认、成交数据将发送给其他中心的风控核心模块，参与其内部跨市场指标的计算。
55.如图4所示，oms(订单管理系统)柜台系统连接上证sql服务或者深证twg(tgw是深交所交易系统提供给市场参与者的接入点，简称交易网关，英文全称是trade gateway)服务，建立连接后，存在临时端口1(与oms柜台系统相连的端口)和目标端口2(与sql服务或者twg服务相连的端口)，为了不对交易链路产生影响，在交换机(交换机是原有的外部设备，从oms柜台系统的数据发送至交易所即上证sql服务或者深圳twg服务的过程中至少会经过一次交换机设备，数据流复制基于该交换机设置即可)上针对目标端口2做端口映射处理，
将交易链路数据流复制一份至与流量镜像服务器(流量镜像服务器即报盘服务模块所在的服务器，该服务器的主要功能是采集镜像后的流量数据)相连接的端口3，以使所有的数据采集在端口映射后的端口3上实现，原有的交易链路无感知，即报盘服务模块是针对端口3完成数据的旁路采集。
56.如图5所示，上证及深证的前置调用pcap(packet capture，在计算机网络管理中，由捕获网络流量的应用程序编程接口组成，类unix的系统主要是libpcap库中实现，而windows系统则是使用名为winpcap的libpcap端口)库从网卡上采集数据，通过源地址、目标地址、端口等信息进行初步过滤，然后通过会话识别区分上行委托和下行回报数据，同时按照抓取到的包序号重新组装出完整的协议包，分别对tds(tabular data stream)协议及binary(binary是深交所定义并提供的其中一类交易接口协议，也可以称为二进制协议)协议做解析，获取到请求及回报数据，通过数据发布线程将所获取的请求及回报数据发送至风控核心模块，由风控核心模块进行风控检查。
57.上述tds(tabular data stream)协议是一种应用层的协议用于和sql server数据库进行请求及响应的交互，它提供了如下的功能：1)授权访问以及会话加密通讯；2)定义sql请求规范包括批量插入；3)可调用存储过程或者用户定义的函数，即rpc(remote procedure call)；4)返回数据的解析；5)请求的事务管理。
58.上述的binary协议是深交所提供用于订单管理系统(oms)同深交所交易网关(tgw)通讯的应用层的流协议。
59.通过会话识别区分出抓包数据是上行的委托还是下行的回报和成交信息。定序组包则是指抓取到的大量数据包，进行排序重新组装成完整的协议包，供后续的协议分析。之后描述的tds和binary协议主要描述的都是协议分析的过程。
60.在图5中，这里采用两张网卡(网卡1和网卡2)的目的是数据采集和内部模块间通讯采用不同设备，避免相互影响，理论上使用同一张网卡也是可行的。
61.图3和图5是从两个不同模块的线程处理过程。其中图3中的交易数据订阅线程和图5中的订阅线程指的是同一个线程。图5中只有这一个线程是风控核心模块的线程，其他都是报盘服务模块的内部线程；而图3中的所有线程都是风控核心模块的内部线程。
62.尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
63.本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
64.结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的
任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如dsp与微处理器的组合、多个微处理器、与dsp核心协作的一个或多个微处理器、或任何其他此类配置。
65.结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
66.在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、dsl、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(cd)、激光碟、光碟、数字多用碟(dvd)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
67.提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。