基于多源数据变动调权的限额计算交叉验证系统及方法与流程

基于多源数据变动调权的限额计算交叉验证系统及方法
1.本技术请求申请号为：cn202011539731.5，申请日为2020年12月23日的在先申请“一种基于多源数据变动调权的限额计算交叉验证系统”作为优先权基础。
技术领域
2.本发明涉及一种基金限额计算验证系统，尤其涉及一种基于多源数据变动调权的限额计算交叉验证系统、方法及介质。


背景技术：

3.公募基金限额数据是基金交易环节的重要限制参数，由于基金交易限额涉及基金认申购、转换、超级转换、撤单等流程，因此，限额数据正确与否直接关系到客户的交易成功率和操作体验。其数据来源包括基金公司公告、开放式数据交换平台和第三方数据源等，各单一数据源均存在准确率不高、覆盖度较低的问题。
4.行业内目前主要采用半人工运维的方式修正数据，或者事后跟踪处理异常订单的方式应对。这两种方式由于较多的人工参与环节导致人力投入成本高、响应及时性差、人工操作失误率高、客户体验差等痛点问题。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于多源数据变动调权的限额计算交叉验证系统、方法及介质。
6.根据本发明提供的一种基于多源数据变动调权的限额计算交叉验证系统，包括：
7.基金限额数据采集存储模块：包括前端用户端和后端服务器，用于采集并存储来自多个基金限额数据源的数据，所述前端用户端和后端服务器之间设置nginx反向代理服务器；
8.限额配置模块：配置限额来源、限额取值优先级、限额公告关键字和基金参数来源；
9.限额数据处理模块：获取并处理限额数据；
10.投前超限校验模块：校验用户认申购、普通转换、超级转换是否超单笔、单日、单账户限额；
11.投后超限处理模块：包括在途超限查询、超限历史查询以及超限短信邮件发送。
12.优选地，所述基金限额数据采集存储模块执行包括：
13.步骤s101：定时从多个基金限额数据源导入限额数据；
14.步骤s102：对导入的限额数据进行分类；
15.步骤s103：对分类后不符合预设要求的限额数据进行隔离；
16.步骤s104：对非隔离的限额数据进行异常处理；
17.步骤s105：将处理完成的限额数据存入多元基础限额数据库。
18.优选地，所述限额配置模块包括：
19.获取配置的限额类型、限额数值和限额有效期，并存储至人工限额数据库中。
20.优选地，所述限额数据处理模块执行包括：
21.从所述基金限额数据采集存储模块以及所述限额配置模块获取数据，判断每个基金产品是否在所述限额有效期内；
22.若判断结果为是，则配置限额为人工配置的限额数值；
23.若判断结果为否，则判断来自多个基金限额数据源的数据是否一致，若多个基金限额数据源的数据一致，则配置限额为多个基金限额数据源的一致值，若多个基金限额数据源的数据不一致，则配置限额为多个基金限额数据源的最小值；
24.在配置限额后，将最新的限额数据存入最新限额数据库。
25.优选地，基金限额数据源包括管理人行情文件、管理人参数文件、管理人官网公告文件、财汇数据库、万得数据库和手工更新维护的数据源；
26.在基金产品不在所述限额有效期内时，具体包括：
27.判断该产品是否已有来自管理人行情文件的当前交易日的行情数据，若已有，则进行下一步，若没有，则间隔第一预设时间之后再次进行本判断；对于管理人行情文件已来的产品，每天在开始时间开始不断执行更新，每第二预设时间一次，直至结束时间；
28.取当前产品来自财汇数据库、万得数据库、管理人官网公告文件、管理人参数文件、管理人行情文件中的单日上限字段；
29.若有某个数据源未取到值或者取值为空，则将该数据置为0；
30.比较财汇数据库、万得数据库、管理人官网公告文件、管理人参数文件、管理人行情文件中的单日上限字段并根据限额算法计算后自动更新，根据多源数据一致或不一致分别计算限额值，通过限额寻优模型寻找最优值y1，同时计算限额最小值y2，取限额安全值为y3＝min(y1，y2)；
31.若该产品存在手工维护值，则更新手工维护值作为限额值。
32.根据本发明提供的一种基于多源数据变动调权的限额计算交叉验证方法，包括：
33.基金限额数据采集存储步骤：包括前端用户端和后端服务器，用于采集并存储来自多个基金限额数据源的数据，所述前端用户端和后端服务器之间设置nginx反向代理服务器；
34.限额配置步骤：配置限额来源、限额取值优先级、限额公告关键字和基金参数来源；
35.限额数据处理步骤：获取并处理限额数据；
36.投前超限校验步骤：校验用户认申购、普通转换、超级转换是否超单笔、单日、单账户限额；
37.投后超限处理步骤：包括在途超限查询、超限历史查询以及超限短信邮件发送。
38.优选地，所述基金限额数据采集存储步骤执行包括：
39.步骤s101：定时从多个基金限额数据源导入限额数据；
40.步骤s102：对导入的限额数据进行分类；
41.步骤s103：对分类后不符合预设要求的限额数据进行隔离；
42.步骤s104：对非隔离的限额数据进行异常处理；
43.步骤s105：将处理完成的限额数据存入多元基础限额数据库。
44.优选地，所述限额配置步骤包括：
45.获取配置的限额类型、限额数值和限额有效期，并存储至人工限额数据库中；
46.所述限额数据处理步骤执行包括：
47.从所述基金限额数据采集存储步骤以及所述限额配置步骤获取数据，判断每个基金产品是否在所述限额有效期内；
48.若判断结果为是，则配置限额为人工配置的限额数值；
49.若判断结果为否，则判断来自多个基金限额数据源的数据是否一致，若多个基金限额数据源的数据一致，则配置限额为多个基金限额数据源的一致值，若多个基金限额数据源的数据不一致，则配置限额为多个基金限额数据源的最小值；
50.在配置限额后，将最新的限额数据存入最新限额数据库。
51.优选地，基金限额数据源包括管理人行情文件、管理人参数文件、管理人官网公告文件、财汇数据库、万得数据库和手工更新维护的数据源；
52.在基金产品不在所述限额有效期内时，具体包括：
53.判断该产品是否已有来自管理人行情文件的当前交易日的行情数据，若已有，则进行下一步，若没有，则间隔第一预设时间之后再次进行本判断；对于管理人行情文件已来的产品，每天在开始时间开始不断执行更新，每第二预设时间一次，直至结束时间；
54.取当前产品来自财汇数据库、万得数据库、管理人官网公告文件、管理人参数文件、管理人行情文件中的单日上限字段；
55.若有某个数据源未取到值或者取值为空，则将该数据置为0；
56.比较财汇数据库、万得数据库、管理人官网公告文件、管理人参数文件、管理人行情文件中的单日上限字段并根据限额算法计算后自动更新，根据多源数据一致或不一致分别计算限额值，通过限额寻优模型寻找最优值y1，同时计算限额最小值y2，取限额安全值为y3＝min(y1，y2)；
57.若该产品存在手工维护值，则更新手工维护值作为限额值。
58.根据本发明提供的一种存储有计算机软件的计算机可读存储介质，所述计算机软件被处理器执行时能够实现所述方法的步骤。
59.与现有技术相比，本发明具有如下的有益效果：
60.本发明提供的基于多源数据变动调权的限额计算交叉验证系统，通过各数据源之间的交叉验证，能够高效管理限额关联数据，可持续对复杂程度日益增长的限额数据进行准确处理，满足基金交易投前、投后追踪管理，并大幅提升限额数据的准确率，同时大幅降低人力投入成本，大大提升用户的使用体验。
附图说明
61.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
62.图1为本发明基于多源数据变动调权的限额计算交叉验证系统架构图；
63.图2为本发明的工作原理图；
64.图3为本发明一实施例的工作流程图。
具体实施方式
65.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
66.图1为本发明基于多源数据变动调权的限额计算交叉验证系统架构图。
67.请参见图1和图2，本发明提供的基于多源数据变动调权的限额计算交叉验证系统为j2ee架构，包括前端用户端和后端服务器基构成的基金限额数据采集存储模块，用于采集并存储来自多个基金限额数据源的数据，所述前端用户端和后端服务器之间设置nginx反向代理服务器。所述前端用户端为手机、平板或pc客户端，所述前端用户端使用jquery和easyui框架，所述后端服务器使用springmvc为框架，所述前端用户端和后端服务器采用json格式进行数据转换、解析和映射，使得数据接收和pattern url相匹配。
68.后端服务器的逻辑处理模块主要功能包含限额数据处理模块、限额配置模块、投前超限校验模块、投后超限处理模块。
69.基金限额数据采集存储模块定时从多个基金限额数据源导入限额数据，对导入的限额数据进行分类；同时，对分类后不符合预设要求的限额数据进行隔离，对非隔离的限额数据进行异常处理，最后将处理完成的限额数据存入多元基础限额数据库。
70.限额配置模块：获取配置的限额类型、限额数值和限额有效期，并存储至人工限额数据库中。配置限额来源、限额取值优先级、限额公告关键字、基金参数来源配置等。
71.限额数据处理模块：获取并处理限额数据。具体包括：从基金限额数据采集存储模块以及限额配置模块获取数据，判断每个基金产品是否在限额有效期内；若判断结果为是，则配置限额为人工配置的限额数值；若判断结果为否，则判断来自多个基金限额数据源的数据是否一致，若多个基金限额数据源的数据一致，则配置限额为多个基金限额数据源的一致值，若多个基金限额数据源的数据不一致，则配置限额为多个基金限额数据源的最小值；在配置限额后，将最新的限额数据存入最新限额数据库。
72.投前超限校验模块：校验用户认申购、普通转换、超级转换是否超单笔、单日、单账户限额。
73.投后超限处理模块：包括在途超限查询、超限历史查询、超限短信邮件发送等。
74.本发明能够解决限额覆盖率低、准确性不足、覆盖产品不全、人工维护工作量巨大、超限下单后无法实时通知客户客服等问题。通过基于多源数据变动调权的限额算法，提升限额数据的准确性、及时性，降低由于超限导致交易失败的概率。同时通过可视化的限额配置、超限查询、超限消息、超限处理等人性化配置，提高业务处理能力，提升客户使用体验。下面给出本发明各模块的主要功能及实现过程。
75.1、采集公募基金限额数据
76.公募基金限额数据源如下：
77.a)数据源1：管理人行情07文件，文件为txt格式，通过基金开放式数据交换平台获取。此数据源准确率约为85％-90％之间。
78.b)数据源2：管理人参数c1文件，文件为txt格式，通过基金开放式数据交换平台获取。此数据源准确率约为85％-90％之间。
79.c)数据源3：管理人官网公告文件，通过官网获取文件为pdf/word/图片，以ocr和nlp(natural language processing，自然语言处理)技术处理之后，转化为数据格式。此数据源准确率约为60％-70％之间。
80.d)数据源4：财汇数据库(第三方数据源)，此数据源准确率约为90％-95％之间。
81.e)数据源5：万得数据库(第三方数据源)，此数据源准确率约为90％-95％之间。
82.f)数据源6：手工更新维护的数据源，仅针对少数异常值维护。
83.其中数据源1、2、4、5,四类，通过文件和接口直接读取基金产品限额数据。
84.数据原源3则需要通过文件解析及处理，具体处理规则如下：
85.与“单日购买上限”和“单账户购买上限”有关的公告的名称大致分为以下几类：
86.《xxxx基金暂停大额申购、转换转入的公告》；
87.《xxxx基金恢复大额申购、转换转入的公告》；
88.《xxxx基金调整大额申购限额的公告》；
89.《xxxx基金暂停xx金额以上的申购、转换转入的公告》；
90.《xxxx基金限制大额申购业务的公告》；
91.《xxxx基金xx节假期前暂停申购、转换转入业务的公告》；
[0092]“单日购买上限”的常见表述：
[0093]
1)调整大额申购起始日xxxx年xx月xx日，限制申购金额(单位：人民币元)xxxx，限制转换转入金额(单位：人民币元)xxxx；
[0094]
2)如单个基金账户日累计(单日单个基金账户)申请金额超过xxxx(含/不含)，则单笔金额超过xxxx(含/不含)，本基金管理人有权拒绝。其余申请按金额从大到小进行排序，逐笔累加至符合不超过xxxx限额的申请给予确认，其余本基金管理人有权拒绝。
[0095]
3)如单日单个基金账户单笔申购本基金的金额超过xxxx(含/不含)，对该笔申购申请本公司有权拒绝；如单日单个基金账户多笔累计申购本基金的金额超过xxxx(含/不含)，对超过限额的该笔或多笔申购申请本公司有权拒绝。
[0096]“单账户购买上限”的常见表述：
[0097]
1)如单日单笔或多笔的累计申请金额导致单个基金账户累计持有金额超过xxxx(含/不含)，基金管理人有权拒绝。针对单笔申购、定投、转换转入业务申请，仅有确认和不予确认两种处理方式，不存在对单笔申请的部分确认；
[0098]
2)单个账户申购(含定期定额申购)、基金转换转入金额累计(含该账户存量份额)调整为不超过xxxx(含/不含)，如累计申购和转换转入金额(含该账户存量份额)超过xxxx(含/不含)，本基金管理人将有权予以拒绝；
[0099]
3)单个基金账户累计持有的基金份额上限为xxxx份(a类和b类份额合并计算，该限额针对投资人发起的申购、转换转入、定期定额投资；因收益结转增加份额等情形除外)。
[0100]
4)同一自然人或同一法人/机构投资者持有本基金的余额应不超过xxxx。如同一自然人或同一法人/机构投资者持有本基金的余额已接近或超过xxxx，对其继续申购、转换转入或定期定额投资的投资行为，本基金将有权拒绝。
[0101]
5)每个基金账户接受申购申请(含定期定额投资和转换转入)后出现累计持有本基金份额超过xxxx的情形，本基金管理人将部分或全部予以拒绝，但本基金管理人认为相关申请不会影响基金平稳运作的除外。
[0102]
6)若投资者的申购申请被确认成功后，将导致投资者账户内本基金总市值(含该账户存量份额)超过xxxx，本公司将有权对投资者的申购申请进行部分确认成功，确保该投资者账户内本基金总市值(含该账户存量份额)不超过xxxx。
[0103]
通过对如上文本进行解析和处理，获得基金限额结构化数据。
[0104]
2、限额处理算法逻辑
[0105]
1)取07、c1、公告、财汇、万得共五源数据进行比较，数值一致的作为该产品限额写入限额系统；
[0106]
2)若出现五源数据不一致时，对各数据源获取的限额数值li进行赋权ni，权重值通过限额寻优模型寻找最优值y1，同时计算限额最小值y2。取限额安全值为y3＝min(y1，y2)。
[0107]
3)若该产品存在手工维护值(异常场景)，则直接取手工维护值作为优先限额值。
[0108]
3、限额数据更新逻辑
[0109]
1)系统每天早上8：30开始对所有产品执行以下判断
[0110]
a)判断该产品是否在手动维护限额的有效期内，若是则该产品本日限额不更新，若不是则进入下一步；
[0111]
b)判断该产品是否已有当前交易日的行情数据(07文件数据已来)，若已有，则进行下一步，若没有，则30分钟之后再次进行本判断；凡是07文件已来的产品，不断执行更新，每小时一次，直至下午14：30；
[0112]
c)取当前产品财汇、万得、公告、c1、07的单日上限字段；
[0113]
d)若有某个数据源未取到值或者取值为空，则将该数据置为0；
[0114]
e)比较财汇、万得、公告、c1、07的单日上限字段并根据限额算法计算后自动更新，根据五源一致或不一致分别计算限额值。过限额寻优模型寻找最优值y1，同时计算限额最小值y2。取限额安全值为y3＝min(y1，y2)；
[0115]
f)若该产品存在手工维护值(异常场景)，则更新手工维护值作为限额值。
[0116]
4、限额账户额度计算
[0117]
限额计算公式：
[0118]
a:单账户可用额度
[0119]
a＝单账户限额-(持有份额*净值 (总在途认申购转换转入金额-t日在途认申购转换转入金额) 未付收益)*101％(本产品及共用限额产品)-t日在途认申购转换转入金额(本产品及共用限额产品)
[0120]
b:单日可用额度
[0121]
b＝单日限额-当日在途认申购转换转入金额(本产品及共用限额产品)
[0122]
c:最终额度
[0123]
c＝min(a，b，操作员授权限额)
[0124]
如果c也满足大于首次购买起点的要求(如果已有持仓，则判断是否大于追加购买起点)，c即为剩余可申购金额。
[0125]
经验证，本发明的下限额数据的准确率达到98％，且几乎不依赖人工，相对于其他单一数据源具有明显的准确率优势(其他单一数据源的准确率在60％-95％之间)。
[0126]
实施例
[0127]
如图3所示，每天早上8：30开始对基构通后台所有非货币产品执行以下判断：
[0128]
a.判断该产品是否是还在手动维护限额的有效期内，若在，则该产品本日限额不更新，若不在，则进入下一步。
[0129]
b.判断ta是否已有当前交易日的行情数据(07数据已来)，若已有，则进行下一步，若没有，则30分钟之后再次进行本判断；凡是07文件已来的产品，不断执行更新，每小时一次，直至下午14：30。
[0130]
c.取当前产品财汇、c1、07的单日上限字段，保留两位小数。
[0131]
d.若有某个数据源未取到值或者取值为空，则将该数据置为0。
[0132]
e.若有大于等于999999999.00的数据，置为0(这样设计的原因是货币与非货币有意义的上限值最大均为5亿，10亿及以上都可以认为是无上限；本次处理方式与之前导入货币c1限额文件时的规则不一致，经过本次改造，货币和非货币都按照本次规则执行)。
[0133]
f.比较财汇、c1、07的单日上限字段并自动更新；
[0134]
i.若3源一致，则将一致数据作为该产品单日上限导入运营后台；
[0135]
ii.若3源不一致，则取三个数据源中最小的值(除0以外)作为该产品单日上限导入运营后台。
[0136]
单日限额公式：
[0137]
单日可用额度＝单日限额-t日在途认申购转换转入金额(本产品及共用限额产品)。其中：t日在途认申购转换转入金额＝t日在途认购 t日在途申购 t日在途普通转换入 t日在途实时超级转换入 t日在途非实时超级转换转入 预购清单产品。
[0138][0139]
单账户限额公式
[0140]
单账户可用额度＝单账户限额-(持有份额*净值 (总在途认申购转换转入金额-t日在途认申购转换转入金额) 未付收益)*101％(本产品及共用限额产品)-t日在途认申购转换转入金额(本产品及共用限额产品)。
[0141]
总在途认申购转换转入金额＝总在途认购 总在途申购 总在途普通转换转入金额 总在途实时超级转换转入金额 总在途非实时超级转换转入金额 预购清单产品。
[0142]
t日在途认申购转换转入金额计算方法同单日限额计算公式，只有极个别的非货
币有单账户限额，绝大部分没有。
[0143]
考虑超限时转换部分占用的额度
[0144][0145]
本发明的三源一致覆盖率：94％(1220)，91％(1221)，93％(1224)。
[0146]
a.货币短期理财：75％(1220)，62％(1221)，76％(1224)。
[0147]
b.非货币：96％(1220)，95％(1221)，96％(1224)。
[0148]
c.货币覆盖率比非货币低的原因是：非货币只有少部分产品对上限有要求(10％左右)，如果只考虑货币和非货币中对现有有要求的那部分产品，则货币非货币的覆盖率都在60％左右，因此货币非货币并无明显差别。
[0149]
本发明的三源一致准确率。
[0150]
a.货币短期理财：99.3％。
[0151]
b.非货币：无参考准确值因而无法论证，但是基于财汇限额人工读取公告，c1、07来自基金公司系统，3个数据源都发生错误，且错的一样的概率极低。加之货币的准确性已被论证，因此3源一致法认为是很可靠的。
[0152]
本发明还提供一种基于多源数据变动调权的限额计算交叉验证方法，包括：
[0153]
基金限额数据采集存储步骤：包括前端用户端和后端服务器，用于采集并存储来自多个基金限额数据源的数据，所述前端用户端和后端服务器之间设置nginx反向代理服务器。
[0154]
限额配置步骤：配置限额来源、限额取值优先级、限额公告关键字和基金参数来源。
[0155]
限额数据处理步骤：获取并处理限额数据。
[0156]
投前超限校验步骤：校验用户认申购、普通转换、超级转换是否超单笔、单日、单账户限额。
[0157]
投后超限处理步骤：包括在途超限查询、超限历史查询以及超限短信邮件发送。
[0158]
本发明还提供一种存储有计算机软件的计算机可读存储介质，所述计算机软件被处理器执行时能够实现所述方法的步骤。
[0159]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0160]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。