1.本发明涉及数据处理
技术领域：
：，具体地，涉及一种支持业务系统不间断服务的数据处理方法及系统。尤其涉及一种银行业务系统的不间断服务的数据处理控制方法。
背景技术：
：：2.随时社会的发展，在日常生活中日渐丰富的处理业务类型越来越多，而需要办理的人员和服务人员之间的工作时间冲突。比如银行场景中，用户需要到银行办理相关业务，但是在工作日时用户下班时间会和银行工作人员的通勤时间有所冲突，而导致用户只能请假办理或另外找时间办理相关业务。在需要办理紧急业务时，给用户带来很多麻烦，这就说明业务系统不间断服务的重要性。而在业务系统不间断服务需首要解决的问题即为业务系统不间断服务的数据处理的方法。3.目前，银行业务系统批量处理期间对业务前台开门时间要求的局限，并且业务系统7*24小时不停机服务而受批量加工逻辑的影响，从而影响效率。4.专利文献cn1553393a公开了一种实现银行不间断服务的数据处理方法,包括如下步骤:执行日终前处理；进行24小时模式处理；恢复正常工作状态。所述进行24小时模式处理的步骤包括:由所述核心业务系统进行银行的日终批处理,同时由所述24小时业务处理装置处理来自自助设备的交易请求；由24小时业务处理装置进行补账处理。5.但是专利文献cn1553393a存在动态交易流水数据无法实时在主库中查得的缺陷，需下一会计日期多次补账处理后整合进主库，数据完整性和时效性存在缺陷。且该文献只包含一种24小时模式处理，主、辅数据库数据合并到主数据库表中，模式单一。同时，也不存在时间控制功能，在本系统上游接入系统量大，接口规模庞大，每日加工处理持续时间长延伸至工作时间的情况下，系统数据库资源消耗较大，影响业务正常办理。并且该文献无法对系统批处理所有任务和状态的精准监控，无法做到批处理参数、配置、数据加载和导出的实时监控和实时调整。仅可做到系统级日切翻牌，存在无法按接口、按模块、按批次进行翻牌的缺陷，当本系统上游接入系统量大，接口规模庞大，每日需大规模数据处理和大批量数据加工作业量情况下，系统批处理日切无法保证，次日批处理无法拉起的情况。该文献不存在数据前后台分层的数据架构，数据处理流向需查看代码进行分辨。技术实现要素：6.针对现有技术中的缺陷，本发明的目的是提供一种支持业务系统不间断服务的数据处理方法及系统。7.根据本发明提供的一种支持业务系统不间断服务的数据处理方法，包括：8.步骤s1：建立前后台分层的数据架构；9.步骤s2：通过所述数据架构进行相应的数据处理；10.步骤s3：根据数据处理的处理状态和业务系统中每个模块的标志区分当前处理模块，并判断当前模块处理是否完成，若是，则系统自动翻牌；若否，则系统将循环访问直至处理完成；11.所述数据处理包括动态数据和静态数据智能识别处理与数据日切处理。12.优选地，在执行数据处理流程前将相应系统的配置初始化为相应记录信息，进而完成跑批环境准备；13.所述配置初始化包括数据加载配置初始化、数据卸数配置初始化、数据任务配置初始化；14.所述跑批环境准备包括：过期文件清理、物理备份、逻辑备份、高水位线处理、归档处理和序列初始化的环境处理。15.优选地，所述系统自动翻牌包括将业务日期更新为t 1天，批处理状态情况更新为停批状态；16.当t 1批处理满足模块标志及批处理状态停批方可拉起，同时更新批处理状态为跑批状态；其中t表示业务日期通识标识。17.优选地，所述前后台分层的数据架构包括：数据源层、昨日层、中间层、临时层、结果层、缓冲层、辅助层和业务层；18.其中数据源层用于静态管理源头数据，昨日层用于存储昨日结果，中间层用于存储批处理中间结果，临时层为临时结果提供辅助作用，结果层为最终结果为切换业务层做准备，缓冲层为用于合并动静态数据，辅助层记录前台动态数据，业务层是最终业务应用层展现所有业务数据。19.优选地，动态数据和静态数据智能识别处理根据不同架构层数据特点智能识别，并对动态数据和静态数据进行区分处理；20.所述数据日切处理根据不同数据处理需求，获取不同的切换前后台表的方式，从而进行快速识别日切模式，并完成切换。21.优选地，还包括全流程作业状态监控步骤：实时监控流程处理状态以及处理过程中的记录信息；22.所述记录信息包括：批次日期、存储过程名称、步骤号、开始结束时间、执行状态和日志描述。23.优选地，包括时间控制管理步骤：控制占用数据库资源较大且时效性低的批处理作业在工作时间暂停处理，控制时间外可正常跑批。24.优选地，所述时间控制管理大开关控制模块和小开关控制模块；25.大开关控制模块用于确认是否需要时间控制，小开关控制模块用于控制具体业务的启停。26.根据本发明提供的一种支持业务系统不间断服务的数据处理系统，包括：27.模块m1：建立前后台分层的数据架构；28.模块m2：通过所述数据架构进行相应的数据处理；29.模块m3：根据数据处理的处理状态和业务系统中每个模块的标志区分当前处理模块，并判断当前模块处理是否完成，若是，则系统自动翻牌；若否，则系统将循环访问直至处理完成；30.所述数据处理包括动态数据和静态数据智能识别处理与数据日切处理。31.优选地，还包括全流程作业状态监控模块：实时监控流程处理状态以及处理过程中的记录信息；32.所述记录信息包括：批次日期、存储过程名称、步骤号、开始结束时间、执行状态和日志描述。33.与现有技术相比，本发明具有如下的有益效果：34.1、本发明通过采用前后台分层的数据架构、动态数据和静态数据智能识别，实现了实时动态配置化数据调度处理，全面控制数据批量处理，前台无感操作且后台智能化识别。35.2、本发明通过精确灵活的全流程作业状态监控、模块化批量翻牌，实现了数据过程有迹可循，区别化模块内容处理，能够用于不同条线区分处理，提高了处理流程的灵活性和多样性。36.3、本发明通过先进数据日切机制解决了银行业务系统批量处理期间对业务前台开门时间要求的局限，实现了业务系统7*24小时不间断服务而不受批量加工逻辑的影响。37.4、本发明根据各系统实际需求，总结实际批量数据处理场景，将常用处理方式归并，利用配置通用性处理，通过数据架构设计，达成系统级完整处理。能够灵活配置，进而达到快速推广和应用至其他同类型系统复用实施的适用性。38.5、本发明将动态数据同时存储至数据架构层级的前端业务bu层及日切辅助rq层，保证前台数据完整性的同时，可通过日切模式一次性快速整合动静态数据，保证日切后数据的完整性及时效性。附图说明39.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：40.图1为本发明中前后台分层的数据架构的示意图。41.图2为本发明工作流程示意图。具体实施方式42.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。43.本发明通过采用前后台分层的数据架构、动态数据和静态数据智能识别、精确灵活的全流程作业状态监控、模块化批量翻牌解决方案、毫秒级数据日切机制等技术，实现银行业务系统不间断进行复杂批量数据加工的同时保持系统前台持续服务。44.实施例一45.根据本发明提供的一种支持业务系统不间断服务的数据处理方法，如图1和图2所示，包括：46.步骤s1：建立前后台分层的数据架构。具体地，前后台分层的数据架构包括：数据源层、昨日层、中间层、临时层、结果层、缓冲层、辅助层和业务层。47.其中数据源层用于静态管理源头数据，昨日层用于存储昨日结果，中间层用于存储批处理中间结果，临时层为临时结果提供辅助作用，结果层为最终结果为切换业务层做准备，缓冲层为用于合并动静态数据，辅助层记录前台动态数据，业务层是最终业务应用层展现所有业务数据。通过数据前后台分层的数据架构，提高数据隔离性和系统稳定性，同时分层数据架构可清晰展示数据流向，提高研发人员问题查询及问题解决的效率。48.步骤s2：通过所述数据架构进行相应的数据处理。数据处理包括动态数据和静态数据智能识别处理与数据日切处理。49.具体地，动态数据和静态数据智能识别处理根据不同架构层数据特点智能识别，并对动态数据和静态数据进行区分处理。例如，根据系统偏向设计，通过引入统一的异步数据变化识别模块，高效连续的将批处理期间前端变化记录至批处理日切辅助层，并通过统一控制表名各数据层特殊标志，比如数据源层表名加入c字母标记，业务层表名加入bu字母标记等以及通过表空间进行区分等。)进一步地，将前台动态数据打上动态标签并存储在辅助层，区分动静态数据，经缓冲层合同后消除动态标签。动态数据和静态数据作为系统重要数据来源，需精准处理两者关系，日切状态下毫秒级整合日切，保障数据准确和业务连续性。50.数据日切处理根据不同数据处理需求，获取不同的切换前后台表的方式，从而进行快速识别日切模式，并完成切换。业务层数据更新根据是否需动态数据和静态数据合并分为即时切换和日切切换，若不需要合并，则为即时切换；若需要合并，则为日切切。根据切换形式分为数据更新、全表替换、分区替换和数据插入。其中，数据更新为前台数据更新，全表替换为业务层与缓冲层表名互换，分区替换是指分区表表名互换，数据插入为根据去重模式筛选插入业务层。51.日切模式是由两个维度进行自由组合产生的8种模式，分别为即时数据更新模式、即时全表替换模式、日切数据更新模式、日切全表替换模式、即时分区替换模式、日切分区替换模式、即时数据插入模式和日切数据插入模式。各模式有不同的功能，满足各种不同情形要求。比如：当系统切换时，有前台业务数据更新，并且需要数据全部替换，可选择日切全表替换模式；当系统切换时，无前台数据更新，只有部分字段部分数据是t天批量加工后结果，则可选择即时数据更新模式。以上仅为简单举例说明并不局限于此例。去重模式则分为三种情况，分别为sql语句拼接变量字段、sql语句拼接固定语句和sql语句拼接变量字段及固定语句，具体去重语句及去重变量可配置去重条件实现。比如当日切模式为即时数据插入或日切数据插入时，会读取去重模式，根据去重模式，拼接符合插入数据的查询语句。如，日切模式为即时数据插入，去重模式为1变量字段，根据去重条件“awherenotexists(select1fromtable_test2bwherea.column_name＝b.column_nameandb.column_name1＝”利用数据库动态拼接成去重条件“insertintotestselect*fromtable_test1awherenotexists(select1fromtable_test2bwherea.column_name＝b.column_nameandb.column_name1＝‘xxx’”,完成日切内容，去重条件及插入表名、查询表名可灵活配置。去重模式为固定语句一般用于去重条件后拼接固定字符，如小括弧等，去重模式为变量字段及固定语句一般用于去重条件后拼接变量，并且需要再拼接固定字符。52.日切模式和去重模式的码值和对应的码值解释如表1所示：53.表1[0054][0055]步骤s3：根据数据处理的处理状态和业务系统中每个模块的标志区分当前处理模块，并判断当前模块处理是否完成，若是，则系统自动翻牌；若否，则系统将循环访问直至处理完成。具体地，系统自动翻牌包括将业务日期更新为t 1天，批处理状态情况更新为停批状态。当t 1批处理满足模块标志及批处理状态停批方可拉起，同时更新批处理状态为跑批状态；其中t表示业务日期通识标识，比如：当前业务日期是2022年10月17日为t，t 1表示当前业务日期的下一天，即2022年10月18日。)模块化自动翻牌为系统多模块多任务批次并行处理的要求提供解决方案，智能化控制任务批次，区分模块控制处理，避免多模块多任务批次管理混乱，有效保障数据准确性、系统稳定性。[0056]模块化批量翻牌解决方案，将接口等根据不同要求进行模块区分，如时效性要求、业务性要求、系统来源要求等，在大规模数据处理的情况下，系统级解耦，模块级聚合，各模块之间相互无影响，完成模块翻牌，完成时效性等要求。[0057]本发明在执行数据处理流程前将相应系统的配置初始化为相应记录信息，进而完成跑批环境准备。其中，配置初始化包括数据加载配置初始化、数据卸数配置初始化、数据任务配置初始化。跑批环境准备包括：过期文件清理、物理备份、逻辑备份、高水位线处理、归档处理和序列初始化的环境处理。[0058]具体地，初始化信息作为批处理轨迹，数据处理程序沿既定轨迹进行处理，可达到全局掌控方向的效果。初始化根据模块标识、强制标识和当前日期对数据加载配置、数据卸数配置和数据任务配置进行初始化为相应记录信息的。其中，模块标识用于区分批量处理模块，各模块之间相互独立；强制标识为内容是否强制初始化，强制初始化可将已初始化内容归零，重新进入当前批次，否则可保留已处理信息成为多场景处理的解决办法。[0059]一方面，上游系统晚间批量供数，需加载上游数据的情况，可以根据数据加载记录进行加载。数据加载配置初始化为数据加载记录信息，配置内容包含数据偏移模式、数据偏移天数、跑批偏移模式和跑批偏移天数等相关信息，根据配置既定码值含义初始化为具体记录信息，通过读取具体记录判断加载对象。为不同上游系统数据提供灵活接入，满足配置化功能。其中，偏移模式决定频率，偏移天数决定时间。[0060]具体地，根据偏移模式找到对应频率，再根据偏移天数找到对应日期，数据偏移模式及数据偏移天数根据上游数据文件名确认，跑批偏移模式及跑批偏移天数决定当前是否进行数据加载。例如当前业务日期为2022年10月17日，a数据文件的数据偏移模式为每日，数据偏移天数则不作数，系统会读取上游系统推送给本系统的2022年10月17日的数据文件进行加载；若数据偏移模式为上月末，数据偏移天数为25，则会读取上游系统推送给本系统的2022年9月25日的数据文件进行加载；若数据偏移模式为上季末，数据偏移天数为25，则会读取上游系统推送给本系统的2022年9月25日的数据文件进行加载；上游若推送其他时间的数据文件，则系统会忽略处理。两者独立存在，并相互制约。是否放弃加载、放弃加载时间达到灵活处理效果，根据上游供数实际情况自动化判断。例如当前业务日期为2022年10月17日，a数据文件的跑批偏移模式为每日，跑批偏移天数则不作数，系统会每天自动识别该文件并等待上游系统推送；若跑批偏移模式为月末，跑批偏移天数为25，当天系统会跳过识别该文件，直至25日系统系统会自动识别该a文件并等待上游系统推送，识别的数据文件取决于数据偏移模式和数据偏移天数；若跑批偏移模式为季末，跑批偏移天数为25，当天系统会跳过识别该文件，直至2022年12月25日系统系统会自动识别该a文件并等待上游系统推送，识别的数据文件取决于数据偏移模式和数据偏移天数，并且系统将加载时间细化为时分秒，通过判断是否放弃加载和放弃加载时间，来调整数据更新计划。例如，每一条加载记录中都包含是否放弃加载和放弃加载时间，是否放弃加载若为是，则系统时间到配置的放弃加载时间(如10:00)，系统自动放弃加载数据；若为否，则系统需完成当天加载任务。[0061]数据偏移模式、数据偏移天数、跑批偏移模式和跑批偏移天数对应的码值及码值解释如表2所示：[0062]表2[0063][0064]另一方面，作为上游系统需要将计算数据提供给下游系统，可根据数据卸数记录进行供数。数据卸数配置初始化为数据卸数记录信息。配置内容包括推数模式、推数偏移天数、放弃推数时间和定时卸数时间等相关信息。其中，推数模式决定频率，推数偏移天数决定时间。[0065]具体地，先根据配置既定码值含义初始化为具体记录信息，然后通过读取具体记录信息判断卸数对象。根据初始化后的数据卸数记录判断系统是否进行卸数推送，例如，当前业务日期为2022年10月17日，数据卸数配置中推数模式为每日推送，则当系统满足卸数条件，系统会自动卸数，并推送给下游；若推送模式为每月推送，数据偏移天数为25，则当天系统不会向下游推送数据文件，直至业务日期为2022年10月25日，系统满足卸数条件后自动卸数推送，且每月25日卸数推送。并且系统将卸数推送时间细化为时分秒，通过判断是否放弃推送和放弃推送时间，来调整卸数推送计划。例如，每一条卸数记录中都包含是否放弃推送和放弃推送时间，是否放弃推送若为是，则系统时间到配置的放弃推送时间(如22:00)，系统自动放弃卸数推送；若为否，则系统需完成当天卸数推送任务。定时卸数时间实现固定时间推送。满足系统间约定推送时间需求。比如，上下游系统约定每天18：00推送a数据文件，则可配置定时卸数时间为18:00即可。[0066]推数模式、推数偏移天数的码值和对应的码值解释如表3所示：[0067]表3[0068][0069]另外，数据任务配置初始化为数据任务记录信息，控制内置依赖，实时跟踪任务完成情况，阶段性产生对比成果。[0070]本发明的一种支持业务系统不间断服务的数据处理方法还包括全流程作业状态监控步骤和时间控制管理步骤。其中，全流程作业状态监控步骤是实时监控流程处理状态以及处理过程中的记录信息。记录信息包括：批次日期、存储过程名称、步骤号、开始结束时间、执行状态和日志描述。全流程作业状态监控可从多维度分析数据处理进度，估算时效性，方便监控工作开展。实现全方位监控作业实时动态，实现实时调整作业参数，使批处理生态处于灵活多变，并可全方位掌控状态。[0071]时间控制管理步骤是控制占用数据库资源较大且时效性低的批处理作业在工作时间暂停处理，控制时间外可正常跑批。其中，时间控制管理大开关控制模块和小开关控制模块。具体地，时间控制为避免日间批处理影响业务处理效率，将批处理跑批进行控制管理。大开关控制模块用于确认是否需要时间控制，若开启则需要时间控制；若关闭则无需时间控制。小开关控制模块用于控制具体业务的启停，若开启则需时间控制，读取控制时间的开始结束时间，在此时间范围内作业停止处理；若关闭则正常处理。大开关的控制时间与小开关的控制时间取并集，两者相互制约。时间控制除24小时控制外，也可对工作日、节假日、法定节假日进行区别处理，实现有效利用资源。通过时间控制管理步骤可以根据大小开关进行批处理时间控制，时效性较高的模块开放开关，也可模块内控制具体作业处理时间。[0072]实施例二[0073]本发明还提供了一种支持业务系统不间断服务的数据处理系统，本领域技术人员可以通过执行所述支持业务系统不间断服务的数据处理方法的步骤流程实现所述支持业务系统不间断服务的数据处理系统，即可以将所述支持业务系统不间断服务的数据处理方法理解为所述支持业务系统不间断服务的数据处理系统的优选实施方式。[0074]根据本发明提供的一种支持业务系统不间断服务的数据处理系统，包括：[0075]模块m1：建立前后台分层的数据架构。具体地，所述前后台分层的数据架构包括：数据源层、昨日层、中间层、临时层、结果层、缓冲层、辅助层和业务层。[0076]其中数据源层用于静态管理源头数据，昨日层用于存储昨日结果，中间层用于存储批处理中间结果，临时层为临时结果提供辅助作用，结果层为最终结果为切换业务层做准备，缓冲层为用于合并动静态数据，辅助层记录前台动态数据，业务层是最终业务应用层展现所有业务数据。[0077]模块m2：通过所述数据架构进行相应的数据处理。数据处理包括动态数据和静态数据智能识别处理与数据日切处理。其中，动态数据和静态数据智能识别处理根据不同架构层数据特点智能识别，并对动态数据和静态数据进行区分处理。数据日切处理根据不同数据处理需求，获取不同的切换前后台表的方式，从而进行快速识别日切模式，并完成切换。[0078]模块m3：根据数据处理的处理状态和业务系统中每个模块的标志区分当前处理模块，并判断当前模块处理是否完成，若是，则系统自动翻牌；若否，则系统将循环访问直至处理完成。具体地，所述系统自动翻牌包括将业务日期更新为t 1天，批处理状态情况更新为停批状态。当t 1批处理满足模块标志及批处理状态停批方可拉起，同时更新批处理状态为跑批状态，其中t表示业务日期通识标识，比如：当前业务日期是2022年10月17日为t，t 1表示当前业务日期的下一天，即2022年10月18日。[0079]进一步地，在执行数据处理流程前将相应系统的配置初始化为相应记录信息，进而完成跑批环境准备。其中，配置初始化包括数据加载配置初始化、数据卸数配置初始化、数据任务配置初始化。跑批环境准备包括：过期文件清理、物理备份、逻辑备份、高水位线处理、归档处理和序列初始化的环境处理。[0080]本发明的支持业务系统不间断服务的数据处理系统还包括全流程作业状态监控模块、时间控制管理模块。[0081]具体地，全流程作业状态监控模块是实时监控流程处理状态以及处理过程中的记录信息。记录信息包括：批次日期、存储过程名称、步骤号、开始结束时间、执行状态和日志描述。[0082]时间控制管理模块是控制占用数据库资源较大且时效性低的批处理作业在工作时间暂停处理，控制时间外可正常跑批。其中，时间控制管理大开关控制模块和小开关控制模块。进一步地，大开关控制模块用于确认是否需要时间控制，小开关控制模块用于控制具体业务的启停。[0083]本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。[0084]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。当前第1页12当前第1页12
技术领域：
：，具体地，涉及一种支持业务系统不间断服务的数据处理方法及系统。尤其涉及一种银行业务系统的不间断服务的数据处理控制方法。
背景技术：
：：2.随时社会的发展，在日常生活中日渐丰富的处理业务类型越来越多，而需要办理的人员和服务人员之间的工作时间冲突。比如银行场景中，用户需要到银行办理相关业务，但是在工作日时用户下班时间会和银行工作人员的通勤时间有所冲突，而导致用户只能请假办理或另外找时间办理相关业务。在需要办理紧急业务时，给用户带来很多麻烦，这就说明业务系统不间断服务的重要性。而在业务系统不间断服务需首要解决的问题即为业务系统不间断服务的数据处理的方法。3.目前，银行业务系统批量处理期间对业务前台开门时间要求的局限，并且业务系统7*24小时不停机服务而受批量加工逻辑的影响，从而影响效率。4.专利文献cn1553393a公开了一种实现银行不间断服务的数据处理方法,包括如下步骤:执行日终前处理；进行24小时模式处理；恢复正常工作状态。所述进行24小时模式处理的步骤包括:由所述核心业务系统进行银行的日终批处理,同时由所述24小时业务处理装置处理来自自助设备的交易请求；由24小时业务处理装置进行补账处理。5.但是专利文献cn1553393a存在动态交易流水数据无法实时在主库中查得的缺陷，需下一会计日期多次补账处理后整合进主库，数据完整性和时效性存在缺陷。且该文献只包含一种24小时模式处理，主、辅数据库数据合并到主数据库表中，模式单一。同时，也不存在时间控制功能，在本系统上游接入系统量大，接口规模庞大，每日加工处理持续时间长延伸至工作时间的情况下，系统数据库资源消耗较大，影响业务正常办理。并且该文献无法对系统批处理所有任务和状态的精准监控，无法做到批处理参数、配置、数据加载和导出的实时监控和实时调整。仅可做到系统级日切翻牌，存在无法按接口、按模块、按批次进行翻牌的缺陷，当本系统上游接入系统量大，接口规模庞大，每日需大规模数据处理和大批量数据加工作业量情况下，系统批处理日切无法保证，次日批处理无法拉起的情况。该文献不存在数据前后台分层的数据架构，数据处理流向需查看代码进行分辨。技术实现要素：6.针对现有技术中的缺陷，本发明的目的是提供一种支持业务系统不间断服务的数据处理方法及系统。7.根据本发明提供的一种支持业务系统不间断服务的数据处理方法，包括：8.步骤s1：建立前后台分层的数据架构；9.步骤s2：通过所述数据架构进行相应的数据处理；10.步骤s3：根据数据处理的处理状态和业务系统中每个模块的标志区分当前处理模块，并判断当前模块处理是否完成，若是，则系统自动翻牌；若否，则系统将循环访问直至处理完成；11.所述数据处理包括动态数据和静态数据智能识别处理与数据日切处理。12.优选地，在执行数据处理流程前将相应系统的配置初始化为相应记录信息，进而完成跑批环境准备；13.所述配置初始化包括数据加载配置初始化、数据卸数配置初始化、数据任务配置初始化；14.所述跑批环境准备包括：过期文件清理、物理备份、逻辑备份、高水位线处理、归档处理和序列初始化的环境处理。15.优选地，所述系统自动翻牌包括将业务日期更新为t 1天，批处理状态情况更新为停批状态；16.当t 1批处理满足模块标志及批处理状态停批方可拉起，同时更新批处理状态为跑批状态；其中t表示业务日期通识标识。17.优选地，所述前后台分层的数据架构包括：数据源层、昨日层、中间层、临时层、结果层、缓冲层、辅助层和业务层；18.其中数据源层用于静态管理源头数据，昨日层用于存储昨日结果，中间层用于存储批处理中间结果，临时层为临时结果提供辅助作用，结果层为最终结果为切换业务层做准备，缓冲层为用于合并动静态数据，辅助层记录前台动态数据，业务层是最终业务应用层展现所有业务数据。19.优选地，动态数据和静态数据智能识别处理根据不同架构层数据特点智能识别，并对动态数据和静态数据进行区分处理；20.所述数据日切处理根据不同数据处理需求，获取不同的切换前后台表的方式，从而进行快速识别日切模式，并完成切换。21.优选地，还包括全流程作业状态监控步骤：实时监控流程处理状态以及处理过程中的记录信息；22.所述记录信息包括：批次日期、存储过程名称、步骤号、开始结束时间、执行状态和日志描述。23.优选地，包括时间控制管理步骤：控制占用数据库资源较大且时效性低的批处理作业在工作时间暂停处理，控制时间外可正常跑批。24.优选地，所述时间控制管理大开关控制模块和小开关控制模块；25.大开关控制模块用于确认是否需要时间控制，小开关控制模块用于控制具体业务的启停。26.根据本发明提供的一种支持业务系统不间断服务的数据处理系统，包括：27.模块m1：建立前后台分层的数据架构；28.模块m2：通过所述数据架构进行相应的数据处理；29.模块m3：根据数据处理的处理状态和业务系统中每个模块的标志区分当前处理模块，并判断当前模块处理是否完成，若是，则系统自动翻牌；若否，则系统将循环访问直至处理完成；30.所述数据处理包括动态数据和静态数据智能识别处理与数据日切处理。31.优选地，还包括全流程作业状态监控模块：实时监控流程处理状态以及处理过程中的记录信息；32.所述记录信息包括：批次日期、存储过程名称、步骤号、开始结束时间、执行状态和日志描述。33.与现有技术相比，本发明具有如下的有益效果：34.1、本发明通过采用前后台分层的数据架构、动态数据和静态数据智能识别，实现了实时动态配置化数据调度处理，全面控制数据批量处理，前台无感操作且后台智能化识别。35.2、本发明通过精确灵活的全流程作业状态监控、模块化批量翻牌，实现了数据过程有迹可循，区别化模块内容处理，能够用于不同条线区分处理，提高了处理流程的灵活性和多样性。36.3、本发明通过先进数据日切机制解决了银行业务系统批量处理期间对业务前台开门时间要求的局限，实现了业务系统7*24小时不间断服务而不受批量加工逻辑的影响。37.4、本发明根据各系统实际需求，总结实际批量数据处理场景，将常用处理方式归并，利用配置通用性处理，通过数据架构设计，达成系统级完整处理。能够灵活配置，进而达到快速推广和应用至其他同类型系统复用实施的适用性。38.5、本发明将动态数据同时存储至数据架构层级的前端业务bu层及日切辅助rq层，保证前台数据完整性的同时，可通过日切模式一次性快速整合动静态数据，保证日切后数据的完整性及时效性。附图说明39.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：40.图1为本发明中前后台分层的数据架构的示意图。41.图2为本发明工作流程示意图。具体实施方式42.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。43.本发明通过采用前后台分层的数据架构、动态数据和静态数据智能识别、精确灵活的全流程作业状态监控、模块化批量翻牌解决方案、毫秒级数据日切机制等技术，实现银行业务系统不间断进行复杂批量数据加工的同时保持系统前台持续服务。44.实施例一45.根据本发明提供的一种支持业务系统不间断服务的数据处理方法，如图1和图2所示，包括：46.步骤s1：建立前后台分层的数据架构。具体地，前后台分层的数据架构包括：数据源层、昨日层、中间层、临时层、结果层、缓冲层、辅助层和业务层。47.其中数据源层用于静态管理源头数据，昨日层用于存储昨日结果，中间层用于存储批处理中间结果，临时层为临时结果提供辅助作用，结果层为最终结果为切换业务层做准备，缓冲层为用于合并动静态数据，辅助层记录前台动态数据，业务层是最终业务应用层展现所有业务数据。通过数据前后台分层的数据架构，提高数据隔离性和系统稳定性，同时分层数据架构可清晰展示数据流向，提高研发人员问题查询及问题解决的效率。48.步骤s2：通过所述数据架构进行相应的数据处理。数据处理包括动态数据和静态数据智能识别处理与数据日切处理。49.具体地，动态数据和静态数据智能识别处理根据不同架构层数据特点智能识别，并对动态数据和静态数据进行区分处理。例如，根据系统偏向设计，通过引入统一的异步数据变化识别模块，高效连续的将批处理期间前端变化记录至批处理日切辅助层，并通过统一控制表名各数据层特殊标志，比如数据源层表名加入c字母标记，业务层表名加入bu字母标记等以及通过表空间进行区分等。)进一步地，将前台动态数据打上动态标签并存储在辅助层，区分动静态数据，经缓冲层合同后消除动态标签。动态数据和静态数据作为系统重要数据来源，需精准处理两者关系，日切状态下毫秒级整合日切，保障数据准确和业务连续性。50.数据日切处理根据不同数据处理需求，获取不同的切换前后台表的方式，从而进行快速识别日切模式，并完成切换。业务层数据更新根据是否需动态数据和静态数据合并分为即时切换和日切切换，若不需要合并，则为即时切换；若需要合并，则为日切切。根据切换形式分为数据更新、全表替换、分区替换和数据插入。其中，数据更新为前台数据更新，全表替换为业务层与缓冲层表名互换，分区替换是指分区表表名互换，数据插入为根据去重模式筛选插入业务层。51.日切模式是由两个维度进行自由组合产生的8种模式，分别为即时数据更新模式、即时全表替换模式、日切数据更新模式、日切全表替换模式、即时分区替换模式、日切分区替换模式、即时数据插入模式和日切数据插入模式。各模式有不同的功能，满足各种不同情形要求。比如：当系统切换时，有前台业务数据更新，并且需要数据全部替换，可选择日切全表替换模式；当系统切换时，无前台数据更新，只有部分字段部分数据是t天批量加工后结果，则可选择即时数据更新模式。以上仅为简单举例说明并不局限于此例。去重模式则分为三种情况，分别为sql语句拼接变量字段、sql语句拼接固定语句和sql语句拼接变量字段及固定语句，具体去重语句及去重变量可配置去重条件实现。比如当日切模式为即时数据插入或日切数据插入时，会读取去重模式，根据去重模式，拼接符合插入数据的查询语句。如，日切模式为即时数据插入，去重模式为1变量字段，根据去重条件“awherenotexists(select1fromtable_test2bwherea.column_name＝b.column_nameandb.column_name1＝”利用数据库动态拼接成去重条件“insertintotestselect*fromtable_test1awherenotexists(select1fromtable_test2bwherea.column_name＝b.column_nameandb.column_name1＝‘xxx’”,完成日切内容，去重条件及插入表名、查询表名可灵活配置。去重模式为固定语句一般用于去重条件后拼接固定字符，如小括弧等，去重模式为变量字段及固定语句一般用于去重条件后拼接变量，并且需要再拼接固定字符。52.日切模式和去重模式的码值和对应的码值解释如表1所示：53.表1[0054][0055]步骤s3：根据数据处理的处理状态和业务系统中每个模块的标志区分当前处理模块，并判断当前模块处理是否完成，若是，则系统自动翻牌；若否，则系统将循环访问直至处理完成。具体地，系统自动翻牌包括将业务日期更新为t 1天，批处理状态情况更新为停批状态。当t 1批处理满足模块标志及批处理状态停批方可拉起，同时更新批处理状态为跑批状态；其中t表示业务日期通识标识，比如：当前业务日期是2022年10月17日为t，t 1表示当前业务日期的下一天，即2022年10月18日。)模块化自动翻牌为系统多模块多任务批次并行处理的要求提供解决方案，智能化控制任务批次，区分模块控制处理，避免多模块多任务批次管理混乱，有效保障数据准确性、系统稳定性。[0056]模块化批量翻牌解决方案，将接口等根据不同要求进行模块区分，如时效性要求、业务性要求、系统来源要求等，在大规模数据处理的情况下，系统级解耦，模块级聚合，各模块之间相互无影响，完成模块翻牌，完成时效性等要求。[0057]本发明在执行数据处理流程前将相应系统的配置初始化为相应记录信息，进而完成跑批环境准备。其中，配置初始化包括数据加载配置初始化、数据卸数配置初始化、数据任务配置初始化。跑批环境准备包括：过期文件清理、物理备份、逻辑备份、高水位线处理、归档处理和序列初始化的环境处理。[0058]具体地，初始化信息作为批处理轨迹，数据处理程序沿既定轨迹进行处理，可达到全局掌控方向的效果。初始化根据模块标识、强制标识和当前日期对数据加载配置、数据卸数配置和数据任务配置进行初始化为相应记录信息的。其中，模块标识用于区分批量处理模块，各模块之间相互独立；强制标识为内容是否强制初始化，强制初始化可将已初始化内容归零，重新进入当前批次，否则可保留已处理信息成为多场景处理的解决办法。[0059]一方面，上游系统晚间批量供数，需加载上游数据的情况，可以根据数据加载记录进行加载。数据加载配置初始化为数据加载记录信息，配置内容包含数据偏移模式、数据偏移天数、跑批偏移模式和跑批偏移天数等相关信息，根据配置既定码值含义初始化为具体记录信息，通过读取具体记录判断加载对象。为不同上游系统数据提供灵活接入，满足配置化功能。其中，偏移模式决定频率，偏移天数决定时间。[0060]具体地，根据偏移模式找到对应频率，再根据偏移天数找到对应日期，数据偏移模式及数据偏移天数根据上游数据文件名确认，跑批偏移模式及跑批偏移天数决定当前是否进行数据加载。例如当前业务日期为2022年10月17日，a数据文件的数据偏移模式为每日，数据偏移天数则不作数，系统会读取上游系统推送给本系统的2022年10月17日的数据文件进行加载；若数据偏移模式为上月末，数据偏移天数为25，则会读取上游系统推送给本系统的2022年9月25日的数据文件进行加载；若数据偏移模式为上季末，数据偏移天数为25，则会读取上游系统推送给本系统的2022年9月25日的数据文件进行加载；上游若推送其他时间的数据文件，则系统会忽略处理。两者独立存在，并相互制约。是否放弃加载、放弃加载时间达到灵活处理效果，根据上游供数实际情况自动化判断。例如当前业务日期为2022年10月17日，a数据文件的跑批偏移模式为每日，跑批偏移天数则不作数，系统会每天自动识别该文件并等待上游系统推送；若跑批偏移模式为月末，跑批偏移天数为25，当天系统会跳过识别该文件，直至25日系统系统会自动识别该a文件并等待上游系统推送，识别的数据文件取决于数据偏移模式和数据偏移天数；若跑批偏移模式为季末，跑批偏移天数为25，当天系统会跳过识别该文件，直至2022年12月25日系统系统会自动识别该a文件并等待上游系统推送，识别的数据文件取决于数据偏移模式和数据偏移天数，并且系统将加载时间细化为时分秒，通过判断是否放弃加载和放弃加载时间，来调整数据更新计划。例如，每一条加载记录中都包含是否放弃加载和放弃加载时间，是否放弃加载若为是，则系统时间到配置的放弃加载时间(如10:00)，系统自动放弃加载数据；若为否，则系统需完成当天加载任务。[0061]数据偏移模式、数据偏移天数、跑批偏移模式和跑批偏移天数对应的码值及码值解释如表2所示：[0062]表2[0063][0064]另一方面，作为上游系统需要将计算数据提供给下游系统，可根据数据卸数记录进行供数。数据卸数配置初始化为数据卸数记录信息。配置内容包括推数模式、推数偏移天数、放弃推数时间和定时卸数时间等相关信息。其中，推数模式决定频率，推数偏移天数决定时间。[0065]具体地，先根据配置既定码值含义初始化为具体记录信息，然后通过读取具体记录信息判断卸数对象。根据初始化后的数据卸数记录判断系统是否进行卸数推送，例如，当前业务日期为2022年10月17日，数据卸数配置中推数模式为每日推送，则当系统满足卸数条件，系统会自动卸数，并推送给下游；若推送模式为每月推送，数据偏移天数为25，则当天系统不会向下游推送数据文件，直至业务日期为2022年10月25日，系统满足卸数条件后自动卸数推送，且每月25日卸数推送。并且系统将卸数推送时间细化为时分秒，通过判断是否放弃推送和放弃推送时间，来调整卸数推送计划。例如，每一条卸数记录中都包含是否放弃推送和放弃推送时间，是否放弃推送若为是，则系统时间到配置的放弃推送时间(如22:00)，系统自动放弃卸数推送；若为否，则系统需完成当天卸数推送任务。定时卸数时间实现固定时间推送。满足系统间约定推送时间需求。比如，上下游系统约定每天18：00推送a数据文件，则可配置定时卸数时间为18:00即可。[0066]推数模式、推数偏移天数的码值和对应的码值解释如表3所示：[0067]表3[0068][0069]另外，数据任务配置初始化为数据任务记录信息，控制内置依赖，实时跟踪任务完成情况，阶段性产生对比成果。[0070]本发明的一种支持业务系统不间断服务的数据处理方法还包括全流程作业状态监控步骤和时间控制管理步骤。其中，全流程作业状态监控步骤是实时监控流程处理状态以及处理过程中的记录信息。记录信息包括：批次日期、存储过程名称、步骤号、开始结束时间、执行状态和日志描述。全流程作业状态监控可从多维度分析数据处理进度，估算时效性，方便监控工作开展。实现全方位监控作业实时动态，实现实时调整作业参数，使批处理生态处于灵活多变，并可全方位掌控状态。[0071]时间控制管理步骤是控制占用数据库资源较大且时效性低的批处理作业在工作时间暂停处理，控制时间外可正常跑批。其中，时间控制管理大开关控制模块和小开关控制模块。具体地，时间控制为避免日间批处理影响业务处理效率，将批处理跑批进行控制管理。大开关控制模块用于确认是否需要时间控制，若开启则需要时间控制；若关闭则无需时间控制。小开关控制模块用于控制具体业务的启停，若开启则需时间控制，读取控制时间的开始结束时间，在此时间范围内作业停止处理；若关闭则正常处理。大开关的控制时间与小开关的控制时间取并集，两者相互制约。时间控制除24小时控制外，也可对工作日、节假日、法定节假日进行区别处理，实现有效利用资源。通过时间控制管理步骤可以根据大小开关进行批处理时间控制，时效性较高的模块开放开关，也可模块内控制具体作业处理时间。[0072]实施例二[0073]本发明还提供了一种支持业务系统不间断服务的数据处理系统，本领域技术人员可以通过执行所述支持业务系统不间断服务的数据处理方法的步骤流程实现所述支持业务系统不间断服务的数据处理系统，即可以将所述支持业务系统不间断服务的数据处理方法理解为所述支持业务系统不间断服务的数据处理系统的优选实施方式。[0074]根据本发明提供的一种支持业务系统不间断服务的数据处理系统，包括：[0075]模块m1：建立前后台分层的数据架构。具体地，所述前后台分层的数据架构包括：数据源层、昨日层、中间层、临时层、结果层、缓冲层、辅助层和业务层。[0076]其中数据源层用于静态管理源头数据，昨日层用于存储昨日结果，中间层用于存储批处理中间结果，临时层为临时结果提供辅助作用，结果层为最终结果为切换业务层做准备，缓冲层为用于合并动静态数据，辅助层记录前台动态数据，业务层是最终业务应用层展现所有业务数据。[0077]模块m2：通过所述数据架构进行相应的数据处理。数据处理包括动态数据和静态数据智能识别处理与数据日切处理。其中，动态数据和静态数据智能识别处理根据不同架构层数据特点智能识别，并对动态数据和静态数据进行区分处理。数据日切处理根据不同数据处理需求，获取不同的切换前后台表的方式，从而进行快速识别日切模式，并完成切换。[0078]模块m3：根据数据处理的处理状态和业务系统中每个模块的标志区分当前处理模块，并判断当前模块处理是否完成，若是，则系统自动翻牌；若否，则系统将循环访问直至处理完成。具体地，所述系统自动翻牌包括将业务日期更新为t 1天，批处理状态情况更新为停批状态。当t 1批处理满足模块标志及批处理状态停批方可拉起，同时更新批处理状态为跑批状态，其中t表示业务日期通识标识，比如：当前业务日期是2022年10月17日为t，t 1表示当前业务日期的下一天，即2022年10月18日。[0079]进一步地，在执行数据处理流程前将相应系统的配置初始化为相应记录信息，进而完成跑批环境准备。其中，配置初始化包括数据加载配置初始化、数据卸数配置初始化、数据任务配置初始化。跑批环境准备包括：过期文件清理、物理备份、逻辑备份、高水位线处理、归档处理和序列初始化的环境处理。[0080]本发明的支持业务系统不间断服务的数据处理系统还包括全流程作业状态监控模块、时间控制管理模块。[0081]具体地，全流程作业状态监控模块是实时监控流程处理状态以及处理过程中的记录信息。记录信息包括：批次日期、存储过程名称、步骤号、开始结束时间、执行状态和日志描述。[0082]时间控制管理模块是控制占用数据库资源较大且时效性低的批处理作业在工作时间暂停处理，控制时间外可正常跑批。其中，时间控制管理大开关控制模块和小开关控制模块。进一步地，大开关控制模块用于确认是否需要时间控制，小开关控制模块用于控制具体业务的启停。[0083]本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。[0084]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
