一种基于URI规则配置集成统一处理文件的系统和方法与流程

技术特征：
1.一种基于uri规则配置集成统一处理文件的系统，其特征在于：包括有控制器、处理触发器、配置管理模块、uri规则处理器、数据缓冲区和业务处理控制器；所述控制器用于传入发起文件处理的节点配置名；所述处理触发器用于初始化uri配置规则，并获取每个处理节点配置名对应的uri配置集合；所述配置管理模块用于根据配置目录遍历文件信息，并为文件对象适配uri规则处理器；所述uri规则处理器用于将文件处理配置及文件指内容存放到缓冲区；所述数据缓冲区用于存储配置数据，并供数据缓存区消费者选择使用；所述业务处理控制器用于接收缓存区消费者在数据缓冲区获取的缓存区数据和uri配置。2.根据权利要求1所述基于uri规则配置集成统一处理文件的系统，其特征在于：所述处理触发器还用于根据文件名匹配相应的文件处理配置。3.根据权利要求1所述基于uri规则配置集成统一处理文件的系统，其特征在于：所述处理触发器还用于拉起异步数据缓冲区异步消费者。4.一种使用权利要求1～3之一所述基于uri规则配置集成统一处理文件的系统的基于uri规则配置集成统一处理文件的方法，其特征在于：包括有以下步骤：s01，启动控制器，传入发起文件处理的节点配置名；s02，调用处理触发器，处理触发器初始化uri配置规则，开始处理文件对象；s03，处理触发器根据节点配置名，调用配置管理模块获取处理节点配置名对应的uri配置规则集合信息；s04，处理触发器根据获取到的配置中的文件对象目录，遍历相关文件对象；s05，处理触发器根据遍历文件名正则的配置获取当前文件的uri配置规则；s06，处理触发器根据uri配置规则中的uri自定义规则进行scheme匹配，从而适配uri规则处理器；s07，uri规则处理器根据scheme后的辅助配置对文件按配置进行读取处理；s08，将文件数据存放到数据缓冲区中；s09，文件内容根据uri配置规则处理完成；s10，处理触发器拉起异步数据缓冲区异步消费者；s11，开始消费缓冲区数据；s12，数据缓冲区消费者获取缓冲区数据和配置，准备消费文件数据；s13，数据缓存区消费者通过工具配置将数据写入到业务处理控制器，由业务控制器处理数据相关具体业务。5.根据权利要求4所述基于uri规则配置集成统一处理文件的方法，其特征在于：所述步骤s01中包括以下内容：所述节点配置名为待处理的一个文件夹目录下所有文件的唯一标识位，根据该文件夹下的具体文件的业务处理需求，在该节点下配置与该业务对应的uri规则处理器。6.根据权利要求4所述基于uri规则配置集成统一处理文件的方法，其特征在于：所述步骤s02中包括以下内容：
所述uri规则配置中包括yaml格式配置，yaml格式配置根据配置关系设计成表格结构存放到关系型数据库中。7.根据权利要求4所述基于uri规则配置集成统一处理文件的方法，其特征在于：所述uri自定义规则的形式为：规则处理器://处理器名称规则处理器对应处理内容配置。8.根据权利要求4所述基于uri规则配置集成统一处理文件的方法，其特征在于：所述uri自定义规则的种类为：按行方式读取并进行分隔；按行方式读取不进行分隔；按行方式读取csv文件；读取excel文件，excel文件包括xls和xlxs；读取内容为xml格式的文件；读取内容为json格式的文件。9.根据权利要求8所述基于uri规则配置集成统一处理文件的方法，其特征在于：所述按行方式读取并进行分隔和按行方式读取不进行分隔中，单次读取分别处理600条数据，起始行为10，结束行为1000，为行文件并将行数据按照一定规则进行分隔。10.根据权利要求4所述基于uri规则配置集成统一处理文件的方法，其特征在于：所述数据缓冲区使用ehcache、queue缓存技术时，uri规则配置文件统一处理与应用系统采用jar集成方式；使用redis、es、kafka时采用jar集成方式、集群分布式方式和/或分布式方式。

技术总结
本发明公开了一种基于URI规则配置集成统一处理文件的系统和方法，使用URI规则自定义配置，通过自定义Scheme来区分要处理文件源类型和方式标识，通过Scheme后的片段标识为辅助资源提供文件内容的处理方式，最终形成能够统一处理文件的URI配置方式，不同类型的文件读取与文件内容处理通过灵活修改配置即可。通过生产者/消费者模式，先将需处理的文件内容信息和规则信息存放到缓冲区，再通过消费者读取缓冲区的数据，根据配置灵活处理，达到内容读取和内容业务处理分离，同时可根据读取文件规模灵活选择缓冲区为队列或第三方订阅服务进行支撑。行支撑。行支撑。


技术研发人员：吴凡
受保护的技术使用者：卓望数码技术（深圳）有限公司
技术研发日：2022.11.25
技术公布日：2022/12/30