一种针对高竞争电商业务的数据管理系统及事务处理方法与流程

技术特征：
1.一种针对高竞争电商业务的数据管理系统，其特征在于，包括以下模块：输入输出管理模块：该模块包含过滤器和分发器；所述过滤器接受客户端发送的操作请求，先经过预处理，参照过滤表对无效操作进行过滤；所述分发器将试图对数据库进行增删改查的sql操作分发给执行器模块，将事务操作包括事务提交、事务回滚、事务开始，分发给事务管理模块；执行器模块：所述执行器模块由若干个工作线程组成，所述工作线程的具体数量是用户可配置的；每个工作线程只负责自己的数据分区，并维护自己分区的数据锁表；所述执行器模块从存储层中读取数据，将操作的更改记入相应事务的上下文中；事务管理模块：为事务创建、删除上下文，通知日志管理模块写日志，并将工作线程对记录在事务上下文中的更改写回到存储中；日志管理模块：接收事务管理模块的写日志请求，将事务的日志写回磁盘。2.如权利要求1所述的针对高竞争电商业务的数据管理系统，其特征在于，所述过滤器先将操作进行预处理，解析操作的结构，如果发现数量限制型更新，则去过滤表中检查是否具有相应表项，如果有则将该更新过滤掉；如果发现数量补充型更新，则也去过滤表中检查是否具有相应表项，如果有则将该过滤项去掉。3.一种针对高竞争电商业务的事务处理方法，其特征在于，采用如权利要求1或2所述的系统，所述方法包括以下步骤：步骤一：操作的解析、过滤和分发，对操作进行语法解析，根据数据库内部情况判断操作是否有执行成功的可能，将与已经失败过多次的操作过滤掉，将其余操作按照其请求的数据分发给相应的工作线程；步骤二：执行增删改查操作，执行器为操作加锁，从存储中读数据，并将操作所作更改写到操作所属事务的上下文中，同时将相似的操作合并执行，合并执行的操作只加一把共享写锁；步骤三：执行事务操作，事务管理模块为事务创建上下文、删除上下文，并代表请求提交的事务发送消息给日志管理器以记录日志；步骤四：将日志记入磁盘，日志管理模块收到事务管理模块请求写日志的消息后，将缓存中的日志刷入磁盘，并返回日志提交的消息给事务管理模块。4.根据权利要求3所述的针对高竞争电商业务的事务处理方法，其特征在于，在输入输出管理模块中增加一张过滤表，提前过滤掉注定失败的无效操作。5.根据权利要求3所述的针对高竞争电商业务的事务处理方法，其特征在于，在执行器模块中对相似的操作进行识别并合并，将相似操作一起执行。6.根据权利要求3所述的针对高竞争电商业务的事务处理方法，其特征在于，将数据和工作线程进行逻辑上的绑定，每个工作线程只负责自己分区的数据。7.根据权利要求3所述的针对高竞争电商业务的事务处理方法，其特征在于，输入输出管理模块包含两个模块：过滤器和分发器，过滤器对操作进行预处理，并过滤掉无效操作，向客户端回复结果；分发器根据操作访问的数据，将操作发送给执行器中相应的工作线程。

技术总结
本发明提出了一种数据管理系统，包括输入输出管理模块、执行器模块、事务管理模块、日志管理模块。本发明还提出了一种针对高竞争电商负载的事务处理方法，将工作线程与数据分区绑定，每个线程只需负责自己的分区，过滤掉无效的操作，并将相似操作合并执行，极大地减少了竞争事务之间对数据锁的竞争。竞争事务之间对数据锁的竞争。竞争事务之间对数据锁的竞争。


技术研发人员：张蓉 张舒燕
受保护的技术使用者：华东师范大学
技术研发日：2020.07.03
技术公布日：2022/1/3