一种基于分层规则索引的招标信息实时匹配系统的制作方法

本发明属于流式数据处理、信息检索与智能推送，具体涉及一种基于分层规则索引的招标信息实时匹配系统。

背景技术：

1、招标信息实时推送需要将持续采集的招标公告与用户随时创建、修改和删除的订阅规则进行匹配，订阅规则通常包含关键词、排除词、行政地区、公告类型、匹配范围、企业主体和项目特征，在公告数量及订阅规则数量持续增长的情况下，需要建立能够支持规则热更新、快速候选筛选和一致性输出的实时匹配系统。

2、现有技术中存在的问题点：

3、（1）现有招标信息推送主要采用周期性批处理或检索引擎轮询方式，每个处理周期均需重新加载大量订阅规则，并对新增公告与规则执行逐条比较，匹配计算量随公告数量和规则数量共同增长，公告推送时延受到处理周期限制，用户修改订阅规则后也难以及时生效。

4、（2）现有流式匹配方案通常将规则存放在业务数据库中，由各匹配实例分别查询数据库或将全部规则加载至本地状态，不仅会增加数据库访问压力，而且难以保证多个并行实例同时获得相同规则版本，在规则高频增删改和作业故障恢复场景下容易产生规则视图不一致、全量规则遍历、公告漏推和重复推送的问题。

技术实现思路

1、为解决现有招标信息匹配系统采用全量规则遍历导致计算量大、规则变更生效滞后、并行匹配实例规则视图不一致以及故障恢复后容易产生公告漏推和重复推送的问题，本发明提供一种基于分层规则索引的招标信息实时匹配系统，通过规则变更事件广播、分层规则索引、候选规则逐层收缩、双版本索引切换和精确一次输出，在订阅规则高频增删改条件下实现招标公告的低延迟一致性匹配。

2、本发明提供的一种基于分层规则索引的招标信息实时匹配系统，包括公告流接入与字段规范化模块、规则变更捕获与版本广播模块、分层规则索引构建模块、候选规则逐层收缩模块、精确匹配与一致性输出模块以及窗口推送与索引反馈模块。

3、公告流接入与字段规范化模块接收招标公告，解析公告标识、公告标题、公告正文、行政地区、公告类型、企业主体、项目名称和项目编号，按照公告标识执行分组去重，并经过文本规范化、行政区划编码映射、企业名称归一和公告类型编码映射生成公告主流。

4、规则变更捕获与版本广播模块监听订阅规则表的插入、修改和删除操作，将数据库变更转换为携带规则标识、规则版本、变更序号、变更类型、变更前规则内容和变更后规则内容的规则变更事件，并按照变更序号广播至流式匹配算子的全部并行实例。

5、分层规则索引构建模块按照规则类别、行政地区、公告类型、匹配范围、正向关键词和排除词构建分层规则索引，分层规则索引包括规则类别索引层、地区层级索引层、公告类型索引层、匹配范围索引层、正向词项倒排索引层和排除词否决索引层，并设置活动索引根和构建索引根。

6、规则变更事件写入构建索引根，插入事件增加对应索引路径，修改事件根据变更前后规则内容更新发生变化的索引节点，删除事件移除对应规则标识，全部并行实例完成同一更新批次后，通过索引版本屏障将构建索引根原子切换为活动索引根。

7、候选规则逐层收缩模块根据公告对应的规则类别、行政地区和公告类型进入匹配的索引分支，根据公告标题词项集合和公告正文词项集合查询正向词项倒排索引，再通过排除词否决索引删除负向词命中的规则，生成候选规则集合。

8、分层规则索引构建模块记录各索引节点包含的规则数量，候选规则逐层收缩模块按照索引节点的规则数量确定集合处理次序，优先读取规则数量较少的索引分支，降低候选集合生成过程中的中间数据规模。

9、精确匹配与一致性输出模块对候选规则集合执行正向关键词关系、排除词否决关系、地区层级关系、公告类型关系、匹配范围关系、企业角色关系、项目关联关系和规则有效状态核验，核验通过后生成携带公告标识、规则标识、规则版本、用户标识、命中词项和索引版本的匹配结果。

10、分层规则索引按照关键词订阅规则、企业监控规则和项目追踪规则设置不同的规则类别根节点，关键词订阅规则通过正向关键词及排除词进行匹配，企业监控规则通过企业标准标识及企业角色进行匹配，项目追踪规则通过项目编号及项目关联特征进行匹配。

11、精确匹配与一致性输出模块以公告标识、规则标识和规则版本组成匹配结果幂等键，并将公告消息位置、规则变更日志位置、活动索引版本、索引根快照、公告去重状态和待提交匹配结果写入检查点，故障恢复时从最近完成的检查点继续处理。

12、窗口推送与索引反馈模块按照实时推送、每日推送和自定义时段推送组织匹配结果，对同一用户通过多条规则命中的同一公告进行合并，根据用户服务等级控制推送数量，并根据索引分支访问次数、倒排列表长度和候选规则核验通过率更新索引选择性统计量。

13、本发明有益效果如下：

14、（1）利用规则类别、行政地区、公告类型、匹配范围和正向词项形成分层规则索引，通过硬条件索引定位、正向词项倒排召回和排除词提前否决逐层缩小候选规则集合，实现仅对少量相关规则执行精确核验，解决全量规则遍历导致匹配计算量随规则规模增长、匹配时延较高的问题。

15、（2）利用规则变更事件广播、变更序号校验、活动索引根与构建索引根隔离以及索引版本屏障，使规则增删改在不中断公告匹配作业的条件下增量更新，并保证全部并行实例同时切换至相同索引版本，解决规则变更生效滞后及并行实例规则视图不一致导致漏推、错推的问题。

16、（3）利用检查点、匹配结果幂等键和索引版本快照建立公告流、规则流与输出结果之间的一致性关系，实现故障恢复后公告不遗漏、同版本匹配结果不重复，并通过用户级公告合并和分窗口推送降低重复消息数量，解决流式作业恢复过程中的重复匹配及重复推送问题。

1.一种基于分层规则索引的招标信息实时匹配系统，其特征在于，包括公告流接入与字段规范化模块、规则变更捕获与版本广播模块、分层规则索引构建模块、候选规则逐层收缩模块、精确匹配与一致性输出模块以及窗口推送与索引反馈模块；

2.根据权利要求1所述的基于分层规则索引的招标信息实时匹配系统，其特征在于，所述分层规则索引包括依次关联的规则类别索引层、地区层级索引层、公告类型索引层、匹配范围索引层和正向词项倒排索引层，正向词项倒排索引层关联排除词否决索引层，地区层级索引层包括全国索引节点、省级索引节点、市级索引节点和区县级索引节点。

3.根据权利要求1所述的基于分层规则索引的招标信息实时匹配系统，其特征在于，所述分层规则索引构建模块设置活动索引根和构建索引根，活动索引根保持当前公告匹配过程中的索引版本不变，构建索引根接收规则变更事件，全部并行实例完成同一批次的规则更新后，构建索引根通过索引版本屏障切换为新的活动索引根。

4.根据权利要求3所述的基于分层规则索引的招标信息实时匹配系统，其特征在于，所述规则变更事件包括插入事件、修改事件和删除事件，插入事件在构建索引根中增加对应规则的索引路径，修改事件根据变更前规则内容与变更后规则内容之间的差异更新发生变化的索引节点，删除事件将对应规则标记为不可匹配状态并从构建索引根中移除对应规则标识。

5.根据权利要求1所述的基于分层规则索引的招标信息实时匹配系统，其特征在于，所述候选规则逐层收缩模块分别提取公告标题词项集合和公告正文词项集合，将地区索引结果、公告类型索引结果和正向词项倒排索引结果进行集合收缩，再根据标题排除词索引、正文排除词索引和标题正文联合排除词索引删除对应规则标识。

6.根据权利要求1所述的基于分层规则索引的招标信息实时匹配系统，其特征在于，所述分层规则索引构建模块记录各索引节点包含的规则数量，候选规则逐层收缩模块按照规则数量由少至多确定索引分支的集合处理次序，并将覆盖规则数量达到设定比例的正向词项按照地区编码和公告类型划分为多个子倒排列表。

7.根据权利要求1所述的基于分层规则索引的招标信息实时匹配系统，其特征在于，所述规则类别包括关键词订阅规则、企业监控规则和项目追踪规则，关键词订阅规则关联正向关键词索引及排除词索引，企业监控规则关联企业标准标识索引及企业角色索引，项目追踪规则关联项目编号索引及项目关联特征索引，三类规则的匹配结果写入统一结果流。

8.一种基于分层规则索引的招标信息实时匹配方法，其特征在于，包括：接收招标公告并经过字段解析、公告去重和字段规范化生成公告主流；监听订阅规则表的增删改操作，将数据库变更转换为规则变更事件并广播至全部匹配并行实例；按照规则类别、行政地区、公告类型、匹配范围、正向关键词和排除词构建并增量更新分层规则索引；根据招标公告对应的索引分支和公告词项逐层收缩候选规则，并通过排除词否决索引删除负向词命中的规则；对候选规则执行规则条件核验，生成具有公告标识、规则标识、规则版本和索引版本的匹配结果；按照用户推送频次组织匹配结果，并对同一用户对应的重复公告进行合并。