一种基于漫游数据与本地数据库的即时通讯动态缓存方法与流程

摘要: 本发明涉及即时通讯数据处理,特别涉及一种基于漫游数据与本地数据库的即时通讯动态缓存方法。背景技术:1、随着数字化办公的推进,企业即时通信已成为跨场景协作的核心工...
一种基于漫游数据与本地数据库的即时通讯动态缓存方法与流程

本发明涉及即时通讯数据处理,特别涉及一种基于漫游数据与本地数据库的即时通讯动态缓存方法。

背景技术:

1、随着数字化办公的推进,企业即时通信已成为跨场景协作的核心工具,用户往往需要在通勤、户外作业等弱网甚至断网环境下查看历史消息、定位目标内容;为兼顾云端同步能力与本地访问效率,现有方案普遍采用服务端存储全量漫游消息、客户端本地缓存已加载内容的基础架构。

2、在缓存同步时,现有客户端多采用固定批量的拉取逻辑,用户首次登录、切换工作区或进入未访问过的会话时,均直接向服务端请求预设条数的历史消息,不会预先校验本地已缓存的消息同步进度;这种情况下,即便本地已留存大部分历史数据,仍会产生大量重复的消息请求,增加移动网络环境下的流量消耗;同时大批量消息集中写入本地数据库,会持续占用磁盘io资源,容易引发界面响应卡顿、设备发热等问题,在性能有限的中低端设备上尤为明显;

3、在历史消息跳转场景中,现有方案默认直接从服务端拉取目标消息前后固定范围的上下文内容,既不会优先匹配本地已有的缓存区间,也不会对加载完成的消息序列做连续性校验;但是这种处理方式不仅会导致同一段历史消息被反复请求,本地缓存的利用效率偏低;也使得客户端为保障跳转体验,通常需要全量存储所有访问过的历史消息,本地数据库容量会随使用时长持续膨胀,占用过多设备存储空间,为此,我们提出一种基于漫游数据与本地数据库的即时通讯动态缓存方法。

技术实现思路

1、针对现有技术存在的上述问题,本发明的目的在于提供一种基于漫游数据与本地数据库的即时通讯动态缓存方法,通过漫游摘要前置预判、差异化增量同步、定向缺口修复、轻量化动态缓存的全链路设计,在保障消息完整性的同时,降低流量消耗与写入压力,提升弱网环境下的加载速度与用户体验。

2、为了解决上述问题,本发明所采用的技术方案如下:

3、一种基于漫游数据与本地数据库的即时通讯动态缓存方法,应用于即时通讯客户端,服务侧存储全量漫游消息且仅向客户端下发漫游摘要数据,该方法步骤如下:

4、获取服务侧下发的漫游摘要数据,其中,漫游摘要数据包含各消息频道的频道标识、最新消息摘要、服务侧分配的频道内消息递增序号、未读消息数量、频道加入状态标识;

5、读取本地数据库中对应频道已缓存的最大频道内消息递增序号,与服务侧最新频道内消息递增序号做差值计算得到序列差值,并进行本地缓存覆盖状态评估;

6、依据序列差值生成差异化增量拉取策略,并在执行增量消息同步后将消息数据批量写入本地数据库;

7、响应目标消息的锚点定位请求,读取本地数据库加载目标消息及对应范围的上下文消息,并校验加载区间内的消息序列连续性;

8、识别加载区间内的消息缺口区间,并按照消息缺口区间包含的消息数量规模匹配分级补拉规则,对缺失消息进行补全并写入本地数据库;

9、目标上下文加载完成后启动后台异步预热任务,动态扩展目标消息周边的缓存覆盖范围,并将用户高频访问区间的消息数据存入本地数据库。

10、优选的,本地数据库采用双层表结构存储数据,包含本地消息表与本地频道表;

11、本地消息表保存单条消息的完整内容与属性,字段包含频道归属标识、服务侧消息唯一标识、客户端本地消息标识、频道内消息递增序号、消息时间戳、消息状态、发送状态、工作区归属标识;

12、本地频道表保存会话列表展示所需的聚合数据,字段包含频道最后消息内容、最后消息时间、最后消息类型、未读消息数量、被提及状态、频道加入标识;

13、其中,本地消息表针对频道归属标识与频道内消息递增序号建立联合索引,并针对服务侧消息唯一标识建立唯一索引。

14、优选的,客户端进入或切换工作区时,先拉取当前工作区全量频道基础数据并写入本地频道表;再优先从已加入频道的最新消息摘要中,提取服务侧最新频道内消息递增序号,摘要无有效序号时从频道属性字段中提取;

15、查询本地消息表中对应频道有效消息的最大频道内消息递增序号,计算得到序列差值,取序列差值与预设单频道预热数量阈值中的较小值作为实际拉取规模;

16、未获取到有效服务侧频道内消息递增序号、服务侧接口返回异常、或本地最近缓存消息数量不足预设单频道预热数量阈值时,按预设单频道预热数量阈值拉取频道最新消息。

17、优选的,拉取得到的消息统一转换为本地消息表的存储结构后批量入库,通过服务侧消息唯一标识对应的唯一索引进行重复消息的替换写入;

18、客户端主动发起消息发送时,先生成客户端本地消息标识与发送中状态写入本地消息表,待收到服务侧返回的确认回执后,以客户端本地消息标识为匹配依据,将服务侧消息唯一标识、对应频道内消息递增序号及发送成功状态回写至同一条本地记录;

19、消息写入后,同步刷新本地频道表中对应频道的最后消息相关字段。

20、优选的,客户端离线后恢复网络时,分页拉取服务侧离线漫游数据目录,无更多离线频道数据时停止分页,汇总全部离线频道数据;

21、遍历各离线频道的最新消息摘要与频道内消息递增序号,逐一比对本地消息表中对应频道的最大频道内消息递增序号,计算得到序列差值,作为消息缺口;

22、先进行消息缺口内增量消息的拉取与入库,待消息序列补齐后,再依据漫游摘要数据校准本地频道表的未读消息数量、最后消息时间、最后消息内容、最后消息类型及被提及状态,异步进行频道统计数据回写。

23、优选的,收到携带频道标识与目标消息标识的锚点定位请求后,先在本地消息表中检索目标消息,其中,锚点定位请求的触发场景包含搜索结果跳转、通知点击、被提及消息跳转、引用消息查看、频道历史消息定位;

24、目标消息存在于本地消息表时,读取对应频道内消息递增序号,分别查询序号小于目标值的前序上下文消息与序号大于目标值的后续上下文消息,前后查询规模匹配预设上下文加载阈值;

25、所有消息按频道内消息递增序号升序排列后,以目标消息所在下标作为定位锚点返回至界面展示层,同步触发加载区间的消息序列连续性校验。

26、优选的,目标消息未存储于本地消息表时,先调用服务侧单条消息查询接口获取目标消息并写入本地消息表,再分别拉取目标消息前后对应规模的上下文消息并进行入库;

27、全部消息写入后,按频道内消息递增序号升序排列生成上下文列表,以目标消息所在下标作为定位锚点返回至界面展示层,同步执行加载区间的消息序列连续性校验。

28、优选的,校验加载区间的消息序列连续性时,先生成加载区间起止频道内消息递增序号范围内的期望连续序号集合,与本地实际存在的频道内消息递增序号集合做差集运算,得到全部缺失序号;

29、将连续相邻的缺失序号合并为独立的消息缺口区间,将间隔距离小于预设区间合并阈值的多个短消息缺口区间,合并为同一待补区间。

30、优选的,执行消息缺口补全时按缺口方向匹配补拉锚点,前序方向的消息缺口区间以区间结束序号的后一条消息为锚点,调用降序历史查询接口补拉;

31、后续方向的消息缺口区间以区间起始序号的前一条消息为锚点,调用升序历史查询接口补拉;

32、单个消息缺口区间仅含1条缺失消息时执行单条补拉,缺失数量不超过预设批量补拉阈值时执行一次性全量补拉,缺失数量超出预设批量补拉阈值时,按固定分页大小逐页补拉,分页请求以上一页返回的最后一条消息的服务侧消息唯一标识,作为下一页的请求锚点,补拉得到的消息全部写入本地消息表。

33、优选的,目标上下文完成界面展示后启动不阻塞用户交互的后台异步预热任务,以当前加载区间的两端边界为起点,分别向前后两个方向扩展检测预设范围的缓存连续性,存在消息缺口时进行补全;

34、用户滚动浏览消息时优先读取本地消息表数据,仅当目标浏览方向存在消息缺口时发起服务端请求;

35、本地数据库仅留存已加入频道、最近会话、未读频道及锚点跳转周边区域的消息数据,未被用户访问的历史消息不执行预拉取与本地存储;

36、多终端登录或切换工作区时,基于漫游摘要数据进行本地频道表的未读状态、频道列表展示状态与服务端数据的对齐。

37、相比于现有技术,本发明的有益效果为:

38、客户端进入或切换工作区时,先获取服务侧下发的轻量漫游摘要数据,通过比对本地与服务端的频道内消息递增序号判断缓存覆盖进度,仅针对本地缺失的增量部分执行消息同步;该方法无需每次触发固定批量的全量拉取,且能有效压缩不必要的网络请求,适配移动网络环境下的流量控制需求;同时增量写入的方式避免了大批量消息集中落库,能够缓解数据库的磁盘io压力,降低界面卡顿、设备发热的发生概率;其次,处理搜索结果、通知点击等场景的历史消息跳转请求时,优先读取本地已缓存的消息内容,仅针对序列缺失的区间执行定向补拉,缓存范围跟随用户的实际访问行为逐步扩展;这样就能减少同一段消息的重复拉取,并提升本地缓存的利用效率;同时客户端无需预先全量存储所有历史消息,本地数据库的存储空间占用始终处于可控范围,不会随使用时长无限制膨胀。

39、此外,离线恢复时,先完成消息序列的缺口补齐,再更新会话列表的统计展示数据,用户进入会话时不会出现末尾消息已展示、中间内容缺失的时序断裂问题,保障消息浏览的连贯性;其中,针对不同规模的消息缺口匹配分级补拉规则,单条缺口直接修复、批量缺口一次性补全、大规模缺口分页处理,兼顾了序列修复的效率与接口请求的稳定性,避免缺口修复操作影响当前界面的交互响应。