碎片全局重组方法、系统、计算机设备及存储介质

本技术涉及计算机，具体涉及一种碎片全局重组方法、系统、计算机设备及存储介质。

背景技术：

1、古籍、写本及档案等纸质文化遗产在长期保存过程中易发生纸张脆化、边缘磨损及文字脱落，最终以多个散落碎片形式存世。现有碎片重组方案通常利用轮廓形状、边界纹理或局部视觉特征估计碎片间的接触兼容性，再采用贪心或组合优化方法逐步放置碎片。在撕裂边缘保存完整、纹理清晰的场景中，上述方法能够获得一定效果。但是，古籍碎片经长期腐蚀、磨损及污渍覆盖后，其几何互补性与语义连续性显著减弱，单一局部证据在严重退化条件下容易产生误匹配，造成碎片全局重组准确率低的问题。

技术实现思路

1、有鉴于此，本技术提出了一种碎片全局重组方法、系统、计算机设备及存储介质，以解决现有古籍纸质碎片重组方法依赖轮廓、边界等局部视觉证据，在碎片受腐蚀磨损退化导致几何互补、语义连续性下降时易发生误匹配，造成碎片全局重组准确率低的问题。

2、本技术第一方面实施例提出了一种碎片全局重组方法，所述方法包括：

3、获取同一页面的多个碎片，并构建每个碎片的三元组信息；所述三元组信息包括碎片图像、与所述碎片图像对应的边缘图和文字序列；所述边缘图用于表征碎片的边界与轮廓；

4、针对所述多个碎片中的任意两个碎片，根据所述两个碎片的三元组信息判断所述两个碎片的位置关系；所述位置关系包括是否相邻、相邻方向；

5、将所述多个碎片逐个放置于碎片拼接网格中；其中，在每次碎片放置环节中，包括以下子步骤：

6、步骤s1，针对当前未放置的若干个第一碎片中的任一第一碎片，基于所述第一碎片的有效面积、全局连接性以及动态前沿连接强度，计算所述第一碎片的选择分数；所述全局连接性是指所述第一碎片与其他所有碎片的邻接亲和度的平均值，所述其他所有碎片是指所述多个碎片中除所述第一碎片之外的其他碎片；所述动态前沿连接强度是指所述第一碎片与当前已放置的若干个第二碎片的邻接亲和度的平均值；邻接亲和度是指所述第一碎片与相应碎片构成邻接关系的可能性；

7、步骤s2，从所述若干个第一碎片中筛选出选择分数最高的第一碎片作为当前待放置碎片；

8、步骤s3，根据所述当前已放置的若干个第二碎片的网格坐标，以及所述当前待放置碎片与所述若干个第二碎片之间的位置关系，确定所述当前待放置碎片的目标网格坐标；

9、步骤s4，根据所述目标网格坐标将所述当前待放置碎片放置于所述碎片拼接网格中。

10、本技术实施例通过构建包含碎片图像、边缘图和文字序列的三元组信息，使纸张外观、撕裂几何和文字语义三类证据相互补充，显著降低了严重边缘退化对单一特征的影响；通过针对任意两个碎片进行位置关系判断，将邻接类别与主轴相对方向联合输出，减少了分别建模造成的矛盾，并为全局布局提供了直接可执行的关系约束；通过基于有效面积、全局连接性及动态前沿连接强度计算选择分数，实现了关系感知的处理序列规划，能够优先处理信息更充分且与当前局部布局连接更可靠的碎片，有效降低了早期误放导致的误差传播；通过根据已放置碎片的网格坐标及位置关系确定目标网格坐标，将局部关系预测转换为无坐标冲突的整数网格布局，保证了坐标合法性和布局紧凑性，从而显著提升了严重退化古籍碎片的全局重组准确率。

11、在本技术实施例中，根据所述两个碎片的三元组信息判断所述两个碎片的位置关系，包括：

12、构造包含所述两个碎片的三元组信息的联合多模态输入信息，所述联合多模态输入信息包括所述两个碎片的碎片图像、边缘图和文字序列；

13、将所述联合多模态输入信息输入至经任务适配的视觉语言模型，输出所述两个碎片的位置关系；所述位置关系包括邻接类别与主轴相对方向；所述邻接类别为相邻或非相邻，所述主轴相对方向为上、下、左或右。

14、本技术实施例通过构造包含两个碎片三元组信息的联合多模态输入信息，将原始图像、边缘图和文字序列同时输入视觉语言模型，使模型能够在一次推理中综合三类互补证据；通过经任务适配的视觉语言模型联合输出邻接类别与主轴相对方向，避免了邻接判断与方向判断割裂处理导致的相互矛盾，提高了关系判断的可靠性；通过限定位置关系为邻接类别（相邻/非相邻）和主轴相对方向（上/下/左/右）的结构化输出，便于系统稳定解析和直接调用，降低了自由文本输出造成的解析错误，从而为后续全局坐标恢复提供了高质量的结构化关系约束。

15、在本技术实施例中，基于所述第一碎片的有效面积、全局连接性以及动态前沿连接强度，计算所述第一碎片的选择分数，包括：

16、

17、其中，表示在第次碎片放置环节中第一碎片的选择分数，为所述第一碎片的有效面积，为所述第一碎片的全局连接性，为所述第一碎片的动态前沿连接强度，为与所述第一碎片的有效面积对应的第一权重系数，为与所述第一碎片的全局连接性对应的第二权重系数，为与所述第一碎片的动态前沿连接强度对应的第三权重系数。

18、在本技术实施例中，根据所述当前已放置的若干个第二碎片的网格坐标，以及所述当前待放置碎片与所述若干个第二碎片之间的位置关系，确定所述当前待放置碎片的目标网格坐标，包括：

19、将所述当前已放置的若干个第二碎片的网格坐标，以及所述当前待放置碎片与所述若干个第二碎片之间的位置关系作为结构化信息，输入至经任务适配的语言模型生成语言模型候选锚点；

20、从所述当前待放置碎片与所述若干个第二碎片之间的位置关系中，筛选出置信度高于预设置信度阈值的第一位置关系，并基于所述第一位置关系生成确定性关系锚点；

21、将所述语言模型候选锚点、所述确定性关系锚点，以及所述语言模型候选锚点和所述确定性关系锚点的邻域内未占用网格坐标组合为候选坐标集合；

22、针对所述候选坐标集合中的任一候选坐标，计算所述候选坐标的统一评分，所述统一评分包括所述候选坐标的邻接预测一致程度、所述候选坐标的方向预测一致程度、所述候选坐标导致的布局外接矩形扩张代价、以及所述候选坐标偏离所述语言模型候选锚点或所述确定性关系锚点的距离；

23、从所述候选坐标集合中筛选出统一评分最高的候选坐标，作为所述当前待放置碎片的目标网格坐标。

24、本技术实施例通过引入经任务适配的语言模型生成语言模型候选锚点，利用语言模型对古籍页面布局规律的先验知识提供位置建议；通过筛选高置信度位置关系生成确定性关系锚点，将高可信的局部关系直接转化为可执行的空间坐标；通过将语言模型候选锚点、确定性关系锚点及其邻域内未占用网格坐标组合为候选坐标集合，避免了完全依赖单一坐标生成方式导致的碰撞或过度扩张；通过统一评分函数综合考量邻接预测一致程度、方向预测一致程度、布局外接矩形扩张代价及锚点偏离距离，在保证坐标非重叠的同时兼顾了关系一致性和布局紧凑性，从而将局部关系稳定地转化为无冲突的页级整数网格布局。

25、在本技术实施例中，所述候选坐标的邻接预测一致程度和方向预测一致程度通过以下方式计算：

26、确定与所述候选坐标相邻的已放置的第二碎片作为参考碎片；

27、获取所述当前待放置碎片与所述参考碎片之间的第二位置关系；

28、根据所述第二位置关系中的邻接类别确定所述候选坐标相对于所述参考碎片的邻接预测一致程度，并根据所述第二位置关系中的主轴相对方向确定所述候选坐标相对于所述参考碎片的方向预测一致程度。

29、在本技术实施例中，所述候选坐标导致的布局外接矩形扩张代价通过以下方式计算：

30、确定当前已放置的若干个第二碎片的网格坐标的横坐标最大值、横坐标最小值、纵坐标最大值及纵坐标最小值，并根据所述横坐标最大值、所述横坐标最小值、所述纵坐标最大值及所述纵坐标最小值计算当前布局外接矩形的第一面积；

31、根据所述候选坐标与所述当前已放置的若干个第二碎片的网格坐标，确定新的横坐标最大值、新的横坐标最小值、新的纵坐标最大值及新的纵坐标最小值，并根据所述新的横坐标最大值、所述新的横坐标最小值、所述新的纵坐标最大值及所述新的纵坐标最小值计算新布局外接矩形的第二面积；

32、根据所述第二面积与所述第一面积的差值，确定候选坐标导致的布局外接矩形扩张代价。

33、在本技术实施例中，将所述语言模型候选锚点、所述确定性关系锚点，以及所述语言模型候选锚点和所述确定性关系锚点的邻域内未占用网格坐标组合为候选坐标集合，包括：

34、针对所述语言模型候选锚点、所述确定性关系锚点中的任一锚点，对所述锚点执行邻域扩展，扩展半径为1；

35、在当前布局外接矩形周围扩展预设数量的网格；

36、将扩展后的未占用网格坐标与所述语言模型候选锚点、所述确定性关系锚点组合为候选坐标集合，其中候选坐标数量设有上限数量。

37、本技术第二方面的实施例提供了一种碎片全局重组系统，包括：

38、三元组信息构建模块，用于获取同一页面的多个碎片，并构建每个碎片的三元组信息；所述三元组信息包括碎片图像、与所述碎片图像对应的边缘图和文字序列；所述边缘图用于表征碎片的边界与轮廓；

39、位置关系判断模块，用于针对所述多个碎片中的任意两个碎片，根据所述两个碎片的三元组信息判断所述两个碎片的位置关系；所述位置关系包括是否相邻、相邻方向；

40、碎片放置模块，用于将所述多个碎片逐个放置于碎片拼接网格中；其中，在每次碎片放置环节中，包括以下子步骤：针对当前未放置的若干个第一碎片中的任一第一碎片，基于所述第一碎片的有效面积、全局连接性以及动态前沿连接强度，计算所述第一碎片的选择分数；所述全局连接性是指所述第一碎片与其他所有碎片的邻接亲和度的平均值，所述其他所有碎片是指所述多个碎片中除所述第一碎片之外的其他碎片；所述动态前沿连接强度是指所述第一碎片与当前已放置的若干个第二碎片的邻接亲和度的平均值；邻接亲和度是指所述第一碎片与相应碎片构成邻接关系的可能性；从所述若干个第一碎片中筛选出选择分数最高的第一碎片作为当前待放置碎片；根据所述当前已放置的若干个第二碎片的网格坐标，以及所述当前待放置碎片与所述若干个第二碎片之间的位置关系，确定所述当前待放置碎片的目标网格坐标；根据所述目标网格坐标将所述当前待放置碎片放置于所述碎片拼接网格中。

41、本技术第三方面的实施例提供了一种计算机设备，该计算机设备包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述第一方面所述的碎片全局重组方法。

42、本技术第四方面的实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行上述第一方面所述的碎片全局重组方法。