壁画多光谱图像在线展示平台及方法与流程

本发明涉及数字文化遗产保护领域，具体涉及壁画多光谱图像在线展示平台及方法。

背景技术：

1、古代壁画作为珍贵的文化遗产，承载着丰富的历史、艺术与宗教信息，长期面临自然老化、环境病害褪色以及物理损毁等多重威胁，对壁画进行高精度数字化记录与在线展示已成为文物保护与科学研究的重要途径。随着多光谱成像等技术的发展，壁画数字化成果的数据规模急剧增长，高效、精准地在web端展示壁画的高精度数字化成果，对于珍贵文物的数字化保护、科学修复以及预防性管理具有十分重要的意义。

2、现有壁画数字化展示技术仍存在明显不足。一方面，渲染性能受限，百亿级像素级别的超高精度壁画图像在web端加载与渲染性能极差，现有方案缺乏针对大数据量的金字塔存储与按需调度机制，导致浏览器内存溢出或首屏加载时间过长，无法实现流畅的无损缩放浏览，严重制约了高精度数字化成果的在线呈现。另一方面，多模态数据缺乏联动，多光谱通道数据、隐含信息结果图、色彩解析结果图等多模态数据之间缺乏统一的叠加展示与联动比对机制，文保科研人员无法在同一界面内对原始壁画图像与各类分析成果进行同步比对，多光谱数据所蕴含的隐含信息难以得到直观呈现。此外，光谱图表展示不严谨，分析成果的展示缺乏直观性，光谱图表展示不够科学严谨，难以有效支撑文保科研人员的在线协同研究需求。

3、针对上述技术问题，目前尚未有能够实现海量数据极速渲染、多模态图层叠加与交互可视化的壁画数字展示技术方案，亟需一种能够同时解决渲染性能不足、多模态数据缺乏联动以及光谱图表展示不严谨问题的壁画多光谱图像在线展示方案。

技术实现思路

1、本发明的目的在于提供壁画多光谱图像在线展示平台及方法，以解决现有壁画数字化展示技术中百亿级像素壁画图像在web端加载与渲染性能不足、多模态数据之间缺乏统一叠加展示与联动比对机制以及光谱图表展示不够科学严谨的问题。

2、为实现上述目的，采用如下技术方案。

3、壁画多光谱图像在线展示平台，包括多尺度金字塔数据调度子系统、多模态视窗联动与叠加展示子系统以及数字化成果展示与管理子系统；

4、所述多尺度金字塔数据调度子系统被配置为汇聚管理多尺度金字塔切片数据、由所述多尺度金字塔切片数据的顶层切片降维合成的轻量化rgb交互底图数据与壁画基础元数据，基于前端渲染引擎对所述多尺度金字塔切片数据及所述轻量化rgb交互底图数据实现动态按需调度与加载；

5、所述多模态视窗联动与叠加展示子系统以及所述数字化成果展示与管理子系统分别与所述多尺度金字塔数据调度子系统数据连接；

6、所述多模态视窗联动与叠加展示子系统被配置为进行原始壁画图像与多模态分析结果图层数据的双视窗同步联动、滑动叠加对比以及图层透明度融合展示；

7、所述数字化成果展示与管理子系统被配置为进行百亿级像素壁画图像的无损缩放与平移浏览、光谱曲线的规范化展示以及操作记录管理与呈现。

8、可选的，所述多尺度金字塔切片数据采用多波段、多分辨率层级切片结构，由采集设备采集的多光谱壁画图像经多尺度金字塔切片生成；

9、所述多模态分析结果图层数据包括底稿线结果图、墨线重建结果图、颜料识别分布图、色彩溯源结果图以及色彩复原结果图，各所述多模态分析结果图层数据与原始壁画图像具备空间配准关系，以金字塔切片形式存储；

10、所述平台还包括由所述多尺度金字塔切片数据的顶层切片降维合成、用于前端初始加载与快速预览的轻量化rgb交互底图数据。

11、可选的，所述多模态视窗联动与叠加展示子系统包括双视窗联动控制模块、滑动叠加对比模块、图层透明度融合模块以及多模态图层管理模块；

12、所述双视窗联动控制模块基于前端状态机，进行左视窗与右视窗平移与缩放的同步联动；

13、所述滑动叠加对比模块通过可拖拽分割线，进行上层图层与下层图层的同窗分割对比展示；

14、所述图层透明度融合模块通过透明度滑动条，进行多模态图层的半透明融合叠加展示；

15、所述多模态图层管理模块提供多模态结果图层的列表化管理，用户通过勾选或切换操作控制各图层的显示与隐藏。

16、可选的，所述多尺度金字塔数据调度子系统包括视窗感知调度模块、分辨率自适应模块以及渐进式加载模块；

17、所述视窗感知调度模块被配置为根据前端可视区域按需加载视窗范围内的切片数据，视窗范围外的切片数据不予加载；

18、所述分辨率自适应模块被配置为根据当前缩放层级自动匹配对应的金字塔分辨率层级；

19、所述渐进式加载模块被配置为在缩放层级切换时优先加载低分辨率切片，再逐步加载高分辨率切片。

20、可选的，所述数字化成果展示与管理子系统包括百亿级像素无损浏览模块、光谱曲线展示模块以及操作记录管理模块；

21、所述百亿级像素无损浏览模块基于所述多尺度金字塔数据调度子系统调度加载的多尺度金字塔切片数据，支持用户通过鼠标滚轮缩放与拖拽平移的方式，在百亿级像素壁画图像上进行任意比例的无损浏览；

22、所述光谱曲线展示模块被配置为通过前端在底图上捕获用户点击的二维坐标，将所述二维坐标发送至后端提取对应的一维光谱向量，返回前端后由echarts图表库绘制波长-反射率曲线图，并将所述波长-反射率曲线图的纵坐标最小值固定为0，且纵坐标范围由当前光谱向量的最大值动态确定；

23、所述操作记录管理模块被配置为实时捕获用户在详情页的交互操作事件，所述交互操作事件包括壁画场景切换、波段轮播、彩色合成、缩放操作以及平移操作，按时间顺序排列呈现，支持用户查看历史操作轨迹并提供一键清空记录功能；

24、所述平台基于django后端web框架、vue.js前端框架、leaflet或deck.gl前端渲染引擎、关系型数据库以及elementplus前端界面组件库构建，所述django后端web框架负责api服务与所述多尺度金字塔切片数据的索引分发，所述关系型数据库用于存储用户数据、文化遗产地点基础元数据以及所述多模态分析结果图层数据的索引信息。

25、可选的，所述多尺度金字塔数据调度子系统还包括动态监听器，所述平台执行百亿级像素数据的动态获取过程：所述前端渲染引擎默认仅加载所述多尺度金字塔切片数据的顶层切片，生成轻量级rgb图像作为交互底图；

26、所述动态监听器在用户执行缩放操作或平移操作时，实时计算当前可视区域的边界坐标与分辨率层级，按需向后端请求对应空间切片的深层高分辨率数据进行加载拼接；

27、所述视窗感知调度模块仅加载当前视窗范围内的切片数据，视窗范围外的切片数据不予加载；

28、所述分辨率自适应模块根据当前缩放层级自动匹配对应的金字塔分辨率层级；

29、所述渐进式加载模块在缩放层级切换时先加载低分辨率切片，再逐步加载高分辨率切片；

30、所述多尺度金字塔切片数据存储于分布式存储端，由所述前端渲染引擎基于当前视窗范围与缩放层级动态按需获取。

31、可选的，所述双视窗联动控制模块配置有单一联动控制按钮，所述单一联动控制按钮被激活时，所述前端状态机捕获左视窗或右视窗中任一视窗的变换状态，实时将变换矩阵同步作用于另一视窗，维持左视窗与右视窗的绝对同步联动；

32、所述滑动叠加对比模块在单一视窗内将上层图层与下层图层进行左右分割展示，所述可拖拽分割线左侧显示下层图层、右侧显示上层图层，用户通过鼠标拖拽所述可拖拽分割线实时控制分割位置；

33、所述图层透明度融合模块的所述透明度滑动条在0%至100%范围内连续可调，实时调节上层图层的透明度参数；

34、所述多模态图层管理模块以列表形式展示当前采集地点所有可用的多模态结果图层，用户通过勾选或切换操作控制各图层的显示与隐藏。

35、壁画多光谱图像在线展示方法，包括以下步骤：

36、获取由原始高分辨率壁画图像按金字塔层级切片存储形成的多尺度金字塔切片数据以及由所述多尺度金字塔切片数据的顶层切片降维合成的轻量化rgb交互底图数据，加载所述轻量化rgb交互底图数据生成初始展示画面，得到包含所述初始展示画面的前端渲染结果；

37、监测所述前端渲染结果中的缩放操作或平移操作，实时计算当前可视区域的边界坐标与分辨率层级，基于所述边界坐标与所述分辨率层级向所述多尺度金字塔数据调度子系统按需请求对应空间切片的深层高分辨率数据进行加载拼接，在缩放层级切换时先加载低分辨率切片再逐步加载高分辨率切片，得到按需调度后的切片渲染结果；

38、基于所述切片渲染结果，将多模态分析结果图层数据中的各结果图层按照与原始壁画图像的空间配准关系叠加于所述切片渲染结果上，并根据多模态图层管理模块的勾选或切换操作控制各结果图层的显示与隐藏，得到多模态图层叠加展示结果；

39、基于所述多模态图层叠加展示结果，利用前端状态机捕获左视窗或右视窗中任一视窗的变换状态，实时将变换矩阵同步作用于另一视窗，并通过可拖拽分割线以及透明度滑动条将上层图层与下层图层进行左右分割对比或半透明融合叠加，得到双视窗联动与对比融合展示结果；

40、响应于对所述切片渲染结果中目标位置的点击操作，将所述目标位置的二维坐标发送至后端提取对应的一维光谱向量，基于echarts图表库绘制波长-反射率曲线图并将所述波长-反射率曲线图的纵坐标最小值固定为0，且纵坐标范围由当前光谱向量的最大值动态确定，得到光谱曲线展示结果；

41、将所述缩放操作、所述平移操作、所述点击操作、所述勾选或切换操作、所述拖拽操作以及所述调节操作记录为交互操作事件，按时间顺序排列呈现并支持一键清空，得到操作记录管理结果。

42、可选的，监测所述前端渲染结果中的缩放操作或平移操作并实时计算当前可视区域的边界坐标与分辨率层级时，由多尺度金字塔数据调度子系统的动态监听器执行所述实时计算，将所述边界坐标发送至视窗感知调度模块，将所述分辨率层级发送至分辨率自适应模块；

43、所述视窗感知调度模块基于所述边界坐标按需向后端请求对应空间切片的深层高分辨率数据并加载拼接，所述分辨率自适应模块基于所述分辨率层级匹配对应的金字塔分辨率层级，渐进式加载模块在金字塔分辨率层级切换时先加载低分辨率切片，再逐步加载高分辨率切片；

44、所述多尺度金字塔切片数据存储于分布式存储端，由前端渲染引擎基于当前视窗范围与缩放层级动态按需获取。

45、可选的，响应于对所述切片渲染结果中目标位置的点击操作时，由前端捕获所述目标位置的二维坐标，将所述目标位置的二维坐标发送至后端，由所述后端基于所述多尺度金字塔切片数据中与所述目标位置的二维坐标对应的空间位置提取一维光谱向量，所述一维光谱向量为所述空间位置对应的壁画像素在各光谱波段上的反射率值序列，将所述一维光谱向量返回前端后由echarts图表库绘制波长-反射率曲线图，并将所述波长-反射率曲线图的纵坐标最小值固定为0，且纵坐标范围由当前光谱向量的最大值动态确定；

46、将所述缩放操作、所述平移操作、所述点击操作、所述勾选或切换操作、所述拖拽操作以及所述调节操作记录为交互操作事件时，由操作记录管理模块实时捕获各所述交互操作事件的发生时间与操作类型，所述交互操作事件还包括壁画场景切换、波段轮播以及彩色合成，将各所述交互操作事件按照所述发生时间按时间顺序排列呈现，支持用户查看历史操作轨迹并提供一键清空记录功能，所述一键清空记录功能将全部交互操作事件清除。

47、与现有技术相比，本发明具有以下有益效果：

48、本发明提供的壁画多光谱图像在线展示平台通过多尺度金字塔数据调度子系统、多模态视窗联动与叠加展示子系统以及数字化成果展示与管理子系统的协同配合，有效解决了上述背景技术中提出的技术问题。多尺度金字塔数据调度子系统汇聚管理多尺度金字塔切片数据、由多尺度金字塔切片数据的顶层切片降维合成的轻量化rgb交互底图数据与壁画基础元数据，基于前端渲染引擎对多尺度金字塔切片数据及轻量化rgb交互底图数据实现动态按需调度与加载，使百亿级像素壁画图像在web端得以快速加载与流畅缩放浏览，克服了现有技术因缺乏大数据量调度机制而导致的浏览器内存溢出与首屏加载时间过长问题；多模态视窗联动与叠加展示子系统实现原始壁画图像与多模态分析结果图层数据的双视窗同步联动、滑动叠加对比以及图层透明度融合展示，使多光谱通道数据、隐含信息结果图、色彩解析结果图等多模态数据能够在同一界面内统一叠加并高效比对，弥补了现有技术中多模态数据缺乏联动机制的不足；数字化成果展示与管理子系统实现百亿级像素壁画图像的无损缩放与平移浏览、光谱曲线的规范化展示以及操作记录管理与呈现，使分析成果的展示更加直观、科学，为文保科研人员提供了严谨的在线协同研究支持。同时，多模态视窗联动与叠加展示子系统以及数字化成果展示与管理子系统分别与多尺度金字塔数据调度子系统数据连接，形成以多尺度金字塔切片数据为纽带的数据流水线，各子系统间数据流转顺畅，整体平台协同有序，为百亿级像素壁画图像的在线展示提供了系统级支撑。

49、进一步地，多尺度金字塔切片数据采用多波段、多分辨率层级切片结构，由采集设备采集的多光谱壁画图像经多尺度金字塔切片生成，在保留各光谱波段完整信息的同时按分辨率层级组织存储，配合由顶层切片降维合成的轻量化rgb交互底图数据，使平台在初始加载阶段即可快速呈现整体画面，后续按需获取深层高分辨率切片，兼顾了画面呈现速度与图像细节保真度；多模态分析结果图层数据包含底稿线结果图、墨线重建结果图、颜料识别分布图、色彩溯源结果图以及色彩复原结果图，各结果图层与原始壁画图像具备空间配准关系并以金字塔切片形式存储，使各类分析成果能够与原始图像精确对齐叠加，为多模态比对提供了空间一致的展示基础。多模态视窗联动与叠加展示子系统设置的双视窗联动控制模块基于前端状态机进行左视窗与右视窗平移与缩放的同步联动，并通过单一联动控制按钮触发前端状态机捕获任一视窗的变换状态、实时将变换矩阵同步作用于另一视窗，实现双视窗的绝对同步联动，结合可拖拽分割线实现的左右分割对比以及0%至100%范围内连续可调的透明度滑动条实现的半透明融合叠加，为多模态数据的差异化比对提供了丰富的交互手段；多模态图层管理模块以列表形式展示采集地点所有可用的多模态结果图层，通过勾选或切换操作即可灵活控制各图层的显示与隐藏。多尺度金字塔数据调度子系统设置的视窗感知调度模块、分辨率自适应模块与渐进式加载模块，分别实现视窗范围内切片数据的按需加载、缩放层级与金字塔分辨率层级的自动匹配、缩放层级切换时先低后高的渐进式加载，并配合动态监听器在缩放或平移操作时实时计算可视区域边界坐标与分辨率层级、按需向分布式存储端请求对应空间切片的深层高分辨率数据，使海量数据的加载量始终与可视需求匹配，系统资源利用充分，画面呈现与细节加载有序衔接。数字化成果展示与管理子系统的光谱曲线展示模块将用户点击位置对应的二维坐标发送至后端提取一维光谱向量，由echarts图表库绘制波长-反射率曲线图并将波长-反射率曲线图的纵坐标最小值固定为0，且纵坐标范围由当前光谱向量的最大值动态确定，使光谱数据在统一坐标基准下规范化呈现，为不同点位、不同时期的光谱数据对比提供了科学严谨的展示标准；操作记录管理模块实时捕获壁画场景切换、波段轮播、彩色合成、缩放操作以及平移操作等交互操作事件，按时间顺序排列呈现并提供一键清空功能，使科研过程可追溯、可复盘。平台基于django后端web框架、vue.js前端框架、leaflet或deck.gl前端渲染引擎、关系型数据库以及elementplus前端界面组件库构建，django后端web框架负责api服务与多尺度金字塔切片数据的索引分发，关系型数据库存储用户数据、文化遗产地点基础元数据以及多模态分析结果图层数据的索引信息，实现前端与后端的高效分离，为平台的稳定运行与功能扩展提供了架构支撑。在此基础上，本发明还提供壁画多光谱图像在线展示方法，通过获取多尺度金字塔切片数据与轻量化rgb交互底图数据并生成初始展示画面、监测缩放或平移操作并按需调度深层高分辨率数据、按照空间配准关系叠加多模态分析结果图层、基于前端状态机实现双视窗联动与对比融合、响应点击操作提取一维光谱向量并绘制光谱曲线、将交互操作事件按时间顺序排列呈现并支持一键清空六个环节的紧密衔接，使上述平台功能在方法层面得到完整落地，各环节依据前一步骤的结果逐层推进，为多光谱壁画图像的在线展示提供了完整、可执行的技术路径。