一种多模态交互式轨道书的内容呈现控制方法及系统与流程

本发明涉及图像处理与多模态人机交互，尤其涉及一种多模态交互式轨道书的内容呈现控制方法及系统。

背景技术：

1、轨道书是一种专为儿童设计的交互式读物，书页上印刷有供玩具或指示物沿其移动的轨道线路，通过图像识别模块实时检测玩具在轨道上的位置，驱动内容呈现系统播放对应的音频、动画或灯光反馈，实现“边走边读”的沉浸式阅读体验。随着计算机视觉技术的发展，现有轨道书产品通常采用摄像头采集轨道区域图像，利用canny、sobel等传统边缘检测算子提取轨道边界，进而定位玩具在轨道上的实时位置。

2、公布号为cn119625002a，公开日期为2025.03.14的中国发明专利申请公开了一种对光照强度变化不敏感的高铁轨道板边缘检测算法，其基于滑动窗口检测策略，通过逐步缩小窗口范围来确定边缘点位置。然而，该算法主要面向高铁轨道板加工场景，窗口搜索策略的计算开销较大，难以满足轨道书实时交互场景对低延迟的要求。此外，传统canny算子需要手动设定高低阈值，当输入图像遭遇大光度变化、灰度值均值产生较大波动时，预先设定的阈值往往无法适应实际工况。

3、现有技术中虽有基于相位一致性的边缘检测方法，其对光照和对比度变化具有一定不敏感优势，但易于产生伪边缘，且计算复杂。因此，现有轨道书产品在环境光突变（如窗帘开合、灯光开关、云层移动）或儿童身体/手臂在轨道上方投射移动阴影时，轨道区域的亮度与对比度发生剧烈变化，图像识别模块难以有效提取轨道边界，导致轨道跟踪频繁丢失，产品被用户评价为“挑环境”“不好用”。

技术实现思路

1、针对现有技术的不足，本发明提供了一种多模态交互式轨道书的内容呈现控制方法及系统，旨在解决轨道书在环境光突变和阴影干扰下轨道边缘检测失效、导致交互中断的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种多模态交互式轨道书的内容呈现控制方法，包括如下步骤：

3、s1、采集轨道书当前页面的轨道区域图像序列，并进行帧间照度归一化，得到归一化图像序列；

4、s2、对归一化图像序列联合提取时域稳定分量与空域一致分量，将时域非稳定且空域一致的分量标记为时变干扰掩膜，将时域稳定且空域一致的分量标记为稳定结构响应基底，依据时变干扰掩膜对稳定结构响应基底进行局部增益抑制，得到抑制后结构响应基底；

5、s3、根据抑制后结构响应基底计算响应强度分布和主方向分布，将抑制后结构响应基底对应的末帧分割为子区域，根据各子区域在响应强度分布中的局部峰值和主方向分布中的主峰计算匹配度，基于匹配度生成结构置信度；

6、s4、在结构置信度低于预设置信阈值的低置信子区域内，以预设的先验模型的局部走向引导抑制后结构响应基底的局部峰值搜索与连接，形成补偿结构段，以补偿结构段约束更新先验模型，得到更新空间模型，生成补偿后结构响应基底；

7、s5、对补偿后结构响应基底执行峰值筛选与阈值连接，得到稳定结构二值图，计算稳定结构二值图与更新空间模型的几何偏差量；

8、s6、几何偏差量超预设偏差阈值时驱动触觉阵列产生定向振动序列，将定向振动序列的反馈时标、稳定结构二值图生成时标、偏差量的空间分布矢量融合为轨道追踪状态向量，依据轨道追踪状态向量解析内容呈现控制指令。

9、进一步的，所述采集轨道书当前页面的轨道区域图像序列，并进行帧间照度归一化，得到归一化图像序列，包括：

10、通过视觉传感器采集当前页面的轨道区域图像，生成轨道区域图像序列；

11、统计轨道区域图像序列中首帧图像的轨道区域内各像素灰度值，计算首帧图像的轨道区域内全部像素的灰度均值，将灰度均值标记为基准灰度值；

12、逐帧读取轨道区域图像序列中的图像帧作为待处理图像帧，统计待处理图像帧的轨道区域内各像素灰度值，计算待处理图像帧的轨道区域内全部像素的灰度均值，将灰度均值标记为当前帧灰度值，计算基准灰度值与当前帧灰度值的比值，将比值标记为当前帧的灰度归一化增益系数；

13、将待处理图像帧中各像素的原始灰度值与当前帧的灰度归一化增益系数执行乘法运算，得到各像素的校正后灰度值，以各像素的校正后灰度值替换待处理图像帧中的原始灰度值，得到校正图像帧；

14、以首帧图像作为序列首帧，将各校正图像帧按照各校正图像帧对应的原始采集时序依次排列于序列首帧之后，生成归一化图像序列。

15、进一步的，所述对归一化图像序列联合提取时域稳定分量与空域一致分量，将时域非稳定且空域一致的分量标记为时变干扰掩膜，将时域稳定且空域一致的分量标记为稳定结构响应基底，依据时变干扰掩膜对稳定结构响应基底进行局部增益抑制，得到抑制后结构响应基底，包括：

16、对归一化图像序列各帧中相同空间坐标的像素位置的灰度值构建灰度时序序列，统计灰度时序序列中灰度值的标准差作为时域波动值，将时域波动值小于预设时域波动阈值的像素位置标记为时域稳定位置，将时域波动值大于或等于预设时域波动阈值的像素位置标记为时域非稳定位置；

17、对归一化图像序列末帧逐像素计算相位一致性值，构成空域相位一致性值图，将空域相位一致性值图中相位一致性值大于预设空域一致性阈值的像素位置标记为空域一致位置；

18、将同时标记为时域非稳定位置和空域一致位置的像素位置标记为时变干扰位置，以全部时变干扰位置的像素值为1构成时变干扰掩膜；

19、将同时标记为时域稳定位置和空域一致位置的像素位置标记为稳定结构位置，以空域相位一致性值图中各稳定结构位置处的相位一致性值作为基底响应幅值，生成稳定结构响应基底；

20、将稳定结构响应基底中对应时变干扰掩膜像素值为1的位置处的基底响应幅值乘以预设抑制系数，得到抑制后结构响应基底。

21、进一步的，所述对归一化图像序列末帧逐像素计算相位一致性值，构成空域相位一致性值图，包括：

22、构建log-gabor滤波器，将各尺度的log-gabor滤波器分别与末帧图像卷积，得到各像素在各尺度下的偶对称滤波响应和奇对称滤波响应；

23、对各像素在各尺度下的偶对称滤波响应和奇对称滤波响应执行反正切运算，得到各像素在各尺度下的局部相位角；

24、对各像素在各尺度下的偶对称滤波响应平方与奇对称滤波响应平方求和后开平方，得到各像素在各尺度下的局部幅度值；

25、对各像素所有尺度的局部幅度值求和，得到局部幅度总和；

26、对各像素各尺度的偶对称滤波响应求和，得到偶对称响应总和；对各像素各尺度的奇对称滤波响应求和，得到奇对称响应总和；对偶对称响应总和与奇对称响应总和执行反正切运算，得到综合相位角；

27、对各像素在各尺度下的局部相位角与综合相位角执行差值运算，得到相位偏离角；对相位偏离角执行余弦运算，得到相位偏离余弦值；将各尺度下的相位偏离余弦值与同尺度的局部幅度值执行乘法运算后求和，得到相位一致分子；将相位一致分子除以局部幅度总和，得到相位一致性值；

28、以全部像素位置的相位一致性值构成空域相位一致性值图。

29、进一步的，所述根据抑制后结构响应基底计算响应强度分布和主方向分布，将抑制后结构响应基底对应的末帧分割为子区域，根据各子区域在响应强度分布中的局部峰值和主方向分布中的主峰计算匹配度，基于匹配度生成结构置信度，包括：

30、通过sobel算子对抑制后结构响应基底进行卷积运算，得到各像素的水平方向梯度值与垂直方向梯度值；

31、对水平方向梯度值与垂直方向梯度值执行反正切运算，得到梯度方向角；

32、对水平方向梯度值平方与垂直方向梯度值平方求和后开平方，得到梯度幅值；

33、以全部像素的梯度幅值构成响应强度分布图，以全部像素的梯度方向角构成主方向分布图；

34、将抑制后结构响应基底对应的末帧图像划分子区域；根据主方向分布图中全部像素梯度方向角的分布范围确定角度间隔，按照角度间隔划分梯度方向区间；

35、在各子区域内统计落入各梯度方向区间的像素数量，以像素数量最多的梯度方向区间对应的角度值作为该子区域的主方向主峰；

36、在各子区域内搜索响应强度分布图中梯度幅值大于邻域半径内全部像素梯度幅值的像素位置，作为强度局部峰值，所述邻域半径根据子区域内梯度幅值的标准差确定；

37、计算各子区域内主方向主峰对应的像素数量与子区域内全部像素数量的比值，将比值标记为该子区域的主方向集中度；

38、计算各子区域内强度局部峰值的梯度幅值与子区域内全部像素梯度幅值均值的比值，将比值标记为该子区域的强度显著度；将主方向集中度与强度显著度执行乘法运算，得到匹配度；

39、将匹配度大于预设匹配度阈值的子区域标记为高置信子区域，将匹配度小于或等于预设匹配度阈值的子区域标记为低置信子区域，构成结构置信度。

40、进一步的，所述预设的先验模型通过提取轨道书设计图纸中轨道中心线的节点坐标与邻接关系，根据相邻节点坐标计算节点间距并存储，包含轨道节点序列、节点邻接关系和节点间距属性；所述在结构置信度低于预设置信阈值的低置信子区域内，以预设的先验模型的局部走向引导抑制后结构响应基底的局部峰值搜索与连接，形成补偿结构段，以补偿结构段约束更新先验模型，得到更新空间模型，生成补偿后结构响应基底，包括：

41、获取先验模型中低置信子区域的轨道节点序列，对轨道节点序列执行线性插值，得到各低置信子区域的局部走向方向；

42、在各低置信子区域内，沿局部走向方向在抑制后结构响应基底上搜索响应强度大于预设峰值阈值的像素位置，得到各低置信子区域的局部峰值位置集；

43、按照各低置信子区域内局部走向方向的空间顺序，将各低置信子区域的局部峰值位置集依次连接，形成补偿结构段；

44、获取先验模型的节点间距，按照节点间距对补偿结构段进行等距重采样，得到重采样节点坐标；

45、将重采样节点坐标与先验模型中对应序号的轨道节点坐标执行差值运算，得到各序号节点的位置偏移量，以位置偏移量更新先验模型中对应序号节点的坐标，得到更新空间模型；

46、提取更新空间模型中位于低置信子区域内的节点坐标，对各节点坐标执行插值运算，得到低置信子区域内各像素位置的重构响应值；以重构响应值替换抑制后结构响应基底中对应像素位置的原始响应值，生成补偿后结构响应基底。

47、进一步的，所述在各低置信子区域内，沿局部走向方向在抑制后结构响应基底上搜索响应强度大于预设峰值阈值的像素位置，得到各低置信子区域的局部峰值位置集，包括：

48、将局部走向方向作为搜索轴向方向，沿搜索轴向方向对抑制后结构响应基底进行间隔采样，得到采样位置序列；

49、在垂直于搜索轴向方向统计全部像素的响应强度值，计算响应强度值的均值与标准差之和，将和值作为局部峰值判定阈值；

50、将窗口内响应强度值大于局部峰值判定阈值的像素位置标记为候选峰值位置；

51、将搜索轴向方向上相邻的候选峰值位置按照空间邻接关系归并至同一峰值簇，计算峰值簇内全部候选峰值位置响应强度值的最大值对应的像素位置，将该像素位置作为峰值簇的局部峰值位置；

52、汇集各低置信子区域内全部峰值簇的局部峰值位置，生成局部峰值位置集。

53、进一步的，所述对补偿后结构响应基底执行峰值筛选与阈值连接，得到稳定结构二值图，计算稳定结构二值图与更新空间模型的几何偏差量，包括：

54、获取补偿后结构响应基底中的响应强度值和主方向分布图中的梯度方向角，对补偿后结构响应基底沿梯度方向角方向执行非极大值抑制，得到非极大值抑制后响应基底；

55、对非极大值抑制后响应基底执行双阈值滞后边界连接，得到稳定结构二值图；

56、提取稳定结构二值图的边缘点集，提取更新空间模型的节点坐标作为模型点集，对边缘点集与模型点集执行迭代最近点配准，得到旋转矩阵与平移向量；

57、以旋转矩阵与平移向量对模型点集执行坐标变换，得到变换后模型点集，计算变换后模型点集与边缘点集的全部点对欧氏距离均值，将欧氏距离均值标记为几何偏差量。

58、进一步的，所述几何偏差量超预设偏差阈值时驱动触觉阵列产生定向振动序列，将定向振动序列的反馈时标、稳定结构二值图生成时标、偏差量的空间分布矢量融合为轨道追踪状态向量，依据轨道追踪状态向量解析内容呈现控制指令，包括：

59、比较几何偏差量与预设偏差阈值，若几何偏差量大于预设偏差阈值，则驱动触觉阵列产生定向振动序列，记录定向振动序列的生成时刻作为反馈时标；

60、获取稳定结构二值图的生成时刻作为生成时标；

61、提取边缘点集与变换后模型点集的全部点对欧氏距离，以全部点对欧氏距离构成偏差量的空间分布矢量；

62、将反馈时标、生成时标和偏差量的空间分布矢量执行向量拼接运算，得到轨道追踪状态向量；

63、根据轨道追踪状态向量检索预设内容呈现控制指令库，输出与轨道追踪状态向量匹配的内容呈现控制指令。

64、一种多模态交互式轨道书的内容呈现控制系统，包括：

65、图像采集模块：用于采集轨道书当前页面的轨道区域图像序列，并进行帧间照度归一化，得到归一化图像序列；

66、干扰抑制模块：用于对归一化图像序列联合提取时域稳定分量与空域一致分量，将时域非稳定且空域一致的分量标记为时变干扰掩膜，将时域稳定且空域一致的分量标记为稳定结构响应基底，依据时变干扰掩膜对稳定结构响应基底进行局部增益抑制，得到抑制后结构响应基底；

67、置信评估模块：用于根据抑制后结构响应基底计算响应强度分布和主方向分布，将抑制后结构响应基底对应的末帧分割为子区域，根据各子区域在响应强度分布中的局部峰值和主方向分布中的主峰计算匹配度，基于匹配度生成结构置信度；

68、模型更新模块：用于在结构置信度低于预设置信阈值的低置信子区域内，以预设的先验模型的局部走向引导抑制后结构响应基底的局部峰值搜索与连接，形成补偿结构段，以补偿结构段约束更新先验模型，得到更新空间模型，生成补偿后结构响应基底；

69、偏差量化模块：用于对补偿后结构响应基底执行峰值筛选与阈值连接，得到稳定结构二值图，计算稳定结构二值图与更新空间模型的几何偏差量；

70、状态解析模块：用于几何偏差量超预设偏差阈值时驱动触觉阵列产生定向振动序列，将定向振动序列的反馈时标、稳定结构二值图生成时标、偏差量的空间分布矢量融合为轨道追踪状态向量，依据轨道追踪状态向量解析内容呈现控制指令。

71、本发明提供的一种多模态交互式轨道书的内容呈现控制方法及系统，其有益效果主要体现在以下方面：

72、1、本发明通过构建“时域稳定+空域一致”的双域联合分析机制，有效抑制了光照突变和阴影干扰对轨道边缘检测的影响。具体而言，通过对归一化图像序列联合提取时域稳定分量与空域一致分量，将时域非稳定且空域一致的分量标记为时变干扰掩膜并实施局部增益抑制，使得光照突变带来的亮度波动和阴影引入的虚假边缘被有效滤除，同时保留了轨道结构的真实边缘响应。相较于传统canny算子对梯度幅值的依赖，本发明利用相位一致性作为空域一致性的度量依据，其对光照和对比度变化不敏感，在低对比度区域仍能保持稳定的边缘响应。

73、2、本发明还通过先验模型引导的低置信区域补偿机制，解决了阴影覆盖区域边缘检测置信度低的问题。当子区域结构置信度低于阈值时，以轨道书设计图纸中提取的先验拓扑信息（轨道节点序列、节点邻接关系和节点间距）引导局部峰值搜索与连接，形成补偿结构段并更新空间模型。这一机制使得在边缘检测置信度低的区域，系统能够主动“猜测”轨道走向，而非完全依赖局部图像信息，从而保证了轨道跟踪的连续性。此外，本发明在几何偏差量超阈值时驱动触觉阵列产生定向振动序列，将视觉追踪状态与触觉反馈融合为轨道追踪状态向量，实现了视觉模态失效时多模态交互的补偿。该方案无需用户调整使用环境即可维持正常交互，适用于家庭、教室、户外等多种光照场景。