盲人行走轨迹预测方法、电子设备及存储介质与流程

1.本发明涉及轨迹预测技术领域，尤其涉及一种盲人行走轨迹预测方法、电子设备及存储介质。


背景技术：

2.盲人生活在一个黑暗的世界里，这给他们的工作、生活和社会活动带来了极大的困难。如何安全行走一直是盲人生活中面临的首要难题，因此盲人导航技术对盲人的自主出行具有重要意义。然而，现有的盲人导航技术大都是从传统的机器人导航模式迁移而来，并没有充分考虑盲人个体行为模式的差异性和动态性。比如在同一个转弯路口，不同盲人个体都是在距离转弯路口1米远时收到相同的转弯指令。然而不同盲人个体对导航指令的反应快慢有所不同，执行转弯动作的速度和幅度也有差异。反应快的干练型盲人个体可能会因为过早转弯而撞上路口内侧的墙壁，而反应慢的迟缓型盲人个体可能会错过转弯路口，发生严重的偏航错误。不考虑盲人个体行为差异的导航指令会极大地影响盲人个体导航的安全性和效率，已经成为一个制约盲人导航技术的瓶颈。
3.为了突破当前盲人导航领域的这一瓶颈，使得盲人导航系统能够提供与盲人个体行为模式相适配的最优导航指令，需要盲人导航系统能够对盲人的个体行为模式进行建模，并基于此个体行为模型对盲人后续的行走轨迹进行预测。对人体行为模式进行建模和预测是一个非常重要而又有挑战性的问题，在人机交互领域得到了广泛的研究。然而此类研究大多集中于第三者视角下(视频监控场景、自动驾驶场景、社交场景)对人体自主行为的建模和预测，一般不适合用于去模拟人体完全依靠一个外部指引(导航指令)进行行动的盲人导航场景，目前国内外对盲人行走轨迹预测的研究成果很少。
4.因为自主行动的不便，盲人的生活半径受到很大限制，使得盲人日常生活的大部分时间是在室内环境中度过。即使外出，盲人通常也是会去医院、酒店和其他室内建筑，因此室内场景才是盲人的主要活动区域。这些室内环境中通常有着各自不同的通道和障碍物空间分布，在室内环境中进行安全准确地移动对盲人来说是个急需克服的挑战，对室内盲人导航技术的研究具有极其重要的社会意义和研究价值。


技术实现要素：

5.本发明实施例提供一种盲人行走轨迹预测方法、电子设备及存储介质，能够解决现有室内场景盲人导航技术研究力度不足的问题。
6.本发明实施例的第一方面，提供一种盲人行走轨迹预测方法，包括：
7.基于预先获取的盲人在固定空间场景中的移动轨迹，通过空洞卷积神经网络获取所述移动轨迹的第一空间特征信息；
8.根据所述盲人所在固定空间场景，通过邻接矩阵获取所述固定空间场景的第二空间特征信息；
9.基于所述第一空间特征信息和所述第二空间特征信息，通过时序卷积神经网络预
测所述盲人在所述固定空间场景的运动轨迹。
10.可选地，所述通过空洞卷积神经网络获取所述移动轨迹的第一空间特征信息的方法包括：
11.获取所述移动轨迹中多个点的横坐标和纵坐标，以及所述移动轨迹中多个点的横坐标和纵坐标的平均值和标准差；
12.获取所述移动轨迹中第一点和非第一点的空间距离特征；
13.基于所述移动轨迹中多个点的横坐标和纵坐标、所述移动轨迹中多个点的横坐标和纵坐标的平均值和标准差以及所述移动轨迹中第一点和非第一点的空间距离特征，通过所述空洞卷积神经网络获取所述移动轨迹的第一空间特征信息，其中，所述第一空间特征信息用于指示所述盲人的空间位置信息。
14.可选地，所述根据所述盲人所在固定空间场景，通过邻接矩阵获取所述固定空间场景的第二空间特征信息的方法包括：
15.获取所述盲人所在固定空间场景的空间矩阵信息，基于所述空间矩阵信息，通过所述邻接矩阵获取所述固定空间场景的归一化空间特征信息；
16.基于所述固定空间场景的归一化空间特征信息，通过预先训练好的图卷积神经网络获取所述固定空间场景的第二空间特征信息，
17.其中，所述第二空间特征信息包括所述固定空间场景中可通行区域的空间特征信息和障碍物区域的空间特征信息。
18.可选地，所述通过时序卷积神经网络预测所述盲人在所述固定空间场景的运动轨迹之前，所述方法还包括：
19.将所述第一空间特征信息输入预先训练好的维度转换模型，将所述第一空间特征信息转换为一维空间矩阵，获取所述第一空间特征信息转换为一维空间矩阵的残差，其中，所述维度转换模型用于将输入的空间矩阵转换为预设维度的空间矩阵；
20.基于所述移动轨迹中第一点和非第一点的空间距离特征，以及多个所述残差，获取多个所述残差的加权和，以降低所述时序卷积神经网络预测运动轨迹的误差。
21.可选地，所述方法还包括：
22.将所述移动轨迹中每个点进行网格标签化，确定所述移动轨迹中每个点的网格位置信息，其中，所述网格标签化是将所述移动轨迹中每个点的位置信息映射到预设网格中；
23.基于所述移动轨迹中每个点的网格位置信息，判断所述时序卷积神经网络所预测的运动轨迹是否与所述移动轨迹中每个点的网格位置信息相匹配；
24.若匹配，则判定所预测的运动轨迹准确。
25.可选地，所述通过所述空洞卷积神经网络获取所述移动轨迹的第一空间特征信息的方法包括按如下公式所示的方法获取所述移动轨迹的第一空间特征信息：
[0026][0027]
其中，o表示第一空间特征信息，σ表示relu激活函数，表示d
k
的标准差，d
k
表示移动轨迹中第一个节点和第k个节点的距离特征，d
i
表示移动轨迹中第一个节点和第i个节点的距离特征，表示d
k
的平均值，o
conv
表示conv激活函数，cat()表示构造多维数组函数。
[0028]
可选地，所述方法还包括：
[0029]
获取所述移动轨迹中多个点的横坐标和纵坐标，以及所述移动轨迹中多个点的横坐标和纵坐标的平均值和标准差；
[0030]
基于所述多个点的横坐标和纵坐标、所述横坐标和纵坐标的平均值和标准差，通过预设的激活函数，获取所述移动轨迹中多个点的第三空间特征信息，以使所述空洞卷积神经网络根据所述第三空间特征信息获取所述移动轨迹的第一空间特征信息；
[0031]
其中，所述第三空间特征信息用于指示所述移动轨迹中多个点经过压缩后的空间位置。
[0032]
可选地，所述获取所述移动轨迹中多个点的第三空间特征信息的方法包括：
[0033]
按照如下公式所示的方法获取所述移动轨迹中多个点的第三空间特征信息：
[0034][0035]
其中，p
i
表示第三空间特征信息，σ表示relu激活函数，cat()表示构造多维数组函数，表示x
k
的标准差，x
k
表示移动轨迹中第k个节点的横坐标，x
i
表示移动轨迹中第i个节点的横坐标，表示x
k
的平均值，表示y
k
的平均值，y
k
表示移动轨迹中第k个节点的纵坐标，y
i
表示移动轨迹中第i个节点的纵坐标，表示y
k
的平均值。
[0036]
本发明实施例的第二方面，提供一种电子设备，包括：
[0037]
处理器；
[0038]
用于存储处理器可执行指令的存储器；
[0039]
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述任意一项所述的方法。
[0040]
本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现前述任意一项所述的方法。
[0041]
本发明提供的一种盲人行走轨迹预测方法，包括基于预先获取的盲人在固定空间场景中的移动轨迹，通过空洞卷积神经网络获取所述移动轨迹的第一空间特征信息，能够压缩移动轨迹的数据量，增加移动轨迹曲线的权重，在不丢失特征信息的情况下，以最优的方式扩展感受野；
[0042]
根据所述盲人所在固定空间场景，通过邻接矩阵获取所述固定空间场景的第二空间特征信息，其中，所述第二空间特征信息包括所述固定空间场景中的可通行区域的空间特征信息和障碍物区域的空间特征信息，能够准确确定固定空间场景中障碍物的位置，以使后期所预测的运动轨迹能够避开障碍物；
[0043]
基于所述第一空间特征信息和所述第二空间特征信息，通过时序卷积神经网络预测所述盲人在所述固定空间场景的运动轨迹，能够合理地降低局部误差和全局误差，进而准确地预测盲人的运动轨迹。
附图说明
[0044]
图1为本公开实施例盲人行走轨迹预测方法的流程示意图；
[0045]
图2为本公开实施例移动轨迹的示意图；
[0046]
图3为本公开实施例盲人与正常人运动轨迹的差异示意图；
[0047]
图4为本公开实施例盲人与正常人运动轨迹随时间变化的示意图；
[0048]
图5为本公开实施例对盲人轨迹数据进行脱敏处理的示意图；
[0049]
图6为本公开实施例空洞卷积神经网络膨胀卷积的示意图；
[0050]
图7为本公开实施例将盲人轨迹进行网格标签转换的示意图；
[0051]
图8为本公开实施例室内场景中障碍物空间分布示意图；
[0052]
图9为本公开实施例盲人可行走方向的示意图；
[0053]
图10为本公开实施例深度时空模型架构设计图；
[0054]
图11为本公开实施例时序卷积块的架构示意图；
[0055]
图12为本公开实施例距离误差计算方法的示意图；
[0056]
图13为本公开实施例深度时空模型预测结果的示意图；
[0057]
图14为本公开实施例将横坐标和纵坐标转换为网格标签后的盲轨迹预测结果；
[0058]
图15为本公开实施例激活函数的曲线示意图。
具体实施方式
[0059]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0061]
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0062]
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0063]
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
[0064]
应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
[0065]
取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
[0066]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0067]
需要说明的是，盲人运动轨迹预测是根据盲人运动行为的特点，实现对其未来短期位置的预测。任何建筑物都应视为盲人的障碍，盲人行走时应充分避开障碍物。盲人的运动特性决定了在躲避障碍物的同时如何准确预测盲人位置。
[0068]
wang等人提出了一种盲人导航系统的路径规划算法，它使用dijkstra算法作为基本算法，关系数据库作为存储模式。该算法采用多因素模糊算法计算路网中障碍物的权重。其核心是根据道路网中障碍物的空间分布情况，构造邻接矩阵。最后，其绘制了障碍网络的拓扑结构图。然而，这种障碍网络是一种表示障碍物在局部区域中位置的方法。当盲人的位置发生变化时，需要重新计算障碍物网络，这种设计模式计算复杂度高，无法考虑障碍物在全部范围内的空间分布。
[0069]
盲人室内导航需要考虑两个重要的因素，即准确预测盲人的运动轨迹和准确避开室内静止物体。盲人在行走过程中需要辅助设备向其发出运动指令，因此盲人的运动轨迹预测是生成运动指令的重要依据。轨迹预测模型主要分为传统的数理统计模型和数据驱动的神经网络模型。
[0070]
其中，传统的数理统计模型依赖人工设计的特征来模拟行人的行为和目标，现有技术提出一种sfm(social force model，社会力模型)，将行人与行人目标之间的相互作用转化为引力和斥力。该技术认为，行人的目标可以吸引行人向目标行进而产生隐含的引力，而行人之间的排斥力可以防止行人碰撞。
[0071]
trautman等人通过交互式高斯过程改进了sfm。他们利用高斯过程对每个行人的运动轨迹进行预测，并根据sfm的势函数计算预测结果的概率。马尔可夫模型可以对行人轨迹进行概率时空预测，该模型的训练过程可以借助强化学习动态调整训练参数，它能使预测过程考虑外界的物理影响，最终使预测轨迹更接近实际轨迹。
[0072]
通过传统的数理统计模型预测轨迹，在建模过程对参数计算过于敏感，模型的泛化能力较弱。更重要的是，上述方法只能模拟行人的短期反应，不能考虑位置的长期历史信息。
[0073]
其中，数据驱动的神经网络模型可以包括rnn(recurrent neural network，循环神经网络)模型，rnn是一种用于处理序列数据的神经网络，与一般的神经网络相比，它能处理序列变化的数据。在数据驱动的预测任务中，rnn比传统的数理统计模型具有明显的优势，特别是在长期时间依赖性的特征计算过程中。其中，lstm(long short
‑
term memory，长短期记忆网络)是一种特殊的rnn，它可以解决长序列训练过程中梯度消失和梯度爆炸的问题。lstm不仅可以实现行人位置的序列预测，还可以计算不同行人之间的相互影响。
[0074]
然而，lstm的缺点是其不能捕获高层次的时空结构。为了克服这一缺点，并保持行人轨迹的特征，alahi等人提出了社会长短时记忆(s
‑
lstm)模型。该模型通过引入社会共享层来收集相邻行人之间的隐藏状态，并通过网格的空间距离来共享相邻行人的隐藏信息。为了减少信息丢失，vemula等人用社会注意层取代了社会共享层，社会注意层通过在网格中为行人分配权重形成交互特征。与正常人的行走过程不同，盲人的行走速度非常慢，因为他们只有在充分探索目前的道路之后，才能做出行走的决定。基于rnn模型的轨迹预测都侧重于预测正常人的运动轨迹，缺乏对盲人运动的特征计算。
[0075]
有鉴于此，本公开提出一种盲人行走轨迹预测方法用于解决上述问题。
[0076]
图1示例性地示出本公开实施例盲人行走轨迹预测方法的流程示意图，如图1所示，所述方法包括：
[0077]
步骤s101、基于预先获取的盲人在固定空间场景中的移动轨迹，通过空洞卷积神经网络获取所述移动轨迹的第一空间特征信息。
[0078]
示例性地，本公开实施例以盲人所在的场景为固定空间场景为例进行说明。图2示例性地示出本公开实施例移动轨迹的示意图，如图2所示，x表示移动轨迹的x坐标(以下简称横坐标)，y表示移动轨迹的y坐标(以下简称纵坐标)，移动轨迹随着时间的变化而变化，x和y是相对于一个固定原点的相对位置，其中，固定原点可以根据实际需要进行选择，本公开实施例对此不进行限定。
[0079]
可以理解的是，本公开实施例可以按照如下公式所示的方法表示移动轨迹：
[0080]
(x
′
,y
′
)＝σ
′
(bpt<σ(x,y)>) (1)
[0081]
其中，x＝{x1,x2,
…
,x
t
}，y＝{y1，y2，
…
,y
t
}，x
′
＝{x
t 1
,x
t 2
,
…
,x
t
n}，y
′
＝{y
t 1
,y
t 2
,
…
,y
t n
}，x
t n
表示在t n时刻x的位置，y
t n
表示在t n时刻y的位置，σ
′
表示数据反标准化过程，σ表示数据标准化过程，bpt表示本公开实施例的建模方法。
[0082]
在机器学习领域，不同的评价指标往往具有不同的维度和单位，为了消除指标之间的维度影响，需要对数据进行标准化，以便对数据指标进行比较。由于表示盲人位置的横坐标和纵坐标数据都是浮点数，数据的变化范围很小，所以可以采用如下公式所示的方法进行数据标准化：
[0083][0084]
其中，z表示数据标准化的结果，μ表示总体数据的平均值，δ表示总体数据的标准差。
[0085]
图3示例性地示出本公开实施例盲人与正常人运动轨迹的差异示意图，图4示例性地示出本公开实施例盲人与正常人运动轨迹随时间变化的示意图，如图3和图4所示，正常人和盲人的行走轨迹特征有明显的差异，图4中同一场景下，盲人和正常人两条运动轨迹的横坐标和纵坐标随时间步长的变化而变化。两条轨迹的时间步长间隔相同，均为2秒，正常人的轨迹基本上是线性变化，具有明显的变化特征，然而，盲人的位置并不会经常改变，因为他们需要不断地移动和探索道路。这种情况由图中轨迹的横坐标和纵坐标的连续相同值(样本)反映出来。最后，在实际轨迹的权值计算过程中，由于大量的样本重复，导致精度下降。
[0086]
图5示例性地示出本公开实施例对盲人轨迹数据进行脱敏处理的示意图，如图5所示，图5左边是盲人运动的原始轨迹，右边是进行脱敏处理后的结果。具体地，可以使用样本点替换横坐标和纵坐标中的多个局部不变点，脱敏处理后的数据轨迹特征较为明显。
[0087]
在一种可选的实施方式中，所述通过空洞卷积神经网络获取所述移动轨迹的第一空间特征信息的方法包括：
[0088]
获取所述移动轨迹中多个点的横坐标和纵坐标，以及所述移动轨迹中多个点的横坐标和纵坐标的平均值和标准差；
[0089]
获取所述移动轨迹中第一点和非第一点的空间距离特征；
[0090]
基于所述移动轨迹中多个点的横坐标和纵坐标、所述移动轨迹中多个点的横坐标和纵坐标的平均值和标准差以及所述移动轨迹中第一点和非第一点的空间距离特征，通过所述空洞卷积神经网络获取所述移动轨迹的第一空间特征信息，其中，所述第一空间特征信息用于指示所述盲人的空间位置信息。
[0091]
示例性地，盲人的行走过程复杂多样。虽然直线的预测很简单，但是由于转弯和障碍物分布的影响，通常情况下轨迹路线会变成一条复杂的曲线。这使得在轨迹的特征提取过程中，捕捉位置的空间关系显得尤为重要。因此，在进行时序特征计算之前，有必要对轨迹进行空间特征提取，并增强轨迹局部曲线的权重，而不是直接使用标准化的位置数据。
[0092]
可以按照如下公式所示的方法对横坐标和纵坐标数据进行压缩，计算空间相关特性：
[0093][0094]
其中，p
i
表示第三空间特征信息，σ表示relu激活函数，cat()表示构造多维数组函数，表示x
k
的标准差，x
k
表示移动轨迹中第k个节点的横坐标，x
i
表示移动轨迹中第i个节点的横坐标，表示x
k
的平均值，表示y
k
的平均值，y
k
表示移动轨迹中第k个节点的纵坐标，y
i
表示移动轨迹中第i个节点的纵坐标，表示y
k
的平均值。
[0095]
在一种可选的实施方式中，所述通过所述空洞卷积神经网络获取所述移动轨迹的第一空间特征信息的方法包括按如下公式所示的方法获取所述移动轨迹的第一空间特征信息：
[0096][0097]
其中，o表示第一空间特征信息，σ表示relu激活函数，表示d
k
的标准差，d
k
表示移动轨迹中第一个节点和第k个节点的距离特征，d
i
表示移动轨迹中第一个节点和第i个节点的距离特征，表示d
k
的平均值，o
conv
表示conv激活函数，cat()表示构造多维数组函数。
[0098]
将横坐标和纵坐标融合到同一维上的结果比单独处理横坐标和纵坐标矩阵的结果更接近实际结果。本公开实施例的激活函数可以包括tanh，其可以对数据进行压缩，保证数据的范围不出现异常。
[0099]
在实际应用过程中，在特征提取过程中，获取多尺度的上下文信息是非常重要的，它决定了模型对轨迹节点的空间依赖程度。传统的卷积方法一般是通过下采样来实现信息的捕获，这样可以扩大接收野的范围。但是，其过程总是伴有部分信息丢失，因此，可以通过构建两层空洞卷积神经网络来实现捕获多尺度上下文信息。
[0100]
图6示例性地示出本公开实施例空洞卷积神经网络膨胀卷积的示意图，如图6所示，卷积核中的黑色部分代表有效的权重。其中，三层空洞卷积神经网络的空洞因子可以分别为4、2和1。传统的预测网络通常通过连续池或其他下采样层来集成多尺度的上下文信息，但是这样会丢失特征信息。对于稠密的预测任务，不仅需要多尺度的上下文信息，而且需要足够大的感受野。
[0101]
而空洞卷积神经网络的优点是可以在不丢失特征信息的情况下，以指数方式扩展
感受野。
[0102]
{d}可以表示每个轨迹的第一个和非第一个节点的距离特征，为了减少相互干扰，可以将o
conv
和relu函数激活后第i个节点和第k条轨迹第一个节点的距离数据相结合，减少参数依赖性，缓解过度拟合导致的梯度消失问题。具体方法可以如公式(3)所示。
[0103]
在一种可选的实施方式中，所述方法还包括：
[0104]
将所述移动轨迹中每个点进行网格标签化，确定所述移动轨迹中每个点的网格位置信息，其中，所述网格标签化是将所述移动轨迹中每个点的位置信息映射到预设网格中；
[0105]
基于所述移动轨迹中每个点的网格位置信息，判断所述时序卷积神经网络所预测的运动轨迹是否与所述移动轨迹中每个点的网格位置信息相匹配；
[0106]
若匹配，则判定所预测的运动轨迹准确。
[0107]
可选地，图7示例性地示出本公开实施例将盲人轨迹进行网格标签转换的示意图。如图7所示，可以将室内场景映射到网格上，用网格的标签表示盲人的位置，通过此种方式，可以将回归预测任务转化为室内盲人运动场景相对单一、划分网格较大的分类任务。其中，轨迹点可以按照如下公式所示的方法进行划分：
[0108][0109]
其中，
∝
表示网格标签的坐标尺寸，本公开实施例中，其值可以为2。
[0110]
公式(5)可以适用于横坐标和纵坐标的网络标签计算过程，同时考虑了坐标数值的正值和负值，通过公式(5)可以确定横坐标和纵坐标对应的网格标签。一般来说，一个位置点是由它在二维平面上的横坐标和纵坐标来确定的。因此，在评估模型的准确性时会考虑到这一点。只有当横坐标和纵坐标的网格标签的预测值与同一时间步长的真实值相同时，才能认为是成功的预测。
[0111]
具体地，可以按照如下公式(6)所示的方法判断时序卷积神经网络所预测的运动轨迹是否与所述移动轨迹中每个点的网格位置信息相匹配：
[0112]
(l
(x)
,l
(y)
)＝logsoftmax(bpt<x,y>)
ꢀꢀꢀ
(6)
[0113]
其中，l
(x)
表示序列数据，l
(y)
表示序列数据，logsoftmax表示时序卷积神经网络。
[0114]
步骤s102、根据所述盲人所在固定空间场景，通过邻接矩阵获取所述固定空间场景的第二空间特征信息；
[0115]
障碍物的空间分布是影响盲人室内步行过程的重要因素。图8示例性地示出本公开实施例室内场景中障碍物空间分布的示意图，如图8所示，黑色区域可以代表障碍区域，白色区域可以代表可通行区域。图8(a)右边部分是一个标准化的障碍物分布图，由图8(a)左边部分的数据脱敏处理得到。其中，图8(a)右边部分存在一定的信息错误，所以可以尽量增加障碍物的数量，避免遗漏障碍物的问题。最后，障碍物所在的网格区域可以被赋值为0，其他可通行的网格区域可以被赋值为1，如图8(b)所示。需要说明的是，本公开实施例对网格区域的赋值方法不进行限定。
[0116]
本公开实施例还提供一种基于网格间连通性的盲人避障算法，该算法的主要原理是利用网格间的连通性构造邻接矩阵来捕捉室内场景中道路和障碍物的全局空间分布特征。
[0117]
其中，邻接矩阵可以用来描述顶点和边之间关系的数据结构，其本质上是一个二维数组，适合处理最小数据单元之间的关系。图9示例性地示出本公开实施例网格中盲人可行走方向的示意图，如图9(a)所示，盲人在一个网格里最多可以走九个方向，可以包括前、后、左、右、前左、前右、后左、后右和静止。这九个方向对应于一个网格和它所在的网格的八个相邻网格。然而，由于障碍物的存在，使得网格九个方向的连通性并不确定。
[0118]
根据障碍物空间分布网格和网格连通性规则，本公开实施例提供一种计算网格连通性的算法，适用于有障碍物网格间连通性邻接矩阵的计算过程，该算法的输出可以是一个对称邻接矩阵，它的对称性表现在正反向相互作用过程中，一个网格和另一个网格之间的连通性是等价的。如果网格中存在障碍物，则网格被定义为无法与任何其他网格交互，9个方向的值为0，如图9(b)所示。
[0119]
cnn(convolutional neural networks，卷积神经网络)模型是利用随机共享卷积核来获得像素的加权和，然后利用反向传播优化卷积核参数，自动提取特征。然而，现实生活中的许多数据都是以图形的形式存储的，如社会网络信息、知识图、蛋白质网络和万维网等。这些图形的形式不是以矩阵形式整齐排列的图像，而是非结构化的数据。图卷积网络(gcn)在表示全局空间关系方面具有优越性。gcn有一个计算图形特征的通用范例。更重要的是，gcn可以使用表示节点连通性的邻接矩阵来表示整个空间位置之间的连通性。该模型可用于室内障碍物的空间分布计算。对于盲人来说，盲人应该避开障碍物，这意味着障碍物的位置没有连通性。
[0120]
为了在建模过程中加入障碍网格，我们使用gcn将连通性邻接矩阵与特征数据融合。gcn过程的本质是图中的每个节点在邻居和其他节点的影响下不断地改变自己的状态。这个关系越密切，其他节点对原节点影响越大。拉普拉斯矩阵可以根据个体特征之间的状态差，按比例传递特征在gcn中的强度。为了在计算过程中加入原始节点对自身的影响，可以使用拉普拉斯矩阵的改进版本，如下公式所示：
[0121][0122]
其中，a表示具有自连通状态的连通邻接矩阵，o表示空间卷积模块的输出。
[0123]
通过上述方法，可以通过度矩阵来解决自传递问题，其通过将邻接矩阵的两侧乘以节点的度根号值并求逆，可以实现邻接矩阵的归一化运算。原始谱域卷积可以实现每个节点乘积的傅里叶变换滤波器。然而，上述特征向量是高阶的，拉普拉斯矩阵的特征分解在大型图结构的分解过程中非常低效。
[0124]
因此，本公开实施例通过k阶切比雪夫多项式来近似拉普拉斯矩阵的优化，通过此种方式，可以保证当前节点只考虑k范围内节点的影响，从而大幅度降低时间复杂度，具体如下公式所示：
[0125]
[0126]
其中，
[0127]
其中，表示切比雪夫多项式的递归定义。
[0128]
步骤s103、基于所述第一空间特征信息和所述第二空间特征信息，通过时序卷积神经网络预测所述盲人在所述固定空间场景的运动轨迹。
[0129]
为了能够预测盲人在固定空间场景的运动轨迹，本公开实施例提供一种能够训练、评估和预测盲人轨迹数据的深度时空模型。图10示例性地示出本公开实施例深度时空模型架构设计图，如图10所示，深度时空模型可以由三部分组成，分别是空间卷积块、时间卷积块和估计块。其中，空间卷积块主要用于计算轨迹和障碍物的空间分布，时间卷积块主要用于计算轨迹数据的时间递归特性，估计块主要用于减小轨迹预测结果的全局误差和局部误差。
[0130]
如图10所示，真实轨迹、网格化的真实轨迹以及障碍物输入到空间卷积块中，分别对应相应的序列，其中，真实轨迹与网格化的真实轨迹通过多层空洞卷积后，进一步输入到图卷积网络中，而障碍物输入到空间卷积块中则获取其空间分布，再通过连通性邻接矩阵输入到图卷积网络中；
[0131]
时序卷积块进一步将图卷积网络的输入转换为时间预测序列，然后再将时间预测序列输入到估计块中；
[0132]
估计块对输入的时间预测序列分别进行全局估计和局部估计，并将全局估计和局部估计后的结果输入全连接层，得到预测轨迹。在一种可选的实施方式中，
[0133]
递归神经网络在时序数据预测研究中占有重要地位。随着对深度学习研究的深入，lstm和gru在保存和获取较长历史信息方面精度较低，然而时序卷积网络(tcn)不仅可以保留基于因果卷积原理的较长历史信息，而且具有独特的残差结构，在训练的速度和准确性方面具有明显优势。基于tcn的这一特性，本公开实施例构建了一个具有7个隐层的tcn网络处理来自空间卷积块的空间特征。根据因果卷积的要求，每个隐层的神经元数目应相同，本公开实施例的神经元数目为128，每个隐层都有一个空洞因子，每个因子都是指数增长的。
[0134]
其中，图11示例性地示出本公开实施例时序卷积块的架构示意图，如图11所示，时间预测序列{h0,h1，
…
,h
k
}是tcn的输出。
[0135]
在一种可选的实施方式中，所述通过时序卷积神经网络预测所述盲人在所述固定空间场景的运动轨迹之前，所述方法还包括：
[0136]
将所述第一空间特征信息输入预先训练好的维度转换模型，将所述第一空间特征信息转换为一维空间矩阵，获取所述第一空间特征信息转换为一维空间矩阵的残差，其中，所述维度转换模型用于将输入的空间矩阵转换为预设维度的空间矩阵；
[0137]
基于所述移动轨迹中第一点和非第一点的空间距离特征，以及多个所述残差，获取多个所述残差的加权和，以降低所述时序卷积神经网络预测运动轨迹的误差。
[0138]
可以理解的是，为了提高轨迹预测的精度，可以从每个轨迹中相对于当前位置的
下一个位置提取特征，并将这些特征作为影响因素加入到网络训练中，因此，需要对每个节点进行局部估计，通过局部估计获取轨迹中短距离内的节点信息。
[0139]
示例性地，通过时间层可以得到多维矩阵，即每个轨迹的时空特征，在局部估计过程中，将时间预测序列{h0,h1，
…
，h
k
}中每个h
k
的初始128维线性变换为64维，然后在第二个线性过程中将其变换为32维，最后将矩阵变成1维。在每次线性变换之后，都应该执行一个激活函数，其中激活函数采用具有负饱和区域优势的leaky relu函数，使数据更倾向于在负饱和区域饱和，而不是完全归零。
[0140]
但是局部估计不考虑时间和空间的依赖性，只估计轨迹中短距离内的节点信息，当多次进行局部估计时，会出现多个局部误差，这些局部误差的积累对数据预测的准确性有着巨大影响，因此，可以设计一个全局估计过程，不仅可以减少局部误差，还可以预测整个轨迹的未来节点，从而达到更好的精度。
[0141]
示例性地，为了减少局部估计带来的误差积累的影响，可以将每个轨迹的第一个和非第一个节点的距离特征与时间层处理的权值进行融合，其次，还可以利用跳层连接构成三层残差网络，其方法可以如下公式所示：
[0142]
h
i
＝σ<h
i―1
re(i)>
ꢀꢀꢀ
(10)
[0143]
其中，re(i)表示第i个残差过程，h
i―1
表示个残差过程的结果。
[0144]
残差单元的输入直接与残差单元的输出相结合。实验表明，多层残差网络可以解决深层神经网络的退化问题，使收敛过程所需时间更短。最后利用全连通层计算局部估计和残差网络特征的加权和。全局估计层计算指定数量的节点权重，这些节点的数量表示我们需要预测的每个轨迹的节点数量。
[0145]
本发明提供的一种盲人行走轨迹预测方法，包括基于预先获取的盲人在固定空间场景中的移动轨迹，通过空洞卷积神经网络获取所述移动轨迹的第一空间特征信息，能够压缩移动轨迹的数据量，增加移动轨迹曲线的权重，在不丢失特征信息的情况下，以最优的方式扩展感受野；
[0146]
根据所述盲人所在固定空间场景，通过邻接矩阵获取所述固定空间场景的第二空间特征信息，其中，所述第二空间特征信息包括所述固定空间场景中的可通行区域的空间特征信息和障碍物区域的空间特征信息，能够准确确定固定空间场景中障碍物的位置，以使后期所预测的运动轨迹能够避开障碍物；
[0147]
基于所述第一空间特征信息和所述第二空间特征信息，通过时序卷积神经网络预测所述盲人在所述固定空间场景的运动轨迹，能够合理地降低局部误差和全局误差，进而准确地预测盲人的运动轨迹。
[0148]
本公开实施例还通过多个角度对本公开实施例的方法进行评估，具体如下：
[0149]
性能评估：
[0150]
本公开实施例为了保证结果科学性的前提下验证模型的性能，采用了传统的数理统计模型，传统的卷积网络，传统的递归网络，多层空洞卷积网络，tcn与复杂时空模型进行对比实验，其中，复杂时空模型的细节如下：
[0151]
stf
‑
rnn，使用一个查找表层来捕获轨迹在空间和时间上的混合特征。它以适当的内部表示方法将该特征输入到rnn中进行递归推导；
[0152]
social
‑
lstm，设计了一个“社会”池结构来共享lstms结束序列的参数隐藏状态。
这种设计的优点是，模型可以自动学习发生在时间重合轨迹之间的相互作用；
[0153]
social attention，使用一种特殊的结构rnn(s
‑
rnn)来计算时空图数据的权值，通过以问题内容为节点，以时间序列数据为边缘值；
[0154]
dscmp，设计了一个队列机制来明确记忆和学习长轨迹之间的相关性，通过关注并利用空间和时间的一致性特征来捕捉运动场景的上下文参数。
[0155]
坐标模式评估：
[0156]
本公开实施例的实验中训练使用了4块nvidia teslav100，实验结果是在数据集一致的前提下，经过200次训练后的平均值。优化算法选用adam算法，因为每次迭代的学习率经过adam算法的偏差校正后有一定的范围，使得参数相对稳定。
[0157]
图12示例性地示出本公开实施例距离误差计算方法的示意图，如图11所示，考虑到数据集的特殊性，可以设计相应的误差计算方法，其中，{d1，d2，
…
d
n
}是距离实数点，{p1，p2，
…
p
n
}是第n个预测点和第(n
‑
1)个实点之间的距离序列。
[0158]
均方根误差(rmse)可以测量预测值和真实值之间的偏差，其通常被用作衡量深度学习模型预测精度的指标。rmse的计算过程可以如下公式所示：
[0159][0160]
其中，rmse表示均方根误差。
[0161]
从表1可以看出，深度时空模型在中长期预测过程中表现最好，虽然马尔可夫模型对第一点的预测误差最小，但在中长期预测过程中失去了优势：
[0162]
表1rmse误差比较结果
[0163][0164]
数学统计模型针对短期行人行为和目标。马尔可夫模型的复杂度较低，对未来第一点的预测误差较小。然而，与其他数据驱动模型相比，随着时间的推移，其误差呈线性增长。lstm是一种传统的递归网络，它只能捕获简单的时间递归特征，不需要其他辅助数据建模过程。d
‑
conv代表了一个多层空洞卷积模型，其卷积核的平移过程实现了从下到上的轨迹特征捕获。不断变化的卷积核大小实现了动态范围变化的空间特征的捕获过程。
[0165]
然而，d
‑
conv的本质是卷积过程，使得其不能像递归网络那样执行单步时序推导。深度时空模型和其他时空模型考虑了轨迹的空间相关性和时间相关性。因此，他们在预测未来5个位置点上显示出明显的优势。深度时空模型使用与d
‑
conv相同的结构空间相关特征，动态获取历史轨迹的空间分布权重。在时间相关性的计算过程中，深度时空模型可以利
用前一层的所有历史信息来推导下一层的参数隐藏状态。
[0166]
尽管上述模型在rmse中显示出一定的数据优势，但预测的轨迹存在定位点密集和实际场景中不可避免障碍物的缺陷。图13示例性地示出本公开实施例深度时空模型预测结果的示意图，如图13(a)所示，图13(a)是一个理想的预测结果，其预测值具有原轨迹的运动趋势。更重要的是，它的预测值是分散的，不会出现在障碍区域。图13(b)表示直线轨道模型的预测，存在预测过于密集的缺点，造成这种现象的原因是直线轨道的空间样本单一，使得模型参数的权重较小。
[0167]
由于建模过程中没有考虑障碍物在室内场景中的空间分布，使得图13(c)中的预测轨迹与障碍物重叠。以上实验结果表明，基于坐标系的盲人轨迹预测在实际应用效果上存在漏洞。本公开实施例设计了额外的方法来实现轨迹点的分散，以提高预测的准确性。同时，可以将实际场景中障碍物的空间分布作为轨迹生成过程的重要参考。
[0168]
图14示例性地示出本公开实施例将横坐标和纵坐标转换为网格标签后的盲轨迹预测结果。上述结果增加了障碍物的空间分布，结果表明，该设计模式提高了预测精度，预测结果与实际轨迹吻合。图14(b)和(c)表明，加入障碍物分布后，模型能够避开障碍物。预测的轨迹点不会穿透障碍物。结果表明，该模型克服了以网格标签形式输入数据时预测结果集中的缺点，成功地获得了盲点最后一点的网格，拓宽了模型的预测范围。
[0169]
表2是实验模型精度的统计结果。精度指标是预测的5个位置的平均值。我们强调精度的预测和评价标准是只有横坐标和纵坐标的网格标签才能同时预测成功。深度时空模型在精度指标上有很好的表现，比现有的时空模型提高了11％。
[0170]
表2精度误差比较结果
[0171][0172][0173]
图15示例性地示出本公开实施例激活函数的曲线示意图，将坐标系映射到网格标签可以解决神经网络模型对浮点数预测能力不足的问题，同时也得益于室内场景的不变性。网格标签使轨迹预测任务由回归问题转化为分类问题。未来定位由一定范围的标签组成，模型的训练过程有明确的目标，以提高预测精度。在障碍物分布网格中，障碍物所在区域的值为0，可通行区域的值为1。gcn将障碍物分布网格和轨迹分布网格在同一维度上进行加权。通过对激活函数的计算，增强了通过区域的特征，并通过激活函数丢弃了障碍区域的零值特征。激活函数(relu)使通过区域的特征增强，而障碍区域的零值特征被丢弃。
[0174]
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
[0175]
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以
是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中。另外，该asic可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(rom)、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0176]
在上述终端或者服务器的实施例中，应理解，处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0177]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。