基于运动显著性的群体行为交互模式辨识方法与装置

1.本技术涉及行为交互识别技术领域，特别是涉及一种基于运动显著性的群体行为交互模式辨识方法与装置。


背景技术：

2.生物群体行为研究往往从生物群体数据出发探索其内在行为机制，目的是将其迁移适配到真实无人集群。以构建具备生物群体行为分布式、自组织、自适应等智能特性的无人集群系统，从而满足应激避险、穿越狭窄通道等真实应用场景中需要群体高机动行为的任务需求。现有研究大多从生物群体所呈现出的现象出发设定个体间的交互方式，设定的交互方式可能与实际生物群体内部的交互方式会存在不相符的情况。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种基于运动显著性的群体行为交互模式辨识方法与装置。该方法从生物群体行为数据出发，根据运动显著性与领导跟随关系，解决生物群体内部的交互模式辨识问题。
4.一种基于运动显著性的群体行为交互模式辨识方法，所述方法包括：
5.获取群体在预定时间段内的运动轨迹数据，所述群体是多个个体组成的同构系统；所述运动轨迹数据包括多个个体的速度向量和位置向量。
6.根据每两个个体在不同时间延迟下的速度向量，确定两个个体之间的领导时间；所述领导时间是指使两个个体的速度相关性达到最大值的时间延迟；所述速度相关性是在时间延迟下两个个体的速度向量夹角余弦值时间序列的平均。
7.根据所述领导时间的符号，构建群体的领导-跟随网络；所述领导-跟随网络是有向网络，网络的节点是群体中的个体，网络中边的方向为从领导者指向跟随者。
8.根据所述领导-跟随网络和从当前节点到网络中其他节点的最小出度距离，得到当前节点对应个体的领导层级。
9.根据运动轨迹数据采用运动显著性计算方法，得到每个个体相对其他个体而言的运动显著性，并根据每个个体相对其他个体而言的运动显著性，得到每个个体的平均运动显著性。
10.根据个体的领导层级、个体的平均运动显著性，采用spearman相关性计算方式，得到领导层级与运动显著性之间的相关性系数。
11.根据所述相关性系数对群体行为交互模式进行辨识，得到群体行为交互模式辨识结果。
12.一种基于运动显著性的群体行为交互模式辨识装置，所述装置包括：
13.运动轨迹数据获取模块，用于获取群体在预定时间段内的运动轨迹数据，所述群体是多个个体组成的同构系统；所述运动轨迹数据包括多个个体的速度向量和位置向量。
14.领导-跟随网络构建模块，用于根据每两个个体在不同时间延迟下的速度向量，确
定两个个体之间的领导时间；所述领导时间是指使两个个体的速度相关性达到最大值的时间延迟；所述速度相关性是在时间延迟下两个个体的速度向量夹角余弦值时间序列的平均；根据所述领导时间的符号，构建群体的领导-跟随网络；根据所述领导-跟随网络和从当前节点到网络中其他节点的最小出度距离，得到当前节点对应个体的领导层级；所述领导-跟随网络是有向网络，网络的节点是群体中的个体，网络中边的方向为从领导者指向跟随者。
15.个体的平均运动显著性确定模块，用于评价个体间的运动差异；根据运动轨迹数据采用运动显著性计算方法，得到每个个体相对其他个体而言的运动显著性，并根据每个个体相对其他个体而言的运动显著性，得到每个个体的平均运动显著性；
16.群体行为交互模式辨识模块，用于根据个体的领导层级、个体的平均运动显著性，采用spearman相关性计算方式，得到领导层级与运动显著性之间的相关性系数；根据所述相关性系数对群体行为交互模式进行辨识，得到群体行为交互模式辨识结果。
17.上述基于运动显著性的群体行为交互模式辨识方法和装置，所述方法根据运动一致性原则计算任意两个个体之间的领导时间，建立群体的领导-跟随网络；依据视觉是生物感知周围环境和邻居信息的最主要通道和视觉具有前向交互的原则，计算个体感知周围邻居的运动显著性；融合领导-跟随网络和运动显著性，在群体处于趋同、应激过程中，推断出群体内部交互的因果规则以及具有何种特性的个体更容易成为群体的领导者。采用本方法可辨识生物群体行为的交互模式，进而构建具备生物群体行为分布式、自组织、自适应等智能特性的无人集群系统，从而满足应激避险、穿越狭窄通道等真实应用场景中需要群体高机动行为的任务需求。
附图说明
18.图1为一个实施例中基于运动显著性的群体行为交互模式辨识方法的流程示意图；
19.图2为一个实施例中个体间速度相关性；其中(a)为两个体的运动轨迹以及用黑色箭头表示的速度向量，(b)为两个体在不同时间差下的速度相关性；
20.图3为一个实施例中群体内部的领导-跟随有向网络；其中(a)为群体某时间段内的轨迹，(b)为该群体在该时间段内的领导-跟随有向网络
21.图4为一个实施例中基于位置的运动显著性计算；其中(a)为个体j相对于i的位置，(b)为运动显著性的权重曲线；
22.图5为一个实施例中基于视网膜投影的运动显著性计算；
23.图6为一个实施例中基于运动显著性的群体行为交互模式辨识过程示意图；
24.图7为一个实施例中基于运动显著性的群体行为交互模式辨识装置的结构框图。
具体实施方式
25.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
26.本方法从鸟群群体围攻、盘旋等高机动的群体行为中发现了一种基于运动显著性
的群体行为交互模式辨识方法。
27.在一个实施例中，如图1所示，提供了一种基于运动显著性的群体行为交互模式辨识方法，该方法包括以下步骤：
28.步骤100：获取群体在预定时间段内的运动轨迹数据。
29.群体是多个个体组成的同构系统；作为优选，群体可以是鸟群群体或具有群体围攻、盘旋等高机动等群体行为的其他生物群体。
30.运动轨迹数据包括多个个体的速度向量和位置向量。
31.群体在预定时间段内的运动轨迹数据包括群体内个体在预定时间段内速度和位置信息，该数据通过立体成像系统获取。立体成像系统由usb控制的摄像机和立体匹配程序构成，其中usb控制的摄像机用来记录个体的相对位置信息，立体匹配程序用来将每个摄像机上检测到的个体的位置信息进行关联，进而得到群体中个体的速度和位置信息。
32.步骤102：根据每两个个体在不同时间延迟下的速度向量，确定两个个体之间的领导时间。
33.领导时间是指使两个个体的速度相关性达到最大值的时间延迟；速度相关性是在时间延迟下两个个体的速度向量夹角余弦值时间序列的平均。
34.步骤104：根据领导时间的符号，构建群体的领导-跟随网络。
35.领导-跟随网络是有向网络，网络的节点是群体中的个体，网络中边的方向为从领导者指向跟随者。
36.领导时间的符号是大于0或小于0。
37.步骤106：根据领导-跟随网络和从当前节点到网络中其他节点的最小出度距离，得到当前节点对应个体的领导层级。
38.当前节点到网络中任意节点的最小出度距离指的是在领导-跟随网络中从当前节点到其他节点最短可达路径的长度。
39.个体的领导层级综合了群体内个体间可达性和深度两方面的信息。
40.步骤108：根据运动轨迹数据采用运动显著性计算方法，得到每个个体相对其他个体而言的运动显著性，并根据每个个体相对其他个体而言的运动显著性，得到每个个体的平均运动显著性。
41.具体的：运动显著性计算方法可以为基于位置的运动显著性计算方法或基于视网膜投影的运动显著性计算方法。
42.步骤110：根据个体的领导层级、个体的平均运动显著性，采用spearman 相关性计算方式，得到领导层级与运动显著性之间的相关性系数。
43.步骤112：根据相关性系数对群体行为交互模式进行辨识，得到群体行为交互模式辨识结果。
44.上述基于运动显著性的群体行为交互模式辨识方法中，所述方法根据运动一致性原则计算任意两个个体之间的领导时间，建立群体的领导-跟随网络；依据视觉是生物感知周围环境和邻居信息的最主要通道和视觉具有前向交互的原则，计算个体感知周围邻居的运动显著性；融合领导-跟随网络和运动显著性，在群体处于趋同、应激过程中，推断出群体内部交互的因果规则以及具有何种特性的个体更容易成为群体的领导者。采用本方法可辨识生物群体行为的交互模式，进而构建具备生物群体行为分布式、自组织、自适应等智能特
性的无人集群系统，从而满足应激避险、穿越狭窄通道等真实应用场景中需要群体高机动行为的任务需求。
45.在其中一个实施例中，步骤104包括：当个体i和个体j的领导时间大于0时，则个体i为领导者，个体j为跟随者；其中i和j均为大于等于1且小于等于群体中个体数量的整数，且i≠j；当个体i和个体j的领导时间小于0时，则个体j 为领导者，个体i为跟随者；根据跟随者和领导者，将箭头由领导者指向跟随者，得到群体的领导-跟随网络。
46.在其中一个实施例中，步骤106中当前节点对应个体的领导层级的计算公式为：
[0047][0048]
其中，表示从节点i到节点j的最小出度距离，si为领导-跟随网络中与节点i具有有限出度距离的其他节点集合；在领导-跟随的有向网络中，从节点i无法到达节点j，则
[0049]
在其中一个实施例中，步骤108包括：根据群体中个体i邻域内的任一个体 j在t时刻和t-τ时刻的位置向量，得到个体j相对于i在t时刻和t-τ时刻的位置向量；根据个体j相对于i在t时刻和t-τ时刻的位置向量，得到个体j相对于 i在t时刻和t-τ时刻的位置向量的夹角；根据预设的前向感知偏好系数、在t时刻与个体i的速度向量平行的单位向量和与个体j相对于i的位置向量平行的单位向量，确定t时刻运动显著性的权重；根据预设的前向感知偏好系数、在t-τ时刻与个体i的速度向量平行的单位向量和与个体j相对于i的位置向量平行的单位向量，确定t-τ时刻运动显著性的权重；根据个体j相对于i在t时刻和t-τ时刻的位置向量的夹角、t时刻运动显著性的权重以及t-τ时刻运动显著性的权重，得到在个体i邻域内的任一个体j的运动显著性；个体i邻域内任一个体j 的运动显著性的计算公式为：
[0050][0051]
其中∠(
·
,
·
)表示两向量的夹角，x
ij
＝x
j-xi表示个体j相对于i的位置，表示个体j相对于个体i相对方向夹角的余弦值，α表示个体的前向感知偏好，以速度方向表示个体i的前向；为t时刻运动显著性的权重；为t-τ时刻运动显著性的权重。
[0052]
将m
ij
(t,τ)作为运动显著性矩阵第i行第j列的元素，构建运动显著性矩阵；将运动显著性矩阵的每一列分别进行加和平均，得到每个个体的平均运动显著性。
[0053]
在其中一个实施例中，运动轨迹数据还包括个体j在个体i视网膜上的运动轨迹投影，个体j在个体i视网膜上的运动轨迹投影包括个体j在个体i视网膜上的水平角度和竖直角度。步骤108包括：根据[t-τ,t]时间段内个体j在个体i视网膜上的水平角度和竖直角度，得到个体j在个体i视网膜内的运动显著性；个体j在个体i视网膜内的运动显著性计算公
式：
[0054][0055]
其中，r
ij
(t,τ)代表基于视网膜投影的运动显著性；φi′j和θi′j分别表示个体j在个体i视网膜上水平角度和竖直角度对时间的导数。
[0056]
将r
ij
(t,τ)作为运动显著性矩阵的第i行第j列的元素，构建运动显著性矩阵；将运动显著性矩阵的每一列分别进行加和平均，得到每个个体的平均运动显著性。
[0057]
在其中一个实施例中，步骤112包括：当相关性系数大于0时，平均运动显著性高的个体更容易成为领导者；当相关性系数小于0时，平均运动显著性低的个体更容易成为领导者；当相关性系数等于0时，运动显著性与领导层级无关。
[0058]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0059]
在另一个实施例中，提供了一种基于运动显著性的群体行为交互模式辨识方法，该方法可以从“宏观-微观-序观”三个层面对群体行为数据进行研究，辨识出群体内部个体间的交互模式。
[0060]
该方法针对自然界中包含n个个体的同构系统在时间[t-τ,t]范围内的数据进行研究分析，其中个体i用速度向量vi和位置向量xi来表述。
[0061]
宏观层面：对于该系统中的任意两个个体i和j，我们定义c
ij
(τ
ij
)来表示其速度相关性，其计算方式为
[0062][0063]
其中τ
ij
表示两个体间的时间差，τ
ij
＞0时个体i领先j前τ
ij
秒，τ
ij
＜0表示个体i 延迟j后τ
ij
秒。注意，c
ij
(τ)≠c
ji
(τ)。表示与个体i运动向量vi平行的单位向量，表示向量与夹角的余弦值，《
···
》表示对序列值取平均。 c
ij
(τ)通过对时间差τ下个体i和j速度向量夹角余弦值的时间序列平均来表征个体i和j在时间差τ
ij
下的速度相关性。如图2所示，其表述了个体1和个体2速度相关性c
12
(τ
12
)的计算，图2中(a)为两个体的运动轨迹以及用黑色箭头表示的速度向量，图2中(b)为两个体在不同时间差τ下的速度相关性c
12
(τ
12
)，本实施例中取使得该函数达到最大值的时间差为领导时间，即
[0064]
根据的符号，定义个体i和j之间的领导关系。时，个体j的速度向量序列在延后一段时间后与个体i的速度向量序列相关性最佳，这样就认为个体i为领导者，个体j为跟随者；与之相对的，时，个体j的速度向量序列在提前一段时间后与个体i的速度向
量序列相关性最佳，即个体i为跟随者，个体j为领导者。
[0065]
根据该领导-跟随定义，可以得到群体的领导-跟随网络，如图3所示，图3 中(a)为群体某时间段内的轨迹，图3中(b)为该群体在该时间段内的领导
‑ꢀ
跟随有向网络，箭头从领导者指向跟随者。根据领导-跟随网络，定义个体i的领导层级li，其计算公式如式(1)所示。li的计算综合了群体内个体间可达性和深度两方面的信息。
[0066]
微观层面：对于在个体i邻域内的任一个体j，运动显著性计算方法可以为基于位置或基于视网膜投影的运动显著性计算。
[0067]
(1)基于位置的运动显著性计算方法
[0068]
基于绝对位置给出了对于个体i邻域内任一个体j的运动显著性计算方法，
[0069][0070]
其中∠(
·
,
·
)表示两向量的夹角，如图4中(a)所示，x
ij
＝x
j-xi表示个体j相对于i的位置，表示个体j相对于个体i相对方向夹角的余弦值，α表示个体的前向感知偏好，以速度方向表示个体i的前向，如图4中(b)所示，随着α的增加，对于个体i而言，相对方向越小，即越靠近前方的个体j，其相对应的值越大，其运动显著性的权重也就越大。方程(2)中，m
ij
代表了个体对邻居速度变化的敏感性。邻居运动状态与自身相对变化越快，m
ij
越大。即m
ij
越大，i感受到j的运动越显著；m
ij
并未直接考虑速度变化(加速度)，通过检测一段时间τ内与邻居个体的相对方位的变化，同时蕴含了速度和位置的变化。此外我们定义mj(t,τ)＝《m
ij
(t,τ)》以表示个体j的平均运动显著性。
[0071]
(2)基于视网膜投影的运动显著性计算方法
[0072]
个体j在个体i视网膜[t-τ,t]时间内的投影如图5所示，横轴和纵轴分别表示个体j在个体i视网膜上的水平角度φ
ij
和竖直角度θ
ij
，根据二者的取值我们将视网膜分为由上和下左(φ
ij
∈(0,π))和右( φ
ij
∈(-π,0))、前和后分别排列组合成的8个区域。基于此，定义基于视网膜投影的运动显著性r
ij
(t,τ)，其计算公式如式(3)所示。根据该方程，可以得到个体j在个体i视网膜内的运动轨迹积分以通过视网膜投影计算其运动显著性。类似的，rj(t,τ)＝《r
ij
(t,τ)》以表示个体j的平均运动显著性。
[0073]
序观层面：根据上述定义li(t,τ)、运动显著性mj(t,τ)(或rj(t,τ))，以li(t,τ) 与mj(t,τ)为例做spearman相关性，结果如图6所示，当相关性大于0时，运动显著性高的个体更容易成为领导者；当相关性小于0时，运动显著性低的个体更容易成为领导者；当相关性等于0时，运动显著性与领导层级无关。
[0074]
在一个实施例中，如图7所示，提供了一种基于运动显著性的群体行为交互模式辨识装置，包括：运动轨迹数据获取模块、领导-跟随网络构建模块、个体的平均运动显著性确
定模块和群体行为交互模式辨识模块，其中：
[0075]
运动轨迹数据获取模块，用于获取群体在预定时间段内的运动轨迹数据，群体是多个个体组成的同构系统；运动轨迹数据包括多个个体的速度向量和位置向量。
[0076]
领导-跟随网络构建模块，用于根据每两个个体在不同时间延迟下的速度向量，确定两个个体之间的领导时间；领导时间是指使两个个体的速度相关性达到最大值的时间延迟；速度相关性是在时间延迟下两个个体的速度向量夹角余弦值时间序列的平均；根据领导时间的符号，构建群体的领导-跟随网络；根据所述领导-跟随网络和从当前节点到网络中其他节点的最小出度距离，得到当前节点对应个体的领导层级；领导-跟随网络是有向网络，网络的节点是群体中的个体，网络中边的方向为从领导者指向跟随者。
[0077]
个体的平均运动显著性确定模块，用于评价个体间的运动差异；根据运动轨迹数据采用运动显著性计算方法，得到每个个体相对其他个体而言的运动显著性，并根据每个个体相对其他个体而言的运动显著性，得到每个个体的平均运动显著性。
[0078]
群体行为交互模式辨识模块，用于根据个体的领导层级、个体的平均运动显著性，采用spearman相关性计算方式，得到领导层级与运动显著性之间的相关性系数；根据相关性系数对群体行为交互模式进行辨识，得到群体行为交互模式辨识结果。
[0079]
在其中一个实施例中，领导-跟随网络构建模块，还用于当个体i和个体j的领导时间大于0时，则个体i为领导者，个体j为跟随者；其中i和j均为大于等于1且小于等于群体中个体数量的整数，且i≠j；当个体i和个体j的领导时间小于0时，则个体j为领导者，个体i为跟随者；根据跟随者和领导者，将箭头由领导者指向跟随者，得到群体的领导-跟随网络。
[0080]
在其中一个实施例中，个体在群体中的运动显著性确定模块中当前节点对应个体的领导层级的计算公式如式(1)所示。
[0081]
在其中一个实施例中，个体在群体中的运动显著性确定模块，还用于根据群体中个体i邻域内的任一个体j在t时刻和t-τ时刻的位置向量，得到个体j相对于i在t时刻和t-τ时刻的位置向量；根据个体j相对于i在t时刻和t-τ时刻的位置向量，得到个体j相对于i在t时刻和t-τ时刻的位置向量的夹角；根据预设的前向感知偏好系数、在t时刻与个体i的速度向量平行的单位向量和与个体j 相对于i的位置向量平行的单位向量，确定t时刻运动显著性的权重；根据预设的前向感知偏好系数、在t-τ时刻与个体i的速度向量平行的单位向量和与个体 j相对于i的位置向量平行的单位向量，确定t-τ时刻运动显著性的权重；根据个体j相对于i在t时刻和t-τ时刻的位置向量的夹角、t时刻运动显著性的权重以及t-τ时刻运动显著性的权重，得到在个体i邻域内的任一个体j的运动显著性；个体i邻域内任一个体j的运动显著性m
ij
(t,τ)的计算公式如式(2)所示；将m
ij
(t,τ)作为运动显著性矩阵第i行第j列的元素，构建运动显著性矩阵；将运动显著性矩阵的每一列分别进行加和平均，得到每个个体的平均运动显著性。
[0082]
在其中一个实施例中，运动轨迹数据还包括个体j在个体i视网膜上的运动轨迹投影，个体j在个体i视网膜上的运动轨迹投影包括个体j在个体i视网膜上的水平角度和竖直角度。个体在群体中的运动显著性确定模块，还用于根据 [t-τ,t]时间段内个体j在个体i视网膜上的水平角度和竖直角度，得到个体j在个体i视网膜内的运动显著性；个体j在个体i视网膜内的运动显著性r
ij
(t,τ)的计算公式如式(3)所示。将r
ij
(t,τ)作为运动显著性矩阵的第i行第j列的元素，构建运动显著性矩阵；将运动显著性矩阵的每一列分别进行加和
平均，得到每个个体的平均运动显著性。
[0083]
在其中一个实施例中，群体行为交互模式进行辨识模块，还用于当相关性系数大于0时，平均运动显著性高的个体更容易成为领导者；当相关性系数小于0时，平均运动显著性低的个体更容易成为领导者；当相关性系数等于0时，运动显著性与领导层级无关。
[0084]
关于基于运动显著性的群体行为交互模式辨识装置的具体限定可以参见上文中对于基于运动显著性的群体行为交互模式辨识方法的限定，在此不再赘述。上述基于运动显著性的群体行为交互模式辨识装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0085]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0086]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。