一种基于实时注意力分配的界面动态优化方法

1.本发明涉及人因工程，尤其是对操作无人机控制台界面时的界面动态优化方法。
2.领域


背景技术：

3.面对现代战场态势环境复杂多变，无人机控制台界面需要显示更多态势环境信息，不合理的界面布局直接影响了人机交互的效率。同时，不同任务阶段操作员所需从界面获取的信息不同，固定不变的界面不能同时满足在不同阶段操作员获取信息的效率最大。为了防止操作员从界面获取信息难度增加，造成认知负荷过高而产生的态势理解能力下降的现象，需要动态的改变界面的整体布局，以此使操作员的实时注意力分配与设计界面时预测的注意力分配比值相匹配。
4.目前，交互界面设计都强调在设计阶段对视觉元素的显示方式进行初始的分层和编码，并不侧重于任务的进程和用户的个体差异，难以满足不同阶段操作员指挥控制环境下的信息监控，造成了界面资源的浪费。我们在前期通过界面信息的突显性、信息优先度对座舱人机界面进行了注意力分配预测，此方法中使用的指标为界面的动态优化提供了一些设计准则，可以此为基础与操作员在不同任务阶段的实时注意力分配相结合进行界面的动态优化构建。


技术实现要素：

5.为解决固定交互界面存在的无法使操作员在整个任务过程中获取信息效率最优的缺点，本发明提出一种基于实时注意力分配的人机界面动态优化方法，实现了交互界面根据操作员在不同任务阶段中的实时注意力分配进行动态布局优化，以此满足在整个任务过程中信息获取效率最优，给操作员提高更好的操作体验。
6.本发明的技术方案为：
7.一种基于实时注意力分配的界面动态优化方法，包括以下步骤：
8.步骤1：计算兴趣区域实时注意力分配，得到各兴趣区域实时注意力分配比例其中为第i个兴趣区域t时刻实时注意力分配比例；
9.步骤2：根据不同兴趣区域实时注意力分配比例的变化趋势划分任务阶段；
10.步骤3：对界面进行界面注意力分配预测计算，得到当前界面中各个兴趣区域的注意力分配比例si；
11.步骤4：界面设计优化：
12.根据步骤1和步骤2实验获得的每个任务阶段中各兴趣区域的实时注意力分配比例，确定各兴趣区域在不同阶段合适的注意力分配比例区间[sa
qi-,sa
qi
]；
[0013]
根据步骤3预测的当前界面中各个兴趣区域的注意力分配比例与每个任务阶段各兴趣区域的实时注意力分配比例之间的差异，对当前界面进行调整，实现界面设计优化。
[0014]
进一步的，步骤1中计算兴趣区域实时注意力分配的过程为：
[0015]
获取操作员的眼动数据，统计当前时刻前t秒内的视线凝视点所在区域，计算t秒内凝视点落在各兴趣区域的比例，得到各兴趣区域实时注意力分配比例
[0016][0017]
式中，为第i个兴趣区域t时刻实时注意力分配比例，为(t-t,t)秒这段时间内凝视点落在第i个兴趣区域的次数，n为划分的兴趣区域总数。
[0018]
进一步的，t取值为2秒。
[0019]
进一步的，步骤2中，当整个界面各个兴趣区域实时注意力分配比例的变化梯度均大于各个兴趣区域对应的阈值时，则认为进入一个新的任务阶段。
[0020]
进一步的，步骤3中，某一兴趣区域的注意力分配比例si根据公式
[0021][0022]
计算得到，其中n为兴趣区域个数，bi为第i个兴趣区域的注意资源消耗，根据公式
[0023]bi
＝evi*sei*at
i-1
[0024]
计算得到；evi为第i个兴趣区域的信息优先度，ati为第i个兴趣区域的注意力转移水平，sei为第i个兴趣区域的显著性因素。
[0025]
进一步的，兴趣区域中界面元素的显著性因素sei根据公式
[0026][0027]
计算，其中为兴趣区域大小因素，为兴趣区域颜色因素，为兴趣区域布局位置因素，为兴趣区域信息表示形式因素：
[0028][0029]
s(aoii)为第i个兴趣区域的面积；
[0030][0031]
为颜色的rgb值，为背景的rgb值，ωr,ωg,ωb是用于补偿人眼色差加权系数，将(ωr,ωg,ωb)的赋值为(3,4,2)；
[0032][0033]
αi为眼睛与各兴趣区域中心点连线同眼睛与平视注视点连线之间的夹角；
[0034][0035]
mi为第i个兴趣区域的信息表示形式数量，n为兴趣区域的数量，δ
ij
为信息表示形
式的重要度。
[0036]
进一步的，注意力转移水平ati根据公式
[0037][0038]
计算得到，d
iθ
为兴趣区域i到其它兴趣区域θ的距离，n()为归一化函数。
[0039]
进一步的，信息优先度evi根据公式
[0040][0041]
计算得到，为第i个兴趣区域内第j个所表示信息的优先度量化值，第i个兴趣区域内共含有j个所表示信息。
[0042]
进一步的，步骤4中，对当前界面进行调整的规则为：
[0043]
当兴趣区域i分配的注意力小于适合此任务阶段q兴趣区域i实时注意力分配最小值，即si＜sa
qi-时，增大兴趣区域i显著性和界面元素价值，或降低注意力转移水平；当兴趣区域i分配的注意力大于适合此任务阶段q兴趣区域i实时注意力分配最大值，即si＞sa
qi
时，可降低兴趣区域i显著性和界面元素价值，或增加注意力转移水平。
[0044]
有益效果
[0045]
本发明基于操作员在不同任务阶段各兴趣区域实时的注意力分配对交互界面进行动态的优化调整，该技术克服了原有固定界面无法使操作员在整个任务过程中获取信息效率最优的缺点，可减少操作员获取信息的时间，加快”ooda”迭代速度，也为今后的界面设计提供了一种新的思路与参考。
[0046]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0047]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0048]
图1：态势元素显著性影响因素模型；
[0049]
图2：布局位置量化示意图；
[0050]
图3：无人机控制台界面；
[0051]
图4：各个兴趣区域注视时间；
[0052]
图5：不同时间内各个兴趣区域实时注意力分配比例；
[0053]
图6：第一阶段界面布局；
[0054]
图7：第二阶段界面布局；
[0055]
图8：第三阶段界面布局；
[0056]
图9：布局动态调整界面、固定界面与实时注意力变化趋势。
具体实施方式
[0057]
本发明提出一种基于实时注意力分配的人机界面动态优化方法，基于操作员在不同任务阶段的实时注意力分配对交互界面进行动态布局调整，克服了原有固定界面无法使操作员在整个任务过程中获取信息效率最优的缺点，给操作员提高更好的操作体验。
[0058]
本发明具体包括以下步骤：
[0059]
步骤1：兴趣区域实时注意力分配计算：
[0060]
通过实验中操作员的眼动数据获取在整个任务中操作员实时注意力的分配，实时注意力分配比例通过统计当前时刻前2s内的视线凝视点所在区域计算，计算2s内凝视点落在各兴趣区域的比例，得到各兴趣区域实时注意力分配比例
[0061][0062]
式中，为第i个兴趣区域t时刻实时注意力分配比例，为(t-2,t)秒这段时间内凝视点落在第i个兴趣区域的次数，n为划分的兴趣区域总数。
[0063]
步骤2：任务阶段与各兴趣区域注意力分配划分：
[0064]
不同的兴趣区域所展现的信息侧重点不同，其对应着不同的任务阶段，本发明将根据不同兴趣区域实时注意力分配比例的变化趋势将任务过程分成q个阶段。
[0065]
q主要由各个兴趣区域实时注意力分配比例变化趋势决定；当整个界面各个兴趣区域实时注意力分配比例的变化梯度大于阈值时则认为进入一个新的任务阶段。在某一任务阶段，各个兴趣区域的注意力分配比例不同，各个兴趣区域的阈值也不一样，需要分别设置，当所有兴趣区域的梯度均大于阈值时，认为进入一个新的任务阶段。同时在不同任务阶段时，各个兴趣区域的阈值也不同，所以在不同任务阶段，也要对各个兴趣区域的阈值重新设置。
[0066]
步骤3：界面注意力分配预测：
[0067]
设计的界面对操作员的注意力分配进行预测方法主要以我们前期工作为基础，并进行了改进。
[0068]
(1)界面元素的显著性计算：
[0069]
显著性描述了物体的可感知性，显著性越高的物体越容易被感知，显著性越低的物体较难被感知。将显著性因素具体量化为四个影响因素，分别为：兴趣区域大小c1、颜色c2、布局位置c3和信息表示形式c4。态势元素显著性影响因素模型如图1所示；
[0070]
表1模型中各节点及其含义
[0071][0072]
下面对这四个显著性因素的影响因素分别进行量化：
[0073]
1、兴趣区域大小c1：
[0074]
兴趣区域的大小影响着操作员的注意力分配，通常具有较大信息显示的界面更能吸引人的注意力，因此量化各兴趣区域占总兴趣区域的面积比例具体公式如下：
[0075][0076]
式中，s(aoii)为第i个兴趣区域的面积。
[0077]
2、颜色c2：
[0078]
颜色也是影响注意力分配的一个重要因素，在人机界面中，通常使用和背景颜色差异较大的颜色去显示较为重要和紧急的信息，因此通过计算信息颜色与背景或主题颜色的色差来量化颜色对于显著性的影响是一个是可行的方案。通过计算rgb颜色的色差进行量化。具体公式如下：
[0079][0080]
其中，为颜色的rgb值，为背景的rgb值，ωr,ωg,ωb是用于补偿人眼色差加权系数，根据查询多数文献，通常将(ωr,ωg,ωb)的赋值为(3,4,2)。
[0081]
3、布局位置c3：
[0082]
根据眼睛与各兴趣区域中心点连线与视线平视的夹角αi来量化布局位置对于注意力分配的影响。
[0083][0084]
如图2所示，d
st
为眼睛距平视注视点的距离，di为眼睛距各兴趣区域中心点的距离，αi为眼睛与各兴趣区域中心点连线同眼睛与平视注视点连线之间的夹角。
[0085]
4、信息表示形式c4：
[0086]
首先对常用信息表示方式的重要度进行确定，然后计算每个兴趣区域内所有信息表示方式的重要度，最后计算其占整个兴趣区域内所有信息表示方式重要度总和的百分比来确定信息表示形式对于注意力分配的影响。
[0087]
表2信息表示形式的重要度
[0088][0089]
信息表示形式c4具体量化如下：
[0090][0091]
其中mi为第i个兴趣区域的信息表示形式数量，n为兴趣区域的数量。
[0092]
显著性因素模型的四个因素的权值在原有的研究基础上加以改进，通过多名专家根据影响兴趣区域显著性的重要程度进行[0,1]的打分，1代表最重要，0代表最不重要，并通过层次分析法给出最终结果取为：
[0093]
[ω1,ω2,ω3,ω4]＝[0.52,0.47,0.33,0.76]，
[0094]
则：
[0095]
(2)界面视线漂移计算：
[0096]
前期我们通过各个兴趣区域相对距离与相对距离最大值的比例进行计算注意力转移难度，此方法受相对距离最大值影响较大，无法考虑整个过程的注意力转移难度，因此本发明采用视线漂移计算注意力转移难度。
[0097]
视线漂移主要用于衡量注视点从一个兴趣区域迁移至其他兴趣区域所消耗的注意力。本发明采用兴趣区域之间的相对距离的平均值来衡量注意漂移所需消耗注意力的大小，具体计算公式如下：
[0098][0099]diθ
为兴趣区域i到其它兴趣区域θ的距离，n为划分的兴趣区域总数，其中n为归一化函数，这里采用min-max标准化方法。其形式如下：
[0100][0101]
式中data为所测的兴趣区域i到其他兴趣区域θ的距离。
[0102]
(3)界面元素价值计算：
[0103]
首先给出信息优先度的定义：
[0104]
表3信息优先度定义
[0105][0106]
对于不同的信息优先度，对其赋值进行量化，值越大代表信息优先度越高，优先度对应分值如下。
[0107]
priority{1，2，3，4}＝{0.8，0.6，0.4，0.2}
[0108]
最终某兴趣区域的信息优先度可量化为该兴趣区域内信息优先度数值的平均值：
[0109][0110]
为兴趣区域i内第j个所表示信息的优先度量化值，兴趣区域i内共含有j个所表示信息。
[0111]
(4)界面注意力分配计算：
[0112]
在模型计算中，注意力转移水平at与注意力分配大小成反比，界面元素显著性与界面元素价值成正比。即单个兴趣区域的注意资源的消耗可表示为：
[0113]bi
＝evi*sei*at
i-1
[0114]
则此时整体的注意力消耗值即为所有兴趣区域所分配的注意力值，即：
[0115][0116]
各aoi注意力分配的比例即为该区域的注意力分配值除以总的注意力消耗值，即：
[0117][0118]
步骤4：界面设计优化：
[0119]
本发明根据步骤1和步骤2实验获得的任务阶段q兴趣区域i实时注意力分配来确定各兴趣区域在不同阶段合适的注意力分配比例区间[sa
qi-,sa
qi
]，同时根据预测的界面注意力分配比例与不同任务阶段实时的注意力分配比例之间的差异对界面进行调整，实现界面设计优化，调整规则如下：
[0120]
当兴趣区域i分配的注意力小于适合此任务阶段q兴趣区域i实时注意力分配最小值，即
[0121]
si＜sa
qi-[0122]
时，则增大兴趣区域i显著性和界面元素价值，或降低注意力转移水平；同理，当兴
趣区域i分配的注意力大于适合此任务阶段q兴趣区域i实时注意力分配最大值，即
[0123]
si＞sa
qi
[0124]
时，可降低兴趣区域i显著性和界面元素价值，或增加注意力转移水平。
[0125]
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0126]
本实施例通过在不同无人机集群作战阶段对如图3所示的无人机控制台交互界面做基于实时注意力分配分析进行界面动态构建的优化来对本发明进一步说明，根据各个显示信息内容将图3界面划分为4个兴趣区域。
[0127]
step1:兴趣区域实时注意力分配计算
[0128]
本实验使用专业版眼动仪记录实验人员的眼球，然后使用软件计算出整个任务阶段当前人员在图3交互界面上的注视点位置。
[0129]
实验结果：
[0130]
指挥员在整个操作流程时间所注视区域如图4，实时注意力分配比例随时间变化如图5所示。
[0131]
step2:任务阶段与各个兴趣区域注意力分配划分
[0132]
根据step1实验过程各区域的aoi分配比例曲线，可以看出操作员注意力分配行为大致分为三阶段：
[0133]
1.出发阶段：在0-40s内，指挥员只关注aoi1、aoi3、aoi4，在40s附近aoi2、aoi3、aoi4分配比例都接近0，之后进入第二阶段；
[0134]
2.异常信息处置阶段：异常信息出现，指挥员对aoi2、aoi4的注意力分配比例开始增大，在180s为分界，进入第三阶段；
[0135]
3.交战信息处置阶段：指挥员关注武器信息，aoi3分配的比例显著增大。
[0136]
各aoi在三个阶段的平均注意力分配比例如表4所示.
[0137]
表4各兴趣区域在各阶段注意力分配比例变化
[0138][0139]
根据表4确定各兴趣区域在各阶段合适的注意力分配比例区间如表5所示：
[0140]
表5各兴趣区域在各阶段合适的注意力分配比例区间
[0141][0142]
step3:界面注意力分配预测：
[0143]
(1)界面元素的显著性计算：
[0144]
c1(兴趣区域大小)：
[0145]
表6各aoi的兴趣区域占比
[0146][0147]
c2(颜色值)
[0148]
表7各aoi的颜色值计算
[0149][0150]
c3(布局位置)
[0151]
表8各aoi的布局位置计算
[0152][0153]
c4(信息表示形式)
[0154]
表9各aoi的信息表示形式量化值
[0155][0156]
(2)界面视线漂移计算：
[0157]
下表是各aoi相互之间的转移距离表示，这里aoii→
aoij的距离等同于aoij→
aoii的距离，这里通过可以相互转化来简化计算。
[0158]
表10各aoi之间的相对距离(cm)
[0159][0160]
(3)界面元素价值计算：
[0161]
具体aoi的内容信息种类和量化，以及最终的元素价值计算值如下表所示：
[0162]
表11各aoi的元素价值(信息优先度)
[0163][0164]
(4)界面注意力分配计算：
[0165]
可计算出操作员对单个aoi的注意力分配量，下表是针对操作员在三个任务阶段对各aoi的参数量化情况：
[0166]
表12各兴趣区间注意力分配理论计算值
[0167][0168]
step4:界面设计优化：
[0169]
由step2得出aoi区域在三个任务阶段的分配比例可对界面进行如下分析。
[0170]
出发阶段，指挥员不需要aoi2的信息，此时交互界面只包含aoi1、aoi3、aoi4，根据aoi分配比例，调整这一阶段的界面如图6所示。
[0171]
第一阶段的界面注意力分配比例理论值如表13所示。
[0172]
表13第一阶段界面注意力分配比例
[0173][0174]
异常信息处置阶段，显示aoi2，且指挥员对地图的关注度降低，对aoi4战场信息处理模块关注度提高，因此调整这一阶段的人机交互界面如图7所示。第二阶段的界面注意力分配比例理论值如表14所示。
[0175]
表14第二阶段界面注意力分配比例
[0176][0177]
战斗阶段对武器信息模块的关注度提高，对单机详细信息模块的关注度降低，调整后的自由空战场景人机交互界面如图8所示。第三阶段的界面注意力分配比例理论值如表15所示。
[0178]
表15第三阶段界面注意力分配比例
[0179][0180]
布局动态调整界面、固定界面在各阶段的注意力分配比例以及实时注意力分配比例的对比如图9所示。
[0181]
可以看出动态布局调整界面优化相比固定界面，在任务的各阶段动态调整界面布局以及界面中各模块的显著性，可以适应当前任务阶段指挥员的注意力行为，突出显示指挥员更关注的模块。
[0182]
本发明基于操作员在不同任务阶段的实时注意力分配对交互界面进行动态布局调整，以突出显示操作员更关注的兴趣区域，使整个界面匹配操作员的实时注意力分配。该技术克服了原有固定界面无法使操作员在整个任务过程中获取信息效率最优的缺点，给操作员提高更好的操作体验。
[0183]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。