基于视频的声源定位角度标定方法、系统、设备及介质

1.本发明涉及视频信号处理技术领域，尤其涉及一种基于视频的声源定位角度标定方法、系统、设备及介质。


背景技术：

2.声源定位(sound source localization，ssl)技术旨在估计单个或多个声源相对于麦克风阵列的位置。在大多数情况下，对每个声源的到达方向感兴趣，因此大多数声源定位方法侧重于方位角和仰角估计。有效的声源定位技术在许多应用中非常重要，包括自动语音识别(asr)、电话会议系统、机器人听觉系统和助听器技术。比如要想让摄像机能自动转向发声处，以记录视频和录音，可以使用声源定位系统；在助听器等医疗设备中运用声源定位技术，可以帮助有听力障碍的残疾人在嘈杂和复杂场景下更好地理解语言；为了使机器人与人类之间的交流和互动更加高效和精准，在机器人听觉系统中运用声源定位，来确定说话人的相对位置。
3.经过几十年的发展，传统的声源定位方法可以被大致分为以下几类：1)基于信号子空间的方法，如多信号分类法(music)和通过旋转不变技术估计信号参数法(esprit)；2)使用广义交叉相关法和最小二乘法(ls)的到达时间延迟(tdoa)方法；3)基于信号同步的方法，如带相位变换的转向响应功率法(srp-phat)、多通道交叉相关法(mccc)；4)基于脉冲响应盲识别的方法，如自适应特征值分解(aed)算法和独立分量分析法；5)基于l1-norm penalty的稀疏信号表示方法；6)基于模型的方法，如最大似然法(mlm)和先导回波效应建模法。然而，这些传统声源定位技术的定位精度和抗干扰能力较低，在嘈杂和混响环境中表现不佳。
4.近年来，随着深度神经网络在机器学习各个领域应用的出现和大量增加，基于深度神经网络的声源定位方法已被提出，并且由于其强大的回归能力，被证明优于传统声源定位方法。相比传统方法，使用深度学习的方法可以通过训练以适应不同的声学条件，如果有来自不同声学条件的训练数据，则可以对噪声和混响进行稳健的处理。
5.然而，针对声源定位技术的研究都需要对声源的真实角度进行精确的定位标注，常见的声源角度标定方法包括设备追踪和人工标注配合的方法。例如，在dcase比赛中，视频中的人物头戴光学跟踪设备，同时其他可发声物体也相应安装着追踪器，由跟踪器提供的所有被跟踪到的声源笛卡尔坐标被转换成相对于麦克风坐标的声源角度(direction of arrival，doa)，最后通过人工观察每个视频来验证标注角度。而locata challenge2020的做法则更加复杂：沿录制区域周边安装10台同步校准的红外摄像机optitrack flex13，同时在发声源处和麦克风的位置上安装了可被红外传感器检测到的反射标记，且每组反射标记的排列都是特定的，独一无二的，保证了optitrack系统可以识别、分辨和确定所有声源和麦克风阵列的角度。最终，optitrack系统通过使用红外摄像机的多点定位，以大约1mm精度和120hz的帧率得到了每个标记位置的真实参考角度。可以看到，这些方法往往是成本高昂且费时费力的。
6.因此，传统的追踪标定方法耗时耗力且成本高昂，不利于声源定位角的自动标定，难以满足该领域的技术要求，亟需一种自动化标定的技术来解决该问题。


技术实现要素：

7.本发明的目的是提供一种基于视频的声源定位角度标定方法、系统、设备及介质，能够实现声源定位角的自动标定，具有较高的鲁棒性和准确率，标定速度快且成本较低。
8.本发明的目的是通过以下技术方案实现的：
9.一种基于视频的声源定位角度标定方法，包括：
10.步骤s1，通过人脸检测算法对摄像机拍摄的视频中每一视频帧内的目标人物进行检测，将获得的检测框的中心点的像素坐标作为一个声源点，通过目标跟踪获得所有视频帧中目标人物对应的声源点；
11.步骤s2，对所述摄像机进行标定，获得内参矩阵与畸变系数；
12.步骤s3，基于所述内参矩阵与畸变系数，对每一声源点分别进行还原，获得每一声源点相对于摄像机的方位角。
13.一种基于视频的声源定位角度标定系统，包括：
14.目标检测跟踪与声源点确定单元，用于执行步骤s1，步骤s1包括：通过人脸检测算法对摄像机拍摄的视频中每一视频帧内的目标人物进行检测，将获得的检测框的中心点的像素坐标作为一个声源点，通过目标跟踪获得所有视频帧中目标人物对应的声源点；
15.摄像机标定单元，用于执行步骤s2，步骤s2包括：对所述摄像机进行标定，获得内参矩阵与畸变系数；
16.声源定位角度标定单元，用于执行步骤s3，步骤s3包括：基于所述内参矩阵与畸变系数，对每一声源点分别进行还原，获得每一声源点相对于摄像机的方位角。
17.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
18.其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
19.一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
20.由上述本发明提供的技术方案可以看出，1)通过成熟的张正友标定法获得了摄像机内部矩阵的参数和畸变系数，该技术方案的理论基础完备，具有高度的可操作性和较低的实施难度，由于棋盘格大小和世界坐标系原点已知，通过简单的计算即可得到标定板角点的物理坐标值；2)通过像素坐标系到相机坐标系的转换，自动地得到声源相对于相机的角度，且具有较高的鲁棒性和可实施性。
附图说明
21.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
22.图1为本发明实施例提供的一种基于视频的声源定位角度标定方法的流程图；
23.图2为本发明实施例提供的成像过程示意图；
24.图3为本发明实施例提供的从像素坐标到摄像机坐标的转换原理图；
25.图4为本发明实施例提供的棋盘格标定板示意图；
26.图5为本发明实施例提供的一种基于视频的声源定位角度标定系统的示意图；
27.图6为本发明实施例提供的一种处理设备的示意图；
具体实施方式
28.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
29.首先对本文中可能使用的术语进行如下说明：
30.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
31.下面对本发明所提供的aaaa方法进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
32.实施例一
33.本发明实施例提供一种基于视频的声源定位角度标定方法，它是一种基于针孔摄像机模型的新型声源角度标注技术，利用相机坐标系与像素坐标系之间的转换，可以计算出视频中的目标相对于摄像机在真实世界中的角度。如图1所示，该方法主要包括如下步骤：
34.步骤s1，通过人脸检测算法对摄像机拍摄的视频中每一视频帧内的目标人物进行检测，将获得的检测框的中心点的像素坐标作为一个声源点，通过目标跟踪获得所有视频帧中目标人物对应的声源点。
35.本发明实施例中，对每一视频帧内的所有目标人物(目标说话人)进行检测，获得的单个检测框为包含单个目标人物的头部区域与肩部区域的矩形框，对于单个目标人物，通过对相邻视频帧中的检测框进行匹配实现目标人物的跟踪；对于每一视频帧，将目标人物数目记为n，第c个目标人物对应的声源点pc的像素坐标为此时的声源点的像素坐标为畸变后的像素坐标，需要进行修正，具体参见后文的说明。
36.示例性的，可以选择基于yolo-v5网络和deepsort算法的人脸检测算法。
37.步骤s2，对所述摄像机进行标定，获得内参矩阵与畸变系数。
38.本发明实施例中，选择张正友标定法对拍摄使用的摄像机进行标定，优选实施方式如下：
39.步骤s21，利用所述摄像机从不同的角度对棋盘格标定板进行拍摄，获取一组棋盘
格图像。
40.步骤s22，从每个棋盘格图像中选取n个角点，并从图像中获得每一个角点的像素坐标(ui,vi)，i＝1...n。
41.步骤s23，由于棋盘格标定板的世界坐标系是事先定义好的，即标定板的每一个格子的大小是已知的，因此根据定义的棋盘格标定板的世界坐标系，计算每一个焦点在世界坐标系下的物理坐标(ui,vi,wi)，且由于张正友标定法将世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标wi＝0。因此，可以得到每张棋盘格图像中每一个角点在世界坐标系下的物理坐标为(ui,vi,wi＝0)，i＝1...n。
42.步骤s24，利用每一个角点的像素坐标(ui,vi)，i＝1...n和对应的在世界坐标系下的物理坐标(ui,vi,wi＝0)，i＝1...n，进行摄像机内参矩阵的标定。
43.本发明基于四个坐标来表示摄像机的成像过程，可以定位像素中目标点在真实三维空间的坐标，相机成像过程如图2示。
44.定义uvw、xyz、xy与uv分别代表世界坐标系、相机坐标系(摄像机坐标系)、图像坐标系和像素坐标系；根据图2所示摄像机的成像过程可知，世界坐标系至像素坐标系的转换关系表示为：
[0045][0046]
上式中，世界坐标系uvw经过刚体变换：得到相机坐标系xyz，上述转换关系表示的是无畸变的相机成像模型，由于摄像机拍摄的图片还存在一定的畸变，因此除了内参矩阵还需要标定畸变系数进而对拍摄的图片进行去畸变处理。
[0047]
其中，矩阵称为摄像机的内参矩阵λ；(u,v,w)为世界坐标系下一点的物理坐标，(u,v)为像素坐标系下的像素坐标；f为摄像机的像距，dx，dy分别表示x，y方向上的一个像素在摄像机感光板(摄像机内部的一个元器件)上的物理长度；u0,v0分别表示摄像机感光板中心在像素坐标系下的坐标，θ表示摄像机感光板的横边和纵边之间的角度；矩阵称为摄像机的外参矩阵，外参矩阵取决于相机坐标系和世界坐标系的相对位置，r表示旋转矩阵，t表示平移矢量，相机坐标
系xyz中的竖轴位置z为尺度因子。
[0048]
由于θ接近于90
°
，因此，令θ＝90
°
，利用所有棋盘格图像中每一个角点的像素坐标(ui,vi)，i＝1...n与对应的在世界坐标系下对应的物理坐标(ui,vi,wi＝0)，i＝1...n，通过矩阵运算求解得到摄像机的内参矩阵λ：
[0049][0050]
步骤s25，利用所有棋盘格图像中每一个角点的像素坐标(ui,vi)，i＝1...n和对应的在世界坐标系下的物理坐标(ui,vi,wi＝0)，i＝1...n，进行摄像机畸变系数的标定：
[0051]
定义二阶径向畸变公式：
[0052][0053][0054]
其中，(x，y)表示图像坐标系xy中的坐标，它是理想的无畸变的归一化的图像坐标，表示畸变后的归一化图像坐标；r为图像像素点到图像中心点的距离，即r2＝x2 y2；系数k1与系数k2为摄像机畸变系数k：
[0055]
图像坐标系与像素坐标系的转换关系为：
[0056][0057]
其中，(ui,vi)为每一个角点的像素坐标，它是理想无畸变的像素坐标，令θ＝90
°
，则有：
[0058][0059][0060]
其中，(xi,yi)为角点的像素坐标(ui,vi)对应的像坐标系xy中的坐标。
[0061]
相应的，畸变后的像素坐标为：
[0062]
[0063][0064]
其中，为畸变后的像素坐标对应的像坐标系xy中的坐标。
[0065]
带入二阶径向畸变公式，获得摄像机畸变系数k。
[0066]
步骤s3，基于所述内参矩阵与畸变系数，对每一声源点分别进行还原，获得每一声源点相对于摄像机的方位角。
[0067]
本发明实施例中，只需要通过相机坐标系和像素坐标系之间的转换，就可以得到真实世界中的声源角度。首先，线性麦克风阵列被放置在相机坐标系的水平轴x轴上，其中心点与相机坐标系的原点重合。因此，可以将视频中的目标点转换到相机坐标系中，并将该点定位为声源点。
[0068]
图3展示了从像素坐标系到相机坐标系的转换过程，其中，xyz、xy与uv分别代表相机坐标系、图像坐标系和像素坐标系，定义oc、o与o
′
分别代表相机坐标系、图像坐标系和像素坐标系的原点。
[0069]
前述步骤s1中获得每一视频帧中，第c个目标人物对应的声源点pc的像素坐标n表示目标人物数目；将声源点pc在相机坐标系中对应点pc的坐标表示为(xc,yc,zc)，相应的，在世界坐标系下对应点的物理坐标表示为(uc,vc,wc)。
[0070]
参见前述步骤s2中的介绍，相机坐标系与图像坐标系的转换关系表示为：
[0071][0072]
图像坐标系与像素坐标系的转换关系(θ＝90
°
)表示为：
[0073][0074]
其中，(x，y)为图像坐标系中的坐标，(xc,yc,zc)为相机坐标系中的坐标，(u,v)为像素坐标系下的像素坐标；f为摄像机的像距，dx，dy分别表示x，y方向上的一个像素在摄像机感光板上的物理长度，u0,v0分别表示摄像机感光板中心在像素坐标系下的坐标；
[0075]
利用畸变系数k对声源点pc的像素坐标进行修正，获得修正后的像素坐标(uc,vc)，它是它是理想无畸变的像素坐标；再利用内参矩阵，结合图像坐标系与像素坐标系的转换关系，以及相机坐标系与图像坐标系的转换关系，求得声源点pc对应的相机坐标系中点pc的坐标(xc,yc,zc)，表示为：
[0076]
pc＝φ(pc,λ)
[0077]
其中，φ表示从像素坐标到相机坐标的转换函数。当所述摄像机为单目相机时，zc＝1，则向量ocpc和轴ocx之间的角度即代表对应声源点pc相对于摄像机的方位角。
[0078]
基于上述原理，在实施过程中，可以利用opencv库中的undistortpoints函数实现以上过程，即undistortpoints函数的输入为相机内参矩阵λ，相机的畸变系数k以及由人脸检测算法得到的像素坐标(uc,vc)，c＝1...n，输出为还原出的声源点的相机坐标(xc,yc,zc＝1)，c＝1...n，通过计算向量ocpc和轴ocx之间的角度得到目标人物相对于摄像机的方位角。
[0079]
下面结合一个具体示例对上述方法的实施过程进行介绍。
[0080]
步骤s1，在长约3～5m，宽约5～10m，高3m的矩形房间里，沿着房间水平面长轴摆放了一个6通道的线性麦克风阵列，并以其中心坐标作为原点，摆放了一个单目摄像机。利用基于yolo-v5网络和deepsort算法的人脸检测算法对该摄像机所拍摄的视频中目标人物的头肩进行检测，得到每一帧视频中多个目标人物头肩框，并将每个目标人物头肩框的中心点所对应的像素坐标点作为一个声源点；同时对相邻帧的多个目标人物头肩框进行匹配，从而实现对目标人物的跟踪；对于每一视频帧，将目标人物数目记为n，第c个目标人物对应的声源点pc的像素坐标为
[0081]
步骤s2，利用拍摄视频所使用的摄像机，从不同的角度对图4所示棋盘格标定板进行拍摄，获取一组棋盘格图像，从每个棋盘格图像中选取n个角点，并从图像中获得每一个角点的像素坐标(ui,vi)，i＝1...n。利用每一个角点的像素坐标(ui,vi)和每一个角点对应在世界坐标系下的物理坐标(ui,vi,wi＝0)计算得到该摄像机的内参矩阵λ和畸变系数k：
[0082][0083]
k＝[-0.34,0.11,0.0,0.0,-0.01]
[0084]
步骤s3，利用opencv库中的undistortpoints函数、相机内参矩阵λ，相机的畸变系数k以及由人脸检测算法得到的多个目标人物的像素坐标可以还原出声源点的相机坐标(xc,yc,zc＝1)，c＝1...n，通过计算向量ocpc和轴ocx之间的角度得到目标人物相对于摄像机的方位角。
[0085]
测试阶段，在录制视频所在的房间中随机摆放了五个被标记的物体作为制定标定点，拍摄两组照片。
[0086]
在房间里，通过五个标定点与摄像机之间的相对距离计算出其真实的角度。在图像的像素坐标中，通过标定五个标定点的像素点对，得到其在像素坐标系中的坐标。随后，使用通过校准得到的相机内参矩阵、相机畸变系数与从图像中获得的像素坐标对，计算出五个物体分别相对于相机的角度作为标定角度。
[0087]
最终，得到的两组标定角度如下表1所示。
[0088]
表1：标定角度与真实角度对比
[0089][0090][0091]
从表1可知，在相机距离物体较远时，标定角度与真实角度误差低于0.5
°
，相对角度误差低于1％，平均角度误差为0.34
°
；在相机距离物体较近时，标定角度与真实角度误差低于4
°
，相对角度误差低于6％，平均角度误差为2.19
°
。
[0092]
通过实验证明，采用本发明标定的声源角度与真实角度的角度误差稳定在极低的范围内，因此该方法在声源角度标定技术上有着较高的鲁棒性和准确率。
[0093]
实施例二
[0094]
本发明还提供一种基于视频的声源定位角度标定系统，其主要基于前述实施例提供的方法实现，如图5所示，该系统主要包括：
[0095]
目标检测跟踪与声源点确定单元，用于执行步骤s1，步骤s1包括：通过人脸检测算法对摄像机拍摄的视频中每一视频帧内的目标人物进行检测，将获得的检测框的中心点的像素坐标作为一个声源点，通过目标跟踪获得所有视频帧中目标人物对应的声源点；
[0096]
摄像机标定单元，用于执行步骤s2，步骤s2包括：对所述摄像机进行标定，获得内参矩阵与畸变系数；
[0097]
声源定位角度标定单元，用于执行步骤s3，步骤s3包括：基于所述内参矩阵与畸变系数，对每一声源点分别进行还原，获得每一声源点相对于摄像机的方位角。
[0098]
本发明实施例中，所述步骤s1中，对每一视频帧内的所有目标人物进行检测，获得的单个检测框为包含单个目标人物的头部区域与肩部区域的矩形框，对于单个目标人物，通过对相邻视频帧中的检测框进行匹配实现目标人物的跟踪；对于每一视频帧，将目标人物数目记为n，第c个目标人物对应的声源点pc的像素坐标为
[0099]
本发明实施例中，所述对所述摄像机进行标定，获得内参矩阵与畸变系数的步骤包括：
[0100]
步骤s21，利用所述摄像机从不同的角度对棋盘格标定板进行拍摄，获取一组棋盘
格图像；
[0101]
步骤s22，从每个棋盘格图像中选取n个角点，并从图像中获得每一个角点的像素坐标(ui,vi)，i＝1...n；
[0102]
步骤s23，根据定义的棋盘格标定板的世界坐标系，计算每一个焦点在世界坐标系下的物理坐标(ui,vi,wi＝0)，i＝1...n；
[0103]
步骤s24，利用每一个角点的像素坐标(ui,vi)，i＝1...n和对应的在世界坐标系下的物理坐标(ui,vi,wi＝0)，i＝1...n，进行摄像机内参矩阵的标定：
[0104]
定义uvw、xyz、xy与uv分别代表世界坐标系、相机坐标系、图像坐标系和像素坐标系，世界坐标系至像素坐标系的转换关系表示为：
[0105][0106]
其中，矩阵称为摄像机的内参矩阵λ；(u,v,w)为世界坐标系下一点的物理坐标，(u,v)为像素坐标系下的像素坐标；f为摄像机的像距，dx，dy分别表示x，y方向上的一个像素在摄像机感光板上的物理长度；u0,v0分别表示摄像机感光板中心在像素坐标系下的坐标，θ表示摄像机感光板的横边和纵边之间的角度；矩阵称为摄像机的外参矩阵，外参矩阵取决于相机坐标系和世界坐标系的相对位置，r表示旋转矩阵，t表示平移矢量，相机坐标系xyz中的竖轴位置z为尺度因子；
[0107]
令θ＝90
°
，利用所有棋盘格图像中每一个角点的像素坐标(ui,vi)，i＝1...n与对应的在世界坐标系下对应的物理坐标(ui,vi,wi＝0)，i＝1...n，通过矩阵运算求解得到摄像机的内参矩阵λ：
[0108][0109]
步骤s25，利用所有棋盘格图像中每一个角点的像素坐标(ui,vi)，i＝1...n和对应的在世界坐标系下的物理坐标(ui,vi,wi＝0)，i＝1...n，进行摄像机畸变系数的标定：
[0110]
定义二阶径向畸变公式：
[0111][0112][0113]
其中，(x，y)表示图像坐标系xy中的坐标，它是理想的无畸变的归一化的图像坐标，表示畸变后的归一化图像坐标；r为图像像素点到图像中心点的距离，即r2＝x2 y2；系数k1与系数k2为摄像机畸变系数k：图像坐标系与像素坐标系的转换关系为：
[0114][0115]
其中，(ui,vi)为每一个角点的像素坐标，它是理想无畸变的像素坐标，令θ＝90
°
，则有：
[0116][0117][0118]
其中，(xi,yi)为角点的像素坐标(ui,vi)对应的像坐标系xy中的坐标。
[0119]
相应的，畸变后的像素坐标为：
[0120][0121][0122]
其中，为畸变后的像素坐标对应的像坐标系xy中的坐标。
[0123]
带入二阶径向畸变公式，获得摄像机的畸变系数k。
[0124]
本发明实施例中，所述基于所述内参矩阵与畸变系数，对每一声源点分别进行还原，获得每一声源点相对于摄像机的方位角的步骤包括：
[0125]
定义xyz、xy与uv分别代表相机坐标系、图像坐标系和像素坐标系，定义oc、o与o
′
分别代表相机坐标系、图像坐标系和像素坐标系的原点；
[0126]
定义每一视频帧中目标人物数目为n，第c个目标人物对应的声源点pc的像素坐标为将声源点pc在相机坐标系中对应点pc的坐标表示为(xc,yc,zc)，相应的，在世界坐标系下对应点的物理坐标表示为(uc,vc,wc)；
[0127]
相机坐标系与图像坐标系的转换关系表示为：
[0128][0129]
图像坐标系与像素坐标系的转换关系表示为：
[0130][0131]
其中，(x，y)为图像坐标系中的坐标，(xc,yc,zc)为相机坐标系中的坐标，(u,v)为像素坐标系下的像素坐标；f为摄像机的像距，dx，dy分别表示x，y方向上的一个像素在摄像机感光板上的物理长度，u0,v0分别表示摄像机感光板中心在像素坐标系下的坐标；
[0132]
像素坐标为畸变的像素坐标，利用畸变系数k对声源点pc的像素坐标进行修正，获得修正后的像素坐标(uc,vc)，它是它是理想无畸变的像素坐标；再利用内参矩阵求得声源点pc对应的相机坐标系中点pc的坐标(xc,yc,zc)，当所述摄像机为单目相机时，zc＝1，则向量ocpc和轴ocx之间的角度即代表对应声源点pc相对于摄像机的方位角。
[0133]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0134]
实施例三
[0135]
本发明还提供一种处理设备，如图6所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
[0136]
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
[0137]
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
[0138]
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
[0139]
输出设备可以为显示终端；
[0140]
存储器可以为随机存取存储器(random access memory，ram)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。
[0141]
实施例四
[0142]
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
[0143]
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是u盘、移动硬盘、只
读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0144]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。