移动机器人的制作方法

1.本发明涉及一种移动机器人，特别是涉及一种可根据相同的光传感器相对不同光源点亮时所获取的图像帧进行避障、定位及物体识别的移动机器人。


背景技术：

2.智能家居是发展智能城市的其中一环，且清洁机器人已经几乎成为智能家居必备的电子产品之一。一般而言，清洁机器人配置有多种功能以增加使用者经验，包含运行区间的地图构建、运行时的障碍物检测和回避等。目前的清洁机器人同时包含多种检测器来进行这些不同的检测功能。
3.例如，清洁机器人包含配置于顶面的传感器，通过获取清洁机器人行经路径的上方图像来实现视觉定位与地图构建(vslam)。此外，清洁机器人还包含前方传感器，通过获取清洁机器人行进方向的前方图像来实现障碍物检测和回避等功能。
4.亦即，过往的清洁机器人需要包含多个传感器以实现不同的检测功能。
5.有鉴于此，本发明提供一种根据相同的光传感器相对不同光源点亮时所获取的图像帧进行避障、定位及物体识别的移动机器人。


技术实现要素：

6.本发明提供一种移动机器人，该移动机器人根据激光二极管发光时光传感器获取的图像帧进行障碍物回避，并根据发光二极管发光时所述光传感器获取的图像帧进行视觉定位与地图构建。
7.本发明还提供一种移动机器人，该移动机器人根据激光二极管发光时光传感器获取的图像帧决定关键区域，并在发光二极管发光时所述光传感器获取的图像帧的所述关键区域内进行物体识别，以降低运算量、降低耗能及提升识别率。
8.本发明提供一种包含第一光源、第二光源、第三光源、光传感器以及处理器的移动机器人。所述第一光源用于在第一期间朝向行进方向投射水平光线段。所述第二光源用于在第二期间朝向所述行进方向投射垂直光线段。所述第三光源用于在第三期间照明所述行进方向的前方区域。所述光传感器用于在所述第一期间、所述第二期间及所述第三期间分别获取第一图像帧、第二图像帧及第三图像帧。所述处理器电性耦接所述第一光源、所述第二光源、所述第三光源及所述光传感器。所述处理器用于根据所述第一图像帧及所述第二图像帧进行测距并根据所述第三图像帧进行视觉定位与地图构建。
9.本发明还提供一种包含第一光源、第二光源、像素阵列以及处理器的移动机器人。所述第一光源用于在第一期间朝向行进方向投射水平光线段。所述第二光源用于在第二期间朝向所述行进方向投射垂直光线段。所述像素阵列包含多个第一像素及多个第二像素，所述多个第一像素通过红外光滤光片接收入射光，但所述多个第二像素不通过任何滤光片接收入射光。所述像素阵列用于在所述第一期间、所述第二期间及所述第一期间与所述第二期间之间的第三期间分别获取第一图像帧、第二图像帧及第三图像帧。所述处理器电性
耦接所述第一光源、所述第二光源及所述像素阵列，用于根据所述第一图像帧及所述第二图像帧进行测距，并根据所述第三图像帧中与所述多个第二像素相关的像素数据进行视觉定位与地图构建。
10.本发明还提供一种包含第一光源、第二光源、第三光源、光传感器以及处理器的移动机器人。所述第一光源用于在第一期间朝向行进方向投射水平光线段。所述第二光源用于在第二期间朝向所述行进方向投射垂直光线段。所述第三光源用于照明所述行进方向的前方区域。所述光传感器用于在所述第一期间及所述第二期间分别获取第一图像帧及第二图像帧。所述处理器电性耦接所述第一光源、所述第二光源、所述第三光源及所述光传感器，并用于根据所述第一图像帧及所述第二图像帧判断障碍物，当判断出所述障碍物时，控制所述第三光源在第三期间点亮并控制所述光传感器在所述第三期间获取第三图像帧，根据所述障碍物的位置在所述第三图像帧中决定关键区域，及使用学习模型识别所述关键区域中的所述障碍物的物体种类。
11.本发明还提供一种包含第一激光光源、第二激光光源、发光二极管光源以及光传感器的移动机器人。所述第一激光光源用于在第一期间朝向行进方向投射水平光线段。所述第二激光光源用于在第二期间朝向所述行进方向投射垂直光线段。所述发光二极管光源用于在第三期间照明所述行进方向的前方区域。所述光传感器用于在所述第一期间、所述第二期间及所述第三期间分别获取第一图像帧、第二图像帧及第三图像帧。
12.本发明实施例中，移动机器人只需使用单一光传感器搭配不同光源的分时运行，即可实现多种检测功能。
13.为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，于本发明的说明中，相同的构件以相同的符号表示，于此合先述明。
附图说明
14.图1a是本发明实施例的移动机器人的示意图；
15.图1b是本发明实施例的移动机器人的元件的方框示意图；
16.图2是本发明第一实施例的移动机器人的运行时序图；
17.图3是本发明实施例的移动机器人的像素阵列的示意图；
18.图4是本发明第二实施例的移动机器人的运行时序图；
19.图5是本发明第二实施例的移动机器人的运行方法的流程图；
20.图6a是本发明实施例的移动机器人的光传感器所获取的第一光源相关的图像帧的示意图；
21.图6b是本发明实施例的移动机器人的光传感器所获取的第二光源相关的图像帧的示意图。
22.附图标记说明：
23.100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
移动机器人
24.11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
光传感器
25.13
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
26.ls1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一光源
27.ls21、ls22
ꢀꢀꢀꢀꢀꢀ
第二光源
28.ls3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第三光源
29.15
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
滤光片
具体实施方式
30.本发明实施例的移动机器人使用单一光传感器搭配不同光源来运行。线光源用于找出障碍物并测量障碍物的距离以作为机器人转向的依据。照明光源用于照明行进方向的前方区域以供视觉定位与地图构建及物体识别。
31.请参照图1a所示，其为本发明实施例的移动机器人100的示意图。图1a显示移动机器人100是清洁机器人，但本发明并不限于此。移动机器人100可以是任何根据取像结果来移动，以进行搬运、联络、指引等的各式电子机器人。
32.请同时参照图1b所示，其为本发明实施例的移动机器人100的方框图。移动机器人100包含第一光源ls1、第二光源ls21和ls22、第三光源ls3、光传感器11以及处理器13，该处理器13例如是特定应用集成电路(asic)或微处理器(mcu)，其利用软件、硬件和/或固件实现其功能。虽然图1b显示两个第二光源，其仅用以说明但非用以限定本发明。移动机器人100可仅包含单一第二光源。
33.第一光源ls1例如包含激光光源及绕射光学组件，该绕射光学组件用于使所述激光光源的发射光通过后产生水平投射光，以使第一光源ls1朝向行进方向投射水平光线段。所述行进方向例如是朝向设置第一光源ls1、第二光源ls21和ls22、第三光源ls3及光传感器11的一侧。
34.第二光源ls21和ls22例如分别包含激光光源及绕射光学组件，该绕射光学组件用于使所述激光光源的发射光通过时产生垂直投射光，以使第二光源ls21和ls22分别朝向所述行进方向投射垂直光线段。
35.本发明中，所述激光光源例如是红外光激光二极管(ir ld)。
36.第三光源ls3例如是红外光发光二极管(led)，用于照明所述行进方向的前方区域。第三光源ls3的照明范围优选大于或等于光传感器11的视野。本发明中，第三光源点ls3点亮时，第一光源ls1及第二光源ls21和ls22熄灭。
37.请参照图2，其为本发明第一实施例的移动机器人100的运行时序图。第一光源ls1在第一期间t1朝向行进方向投射水平光线段。第二光源ls21和ls22在第二期间t2朝向行进方向投射垂直光线段。第三光源点ls3在第三期间t3照明行进方向的前方区域。
38.光传感器11例如是ccd图像传感器或cmos图像传感器，其以取样频率在第一期间t1、第二期间t2及第三期间t3分别获取第一图像帧、第二图像帧及第三图像帧。当第一图像帧中包含障碍物时，所述第一图像帧会出现如图6a所示的断线；当第一图像帧中不包含障碍物时，所述第一图像帧仅包含连续的(无断线)横向直线。当第二图像帧中包含障碍物时，所述第二图像帧会出现如图6b所示的至少一个断线，其中，断线的角度根据障碍物的形状而定，并不限于图6b所示者；然而，当第二图像帧中不包含障碍物时，所述第二图像帧仅包含两条连续的(无断线)倾斜直线。可以了解的是，图6a及6b仅用以说明，而并非用以限定本发明。
39.可以了解的是，由于第二光源ls21和ls22是在行进表面投射两条平行光线段，光传感器11获取的第二图像帧中，两条平行光线段呈现倾斜直线。此外，图6b仅显示光传感器
11检测到的行进表面上的投射光线段。当移动机器人100前方具有墙面时，第二图像帧中的上方会出现由第二光源ls21和ls22所投射的两条垂直光线段。
40.断线在图像帧中出现的位置反映了障碍物在移动机器人100前方的位置。只要事先记录图像帧中的断线位置与障碍物的实际距离的关系，当获取包含断线的图像帧时，即能够据以得到移动机器人100与障碍物的距离。
41.如图6a所示，处理器13已知第一光源ls1在移动机器人100前方的预定距离投射水平光线段，根据三角测距，当水平光线段的影像出现断线时，处理器13即能计算出障碍物的距离及宽度。
42.如图6b所示，处理器13已知第二光源ls21和ls22在移动机器人100的前方投射垂直光线段，根据三角测距，当垂直光线段的影像出现至少一个断线时，处理器13根据断线在垂直光线段的影像(即倾斜直线)中的位置及长度，即能计算出障碍物的距离及高度。
43.处理器13电性耦接第一光源ls1、第二光源ls21和ls22、第三光源ls3及光传感器11，用于控制光源启闭以及图像获取。处理器13还根据所述第一图像帧(例如图6a)及所述第二图像帧(例如图6b)进行测距并根据所述第三图像帧(包含实际被获取的物体图像)进行视觉定位与地图构建(vslam)，其中，vslam的详细实施方式为已知，故于此不再赘述。本发明在于，处理器13根据同一个光传感器11相对不同光源点亮时所获取的图像帧来执行不同检测。
44.请再参照图2所示，光传感器11还在第一期间t1之后的第一光源熄灭期间td1获取第一暗图像帧，其用于与所述第一图像帧进行差分。光传感器11还在第二期间t2之后的第二光源熄灭期间td2获取第二暗图像帧，其用于与所述第二图像帧进行差分。例如，处理器13将第一图像帧减去第一暗图像帧并将第二暗图像帧减去第二暗图像帧，以消除背景噪声。
45.虽然图2显示第一光源熄灭期间td1在第一期间t1之后且第二光源熄灭期间td2在第二期间t2之后，但本发明并不限于此。其他实施方式中，第一光源熄灭期间td1配置在第一期间t1之前且第二光源熄灭期间td2配置在第二期间t2之前。另一种实施方式中，光传感器11在每个循环(每个光源依序点亮的期间)仅撷取一张暗图像帧(例如在t1前、t1及t2之间或t2后)。处理器13则将第一图像帧减去所述暗图像帧并将第二图像帧减去所述暗图像帧(同一张暗图像帧)，如此同样可消除背景噪声并可提高整体图框率。
46.一种实施方式中，光传感器11包含像素阵列，该像素阵列的全部像素都经过红外光滤光片接收入射光。例如，图1b显示光传感器11前方还配置有红外光滤光片15，该红外光滤光片15可以是位于像素阵列前方的光学元件(例如涂布于透镜)，或直接配置于像素阵列的每个像素上。
47.另一种实施方式中，光传感器11的像素阵列包含多个第一像素p
ir
及多个第二像素p
mono
，如图3所示。第一像素p
ir
是红外光像素，亦即像素通过红外光滤光片或薄膜接收入射光。第二像素p
mono
不通过红外光滤光片或薄膜接收入射光，第二像素p
mono
优选不经过任何滤光元件接收入射光。该入射光是移动机器人100前方的地板、墙面、物体等的反射光。
48.在包含两种像素的实施方式中，上述的第一图像帧及第二图像帧是由多个第一像素p
ir
所产生的像素数据所构成。亦即，处理器11仅根据多个第一像素p
ir
所产生的像素数据进行测距。上述的第三图像帧是由多个第一像素p
ir
及多个第二像素p
mono
所产生的像素数据
所共同构成，由于第三光源ls3点亮时，第一像素p
ir
及第二像素p
mono
都能检测红外光。处理器13则配置成相对不同光源的点亮来处理相对应的像素数据。
49.一种实施方式中，像素阵列的多个第一像素p
ir
及多个第二像素p
mono
是如图3所示的以棋盘状排列。其他实施方式中，第一像素p
ir
及第二像素p
mono
可以其他方式排列，例如像素阵列的左半部或上半部是第一像素p
ir
而像素阵列的右半部或下半部为第二像素p
mono
，但本发明并不以此为限。
50.在第一像素p
ir
及第二像素p
mono
是以棋盘状排列的实施方式中，处理器11在计算物体距离前，还先针对所述第一图像帧及所述第二图像帧进行像素内插运算，以在所述第一图像帧及所述第二图像帧中相对第二像素p
mono
的位置填入内插数据后，再进行测距运算。
51.当光传感器11的像素阵列是以棋盘状排列配置时，本发明实施例的移动机器人100还可以其他方式运行，以增加测距及定位(使用vslam)的图框率。图2的实施例中，测距及定位的图框率均为光传感器11的取样频率的1/5。
52.例如参照图4所示，其为本发明第二实施例的移动机器人100的运行时序图。第一光源ls1在第一期间t1朝向行进方向投射水平光线段。第二光源ls21和ls22在第二期间t2朝向所述行进方向投射垂直光线段。
53.光传感器11的像素阵列在第一期间t1、第二期间t2及所述第一期间t1与所述第二期间t2之间的第三期间t3分别获取第一图像帧、第二图像帧及第三图像帧。亦即，光传感器11的像素阵列获取所述第三图像帧时，所有光源均未开启。图4中，第三期间t3显示为斜线矩形区域。
54.处理器13根据所述第一图像帧及所述第二图像帧进行测距(包含找出障碍物并计算距离)，其中，所述第一图像帧及所述第二图像帧是由多个第一像素p
ir
所产生的像素数据所构成。亦即，当第一光源ls1及第二光源ls21和ls22点亮时，第一像素p
ir
相关的像素数据不会受到其他色光的影响，因此处理器13仅根据多个第一像素p
ir
所产生的像素数据来进行测距。
55.此时，第三图像帧是由多个第二像素p
mono
所产生的像素数据所构成。
56.同理，处理器11还根据所述第一图像帧与所述第三图像帧中与第一像素p
ir
相关的像素数据进行差分运算，并根据所述第二图像帧与所述第三图像帧中与第一像素p
ir
相关的像素数据进行差分运算，以消除背景噪声。
57.同理，当第一像素p
ir
及第二像素p
mono
是以棋盘状排列时，处理器11在进行测距前，还针对所述第一图像帧及所述第二图像帧进行像素内插运算，以在所述第一图像帧及所述第二图像帧中相对第二像素p
mono
的位置填入内插数据后，再进行测距运算。
58.第二实施例中，处理器13根据所述第三图像帧中与所述第二像素p
mono
相关的像素数据进行视觉定位与地图构建(vslam)。本实施例中，不点亮第三光源ls3(此时可不包含第三光源ls3)，且由于多个第一像素p
ir
所产生的像素数据已经排除红外光以外的成分，因此本实施例的第三图像帧仅由多个第二像素p
mono
所产生的像素数据所构成。此外，在根据所述第三图像帧进行vslam前，处理器13还可先对所述第三图像帧进行像素内插运算，以在所述第三图像帧中相对第一像素p
ir
的位置填入内插数据。
59.根据图4可看出，测距的图框率提升为光传感器11的取样频率的1/4(例如图框期间包含t1 t2 2
×
t3)，而vslam的图框率提升为光传感器11的取样频率的1/2。
60.然而，当环境光不足时，不点亮第三光源ls3可能导致处理器13无法正确根据所述第三图像帧进行vslam。为解决此问题，处理器11还根据所述第三图像帧识别环境光强度，例如与亮度阈值比较。当根据所述第三图像帧识别环境光属于弱光环境，处理器11还改变第一光源ls1及第二光源ls21和ls22的点亮时序。例如，处理器11控制光源点亮及图像获取改变为如图2所示。亦即，当处于强光环境下(例如第三图像帧的平均亮度大于亮度阈值)，移动机器人100则根据图4的时序运行；而当处于弱光环境下(例如第三图像帧的平均亮度小于亮度阈值)，移动机器人100则根据图2的时序运行。
61.本发明还提供一种根据相同的光传感器11获取的图像进行测距及障碍物识别的移动机器人。当判断障碍物为特定物体时，例如电线，袜子等，移动机器人100则直接从障碍物上方越过；而当判断障碍物为电子装置时，例如手机等，移动机器人100则进行闪避而不从障碍物上方越过。可以直接越过障碍物可事先根据不同应用而定。
62.本实施例的移动机器人100同样如图1a及图1b所示，包含第一光源ls1、第二光源ls21和ls22、第三光源ls3、光传感器11以及处理器13。例如参照图4所示，第一光源ls1在第一期间t1朝向行进方向投射水平光线段；第二光源ls21和ls22在第二期间t2朝向所述行进方向投射垂直光线段。第三光源ls3用于照明所述行进方向的前方区域。
63.如前所述，为了消除环境光的影响，光传感器11还在第一期间t1之前或之后的第一光源熄灭期间(例如图4的t3期间)获取第一暗图像帧用于与第一图像帧进行差分；并在第二期间t2之前或之后的第二光源熄灭期间(例如图4的t3期间)获取第二暗图像帧用于与第二图像帧进行差分。光传感器11则在第一期间t1及第二期间t2分别获取所述第一图像帧及所述第二图像帧。
64.本实施例中，光传感器11的像素阵列例如通过滤光片15接收入射光。
65.处理器13根据所述第一图像帧及所述第二图像帧判断障碍物，其中，判断障碍物的方式已说明于前，故于此不再赘述。在找出障碍物之后，处理器13控制第三光源ls3在第三期间(例如图2的t3期间)点亮并控制光传感器11在所述第三期间获取第三图像帧。
66.本实施例中，在处理器13判断障碍物出现之前，第三光源ls3不被点亮，因此移动机器人100的运行时序如图4所示。当处理器13判断障碍物出现时，控制第三光源ls3点亮并控制光传感器11在第三光源ls3点亮期间获取一张第三图像帧。其他实施方式中可以获取多张第三图像帧，本发明以使用一张第三图像帧为例进行说明。本实施例中，第三图像帧主要用于供事先训练的学习模型进行物体识别。
67.当接收到来自光传感器11的第三图像帧后，处理器13根据所述障碍物的位置(例如断线位置)在所述第三图像帧中决定关键区域roi，如图6a及图6b所示。由于本发明使用单一光传感器，处理器13根据第一图像帧及第二图像帧判断障碍物的位置并决定关键区域roi后，该关键区域roi可直接对应于第三图像帧中的相对区域。
68.一种非限定的实施方式中，关键区域roi具有预定图像尺寸。亦即，当某一障碍物的位置(例如中心或重心，但不限于)决定后，处理器13即在该位置决定具有预定尺寸的关键区域roi。
69.另一种实施方式中，关键区域roi的尺寸是处理器11根据所述第一图像帧及所述第二图像帧决定的。此时，障碍物愈大，关键区域roi则愈大；反之，关键区域roi则愈小。
70.处理器13接着使用事先训练的学习模型(例如以asic或固件内建于处理器11中)
识别关键区域roi中的所述障碍物的物体种类。由于学习模型不识别(例如不计算旋积,convolution)所述第三图像帧中关键区域roi以外的区域，可有效降低识别时的运算量、花费时间及功耗。同时，由于关键区域roi内包含少数物体图像，于识别时较不受其他物体的干扰，可提高识别准确率。
71.此外，为了进一步提高识别率，处理器11还根据所述第二图像帧判断障碍物的高度，例如以图6b中断线的纵向长度h作为所述障碍物的高度。学习模型还根据所述高度识别所述物体种类。
72.一种实施方式中，物体高度是在训练阶段与真实图像(ground truth image)同时作为训练材料，使用数据网络架构(例如包含类神经网络学习算法、深度学习学习算法，但并不限于此)产生所述学习模型。
73.另一种实施方式中，在训练阶段中，数据网络架构仅使用真实图像作为训练材料以产生所述学习模型。在操作时，当所述学习模型根据第三图像帧计算出几种物体的机率时，再以所述高度进行过滤。例如，若所述学习模型所分类出的物体种类的高度超过根据所述第二图像帧判断的高度，即使所述物体种类具有最高机率(probability)，所述学习模型亦将其排除。
74.利用学习模型分类图像中的物体为已知，故于此不再赘述。同时，学习模型与物体高度的搭配识别障碍物的方式并不限于本发明所举出者。
75.一种实施方式中，由于光传感器11的取像频率相对于移动机器人100的移动速度较高，处理器11还控制第一光源ls1、第二光源ls21和ls22及第三光源ls3在第三期间t3(即获取一张第三图框)之后熄灭预定期间，直到障碍物脱离第一光源ls1的投射范围，以避免重复对相同障碍物进行识别。所述预定期间例如可根据移动机器人100的移动速度及根据所述第二图像帧判断的高度来决定。
76.请参照图5所示，其为本发明实施例的移动机器人100的运行方法的流程图，包含下列步骤：开启线光源以检测障碍物(步骤s51)；判断障碍物是否存在(步骤s52)；当障碍物不存在，则回到步骤s51持续检测；而当障碍物存在，开启照明光源并获取第三图像帧(步骤s53)；在第三图像帧中决定关键区域(步骤s54)；以及以学习模型识别物体种类(步骤s55至s56)。本实施例还选择性包含检测物体高度以辅助识别所述物体种类(步骤s57)。
77.本实施例中，所述线光源例如包含上述第一光源ls1及第二光源ls21和ls22。所述照明光源例如包含上述第三光源sl3。可以了解的是，图1a所示的各光源位置仅为例示，并非用以限定本发明。
78.步骤s51：处理器13例如控制第一光源ls1及第二光源ls21和ls22分别如图4的第一期间t1及第二期间t2依序发光。处理器13同时控制光传感器11在第一期间t1及第二期间t2分别获取第一图像帧及第二图像帧。
79.步骤s52：当处理器13判断第一图像帧包含如图6a所示的断线或第二图像帧包含如图6b所示的断线，则判断行进前方具有障碍物。程序接着进入步骤s53。反之，当处理器13判断第一图像帧及第二图像帧均不包含断线，则回到步骤s51持续检测障碍物。
80.当判断第一图像帧或第二图像帧包含断线时，处理器13还记录(例如于内存)断线位置以作为物体位置。
81.步骤s53：处理器13接着控制第三光源sl3点亮，例如在图2所示的第三期间t3。处
理器13同时控制光传感器11在第三期间t3获取第三图像帧，其包含至少一物体图像。在处理器13根据单张图像识别物体的实施例中，处理器13仅控制第三光源sl3开启一个第三期间t3。一种实施方式中，在第三期间t3后，处理器13则控制第一光源ls1及第二光源ls21和ls22回到图4的时序运行。另一种实施方式中，在第三期间t3后，处理器13则控制所有光源暂停发光预定期间，以避免重复检测到相同障碍物，之后再回到图4的时序运行。
82.步骤s54：处理器13接着在所述第三图像帧中决定关键区域roi，该关键区域位于步骤s52决定的物体位置。如前所述，关键区域roi的尺寸可为预先设定或根据第一图像帧的断线宽度w(参照图6a所示)及第二图像帧的断线高度h(参照图6b所示)决定。
83.步骤s55至s56：最后，处理器13根据出厂前训练而得的学习模型识别所述关键区域内的物体图像以判断物体种类。
84.步骤s57：为了提升识别率，当在步骤s52判断存在障碍物时，处理器13另根据第二图像帧判断物体高度，例如根据图6b的h来决定。判断出的物体高度可辅助学习模型分类及识别物体种类。步骤s57可选择性实施。
85.当识别出物体种类后，处理器13可根据事先的设定回避特定障碍物或直接越过某些障碍物。识别出物体种类后的运行，可根据不同应用而设定，并无特定限制。若某些物体无法识别出种类，处理器13可根据事先的设定回避或直接越过这些未知障碍物。
86.必须说明的是，虽然上述实施例中显示第二光源ls21和ls22是同时点亮及同时熄灭，但本发明并不限于此。其他实施方式中，ls21及ls22可依序点亮(光传感器则相对应进行图像获取)，只要能在行进方向前方分别投射垂直光线段即可。
87.此外，第一光源、第二光源及第三光源各别的数目并不限于图1a所示，可分别包含相同的多个光源同时点亮或熄灭。
88.本发明中，所述水平是指与行进表面(例如地面)大致平行，而所述垂直是指与所述行进表面大致垂直。位于行进路径的物体则称为障碍物。
89.此外，本发明的移动机器人100在根据光传感器11所获取的第三图像帧进行视觉定位与地图构建(vslam)之前，可选择先识别出所述第三图像帧中的移动物体，例如人体、宠物等，并将所述移动物体从第三图像帧中移除，由于移动物体可能不会一直存在移动机器人100的运行空间中，以避免处理器13所计算的特征点失效。
90.一种实施方式中，当光传感器11获取一张第三图像帧后，处理器13先根据事先训练的学习模型识别所述第三图像帧中(此时无须决定第三图像帧中的关键区域)的障碍物的物体种类，以区分出移动物体。例如事先定义并记录某些物体种类属于移动物体。若所述第三图像帧中不包含已分类的移动物体，处理器13则根据所述第三图像帧直接进行视觉定位与地图构建。若所述第三图像帧中包含已分类的移动物体，处理器13则根据移除移动物体后的第三图像帧进行视觉定位与地图构建。借此，可提升视觉定位与地图构建的准确度。
91.另一种实施方式中，处理器13根据光传感器11获取的第三图像帧利用光流(optical flow)或相关性(correlation)计算出移动量超过阈值的像素，并将包含高移动量(即大于或等于移动阈值)的多个像素区域识别为移动物体并将其从第三图像帧中除移。接着，处理器13则根据移除移动物体后的第三图像帧进行视觉定位与地图构建。借此，可提升视觉定位与地图构建的准确度。利用光流或相关性计算出像素的移动量的方式为已知，故于此不再赘述。
92.再一种实施方式中，处理器13根据光传感器11获取的第三图像帧计算各像素的深度图(depth map)，并将连续的第三图像帧中，深度变化与其他像素深度不一致的像素视为移动物体相关的像素。例如，当移动机器人朝向墙壁笔直前进时，该墙壁的深度在连续计算时会逐渐变近，若墙边存在其他移动物体，该移动物体的深度变化会与墙壁的深度变化明显不同。因此，处理器13即可根据连续深度图识别出移动物体，并将其从第三图像帧中除移。接着，处理器13则根据移除移动物体后的第三图像帧进行视觉定位与地图构建。借此，可提升视觉定位与地图构建的准确度。计算图像帧中各像素的深度图的方式为已知，故于此不再赘述。
93.本发明中，处理器13识别移动物体的方式并不限于上述三者，处理器13还可根据其他方式识别出第三图像帧中的移动物体以进行移除。固定物体在视觉定位与地图构建中作为移动机器人的运行空间中的障碍物或范围限制。
94.如前所述，第三图像帧是指照明光源点亮时光传感器11获取的图像帧。
95.综上所述，已知清洁机器人使用多种传感器来分别达成不同的检测功能，且具有在障碍物识别时所需的运算量大、时间长、功耗高及识别率低的问题。因此，本发明还提供一种适用于智能家居的移动机器人(例如图1至图2)及其运行方法(例如图5)，其根据单一图像传感器的检测结果同时达成避障、定位及物体识别的目的。
96.虽然本发明已通过前述实施例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识技术人员，在不脱离本发明的构思和范围内，当可作各种的变动与修改。因此本发明的保护范围当视权利要求所界定的范围为准。