一种图像特征点提取方法、装置、设备及介质与流程

1.本发明涉及视觉计算领域，特别涉及一种图像特征点提取方法、装置、设备及介质。


背景技术：

2.当前，视觉里程计(vo，即visual odometry)技术在生产生活中得到广泛的使用。目前比较广泛得到认可的vslam(即visual simultaneous localization and mapping，视觉同步定位和映射)的方案有orb-slam(orb，即oriented fast and rotated brief)、vins(即visual inertial navigation system，视觉惯性导航系统)等，然而，上述基于视觉特征点检测的方法在进行图像特征点提取时采用固定步距对每帧图像进行采样从而导致效率较低的问题，而在arm工控主板(arm，即advanced risc machines)或者手机端使用时，会存在速度较慢，功耗较高的问题。综上，在图像特征点提取时存在效率低速度慢的问题有待进一步解决。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种是图像特征点提取方法、装置、设备及介质，可以有效解决在图像特征点提取时存在效率低速度慢的问题。
4.其具体方案如下：
5.第一方面，本技术公开了一种图像特征点提取方法，包括：
6.获取上一帧图像的目标跟踪点的数量；
7.判断所述目标跟踪点的数量是否小于第一预设阈值；
8.如果所述目标跟踪点的数量小于所述第一预设阈值，则确定当前帧图像中的目标图像区域，并获取所述目标图像区域中的特征点数量；
9.基于所述特征点数量对预设特征点检测步距进行调整；
10.根据调整后的特征点检测步距对所述当前帧图像进行特征点提取。
11.可选的，所述判断所述目标跟踪点的数量是否小于第一预设阈值之后，还包括：
12.如果所述目标跟踪点的数量不小于所述第一预设阈值，则基于所述预设特征点检测步距对所述当前帧图像进行特征点提取。
13.可选的，所述确定当前帧图像中的目标图像区域，包括：
14.获取所述上一帧图像对应的上一帧位姿，并基于所述上一帧位姿预测所述当前帧图像的当前帧位姿；
15.根据所述上一帧位姿和所述当前帧位姿确定机器移动范围；
16.基于所述机器移动范围在所述当前帧图像中确定出目标图像区域。
17.可选的，所述基于所述特征点数量对预设特征点检测步距进行调整，包括：
18.将所述特征点数量和第二预设阈值进行比较，根据比较结果对预设特征点检测步距进行调整。
19.可选的，所述将所述特征点数量和第二预设阈值进行比较，根据比较结果对预设特征点检测步距进行调整，包括：
20.判断所述特征点数量是否大于第二预设阈值；
21.如果所述特征点数量大于所述第二预设阈值，则对预设特征点检测步距进行增加得到增加后的特征点检测步距；
22.如果所述特征点数量小于或等于所述第二预设阈值，则对所述预设特征点检测步距进行减小得到减小后的特征点检测步距。
23.可选的，所述根据调整后的特征点检测步距对当前帧图像进行特征点提取，包括：
24.将所述目标图像区域确定为当前采样区域；
25.基于调整后的特征点检测步距对所述当前采样区域进行特征点提取。
26.可选的，所述基于所述特征点数量对预设特征点检测步距进行调整，包括：
27.确定所述第一预设阈值与所述目标跟踪点的数量之间的差值；
28.基于所述差值以及所述特征点数量确定检测步距调整幅度；
29.根据所述检测步距调整幅度对预设特征点检测步距进行相应调整。
30.第二方面，本技术公开了一种图像特征点提取装置，包括：
31.跟踪点获取模块，用于获取上一帧图像的目标跟踪点的数量；
32.第一判断模块，用于判断所述目标跟踪点的数量是否小于第一预设阈值；
33.特征点数量统计模块，用于如果所述目标跟踪点的数量小于所述第一预设阈值，则确定当前帧图像中的目标图像区域，并获取所述目标图像区域中的特征点数量；
34.步距调整模块，用于基于所述特征点数量对预设特征点检测步距进行调整；
35.特征点提取模块，用于根据调整后的特征点检测步距对所述当前帧图像进行特征点提取。
36.第三方面，本技术公开了一种电子设备，包括：
37.存储器，用于保存计算机程序；
38.处理器，用于执行所述计算机程序，以实现前述公开的所述的图像特征点提取方法的步骤。
39.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的所述的图像特征点提取方法的步骤。
40.本技术在进行图像特征点提取时，先获取上一帧图像的目标跟踪点的数量，判断所述目标跟踪点的数量是否小于第一预设阈值，如果所述目标跟踪点的数量小于所述第一预设阈值，则确定当前帧图像中的目标图像区域，并获取所述目标图像区域中的特征点数量，然后基于所述特征点数量对预设特征点检测步距进行调整，最后根据调整后的特征点检测步距对所述当前帧图像进行特征点提取。可见，本技术在对当前帧图像进行特征点提取时，先确定出上一帧图像的目标跟踪点的数量，然后在上述目标跟踪点的数量小于预设阈值时，会基于当前帧图像中的目标图像区域上的特征点数量来对预设特征点检测步距来进行调整，以利用调整后的特征点检测步距来对当前帧图像进行特征点检测，也就是说，本技术会在上一帧图像的目标跟踪点的数量小于一定程度的情况下，根据当前帧图像中的目标图像区域上的特征点数量来对预设特征点检测步距来进行适应性的调整，以使得调整后的特征点检测步距能够更好地适应当前的特征点数量水平，避免出现由于采用不合适的特
征点检测步距而导致的特征点提取效率低的问题。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
42.图1为本技术提供的一种图像特征点提取方法流程图；
43.图2为本技术提供的一种具体的图像特征点提取方法流程图；
44.图3为本技术提供的一种具体的图像特征点提取方法流程图；
45.图4为本技术提供的一种图像特征点提取装置结构示意图；
46.图5为本技术提供的一种电子设备结构图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.在目前比较收到广泛认可的vslam的方案中，有orb-slam、vins等，然而，这种基于视觉特征点检测的方法效率较低，在arm工控主板或者手机端使用时，会存在速度较慢功耗较高的问题。为此，本技术提供了一种图像特征点提取方法能够有效避免效率低速度慢的问题。
49.本发明实施例公开了一种图像特征点提取方法，参见图1所示，该方法包括：
50.步骤s11：获取上一帧图像的目标跟踪点的数量。
51.具体地，通过对上一帧图像中检测到的特征点进行跟踪，并获取跟踪到的目标跟踪点的数量。可以理解的是，在视觉里程计图像处理过程中，由于图像每一帧之间存在差别，通过对上一帧图片中的特征点进行跟踪，可以判断上一帧成功跟踪的特征点，并将成功跟踪的特征点确定为目标跟踪点，并统计目标跟踪点的数量，以便于进行后续的判断。
52.步骤s12：判断所述目标跟踪点的数量是否小于第一预设阈值。
53.具体地，第一预设阈值是指预先设定的目标跟踪点阈值，其中第一预设阈值可以根据实际应用需要来确定，在此不对其进行具体限定。将目标跟踪点个数和第一预设阈值进行比较，根据目标跟踪点个数与第一预设阈值的比较结果，确定是否需要进行特征点检测步距的调整。
54.步骤s13：如果所述目标跟踪点的数量小于所述第一预设阈值，则确定当前帧图像中的目标图像区域，并获取所述目标图像区域中的特征点数量。
55.具体地，如果所述目标跟踪点的数量小于所述第一预设阈值时，则可以在当前帧图像中确定出目标图像区域，并统计所述目标图像区域中的特征点数量。
56.在具体实施例中，在当前帧图像中确定出目标图像区域的步骤可以包括，首先获取基于所述上一帧图像对应的跟踪点确定的上一帧位姿参数，并基于所述上一帧位姿参数
确定相应的机器移动范围，然后基于所述机器移动范围在当前帧图像中确定出目标图像区域。可以理解的是，所述机器移动范围为机器上下左右移动的距离，并根据机器上下左右移动的距离确定出目标图像区域，并得到所述目标图像区域中特征点的数量。
57.在一些实施例中，具体还可以基于所述目标跟踪点所在的区域来确定出当前帧图像的上述目标图像区域。
58.在一种具体实施方式中，可以将当前帧图像中的位于目标跟踪点所在区域之外的周围画面区域确定为上述目标图像区域。其中，上述周围画面区域具体可以是指当前帧图像中除了目标跟踪点所在区域之外的其余所有的画面区域，也可以是指当前帧图像中位于目标跟踪点所在区域之外的并且与所述目标跟踪点所在区域相距预设距离值的周围画面区域。可以理解的是，上述预设距离值可以由人工进行灵活配置。当然，在另一种具体实施方式中，也可以将当前帧图像上的包含所述目标跟踪点所在区域在内的画面区域作为上述目标图像区域。
59.在一些实施例中，如果所述目标跟踪点的数量等于所述第一预设阈值，则基于所述预设特征点检测步距对当前帧图像进行特征点提取，并基于跟踪到的特征点确定当前帧图像对应的位姿参数。
60.步骤s14：基于所述特征点数量对预设特征点检测步距进行调整，并根据调整后的特征点检测步距对当前帧图像进行特征点提取。
61.本实施例中，基于所述特征点数量对预设特征点检测步距进行调整，包括将所述特征点数量和第二预设阈值进行比较，根据比较结果对预设特征点检测步距进行调整。
62.在一些实施例中，将所述特征点数量和第二预设阈值进行比较，根据比较结果对预设特征点检测步距进行调整，包括判断所述特征点数量是否大于第二预设阈值，如果所述特征点数量大于所述第二预设阈值，则对预设特征点检测步距进行增加以降低特征点采样率，得到增加后的特征点检测步距，然后基于增加后的特征点检测步距对当前帧图像进行特征点提取。反之，如果所述特征点数量小于或等于所述第二预设阈值，则对所述预设特征点检测步距进行减小以增大特征点采样率，得到减小后的特征点检测步距，然后基于减小后的特征点检测步距对当前帧图像进行特征点提取，以基于跟踪到的特征点确定当前帧图像对应的位姿参数。
63.在本实施例中，所述第二预设阈值指的是判断所述特征点数量的阈值，根据所述特征点数量是否大于第二阈值，以便于后续确定具体是将预设特征点检测步距调大或者调小。
64.在一些实施例中，将所述特征点数量和第二预设阈值进行比较，根据比较结果对预设特征点检测步距进行调整的过程中，包括，确定所述第一预设阈值与所述目标跟踪点的数量之间的差值，并基于所述差值以及所述特征点数量确定检测步距调整幅度，然后根据所述检测步距调整幅度对预设特征点检测步距进行相应的调整，以调整特征点采样率。可以理解的是，当所述第一预设阈值与所述目标跟踪点的数量之间的差值越大时，检测步距调整幅度也就越大，反之当所述第一预设阈值与所述目标跟踪点的数量之间的差值越小时，检测步距调整幅度也就越小。
65.也即，本实施例中，如果所述特征点数量大于所述第二预设阈值，则首先确定所述第一预设阈值与所述目标跟踪点的数量之间的差值，并基于所述差值以及所述特征点数量
确定检测步距增加幅度，然后根据所述检测步距增加幅度对预设特征点检测步距进行相应的增加以降低特征点采样率。可以理解的是，当所述第一预设阈值与所述目标跟踪点的数量之间的差值越大时，检测步距增加幅度也就越大，反之当所述第一预设阈值与所述目标跟踪点的数量之间的差值越小时，检测步距增加幅度也就越小。
66.当所述特征点数量小于或等于所述第二预设阈值，则对所述预设特征点检测步距进行减小以增大特征点采样率，然后基于减小后的特征点检测步距对当前帧图像进行特征点提取，并基于跟踪到的特征点确定当前帧图像对应的位姿参数。在确定减小的步距幅度时，首先确定所述第一预设阈值与所述目标跟踪点的数量之间的差值，并基于所述差值以及所述特征点数量确定检测步距减小幅度，然后根据所述检测步距减小幅度对预设特征点检测步距进行相应的减小以增加特征点采样率。需要指出的是，最小的步距即为1像素，当步距减小到1像素时，则无法再减小步距，则采用1像素的步距进行后续对当前帧图像进行特征点提取，并基于跟踪到的特征点确定当前帧图像对应的位姿参数。
67.可见，本技术实施例在对当前帧图像进行特征点提取时，先确定出上一帧图像的目标跟踪点的数量，然后在上述目标跟踪点的数量小于预设阈值时，会基于当前帧图像中的目标图像区域上的特征点数量来对预设特征点检测步距来进行调整，以利用调整后的特征点检测步距来对当前帧图像进行特征点检测，也就是说，本技术实施例会在上一帧图像的目标跟踪点的数量小于一定程度的情况下，根据当前帧图像中的目标图像区域上的特征点数量来对预设特征点检测步距来进行适应性的调整，以使得调整后的特征点检测步距能够更好地适应当前的特征点数量水平，避免出现由于采用不合适的特征点检测步距而导致的特征点提取效率低的问题。
68.参见图2所示，本发明实施例公开了一种具体的图像特征点提取方法，相对于上一实施例，本实施例对技术方案作了进一步说明和优化。
69.步骤s21：获取上一帧图像的目标跟踪点的数量；
70.步骤s22：判断所述目标跟踪点的数量是否小于第一预设阈值；
71.步骤s23：如果所述目标跟踪点的数量小于所述第一预设阈值，则确定当前帧图像中的目标图像区域，并获取所述目标图像区域中的特征点数量；
72.其中，关于上述步骤s21至s23的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
73.步骤s24：基于所述特征点数量对预设特征点检测步距进行调整，并将当前帧图像的整张图像画面确定为当前采样区域，基于调整后的特征点检测步距对所述当前采样区域进行特征点提取。
74.本实施例中，当所述目标图像区域中的特征点数量大于第二预设阈值时，会对预设特征点检测步距进行增加，也即降低特征点采样率，并且接着将当前帧图像中的整张图像画面作为当前的采样区域，并基于上述增加后的特征点检测步距对当前正常图像画面进行特征点采样；反之当所述目标图像区域中的特征点数量小于等于第二预设阈值时，会对预设特征点检测步距进行减小，也即增加特征点采样率，并且接着将当前帧图像中的整张图像画面作为当前的采样区域，并基于上述减小后的特征点检测步距对当前正常图像画面进行特征点采样。这样一来比较准确全面地检测出当前整张图像画面的特征点分布情况，并据此展开后续的特征点跟踪和位姿计算，有利于提升位姿参数的准确性。
75.参见图3所示，本发明实施例公开了一种具体的图像特征点提取方法，相对于上一实施例，本实施例对技术方案作了进一步说明和优化。
76.步骤s31：获取上一帧图像的目标跟踪点的数量；
77.步骤s32：判断所述目标跟踪点的数量是否小于第一预设阈值；
78.步骤s33：如果所述目标跟踪点的数量小于所述第一预设阈值，则确定当前帧图像中的目标图像区域，并获取所述目标图像区域中的特征点数量；其中，关于上述步骤s31至s33的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
79.步骤s34：基于所述特征点数量对预设特征点检测步距进行调整，并将所述目标图像区域确定为当前采样区域，基于调整后的特征点检测步距对所述当前采样区域进行特征点提取。
80.需要指出的是，在对预设特征点检测步距进行增加后，为了减少检测区域的面积，本实施例并非是对整张图像画面进行特征点采样，而是选择对所述目标图像区域进行特征点采样，如此一来，可以避免再对所述目标跟踪点所在区域进行重复采样，从而减少了检测区域面积，有利于提升特征点检测速度。
81.可见，在本实施例中通过对将所述目标图像区域确定为当前采样区域，并对采样区域进行特征点采样，计算量相较于对整张图的计算量减小，从而提高计算效率。
82.相应的，参见图4所示，本技术实施例公开了一种图像特征点提取装置，包括：
83.跟踪点获取模块11，用于获取上一帧图像的目标跟踪点的数量；
84.第一判断模块12，用于判断所述目标跟踪点的数量是否小于第一预设阈值；
85.特征点数量统计模块13，用于如果所述目标跟踪点的数量小于所述第一预设阈值，则确定当前帧图像中的目标图像区域，并获取所述目标图像区域中的特征点数量；
86.步距调整模块14，用于基于所述特征点数量对预设特征点检测步距进行调整；
87.特征点提取模块15，用于根据调整后的特征点检测步距对所述当前帧图像进行特征点提取。
88.可见，本技术实施例在对当前帧图像进行特征点提取时，先确定出上一帧图像的目标跟踪点的数量，然后在上述目标跟踪点的数量小于预设阈值时，会基于当前帧图像中的目标图像区域上的特征点数量来对预设特征点检测步距来进行调整，以利用调整后的特征点检测步距来对当前帧图像进行特征点检测，也就是说，本技术实施例会在上一帧图像的目标跟踪点的数量小于一定程度的情况下，根据当前帧图像中的目标图像区域上的特征点数量来对预设特征点检测步距来进行适应性的调整，以使得调整后的特征点检测步距能够更好地适应当前的特征点数量水平，避免出现由于采用不合适的特征点检测步距而导致的特征点提取效率低的问题。
89.在一些具体实施例中，所述特征点提取模块15，还用于如果所述目标跟踪点的数量不小于所述第一预设阈值，则基于所述预设特征点检测步距对所述当前帧图像进行特征点提取。
90.在一些具体实施例中，特征点数量统计模块13，具体包括：
91.位姿确定单元，用于获取所述上一帧图像对应的上一帧位姿，并基于所述上一帧位姿预测所述当前帧图像的当前帧位姿；机器移动确定单元，用于根据所述上一帧位姿和所述当前帧位姿确定机器移动范围；
92.目标区域确定单元，用于基于所述机器移动范围在所述当前帧图像中确定出目标图像区域。
93.在一些具体实施例中，步距调整模块14，具体用于将所述特征点数量和第二预设阈值进行比较，根据比较结果对预设特征点检测步距进行调整。
94.在一些具体实施例中，步距调整模块14，具体包括：
95.差值确定单元，用于确定所述第一预设阈值与所述目标跟踪点的数量之间的差值；
96.步距幅度确定单元，用于基于所述差值以及所述特征点数量确定检测步距调整幅度；
97.步距调整单元，用于根据所述检测步距调整幅度对预设特征点检测步距进行相应调整。
98.在一些具体实施例中，所述特征点提取模块15，还具体用于：
99.将目标图像区域确定为当前采样区域；
100.基于调整后的特征点检测步距对所述当前采样区域进行特征点提取。
101.图5所示为本技术实施例提供的一种电子设备20。该电子设备20，具体还可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的图像特征点提取方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
102.本实施例中，电源23用于为电子设备20上的各硬件设备提供电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
103.另外，存储器22作为资源储存的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221，计算机程序222等，存储方式可以是短暂存储或者永久存储。
104.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的图像特征点提取方法的计算机程序外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
105.进一步的，本技术还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的图像特征点提取方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
106.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者
设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
107.以上对本发明所提供的一种图像特征点提取方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。