用于等距长方投影的物件侦测的方法和电子装置与流程
本发明是有关于一种影像处理技术,且特别是有关于一种用于等距长方投影的物件侦测的方法和电子装置。
背景技术:
1、相机被普遍应用在环境监控、道路安全、视讯会议、运动转播或载具安全设备等各个领域。影像的可视角越多,则用户可得到的信息越完善。为了增加影像的可视角,相机可应用鱼眼镜头来取得全景(panorama)影像,进而取得等距长方(equirectangular,eqt)投影影像。eqt投影影像的极区呈现较高程度的失真。以图1a为例,当物件10往eqt投影影像的极区(即:仰角(elevation angle)较接近90°的区域)前进时,物件10的失真程度逐渐增大。
2、另一方面,物件在eqt投影影像的极区的轨迹也会受到失真的影响而改变。实际上为直线的轨迹可能在eqt投影影像中呈现为曲线。上述的问题可能导致物件追踪(objecttracking)操作失败。以图1b为例,假设物件20的实际轨迹为一直线。当物件从仰角较小的区域移动至仰角较大的区域时,直线轨迹在eqt投影影像中可能呈现为曲线。若基于物件20在仰角较小区域时取得的定界框31和32来预测物件20的未来轨迹以产生定界框33,则定界框33可能与物件20实际所在的位置不匹配。
3、基于上述,如何在eqt投影影像执行物件追踪,是本领域的重要课题之一。
技术实现思路
1、本发明提供一种用于等距长方投影的物件侦测的方法和电子装置,可准确地侦测与追踪eqt投影影像中的物件。
2、本发明的一种用于等距长方投影的物件侦测的方法,包含:对等距长方投影影像执行投影以取得多个区域,其中多个区域包含第一区域;取得对应于第一区域的第一全域侦测结果以及第一本地侦测结果;根据第一全域侦测结果决定对应于第一物件的第一定界框信息,并且根据第一本地侦测结果决定对应于第一物件的第一本地位置以及第一本地位移;根据第一本地位置以及第一本地位移产生第一本地预测位置,并对第一本地预测位置执行第一坐标转换以产生第一全域预测位置;以及根据第一定界框信息以及第一全域预测位置产生第一全域预测结果,并且输出第一全域预测结果。
3、在本发明的一实施例中,上述的方法还包含:根据第一坐标转换的结果预测第一物件位在多个区域中的第二区域;对第一全域预测位置执行对应于第二区域的第二坐标转换以更新第一本地预测位置;以及输出第一物件的第一本地预测结果,其中第一本地预测结果包含第一本地预测位置。
4、在本发明的一实施例中,上述的方法还包含:根据第一坐标转换的结果预测第一物件是否将位在区域边界内;以及回应于预测第一物件将位在区域边界内,计算第一本地预测位置与第一本地位置之间的差值以取得第一本地预测位移,其中第一本地预测结果包含第一本地预测位移。
5、在本发明的一实施例中,上述的方法还包含:回应于预测第一物件将位在区域边界外,将第一本地预测位移设为零。
6、在本发明的一实施例中,上述的方法还包含:对多个区域执行物件侦测以取得对应于第一区域的第一全域侦测结果以及对应于第二区域的第二全域侦测结果,其中第一全域侦测结果还包含第一定界框以及第一信心度,并且第二全域侦测结果包含第二定界框以及第二信心度;判断第一定界框与第二定界框是否对应于相同物件;以及回应于第一定界框与第二定界框对应于相同物件并且第一信心度大于第二信心度,删除第二定界框。
7、在本发明的一实施例中,上述的第一定界框与第二定界框是圆形的,其中判断第一定界框与第二定界框是否对应于相同物件的步骤包含:计算对应于等距长方投影影像的全景影像上的第一定界框与第二定界框之间的弧度,并且根据弧度计算弧长;根据第一定界框的第一半径、第二定界框的第二半径以及弧长近似出交并比;以及回应于交并比大于阈值,判断第一定界框与第二定界框对应于相同物件。
8、在本发明的一实施例中,上述的方法还包含:侦测等距长方投影影像以产生多个侦测结果,并且取得多个预测轨迹信息;计算多个侦测结果中的每一者与多个预测轨迹信息中的每一者之间的交并比以取得多个交并比;以及基于匈牙利算法而根据多个交并比从多个侦测结果中选出与第一预测轨迹信息匹配的第一侦测结果,以产生第一匹配结果。
9、在本发明的一实施例中,上述的方法还包含:判断第一预测轨迹信息与第一侦测结果之间的第一交并比是否小于阈值;以及回应于第一交并比小于阈值,删除第一匹配结果。
10、在本发明的一实施例中,上述的方法还包含:基于匈牙利算法判断多个预测轨迹信息中的第二预测轨迹信息未被成功匹配;回应于判断第二预测轨迹信息未被成功匹配,增加计数值并判断计数值是否大于阈值;以及回应于计数值大于阈值,删除第二预测轨迹信息。
11、在本发明的一实施例中,上述的方法还包含:基于匈牙利算法判断多个侦测结果中的第二侦测结果未被成功匹配;以及回应于判断第二侦测结果未被成功匹配,产生对应于第二侦测结果的第二预测轨迹信息,并且将第二预测轨迹信息的计数值初始化。
12、在本发明的一实施例中,上述的方法还包含:计算第一全域侦测结果与前次第一全域预测结果之间的全域位置变化与定界框变化;以及根据全域位置变化与定界框变化、第一全域预测结果以及权重更新第一全域预测结果。
13、在本发明的一实施例中,上述的方法还包含:对经更新的第一全域预测结果执行第二坐标转换以取得转换结果,并且计算转换结果与第一本地预测位置之间的差值以取得位移;根据经更新的第一全域预测结果预测第一物件是否将位在区域边界内;以及回应于预测第一物件将位在区域边界内,根据转换结果、第一本地预测结果以及权重更新第一本地预测结果。
14、在本发明的一实施例中,上述的方法还包含:回应于预测第一物件在区域边界外,根据转换结果更新第一本地预测结果。
15、在本发明的一实施例中,上述的第一区域与多个区域中的第三区域部分地重迭。
16、在本发明的一实施例中,上述的多个区域中除了第二区域的各个区域不与第二区域重迭。
17、本发明的一种用于等距长方投影的物件侦测的电子装置,包含处理器以及收发器。收发器取得等距长方投影影像。处理器耦接收发器,并且经配置以执行:对等距长方投影影像执行投影以取得多个区域,其中多个区域包含第一区域;取得对应于第一区域的第一全域侦测结果以及第一本地侦测结果;根据第一全域侦测结果决定对应于第一物件的第一定界框信息,并且根据第一本地侦测结果决定对应于第一物件的第一本地位置以及第一本地位移;根据第一本地位置以及第一本地位移产生第一本地预测位置,并对第一本地预测位置执行第一坐标转换以产生第一全域预测位置;以及根据第一定界框信息以及第一全域预测位置产生第一全域预测结果,并且输出第一全域预测结果。
18、本发明的一种用于等距长方投影的物件侦测的方法,包含:对等距长方投影影像执行投影以取得多个区域,其中多个区域包含第一区域以及第二区域,且第一区域与第二区域部分地重迭;对第一区域执行物件侦测以产生第一本地侦测结果,并对第一本地侦测结果执行第一坐标转换以取得对应于多个区域的第一全域侦测结果;对第二区域执行物件侦测以产生第二本地侦测结果,并对第二本地侦测结果执行第二坐标转换以取得对应于多个区域的第二全域侦测结果;以及根据第一全域侦测结果与第二全域侦测结果产生侦测结果,并输出侦测结果。
19、在本发明的一实施例中,上述的第一全域侦测结果包含第一定界框以及第一信心度,并且第二全域侦测结果包含第二定界框以及第二信心度,其中方法还包含:判断第一定界框与第二定界框是否对应于相同物件;以及回应于第一定界框与第二定界框对应于相同物件并且第一信心度大于第二信心度,删除第二定界框。
20、本发明的一种用于等距长方投影的物件侦测的方法,包含:对等距长方投影影像执行方位等距投影以取得多个区域,其中多个区域包含对应于第一仰角范围的第一区域以及对应于第二仰角范围的第二区域;对第一区域与第二区域的至少其中之一执行物件侦测以取得至少一本地侦测结果;以及输出至少一本地侦测结果。
21、在本发明的一实施例中,上述的方法还包含:对多个区域执行物件侦测以取得对应于第一区域的第一全域侦测结果以及对应于第二区域的第二全域侦测结果,其中第一全域侦测结果还包含第一定界框以及第一信心度,并且第二全域侦测结果包含第二定界框以及第二信心度;判断第一定界框与第二定界框是否对应于相同物件;以及回应于第一定界框与第二定界框对应于相同物件并且第一信心度大于第二信心度,删除第二定界框。
22、基于上述,本发明的电子装置可基于仰角的不同将eqt投影影像区分为多个区域,并分别针对所有区域和个别区域执行全域侦测和本地侦测。电子装置可根据侦测结果校正物件侦测算法或物件追踪算法的输出结果,以改善移动物件的追踪。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com