一种目标跟踪方法及电子设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种目标跟踪方法及电子设备。


背景技术：

2.随着图像处理技术的不断发展，目标跟踪在智能视频监控、自动驾驶和无人超市等领域广泛应用。一般地，电子设备可以在预先获取到的一帧或多帧图像中获取指定物体的特征，并保存该指定物体的特征。之后，电子设备可以将从后续采集到的图像帧中候选目标的特征与指定物体的特征进行特征匹配。若候选目标的特征和已保存的跟踪目标的特征相匹配，则电子设备可以确定当前图像帧中的候选目标为跟踪目标，并标记出跟踪目标的位置。
3.但是，现有的目标跟踪方法是针对拍摄画面中一些指定物体(例如人物)的跟踪，对于一些非指定物体(例如动物)，无法进行识别并跟踪。


技术实现要素：

4.本技术提供了一种目标跟踪方法及电子设备，该方法实现了对指定目标和非指定目标采取不同的跟踪方法，解决了目前电子设备无法对非指定目标跟踪的问题，实现了万物跟踪。
5.第一方面，本技术提供了一种目标跟踪方法，包括：电子设备显示第一拍摄界面，第一拍摄界面上显示摄像头实时采集到的图像；电子设备判断摄像头实时采集到的图像中是否包括有与预设目标特征模板相匹配的指定目标；当摄像头实时采集到的图像中不包括有与预设目标特征模板相匹配的指定目标时，电子设备接收并响应于作用于摄像头实时采集到的图像上的第一输入操作，确定出用户在摄像头实时采集到的图像上选中的第一区域；电子设备提取出摄像头实时采集到的图像上第一区域中的第一图像特征；在提取到第一图像特征后，电子设备基于第一图像特征，从摄像头实时采集到的图像中确定出与第一图像特征的相似度大于第一值的第二区域；电子设备基于第二区域，从摄像头实时采集到的图像上裁剪出第一裁剪图像，第一裁剪图像包括第二区域；电子设备显示第二拍摄界面，第二拍摄界面显示第一裁剪图像。
6.该方法实现了对指定目标和非指定目标采取不同的跟踪方法，解决了目前电子设备无法对非指定目标跟踪的问题，实现了万物跟踪。
7.结合第一方面，在一种可能的实现方式中，在电子设备显示第二拍摄界面，第二拍摄界面显示第一裁剪图像之后，方法还包括：电子设备提取出摄像头实时采集到的图像上第二区域中的第二图像特征；在提取到第二图像特征后，电子设备基于第二图像特征，从摄像头实时采集到的图像中确定出与第二图像特征的相似度大于第一值的第三区域；电子设备基于第三区域，从摄像头实时采集到的图像上裁剪出第二裁剪图像，第二裁剪图像包括第三区域；电子设备显示第三拍摄界面，第三拍摄界面显示第二裁剪图像。这样，电子设备可以每隔预设帧数对跟踪目标的特征进行更新，由于跟踪目标由于运动发生形变，跟踪目
标的特征也会变化。
8.结合第一方面，在一种可能的实现方式中，在电子设备显示第二拍摄界面，第二拍摄界面显示第一裁剪图像之后，方法还包括：电子设备提取出摄像头实时采集到的图像上第二区域中的第二图像特征；电子设备将第二图像特征与第一图像特征做加权运算，得到第三图像特征；在得到到第三图像特征后，电子设备基于第三图像特征，从摄像头实时采集到的图像中确定出与第三图像特征的相似度大于第一值的第四区域；电子设备基于第四区域，从摄像头实时采集到的图像上裁剪出第三裁剪图像，第三裁剪图像包括第四区域；电子设备显示第四拍摄界面，第四拍摄界面显示第三裁剪图像。这样，电子设备将每两帧图像的跟踪目标的特征进行加权运算，得到新的特征作为跟踪目标的特征，由于跟踪目标由于运动发生形变，跟踪目标的特征也会变化。
9.结合第一方面，在一种可能的实现方式中，在电子设备显示第二拍摄界面，第二拍摄界面显示第一裁剪图像之后，方法还包括：电子设备接收用户的第二输入操作；响应于第二输入操作，电子设备显示第五拍摄界面，第五拍摄界面显示摄像头实时采集到的图像。这样，电子设备可以根据用户的需求结束目标跟踪。第二输入操作可以是点击第二拍摄界面中的结束跟踪功能控件，或者，第二输入操作还可以是声控操作等等。结束目标跟踪之后，电子设备显示的是实时采集的图像，不在对实时采集的图像进行裁剪。
10.结合第一方面，在一种可能的实现方式中，方法还包括：基于第一区域在摄像头实时采集的图像中的位置，电子设备在摄像头实时采集的图像中确定出第五区域，第五区域包括第一区域；电子设备基于第一图像特征，从摄像头实时采集的图像中确定出与第一图像特征的相似度大于第一值的第二区域，具体包括：电子设备基于第一图像特征，从摄像头实时采集到的图像中第五区域中确定出与第一图像特征的相似度大于第一值的第二区域。电子设备是以第一区域来确定在下一帧图像中的搜索区域，即第五区域为搜索区域。具体的，电子设备以第一区域的中心点为中心，以第一区域的尺寸的m倍为搜索区域，即第五区域。电子设备将第五区域内的每个像素点与跟踪目标的特征做运算，得到第五区域中每个像素点的响应值，第五区域内像素点的最大响应值大于预设值，则表示该帧图像中有跟踪目标，将该帧图像中最大响应点对应的像素点为该帧图像中的跟踪目标的中心点。
11.结合第一方面，在一种可能的实现方式中，电子设备接收并响应于作用于摄像头实时采集到的图像上的第一输入操作之前，方法还包括：电子设备接收并响应于作用于摄像头实时采集到的图像上的第六区域内的点击操作，在摄像头实时采集到的图像上的第六区域上显示第一目标框；在电子设备在摄像头实时采集到的图像上的第六区域内显示第一目标框之后，电子设备获取摄像头实时采集的图像，在摄像头实时采集到的图像上显示第二目标框；第二目标框中的图像内容包括第一目标框内的图像内容；电子设备接收并响应于作用于摄像头实时采集到的图像上的第一输入操作，确定出用户在摄像头实时采集到的图像上选中的第一区域，具体包括：电子设备接收并响应于作用于摄像头实时采集到的图像上的第二目标框的点击操作，第二目标框在摄像头实时采集到的图像上的区域为第一区域；第一区域包括第六区域。这样，对于非指定目标，由于电子设备不能自动识别出图像中的非指定目标，电子设备可以接收用户手动确认出非指定目标在图像帧中的位置，即电子设备接收并响应于作用于摄像头实时采集到的图像上的第六区域内的点击操作，在摄像头实时采集到的图像上的第六区域上显示第一目标框。第一目标框用于圈定用户的点击的位
置坐标。之后，第一目标框逐渐变大，直至将非指定目标的图像完整圈住，即电子设备获取摄像头实时采集的图像，在摄像头实时采集到的图像上显示第二目标框；第二目标框中的图像内容包括第一目标框内的图像内容。当第二目标框将非指定目标的完整图像全部圈住之后，电子设备可以接收用户的点击操作，使得第二目标框的尺寸不再变化，即电子设备接收并响应于作用于摄像头实时采集到的图像上的第二目标框的点击操作，第二目标框在摄像头实时采集到的图像上的区域为第一区域；第一区域包括第六区域。
12.在一种可能的实现方式中，电子设备确认第二目标框将非指定目标的完整图像全部圈住之后，电子设备不需要接收作用于摄像头实时采集到的图像上的第二目标框的点击操作，使得第二目标框的尺寸不再变化，电子设备可以自动控制二目标框的尺寸不再变化。
13.在另一种可能的实现方式中，电子设备接收并响应于作用于摄像头实时采集到的图像上的第六区域内的点击操作，在摄像头实时采集到的图像上的第六区域上显示第一目标框之后，第一目标框可以接收用户的拖拉操作，从第一目标框得到第二目标框，第二目标框包括的图像为非指定目标的完整图像。
14.结合第一方面，在一种可能的实现方式中，电子设备接收并响应于作用于摄像头实时采集到的图像上的第一输入操作，确定出用户在摄像头实时采集到的图像上选中的第一区域，具体包括：电子设备接收并响应于作用于摄像头实时采集到的图像上的滑动操作，确定滑动操作的滑动轨迹的区域为第一区域。即电子设备可以接收用户的在图像帧上的滑动操作确定出非指定目标在图像帧中的位置。
15.结合第一方面，在一种可能的实现方式中，方法还包括：电子设备在第一裁剪图像上的第八区域显示第一跟踪框，第八区域中的图像内容与第二区域中的图像内容相同，第八区域中的图像尺寸与第二区域中的图像尺寸不同。电子设备显示跟踪框，以标识出跟踪目标在图像中的位置。图像裁剪前后，电子设备显示的跟踪目标的图像大小不一样。电子设备显示对实时采集的图像裁剪后的图像，第八区域为裁剪后的图像显示跟踪框的区域，第二区域为裁剪前的图像，包括完整跟踪目标的图像。
16.结合第一方面，在一种可能的实现方式中，方法还包括：当摄像头实时采集到的图像中包括有与预设目标特征模板相匹配的指定目标时，电子设备在摄像头实时采集到的图像上指定目标的周围显示标记信息；电子设备接收并响应于作用于摄像头实时采集到的图像上的第二输入操作，电子设备获取摄像头实时采集到的图像；电子设备基于预设目标特征模板，从摄像头实时采集到的图像中确定出与目标特征模板的相似度大于第二值的第九区域；电子设备基于第九区域，从摄像头实时采集到的图像上裁剪出第四裁剪图像，第四裁剪图像包括第九区域；电子设备显示第六拍摄界面，第六拍摄界面显示第一裁剪图像。电子设备显示的图像帧中可以包括指定目标，当电子设备自动识别出图像帧中的指定目标后，电子设备可以在指定目标的周围显示标记信息(例如目标框或类别)，电子设备接收用户的点击操作从多个指定目标中确定出一个指定目标为跟踪目标。
17.结合第一方面，在一种可能的实现方式中，方法还包括：电子设备在提取到第一图像特征后，基于第一图像特征，从摄像头实时采集到的连续t帧图像中没有确定出与第一图像特征的相似度大于第一值的区域；电子设备显示第七拍摄界面，第七拍摄界面显示摄像头实时采集到的图像。这样，当电子设备在摄像头实时采集到的连续t帧图像中没有跟踪到非指定目标时，即确定电子设备对该非指定目标的跟踪失败，电子设备将显示电子设备实
时采集的图像。
18.第二方面，本技术提供另了一种电子设备，包括一个或多个处理器、一个或多个存储器、摄像头；一个或多个存储器、摄像头与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得电子设备执行上述第一方面任一可能的实现方式中的一种目标跟踪方法。
19.第三方面，本技术提供了一种计算机可读存储介质，包括指令，当指令在电子设备上运行时，使得电子设备执行上述第一方面任一可能的实现方式中的一种目标跟踪方法。
20.该方法实现了对指定目标和非指定目标采取不同的跟踪方法，解决了目前电子设备无法对非指定目标跟踪的问题，实现了万物跟踪。
附图说明
21.图1为本技术实施例提供的一种电子设备100的结构示意图；
22.图2为本技术实施例提供的一种电子设备100的软件结构框图；
23.图3-图5示例性示出了本技术实施例提供的一组开启相机应用的界面示意图；
24.图6-图7示例性示出了本技术实施例提供的一组开启目标跟踪功能的界面示意图；
25.图8-图10示例性示出了本技术实施例提供的一组开启目标跟踪功能的界面示意图；
26.图11-图13示例性示出了本技术实施例提供的一组确定跟踪目标的界面示意图；
27.图14-图16示例性示出了本技术实施例提供的一组电子设备100目标跟踪成功的界面示意图；
28.图17-图18示例性示出了本技术实施例提供的一组电子设备100目标跟踪失败的界面示意图；
29.图19示例性示出了本技术实施例提供的一种结束目标跟踪的界面示意图；
30.图20-图21示例性示出了本技术实施例提供的另一组电子设备100目标跟踪成功的界面示意图；
31.图22示例性示出了本技术实施例提供的一种目标跟踪方法的流程示意图；
32.图23-图31示例性示出了本技术实施例提供的一组电子设备100对某一个非指定目标进行跟踪的过程的界面示意图；
33.图32-图33示例性示出了本技术实施例提供的另一组电子设备100对某一个非指定目标进行跟踪的过程的界面示意图；
34.图34示例性示出了本技术实施例提供的另一种目标跟踪方法的流程示意图。
具体实施方式
35.下面将结合附图对本技术实施例中的技术方案进行清除、详尽地描述。其中，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
36.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
37.本技术的说明书和权利要求书及附图中的术语“用户界面(user interface，ui)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，xml)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图像、文本、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、输入框、按钮(button)、滚动条(scrollbar)、图像和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如xml通过《textview》、《imgview》、《videoview》等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，html)，层叠样式表(cascading style sheets，css)，java脚本(javascript，js)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如html通过《p》、《img》、《video》、《canvas》来定义网页的元素和属性。
38.用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个窗口、控件等界面元素。
39.图1示出了电子设备100的结构示意图。
40.电子设备100的设备类型可以包括手机、电视、平板电脑、桌面型计算机、膝上计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonalcomputer，umpc)、上网本，以及个人数字助理(personal digitalassistant，pda)、增强现实(augmentedreality，ar)/虚拟现实(virtualreality，vr)设备等。本技术实施例对电子设备100的设备类型不做特殊限制。
41.下面以电子设备100为手机为例对本技术实施例进行说明。本市申请在此不做限定。
42.应该理解的是，图1所示电子设备100仅是一个范例，并且电子设备100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
43.电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器
170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
44.可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
45.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
46.其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
47.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
48.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
49.电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
50.电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
51.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
52.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器
(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。
53.调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。
54.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
55.电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
56.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
57.电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
58.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
59.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
60.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅
里叶变换等。
61.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
62.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
63.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。
64.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
65.电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
66.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
67.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
68.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
69.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
70.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
71.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施
例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
72.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
73.气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
74.磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。
75.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
76.距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。
77.接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。
78.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
79.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
80.温度传感器180j用于检测温度。
81.触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
82.骨传导传感器180m可以获取振动信号。
83.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信
号输入。
84.马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
85.指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
86.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。
87.电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的android系统为例，示例性说明电子设备100的软件结构。
88.图2是本发明实施例的电子设备100的软件结构框图。
89.分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。
90.应用程序层可以包括一系列应用程序包。
91.如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
92.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
93.如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
94.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
95.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
96.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
97.电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
98.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，
视频文件等等。
99.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
100.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
101.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
102.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
103.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)、跟踪模板等。
104.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
105.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。
106.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
107.2d图形引擎是2d绘图的绘图引擎。
108.跟踪模板用于表示跟踪目标对应的一个或多个特征。
109.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
110.目前，由于电子设备内一般只预置了针对一些指定目标的识别算法或模型，电子设备只能识别出指定的目标或物体(例如人物)，并在后续的图像帧中对指定的目标或物体进行跟踪。因此，本技术提供了一种目标跟踪方法，将跟踪目标分为指定目标和非指定目标。对于指定目标的跟踪，电子设备100可以自动识别出摄像头采集的图像帧中指定目标的特征并在后续图像帧中对该指定目标持续跟踪。对于非指定目标的跟踪，电子设备100需要用户指定出非指定目标的区域，电子设备100根据用户指定的区域识别出该非指定目标的特征，之后，电子设备100可以自动识别出后续图像帧中该非指定目标并对该非指定目标持续跟踪。该方法实现了对指定目标和非指定目标采取不同的跟踪方法，解决了目前电子设备100无法对非指定目标跟踪的问题，实现了万物跟踪。
111.指定目标是指电子设备100中预置有针对一些指定目标的识别算法或模型，电子设备100可以在图像帧中自动识别的目标，之后在图像帧中标记出该目标的位置，并在拍摄时对焦至该目标。指定目标是电子设备100中预置的，示例性的，指定目标可以包括但不仅限于人物、公交车、汽车、包、月亮、花朵、碗、水杯、花瓶、房子等。
112.非指定目标是电子设备100中没有预置针对一些指定目标的识别算法或模型，因
此电子设备100无法在图像帧中自动识别出非指定目标。本技术将电子设备100预置的指定目标以外的其他目标称为非指定目标，例如动物。
113.跟踪目标为电子设备100在第n帧图像中接收用户对一个目标的选择操作，用户选择的目标即为跟踪目标。之后，电子设备100在后续连续的图像帧中对用户选择的目标进行持续跟踪，并在后续连续的图像帧中标记出用户选择的目标在图像帧中所处的位置，并在拍摄时对焦至该目标，以使用户选择的目标拍摄的更清晰。跟踪目标可以是指定目标或非指定目标中的任意一种。
114.实施例一
115.电子设备100可以自动识别出图像帧中的指定目标，并在后续连续的图像帧中对该指定目标持续跟踪。具体的，电子设备100的用户界面显示有图像帧，该图像帧中包括有一个或多个指定目标，电子设备100根据用户指示确定出一个或多个指定目标中的一个目标为跟踪目标，并显示跟踪框。电子设备100提取出跟踪框中的跟踪目标的特征。之后，在后续连续的图像帧中，电子设备100以上一帧图像中跟踪框的中心为搜索中心，以其跟踪框的尺寸的m倍为搜索区域来对跟踪目标进行跟踪。若电子设备100在搜索区域中匹配到与跟踪目标的特征相匹配的特征，则电子设备100标记出该帧图像中跟踪目标所处的位置，并在拍摄时对焦至跟踪目标，以使跟踪目标拍摄的更清晰。电子设备100采取该方法对跟踪目标进行跟踪。若电子设备100在后续连续的p帧图像帧中在搜索区域中均没有匹配到与跟踪目标的特征相匹配的特征，则目标跟踪失败，电子设备100不再对跟踪目标进行跟踪。
116.在一些实施例中，电子设备100的用户界面显示的图像帧可以是电子设备100正在录制录视频或拍照时显示的。在一种可能的实现方式中，电子设备100可以是开启了相机应用程序录制视频或拍照。在另一种可能的实现方式中，电子设备100还可以是开启了其他具有拍照功能的应用程序(例如微信、微博、)录制视频或拍照，本技术宁在此不做限定。
117.在另一些实施例中，电子设备100的用户界面显示的图像帧也可以是其它设备(例如无人机、监控摄像头等设备)发送给电子设备100的。
118.可以理解的是，若电子设备100的用户界面显示的图像帧是由其它设备(例如无人机、监控摄像头等设备)获取并发送给电子设备100的。在电子设备100显示其它设备(例如无人机、监控摄像头等设备)获取的图像帧之前，电子设备100与其它设备(例如无人机、监控摄像头等设备)建立通信连接。在一种可能的实现方式中，电子设备100可以通过应用程序与视频监控设备建立通信连接。在另一种可能的实现方式中，电子设备100可以通过蓝牙、无线局域网(wireless local area network，wlan)等方式与其它设备(例如无人机、监控摄像头等设备)建立通信连接。
119.本技术以下实施例以电子设备100正在录制录视频时对某一个指定目标进行跟踪进行说明。
120.请参见图3-图21，图3-图21示例性地展示了电子设备100对某一个指定目标进行跟踪的过程。
121.图3示例性地示出电子设备100的用户界面30。该用户界面30可以包括一些应用程序的图标。例如，时钟的图标309、日历的图标311、图库的图标313、文件管理的图标317、电子邮件的图标319、音乐的图标321、文件管理的图标105、华为视频的图标325、运动健康的图标327、天气的图标329、相机的图标330、通讯录的图标331、电话的图标332、信息的图标
333。在一些实施例中，用户界面30可以包括更多或更少的应用程序的图标。在一些实施例中，用户界面30中可以包括一些与图3示出的应用程序不同的应用程序的图标，例如即时通讯类应用程序的图标等等。此处不作限定。
122.示例性的，如图4所示，相机的图标330可以接收用户点击操作，响应于用户的点击操作，电子设备100显示如图5所示的用户界面40。用户界面40示例性示出了一些功能图标。例如、光圈图标410、夜景图标402、人像图标403、拍照图标404、录像图标405、专业图标406、等多图标407、散光灯图标408、滤镜图标409和设置图标410、当前拍摄照片略缩图控件412、拍摄控件413、切换前后置摄像头控件414，用户界面40还包括相机应用拍摄的图像帧411。
123.当电子设备100开启了录像功能后，用户想要对电子设备100显示的图像帧中的某一个指定目标进行持续跟踪，这样可以使拍摄的某一个指定目标的画面更清晰。可以采用以下两种方式中的任意一种方式来开启电子设备100的目标跟踪功能。
124.方式一：
125.如图6所示，设置图标410可以接收用户点击操作，响应于用户点击操作，电子设备100显示如图7所示的用户界面50。用户界面50包括拍摄静音控件415，拍摄静音功能开启；定时拍摄控件416，定时拍摄功能关闭；声控拍照控件417，声控拍照功能关闭；目标跟踪控件418，目标跟踪功能关闭；音量键功能控件419，音量键功能为快门；息屏快拍控件420，即电子设备100在锁屏状态下接收用户双击音量下键，则电子设备100启动相机并拍照；用户界面50还包括图像调整控件421。其中，当目标跟踪功能关闭时，目标跟踪控件418可以接收用户点击操作来开启目标跟踪功能。
126.方式二：
127.如图8所示，电子设备100可以接收用户作用于用户界面40的右边界向左滑动操作。响应于该用户操作，电子设备100可以显示如图9所示的用户界面60。用户界面60包含有目标跟踪控件601。目标跟踪控件601可以接收用户点击操作来开启目标跟踪功能。响应于用户点击目标跟踪控件601，电子设备开启目标跟踪功能。
128.在一些实施例中，电子设备100可以接收用户作用于用户界面40的左边界向右滑动操作来显示包含目标跟踪控件601的用户界面，还可以接收用户作用于用户界面40的下边界向上滑动操作来显示包含目标跟踪控件601的用户界面，还可以接收用户作用于用户界面40的上边界向下滑动操作来显示包含目标跟踪控件601的用户界面。本技术对于用户滑动操作的位置不做限定。
129.在一些实施例中，用户界面60显示的位置可以位于用户界面40的顶部，还可以位于用户界面40的底部，还可以位于用户界面40的中部等等，本技术对于用户界面60的显示位置不做限定。
130.图10-图12示例性示出了一组电子设备100确定跟踪目标的过程。
131.图10示例性地示出了电子设备100在开启目标跟踪功能之后，获取到的第n帧图像111的示意图。用户界面40示例性示出了电子设备100自动识别出的指定目标和指定目标的位置坐标。用户界面40示例性的示出了电子设备100自动识别出的指定目标1(房子)和指定目标2(人物)，第n帧图像111还可以包括其他更多的指定目标，本技术再次不做限定。第n帧图像111还可以包括各个指定目标的目标框，目标框用于圈定目标对象，表示目标对象的位置坐标。示例性的，目标框1101用于圈定指定目标1(房子)，目标框1102用于圈定指定目标2
(人物)。
132.在一些实施例中，第n帧图像111可以不显示电子设备100自动识别出的指定目标的类别，例如，第n帧图像111不显示指定目标1(房子)和指定目标2(人物)，本技术在此不做限定。
133.图11示例性的示出了目标框1101和目标框1102的位置坐标。本技术实施例以目标框的四个顶点坐标来表示目标框圈定的目标对象的位置坐标。如图12所示，以第n帧图像111的左边界为x轴、以第n帧图像111的下边界为y轴，以第n帧图像111的左边界与第n帧图像111的下边界的交点为原点建立坐标系。以点a的坐标、点b的坐标、点c的坐标、点d的坐标来确定目标框1101的位置坐标，即确定指定目标1(房子)的位置坐标。以点e的坐标、点f的坐标、点g的坐标、点h的坐标来确定目标框1102的位置坐标，即确定指定目标(人物)的位置坐标。
134.在一些实施例中，电子设备100可以不显示目标框。即在图10和图11中，电子设备100不显示目标框1101和目标框1102。本身请在此不做限定。
135.如图12所示，在一些实施例中，电子设备100自动识别出指定目标和指定目标的位置坐标后，用户界面40还会显示提示框1103，提示框1103的内容包括“请选择跟踪目标”，提示框1103用于提示用户选择需要跟踪的目标。
136.如图12所示，指定目标2(人物)可以接收用户的点击操作，响应于用户的点击操作，电子设备100确定指定目标2(人物)为跟踪目标。确定指定目标2(人物)为跟踪目标后，电子设备100将在后续连续的图像帧中对指定目标2(人物)进行跟踪。当然，指定目标1(房子)也可以接收用户的点击操作，响应于用户的点击操作，电子设备100确定指定目标1(房子)为跟踪目标。确定指定目标1(房子)为跟踪目标后，电子设备100将在后续连续的图像帧中对指定目标1(房子)进行跟踪。
137.当电子设备100确定指定目标2(人物)为跟踪目标后，电子设备100将在用户界面40中标记出指定目标2(人物)在该图像帧中的位置。
138.在一些实施例中，当电子设备100确定指定目标2(人物)为跟踪目标后，用户界面40将显示指定目标2(人物)的跟踪框，跟踪框将标记出指定目标2(人物)在该图像帧中的位置。跟踪框1110是以目标框1102的中心为中心，圈定跟踪目标。跟踪框1110内圈定的图像包括跟踪目标的完整图像。
139.在一些实施例中，当电子设备100在用户界面40中标记出跟踪目标在该图像帧中的位置后，可以在指定目标的位置上或周围显示出跟踪目标对应的类型。
140.需要说明的是，只有用户点击的位置的坐标在各个指定目标的目标框的位置坐标内，电子设备100才会显示跟踪框并在后续连续的图像帧中对用户选择的跟踪目标进行跟踪。当用户点击的位置的坐标不在各个指定目标的目标框的位置坐标内，电子设备不显示跟踪框，说明用户没有选中需要跟踪的目标。用户需重新点击待跟踪的目标，当用户点击的位置的坐标在指定目标的目标框的位置坐标内，电子设备100确认用户点击的指定目标为跟踪目标，电子设备100将在后续连续的图像帧中对用户选择的跟踪目标进行跟踪。
141.在其他实施例中，当电子设备100不显示目标框1101和目标框1102时，电子设备100可以接收用户画框操作圈定指定目标2(人物)来选定跟踪目标。电子设备100还可以采用其他的方式来确认跟踪目标，本身请在此不做限定。
142.响应于用户选定的跟踪目标，电子设备100将对跟踪目标进行特征提取并保存跟踪目标的特征。
143.图13示例性示出了用户选定的跟踪目标和跟踪目标对应的特征。如图13所示，电子设备100响应于用户选定跟踪目标的操作，对指定目标2(人物)进行特征提取，并保存指定目标2(人物)的特征。电子设备100可以通过特征提取算法对跟踪目标图像进行特征提取，得到并保存跟踪目标图像的特征(例如纹理特征、轮廓特征、颜色特征等等)，具体的，电子设备100可以对踪目标图像进行特征提取得到的特征向量表示跟踪目标图像对应的跟踪目标的特征。可以将第n帧图像中指定目标2(人物)的特征用特征向量f1(n)表示。特征向量可以表示跟踪目标的颜色特征、纹理特征、轮廓特征等其他特征。例如，特征向量f1(n)可以表示指定目标2(人物)的纹理特征，轮廓特征、颜色特征等等中的一项或多项。此处将指定目标2(人物)的特征向量f1(n)具体形式，以及大小不作限定。例如，f1(n)可以是包含n个数值的特征向量[0.5，0.6，0.8，
…
，0.9，0.7，0.3]。其中，n为整数，可以是128，256，512等等，n的大小不作限定。电子设备100将指定目标2(人物)的特征提取之后，将指定目标2(人物)的特征保存至跟踪模板中。
[0144]
跟踪模板可用于表示跟踪目标的一个或多个特征。电子设备提取跟踪目标的特征之后，电子设备将跟踪目标的特征保存至跟踪模板中。在后续连续的视频帧中，当电子设备将图像帧中的指定目标的特征与跟踪模板中跟踪目标的特征进行匹配，若匹配成功，则电子设备在该图像帧中确定该指定目标为跟踪目标。
[0145]
当用户指定跟踪目标后，电子设备100将在第n帧图像之后的图像帧中对跟踪目标进行跟踪。
[0146]
接下来介绍电子设备100如何对跟踪目标进行跟踪的。
[0147]
电子设备100可以采取以下两种方式中的任意一种方式对跟踪目标进行跟踪。
[0148]
方式一：
[0149]
在第n帧图像之后的连续的图像帧中，电子设备100以上一帧图像中跟踪框的中心为搜索中心，以其跟踪框的尺寸的m倍为搜索区域来对跟踪目标进行跟踪。电子设备100根据跟踪目标的特征和搜索区域内的每个像素点得到搜索区域内每个像素点的响应值，若搜索区域内像素点对应的最大响应值大于预设响应值，则搜索区域内有跟踪目标。则电子设备100标记出该帧图像中该跟踪目标所处的位置。之后，电子设备100自动对焦至该跟踪目标，以使跟踪目标拍摄地更清楚。
[0150]
图14-图16示例性示出了电子设备100目标跟踪成功的示意图。
[0151]
具体的，图14示例性地示出了电子设备100获取的第n 1帧图像171。第n 1帧图像171为电子设备100获取的原始图像。
[0152]
电子设备100以第n帧图像中跟踪框1110的中心为搜索中心，以跟踪框1110的尺寸的m倍为搜索区域1105来对第n 1帧图像171中的跟踪目标进行跟踪，m大于等于1的常数。
[0153]
示例性的，若第n帧图像中跟踪框1110的中心点的坐标为(x，y)，跟踪框1110的大小为p*q，则第n 1帧图像的搜索区域1105的中心点的坐标为(x，y)，搜索区域1105的大小为(p*m)*(q*m)。
[0154]
电子设备100根据跟踪目标的特征和搜索区域内的每个像素点得到搜索区域内每个像素点的响应值。
[0155]
具体的，电子设备100将跟踪目标的特征与第n 1帧图像中搜索区域1105内每个像素进行卷积运算，得到每个像素的响应值，响应值表示了第n 1帧图像中搜索区域1105内每个像素点作为最终跟踪目标的中心点的概率。
[0156]
不限于卷积运算，电子设备100还可以采用其他的方式得到搜索区域内每个像素点的响应值，本技术在此不做限定。
[0157]
当第n 1帧图像中搜索区域1105内像素点对应的最大响应值大于预设响应值，则表示搜索区域1105内有跟踪目标，目标跟踪成功。电子设备100以最大响应值对应的像素点为第n 1帧图像中跟踪目标的中心点，以确定跟踪目标的位置。之后，电子设备请根据第n 1帧图像中跟踪目标的中心点给出第n 1帧图像中跟踪目标的跟踪框。
[0158]
可以理解的是，第n 1帧图像中跟踪目标的跟踪框可以和第n帧图像中跟踪目标的跟踪框大小不同，也可以相同，本技术在此不做限定。
[0159]
当电子设备100在第n 1帧图像中跟踪到跟踪目标之后，电子设备100将在用户界面40上标记出在第n 1帧图像中跟踪目标的位置。
[0160]
如图15所示，当电子设备100在第n 1帧图像中确定跟踪目标的中心点之后，电子设备100将以跟踪目标的中心点为中心，以预设尺寸大小的裁剪框对获取到的第n 1帧图像171进行裁剪，得到图像1701。一般的，裁剪框的预设尺寸要比跟踪框1110的尺寸大。示例性的，裁剪框的预设尺寸可以是电子设备100获取到的原始图像的尺寸一半或四分之三，本技术对于裁剪框的预设尺寸大小不做限定。
[0161]
如图16所示，图16为电子设备100显示图像1701的ui图。电子设备100显示图像1701，并且显示跟踪目标的跟踪框1702。跟踪框1702是以搜索区域1105内最大响应值对应的像素点作为中心点。
[0162]
可以理解的是，跟踪框1702的尺寸大小可以与跟踪框1110的尺寸大小不同。因为在每一帧图像中，跟踪目标的大小可能会不同，例如，跟踪目标由于运动发生形变，导致跟踪目标的图像在每一帧图像中可能不一样，导致每一帧图像中跟踪目标的尺寸不一样。
[0163]
在一些实施例中，当电子设备100在用户界面40中标记出跟踪目标在第n 1帧图像帧中的位置后，可以在跟踪目标的位置上或周围显示出指定目标对应的类型。
[0164]
示例性的，如图16所示，电子设备100将在用户界面40上显示指定目标2(人物)图标，指定目标2(人物)图标用于标记跟踪目标的类型。
[0165]
在一种可能的实现方式中，当第n 1帧图像中搜索区域1105内像素点对应的最大响应值大于预设响应值，则表示搜索区域1105内有跟踪目标，则表示目标跟踪成功。电子设备100可以显示提示，该提示用于提示用户目标跟踪成功。
[0166]
如图16所示，若目标跟踪成功，用户界面40显示提示框1703，提示框1703用于提示用户目标跟踪成功。提示框1703的提示内容包括“目标跟踪成功”。
[0167]
可以理解的是，为了使用户更能清晰的观察到跟踪目标的运动状态，用户界面40也可以不显示提示，以使电子设备100显示的图像更简洁。
[0168]
图17-图18示例性示出了电子设备100目标跟踪失败的示意图。
[0169]
若电子设备100在连续p帧图像帧中按照上述方法在搜索区域中像素点对应的最大响应值均小于预设值，则目标跟踪失败，p为大于等于1的正整数。
[0170]
具体的，图17示例性地示出了电子设备100获取的第n 1帧图像181。第n 1帧图像
181为电子设备100获取的原始图像。
[0171]
电子设备100以第n帧图像中跟踪框1110的中心为搜索中心，以跟踪框1110的尺寸的m倍为搜索区域1105来对第n 1帧图像181中的跟踪目标进行跟踪，m大于等于1的常数。
[0172]
示例性的，若第n帧图像中跟踪框1110的中心点的坐标为(x，y)，跟踪框1110的大小为p*q，则第n 1帧图像的搜索区域1801的中心点的坐标为(x，y)，搜索区域1801的大小为(p*m)*(q*m)。
[0173]
电子设备100将跟踪目标的特征与第n 1帧图像181中搜索区域1801内每个像素进行卷积运算，得到每个像素的响应值，响应值表示了第n 1帧图像181中搜索区域1801内每个像素点作为最终跟踪目标的中心点的概率。
[0174]
当第n 1帧图像181中搜索区域1801内像素点对应的最大响应值小于预设响应值，则表示搜索区域内没跟踪目标。
[0175]
当电子设备100在第n帧图像之后的连续p帧图像(例如第n p帧图像)中按照上述方法进行跟踪，连续p帧图像中搜索区域内像素点对应的最大响应值均小于预设响应值时，则跟踪目标跟踪失败。
[0176]
当跟踪目标跟踪失败后，电子设备100将停止对跟踪目标的跟踪，并且电子设备100将在用户界面40上显示电子设备100获取到的第n p帧原始图像，即电子设备100在显示电子设备100获取到的第n p帧原始图像时停止对跟踪目标的跟踪。
[0177]
如图18所示，图18为电子设备100显示获取到的第n p帧原始图像182的ui图。
[0178]
在一种可能的实现方式中，当目标跟踪失败时，电子设备100将显示提示，该提示用于提示用户目标跟踪失败。
[0179]
如图18所示，若电子设备100在连续p帧图像帧中按照上述方法均没有跟踪到跟踪目标，用户界面40显示提示框1802，提示框1802用于提示用户目标跟踪失败。提示框2101的提示内容包括“目标跟踪失败”。
[0180]
当电子设备停止对跟踪目标的跟踪之后，用户想要再一次对图像帧中的某一个指定目标进行跟踪时，图像帧中的指定目标可以接收用户的点击操作，响应于用户的点击操作，当用户点击的位置坐标在指定目标的位置坐标内时，电子设备100将确定用户点击的指定目标为跟踪目标，并提取用户点击的指定目标的特征为跟踪目标的特征。电子设备100将在第n p帧图像之后的连续图像帧中对跟踪目标进行跟踪，具体的，请参考图12-图18所示的实施例，本技术再次不再赘述。
[0181]
在一种可能的实现方式中，当电子设备100开启跟踪模式之后，电子设备100可以接收用户的主动触发操作停止对跟踪目标的跟踪。
[0182]
如图19所示，当电子设备100开启跟踪模式，并在第n 1帧图像中跟踪到跟踪目标时，用户界面40可以显示退出跟踪模式控件1707。退出跟踪模式控件1707可以接收用户的点击操作使电子设备100停止对跟踪目标进行跟踪。这样，用户可以根据自己的需求来选择退出跟踪模式，提高了用户体验。
[0183]
可以理解的是，电子设备100也可以采用其他的方式结束对跟踪目标的跟踪，不限于上述用户点击退出跟踪模式控件来结束对跟踪目标的跟踪，本技术在此不做限定。
[0184]
方式二：
[0185]
电子设备100在第n帧图像之后的连续的图像帧中，例如第n 1帧图像中，电子设备
100可以自动识别出第n 1帧图像中的一个或多个指定目标的位置，并在一个或多个指定目标的位置上显示指定目标对应的目标框。电子设备100提取出一个或多个目标框中的指定目标的特征，并将一个或多个指定目标的特征与跟踪模板中跟踪目标的特征进行匹配，若有一个指定目标的特征与跟踪目标的特征匹配上，则电子设备100目标跟踪成功，并标记出该帧图像中跟踪目标所处的位置。可选的，电子设备100还可以识别出第n 1图像帧中的一个或多个指定目标的类型，并在指定目标的位置上或周围显示出各指定目标对应的类型。之后，电子设备100在拍摄时对焦至跟踪目标，以使跟踪目标拍摄的更清晰。
[0186]
图20-图21示例性示出了电子设备100目标跟踪成功的示意图。
[0187]
具体的，图20示例性地示出了电子设备100获取的第n 1帧图像191。第n 1帧图像191为电子设备100获取到的原始图像。
[0188]
电子设备100可以自动识别出第n 1帧图像191中的指定目标并显示指定目标的目标框。用户界面40示例性示出了指定目标1(房子)的目标框1601；指定目标2(人物)的目标框1602；指定目标3(人物)的目标框1603。
[0189]
在一些实施例中，第n 1帧图像还可以显示各个指定目标的类型图标。本技术在此不做限定。
[0190]
在一些实施例中，电子设备100也可以不显示指定目标的目标框，本技术在此不做限定。
[0191]
首先，电子设备1000将对第n 1帧图像191中的识别到的指定目标进行特征提取。
[0192]
图21示例性示出了第n 1帧图像191多个指定目标的图像和多个指定目标分别对应的特征。指定目标1(房子)的特征可以用特征向量f2(n)表示，f2(n)＝[x1,x2,x3,
…
，xn]。特征向量f2(n)可以表示指定目标1(房子)的纹理特征和轮廓特征等等。指定目标2(人物)的特征可以用特征向量f3(n)表示，f3(n)＝[x1,x2,x3,
…
，xn]。特征向量f3(n)可以表示指定目标2(人物)的纹理特征和轮廓特征等等。指定目标3(人物)的特征可以用特征向量f4(n)表示，f4(n)＝[x1,x2,x3,
…
，xn]。特征向量f4(n)可以表示指定目标3(人物)的纹理特征和轮廓特征等等。
[0193]
其次，电子设备100将第n 1帧图像191中提取到的多个指定目标的特征与保存的跟踪目标的特征进行匹配。
[0194]
具体的，电子设备100将指定目标1(房子)的特征向量f2(n)、指定目标2(人物)的特征向量f3(n)、指定目标3(人物)的特征向量f4(n)与已保存的跟踪目标的特征向量f1(n)进行匹配，若指定目标2(人物)的特征向量f3(n)与跟踪目标的特征向量f1(n)匹配成功，则电子设备100显示目标跟踪成功。
[0195]
指定目标2(人物)的特征向量f3(n)与跟踪目标的特征向量f1(n)匹配成功是指，电子设备100可以计算指定目标2(人物)的特征向量f3(n)与跟踪目标的特征向量f1(n)的欧氏距离d。若特征向量f3(n)与特征向量f1(n)的欧氏距离d1小于预设的欧氏距离d，则电子设备100判定指定目标2(人物)的特征向量f3(n)与跟踪目标的特征向量f1(n)匹配成功。
[0196]
当第n 1帧图像191中有一个指定目标的特征与跟踪目标的特征匹配上时，电子设备100将按照预设尺寸的裁剪框对第n 1帧图像191进行裁剪，并将裁剪后的图像显示在用户界面40上。具体的，请参考图15-图16所示的实施例，本技术在此不再赘述。
[0197]
在一些实施例中，当第n帧图像之后的连续p帧图像(例如第n p帧图像)中按照上
述方法，每帧图像中均没有与跟踪目标的特征匹配的特征时，则目标跟踪失败。
[0198]
若电子设备100在第n 1帧图像中只识别到了指定目标1(房子)和指定目标3(人物)。
[0199]
首先，电子设备100将对第n 1帧图像中的识别到的指定目标1(房子)和指定目标3(人物)进行特征提取。
[0200]
具体的，可以参考图21，示指定目标1(房子)的特征可以用特征向量f2(n)表示，f2(n)＝[x1,x2,x3,
…
，xn]。特征向量f2(n)可以表示指定目标1(房子)的纹理特征和轮廓特征等等。指定目标3(人物)的特征可以用特征向量f4(n)表示，f4(n)＝[x1,x2,x3,
…
，xn]。特征向量f4(n)可以表示指定目标3(人物)的纹理特征和轮廓特征等等。
[0201]
其次，电子设备100将第n 1帧图像中提取到的指定目标1(房子)和指定目标3(人物)与保存的跟踪目标的特征进行匹配。
[0202]
具体的，电子设备100将指定目标1(房子)的特征向量f2(n)、指定目标3(人物)的特征向量f4(n)与已保存的跟踪目标的特征向量f1(n)进行匹配，若指定目标1(房子)的特征向量f2(n)、指定目标3(人物)的特征向量f4(n)与跟踪目标的特征向量f1(n)均匹配不成功，则电子设备100显示目标跟踪失败。
[0203]
具体的，指定目标1(房子)的特征向量f2(n)与跟踪目标的特征向量f1(n)匹配不成功是指，电子设备100可以计算指定目标1(房子)的特征向量f2(n)与跟踪目标的特征向量f1(n)的欧氏距离d2。若特征向量f2(n)与特征向量f1(n)的欧氏距离d2大于预设的欧氏距离d，则电子设备100判定指定目标1(房子)的特征向量f2(n)与跟踪目标的特征向量f1(n)匹配不成功。指定目标3(人物)的特征向量f4(n)与跟踪目标的特征向量f1(n)匹配不成功是指，电子设备100可以计算指定目标3(人物)的特征向量f4(n)与跟踪目标的特征向量f1(n)的欧氏距离d3。若特征向量f4(n)与特征向量f1(n)的欧氏距离d3大于预设的欧氏距离d，则电子设备100判定指定目标3(人物)的特征向量f4(n)与跟踪目标的特征向量f1(n)匹配不成功。
[0204]
以此类推，电子设备100在第n帧图像之后的连续p帧图像(例如第n p帧图像)中按照上述方法图像帧中均没有与跟踪目标的特征匹配的特征时，则目标跟踪失败。
[0205]
当跟踪目标跟踪失败后，电子设备100将停止对跟踪目标的跟踪，并且电子设备100将在用户界面40上显示电子设备100获取到的第n p帧原始图像。具体的，可以参考图18所示的实施例，本身请在此不再赘述。
[0206]
基于上述实施例介绍本技术实施例提供的一种目标跟踪方法。如图22所示，该方法包括：
[0207]
s2201、电子设备100显示第一用户界面，第一用户界面中显示有第n帧图像，第n帧图像中包含有一个或多个指定目标。
[0208]
电子设备100显示的第一用户界面中的第n帧图像可以是电子设备100正在录制录视频或拍照时实时显示的。在一种可能的实现方式中，电子设备100可以是开启了相机应用程序录制视频或拍照。在另一种可能的实现方式中，电子设备100还可以是开启了其他具有拍照功能的应用程序(例如微信、微博、)录制视频或拍照，本技术在此不做限定。
[0209]
在另一些实施例中，电子设备100的用户界面显示的图像帧也可以是其它设备(例如无人机、监控摄像头等设备)发送给电子设备100的。
[0210]
可以理解的是，在电子设备显示第一用户界面之后，电子设备可以开启目标跟踪功能，具体的，请参见图6-图9所示的实施例，本技术再次不再赘述。
[0211]
s2202、电子设备100在一个或多个指定目标中确定出跟踪目标。
[0212]
当摄像头实时采集到的图像中包括有与预设目标特征模板相匹配的指定目标时，电子设备在摄像头实时采集到的图像上指定目标的周围显示标记信息。标记信息可以是目标框或者类别。
[0213]
电子设备100可以在在一个或多个指定目标中确定出跟踪目标的方式可以有多种。
[0214]
例如，在一种可能的实现方式中，电子设备可以检测出第n帧图像中的多个指定目标(例如房子、人物等等)。电子设备100可以显示出目标框来圈定电子设备100自动识别出的目标。用户可以点击目标框(第二输入操作)选择需要跟踪的目标对象，响应于用户操作，电子设备100可以将该目标框内的指定目标确定为跟踪目标，并显示跟踪框。
[0215]
具体的，可以参考图10-图12中描述的电子设备100确定跟踪目标的过程，本技术在此不再赘述。
[0216]
在一种可能的实现方式中，当电子设备100不显示多个指定目标的目标框时，电子设备100可以接收用户的画圈操作来圈定待跟踪的目标。响应于用户操作，电子设备100确定指示框中的指定目标即为跟踪目标。
[0217]
上述的目标框和跟踪框可以是矩形框，也可以是正方形框，也可以是菱形框等等，此处对目标框和跟踪框的形状不作限定。
[0218]
s2203、电子设备100对跟踪目标进行特征提取，并保存跟踪目标的特征。
[0219]
具体的，电子设备100可以通过特征提取算法对跟踪目标图像进行特征提取，得到并保存跟踪目标图像的特征(例如纹理特征、轮廓特征等等)，具体的，电子设备100可以对踪目标图像进行特征提取得到的特征向量作为跟踪目标图像对应的跟踪目标的特征。电子设备100可以将跟踪目标的特征保存至跟踪模板中，跟踪模板可用于表示跟踪目标的特征。
[0220]
可以理解的是，本技术实施例中的跟踪目标可以有多个。当跟踪目标有多个时，电子设备100可以按照步骤s2502-s2503的步骤分别对每个跟踪目标图像进行特征提取得到并保存跟踪目标特征。电子设备100可以保存多个跟踪目标对应的跟踪目标图像、以及跟踪目标图像对应的跟踪目标特征。
[0221]
具体的，电子设备100可以在第n帧图像中的一个或多个指定目标中确定出两个跟踪目标，分别为跟踪目标1和跟踪目标2。电子设备提取跟踪目标1的特征和跟踪目标2的特征并保存跟踪目标1的特征和跟踪目标2的特征。
[0222]
电子设备100可以采用以下任意一种方式来确定跟踪目标1和跟踪目标2。
[0223]
在一种可能的实现方式中，电子设备100可以检测出第n帧图像中的多个指定目标(例如房子、人物等等)。电子设备100可以显示出目标框来圈定电子设备100自动识别出的目标。用户可以点击目标框1选择需要跟踪的目标对象(例如跟踪目标1)和点击目标框2选择需要跟踪的目标对象(例如跟踪目标2)，响应于用户操作，电子设备100可以将该目标框内的指定目标确定为跟踪目标，即确定跟踪目标1和跟踪目标2。
[0224]
在另一种可能的实现方式中，当电子设备100不显示多个指定目标的目标框时，电子设备100可以接收用户的画圈操作来圈定待跟踪的目标。响应于用户操作，电子设备100
确定指示框中的指定目标即为跟踪目标。示例性的，电子设备100可以接收用户的画圈操作来圈定跟踪目标1和跟踪目标2。电子设备100确定跟踪目标1和跟踪目标2为跟踪目标。
[0225]
在一种可能的实现方式中，电子设备可以根据预设目标特征模板对跟踪目标进行跟综，不在提取连续的图像帧中的跟踪目标的特征。
[0226]
可选的，电子设备100可以每隔预设帧数更新电子设备100保存的跟踪目标对应的跟踪目标的特征。
[0227]
例如，预设帧数可以是10，电子设备100每隔10帧更新电子设备100保存的跟踪目标对应的特征，该预设帧数可以是电子设备100系统配置的，也可以是自定义设置的，预设帧数可以是2，预设帧数可以是5，预设帧数也可以是10，本身请在此不做限定。
[0228]
电子设备100可以采用以下两种方式中的任意一种方式来更新电子设备100保存的跟踪目标对应的跟踪目标的特征。
[0229]
方式一：电子设备100在第n帧图像中选定的跟踪目标的特征向量为f1。当电子设备100确定第n 1帧图像中的指定目标1为用户在第n帧图像中选定的跟踪目标时，电子设备100提取指定目标1的特征为特征向量f2，电子设备100清除跟踪目标的特征向量f1，并保存指定目标1的特征向量f2，将指定目标1的特征向量f2作为跟踪目标的特征。
[0230]
方式二：电子设备100在第n帧图像中选定的跟踪目标的特征向量为f1。当电子设备100确定第n 1帧图像中的指定目标1为用户在第n帧图像中选定的跟踪目标时，电子设备100提取指定目标1的特征为特征向量f2。电子设备100将跟踪目标的特征向量为f1和指定目标1的特征向量f2做加权运算，得到特征向量f3，电子设备100特征向量f3作为跟踪目标的特征。
[0231]
需要说明的是，本技术还可以采用其他的方式更新跟踪目标的特征，本技术在此不做限定。
[0232]
s2204、电子设备100显示的第二用户界面，第二用户界面中显示有第n 1帧图像，第n 1帧图像中有一个或多个指定目标。
[0233]
s2205、电子设备100以第n帧图像中跟踪目标的跟踪框的中心点为中心、以第n帧图像中跟踪目标的跟踪框的m倍为搜索区域，若搜索区域内匹配到与跟踪目标的特征相匹配的特征，电子设备100标记出第n 1帧图像中跟踪目标的位置。
[0234]
电子设备基于预设目标特征模板，从摄像头实时采集到的图像中确定出与目标特征模板的相似度大于第二值的第九区域(搜索区域)；电子设备基于第九区域，从摄像头实时采集到的图像上裁剪出第四裁剪图像，第四裁剪图像包括第九区域。电子设备显示第六拍摄界面，第六拍摄界面显示第一裁剪图像。
[0235]
可选的，电子设备100还可以识别出第n 1图像帧中的跟踪目标的类型，并在第n 1图像帧中跟踪目标的位置上或周围显示出跟踪目标对应的类型。当然，电子设备100也可以不在跟踪目标的位置上或周围显示出跟踪目标对应的类型，本技术在此不做限定。
[0236]
电子设备基于预设目标特征模板，从摄像头实时采集到的图像中确定出与目标特征模板的相似度大于第二值的第九区域(搜索区域)，具体包括：
[0237]
电子设备100以第n帧图像中跟踪目标的目标框的中心点为中心、以第n帧图像中跟踪目标的目标框的m倍为搜索区域(第九区域)，对第n 1帧图像中搜索区域内的每个像素点做卷积运算，得到第n 1帧图像中搜索区域内每个像素点的响应值。
[0238]
若像素点对应的最大响应值大于预设响应值，则第n 1帧图像中有跟踪目标，电子设备100以最大响应值对应的像素点作为第n 1帧图像中跟踪目标的中心点，并显示跟踪框。
[0239]
示例性的，若第n帧图像中跟踪框的中心点的坐标为(x，y)，跟踪框的大小为p*q，则第n 1帧图像的搜索区域的中心点的坐标为(x，y)，搜索区域的大小为(p*m)*(q*m)。
[0240]
电子设备100将跟踪目标的特征与第n 1帧图像中搜索区域内每个像素进行卷积运算，得到每个像素的响应值，响应值表示了第n 1帧图像中搜索区域内每个像素点作为跟踪目标的中心点的概率。
[0241]
当第n 1帧图像中搜索区域内像素点对应的最大响应值大于预设响应值，则表示搜索区域内有跟踪目标，目标跟踪成功。以最大响应值对应的像素点为第n 1帧图像中跟踪目标的中心点，以确定跟踪目标的位置，之后，电子设备请根据第n 1帧图像中跟踪目标的中心点显示第n 1帧图像中跟踪目标的跟踪框。
[0242]
可以理解的是，第n 1帧图像中跟踪目标的跟踪框可以和第n帧图像中跟踪目标的跟踪框大小不同，也可以相同，本技术在此不做限定。
[0243]
当电子设备100在第n 1帧图像中跟踪到跟踪目标，并在第n 1帧图像中确定跟踪目标的中心点时，电子设备100将以跟踪目标的中心点为中心，以预设尺寸大小的裁剪框对获取到的第n 1帧图像进行裁剪，得到显示图像。一般的，裁剪框的预设尺寸要比跟踪框的尺寸大。示例性的，裁剪框的预设尺寸可以是电子设备100获取到的原始图像的尺寸一半或四分之三，本技术对于裁剪框的预设尺寸大小不做限定。
[0244]
之后，电子设备100将显示图像显示在用户界面上。具体的，请参考图15-图16所示的实施例，本技术在此不再赘述。
[0245]
若电子设备100在连续p帧图像帧中按照上述方法在搜索区域内像素点对应的响应值均小于预设值，则目标跟踪失败，p为大于等于1的正整数。
[0246]
示例性的，若第n帧图像中跟踪框的中心点的坐标为(x，y)，跟踪框的大小为p*q，则第n 1帧图像的搜索区域的中心点的坐标为(x，y)，搜索区域的大小为(p*m)*(q*m)。
[0247]
电子设备100将跟踪目标的特征与第n 1帧图像中搜索区域内每个像素进行卷积运算，得到每个像素的响应值，响应值表示了第n 1帧图像中搜索区域内每个像素点作为最终跟踪目标的中心点的概率。
[0248]
当第n 1帧图像中搜索区域内像素点对应的最大响应值小于预设响应值，则表示搜索区域内没跟踪目标。
[0249]
当电子设备100在第n帧图像之后的连续p帧图像帧中按照上述方法进行跟踪，连续p帧图像帧中搜索区域内像素点对应的最大响应值均小于预设响应值时，则跟踪目标跟踪失败，p为大于等于1的正整数。
[0250]
跟踪目标跟踪失败后，电子设备100将停止对跟踪目标的跟踪，并且电子设备100将在用户界面上显示电子设备100获取到的第n p帧原始图像。具体的，请参考图17-图18所示的实施例，本技术在此不再赘述。
[0251]
当电子设备停止对跟踪目标的跟踪之后，用户想要再一次对图像帧中的某一个指定目标进行跟踪时，图像帧中的指定目标可以接收用户的点击操作，响应于用户的点击操作，当用户点击的位置坐标在指定目标的位置坐标内时，电子设备100将确定用户点击的指
定目标为跟踪目标，并提取用户点击的指定目标的特征为跟踪目标的特征。电子设备100将在第n p帧图像之后的连续图像帧中对跟踪目标进行跟踪，具体的，请参考图12-图16所示的实施例，本技术在此不再赘述。
[0252]
在一种可能的实现方式中，当电子设备100开启跟踪模式之后，电子设备100可以接收用户的主动触发操作停止对跟踪目标的跟踪。
[0253]
当电子设备100开启跟踪模式，并在第n 1帧图像中跟踪到跟踪目标时，用户界面可以显示退出跟踪模式控件。退出跟踪模式控件可以接收用户的点击操作使电子设备100停止对跟踪目标进行跟踪。这样，用户可以根据自己的需求来选择退出跟踪模式，提高了用户体验。
[0254]
可以理解的是，电子设备100也可以采用其他的方式结束对跟踪目标的跟踪，不限于上述用户点击退出跟踪模式控件来结束对跟踪目标的跟踪，本技术在此不做限定。
[0255]
电子设备100也可以采取其他的方式来确定第n 1帧图像中是否有跟踪目标。
[0256]
具体的，在第n帧图像之后的连续的图像帧中，例如第n 1帧图像中，电子设备100可以自动识别出图像帧中的一个或多个指定目标，并显示一个或多个指定目标的目标框。电子设备100提取出一个或多个目标框中的指定目标的特征，并将一个或多个指定目标的特征与跟踪模板中跟踪目标的特征进行匹配，若有一个指定目标的特征与跟踪目标的特征匹配上，则电子设备100目标跟踪成功，并给出该指定目标的跟踪框。
[0257]
若电子设备100第n帧图像之后的连续p帧图像(例如第n p帧图像)中按照上述方法，每帧图像中均没有与跟踪目标的特征匹配的特征时，则目标跟踪失败。
[0258]
具体的，请参考图20-图21所示的实施例，本技术再次不再赘述。
[0259]
实施例二
[0260]
由于电子设备100中没有预置针对非指定目标的识算法或模型，电子设备100不能自动识别出图像帧中的非指定目标。当用户需要对电子设备100显示的图像帧中的非指定目标进行跟踪时，需要用户手动圈定非指定目标图像的区域，之后，电子设备100提取非指定目标图像的特征并保存。之后，在后续连续的图像帧中，电子设备100以上一帧图像的中心为搜索中心，以其跟踪框的尺寸的m倍为搜索区域来对跟踪目标进行跟踪。若电子设备100在搜索区域中匹配到与跟踪目标的特征相匹配的特征，则电子设备100标记出该帧图像中跟踪目标所处的位置，并在拍摄时对焦至跟踪目标，以使跟踪目标拍摄的更清晰。电子设备100采取该方法对跟踪目标进行跟踪。若电子设备100在后续连续的p帧图像帧中在搜索区域中均没有匹配到与跟踪目标的特征相匹配的特征，则目标跟踪失败，电子设备100不再对跟踪目标进行跟踪。
[0261]
在一些实施例中，电子设备100的用户界面显示的图像帧可以是电子设备100正在录制录视频或拍照时显示的。在一种可能的实现方式中，电子设备100可以是开启了相机应用程序录制视频或拍照。在另一种可能的实现方式中，电子设备100还可以是开启了其他具有拍照功能的应用程序(例如微信、微博、)录制视频或拍照，本技术在此不做限定。
[0262]
在另一些实施例中，电子设备100的用户界面显示的图像帧也可以是其它设备(例如无人机、监控摄像头等设备)发送给电子设备100的。
[0263]
可以理解的是，若电子设备100的用户界面显示的图像帧是由其它设备(例如无人机、监控摄像头等设备)获取并发送给电子设备100的。在电子设备100显示其它设备获取的
图像帧之前，电子设备100与其它设备建立通信连接。在一种可能的实现方式中，电子设备100可以通过应用程序与其它设备建立通信连接。在另一种可能的实现方式中，电子设备100可以通过蓝牙、无线局域网(wireless local area network，wlan)等方式与其它设备建立通信连接。
[0264]
本技术以下实施例以电子设备100正在录制录视频时对某一个非指定目标进行跟踪进行说明。
[0265]
请参见图23-图33，图23-图33示例性地展示了电子设备100对某一个非指定目标进行跟踪的过程的界面示意图。
[0266]
具体的，电子设备100如何开启目标跟踪功能的，请参考图6-图10所示的实施例，本技术再此不再赘述。
[0267]
图23示例性地示出了电子设备100在开启目标跟踪功能之后，获取到的第n帧图像111的示意图。第n帧图像111为电子设备100获取到的原始图像。
[0268]
第n帧图像111示例性示出了电子设备100自动识别出的指定目标的类别和指定目标的位置坐标。第n帧图像111示例性的示出了指定目标1(房子)、指定目标2(人)和非指定目标(动物)，第n帧图像111还可以包括其他更多的指定目标和/或非指定目标，本技术在此不做限定。第n帧图像111还可以包括各个指定目标的目标框，目标框用于圈定目标对象，表示目标对象的位置坐标。示例性的，目标框1101用于圈定指定目标1(房子)，目标框1102用于圈定指定目标2(人)。
[0269]
在一些实施例中，电子设备100可以不显示目标框。即在图23中，电子设备100不显示目标框1101和目标框1102。本身请在此不做限定。
[0270]
如图23所示，当用户想要对非指定目标(动物)进行跟踪时，电子设备100可以接收用户作用于非指定目标(动物)图像的点击操作，响应于用户的点击操作，电子设备100将在用户的点击区域显示第一目标框，第一目标框用于圈定用户的点击位置。
[0271]
如图24所示，图24示例性示出了第一目标框2501的示意图。示例性的，当用户点击的是非指定目标(动物)的头部时，电子设备100将在非指定目标(动物)的头部显示第一目标框2501。
[0272]
当然，用户还可以点击非指定目标(动物)的其他部位，本技术在此不做限定。
[0273]
响应于用户的点击操作，电子设备100将对第一目标框2501内的非指定目标(动物)的图像进行特征提取并保存图像的特征。
[0274]
图25示例性示出了用户选定的跟踪目标和跟踪目标对应的特征。如图25所示，电子设备100响应于用户点击的操作，对第一目标框2501内的非指定目标(动物)的图像进行特征提取，并保存第一目标框2501内的非指定目标(动物)的图像的特征。特征提取可以是将第n帧图像中第一目标框2501内的非指定目标(动物)的图像的特征用特征向量f5(n)表示。例如，f5(n)＝[x1,x2,x3,
…
，xn]。特征向量f5(n)可以表示第一目标框2501内的非指定目标(动物)的图像的纹理特征，轮廓特征等等。此处将第一目标框2501内的非指定目标(动物)的图像的特征向量f5(n)具体形式，以及大小不作限定。例如，f5(n)可以是包含n个数值的特征向量[0.5，0.6，0.8，
…
，0.9，0.7，0.3]。其中，n为整数，可以是128，256，512等等，n的大小不作限定。电子设备100将第一目标框2501内的非指定目标(动物)的图像的特征提取之后，将第一目标框2501内的非指定目标(动物)的图像的特征保存至电子设备100的跟踪
模板中。跟踪模板可以用于表示跟踪目标的多个特征。
[0275]
之后，第一目标框2501的尺寸将从预设最小值逐渐变大，直至增大将非指定目标(动物)的完整图像圈住，第一目标框2501的尺寸不再变化。
[0276]
如图26所示，示例性的，当电子设备100显示第n 1帧图像171时，第一目标框2501的尺寸扩大至第二目标框2701，电子设备100将对第二目标框2701内的非指定目标(动物)的图像进行特征提取并保存图像的特征。
[0277]
图27示例性示出了用户选定的跟踪目标和跟踪目标对应的特征。如图27所示，电子设备100对第二目标框2701内的非指定目标(动物)的图像进行特征提取，并保存第二目标框2701内的非指定目标(动物)的图像的特征，可以理解的是，第二目标框2701比第一目标框2501大，第二目标框2701内的非指定目标(动物)的图像比第一目标框2501内的非指定目标(动物)的图像完整，第二目标框2701内的非指定目标(动物)的图像包括第一目标框2501内的非指定目标(动物)的图像。特征提取可以是将第n 1帧图像中第二目标框2701内的非指定目标(动物)的图像的特征用特征向量f6(n)表示。例如，f6(n)＝[x1,x2,x3,
…
，xn]。特征向量f6(n)可以表示第二目标框2701内的非指定目标(动物)的图像的纹理特征，轮廓特征等等。此处将第二目标框2701内的非指定目标(动物)的图像的特征向量f6(n)具体形式，以及大小不作限定。例如，f6n)可以是包含n个数值的特征向量[0.6，0.8，0.9，
…
，0.9，0.7，0.3]。其中，n为整数，可以是128，256，512等等，n的大小不作限定。
[0278]
电子设备100将第二目标框2701内的非指定目标(动物)的图像的特征提取之后，一种可能的实施方式是，电子设备100清除第一目标框2501内的非指定目标(动物)的图像的特征，保存第二目标框2701内的非指定目标(动物)的图像的特征；另一种可能的实施方式是，电子设备100将第一目标框2501内的非指定目标(动物)的图像的特征与第二目标框2701内的非指定目标(动物)的图像的特征作加权运算，作为第二目标框2701内的非指定目标(动物)的图像的特征。
[0279]
当第二目标框2701还没有将非指定目标(动物)的图像完全圈住时，第二目标框2702的尺寸继续变大直至将非指定目标(动物)的图像完全圈住。
[0280]
如图28所示，示例性的，当电子设备100显示第n 2帧图像2901时，第二目标框2702的尺寸扩大至第三目标框2901，电子设备100将对第三目标框2901内的非指定目标(动物)的图像进行特征提取并保存图像的特征。
[0281]
图29示例性示出了用户选定的跟踪目标和跟踪目标对应的特征。如图29所示，电子设备100对第三目标框2901内的非指定目标(动物)的图像进行特征提取，并保存第三目标框2901内的非指定目标(动物)的图像的特征，可以理解的是，第三目标框2901比第二目标框2701大，第三目标框2901内的非指定目标(动物)的图像比第二目标框2701内的非指定目标(动物)的图像完整，第三目标框2901内的非指定目标(动物)的图像包括第二目标框2701内的非指定目标(动物)的图像，第三目标框2901内的非指定目标(动物)的图像可以是包括非指定目标(动物)的完整的图像。特征提取可以是将第n 2帧图像中第三目标框2901内的非指定目标(动物)的图像的特征用特征向量f7(n)表示。例如，f7(n)＝[x1,x2,x3,
…
，xn]。特征向量f7(n)可以表示第三目标框2901内的非指定目标(动物)的图像的纹理特征，轮廓特征等等。此处将第三目标框2901内的非指定目标(动物)的图像的特征向量f7(n)具体形式，以及大小不作限定。例如，f7n)可以是包含n个数值的特征向量[0.7，0.9，0.8，
…
，
0.9，0.7，0.3]。其中，n为整数，可以是128，256，512等等，n的大小不作限定。
[0282]
电子设备100将第三目标框2901内的非指定目标(动物)的图像的特征提取之后，一种可能的实施方式是，电子设备100清除第二目标框2701内的非指定目标(动物)的图像的特征，保存第三目标框2901内的非指定目标(动物)的图像的特征；另一种可能的实施方式是，电子设备100将第二目标框2701内的非指定目标(动物)的图像的特征与第三目标框2901内的非指定目标(动物)的图像的特征作加权运算，作为第三目标框2901内的非指定目标(动物)的图像的特征。
[0283]
在一些实施例中，电子设备100可以不显示第二目标框2701，只显示第一目标框2501和第三目标框2901，本技术再此不做限定。
[0284]
需要说明的是，第一目标框2501的尺寸可以直接变大至第三目标框2901，将非指定目标(动物)的图像完全圈住。第一目标框2501也可以经过多个目标框才会变大至第三目标框2901，将非指定目标(动物)的图像完全圈住。本技术对于多个目标框的数量不做限定，多个目标框的数量可以是一个(例如第二目标框2701)，也可以是两个或三个等等。
[0285]
如图30所示，当电子设备100显示第三目标框2901之后，电子设备100检测到第三目标框2901已将非指定目标(动物)的图像完全圈住。电子设备100可以接收用户点击第三目标框2901的操作，响应于用户的点击操作，第三目标框2901不再变化。
[0286]
如图31所示，响应于用户的点击操作，非指定目标(动物)的目标框不再变化，电子设备10将在第n 2帧图像中显示非指定目标(动物)的跟踪框3301。
[0287]
在一种可能的实现方式中，当电子设备100显示第三目标框2901之后，电子设备100也可以不接收用户点击第三目标框2901的操作，电子设备100使用算法或模型(例如边缘算法)检测到第三目标框2901已将非指定目标(动物)的图像完全圈住后，第三目标框2901不再变化，并显示非指定目标(动物)的跟踪框3301。
[0288]
之后，电子设备100将在第n 2帧图像之后续的连续的视频帧中对非指定目标(动物)进行跟踪。电子设备100如何对非指定目标跟踪的方法与实施例一中电子设备100如何对指定目标跟踪的方法相同，具体的，请参考实施例一，本技术在此不再赘述。
[0289]
图23-图31示例性的示出了电子设备100如何识别非指定目标(动物)并提取非指定目标(动物)特征的。下面介绍另外几种电子设备100识别非指定目标(动物)并提取非指定目标(动物)特征的方法。
[0290]
方法一；
[0291]
如图32所示，图32示例性地示出了电子设备100在开启目标跟踪功能之后，获取到的第n帧图像111的示意图。第n帧图像111为电子设备100获取到的原始图像。
[0292]
如图32所示，当用户想要对非指定目标(动物)进行跟踪时，电子设备100可以接收用户手动画圈将非指定目标(动物)的图像完全圈住。当用户画完圈之后，电子设备100将显示如图31所示的目标框3301。
[0293]
电子设备100将对目标框3301内的非指定目标(动物)的图像进行特征提取，并将非指定目标(动物)的特征保存至跟踪模板。
[0294]
之后，电子设备100将在第n帧图像之后续的连续的视频帧中对非指定目标(动物)进行跟踪。电子设备100如何对非指定目标跟踪的方法与实施例一中电子设备100如何对指定目标跟踪的方法相同，具体的，请参考图17-图18所示的实施例，本技术在此不再赘述。
[0295]
方法二；
[0296]
当用户想要对非指定目标(动物)进行跟踪时，电子设备100可以接收用户作用于非指定目标(动物)图像的点击操作，响应于用户的点击操作，电子设备100将在用户的点击区域显示第一目标框，第一目标框用于圈定用户的点击位置。
[0297]
请参见图24，图24示例性示出了第一目标框2501的示意图。示例性的，当用户点击的是非指定目标(动物)的头部时，电子设备100将在非指定目标(动物)的头部显示第一目标框2501。响应于用户的点击操作，电子设备100将对第一目标框2501内的非指定目标(动物)的图像进行特征提取并保存图像的特征。
[0298]
如图33所示，电子设备100可以接收用户作用于第一目标框2501的右边界向右拖动操作，响应于用户拖动操作，第一目标框2501随着用户作用于第一目标框2501的右边界向右拖动操作而逐渐变大，当第一目标框2501变大到将非指定目标(动物)完全圈住之后，用户松开手指，第一目标框2501将不再变化。
[0299]
请参见图30，当第一目标框2501变大到将非指定目标(动物)完全圈住之后，电子设备100显示非指定目标(动物)的跟踪框3101。并且，电子设备100将对跟踪框3101内的非指定目标(动物)的图像进行特征提取。电子设备100将跟踪框3101内的非指定目标(动物)的图像的特征提取之后，一种可能的实施方式是，电子设备100清除第一目标框2501内的非指定目标(动物)的图像的特征，保存跟踪框3101内的非指定目标(动物)的图像的特征；另一种可能的实施方式是，电子设备100将第一目标框2501内的非指定目标(动物)的图像的特征与跟踪框3101内的非指定目标(动物)的图像的特征作加权运算，作为跟踪框3101内的非指定目标(动物)的图像的特征。
[0300]
基于上述实施例介绍本技术实施例二提供的另一种目标跟踪方法。如图34所示，该方法包括：
[0301]
s3401、电子设备100显示第一用户界面，第一用户界面中显示有第n帧图像，第n帧图像中包含有一个或多个非指定目标。
[0302]
电子设备100显示的第一用户界面中的第n帧图像可以是电子设备100正在录制录视频或拍照时显示的。在一种可能的实现方式中，电子设备100可以是开启了相机应用程序录制视频或拍照。在另一种可能的实现方式中，电子设备100还可以是开启了其他具有拍照功能的应用程序(例如微信、微博、)录制视频或拍照，本技术宁在此不做限定。
[0303]
在另一些实施例中，电子设备100的用户界面显示的图像帧也可以是其它设备(例如无人机、监控摄像头等设备)发送给电子设备100的。
[0304]
可以理解的是，在电子设备显示第一用户界面之后，电子设备可以开启目标跟踪功能，具体的，请参见图6-图10所示的实施例，本技术再次不再赘述。
[0305]
s3402、电子设备100在一个或多个非指定目标中确定出跟踪目标，电子设备100包含有第一目标框，第一目标框圈定的图像为非指定目标的第一部分图像。
[0306]
电子设备接收并响应于作用于摄像头实时采集到的图像上的第六区域内的点击操作，在摄像头实时采集到的图像上的第六区域上显示第一目标框；在电子设备在摄像头实时采集到的图像上的第六区域内显示第一目标框之后，电子设备获取摄像头实时采集的图像，在摄像头实时采集到的图像上显示第二目标框；第二目标框中的图像内容包括第一目标框内的图像内容；电子设备接收并响应于作用于摄像头实时采集到的图像上的第二目
标框的点击操作，第二目标框在摄像头实时采集到的图像上的区域为第一区域；第一区域包括第六区域。这样，对于非指定目标，由于电子设备不能自动识别出图像中的非指定目标，电子设备可以接收用户手动确认出非指定目标在图像帧中的位置，即电子设备接收并响应于作用于摄像头实时采集到的图像上的第六区域内的点击操作，在摄像头实时采集到的图像上的第六区域上显示第一目标框。第一目标框用于圈定用户的点击的位置坐标。之后，第一目标框逐渐变大，直至将非指定目标的图像完整圈住，即电子设备获取摄像头实时采集的图像，在摄像头实时采集到的图像上显示第二目标框；第二目标框中的图像内容包括第一目标框内的图像内容。当第二目标框将非指定目标的完整图像全部圈住之后，电子设备可以接收用户的点击操作，使得第二目标框的尺寸不再变化，即电子设备接收并响应于作用于摄像头实时采集到的图像上的第二目标框的点击操作，第二目标框在摄像头实时采集到的图像上的区域为第一区域；第一区域包括第六区域。
[0307]
电子设备100显示第n帧图像，第n帧图像中有一个或多个指定目标和一个或多个非指定目标。
[0308]
当用户相对非指定目标进行跟踪时，电子设备100可以接收用户点击非指定目标的操作，响应于用户点击非指定目标的操作，电子设备100显示第一目标框，第一目标框内包括非指定目标的第一部分图像。可以理解的是，非指定目标的第一部分图像为非指定目标的一部分。具体的，请参考图23-图24所示的实施例，本技术在此不再赘述。
[0309]
s3403、电子设备100对非指定目标的第一部分图像进行特征提取并保存。
[0310]
具体的，电子设备100可以通过特征提取算法对非指定目标的第一部分图像进行特征提取，得到并保存非指定目标的第一部分图像的特征(例如纹理特征、轮廓特征等等)，具体的，电子设备100可以对非指定目标的第一部分图像进行特征提取得到的一个特征向量作为非指定目标的第一部分图像对应的特征。电子设备100可以将非指定目标的第一部分图像的特征保存至跟踪模板中，跟踪模板可用于表示跟踪目标的一个或多个特征。
[0311]
具体的，请参考图25所示的实施例，本技术在此不再赘述。
[0312]
s3404、电子设备100显示的第二用户界面，第二用户界面中显示有第n 1帧图像，第n 1帧图像中包含有第二目标框，第二目标框圈定的图像为非指定目标的第二部分图像。
[0313]
电子设备100显示第n 1帧图像，第n 1帧图像中有一个或多个指定目标和一个或多个非指定目标。
[0314]
由于第一目标框内包括非指定目标的第一部分图像为非指定目标的完整图像的一部分，因此第一目标框会逐渐变大，直至将非指定目标的完整图像全部框住。
[0315]
第二目标框的尺寸比第一目标框的尺寸大，第二目标框圈定的非指定目标的图像比第一目标框圈定的非指定目标的图像多。
[0316]
非指定目标的第二部分图像包括非指定目标的第一部分图像，非指定目标的第二部分图像为非指定目标的完整图像的一部分。
[0317]
可选的，第一目标框可以自动延伸至第二目标框，电子设备也可以接收用户作用于第一目标框的滑动操作将第一目标框扩大至第二目标框，本技术在此不做限定。
[0318]
s3405、电子设备100对非指定目标的第二部分图像进行特征提取并保存。
[0319]
具体的，电子设备100可以通过特征提取算法对非指定目标的第二部分图像进行特征提取，得到并保存非指定目标的第二部分图像的特征(例如纹理特征、轮廓特征等等)，
具体的，电子设备100可以对非指定目标的第二部分图像进行特征提取得到的一个特征向量作为非指定目标的第二部分图像对应的特征。电子设备100可以将非指定目标的第二部分图像的特征保存至跟踪模板中，跟踪模板可用于表示跟踪目标的一个或多个特征。
[0320]
具体的，请参考图26-图27所示的实施例，本技术在此不再赘述。
[0321]
可选的，电子设备100更新非指定目标的特征可以采用以下任意一种方式：
[0322]
方式一：电子设备100清除非指定目标的第一部分图像的特征，保存非指定目标的第二部分图像的特征，作为非指定目标的第二部分图像的特征。
[0323]
方式二：电子设备100将非指定目标的第一部分图像的特征与非指定目标的第二部分图像的特征作加权运算，作为非指定目标的第二部分图像的特征。
[0324]
s3406、电子设备100显示第三用户界面，第三用户界面中显示有第n 2帧图像，第n 2帧图像中包含有第三目标框，第三标框圈定的图像为非指定目标的完整图像。
[0325]
电子设备显示第一拍摄界面，第一拍摄界面上显示摄像头实时采集到的图像；
[0326]
电子设备判断摄像头实时采集到的图像中是否包括有与预设目标特征模板相匹配的指定目标；当摄像头实时采集到的图像中不包括有与预设目标特征模板相匹配的指定目标时，电子设备接收并响应于作用于摄像头实时采集到的图像上的第一输入操作，确定出用户在摄像头实时采集到的图像上选中的第一区域。
[0327]
电子设备100显示第n 2帧图像，第n 2帧图像中有一个或多个指定目标和一个或多个非指定目标。
[0328]
由于第二目标框内包括非指定目标的第二部分图像为非指定目标的完整图像的一部分，因此第二目标框会逐渐变大，直至将非指定目标的完整图像全部框住。
[0329]
第三目标框的尺寸比第二目标框的尺寸大，第三目标框圈定的非指定目标的图像为非指定目标的完整图像(第一区域)。
[0330]
可选的，第二目标框可以自动延伸至第三目标框，电子设备也可以接收用户作用于第二目标框的拖动操作(第一输入操作)将第二目标框扩大至第三目标框，本技术在此不做限定。
[0331]
当电子设备100显示第三目标框2901之后，电子设备100检测到第三目标框2901已将非指定目标(动物)的图像完全圈住。电子设备100可以接收用户点击第三目标框2901的操作，响应于用户的点击操作(第一输入操作)，第三目标框2901不再变化。
[0332]
或者，当电子设备100显示第三目标框2901之后，电子设备100也可以不接收用户点击第三目标框2901的操作，电子设备100使用算法或模型(例如边缘算法)检测到第三目标框2901已将非指定目标(动物)的图像完全圈住后，第三目标框2901不再变化，并显示非指定目标(动物)的跟踪框3301。
[0333]
s3407、电子设备100对非指定目标的第三部分图像进行特征提取并保存。
[0334]
电子设备提取出摄像头实时采集到的图像上第一区域中的第一图像特征。
[0335]
具体的，电子设备100可以通过特征提取算法对非指定目标的第三部分图像进行特征提取，得到并保存非指定目标的第三部分图像的特征(第一图像特征)(例如纹理特征、轮廓特征等等)，具体的，电子设备100可以对非指定目标的第三部分图像进行特征提取得到的一个特征向量作为非指定目标的第三部分图像对应的特征。电子设备100可以将非指定目标的第三部分图像的特征保存至跟踪模板中，跟踪模板可用于表示跟踪目标的一个或
多个特征。
[0336]
具体的，请参考图28-图29所示的实施例，本技术在此不再赘述。
[0337]
可选的，电子设备100更新非指定目标的特征可以采用以下任意一种方式：
[0338]
方式一：具体的，电子设备提取出摄像头实时采集到的图像上第二区域中的第二图像特征；在提取到第二图像特征后，电子设备基于第二图像特征，从摄像头实时采集到的图像中确定出与第二图像特征的相似度大于第一值的第三区域；电子设备基于第三区域，从摄像头实时采集到的图像上裁剪出第二裁剪图像，第二裁剪图像包括第三区域；电子设备显示第三拍摄界面，第三拍摄界面显示第二裁剪图像。
[0339]
即电子设备100清除非指定目标的第二部分图像的特征，保存非指定目标的第三部分图像的特征，作为非指定目标的第三部分图像的特征，即跟踪目标的图像。
[0340]
方式二、电子设备提取出摄像头实时采集到的图像上第二区域中的第二图像特征；电子设备将第二图像特征与第一图像特征做加权运算，得到第三图像特征；在得到到第三图像特征后，电子设备基于第三图像特征，从摄像头实时采集到的图像中确定出与第三图像特征的相似度大于第一值的第四区域；电子设备基于第四区域，从摄像头实时采集到的图像上裁剪出第三裁剪图像，第三裁剪图像包括第四区域；电子设备显示第四拍摄界面，第四拍摄界面显示第三裁剪图像。
[0341]
即电子设备100将非指定目标的第二部分图像的特征与非指定目标的第三部分图像的特征作加权运算，作为非指定目标的第三部分图像的特征，即跟踪目标的图像。
[0342]
电子设备100显示第三目标框后，第三目标框完全将用户需要跟踪的非指定目标框住，因此第三目标框内的第三部分图像特征可以作为跟踪目标的特征。之后，电子设备100将对非指定目标进行跟踪。
[0343]
s3403-s3407描述了目标框的尺寸自动变大直至将非指定目标的完整图像全部框住的方法，以得到跟踪目标(即非指定目标)的特征。下面介绍其他几种电子设备100识别非指定目标(动物)并提取非指定目标(动物)特征的方法。
[0344]
方式一：电子设备接收并响应于作用于摄像头实时采集到的图像上的滑动操作，确定滑动操作的滑动轨迹的区域为第一区域。
[0345]
当用户想要对非指定目标进行跟踪时，电子设备100可以接收用户手动画圈将非指定目标(动物)的图像完全圈住。当用户画完圈之后，电子设备100将显示第三目标框。第三目标框圈定的图像为非指定目标的完整图像。电子设备100将对第三目标框圈定的图像进行特征提取并保存，作为跟踪目标的特征。
[0346]
方式二：当用户想要对非指定目标进行跟踪时，电子设备100可以接收用户点击非指定目标的操作，响应于用户点击非指定目标的操作，电子设备100显示第一目标框，第一目标框内包括非指定目标的第一部分图像。可以理解的是，非指定目标的第一部分图像为非指定目标的一部分。电子设备100对非指定目标的第一部分图像进行特征提取并保存。
[0347]
之后，电子设备100接收用户作用于第一目标框的拖动操作，使第一目标框的尺寸扩大至第三目标框，第三目标框圈定的非指定目标的第三部分图像为非指定目标的完整图像。电子设备100将对第三目标框圈定的第三部分图像进行特征提取。电子设备100将对第三目标框圈定的第三部分图像进行特征提取之后，更新跟踪目标的特征的方法可以是以下任意一种；
[0348]
方式一：电子设备100清除非指定目标的第一部分图像的特征，保存非指定目标的第三部分图像的特征，作为非指定目标的第三部分图像的特征，即跟踪目标的图像。
[0349]
方式二：电子设备100将非指定目标的第一部分图像的特征与非指定目标的第三部分图像的特征作加权运算，作为非指定目标的第三部分图像的特征，即跟踪目标的图像。
[0350]
电子设备100显示第三目标框后，第三目标框完全将用户需要跟踪的非指定目标框住，因此第三目标框内的第三部分图像特征可以作为跟踪目标的特征。之后，电子设备100将对非指定目标进行跟踪。
[0351]
s3408、电子设备100显示第四用户界面，第四用户界面中显示有第n 3帧图像，第n 3帧图像中有一个或多个非指定目标。
[0352]
s3409、电子设备100以第n 2帧图像中第三目标框的中心点为中心、以第n 2帧图像中第三目标框的m倍为搜索区域，若搜索区域内匹配到与跟踪目标的特征相匹配的特征，电子设备100标记出跟踪目标的位置。
[0353]
在提取到第一图像特征后，电子设备基于第一图像特征，从摄像头实时采集到的图像中确定出与第一图像特征的相似度大于第一值的第二区域；电子设备基于第二区域，从摄像头实时采集到的图像上裁剪出第一裁剪图像，第一裁剪图像包括第二区域。电子设备显示第二拍摄界面，第二拍摄界面显示第一裁剪图像。
[0354]
可选的，电子设备100还可以识别出第n 1图像帧中的一个或多个指定目标的类型，并在指定目标的位置上或周围显示出各指定目标对应的类型。当然，电子设备100也可以不在指定目标的位置上或周围显示出各指定目标对应的类型，本技术在此不做限定。
[0355]
在一种可能的实现方式中，电子设备100以第n 2帧图像中第三目标框的中心点为中心、以第n 2帧图像中第三目标框的m倍为搜索区域(第二区域)，对第n 3帧图像中搜索区域内的每个像素点做卷积运算，得到第n 3帧图像中搜索区域内每个像素点的响应值。若像素点对应的最大响应值大于预设响应值，则第n 3帧图像中有跟踪目标，电子设备100以最大响应值对应的像素点作为第n 3帧图像中跟踪目标的中心点，并显示跟踪框。
[0356]
示例性的，若第n 2帧图像中第三目标框的中心点的坐标为(x，y)，第三目标框的大小为p*q，则第n 3帧图像的搜索区域的中心点的坐标为(x，y)，搜索区域的大小为(p*m)*(q*m)。
[0357]
电子设备100将跟踪目标的特征与第n 3帧图像中搜索区域内每个像素进行卷积运算，得到每个像素的响应值，响应值表示了第n 3帧图像中搜索区域内每个像素点作为跟踪目标的中心点的概率。
[0358]
当第n 3帧图像中搜索区域内像素点对应的最大响应值大于预设响应值，则表示搜索区域内有跟踪目标，目标跟踪成功。以最大响应值对应的像素点为第n 3帧图像中跟踪目标的中心点，以确定跟踪目标的位置，之后，电子设备100根据第n 3帧图像中跟踪目标的中心点显示第n 3帧图像中跟踪目标的跟踪框。
[0359]
在一些实施例中，若电子设备100在连续p帧图像帧中按照上述方法在搜索区域内像素点对应的响应值均小于预设值，则目标跟踪失败，p为大于等于1的正整数。
[0360]
示例性的，若第n 2帧图像中第三目标框的中心点的坐标为(x，y)，第三目标框的大小为p*q，则第n 1帧图像的搜索区域的中心点的坐标为(x，y)，搜索区域的大小为(p*m)*(q*m)。
[0361]
电子设备100将跟踪目标的特征与第n 3帧图像中搜索区域内每个像素进行卷积运算，得到每个像素的响应值，响应值表示了第n 3帧图像中搜索区域内每个像素点作为最终跟踪目标的中心点的概率。
[0362]
当第n 3帧图像中搜索区域内像素点对应的最大响应值小于预设响应值，则表示搜索区域内没跟踪目标。
[0363]
当电子设备100在第n 2帧图像之后的连续p帧图像帧中按照上述方法进行跟踪，连续p帧图像帧中搜索区域内像素点对应的最大响应值均小于预设响应值时，则跟踪目标跟踪失败，p为大于等于1的正整数。
[0364]
即电子设备在提取到第一图像特征后，基于第一图像特征，从摄像头实时采集到的连续t帧图像中没有确定出与第一图像特征的相似度大于第一值的区域；电子设备显示第七拍摄界面，第七拍摄界面显示摄像头实时采集到的图像。
[0365]
当电子设备100停止对跟踪目标的跟踪之后，用户想要再一次对图像帧中的某一个非指定目标进行跟踪时，电子设备100可以接收用户手动圈定非指定目标图像的区域，响应于用户的操作，电子设备100将确定该非指定目标为跟踪目标，电子设备100提取非指定目标图像的特征并保存。电子设备100将在第n p 2帧图像之后的连续图像帧中对跟踪目标进行跟踪，具体的，请参考图14-图18所示的实施例，本技术再次不再赘述。
[0366]
在一种可能的实现方式中，当电子设备100开启跟踪模式之后，电子设备100可以接收用户的主动触发操作停止对跟踪目标的跟踪。
[0367]
电子设备接收用户的第二输入操作；响应于第二输入操作，电子设备显示第五拍摄界面，第五拍摄界面显示摄像头实时采集到的图像。第二输入操作还可以是声控操作等等。
[0368]
当电子设备100开启跟踪模式，并在第n 3帧图像中跟踪到跟踪目标时，用户界面可以显示退出跟踪模式控。退出跟踪模式控件可以接收用户的点击操作(第二输入操作)使电子设备100停止对跟踪目标进行跟踪。这样，用户可以根据自己的需求来选择退出跟踪模式，提高了用户体验。
[0369]
可以理解的是，电子设备100也可以采用其他的方式结束对跟踪目标的跟踪，不限于上述用户点击退出跟踪模式控件来结束对跟踪目标的跟踪，本技术在此不做限定。
[0370]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。