基于运动重心的跟焦方法、系统及摄像系统与流程

1.本发明属于宠物摄影技术领域，涉及运动物体摄影跟焦技术，具体涉及基于运动重心的跟焦方法、系统及摄像系统。


背景技术：

2.摄影摄像的关键技术之一是能准确对焦到被拍摄的目标上。如果目标是运动的，则需要在拍摄的过程中对运动目标保持跟随状态，即跟焦。运动对象的拍摄通常对摄影师的跟焦水平要求较高。基于该需求，自动跟焦技术被发展并在不少场景中被应用。
3.对于运动物体的跟焦拍摄，通常采用两种做法。一种是对相机获取的图像进行目标识别提取，并计算对象的位置进行反馈式跟焦调节；一种是对特定轨迹的目标，根据预设轨迹进行跟焦的主动调节控制。
4.但应用于动物、宠物等活体对象时，目标提取识别进行反馈式跟焦调节的方案存在以下不足：（1）反馈式跟焦调节需要摄像系统具有较强的图像识别运算能力以及调焦响应速度，且在对象运动速度较高或者对跟焦要求较高时难以满足要求；（2）动物宠物等活体本身作为目标时其形态是非固定的（动物不同的姿态如蹲、站、跑、跳、蜷缩等作为图片对象时差异较大），且呈变化类型多、变化速度快的特点，这将给目标识别过程本身带来较大的难度。


技术实现要素：

5.为解决上述现有技术问题，本发明提供一种基于运动重心的跟焦方法、系统及摄像系统。
6.为了实现上述目的，本发明采用的技术方案是：提供一种基于运动重心的跟焦方法，其特征在于，包括，步骤s1，获取初始时间段内摄像头拍摄的视频数据；步骤s2，获取初始时间段内只有活体对象的视频数据；步骤s3，根据运动重心库从只有活体对象的视频数据中获取运动重心图像；步骤s4，计算初始时间段内运动重心图像的初始运动方向与初始运动速度；步骤s5，根据步骤s4中的数据计算活体对象的运动轨迹；步骤s6，计算活体对象的运动轨迹与跟焦的对应函数关系。
7.优选的，步骤s3中，步骤s31，建立运动重心库；步骤s32，获取活体对象离开地面且只受重力的原始数据，所述原始数据具有视频数据和图像数据；步骤s33，获取原始数据中只有活体对象的参考视频图像；步骤s34，从参考视频图像中获取活体对象在第一时刻的局部身体的相对速度；
步骤s35，将第一时刻局部身体在水平方向上的相对速度进行拟合，计算得到活体对象在水平方向上的平均速度；步骤s36，获取参考视频图像中与平均速度相同的二维图像块，所述二维图像块所在的坐标为运动重心图像的坐标；步骤s37，将所述二维图像块保存到运动重心库中。
8.优选的，活体对象在水平方向上的平均速度为，（1）其中，所述局部身体具有头、眼睛、前爪、后爪；其中，vm为第一时刻局部身体在水平方向的速度，m为大于1的整数；其中，f（）为平均速度的拟合函数。
9.优选的，步骤s3中，将只有活体对象的视频数据中的每一帧图像划分为运动重心区域与非运动重心区域；根据运动重心库从运动重心区域中获取运动重心图像；其中，运动重心区域具有活体对象的背部图像与腹部图像，非运动重心区域具有活体对象的头部图像、腿部图像与尾部图像。
10.优选的，将只有活体对象的视频数据中的每一帧图像划分为3*3的九格区域，运动重心区域位于九格区域的第二列第二排。
11.优选的，步骤s4中，初始移动方向具有平面移动方向与深度移动方向；其中，所述平面移动方向为活体对象在拍摄的二维图像上的运动方向，深度移动方向为活体对象在垂直于拍摄的二维平面的方向上的运动方向。
12.优选的，初始移动速度具有平面移动速度与深度移动速度；其中，所述平面移动速度为活体对象在拍摄的二维图像上的运动速度，所述深度移动速度为活体对象在拍摄的垂直于二维平面方向上的运动速度；初始移动速度为平面移动速度与深度移动速度的和速度。
13.优选的，计算在初始时间段内的运动重心图像尺寸变化的比例，计算出活体对象的深度移动速度的方向；且，若初始时间段内运动重心图像尺寸变大，则表示活体对象在靠近摄像头的方向运动；若初始时间段内运动重心图像尺寸不变，则表示活体对象与摄像头的距离不变；若初始时间段内运动重心图像尺寸变小，则表示活体对象在远离摄像头的方向运动。
14.优选的，计算在初始时间段内的运动重心图像中毛发斑点形状的变化计算出活体对象的深度移动速度的方向。
15.优选的，步骤s6中，活体对象的运动重心图像的坐标与拍摄的二维图像宽边的距离《1/7d时图像，调
整摄像头的方向，所述d为拍摄得到的二维图像的长边的长度；活体对象的运动重心图像的坐标与拍摄的二维图像长边的距离《1/7f时，调整摄像头的方向度，所述f为拍摄得到的二维图像的宽边的长度的长度，长边的长度不低于宽边的长度。
16.一种基于运动重心的跟焦系统，其特征在于，包括，可执行程序，所述可执行程序可执行一种基于运动重心的跟焦方法。
17.一种基于运动重心的摄像系统，其特征在于，包括，成像模块；存储模块；处理模块；其中，所述成像模块用于获取图像信息；其中，所述存储模块用于存储图像信息与所述的一种基于运动重心的跟焦系统；其中，所述处理模块可执行所述的一种基于运动重心的跟焦系统。
18.本发明的有益效果体现在，提供一种基于运动重心的跟焦方法、系统及摄像系统。本发明根据运动重心的跟焦方法大大减少了计算量，而且本发明将复杂的数据简单化求解出活体对象的参考运动重心，能够实现在较差的硬件条件下实现基于运动重心的跟焦，能够达到低成本、大批量生产硬件的要求。
附图说明
19.图1为一种基于运动重心的跟焦方法流程图；图2为一种建立运动重心库的流程图；图3为一种活体对象示意图；图4为一种运动重心图像示意图；图5为一种拍摄画面示意图；图6为一种摄像系统框架图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.请参阅图1-图6所示，本发明提供的具体实施例如下：实施例1：一种基于运动重心的跟焦方法，其特征在于，包括，步骤s1，获取初始时间段内摄像头拍摄的视频数据；步骤s2，获取初始时间段内只有活体对象的视频数据；步骤s3，根据运动重心库从只有活体对象的视频数据中获取运动重心图像；步骤s4，计算初始时间段内运动重心图像的初始运动方向与初始运动速度；步骤s5，根据步骤s4中的数据计算活体对象的运动轨迹；
步骤s6，计算活体对象的运动轨迹与跟焦的对应函数关系。
22.随着互联网的不断发展，大量的宠物爱好者分享自己的宠物信息，包括视频、图片、语言文字等，短视频传播信息的速度非常块，传播范围也非常广，逐渐宠物信息已经占据了短视频的大部分内容，特别是自己养宠物的用户更希望观看到自己家的宠物的视频、图片等，为此提供一种拍摄家养宠物的设备是非常有意义的。
23.安装在家里的摄像头拍摄时，往往遇到一个自动跟焦的问题，当拍摄运动的物体时，为了保证拍摄对象的清晰度，需要及时对运动的物体进行调焦，现有技术中，跟焦分为两种方式，人为跟焦与自动跟焦。大师级别的摄影师根据运动的对象任意调焦，可达到较好的拍摄效果，但是大师级别的摄影师数量有限，该方法成本太高。
24.一种自动跟焦方式是反馈式跟焦，反馈式跟焦需要先识别出运动对象，然后定位运动对象与镜头的距离，从而再进行调焦动作，该方法需要摄像头具有较强的运算能力来实现复杂的图像处理工作，这对于实时性要求较高的视频数据处理具有非常大的挑战，而且该方法对于高速运动的活体对象调焦更是难以实现。另一种自动跟焦方式是在固定运动轨迹下进行调焦，可根据已知的运动轨迹预先设置调焦，达到自动调焦的效果，但该方法准确调焦的前提是预先知道运动轨迹，而宠物等活体对象是进行无规律运动，不能提前知道其运动轨迹，故自动跟焦该方法并不能准确跟焦活体对象，因而很难拍摄出活体对象清晰的运动视频。
25.当活体对象快速移动时（活体对象为家养宠物、动物等活物），有很大的概率是局部身体移动，比如宠物的头部不动而身子移动；或者宠物的身子不动而头部移动，在这种类似的情况下，相机会自动调节一个焦距，但是由于宠物的运动是没有规律的，相机大概率会出现调节焦距过大的情况，导致拍出来的视频出现难以接受的抖动现象，而且图像画面是模糊不清的，非常影响整体原始数据的质量，给用户极差的体验感。
26.在本实施例中，如图1所示，提出一种基于运动重心的跟焦方法，其特征在于，包括，步骤s1，获取初始时间段内摄像头拍摄的视频数据；步骤s2，获取初始时间段内只有活体对象的视频数据；步骤s3，根据运动重心库从只有活体对象的视频数据中获取运动重心图像；步骤s4，计算初始时间段内运动重心图像的初始运动方向与初始运动速度；步骤s5，根据步骤s4中的数据计算活体对象的运动轨迹；步骤s6，计算活体对象的运动轨迹与跟焦的对应函数关系。本发明提出一种基于运动重心的跟焦方法，获取活体对象起跳的一小段视频数据，通过运动重心图像计算出该时间段内的初始运动方向与初始运动速度，并根据计算出的初始运动方向与初始运动速度计算出活体对象的运动轨迹，从而根据计算出的运动轨迹进行调焦，运动轨迹与调焦为一一对应的关系。本发明实现了对活体对象实时的跟焦，能够拍摄到清晰的图像数据。
27.实施例2：步骤s3中，步骤s31，建立运动重心库；步骤s32，获取活体对象离开地面且只受重力的原始数据，所述原始数据具有视频数据和图像数据；步骤s33，获取原始数据中只有活体对象的参考视频图像；步骤s34，从参考视频图像中获取活体对象在第一时刻的局部身体的相对速度；
步骤s35，将第一时刻局部身体在水平方向上的相对速度进行拟合，计算得到活体对象在水平方向上的平均速度；步骤s36，获取参考视频图像中与平均速度相同的二维图像块，所述二维图像块所在的坐标为运动重心图像的坐标；步骤s37，将所述二维图像块保存到运动重心库中。
28.由于宠物等活体对象（如猫/狗等动物）运动时，其作为整体对象，运动方式单一，特别是跳跃离地运动时，对象仅仅受到重力作用，此时无论其姿态如何变化，重心均遵循单一受力的简单运动方式。因此，如果能够识别并准确获取到对象的唯一重心，再将重心坐标应用于对该对象的跟焦运动拍摄，将是此类对象运动拍摄影片质量的关键技术之一，尤其对于拍摄跳跃等离地运动行为可实现轨迹精准预判的跟焦拍摄。
29.在本实施例中，如图2所示，步骤s3中，步骤s31，建立运动重心库；步骤s32，获取活体对象离开地面且只受重力的原始数据，所述原始数据具有视频数据和图像数据；步骤s33，获取原始数据中只有活体对象的参考视频图像；步骤s34，从参考视频图像中获取活体对象在第一时刻的局部身体的相对速度；步骤s35，将第一时刻局部身体在水平方向上的相对速度进行拟合，计算得到活体对象在水平方向上的平均速度；步骤s36，获取参考视频图像中与平均速度相同的二维图像块，所述二维图像块所在的坐标为运动重心图像的坐标；由于用户家里的宠物数量有限，一般为1-2只，而且宠物对象相对固定，通过学习并存储该活体对象的运动重心图像，然后对该对象进行跟踪拍摄，从其日常运动轨迹中计算出其运动重心。
30.在不同时刻、不同状态下，于活体对象姿态不同与体型不同，其实际运动重心的位置都有变化，本发明通过构建运动重心库将用户家里的宠物多种状态下的运动重心图像保存起来，相对于反馈式自动跟焦，本发明基于运动重心的跟焦方法，计算出的运动轨迹与活体对象的实际运动轨迹接近，相机按照本发明基于运动重心的跟焦方法拍摄到的画面清晰，不会出现模糊、抖动等情况。本发明大大减少了计算量，而且本发明将复杂的数据简单化，计算出活体对象接近真实重心位置的运动重心，能够实现在较差的硬件条件下实现接近真实重心位置的运动重心识别，能够达到低成本、大批量生产硬件的要求。
31.实施例3：活体对象在水平方向上的平均速度为，（1）其中，所述局部身体具有头、眼睛、前爪、后爪；其中，vm为第一时刻局部身体在水平方向的速度，m为大于1的整数；其中，f（）为平均速度的拟合函数。
32.当活体对象跳跃离开地面时，对象只受到重力作用，对象的重心唯一，可以根据对象的运动轨迹唯一，计算对象唯一的运动重心轨迹，以此来确定调节相机的焦距，可以避免出现画面抖动的现象。由于活体对象在水平方向上不受力，故在水平方向上对象的动量守恒。
33.在本实施例中，通过计算第一时刻局部身体在水平方向上的相对速度进行拟合，计算得到活体对象在水平方向上的平均速度，根据水平方向动量守恒，通过拟合函数拟合出活体对象在水平方向上的平均速度v，而活体对象在水平方向上的平均速度v就是该活体
对象重心在水平方向的速度。在一种实施例中，活体对象为猫，v1表示某一时刻猫前爪的水平速度，v2表示某一时刻猫后爪的水平速度，v3表示某一时刻猫头部的水平速度。
34.实施例4：步骤s3中，将只有活体对象的视频数据中的每一帧图像划分为运动重心区域与非运动重心区域；根据运动重心库从运动重心区域中获取运动重心图像；其中，运动重心区域具有活体对象的背部图像与腹部图像，非运动重心区域具有活体对象的头部图像、腿部图像与尾部图像。
35.将只有活体对象的视频数据中的每一帧图像划分为3*3的九格区域，运动重心区域位于九格区域的第二列第二排。
36.由于家养宠物的品种繁多，但是大多数宠物外表毛发具有相似性，比如狸花猫的斑纹不容易识别，在运动重心识别时容易出现误检，导致跟焦失败。
37.在本实施例中，如图3所示，将只有活体对象的视频数据中的每一帧图像划分为运动重心区域与非运动重心区域；根据运动重心库从运动重心区域中获取运动重心图像；其中，运动重心区域具有活体对象的背部图像与腹部图像，非运动重心区域具有活体对象的头部图像、腿部图像与尾部图像。优选的，将只有活体对象的视频数据中的每一帧图像划分为3*3的九格区域，运动重心区域位于九格区域的第二列第二排a。本发明将只有活体对象的视频数据进行区域划分，然后在运动重心区域内在获取运动重心图像，大大减小了运动重心的误检率，从而使得本发明能够拍摄到清晰的图像数据，实现对活体对象的实时跟焦。
38.实施例5：步骤s4中，初始移动方向具有平面移动方向与深度移动方向；其中，所述平面移动方向为活体对象在拍摄的二维图像上的运动方向，深度移动方向为活体对象在垂直于拍摄的二维平面的方向上的运动方向。
39.初始移动速度具有平面移动速度与深度移动速度；其中，所述平面移动速度为活体对象在拍摄的二维图像上的运动速度，所述深度移动速度为活体对象在拍摄的垂直于二维平面方向上的运动速度；初始移动速度为平面移动速度与深度移动速度的和速度。
40.由于摄像头拍摄到的图像是二位画面，从图像中能够直接获取平面移动方向，但是活体对象的深度移动方向不能直接获取，跟焦时焦距的调节就是根据活体对象与摄像头之间的距离来确定的，为此提出一种可以实时监测活体对象与摄像头距离的方法是非常有价值的。
41.在本实施例中，步骤s4中，初始移动方向具有平面移动方向与深度移动方向；其中，所述平面移动方向为活体对象在拍摄的二维图像上的运动方向，深度移动方向为活体对象在垂直于拍摄的二维平面的方向上的运动方向。初始移动速度具有平面移动速度与深度移动速度；其中，所述平面移动速度为活体对象在拍摄的二维图像上的运动速度，所述深度移动速度为活体对象在拍摄的垂直于二维平面方向上的运动速度；初始移动速度为平面移动速度与深度移动速度的和速度。本发明通过初始移动方向与初始移动速度计算活体对
象的运动轨迹，初始移动速度为平面移动速度与深度移动速度的和速度，通过结合平面移动速度与深度移动速度来确定活体对象的运动轨迹，本发明根据计算出来的运动轨迹进行跟焦拍摄的画面清晰，而且使活体对象始终保持在焦平面上。
42.实施例6：计算在初始时间段内的运动重心图像尺寸变化的比例，计算出活体对象的深度移动速度的方向；且，若初始时间段内运动重心图像尺寸变大，则表示活体对象在靠近摄像头的方向运动；若初始时间段内运动重心图像尺寸不变，则表示活体对象与摄像头的距离不变；若初始时间段内运动重心图像尺寸变小，则表示活体对象在远离摄像头的方向运动。
43.在本实施例中，由于活体对象距离摄像头的距离不同，相同姿态、相同视角下拍摄到活体对象的尺寸大小不同，根据这个成像原理，本发明通过计算在初始时间段内的运动重心图像尺寸变化的比例，计算出活体对象的深度移动速度的方向；且，若初始时间段内运动重心图像尺寸变大，则表示活体对象在靠近摄像头的方向运动；若初始时间段内运动重心图像尺寸不变，则表示活体对象与摄像头的距离不变；若初始时间段内运动重心图像尺寸变小，则表示活体对象在远离摄像头的方向运动。判断了活体对象在深度方向上的运动方向，本发明根据初始时间段内运动重心图像尺寸变化的比例计算出活体对象在深度方向上的运动速度，从而计算出活体对象的初始移动速度。
44.实施例7：计算在初始时间段内的运动重心图像中毛发斑点形状的变化计算出活体对象的深度移动速度的方向。
45.由于活体对象是运动的，其姿态变化多端，从不同角度拍摄活体对象，相同的毛发斑点在二维图像上呈现不同的特点，如图4所示，其中(a)表示正对拍摄活体对象斑点的形状，(b)与(c)表示活体动物在水平方向与深度方向上运动后的拍摄斑点的形状，(d)、(e)与(f)表示活体动物在竖直方向与深度方向上运动后的拍摄斑点的形状，例如正对拍摄到一个黑色圆斑点，当活体对象的运动方向发生改变时，拍摄到一个黑色圆斑点可能变成椭圆形。而且椭圆的长轴不同对应不同的移动方向，在本实施例中，通过计算在初始时间段内的运动重心图像中毛发斑点形状的变化计算出活体对象的深度移动速度的方向，从而计算出活体对象的初始移动速度。
46.实施例8：步骤s6中，活体对象的运动重心图像的坐标与拍摄的二维图像宽边的距离《1/7d时图像，调整摄像头的方向，所述d为拍摄得到的二维图像的长边的长度；活体对象的运动重心图像的坐标与拍摄的二维图像长边的距离《1/7f时，调整摄像头的方向度，所述f为拍摄得到的二维图像的宽边的长度的长度，长边的长度不低于宽边的长度。
47.由于镜头的边缘部分和中心部分的放大倍率不一样导致畸变，畸变一般出现在画面的边缘处，畸变会改变物体的成像形状，从而影响活体对象的运动重心图像的准确获取，
有很大的概率导致跟焦失败。另一方面，活体对象在拍摄画面的边缘时，有很大的概率会跳出拍摄画面，导致跟焦失败。
48.在本实施例中，如图5所示，实线边框2为拍摄画面边框，虚线边框1为预设未失真区域边框。步骤s6中，活体对象的运动重心图像的坐标与拍摄的二维图像宽边的距离《1/7d时图像，调整摄像头的方向，所述d为拍摄得到的二维图像的长边的长度；活体对象的运动重心图像的坐标与拍摄的二维图像长边的距离《1/7f时，调整摄像头的方向度，所述f为拍摄得到的二维图像的宽边的长度的长度，长边的长度不低于宽边的长度。本发明通过检测活体对象是否在拍摄画面的边缘，如果在拍摄画面边缘时，调节像头的方向使得活体对象处于画面的非边缘区域，从而保证拍摄画面的真实性以及持续跟焦。
49.实施例9：一种基于运动重心的跟焦系统，其特征在于，包括，可执行程序，所述可执行程序可执行一种基于运动重心的跟焦方法。
50.一种基于运动重心的摄像系统，其特征在于，包括，成像模块；存储模块；处理模块；其中，所述成像模块用于获取图像信息；其中，所述存储模块用于存储图像信息与所述的一种基于运动重心的跟焦系统；其中，所述处理模块可执行所述的一种基于运动重心的跟焦系统。
51.在本实施例中，如图6所示，一种基于运动重心的摄像系统，其特征在于，包括，成像模块；存储模块；处理模块；其中，所述成像模块用于获取图像信息；其中，所述存储模块用于存储图像信息与所述的一种基于运动重心的跟焦系统；其中，所述处理模块可执行所述的一种基于运动重心的跟焦系统。处理模块可接收云端运动重心库的信号，并将本地的视频数据发送到云端，在一种实施例中，具有电源，电源用于给摄像提供电源。
52.在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系。
53.在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
54.在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
55.在本发明的实施例的描述中，需要理解的是，
“‑”
和“~”表示的是两个数值之同的范围，并且该范围包括端点。例如:“a-b”表示大于或等于a，且小于或等于b的范围。“a~b''表示大于或等于a，且小于或等于b的范围。
56.在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独
存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
57.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。