一种噪声处理方法、装置、智能设备及存储介质与流程

1.本技术涉及计算机技术领域，具体涉及一种噪声处理方法、装置、智能设备及存储介质。


背景技术：

2.现有的一些设备在运行时，可能会出现由于设备内部器件运动偏移过大而导致设备噪声较高。例如，洗衣机设备存在电机运行噪声，再加上内筒的高速旋转，因而出现了洗涤脱水状态下噪声过大，进而影响用户体验。现有的设备降噪方案大都是通过物理被动降噪。例如，通过施加隔离板、隔音棉以及加固材料等方式来降噪，然而上述方式需要额外增加隔音材料，降噪不准确，且降噪效果并不理想。


技术实现要素：

3.本技术实施例提供一种噪声处理方法、装置、智能设备及存储介质，可以提高智能设备噪声处理的准确性。
4.为解决上述技术问题，本技术实施例提供以下技术方案：
5.本技术实施例提供了一种噪声处理方法，包括：
6.获取设备内部至少一个对象运行的视频；
7.根据所述视频对所述至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹；
8.根据所述质心跟踪轨迹确定所述设备中出现噪声的目标对象，以及所述目标对象的质心位置和出现噪声的目标时间点；
9.在所述目标时间点获取目标对象发出的目标噪声以及所述目标噪声的噪声信息；
10.根据所述噪声信息、质心位置以及所述目标时间点，对所述目标噪声进行噪声定向处理。
11.在一实施方式中，所述根据所述视频对所述至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹，包括：
12.对所述视频进行分帧处理，得到多帧图片序列；
13.将所述多帧图片序列按照时间顺序排列为多个连续帧图片；
14.对多个连续帧图片中的每帧图片进行对象检测，以确定每帧图片中所述至少一个对象的质心位置；
15.根据所述质心位置对所述至少一个对象按照所述多个连续帧图片的顺序进行轨迹跟踪，生成所述至少一个对象的质心在多个连续帧图片中的跟踪轨迹。
16.在一实施方式中，所述对象包括匹配对象，所述根据所述质心位置对所述至少一个对象按照所述多个连续帧图片的顺序进行轨迹跟踪，生成所述至少一个对象的质心在多个连续帧图片中的跟踪轨迹，包括：
17.获取所述每帧图片中至少一个对象的质心位置；
18.根据相邻帧图片中每个对象的质心位置对每个对象进行匹配，以确定匹配的对象，得到匹配对象；
19.将所述匹配对象的质心位置按照时间顺序，生成所述匹配对象的质心跟踪轨迹，所述匹配对象的质心跟踪轨迹为所述匹配对象的质心在所述连续帧图片中的跟踪轨迹。
20.在一实施方式中，所述根据相邻帧图片中每个对象的质心位置对每个对象进行匹配，以确定匹配的对象，得到匹配对象，包括：
21.获取每相邻帧图片之间每个对象的质心距离；
22.判断所述质心距离是否满足第一预设条件；
23.若所述质心距离满足所述第一预设条件，则判定所述相邻帧图片之间的所述对象为匹配的对象。
24.在一实施方式中，所述根据所述质心跟踪轨迹确定所述设备中出现噪声的目标对象，以及所述目标对象的质心位置和出现噪声的目标时间点，包括：
25.从所述匹配对象的质心跟踪轨迹中，获取每相邻帧图片之间的匹配对象的质心距离；；
26.若相邻帧图片之间的所述匹配对象的质心距离满足第二预设条件，则确定所述匹配对象为出现噪声的目标对象，并获取所述目标对象的质心位置；
27.确定所述相邻帧图片中后一帧图片对应的时间点为出现噪声的目标时间点。
28.在一实施方式中，所述对象包括新增对象，所述根据所述视频对所述至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹，包括：
29.获取相邻帧图片中对象的数量；
30.若所述相邻帧图片中后一帧图片中的对象的数量大于前一帧图片中的对象的数量，且所述相邻帧图片之间的对象的质心距离不满足第一预设条件，则判定后一帧图片中存在新增对象；
31.获取所述新增对象的质心位置；
32.以所述新增对象的质心位置为初始位置，生成所述新增对象的质心跟踪轨迹。
33.在一实施方式中，所述对象包括消失对象，所述根据所述视频对所述至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹之后，包括：
34.若图片中的所述对象在后续帧图片中未出现匹配的对象，则判定所述对象为消失对象；
35.删除所述消失对象的质心跟踪轨迹。
36.在一实施方式中，所述对多个连续帧图片中的每帧图片进行对象检测，以确定每帧图片中所述至少一个对象的质心位置，包括：
37.检测每帧图片中所述至少一个对象的轮廓信息；
38.根据所述轮廓信息确定所述至少一个对象的边界框；
39.根据所述边界框确定所述至少一个对象的质心位置。
40.在一实施方式中，所述根据所述噪声信息、质心位置以及所述目标时间点，对所述目标噪声进行噪声定向处理，包括：
41.根据所述质心位置确定目标噪声的噪声方向；
42.根据所述噪声方向以及目标噪声，生成噪声处理信号；
43.根据所述噪声处理信号在所述目标时间点对所述目标噪声进行噪声定向处理。
44.在一实施方式中，所述根据所述噪声方向以及目标噪声信号，生成噪声处理信号，包括：
45.获取目标噪声的噪声信息；
46.根据所述噪声信息，确定噪声处理信号的信号参数；
47.根据所述信号参数，生成所述噪声处理信号。
48.根据本技术的一个方面，还提供了一种噪声处理装置，包括：
49.第一获取模块，用于获取设备内部至少一个对象运行的视频；
50.生成模块，用于根据所述视频对所述至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹；
51.确定模块，用于根据所述质心跟踪轨迹确定所述设备中出现噪声的目标对象，以及所述目标对象的质心位置和出现噪声的目标时间点；
52.第二获取模块，用于在所述目标时间点获取目标对象发出的目标噪声以及所述目标噪声的噪声信息；
53.处理模块，用于根据所述噪声信息、质心位置以及所述目标时间点，对所述目标噪声进行噪声定向处理。
54.根据本技术的一个方面，还提供了一种智能设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本技术实施例提供的任一种噪声处理方法。
55.根据本技术的一个方面，还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行本技术实施例提供的任一种噪声处理方法。
56.本技术实施例可以获取设备内部至少一个对象运行的视频；根据所述视频对所述至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹；根据所述质心跟踪轨迹确定所述设备中出现噪声的目标对象，以及所述目标对象的质心位置和出现噪声的目标时间点；在所述目标时间点获取目标对象发出的目标噪声以及目标噪声的噪声信息；根据所述噪声信息、质心位置以及所述目标时间点，对所述目标噪声进行噪声定向处理。这样智能设备可以在设备内部的对象出现噪声时，根据对象的质心跟踪轨迹确定出现噪声的目标对象的质心位置、目标噪声以及出现噪声的目标时间点，从而在目标时间点对目标噪声进行噪声定向处理，从而可以准确地对噪声进行主动降噪处理，提高了噪声处理的准确性。
附图说明
57.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来将，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
58.图1是本技术实施例提供的噪声处理方法的流程示意图；
59.图2是本技术实施例提供的噪声处理方法的另一流程示意图；
60.图3是本技术实施例提供的噪声处理方法的另一流程示意图；
61.图4是本技术实施例提供的噪声处理方法的图片中对象检测示意图；
62.图5是本技术实施例提供的噪声处理方法中相邻帧图片之间的对象的质心距离示意图；
63.图6是本技术实施例提供的噪声处理方法中处理目标噪声的示意图；
64.图7是本技术实施例提供的噪声处理装置的示意图；
65.图8是本技术实施例提供的智能设备的结构示意图。
具体实施方式
66.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
67.本技术实施例提供一种噪声处理方法、装置、智能设备及存储介质(即计算机可读存储介质)。其中，噪声处理方法可以应用于噪声处理装置，该噪声处理装置具体可以集成在智能设备中，该智能设备可以与服务器或终端等进行通信连接，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。服务器与终端之间可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。该终端可以是手机、电脑、家电设备、或者可穿戴设备等。
68.以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
69.在本实施例中，将从智能设备的角度进行描述，请参阅图1，图1是本技术一实施例提供的噪声处理方法的流程示意图。该噪声处理方法可以包括：
70.s101、获取设备内部至少一个对象运行的视频。
71.其中，该设备可以是运行时内部器件会发出噪声的智能设备，例如智能洗衣机、智能风扇、智能空调以及智能车辆等，该对象可以是设备运行时可能会发出噪声的内部器件，例如智能洗衣机中的电机、离合器以及脱水内筒等，或者智能风扇、智能空调或者智能车辆中的电机或马达等器件，该对象可以是一个或者多个。该视频可以实时记录至少一个对象的运行过程中的连续的运动轨迹。
72.在本实施例中，设备中可以设置有摄像装置，摄像装置用于采集设备内部至少一个对象运行的视频，该摄像装置可以是飞行时间(tof，time of flight)摄像头，该飞行时间摄像头可以计算光线从光源到被拍摄对象的传输时间，以此计算被拍摄物体的深度信息。本实施例中噪声处理方法的执行主体可以是智能设备。
73.例如，智能设备通过内部设置的摄像装置采集设备内部至少一个对象运行的视频，并存储在本地或者服务器中，智能设备可以从本地或服务器中获取设备内部至少一个对象运行的视频，或者智能设备在通过摄像装置采集设备内部至少一个对象运行的视频后，直接获取该视频。
74.s102、根据视频对至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹。
75.其中，该质心可以是至少一个对象在视频中被检测到的边界框的质心。该质心跟踪轨迹可以是每个对象的质心在连续的视频中的运动轨迹，也就是质心位置随着视频的时间变化在多个连续帧图片中的位置的移动轨迹。
76.例如，智能设备检测视频中的至少一个对象的边界框，并根据每个对象的边界框计算每个对象的质心位置，根据质心位置在随着视频中的运动轨迹生成每个对象的质心跟踪轨迹，从而便于智能可以基于该质心跟踪轨迹判断视频中的对象是否出现噪声。
77.s103、根据质心跟踪轨迹确定设备中出现噪声的目标对象，以及目标对象的质心位置和出现噪声的目标时间点。
78.其中，出现噪声的目标对象可以是质心跟踪轨迹中质心位置产生较大距离的移动而发出噪声的对象。质心位置可以是质心坐标或者质心相对于噪声处理装置的向量。出现噪声的目标时间点可以是目标对象的质心位置产生较大距离的移动时对应的视频帧的时间点。
79.例如，根据质心跟踪轨迹判断对象的质心位置在视频中的变化，若质心位置的变化突然增加，则确定该对象为出现噪声的目标对象，并获取该目标对象的质心位置出现重大变化时的质心位置以及对应的目标时间点。
80.s104、在目标时间点获取目标对象发出的目标噪声以及目标噪声的噪声信息。
81.其中，目标噪声的噪声信息可以包括噪声的阵元数量、阵元间距、声速以及噪声信号频率中的至少一种；
82.例如，智能设备中可以设置有音频接收与发射装置，例如麦克风。该音频接收与发射装置可以与智能设备中的摄像装置处于同一位置。在目标对象发出噪声的目标时间点智能设备可以通过麦克风接收目标对象的目标噪声，并获取目标噪声的噪声信息中的至少一种，以便对目标噪声进行处理。
83.s105、根据噪声信息、质心位置以及目标时间点，对目标噪声进行噪声定向处理。
84.其中，噪声定向处理可以是对目标噪声进行定向降噪处理。
85.例如，在目标对象发出目标噪声时，针对目标噪声的噪声信息生成噪声处理信号，将噪声处理信号定向发送至目标噪声所在的质心位置，从而对目标噪声进行降噪处理。
86.在本实施例提供的技术方案中，获取设备内部至少一个对象运行的视频；根据视频对至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹；根据质心跟踪轨迹确定设备中出现噪声的目标对象，以及目标对象的质心位置和出现噪声的目标时间点；在目标时间点获取目标对象发出的目标噪声以及目标噪声的噪声信息；根据噪声信息、质心位置以及目标时间点，对目标噪声进行噪声定向处理。这样智能设备可以在设备内部的对象出现噪声时，根据对象的质心跟踪轨迹确定出现噪声的目标对象的质心位置、目标噪声以及出现噪声的目标时间点，从而在目标时间点对目标噪声进行噪声定向处理，从而可以准确地对噪声进行主动降噪处理，提高了噪声处理的准确性。
87.基于上述实施例，请参阅图2，图2为本技术实施例提供的噪声处理方法的另一流程示意图。根据视频对至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹，可以包括：
88.s201、对视频进行分帧处理，得到多帧图片序列。
89.其中，该视频可以实时记录至少一个对象的运行过程中的连续的运动轨迹。每帧
图片中可以包含至少一个对象。
90.例如，获取该视频的帧率，按照该视频的帧率对视频进行分帧处理，得到多帧图片序列。在实际应用场景中可以是智能设备通过摄像装置采集至少一个对象运行的视频，并按照视频帧率将视频分为多帧图片序列，以便对该多帧图片序列中的对象进行质心跟踪。
91.s202、将多帧图片按照时间顺序排列为多个连续帧图片。
92.例如，将图片a、图片b以及图片c等，按照时间顺序排列为第一帧图片a、第二帧图片b以及第三帧图片c。
93.s203、对多个连续帧图片中的每帧图片进行对象检测，以确定每帧图片中至少一个对象的质心位置。
94.其中，对象可以是设备运行时可能会发出噪声的内部器件，例如智能洗衣机中的电机、离合器以及脱水内筒等，或者智能风扇、智能空调或者智能车辆中的电机或马达等器件，该对象可以是一个或者多个。该质心位置可以是质心相对于摄像装置的坐标或者质心相对于摄像装置的向量。
95.例如，参照图4，图4为噪声处理方法的图片中对象检测示意图。其中，首先对第一帧图片中的对象的边界框进行检测，并根据对象的边界框计算对象的质心位置，对第一帧图片中的每个对象创建唯一的标识信息。
96.可选地，对多个连续帧图片中的每帧图片进行对象检测，以确定每帧图片中至少一个对象的质心位置，可以包括：
97.s1、检测每帧图片中至少一个对象的轮廓信息；
98.s2、根据轮廓信息确定至少一个对象的边界框；
99.s3、根据边界框确定至少一个对象的质心位置。
100.其中，对象的轮廓信息可以显示至少一个对象的边界形状，该边界形状可以是矩形，或者多边形或者其他形状。该边界框可以是包围该对象的轮廓的最小矩形框。该边界框可以用(x，y)坐标来表示。该质心位置可以用(x，y)坐标来表示。
101.例如，智能设备可以通过预设的对象检测器对视频进行检测，以生成对象的边界框。该预设的对象检测器可以是颜色阈值 轮廓提取、haar级联、hog 线性svm、ssd、faster r-cnn等。智能设备可以获取至少一个对象的矩形边界框的坐标，根据边界框的坐标计算矩形边界框的对角线交点的位置，以确定对象的质心位置。
102.s204、根据质心位置对至少一个对象按照多个连续帧图片的顺序进行轨迹跟踪，生成至少一个对象的质心在多个连续帧图片中的跟踪轨迹。
103.例如，参照图4，图4为噪声处理方法的图片中对象检测示意图。其中，首先对第一帧图片中的对象的边界框进行检测，并根据对象的边界框计算对象的质心位置，对第一帧图片中的每个对象创建唯一的标识信息，并以第一帧图片中每个对象的质心位置为初始位置，对第一帧图片中每个具有唯一的标识信息的对象在后续帧图片中进行质心轨迹跟踪。
104.在一实施例中，根据质心位置对至少一个对象按照所述多个连续帧图片的顺序进行轨迹跟踪，生成至少一个对象的质心在多个连续帧图片中的跟踪轨迹，可以包括：
105.s1、获取每帧图片中至少一个对象的质心位置；
106.s2、根据相邻帧图片中每个对象的质心位置对每个对象进行匹配，以确定匹配的对象，得到匹配对象。
107.其中，匹配对象可以是指不同帧图片中同一标识信息的对象，例如对象a与对象b均出现在第一帧图片和第二帧图片中，在第一帧图像中包含对象a与对象b，在第二帧图片中包含对象a1与对象b1，则第一帧图片中的对象a与第二帧图片中的对象a1为匹配的对象。
108.可以理解的是，该匹配对象a1的质心位置与匹配对象a的质心位置可以相同也可以不同，若匹配对象a1的质心位置与匹配对象a的质心位置相同，则表示匹配对象a在运行过程中并未移动，若匹配对象a1的质心位置与匹配对象a的质心位置不相同，则表示匹配对象a在运行过程中发生位置移动。
109.可选地，根据相邻帧图片中每个对象的质心位置对每个对象进行匹配，以确定匹配的对象，可以包括：
110.(1)获取每相邻帧图片之间每个对象的质心距离。
111.需要说明的是，对视频中的至少一个对象进行质心轨迹跟踪的前提可以是视频中相邻帧图片之间的对象的质心距离小于同一帧图片中不同对象之间的质心距离。
112.其中，每个对象的质心距离可以是相邻帧图片之间每个对象的质心坐标之间的欧式距离。
113.例如，获取相邻帧图片中每一个对象的质心坐标，根据质心坐标计算相邻帧图片之间每个对象的质心距离。参照图5，图5为相邻帧图片之间的对象的质心距离示意图，其中对象a1以及对象b1为相邻帧中前一帧图片中的对象，对象a2、b2以及c2为相邻帧中后一帧图片中的对象，对象a1与对象a2之间的欧式距离可以表示为距离1，对象a1与对象b2之间的欧式距离可以表示为距离2，对象a1与对象c2之间的欧式距离可以表示为距离3，对象b1与对象b2之间的欧氏距离可以表示为距离4，对象b1与对象a2之间的欧式距离可以表示为距离5，对象b2与对象c2之间的距离可以表示为距离6。
114.(2)判断质心距离是否满足第一预设条件。
115.其中，第一预设条件可以是相邻帧图片中前一帧图片中的某个对象与后一帧图片中各个对象的质心距离中最小。
116.例如，参照图5，其中，前一帧图片中的对象a1与后一帧图片中的对象a2、b2以及c2之间的距离1、2以及3中距离1最小，因此前一帧图片中的对象a1与后一帧图片中的对象a2满足第一预设条件。前一帧图片中对象b1与后一帧图片中的对象b2、a2以及c2之间的距离4、5以及6中距离4最小，因此，前一帧图片中的对象b1与后一帧图片中的对象b2满足第一预设条件。
117.(3)若质心距离满足第一预设条件，则判定相邻帧图片之间的对象为匹配的对象，得到匹配对象。
118.可以理解的是，由于设备中的各个对象在正常运行过程中发生震动引起噪声时产生的位置移动一般不会太大，因此同一对象在相邻帧图片之间的距离一般会小于不同在相邻帧图片对象之间的距离。因此在本实施例中，若相邻帧图片中前一帧图片中的某个对象与后一帧图片中各个对象的质心距离中最小，则可以判定相邻帧图片之间的对象为匹配对象。
119.例如，图5中相邻帧图片中前一帧图片中的对象a1与后一帧图片中对象a2的距离最小，因此对象a2为对象a1为匹配对象，相邻帧图片中前一帧图片中的对象b1与后一帧图片中对象b2的距离最小，因此对象b2为对象b1为匹配对象。
120.s3、将匹配对象的质心位置按照时间顺序，生成匹配对象的质心跟踪轨迹，匹配对象的质心跟踪轨迹为匹配对象的质心在连续帧图片中的跟踪轨迹。
121.其中，连续帧图片可以是视频中的一段或者整个视频，分帧处理得到的多帧连续的图片序列。
122.例如，匹配对象a的质心在连续n帧图片中的跟踪轨迹可以采用a＝{a1，a2，a3，a4，......，an}表示，其中，n为所述多个连续帧图片的顺序，a1即为视频中的第一帧图片中对象a的质心位置，an即为视频中的第n帧图片中对象a的质心位置。
123.基于上述实施例，在一实施例中，根据质心跟踪轨迹确定设备中出现噪声的目标对象，以及目标对象的质心位置和出现噪声的目标时间点，可以包括：
124.s4、从匹配对象的质心跟踪轨迹中，获取每相邻帧图片之间的匹配对象的质心距离。
125.例如，获取对象a的质心跟踪轨迹a＝{a1，a2，a3，a4，......，an}中匹配对象a1与匹配对象a2的第一质心距离，匹配对象a2与匹配对象a3的第二质心距离，直到匹配对象an-1与匹配对象an的第n-1质心距离。
126.s5、若相邻帧图片之间的匹配对象的质心距离满足第二预设条件，则确定该匹配对象为出现噪声的目标对象，并获取目标对象的质心位置。
127.其中，第二预设条件为匹配的对象在相邻帧图片之间的质心距离大于预设值。该预设值可以根据智能设备实际运行状况设定。目标对象的质心位置可以是视频中获取到的每帧图片中的目标对象的质心位置的平均值，或者目标对象出现噪声时对应的图片中的质心位置。
128.可以理解的是，在相邻帧图片之间的质心距离大于预设值表示该对象震动幅度过大，发出的噪声会超过阈值，可能会影响用户体验，因而此时可以将该对象确定为目标对象，从而针对该目标对象进行噪声处理，以降低该目标对象的目标噪声。
129.s6、确定相邻帧图片中后一帧图片对应的时间点为出现噪声的目标时间点。
130.例如，在获取对象a的质心跟踪轨迹a＝{a1，a2，a3，a4，......，an}中a1与a2的第一质心距离，a2与a3的第二质心距离，直到an-1与an的第n-1质心距离之后，将对象a的n帧图片之间的n-1个质心距离分别与预设值进行比较，若第n-1质心距离，也就是视频的第n-1帧图片中的对象a与第n帧图片中的对象a之间的震动幅度过大，此时可以确定对象a为出现噪声的目标对象，第n帧即为对象a出现噪声的目标时间点，第n帧图片中的对象an的质心位置可以是目标对象的质心位置。
131.基于上述实施例，可选地，对象可以包括新增对象，根据视频对至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹，还可以包括：
132.需要说明的是，新增对象可以是视频中非第一帧检测到的对象。在设备运行过程中可能摄像装置在前面帧中未检测到该新增对象，或者是在视频前面帧中该新增对象并未运行，未发生位置移动，或者是设备内部出现故障而导致新增在视频中的对象。因此在摄像装置采集设备中运行的各个对象时，刚开始并未检测到该新增对象，而在后续帧中新检测到了该新增对象。例如图5中，对象a1、b1均为视频中第一帧检测到的对象，而在第二帧中新增了对象c2，因此c2即为新增对象。
133.s205、获取相邻帧图片中对象的数量。
134.例如，参照图5，视频的第一帧图片中的对象包括对象a1以及b1，因此第一帧图片中的对象的数量为2，第二帧图片中的对象包括对象a2、b2以及c2，因此第一帧图片中的对象的数量为3。
135.s206、若相邻帧图片中后一帧图片中的对象的数量大于前一帧图片中的对象的数量，且相邻帧图片之间的对象的质心距离不满足第一预设条件，则判定后一帧图片中存在新增对象；
136.例如，图5中第二帧图片中的对象的数量大于第一帧图片中的对象的数量，并且第一帧中并没有对象与第二帧中的对象c2匹配，因此判定第二帧图片中存在新增对象c2。
137.s207、获取新增对象的质心位置。
138.s208、以新增对象的质心位置为初始位置，生成新增对象的质心跟踪轨迹。
139.例如，图5中将新增对象c2的标识信息注册为对象c，并以第二帧图片中的对象c2的质心位置为初始位置，生成新增对象c的质心跟踪轨迹c＝{c2，c3，......，cm-1，cm}，其中对象c的质心跟踪轨迹中的m与对象a的质心跟踪轨迹中的n可以相同也可以不同，如果相同，则表示在第n帧时对象a与对象c均存在视频中，如果n小于m，则表示在第n帧之后对象b不再出现在视频中了，而在第m帧时，对象c仍出现在视频中。
140.可选地，对象可以包括消失对象，根据视频对至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹之后，还可以包括：
141.需要说明的是，消失对象可以是指视频中该对象出现过，但是在某一帧图片之后的后续帧图片中该对象又不再出现。例如，如果对象d在视频的第一帧中检测到了，但在后续运行过程中该对象d的质心位置一直未发生变化，也就是该对象d在运行过程中一直是静止的，这样对象d一般不会发生噪声，因此可以将对象d的质心跟踪轨迹删除，以便降低智能设备中各个对象的质心跟踪计算量，提高智能设备的中对各个对象的质心跟踪计算效率。
142.s209、若图片中的对象在后续帧图片中未出现匹配的对象，则判定对象为消失对象；
143.s210、删除消失对象的质心跟踪轨迹。
144.在本实施例提供的技术方案中，智能设备对运行的各个对象进行质心跟踪，并基于各个对象的质心跟踪轨迹确定出现噪声的目标对象，并确定出现噪声的目标时间点以及目标对象的位置。从而准确对出现噪声的目标对象进行定位，提高了定位目标噪声的准确性。
145.基于上述实施例，请参阅图3，图3为本技术实施例提供的噪声处理方法的另一流程示意图。在一实施例中，根据噪声信息、质心位置以及目标时间点，对目标噪声进行噪声定向处理，可以包括：
146.s301、根据质心位置确定目标噪声的噪声方向。
147.其中，该噪声方向可以是智能设备中的目标对象的质心位置相对于麦克风位置的方向。
148.例如，获取预设的麦克风位置坐标，以及获取目标对象的质心位置坐标，并根据麦克风位置坐标以及目标对象的质心位置坐标计算目标对象的质心位置相对于麦克风位置的方向。参照图6，图6为智能设备中处理目标噪声的示意图，其中，在本实施例中，可以假定目标噪声为均匀线阵，y1(k)，y2(k)直到yn(k)为目标噪声对应的均匀线阵中n个阵元发出
的目标噪声，目标噪声的频率越高或振幅越大，目标噪声的均匀线阵中的阵元数量可能越多且阵元密度较大。s(k)可以是噪声处理信号，噪声处理信号可以由智能设备中的麦克风发射到目标噪声的阵元中以抵消目标噪声，例如，噪声处理信号x1(k)发射到目标噪声中的阵元1中以抵消目标噪声y1(k)，噪声处理信号x2(k)发射到目标噪声中的阵元2中以抵消目标噪声y2(k)，噪声处理信号相对于目标噪声的阵元的角度可以是目标噪声相对于麦克风的方向，即噪声方向。
149.s302、根据噪声方向以及目标噪声，生成噪声处理信号。
150.可选的，根据噪声方向以及目标噪声信号，生成噪声处理信号，可以包括：
151.s1、获取目标噪声的噪声信息。
152.其中，目标噪声的噪声信息可以包括阵元数量、阵元间距、声速、噪声信号频率以及出现目标噪声的目标时间点等中的至少一种。
153.例如，智能设备中设置的麦克风在采集到目标对象的目标噪声后，解析目标噪声的噪声信息，以便获取到目标噪声的阵元数量、阵元间距、声速以及噪声信号频率中的至少一种。
154.s2、根据目标噪声的噪声信息，确定噪声处理信号的信号参数。
155.其中，该信号参数可以包括噪声处理信号发射角度、信号频率以及目标发射时间点等中的至少一种。
156.可以理解的是，采用该信号参数生成的噪声处理信号可以用于抵消目标噪声。因此噪声处理信号的信号相位与目标噪声的信号相位可以是相反的，或者是相差180
°
，例如若目标噪声是正弦波，则噪声处理信号可以是余弦波。例如，智能设备根据目标噪声的阵元数量、阵元间距、声速以及噪声信号频率中的至少一种，计算噪声处理信号的发射角度、信号频率以及目标发射时间点等中的至少一种。
157.可选地，由于智能设备在获取到目标噪声后对目标噪声分析处理以生成噪声处理信号乃至发射噪声处理信号会有一个处理时间差，而在这个处理时间差内是没有噪声处理信号来对目标噪声进行处理的，因此，在本实施例中，可以根据智能设备预设的运行信息预估智能设备出现参考噪声的位置与参考时间点，从而根据参考噪声的位置以及参考时间点，获取预设的参考噪声处理信号，该参考噪声处理用于补偿噪声处理信号的处理时间差。该参考噪声可以与目标噪声相同，也可能与目标噪声略有不同。
158.例如，若智能设备是洗衣机，该运行信息可以是洗衣机中设定的洗涤算法，比如进水时间、漂洗时间脱水时间以及干燥时间等，根据洗衣机的进水时间、漂洗时间脱水时间以及干燥时间等中的至少一种，计算出现噪声的参考时间点，并在参考时间点获取预设的参考噪声处理信号，并将该参考噪声处理信号发射至参考噪声的位置，以便消除参考噪声。
159.s3、根据信号参数，生成噪声处理信号。
160.例如，可以通过三维波束成形方法生成噪声处理信号，即在生成噪声处理信号后，跟踪噪声处理信号在空间内的传输路径，使得噪声处理信号只在目标时间点按照噪声方向发送噪声处理信号。
161.s303、根据噪声处理信号在目标时间点对目标噪声进行噪声定向处理。
162.例如，通过合理地设置麦克风中的每个阵元发出的噪声处理信号的振幅和相位，从而使得麦克风中的各个阵元共同作用将信号波束在目标时间点射向目标噪声的噪声方
向，从而实现对目标噪声进行噪声定向处理。
163.在本实施例提供的技术方案中，根据质心位置确定目标噪声的噪声方向，根据噪声方向以及目标噪声，生成噪声处理信号，根据噪声处理信号在目标时间点对目标噪声进行噪声定向处理。这样可以通过合理地设置麦克风中的每个阵元发出的噪声处理信号的振幅和相位，从而使得麦克风中的各个阵元共同作用将信号波束在目标时间点射向目标噪声的噪声方向，从而增强噪声处理信号在噪声方向的强度，提高了智能设备噪声处理的效果。
164.为便于更好的实施本技术实施例提供的噪声处理方法，本技术实施例还提供一种基于上述噪声处理方法的装置。其中名词的含义与上述噪声处理方法中相同，具体实现细节可以参考方法实施例中的说明。
165.请参阅图7，图7为本技术实施例提供的噪声处理装置的结构示意图，其中该噪声处理装置300可以包括第一获取模块301、生成模块302、确定模块303、第二获取模块304、以及处理模块305等。
166.其中，第一获取模块301，用于获取设备内部至少一个对象运行的视频；
167.生成模块302，用于根据视频对至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹；
168.确定模块303，用于根据质心跟踪轨迹确定设备中出现噪声的目标对象，以及目标对象的质心位置和出现噪声的目标时间点；
169.第二获取模块304，用于在目标时间点获取目标对象发出的目标噪声以及目标噪声的噪声信息；
170.处理模块305，用于根据噪声信息、质心位置以及目标时间点，对目标噪声进行噪声定向处理。
171.可选地，噪声处理装置300还可以包括：
172.分帧模块，用于对视频进行分帧处理，得到多帧图片序列；
173.排列模块，用于将多帧图片序列按照时间顺序排列为多个连续帧图片；
174.第一确定模块，用于对多个连续帧图片中的每帧图片进行对象检测，以确定每帧图片中至少一个对象的质心位置；
175.第一生成模块，用于根据质心位置对至少一个对象按照所述多个连续帧图片的顺序进行轨迹跟踪，生成至少一个对象的质心在多个连续帧图片中的跟踪轨迹。
176.第一获取模块，用于获取每帧图片中至少一个对象的质心位置；
177.匹配模块，用于根据相邻帧图片中每个对象的质心位置对每个对象进行匹配，以确定匹配的对象，得到匹配对象；
178.第二生成模块，用于将匹配对象的质心位置按照时间顺序，生成所述匹配对象的质心跟踪轨迹，所述匹配对象的质心跟踪轨迹为所述匹配对象的质心在所述连续帧图片中的跟踪轨迹。
179.第二获取模块，用于获取每相邻帧图片之间每个对象的质心距离；
180.判断模块，用于判断质心距离是否满足第一预设条件；
181.第一判定模块，用于若质心距离满足第一预设条件，则判定相邻帧图片之间的对象为匹配的对象，得到匹配对象。
182.第三获取模块，用于从所述匹配对象的质心跟踪轨迹中，获取每相邻帧图片之间
的匹配对象的质心距离；
183.第二确定模块，用于若相邻帧图片之间的匹配的对象的质心距离满足第二预设条件，则确定对象为出现噪声的目标对象，并获取目标对象的质心位置；
184.第三确定模块，用于确定相邻帧图片中后一帧图片对应的时间点为出现噪声的目标时间点。
185.第四获取模块，用于获取相邻帧图片中对象的数量；
186.第二判定模块，用于若相邻帧图片中后一帧图片中的对象的数量大于前一帧图片中的对象的数量，且相邻帧图片之间的对象的质心距离不满足第一预设条件，则判定后一帧图片中存在新增对象；
187.第五获取模块，用于获取新增对象的质心位置；
188.第三生成模块，用于以新增对象的质心位置为初始位置，生成新增对象的质心跟踪轨迹。
189.第三判定模块，用于若图片中的对象在后续帧图片中未出现匹配的对象，则判定对象为消失对象；
190.删除模块，用于删除消失对象的质心跟踪轨迹。
191.检测模块，用于检测每帧图片中至少一个对象的轮廓信息；
192.第四确定模块，用于根据轮廓信息确定至少一个对象的边界框；
193.第五确定模块，用于根据边界框确定至少一个对象的质心位置。
194.第六确定模块，用于根据质心位置确定目标噪声的噪声方向；
195.第四生成模块，用于根据噪声方向以及目标噪声，生成噪声处理信号；
196.处理模块，用于根据噪声处理信号在目标时间点对目标噪声进行噪声定向处理。
197.第六获取模块，用于获取目标噪声的噪声信息；
198.第七确定模块，用于根据目标噪声的噪声信息，确定噪声处理信号的信号参数；
199.第五生成模块，用于根据信号参数，生成噪声处理信号。
200.本技术实施例还提供一种智能设备，该智能设备可以是手机等终端，如图8所示，其示出了本技术实施例所涉及的智能设备的结构示意图，具体来将：
201.该智能设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图8中示出的智能设备结构并不构成对智能设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
202.处理器401是该智能设备的控制中心，利用各种接口和线路连接整个智能设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行智能设备的各种功能和处理数据，从而对智能设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
203.存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程
序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据智能设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
204.智能设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
205.该智能设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
206.尽管未示出，智能设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，智能设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
207.获取设备内部至少一个对象运行的视频；根据视频对至少一个对象进行质心跟踪，以生成每个对象的质心跟踪轨迹；根据质心跟踪轨迹确定设备中出现噪声的目标对象，以及目标对象的质心位置和出现噪声的目标时间点；在目标时间点获取目标对象发出的目标噪声以及目标噪声的噪声信息；根据噪声信息、质心位置以及目标时间点，对目标噪声进行噪声定向处理。这样智能设备可以在设备内部的对象出现噪声时，根据对象的质心跟踪轨迹确定出现噪声的目标对象的质心位置、目标噪声以及出现噪声的目标时间点，从而在目标时间点对目标噪声进行噪声定向处理，从而可以准确地对噪声进行主动降噪处理，提高了噪声处理的准确性。
208.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对噪声处理方法的详细描述，此处不再赘述。
209.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。智能设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该智能设备执行上述实施例中各种可选实现方式中提供的方法。
210.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机指令来完成，或通过计算机指令控制相关的硬件来完成，该计算机指令可以存储于一存储介质中并由处理器进行加载和执行，该存储介质为计算机可读存储介质。为此，本技术实施例提供一种存储介质，其中存储有计算机程序，计算机程序可以包括计算机指令，该计算机程序能够被处理器进行加载，以执行本技术实施例所提供的任一种噪声处理方法。
211.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
212.其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
213.由于该存储介质中所存储的计算机指令，可以执行本技术实施例所提供的任一种噪声处理方法，因此，可以实现本技术实施例所提供的任一种噪声处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
214.以上对本技术实施例所提供的一种噪声处理方法、装置、智能设备及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。