通过组合视觉传感和热传感的对象感知的温度异常监控和预警的制作方法

1.概括而言，本发明涉及计算机视觉，并且更具体而言，涉及用于通过组合视觉传感和热传感来实现对象感知(object-aware)的温度异常监控和预警的方法和/或装置。


背景技术：

2.预防火灾是用于避免对人员和财产损害的有效策略。温度异常是诸如火灾之类各种灾害的重要早期指标。有效地检测温度异常可以预测火灾。在如森林火灾的简单场景下，热传感可以用于检测全局异常。然而，热传感是用于预测火灾的钝工具。在复杂的场景下(例如，停车场、建筑物和街道)，热传感往往错过真正的警报或触发错误警报。
3.在检测到温度异常时，上下文是重要的考虑因素。例如，长时间段暴露在阳光下的表面将变得非常热，但是可能不会造成火灾风险。电动车辆的电池造成热失控风险，这可能导致火灾。检测电池中的温度异常可以预测潜在的火灾。然而，热传感器不是对象感知的。热传感器无法在热表面(即，来自阳光)和由于热失控而快速发热的电池之间进行区分。在没有上下文的情况下，热传感器将错过实际造成火灾风险的场景，或者在不存在火灾风险时错误地提供警告。
4.期望的是通过组合视觉传感和热传感来实现对象感知的温度异常监控和预警。


技术实现要素：

5.本发明涉及包括接口和处理器的装置。该接口可以被配置为接收由捕获设备生成的像素数据和由热传感器生成的温度测量结果。处理器可以被配置为从接口接收像素数据和温度测量结果，响应于像素数据生成视频帧，对视频帧执行计算机视觉操作以检测对象，基于对象的特性来对检测到的对象执行分类，响应于温度测量结果和分类而检测温度异常，并且响应于温度异常而生成控制信号。控制信号可以基于温度异常来提供警告。分类可以为检测到的对象提供正常温度范围。
附图说明
6.根据下面的具体实施方式、所附权利要求和附图，本发明的实施例将是显而易见的。
7.图1是示出本发明的实施例的示例性上下文的图。
8.图2是示出本发明的示例性实施例的框图。
9.图3是示出用于执行传感器融合以作出关于温度异常的决策的组件的框图。
10.图4是示出示例性分类数据的图。
11.图5是示出示例性热像的图。
12.图6是示出对象检测和/或分类的图。
13.图7是示出将来自热像的数据与在视觉图像中检测到的对象进行比较的图。
14.图8是示出用于组合视觉传感和热传感以用于对象感知的温度异常监控和预警的方法的流程图。
15.图9是示出用于检测温度异常的方法的流程图。
16.图10是示出用于将热数据、图像数据和温度数据进行组合的方法的流程图。
17.图11是示出用于定位具有温度异常的区域的方法的流程图。
具体实施方式
18.本发明的实施例包括通过组合视觉传感和热传感来提供对象感知的温度异常监控和预警，其可以(i)使用传感器融合作出决策，(ii)基于多个数据源进行推断，(iii)检测电池中的热失控，(iv)监控电动车辆以预测潜在的火灾，(v)检测并分类对象，(vi)基于分类来监控对象的特定特征，(vii)避免错误警报，(viii)使用专用硬件模块来有效地实现计算机视觉，和/或(ix)被实现为为一个或多个集成电路。
19.本发明的实施例可以实现对象感知的温度异常监控系统。对象感知温度异常警告系统可以被配置成为各种危险提供预警。例如，在检测到潜在的火灾风险时，可以提供预警。
20.本发明的实施例可以通过组合视觉传感和热传感来实现对象感知的温度异常监控。温度异常的区域可以在热像和视觉图像二者中被检测和/或定位。在示例中，视觉图像可以包括视频帧(例如，一个或多个rgb图像)。计算机视觉可以应用于由可见光成像传感器和热成像传感器生成的数据的组合。计算机视觉操作可以应用于热像或视觉图像。计算机视觉操作可以应用于热像和视觉图像二者(例如，传感器融合)。
21.可以通过实现人工智能和/或计算机视觉技术来提供对象感知。可以对视频帧执行计算机视觉操作。计算机视觉可以被配置为根据种类来检测对象和/或对检测到的对象进行分类/识别。每一个种类的对象可以包括关于特定的对象类型的特征和/或正常温度范围的数据。
22.热传感器可以被配置为测量区域的温度，以检测可以被认为温度异常的区域。在一个示例中，温度异常可以是在正常工作温度范围之外(例如，大于正常工作温度范围)的温度。在另一个示例中，温度异常可以是在特定的时间段内快速增加的温度(例如，温度的快速改变)。仅仅温度测量结果可能不是用作提供警告的基础的足够信息。使用计算机视觉从视频帧提取的数据可以与由热传感器执行的温度测量结果组合。可以在被识别为具有温度异常的区域中检测和分类对象。可以根据该对象种类的正常温度范围，作出关于是否触发预警的决策。例如，如果温度异常在检测到的对象的类别的正常温度范围之外(例如，高于该正常温度范围)，则可能会生成预警。从rgb图像和热像组合的数据可以用于确定温度异常正在发生的位置(例如，识别对应于温度异常的检测到的对象的特征)。
23.本发明的实施例可以被配置为针对电动车辆(ev)火灾执行早期检测和/或提供相关的警告。在示例中，计算机视觉操作可以被配置为首先使用rbg图像基于车牌识别和/或汽车型号识别来对ev进行分类/识别(例如，对视频帧执行计算机视觉)，而热成像摄影机可以检测温度异常的区域。突然和/或快速的温度增加可以是温度异常的一个示例。对象感知可以使得引起温度异常的ev的位置和/或特征能够被识别。在示例中，如果ev的底部对应于检测到的温度异常的位置，则ev的分类可以提供这样的信息：电池位于ev的底部。温度异常
的分类和/或位置可以用于确定电池可能是温度异常的源的ev的特征。可以生成对电池火灾的预警。生成预警的决策可以基于联合数据源(例如，基于使用rgb图像的对象检测和识别，以及基于使用热像的快速温度改变)。
24.参考图1，示出了示出本发明的实施例的示例性上下文的图。示例性场景50被示出为上下文。示例性场景50可以包括表面52a-52c。在一个示例中，表面52a可以是墙。表面52b可能是地面。表面52c可以是天花板。在示例中，表面52a-52c可以是停车库。车辆60a-60n被示出在地面52b上。在示例中，车辆60a-60n可以停放并且无人看管(例如，无人监控)。在另一个示例中，表面52a可以是充电站(例如，用于给电动车辆充电)。
25.示出了块(或电路)100。该电路可以实现摄影机系统。在示例性场景50中，摄影机系统100可以安装于天花板52c。在一些实施例中，摄影机系统100可以在室外环境中实现(例如，没有天花板52c)。摄影机系统100可以选择性地安装于墙壁52b和/或另一垂直结构(例如，灯柱、广告牌、标志等)。在所示的示例中，示出了从相对较高的位置安装摄影机系统100。在一些实施例中，摄影机系统100可以安装在较低的位置处。在示例中，表面52b可以是充电站，并且摄影机系统100可以被安装于充电站52b，以使得摄影机系统100能够监控连接到充电站的电动车辆。摄影机系统100的安装位置可以根据特定的实施方式的设计准则而变化。
26.示出了块(或电路)102和/或块(或电路)104。电路102可以实现捕获设备。电路104可以实现热传感器。在所示的示例中，捕获设备102和热传感器104可以在摄影机系统100外部。在一些实施例中，捕获设备102和热传感器104中的一个或两个可以是摄影机系统100的内部组件。例如，可以在摄影机系统100内部实现捕获设备102(例如，可以在摄影机系统100上实现镜头以使得光能够被捕获设备102捕获)。在所示的示例中，一个捕获设备102和一个热传感器104可以连接到摄影机系统100。在一些实施例中，多个捕获设备102a-102n(未示出)和/或多个热传感器104a-104n(未示出)可以连接到摄影机系统100。摄影机系统100、捕获设备102和/或热传感器104的布置可以根据特定的实施方式的设计准则而变化。可以与图2相关联地更详细地解释由摄影机系统100、捕获设备102和/或热传感器104生成的组件和/或信号的细节。
27.虚线110a-110b被示出从捕获设备102延伸。虚线110a-110b可以表示捕获设备102的感兴趣的区域(例如，视场)。在示例中，捕获设备102可以实现rgb摄影机，并且捕获设备102可以生成感兴趣的区域110a-110b的范围内的区域的像素数据。摄影机系统100可以被配置为响应于由捕获设备102生成的像素数据生成视频帧。在一些实施例中，感兴趣的区域110a-110b可以包括广角视场。摄影机系统100可以被配置为执行去变形(de-warping)操作，以校正由用于捕获广角视场110a-110b的广角镜头引起的失真。车辆60a-60n被示出在感兴趣的区域110a-110b内。在示例中，捕获设备102可以被配置为提供对车辆60a-60n(例如，停车库摄影机)的视频监控。
28.虚线112a-112b被示出从热传感器104延伸。虚线112a-112b可以表示热传感器104的监控范围(例如，感兴趣的热区域)。热传感器104可以被配置为在监控范围112a-112b内执行温度测量。车辆60a-60n被示出在热传感器104的监控范围112a-112b内。
29.热传感器104可以被配置为在一定距离处测量温度。例如，热传感器104可以不需要靠近车辆60a-60n来执行对车辆60a-60n的温度测量。阴影区域120被示出。阴影区域120
可以表示在一定距离处的温度测量。在所示的示例中，阴影区域可以执行车辆60b的距离温度测量。
30.在距离温度测量120的末端示出了区域122。区域122可以表示表面温度测量。在所示的示例中，热传感器104可以执行对车辆60b的表面(例如，引擎盖)的温度测量。尽管在示例性场景50中示出了一个区域122，但是热传感器104可以被配置为测量在整个监控范围112a-112b内的表面温度。例如，热传感器104可以被配置为生成包括监控范围112a-112b内的所有表面的温度测量结果的热像(例如，热地图)。
31.在所示的示例中，感兴趣的区域110a-110b被示出覆盖与热传感器104的监控区域112a-112b不同的区域。出于说明性目的，可以示出感兴趣的区域110a-110b和监控区域112a-112b的位置之间的差异。在一些实施例中，感兴趣的区域110a-110b可以覆盖与监控区域112a-112b相同的区域。例如，通过覆盖相同的区域，热传感器104可以提供与响应于由捕获设备102生成的像素数据而生成的视频帧中的位置相对应的温度测量结果。
32.在一些实施例中，捕获设备102和热传感器104可以向摄影机系统100提供安装位置和/或视角信息。安装位置和/或视角信息可以使得摄影机系统100能够确定感兴趣的区域110a-110b和监控区域112a-112b之间的视差(disparity)。确定感兴趣的区域110a-110b和监控区域112a-112b之间的视差可以使得摄影机系统100能够将由热传感器104在特定的时间执行的温度测量结果与由捕获设备102在特定的时间捕获的像素数据生成的视频帧中的位置相互关联。
33.参考图2，示出了示出本发明的示例性实施例的框图。示出了装置100。装置100大体上包括捕获设备102a-102n、热传感器104、块(或电路)150a-150n、块(或电路)154、块(或电路)156、块(或电路)158、块(或电路)160a-160n和/或块(或电路)162a-162n。捕获设备102a-102n可以是与图1相关联地示出的捕获设备102的一个或多个实施方式。块150a-150n可以实现镜头。电路154可以实现通信设备。电路156可以实现处理器。电路158可以实现存储器。电路160a-160n可以实现麦克风(例如，音频捕获设备)。电路162a-162n可以实现音频输出设备(例如，扬声器)。装置100可以包括其他组件(未示出)。在所示的示例中，热传感器104、镜头150a-150n、通信设备154和扬声器162a-162n中的一些被示出在摄影机系统100的外部。然而，摄影机系统100的各种组件可以在摄影机系统100内实现和/或附接到摄影机系统100(例如，扬声器162a-162n在不位于摄影机系统100的外壳内的情况下可以提供更好的功能性)。装置100的组件的数量、类型和/或布置可以根据特定的实施方式的设计准则而变化。
34.在示例性实施方式中，电路156可以实现为视频处理器。处理器156可以包括输入170a-170n和/或其他输入。处理器156可以包括输入/输出172。处理器156可以包括输出174a和输入174b。处理器156可以包括输入176。处理器156可以包括输出178和/或其他输出。处理器156可以包括输入180。由处理器156实现的输入、输出和/或双向端口的数量可以根据特定的实施方式的设计准则而变化。
35.在所示的实施例中，捕获设备102a-102n可以是装置100的组件。在一些实施例中，捕获设备102a-102n可以是被配置为向装置100发送数据的单独的设备(例如，远程连接到摄影机系统100，例如无人机、机器人和/或被配置为捕获视频数据的安全摄影机的系统)。在一个示例中，捕获设备102a-102n可以被实现为自主机器人的一部分，该机器人被配置为
在诸如走廊和/或停车库之类的特定的路径上巡逻。类似地，在所示的示例中，无线通信设备154、麦克风160a-160n和/或扬声器162a-162n被示出在装置100的外部，但是在一些实施例中，它们可以是装置100的组件(例如，在装置100内)。
36.装置100可以接收一个或多个信号(例如，imf_a-imf_n)、信号(例如，feat_set)、信号(例如，thimg)和/或一个或多个信号(例如，dir_aud)。装置100可以呈现信号(例如，anom)、信号和/或信号(例如，dir_aout)。捕获设备102a-102n可以从对应的镜头150a-150n接收信号imf_a-imf_n。处理器156可以从麦克风160a-160n接收信号dir_aud。处理器156可以向通信设备154呈现信号anom并从通信设备154接收信号feat_set。例如，无线通信设备154可以是射频(rf)发射器。在另一个示例中，通信设备154可以是wi-fi模块。在另一个示例中，通信设备154可以是能够实现rf传输、wi-fi、蓝牙和/或其他无线通信协议的设备。处理器156可以向扬声器162a-162n呈现信号dir_aout。
37.镜头150a-150n可以捕获信号(例如，im_a-im_n)。信号im_a-im_n可以是摄影机系统100附近的环境的图像(例如，模拟图像)，其由镜头150a-150n作为信号imf_a-imf_n呈现给捕获设备102a-102n。摄影机系统100附近的环境可以是视场110a-110n。镜头150a-150n可以实现为光学镜头。镜头150a-150n可以提供缩放特征和/或聚焦特征。在一个示例中，捕获设备102a-102n和/或镜头150a-150n可以实现为单个镜头组装件。在另一个示例中，镜头150a-150n可以是与捕获设备102a-102n分开的实施方式。捕获设备102a-102n被示出在电路100内。在示例性实施方式中，捕获设备102a-102n可以被实现在电路100的外部(例如，与镜头150a-150n一起作为镜头/捕获设备组装件的一部分)。
38.捕获设备102a-102n可以被配置为捕获视频的图像数据(例如，来自镜头150a-150n的信号imf_a-imf_n)。在一些实施例中，捕获设备102a-102n可以是诸如摄影机之类的视频捕获设备。捕获设备102a-102n可以捕获通过镜头150a-150n接收的数据以生成原始像素数据。在一些实施例中，捕获设备102a-102n可以捕获通过镜头150a-150n接收的数据以生成比特流(例如，生成视频帧)。例如，捕获设备102a-102n可以接收来自镜头150a-150n的聚焦光。镜头150a-150n可以被定向、倾斜、平移、缩放和/或旋转以提供来自摄影机系统100的目标视图(例如，以提供对诸如视场110a-110b之类的全景视场的覆盖)。捕获设备102a-102n可以生成信号(例如，pixeld_a-pixeld_n)。信号pixeld_a-pixeld_n可以是像素数据(例如，可以用于生成视频帧的像素的序列)。在一些实施例中，信号pixeld_a-pixeld_n可以是视频数据(例如，视频帧的序列)。信号pixeld_a-pixeld_n可以呈现给处理器156的输入170a-170n。
39.捕获设备102a-102n可以将接收到的聚焦光信号imf_a-imf_n变换为数字数据(例如，比特流)。在一些实施例中，捕获设备102a-102n可以执行模数转换。例如，捕获设备102a-102n可以执行对由镜头150a-150n接收到的聚焦光的光电转换。捕获设备102a-102n可以将比特流变换为像素数据、图像和/或视频帧。在一些实施例中，由捕获设备102a-102n生成的像素数据可以是响应于来自镜头150a-150n的聚焦光而生成的未压缩的和/或原始的数据。在一些实施例中，捕获设备102a-102n的输出可以是数字视频信号。
40.热传感器104可以被配置为生成温度测量结果。温度测量结果可以包括热像。热传感器104可以生成温度监控区域112a-112b的热像。生成的热像可以是低分辨率的数据(例如，温度测量数据)。
41.热传感器104可以接收信号(例如，temp)。信号temp可以是在温度监控区域112a-112b内由热传感器检测到的温度。热传感器104可以生成信号thimg。信号thimg可以响应于检测到的信号temp而生成。在一个示例中，信号thimg可以是热像。在另一个示例中，信号thimg可以是在特定的时间捕获的热监控区域112a-112b的温度的数据集，并且处理器156可以根据温度测量结果的数据集生成热像。信号thimg可以被呈现给处理器156的输入180。
42.通信设备154可以发送和/或接收去往/来自装置100的数据。在一些实施例中，通信设备154可以实现为无线通信模块。在一些实施例中，通信设备154可以被实现为到专有系统的卫星连接。在一个示例中，通信设备154可以是硬连线数据端口(例如，usb端口、mini-usb端口、usb-c连接器、hdmi端口、以太网端口、displayport接口、闪电端口等)。在另一个示例中，通信设备154可以是无线数据接口(例如，wi-fi、蓝牙、zigbee、蜂窝等)。
43.通信设备154可以被配置为接收信号feat_set。信号feat_set可以包括对应于各种对象(例如，人、动物、车辆、街道标志等)的分类的特征集。特征集信息可以包括指令以供处理器156在视频帧内分类各种对象和/或定位对象。
44.处理器156可以在输入170a-170n处接收来自捕获设备102a-102n的信号pixeld_a-pixeld_n。处理器156可以在输入/输出172处发送/接收去往/来自存储器158的信号(例如，data)。处理器156可以经由输出端口174a将信号anom发送到通信设备154。处理器156可以经由输入端口174b接收来自通信设备154的信号feat_set。处理器156可以在端口176处从麦克风160a-160n接收信号dir_aud。处理器156可以经由端口178向扬声器162a-162n发送信号dir-aout。处理器156可以在接口端口180处接收信号thimg。在示例中，处理器156可以通过双向接口(或连接)连接到捕获设备102a-102n、热传感器104、通信设备154、存储器158、麦克风160a-160n和/或扬声器162a-162n。处理器156可以存储数据和/或从存储器158取回数据。存储器158可以被配置为存储计算机可读/可执行指令(或固件)。在指令被处理器156执行时，指令可以执行多个步骤。
45.信号pixeld_a-pixeld_n可以包括提供由镜头150a-150n捕获的视场的原始像素数据。处理器156可以被配置为从像素数据pixeld_a-pixeld_n生成视频帧。由处理器156生成的视频帧可以在处理器156内部使用。在一些实施例中，视频帧可以传送给存储器158以用于暂时存储。
46.处理器156可以被配置为基于对从信号pixeld_a-pixeld_n生成的视频帧的分析来作出决策。处理器156可以生成信号anom、信号data、信号dir-aout和/或其他信号(未示出)。信号anom、信号data和/或信号dir_aout均可以(部分地)基于由处理器156作出的一个或多个决策和/或执行的功能来生成。可以基于由处理器156在输入170a-170n(例如，信号pixeld_a-pixeld_n)、输入172、输入174b、输入176、输入180和/或其他输入处接收到的数据来确定由处理器156作出的决策和/或执行的功能。
47.输入170a-170n、输入/输出172、输出174a、输入174b、输入176、输出178、输入180和/或其他输入/输出可以实现接口。该接口可以被实现为向/从处理器156、捕获设备102a-102n、热传感器104、通信设备154、存储器158、麦克风160a-160n、扬声器162a-162n和/或装置100的其他组件传送数据。在一个示例中，接口可以被配置为接收(例如，经由输入170a-170n)均来自捕获设备102a-102n中的相应的捕获设备的像素数据信号pixeld_a-pixeld_n。在另一个示例中，接口可以被配置为接收(例如，经由输入176)定向音频dir_aud。在又一
个示例中，接口可以被配置为将关于温度异常的信息(例如，信号anom)和/或基于计算机视觉操作确定的转换的数据传输到通信设备154。在又一个示例中，接口可以被配置为从通信设备154接收特征集信息feat_set(例如，经由输入端口174b)。在另一个示例中，接口可以被配置为向扬声器162a-162n的每一个传输定向音频输出(例如，信号dir_aout)。在又一个示例中，接口可以被配置为从热传感器104接收(例如，经由输入180)热像数据thimg。该接口可以被配置为实现传送数据和/或将数据从一种格式转化为另一种格式，以确保所传送的数据可被预期的目的地组件读取。在示例中，接口可以包括数据总线、迹线、连接器、导线和/或引脚。接口的实施方式可以根据特定的实施方式的设计准则而变化。
48.信号anom可以被呈现给通信设备154。在一些实施例中，信号anom可以包括由处理器156确定的关于视频帧的参数和/或统计信息。信号anom可以响应于执行的计算机视觉操作和/或传感器融合操作而生成。信号anom可以包括关于检测到的温度异常的信息。在一些实施例中，信号anom可以包括对应于检测到的温度异常的视频帧。视频帧可以是从信号pixeld_a-pixeld_n接收的像素数据的编码、裁剪、拼接和/或增强的版本。在示例中，视频帧可以是信号pixeld_a-pixeld_n的高分辨率、数字、编码、去变形、稳定、裁剪、混合、拼接和/或滚动快门效果校正的版本。信号anom可以包括关于温度异常的数据，例如检测到的温度、与温度异常相关联的对象的分类、检测到的温度改变率、检测到的潜在的危险的类型(例如，检测到的潜在的火灾)、温度异常的位置等。
49.通信设备154可以被配置为生成信号(例如，alert)。信号alert可以是对应于检测到的温度异常的预警。例如，通信设备154可以响应于信号anom而生成信号alert。信号alert可以是信号anom的分组化的版本，其可以根据特定的通信协议(例如，wi-fi、sms、蓝牙等)来传送。
50.在一些实施例中，信号alert可以是文本消息(例如，一串人类可读字符的字符)。在一些实施例中，信号anom可以是指示事件或状态的符号(例如，火灾符号、高热符号、电池爆炸符号等)。信号anom和/或信号alert可以基于视频分析(例如，计算机视觉操作)来生成，该视频分析由处理器156对从像素数据pixeld_a-pixeld_n和/或热像thimg的数据生成的视频帧执行。处理器156可以被配置为执行计算机视觉操作以检测视频帧中的对象和/或事件，并且然后将检测到的对象和/或事件转换为统计信息和/或参数。
51.由处理器156执行的计算机视觉操作可以包括对象检测(例如，定位对象的位置的边界框)、分类(推断检测到的对象是特定的对象类型)、分割(例如，基于像素的特性将图像划分成不同的区域以识别对象/边界)等。由计算机视觉操作确定的数据可以由处理器156转换为人类可读的格式。已经被转换为人类可读格式的来自计算机视觉操作的数据可以作为信号alert来传送。信号alert可以被传送给特定的人、监控服务和/或应急响应服务(例如，消防部门)。
52.装置100可以实现摄影机系统。在一些实施例中，摄影机系统100可以实现为插入式解决方案(drop-in solution)(例如，作为一个组件安装)。在示例中，摄影机系统100可以是可以作为售后产品被安装的设备(例如，无人机的改装、安全系统的改装等)。在一些实施例中，装置100可以是安全系统的组件。由摄影机系统100实现的信号和/或组件的数量和/或类型可以根据特定的实施方式的设计准则而变化。
53.在视场110a-110b中捕获的目标视图的视频数据可以从信号/比特流/数据
pixeld_a-pixeld_n生成。捕获设备102a-102n可以将信号pixeld_a-pixeld_n呈现给处理器156的输入170a-170n。信号pixeld_a-pixeld_n可以由处理器156使用以生成视频帧/视频数据。在一些实施例中，信号pixeld_a-pixeld_n可以是由捕获设备102a-102n捕获的视频流。在一些实施例中，捕获设备102a-102n可以在摄影机系统100中实现。在一些实施例中，捕获设备102a-102n可以被配置为向摄影机系统100添加现有的功能性。
54.捕获设备102a-102n中的每一个可以包括块(或电路)182、块(或电路)184和/或块(或电路)186。电路182可以实现摄影机传感器(例如，互补金属氧化物半导体(cmos)传感器)。电路184可以实现摄影机处理器/逻辑。电路186可以实现存储器缓冲器。作为代表性示例，捕获设备102a被示出包括传感器182a、逻辑块184a和缓冲器186a。类似地，捕获设备102b-102n可以包括摄影机传感器182b-182n、逻辑块184b-184n和缓冲器186b-186n。传感器182a-182n均可以被配置为接收来自镜头150a-150n中的对应镜头的光并将光变换成数字数据(例如，比特流)。
55.在一个示例中，捕获设备102a的传感器182a可以接收来自镜头150a的光。捕获设备102a的摄影机传感器182a可以执行来自镜头150a的光的光电转换。在一些实施例中，传感器182a可以是过采样的二进制图像传感器。逻辑184a可以将比特流变换为人类易读的内容(例如，像素数据和/或视频数据)。例如，逻辑184a可以从摄影机传感器182a接收纯(例如，原始)数据，并基于原始数据(例如，比特流)生成像素数据。存储器缓冲器186a可以存储原始数据和/或处理后的比特流。例如，帧存储器和/或缓冲器186a可以存储(例如，提供暂时性存储装置和/或高速缓存)像素数据和/或视频帧中的一个或多个(例如，视频信号)。
56.麦克风160a-160n可以被配置为捕获传入音频和/或提供关于传入音频的方向信息。麦克风160a-160n中的每一个可以接收相应的信号(例如，ain_a-ain_n)。信号ain_a-ain_n可以是来自装置100附近的环境的音频信号。例如，这些信号ain_a-ain_n可以是环境中的环境噪声。麦克风160a-160n可以被配置为响应于信号ain_a-ain_n而生成信号dir_aud。信号dir_aud可以是包括来自信号ain_a-ain_n的音频数据的信号。信号dir_aud可以是以提供关于信号ain_a-ain_n的方向信息的格式生成的信号。
57.麦克风160a-160n可以向接口176提供信号dir_aud。装置100可以包括接口176，该接口176被配置为从麦克风160a-160n中的一个或多个接收数据(例如，信号dir_aud)。在一个示例中，来自呈现给接口176的信号dir_aud的数据可以被处理器156使用以用于传感器融合分析(例如，嘶嘶声可以指示潜在的燃烧)。
58.麦克风160a-160n的数量可以根据特定的实施方式的设计准则而变化。可以选择麦克风160a-160n的数量以提供关于传入音频的足够的方向信息(例如，实现的麦克风160a-160n的数量可以基于获得的方向信息的准确性和/或分辨率而变化)。在示例中，可以实现麦克风160a-160n中的2到6个。在一些实施例中，音频处理组件可以利用麦克风160a-160n实现，以处理和/或编码输入音频信号ain_a-ain_n。在一些实施例中，处理器156可以利用片上音频处理配置以编码输入音频信号ain_a-ain_n。麦克风160a-160n可以捕获环境的音频。装置100可以被配置为使捕获的音频与由捕获设备102a-102n捕获的图像同步。
59.处理器156可以被配置为执行计算机可读代码和/或过程信息。处理器156可以被配置为接收输入和/或向存储器158提供输出。处理器156可以被配置为呈现和/或接收其他信号(未示出)。处理器156的输入和/或输出的数量和/或类型可以根据特定的实施方式的
设计准则而变化。
60.处理器156可以接收信号pixeld_a-pixeld_n、信号dir_audio、信号feat_set、信号thimg和/或信号data。处理器156可以基于在输入170a-170n、输入172、输入174b、输入176、输入180和/或其他输入处接收到的数据来作出决策。例如，其他输入可以包括响应于用户输入而生成的外部信号、由麦克风160a-160n生成的外部信号和/或内部生成的信号，例如响应于对视频帧和/或在视频帧中检测到的对象的分析而由处理器156生成的信号。处理器156可以调整视频帧的视频数据(例如，裁剪、数字移动、物理移动摄影机传感器182a-182n等)。处理器156可以响应于由输入170a-170n、输入172、输入174b、输入176、输入180接收的数据和/或响应于由输入170a-170n、输入172、输入174b、输入176和/或输入180接收的数据而作出的决策，来生成信号anom和/或信号dir_aout。
61.可以生成信号anom和/或信号dir_aout，以响应于捕获的视频帧和由处理器156执行的视频分析和/或传感器融合而提供输出。例如，视频分析可以由处理器156实时地和/或接近实时地(例如，具有极小延迟)执行。
62.由处理器156执行的裁剪、缩小、混合、稳定、分组化、编码、压缩和/或转换可以根据特定的实施方式的设计准则而变化。例如，由处理器156生成的视频帧可以是信号pixeld_a-pixeld_n的经处理的版本，其被配置为实现检测对象、分类对象和/或确定检测到的对象的特性。在一些实施例中，可以以高比特率对视频数据进行编码。例如，可以使用无损压缩和/或以低损耗量来生成信号。
63.在一些实施例中，视频帧可以是由捕获设备102a-102n捕获的某个视图(或某个视图的派生)。例如，视频帧可以包括由捕获设备102a-102n捕获的全景视频的一部分。在另一个示例中，视频帧可以包括由处理器156从全景视频帧中选择和/或裁剪的感兴趣的区域，其(例如，被放大、被过采样和/或被数字缩放)用于实现高精度的对象检测。在一些实施例中，视频帧可以提供一系列裁剪的和/或增强的全景视频帧，这些视频帧对从摄影机系统100的角度的视图进行改善(例如，提供夜视、提供高动态范围(hdr)成像、提供更多的可视区域、高亮显示检测到的对象、提供附加的数据(例如，到检测到的对象的数字距离等))，以使得处理器156与人以人类视觉将能看到的相比能够更好地看到位置50。
64.存储器158可以存储数据。存储器158可以实现为高速缓存、闪存、dram存储器等。存储器158的类型和/或大小可以根据特定的实施方式的设计准则而变化。存储在存储器158中的数据可以对应于视频文件、用户简档、用户权限、对象分类、正常工作温度和/或特定车辆的各种特征的位置等。
65.镜头150a-150n(例如，摄影机镜头)可以被定向以提供来自摄影机系统100的全景视图。镜头150a-150n可以被定向以捕获环境数据(例如，光)。镜头150a-150n可以被配置为捕获和/或聚焦用于捕获设备102a-102n的光。通常，摄影机传感器182a-182n可以位于相应的镜头150a-150n中的每一个的后面。基于从镜头150a-150n捕获的光，捕获设备102a-102n可以生成比特流和/或原始像素数据。
66.处理器156的实施例可以对信号pixeld_a-pixeld_n执行视频拼接操作。在一个示例中，像素数据信号pixeld_a-pixeld_n中的每一个可以提供全景视图的一部分，并且处理器156可以裁剪、混合、同步和/或对齐来自信号pixeld_a-pixeld_n的像素数据以生成全景视频帧。在一些实施例中，处理器156可以被配置为执行电子图像稳定(eis)。处理器156可
以对视频帧执行去变形。处理器156可以对经去变形的视频帧执行智能视频分析。在视频分析和/或计算机视觉已被执行之后，处理器156丢弃视频帧。
67.处理器156可以从cmos传感器182a-182n接收用于生成视频帧的输入(例如，信号pixeld_a-pixeld_n)。像素数据信号pixeld_a-pixeld_n可以由处理器156增强(例如，颜色转换、噪声过滤、自动曝光、自动白平衡、自动聚焦等)。通常，全景视频可以包括由一个或多个镜头/摄影机传感器生成的大视场。全景视频的一个示例可以是等矩形(equirectangular)360视频。等矩形360视频也可以称为球面全景。全景视频可以是提供视场的视频，该视场大于可以在用于播放该视频的设备上显示的视场。例如，由摄影机系统100捕获的视场110a-110b可以用于生成全景视频，例如球面视频、半球面视频、360度视频、广角视频、具有小于360视场的视频等。
68.全景视频可以包括摄影机系统100附近的环境的视图。在一个示例中，全景视频的整个视场110a-110b可以在大致同一时间被捕获(例如，全景视频的每个部分表示来自摄影机系统100在一个特定的时刻的视图)。在一些实施例中(例如，在摄影机系统100实现滚动快门传感器时)，全景视频的一些部分之间可以存在少量的时间差。通常，全景视频的每个视频帧包括捕获摄影机系统100附近的环境的传感器(或多个传感器182a-182n)的一次曝光。
69.在一些实施例中，视场110a-110b可以为全360度视场提供覆盖。在一些实施例中，小于360度的视图可以由摄影机系统100捕获(例如，270度视场、180度视场等)。在一些实施例中，全景视频可以包括球面视场(例如，在摄影机系统100上方或下方捕获视频)。例如，摄影机系统100可以安装在天花板上，并且捕获摄影机系统100下方区域的球面视场。在一些实施例中，全景视频可以包括小于球面视场的视场(例如，摄影机系统100可以被配置为捕获下方的地面和摄影机系统100侧面的区域，但不捕获正上方的区域)。摄影机系统100和/或捕获的视场110a-110b的实施方式可以根据特定的实施方式的设计准则而变化。
70.在实现多个镜头的实施例中，镜头150a-150n中的每一个可以被定位以朝向一个特定的方向，以为全360度视场提供覆盖。在实现单个广角镜头(例如，镜头150a)的实施例中，镜头150a可以被定位以为全360度视场提供覆盖(例如，在天花板安装的实施例中的摄影机系统100的底部上，在无人机摄影机的底部上等)。在一些实施例中，小于360度的视图可以由镜头150a-150n捕获(例如，270度视场、180度视场等)。在一些实施例中，镜头150a-150n可以移动(例如，捕获设备的方向可以是可控的)。在一些实施例中，镜头150a-150n中的一个或多个可以被配置为实现光学缩放(例如，镜头150a-150n可以相互独立地放大/缩小)。
71.在一些实施例中，装置100可以实现为片上系统(soc)。例如，装置100可以实现为包括一个或多个组件(例如，捕获设备102a-102n、处理器156、通信设备154、存储器158等)的印刷电路板。装置100可以被配置为对去变形的全景视频的视频帧执行智能视频分析。装置100可以被配置为裁剪和/或增强全景视频。
72.在一些实施例中，处理器156可以被配置为执行传感器融合操作。由处理器156执行的传感器融合操作可以被配置为分析来自多个源(例如，捕获设备102a-102n、热传感器104和麦克风160a-160n)的信息。通过分析来自不同源的各种数据，传感器融合操作可以是能够对进行关于数据的推断的，这些数据可以是不可能仅来自不同的数据源中的一个的。
例如，由处理器156实现的传感器融合操作可以分析视频数据(例如，分类对象)以及来自热像thimg的温度测量结果。不同的源可以用于开发场景的模型以支持作出决策。传感器融合操作还可以提供正被接收的数据之间的时间相关性、空间相关性和/或可靠性。
73.在一些实施例中，处理器156可以实现卷积神经网络能力。卷积神经网络能力可以使用深度学习技术来实现计算机视觉。卷积神经网络能力可以被配置为通过多层特征检测使用训练过程来实现模式和/或图像识别。
74.信号dir_aout可以是音频输出。例如，处理器156可以基于从视频帧pixeld_a-pixeld_n提取的信息来生成输出音频。信号dir_aout可以基于使用计算机视觉操作确定的事件和/或对象来确定。在一个示例中，信号dir_aout可以包括提供关于温度异常的信息的音频消息。在一些实施例中，直到已经由处理器156使用计算机视觉操作检测到事件，才可以生成信号dir_aout。
75.信号dir_aout可以包括扬声器162a-162n的定向音频输出信息和/或位置音频输出信息。扬声器162a-162n可以接收信号dir_aout，处理方向信息和/或位置信息，并确定哪些扬声器和/或哪些信道将播放信号dir_aout的特定的音频部分。扬声器162a-162n可以响应于信号dir_aout而生成信号aout_a-aout_n。该信号aout_a-aout_n可以是音频消息。在一些实施例中，由扬声器162a-162n播放的音频消息可以是响应于温度异常而生成的潜在危险的早期检测警告。例如，扬声器162a-162n可以响应于检测到的事件而发出预先记录的消息。信号dir_aout可以是以为信号aout_a-aout_n提供方向信息的格式生成的信号。
76.扬声器162a-162n的数量可以根据特定的实施方式的设计准则而变化。扬声器162a-162n的数量可以被选择用于为传出的音频提供足够的定向信道(例如，实现的扬声器162a-162n的数量可以基于定向音频输出的准确度和/或分辨率而变化)。在示例中，可以实现扬声器162a-162n中的1到6个。在一些实施例中，音频处理组件可以由扬声器162a-162n实现，以处理和/或解码输出音频信号dir_aout。在一些实施例中，处理器156可以配置有片上音频处理。
77.传感器182a-182n均可以实现高分辨率传感器。使用高分辨率传感器182a-182n，处理器156可以将图像传感器182a-182n的过采样与裁剪区域内的数字缩放组合。过采样和数字缩放均可以是由处理器156执行的视频操作中的一个。可以实现过采样和数字缩放以在裁剪区域的总大小限制内提供更高分辨率图像。
78.在一些实施例中，镜头150a-150n中的一个或多个可以实现鱼眼镜头。由处理器156实现的视频操作中的一个可以是去变形操作。处理器156可以被配置为对生成的视频帧进行去变形。去变形可以被配置为减少和/或移除由鱼眼镜头和/或其他镜头特性引起的严重失真。例如，去变形可以减少和/或消除凸起效应以提供直线图像。
79.处理器156可以被配置为从完整视频帧中裁剪(例如，修剪为)感兴趣的区域(例如，生成感兴趣的区域视频帧)。处理器156可以生成视频帧并选择区域。在示例中，裁剪感兴趣的区域可以生成第二图像。裁剪的图像(例如，感兴趣的区域视频帧)可以小于原始的视频帧(例如，裁剪的图像可以是捕获的视频的一部分)。
80.感兴趣的区域可以基于由热传感器104执行的温度测量而被动态地调整。例如，可以在热像信号thimg中的特定的位置处检测到高温。处理器156可以基于由热传感器104检测到的高温的位置来更新选定的感兴趣的区域坐标并动态地更新裁剪的部分。裁剪的部分
可以对应于选定的感兴趣的区域。随着感兴趣的区域改变，裁剪的部分可以改变。例如，针对感兴趣的区域的选定的坐标可以在不同帧之间改变，并且处理器156可以被配置为在每个帧中裁剪选定的区域。
81.处理器156可以被配置为在热像和视频帧之间执行视差校正。在示例中，由热传感器104捕获的热像与根据由捕获设备102a-102n生成的像素数据生成的视频帧之间可能存在视差，该视差是由热传感器104和捕获设备102a-102n的不同的安装位置产生的。在一个示例中，热像信号thimg可以包括在热像被捕获时热像传感器104的安装位置信息(例如，位置、角度、倾斜、缩放等)。类似地，信号pixeld_a-pixeld_n可以包括在像素数据被捕获时捕获设备102a-102n的安装位置信息(例如，位置、角度、倾斜、缩放等)。在另一个示例中，存储器158可以存储关于热像传感器104和/或捕获设备102a-102n的预先确定的安装位置信息(例如，在传感器静止时)。处理器156可以被配置为使用安装信息以计算热传感器104和捕获设备102a-102n的视场之间的视差。计算出的视差可以用于实现来自热像的信息与视频帧中的信息的准确的和对齐的比较。视差计算可以用于将在热像中的特定的位置处测量的温度与视觉图像中的相同位置相互关联。视差计算可以确保温度异常的区域准确地映射到视觉图像。
82.处理器156可以被配置为对图像传感器182a-182n进行过采样。图像传感器182a-182n的过采样可以得到更高分辨率图像。处理器156可以被配置为数字地放大视频帧的区域。例如，处理器156可以数字地放大裁剪的感兴趣的区域。例如，处理器156可以基于定向音频建立感兴趣的区域，裁剪感兴趣的区域，并且然后数字地放大裁剪的感兴趣的区域视频帧。
83.由处理器156执行的去变形操作可以调整视频数据的视觉内容。由处理器156执行的调整可以使得视觉内容看起来自然(例如，看起来像是由这样的人所看到的，其观看对应于捕获设备102a-102n的视场的位置)。在示例中，去变形可以更改视频数据以生成直线视频帧(例如，校正由镜头150a-150n的镜头特性引起的伪像)。可以实现去变形操作以校正由镜头150a-150n引起的失真。可以生成调整的视觉内容以实现更准确和/或可靠的对象检测。
84.各种特征(例如，去变形、数字缩放、裁剪等)可以作为硬件模块在处理器156中实现。实现硬件模块可以增加处理器156的视频处理速度(例如，比软件实施方式快)。硬件实施方式可以使得视频能够被处理，同时减少延迟量。所使用的硬件组件可以根据特定的实施方式的设计准则而变化。
85.处理器156被示出包括多个块(或电路)190a-190n。块190a-190n可以实现由处理器156实现的各种硬件模块。硬件模块190a-190n可以被配置为提供各种硬件组件以实现视频处理流水线。电路190a-190n可以被配置为接收像素数据pixeld_a-pixeld_n，根据像素数据生成视频帧，对视频帧执行各种操作(例如，去变形、滚动快门校正、裁剪、放大、图像稳定等)，准备用于传送到外部硬件的视频帧(例如，编码、分组化、颜色校正等)，解析特征集，实现计算机视觉的各种操作(例如，对象检测、分割、分类等)等。处理器156的各种实施方式可以不一定利用硬件模块190a-190n的所有特征。硬件模块190a-190n的特征和/或功能性可以根据特定的实施方式的设计准则而变化。硬件模块190a-190n的细节可以与以下申请相关联地描述：于2020年4月16日提交的美国专利申请第16/831,549号、于2019年2月28日
提交的美国专利申请第16/288,922号和与2017年5月12日提交的美国专利申请第15/593,493号(现美国专利第10,437,600号)，其适当的部分通过引用方式以其全部内容并入本文。
86.硬件模块190a-190n可以实现为专用硬件模块。使用专用硬件模块190a-190n实现处理器156的各种功能性可以使得处理器156与软件实施方式相比能够被高度优化和/或定制以限制功率消耗、减少热量生成和/或增加处理速度。硬件模块190a-190n可以是可定制的和/或可编程的以实现多种类型的操作。实现专用硬件模块190a-190n可以使得用于执行每种类型的计算的硬件能够针对速度和/或效率进行优化。例如，硬件模块190a-190n可以实现在计算机视觉操作中频繁使用的多个相对简单的操作，这些操作一起可以使得计算机视觉算法能够被实时执行。视频流水线可以被配置为识别对象。对象可以通过解释数字和/或符号信息来识别，以确定视觉数据表示特定的对象类型和/或特征。例如，视频数据的像素的数量和/或像素的颜色可以用于将视频数据的部分识别为对象。
87.硬件模块190a-190n中的一个(例如，190a)可以实现调度器电路。调度器电路190a可以被配置为存储有向非循环图(dag)。在示例中，调度器电路190a可以被配置为响应于在信号feat_set中接收到的特征集信息来生成和存储有向非循环图。有向非循环图可以定义要执行以用于从视频帧提取数据120a-120n的视频操作。例如，有向非循环图可以定义在执行计算机视觉操作以将各种像素组分类为特定的对象时要应用的各种数学加权。
88.调度器电路190a可以被配置为解析非循环图以生成各种运算符。运算符可以在其他硬件模块190a-190n中的一个或多个中由调度器电路190a调度。例如，硬件模块190a-190n中的一个或多个可以实现被配置为执行特定任务的硬件引擎(例如，被设计用于执行重复地用于执行计算机视觉操作的特定的数学运算的硬件引擎)。调度器电路190a可以基于何时运算符可以准备好由硬件引擎190a-190n处理来调度运算符。
89.调度器电路190a可以基于硬件模块190a-190n的可用性，将任务时间复用到硬件模块190a-190n以执行工作。调度器电路190a可以将有向非循环图解析为一个或多个数据流。每个数据流可以包括一个或多个运算符。一旦有向非循环图被解析，调度器电路190a可以将数据流/运算符分配给硬件引擎190a-190n，并发送相关的运算符配置信息以开始运算符。
90.每个有向非循环图二进制表示可以是有向非循环图的有序遍历，其中描述符和运算符基于数据依赖性交错。描述符通常提供寄存器，该寄存器将数据缓冲器链接到从属运算符中的特定操作数。在各种实施例中，直到针对操作数声明了所有从属描述符，运算符才可以出现在有向非循环图表示中。
91.硬件模块190a-190n中的一个(例如，190b)可以实现卷积神经网络(cnn)模块。cnn模块190b可以被配置为对视频帧执行计算机视觉操作。cnn模块190b可以被配置为通过多层特征检测来实现对象的识别。cnn模块190b可以被配置为基于执行的特征检测来计算描述符。描述符可以使得处理器156能够确定视频帧的像素对应于特定对象(例如，车辆的特定的品牌/型号/年份等)的可能性。
92.cnn模块190b可以被配置为实现卷积神经网络能力。cnn模块190b可以被配置为使用深度学习技术实现计算机视觉。cnn模块190b可以被配置为通过多层特征检测使用训练过程来实现模式识别和/或图像识别。cnn模块190b可以被配置为针对机器学习模型进行推断。
93.cnn模块190b可以被配置为仅在硬件中执行特征提取和/或匹配。特征点典型地表示视频帧中的感兴趣的区域(例如，角、边缘等)。通过在时间上跟踪特征点，可以生成对捕获平台的自我运动的估计或场景中的被观察对象的运动模型。为了跟踪特征点，匹配算法通常由硬件合并到cnn模块190b中以找到参考视频帧和目标视频帧中特征点之间的最可能的对应。在匹配参考和目标特征点对的过程中，每个特征点可以由描述符表示(例如，图像补丁、sift、brief、orb、freak等)。使用专用硬件电路实现cnn模块190b可以使得能够实时计算描述符匹配距离。
94.cnn模块190b可以是被配置为执行视频帧的特征检测的专用硬件模块。由cnn模块190b检测到的特征可以用于计算描述符。cnn模块190b可以响应于描述符来确定视频帧中的像素属于一个和/或多个特定对象的可能性。例如，使用描述符，cnn模块190b可以确定像素对应于特定的对象(例如，人、家具项目、宠物、车辆等)和/或对象的特性(例如，车辆的引擎盖、车辆的门、车辆的徽标、车辆的牌照、人的脸、人穿的衣服等)的可能性。将cnn模块190b实现为处理器156的专用硬件模块可以使得装置100能够在本地(例如，在芯片上)执行计算机视觉操作，而不依赖于远程设备的处理能力(例如，向云计算服务传送数据)。
95.由cnn模块190b执行的计算机视觉操作可以被配置为对视频帧执行特征检测以便生成描述符。cnn模块190b可以执行对象检测以确定具有匹配特定的对象的高可能性的视频帧的区域。在一个示例中，可以使用开放式操作数堆栈来定制要匹配(例如，参考对象)的对象类型(使得处理器156的可编程性能够实现各种有向非循环图，每个有向非循环图提供用于执行各种类型的对象检测的指令)。cnn模块190b可以被配置为对区域执行局部掩蔽，该区域具有匹配特定的对象以检测对象的高可能性。
96.在一些实施例中，cnn模块190b可以确定检测到的对象的各种特征的位置(例如，3d坐标和/或位置坐标)。在一个示例中，可以使用3d坐标来确定人的手臂、腿、胸部和/或眼睛的位置和/或引擎盖、车顶、驾驶员侧门和/或电池的位置。可以存储用于在3d空间中的身体部分的垂直位置的第一轴线上的一个位置坐标和用于3d空间中的身体部分的水平位置的第二轴线上的另一个坐标。在一些实施例中，与镜头150a-150n的距离可以表示3d空间中的身体部分的深度位置的一个坐标(例如，第三轴线上的位置坐标)。使用3d空间中的各种身体部分的位置，处理器156可以确定检测到的人的身体位置和/或身体特性。
97.cnn模块190b可以是预先训练的(例如，被配置为基于用于训练cnn模块190b的接收到的训练数据来执行计算机视觉以检测对象)。例如，训练数据的结果(例如，机器学习模型)可以被预先编程和/或加载到处理器156中。cnn模块190b可以针对机器学习模型进行推断(例如，以执行对象检测)。训练可以包括确定每一层的权重值。例如，可以针对用于特征提取(例如，卷积层)和/或用于分类(例如，完全连接层)的层中的每一层确定权重值。由cnn模块190b学习的权重值可以根据特定的实施方式的设计准则而变化。
98.卷积操作可以包括在执行计算(例如，矩阵运算)的同时沿着层滑动特征检测窗口。特征检测窗口可以将过滤器应用于像素和/或提取与每个层相关联的特征。特征检测窗口可以被应用于像素和多个周围像素。在示例中，层可以被表示为值的矩阵，这些值表示层中的一个的特征和/或像素，并且由特征检测窗口应用的过滤器可以被表示为矩阵。卷积运算可以在由特征检测窗口覆盖的当前层的区域之间应用矩阵乘法。卷积运算可以沿着层的区域滑动特征检测窗口以生成表示每个区域的结果。区域的大小、由过滤器应用的操作的
类型和/或层的数量可以根据特定的实施方式的设计准则而变化。
99.使用卷积运算，cnn模块190b可以在每个提取步骤中计算输入图像的像素的多个特征。例如，每一层可以从位于前一层(例如，局部感受域(local receptive field))的小邻域(例如，区域)中的一组特征接收输入。卷积运算可以提取基本的视觉特征(例如，定向的边缘、端点、角等)，这些基本的视觉特征然后由较高的层组合。由于特征提取窗口对像素和附近的像素进行操作，因此操作的结果可以具有位置不变性。这些层可以包括卷积层、池层、非线性层和/或完全连接层。在示例中，卷积运算可以学习从原始像素(例如，第一层)检测边缘，然后使用来自前一层的特征(例如，检测到的边缘)来检测下一层中的形状，并且然后使用这些形状来检测在较高的层中的较高级的特征(例如，面部特征、宠物、车辆、车辆的组件、家具等)，并且最后一层可以是使用较高级别特征的分类器。
100.cnn模块190b可以执行针对特征提取和匹配的数据流，包括两阶段检测、变形运算符(warping operator)、操纵组件的列表的组件运算符(例如，组件可以是共享公共属性的向量的区域，并且可以与边界框分组在一起)、矩阵求逆运算符、点积运算符、卷积运算符、条件运算符(例如，复用和解复用)、重映射运算符、最小最大归约运算符、池运算符、非最小非最大抑制运算符、基于扫描窗口的非最大抑制运算符、聚集运算符、散点运算符、统计信息运算符、分类器运算符、积分图像运算符、比较运算符、索引运算符、模式匹配运算符、特征提取运算符、特征检测运算符、两阶段对象检测运算符、分数生成运算符、块缩减运算符和上采样运算符。由cnn模块190b从训练数据中提取特征而执行的操作的类型可以根据特定的实施方式的设计准则而变化。
101.硬件模块190a-190n中的每一个可以实现处理资源(或硬件资源或硬件引擎)。硬件引擎190a-190n可以操作以执行特定处理任务。在一些配置中，硬件引擎190a-190n可以并行地并且彼此独立地操作。在其他配置中，硬件引擎190a-190n可以彼此共同地操作以执行分配的任务。硬件引擎190a-190n中的一个或多个可以是同构处理资源(所有电路190a-190n可以具有相同的能力)或异构处理资源(两个或多个电路190a-190n可以具有不同的能力)。
102.参考图3，示出了框图，该框图示出了用于执行传感器融合以作出关于温度异常的决策的组件。示出了处理器156和存储器158。信号data被示出在处理器156和存储器158之间被传送。处理器156被示出接收信号pixeld_i并生成信号anom。
103.处理器156被示出包括cnn模块190b、块(或电路)200、块(或电路)202和/或块(或电路)204。电路200可以实现视频处理流水线。电路202可以实现传感器融合模块。电路204可以实现决策模块。处理器156可以包括其他组件(未示出)。与图3相关联示出的处理器156的组件通常可以对应于这样的组件：其用于将响应于计算机视觉操作而生成的信息和由热传感器104生成的信息组合以提供对象感知的温度异常监控。
104.存储器158被示出包括块(或电路)210。块210可以包括用于对象分类的数据存储装置。对象分类210可以包括块(或电路)212和/或块(或电路)214。块212可以包括用于工作温度的数据存储装置。块214可以包括用于异常位置的数据存储装置。对象分类210、工作温度212和/或异常位置214通常可以包括查找表。对象分类210可以包括其他类型的数据存储装置(未示出)。针对对象分类210存储的数据的类型可以根据特定的实施方式的设计准则而变化。与图3相关联示出的存储器158的组件通常可以对应于这样的组件：其用于将响应
于计算机视觉操作而生成的信息和由热传感器104生成的信息组合以提供对象感知的温度异常。
105.视频处理流水线200被示出接收信号pixeld_i(例如，由捕获设备102生成)。在所示的示例中，仅示出了信号pixeld_i。然而，视频处理流水线200可以被配置为接收任何数量的像素数据信号pixeld_a-pixeld_n。视频处理流水线200被示出生成信号(例如，vframes)。信号vframes可以包括由视频处理流水线生成的视频帧。信号vframes可以被呈现给cnn模块190b。
106.视频处理流水线200可以被配置为对从捕获设备102a-102n接收到的像素数据执行视频处理。由视频处理流水线200执行的视频处理可以被配置为根据像素数据生成视频帧。在一个示例中，由视频处理流水线200生成的视频帧可以由处理器156的其他组件内部使用(例如，用于计算机视觉操作)。在另一个示例中，由视频处理流水线200生成的视频帧可以流式传输到另一设备(例如，通信设备154可以传送信号vframes)。在又一个示例中，可以将由视频处理流水线200生成的视频帧提供给显示设备(例如，监控器)。在所示的示例中，信号vframes可以将由视频处理流水线200生成的视频帧传送给cnn模块190b，以对视频帧执行计算机视觉操作。
107.视频流水线200可以被配置为对由捕获设备102a-102n中的每一个捕获的视频数据和/或视频帧进行编码。在一些实施例中，视频流水线200可以被配置为执行视频拼接操作，以使用镜头112a-112n拼接由捕获设备102a-102n中的每一个捕获的像素数据pixeld_a-pixeld_n来生成全景视场(例如，全景视频帧)。视频流水线200可以被配置为生成视频帧vframes并对视频帧vframes执行进一步的操作。视频流水线200可以被配置为执行去变形、裁剪、增强、滚动快门校正、稳定(例如，电子图像稳定(eis))、缩小、分组化、压缩、转换、混合、同步和/或其他视频操作。视频流水线200的架构可以使得视频操作能够实时和/或接近实时地对高分辨率视频和/或高比特率视频数据执行。视频流水线模块200可以实现对4k分辨率视频数据的计算机视觉处理、立体视觉处理、对象检测、3d降噪、鱼眼镜头校正(例如，实时360度去变形和镜头失真校正)、过采样和/或高动态范围处理。在一个示例中，视频流水线200的架构可以实现具有以两倍实时速度(例如，60fps)编码的h.264的4k超高分辨率、具有30fps的h.265/hevc的4k超高分辨率、4k avc编码和/或其他类型的编码(例如，vp8、vp9、av1等)。可以压缩由视频流水线模块200生成的视频数据(例如，使用无损压缩和/或低损耗量)。由视频流水线200操作的视频操作的类型和/或视频数据的类型可以根据特定的实施方式的设计准则而变化。
108.视频流水线模块200可以实现数字信号处理(dsp)模块，该数字信号处理(dsp)模块被配置为从输入信号pixeld_a-pixeld_n接收信息(例如，由传感器182a-182n捕获的像素数据值)。视频流水线模块200可以被配置为确定像素值(例如，rgb、yuv、亮度、色度等)。视频流水线模块200可以被配置为执行图像信号处理(isp)。视频流水线模块200可以被进一步配置为支持或提供传感器rgb到yuv原始图像流水线，以提高图像质量、执行坏像素检测和校正、去马赛克、白平衡、颜色和色调校正、伽马校正、色相调整、饱和度、亮度和对比度调整、锐化和/或色度和亮度噪声过滤。
109.视频流水线模块200可以同时(并行地)将原始图像数据编码成多个编码的视频流。多个视频流可以具有各种分辨率(例如，vga、wvga、qvga、sd、hd、ultra hd、4k、8k等)。视
频流水线模块200可以从音频接口接收编码的和/或未编码的(例如，原始)音频数据。视频流水线模块200还可以从通信接口(例如，经由信号dir_aud的usb和/或sdio)接收编码的音频数据。视频流水线模块200可以向通信设备154(例如，使用usb主机接口)和/或显示器提供编码的视频数据。
110.视频流水线模块200可以被配置为实现用于图像信号处理的原始图像流水线。视频流水线模块200可以被配置为转换从捕获设备102a-102n获取的图像数据。例如，图像数据可以以颜色过滤器阵列(cfa)图片格式从图像传感器182i获取。由视频流水线模块200实现的原始图像流水线可以被配置为将cfa图片格式转换为yuv图片格式。
111.由视频流水线模块200实现的原始图像流水线可以被配置为对cfa格式的图像数据执行去马赛克，以获得每个图片元素(例如，像素)的线性rgb(红、绿、蓝)图像数据。由视频流水线模块200实现的原始图像流水线可以被配置为执行白平衡操作和/或颜色和色调校正。由视频流水线模块200实现的原始图像流水线可以被配置为执行rgb到yuv颜色空间转换。由视频流水线模块200实现的原始图像流水线可以被配置为执行噪声过滤(例如，噪声降低、噪声校正等)和/或锐化。由视频流水线模块200实现的原始图像流水线可以被配置为实现基于色调的非平滑度检测和调整。通常，噪声过滤可以在执行的每个步骤、操作和/或转换之后被执行，以减少由每个步骤引入的任何噪声。
112.视频流水线模块200可以实现调度。调度可以使得视频流水线200能够并行地执行各种离散的、异步的视频操作和/或计算机视觉操作。调度可以使得来自一个视频操作的数据结果在另一个视频数据操作需要数据结果时可用。视频流水线模块200可以包括多个流水线，每个流水线被调节以有效地执行特定的任务。例如，多个流水线中的每一个可以利用专用硬件模块190a-190n中的一个或多个。
113.cnn模块190b被示出从视频处理流水线200接收信号vframes。cnn模块190b可以生成信号(例如，obj)。信号obj可以被呈现给传感器融合模块202。信号obj可以被呈现给对象分类存储装置210。
114.cnn模块190b可以被配置为对视频帧执行计算机视觉操作。可以响应于从视频处理流水线200接收到的信号vframes来执行计算机视觉操作。cnn模块190b可以被配置为检测对象、分类对象和/或确定检测到的对象的特性或特征。cnn模块190b可以响应于检测视频帧中的对象而生成信号obj。
115.cnn模块190b可以被配置为执行计算机视觉操作。计算机视觉操作可以包括对视频帧vframes的分割、对象检测和/或分类。视频处理流水线200可以被配置为执行视频处理。由视频处理流水线200执行的视频处理可以是与计算机视觉操作不同的处理。视频处理可以被配置为生成可以用于计算机视觉操作的视频帧vframes。视频处理操作可以生成可以输出到显示器的编码的视频帧和可以用于计算机视觉操作的未编码的视频帧。
116.对象分类存储装置210可以包括一个或多个查找表。在示例中，工作温度存储装置212和/或异常位置存储装置214均可以实现查找表。对象分类存储装置210可以被配置为响应于信号obj而提供数据。在一个示例中，cnn模块190b可以被配置为对视频帧vframes中的对象进行分类，并向对象分类查找数据210提供信号obj。对象分类查找数据210可以生成对应于由cnn模块190b分类的对象的数据。在另一个示例中，cnn模块190b可以被配置为检测视频帧vframes中的各种特征，并且对象分类查找数据210可以与检测到的特征进行比较，
以将对象分类为特定的对象类型/类别，并且然后生成对应于经分类的对象的数据。
117.对象分类存储装置210可以包括对应于特定的对象类型(例如，类别)的数据。数据可以包括工作温度212。在一些实施例中，工作温度212可以被配置为存储关于特定对象的正常工作温度范围的信息。正常工作温度范围可以包括特定的对象和/或对象特征的最小和/或最大温度值。在示例中，正常工作温度范围可以是被推荐的和/或安全的工作温度(例如，如由对象/特征的制造商和/或监管者建议的)。在一个示例中，一个对象分类可以是可以具有-20℃到60℃的正常工作温度范围的电动车辆的特定的型号。在一些实施例中，工作温度212可以被配置为存储有关温度变化的信息。在一个示例中，一个对象分类可以是特定的电动车辆的型号，它可以随时间改变温度，但是可以指示异常温度改变可以是温度的快速改变(例如，在一分钟内增加10度)。对象的每个类别可以具有存储在工作温度查找表212中的对应的工作温度。被认为正常和/或异常的特定的温度范围可以根据特定的实施方式的设计准则而变化。
118.对象分类存储装置210可以包括对应于特定的对象特征和/或特性的数据。数据可以包括异常位置数据214。异常位置数据214可以包括可能具有温度异常的特定类型的对象类别的位置(例如，潜在的关注区域)。异常位置214可以包括关于由对象类别(例如，可燃材料)使用的特定的材料类型的信息和/或特定的材料位于对象类别上之处的信息。异常位置数据214可以存储数据，该数据可以用于区分哪些高温检测对应于假警报和/或哪些高温检测对应于温度异常。在一个示例中，由异常位置数据214存储的对象类别的特征和/或特性可以是电池(例如，针对电动车辆、针对电池存储单元等)。在另一个示例中，由异常位置数据214存储的对象类别的特征和/或特性可以是气罐(例如，针对具有内燃机的车辆)。在又一个示例中，由异常位置数据214存储的对象类别的特征和/或特性可以是车辆的其他组件和/或与特定的组件相关联的温度(例如，车顶可能变热高达70℃，引擎盖可能变热高达80℃，车辆的内部可能变热高达60℃等)。与每个特征相关联的特征和/或温度的类型可以根据特定的实施方式的设计准则而变化。
119.在一些实施例中，温度异常可以与一类对象的特定的位置相关联。在一个示例中，检测到的一类对象可以是车辆。高温可以由检测到的车辆的车顶上的热传感器104检测到。然而，在室外时，阳光可能会使得车辆的车顶变得非常热，这可能是一种良性的、预期的并且通常安全的温度增加。在另一个示例中，检测到的一类对象可以是ev，并且异常位置214可以指示ev电池可以位于ev的底部上。ev的底部上的快速温度增加(例如，对应于异常位置数据214的位置)可以指示温度异常和/或潜在的火灾危险。工作温度212可以与异常位置214相关联。例如，高于60℃的温度可以被认为针对车辆的车顶是正常和/或可接受的，但是可以被认为针对汽车电池的位置是温度异常。
120.对象分类数据210可以被配置为向处理器156提供关于特定的对象类别的特定特征的工作温度和/或位置的信息。由对象分类数据210生成的信息可以使用信号data来传送。在一个示例中，cnn模块190b可以检测电动车辆的特定的品牌/型号。对象分类210可以用于查找特定的品牌/型号的电动车辆的工作温度212。异常位置214可以用于确定ev电池的位置。电动车辆的各种特征(例如，电池)的工作温度范围和/或位置可以传送到处理器156。
121.传感器融合模块202可以被配置为同时分析各种数据源。传感器融合模块202可以
接收来自cnn模块190b的信号obj和来自热传感器104的信号thimg。传感器融合模块202可以被配置为分析数据和/或智能地组合来自图像数据(例如，视频帧vframes和/或检测到的对象obj)和热像(例如，由热传感器104执行的温度测量)的结果。传感器融合模块202可以被进一步配置为使用来自对象分类查找表210的信息。来自对象分类查找表210的信息可以用于分析关于检测到的特定的对象类别的数据。
122.传感器融合模块202可以被配置为基于数据源的组合进行推断。传感器融合模块202可以被配置为生成信号(例如，inf)。信号inf可以包括由传感器融合模块202作出的推断。信号inf可以被呈现给决策模块204。
123.传感器融合模块202可以被配置为分析来自捕获设备102a-102n(例如，rbg图像数据)、热传感器104(例如，热像)和/或对象分类数据210的信息。通过分析来自不同源的各种数据，传感器融合模块202可以是能够作出关于数据的推断的，该数据不可能仅来自数据源中的一个。例如，传感器融合模块202可以分析视频数据以及雷达、激光雷达、惯性、运动、v2x、位置数据(例如，gps、gnss、adas等)、热数据和/或其他源，以开发场景的模型用于支持作出决策。传感器融合模块202还可以提供正由处理器156接收的数据之中的时间相关性、空间相关性和/或可靠性。
124.在示例中，传感器融合模块202可以在空间上将由摄影机102i捕获的对象与由热传感器104捕获的相同对象重叠，以更好地识别和/或定位检测到的对象的温度。在时间相关性示例中，对象可以由两个传感器(例如，rgb摄影机和热传感器)在稍微不同的时间和/或稍微不同的角度看到。传感器融合模块202可以对来自一个传感器的数据进行时间偏移以与来自另一个传感器的数据对齐(例如，使用基于每个传感器的位置和/或安装信息的视差计算)。
125.在可靠性示例中，传感器融合模块202可以确定由每个传感器检测到的对象的可靠性。传感器融合模块202可以调整用于覆盖数据的加权，以赋予可靠的数据较多的权重和/或赋予不可靠的数据较少的权重(例如，捕获设备102a-102n中的一个在有雾的条件下可能具有低可靠性，但是热数据在有雾的条件下可能仍然具有良好的可靠性)。对象确实存在并且被正确地识别的置信度也可以在传感器融合模块202中计算。
126.传感器融合模块202可以聚集来自热传感器104、麦克风160a-160n、cnn模块190b和/或视频流水线200的数据，以建立检测到的对象周围环境的模型和/或抽象。计算机视觉操作可以使得处理器156能够理解环境、对象的状态、对象的相对位置和/或对象的含义，以导出推断(例如，检测到车辆处于阴影中，检测到车辆处于直射阳光下，检测到车辆最近已经被驾驶过并且具有较高的温度，理解车辆是无人看管的等)。传感器融合模块202可以使得在特定的时间从热传感器104接收到的数据与在另一个特定的时间捕获的视频数据进行比较和/或交叉引用，以便调整推断的置信水平。由传感器融合模块202作出的推断的类型可以根据特定的实施方式的设计准则而变化。
127.传感器融合模块202可以被进一步配置为对从计算机视觉操作接收的信息进行数学加权(例如，修改系数以表示以基于其他传感器作出的检测为基础，由计算机视觉操作所作出的检测是正确的可能性有多大)。例如，传感器融合模块202可以被配置为对由每个传感器提供的信息进行数学加权(例如，计算机视觉检测的置信水平、热传感器104的检测的置信水平、热传感器104的距离限制、计算机视觉是否检测到在超出热传感器104范围的距
离处的对象等)。
128.决策模块204可以被配置为确定是否生成控制/警告信号。决策模块204可以分析由传感器融合模块202作出的推断。决策模块204可以被配置为将由传感器融合模块202作出的推断与各种策略数据进行比较，以确定温度异常是否已经被检测到。例如，策略数据可以指示是更保守(例如，避免生成错误警报)还是更主动(例如，更倾向于生成警告)。策略数据可以是装置100的与计算机视觉、视频处理和/或热成像不同的一方面。决策模块204可以从传感器融合模块202接收信号并生成信号anom。
129.决策模块204可以被配置为生成信号anom以指示温度异常已经被检测到。信号anom可以用于发起预警(例如，以供通信设备154传送)。决策模块204可以被配置为使用来自计算机视觉操作和/或传感器融合模块202的信息来确定可以采取哪些动作。例如，决策模块204可以确定与检测到的温度异常相关联的对象是哪个。决策模块204可以利用来自cnn模块190b的数据和/或使用直方图定向梯度(hog)的计算机视觉数据。由决策模块204使用的用于作出决策的数据源可以根据特定的实施方式的设计准则而变化。
130.参考图4，示出了示出示例性分类数据的图。对象分类数据210、工作温度数据212和/或异常位置数据214以表格格式被示出为查找表数据的代表性示例。查找表的格式和/或存储器158中的对象分类数据210、工作温度数据212、异常位置数据214和/或存储在存储器158中的其他数据的布置可以根据特定的实施方式的设计准则而变化。
131.示出了对象类型250a-250n。对象类型250a-250n被示出为代表性的示例。对象类型250a可以具有ev型号a的分类210(例如，电动车辆的一个品牌/型号)。对象类型250b可以具有ev型号b的分类210(例如，电动车辆的另一品牌/型号)。对象类型250n可以具有电力存储单元(例如，用于存储电力和向建筑物、充电站等供电的大电池组)的分类210。分类210可以是宽泛的分类(例如，检测电动车辆)、相对较窄的分类(例如，检测电动车辆的品牌/型号)和/或特定分类(例如，检测特定的车辆(例如，使用车牌和/或其他可识别特征来在相同品牌/型号的个体车辆进行区分))。
132.对象类型250a-250n被示出具有工作温度212和异常位置214。在所示的示例中，对象类型250a可以具有-20℃到60℃的工作温度212，以及车辆的前底部的异常位置214(例如，ev电池可以位于车辆前端的底部)。在所示的示例中，对象类型250b可以具有-10℃到55℃的工作温度212，以及车辆后底部的异常位置214(例如，ev电池可以位于车辆后端的底部)。在所示的示例中，对象类型250c可以具有-25℃到65℃的工作温度212，以及整个单元的异常位置214(例如，整个电源可以是大电池组)。
133.摄影机系统100可以被配置为基于检测到的对象的特定类别来检测温度异常。在所示的示例中，对象类型250a-250n中的每一种可以具有类似的但是不同的正常工作温度和/或异常位置。由于对象类型250a-250n可以具有不同的正常操作和/或异常位置，由摄影机系统100分析以确定温度异常是否已经被检测到的标准针对每个对象可以是不同的。例如，如果针对对象类型250b检测到59℃的温度，则决策模块204可以生成信号anom。然而，针对对象类型250a和/或对象类型250n检测到的59℃的相同温度可以不被认为是温度异常。在另一个示例中，如果在对象类型250a的前底部检测到70℃的温度，则决策模块204可以生成信号anom(例如，基于异常位置214的位置)。然而，在对象类型250b的前底部上检测到的70℃的相同温度可以不被认为是温度异常(例如，对象类型250b的异常位置214可以是后底
部而不是前底部)。
134.在所示的示例中，工作温度数据212被示出为温度范围。通常，对于针对火灾危险生成信号alert，温度范围的下限可以是不相关的。例如，处理器156可以确定由热传感器104执行的温度测量结果是否已经超出温度范围的上限(例如，针对对象类型250a，温度测量结果大于60℃)。
135.在一些实施例中，工作温度数据212可以包括温度范围和温度改变率中的一个或两个。温度改变率可以包括温度可以在特定的时间段内增加多快的阈值。在一个示例中，一种或多种类型的对象250a-250n的工作温度212可以是一分钟内10℃的改变率。对象类型250a-250n中的每一种可以具有特定改变率。例如，处理器156可以响应于检测到热传感器104的温度测量结果大于60℃或在一分钟时间段内温度改变率大于10℃，来检测对象类型250a的温度异常。可以对应于温度异常的特定的温度范围和/或温度改变率可以根据特定的实施方案的设计准则而变化。
136.摄影机系统100可以被配置为确定温度异常是否已经特定于检测到的特定的对象类别发生。摄影机系统100可以被配置为基于一般准则来确定温度异常是否已经发生。一般准则可以是由决策模块204实现的策略数据。在示例中，处理器156可以确定，如果120℃的温度已经被检测到，而不管检测到的对象的类别如何，则温度异常已经发生。如果特定的对象类别已经被cnn模块190b错误地分类，则一般准则可以作为后备数据(fallback data)被依赖。
137.参考图5，示出了示出示例性热像的图。示出了热像300。热像300可以是由热传感器104生成的热像的代表性示例。在示例中，热像300可以是传送到处理器156的信号thimg中的数据的一部分。
138.热像300可以包括由热传感器104执行的温度测量的各个区域。热像300可以提供低分辨率的数据。例如，低分辨率的数据可以提供区域的温度测量结果，该区域可以提供热监控区域112a-112b的一般视觉表示。然而，低分辨率数据可能无法提供足够的细节水平来识别特定对象和/或识别特定的对象特性。热像的低分辨率数据可能对于计算机视觉操作是不足的。车辆60a在热像300中示出。出于说明性目的，仅示出了与车辆60a相关联的温度区域。然而，热像300通常可以包括贯穿整个热像300的温度区域。
139.在示例性热像300中示出了车辆60a。信号thimg中的数据的分辨率可能不足以指示车辆60a的存在。仅仅利用热像300中的数据，可能不知道车辆60a的存在。热像300可以提供温度测量的区域，而不提供关于热像300中的对象的数据。传感器融合模块202可以被配置为基于温度区域来推断热像300中的对象的类型。然而，可以响应于对视频帧vframes(例如，rbg图像)执行的计算机视觉操作而确定对象和/或对象的分类。
140.温度测量区域302、温度测量区域304a-304b和/或温度测量区域306a-306b被示出在车辆60a上。温度测量区域302-306b可以表示由热传感器104执行的温度测量结果。温度测量区域302-306b可以表示具有类似温度的车辆60a的区域。例如，具有温度区域302的车辆60a的区域可以具有类似的温度，具有温度区域304a-304b的车辆60a的区域可以具有类似的温度，并且具有温度区域306a-306b的车辆60a的区域可以具有类似的温度。然而，温度区域302的温度可以不同于温度区域304a-304b的温度，温度区域304a-304b的温度都可以与温度区域306a-306b的温度不同。车辆60a上示出的温度区域302-306b可以是与不对应于
车辆60a(未示出)的温度区域不同的温度。各种温度区域302-306b的特定的温度可以根据特定的实施方式的设计准则而变化。
141.温度测量区域302可以由车辆60a的非阴影区域表示。温度测量区域302可以表示具有由热传感器104读取的最低(例如，最冷)温度测量结果的车辆60a的区域。例如，温度测量区域302可以包括车辆60a的后端和驾驶员侧门。
142.温度测量区域304a-304b可以由具有线性影线的车辆60a的区域表示。温度测量区域304a-304b可以具有比温度区域302更高的温度(例如，更热)。温度测量区域304a-304b可以是车辆60a的类别的正常工作温度范围212内的温度测量结果。在一个示例中，温度测量区域304a-304b可以具有相对稳定的温度(例如，不增加)。在所示的示例中，温度测量区域304a可以对应于车辆60a的车顶，而温度测量区域304b可以对应于车辆60a的引擎盖。例如，照射在车辆60a的车顶和引擎盖的直射阳光可以是温度测量区域304a-304b中增加的温度的原因。
143.温度测量区域306a-306b可以由具有双向影线的车辆60a的区域表示。温度测量区域306a-306b可以具有最高温度(例如，最热)。在一个示例中，温度测量区域306a-306b可以是高于车辆60a的类别的正常工作温度范围212的温度测量结果。在另一个示例中，温度测量区域306a-306b可以是温度快速增加的区域。在所示的示例中，温度测量区域306a可以对应于车辆60a的前底部，而温度测量区域306b可以对应于车辆60a的底部。例如，车辆60a的ev电池可以是温度测量区域306a-306b中温度异常的原因。
144.温度测量区域304a-304b和/或温度测量区域306a-306b可以不精确覆盖车辆60a。例如，温度测量区域304a被示出延伸到车辆60a的车顶以外。在另一个示例中，温度测量区域306b被示出延伸到车辆60a的底部以下。由于由热传感器104执行的温度测量不能确定热像300中的对象，因此温度测量结果可以不精确地对应于热像300中的车辆60a的位置。热量可以从对象的表面散发和/或辐射。辐射热量可以由热传感器104检测。在不添加由处理器156执行的计算机视觉操作的情况下，热测量结果302-306b可能不准确地指示对象的形状和/或位置。
145.热传感器104可以被配置为连续地监控热监控区域112a-112b。热传感器104可以随时间提供温度测量结果302-306b，以生成温度曲线(例如，多个小时内的长期分析)。热传感器104可以被配置为提供温度测量结果302-306b作为短期测量结果(例如，在几分钟的范围内的温度曲线，以便检测快速的温度增加)。
146.仅仅使用热像300中的温度测量结果302-306b来确定温度异常的存在可能导致误报。在所示的示例中，两个区域306a-306b可能具有非常高的温度。然而，只有一个(或没有任何一个)可以对应于可能导致危险(例如，火灾危险)的车辆60a的特征。在不知道从计算机视觉操作确定的检测到的对象的类别的情况下，可能不知道要使用正常工作温度数据212中的哪个来确定是否存在温度异常。
147.参考图6，示出了示出对象检测和/或分类的图。示出了示例性视频帧350。示例性视频帧350可以是视频帧vframes中的一个。视频帧350可以响应于捕获设备102a-102n中的一个或多个而被生成。例如，视频帧350可以包括对应于感兴趣的区域110a-110b的视图。例如，捕获设备102a-102n可以生成信号pixeld_a-pixeld_n(例如，像素数据)，处理器156的视频处理流水线200可以响应于像素数据(例如，视频处理操作)而生成视频帧350。在所示
的示例中，视频帧350可以提供与关联于图5而示出的热像300不同的示例性场景。出于说明性目的，示出了热像300和视频帧350的不同的场景。通常，由同一摄影机系统100捕获的热像300和视频帧350可以从总体上相同的角度提供相同场景的视图。
148.视频帧350可以表示示例性rbg图像。视频帧350可以提供高分辨率的数据。例如，高分辨率的数据可以为感兴趣的区域110a-110b的视觉表示提供细节。在示例中，高分辨率的数据可以是1080p分辨率、1440p分辨率、4k分辨率、8k分辨率等。高分辨率数据可以提供足够的细节水平来识别特定对象、分类对象和/或识别特定的对象特性。尽管视频帧350的高分辨率数据可以为计算机视觉操作提供足够的数据量，但是视频帧350的视觉数据可以不提供温度数据。cnn模块190b可以被配置为对视频帧350执行计算机视觉操作。例如，可以在视频处理操作已经开始之后执行计算机视觉操作(例如，在由视频处理操作生成的视频帧上执行)。
149.视频帧350可以包括地面52b和车辆60a-60d。停车线352a-352b被示出在地面52b上。在所示的示例中，车辆60b-60d被示出停在停车线352a内，并且车辆60a被示出停在停车线352b内。例如，车辆60a-60d中的每一个可以是无人看管的车辆。车辆60a被示出包括标识符354和牌照356。在示例中，标识符354可以是车辆徽标。在另一个示例中，标识符354可以是贴纸、贴花、凹痕、划痕等。
150.示出了虚线框360a-360d。虚线框360a-360d均被示出围绕车辆60a-60d中的相应的一个。虚线框360a-360d可以表示由cnn模块190b执行的计算机视觉操作的对象检测(例如，边界框)。虚线框360a-360d可以表示cnn模块190b已经将相应的车辆60a-60d检测为对象。尽管仅检测到的车辆360a-360d被示出为作为代表性示例的检测到的对象，但是cnn模块190b可以检测其他对象(例如，停车线352a-352b、行人、骑车人、树木、街道标志、广告牌等)。在视频帧vframes中的每一个中检测到的对象的数量和/或类型可以根据特定的实施方式的设计准则而变化。
151.出于说明性目的，示出了虚线框360a-360d。例如，如果视频处理流水线200将编码的视频帧输出到显示器，则可以不示出虚线框360a-360d。在一些实施例中，虚线框360a-360d可以显示在输出到显示器的视频帧上(例如，作为指示哪些对象已经被处理器156检测到的调试过程的一部分)。
152.cnn模块190b可以被配置为对视频帧350执行对象检测。cnn模块190b可以被配置为对检测到的对象360a-360d进行分类。在一个示例中，cnn模块190b可以被配置为将车辆60a-60d中的每一个分类为车辆对象类型。在一些实施例中，cnn模块190b可以被配置为将车辆60a-60d分类为特定类型的车辆。在一个示例中，cnn模块190b可以宽泛地将车辆中的一个或多个进行分类(例如，卡车、轿车、suv、厢式货车、内燃机车辆、ev等)。在另一个示例中，cnn模块190b可以被配置为执行细粒度分类(例如，将车辆识别为特定的品牌/型号/年份)。在又一个示例中，cnn模块190b可以被配置为执行特定分类(例如，将车辆60a识别为可与所有其他车辆区分的特定的车辆，而不管品牌/型号/年份)。由cnn模块190b执行的分类级别可以根据特定的实施方式的设计准则而变化。
153.示出了虚线形状362和虚线形状364。虚线形状362-364可以表示对检测到的对象360a的特性的分析。在示例中，cnn模块190b可以被配置为对检测到的对象360a-360d的特性进行检测，以便执行分类和/或执行细粒度分类。
154.在一个示例中，如果标识符354是车辆徽标，则对特性362的分析可以包括识别徽标354(例如，将检测到的徽标354与已知徽标库中的徽标匹配)。徽标354可以用于识别车辆60a的特定的品牌/型号/年份。可以将品牌/型号/年份与已知车辆库相比较以指示车辆60a是否是ev。在另一个示例中，如果标识符354是划痕，则对特性362的分析可以包括识别划痕354。划痕354可以用于将车辆60a识别为特定的车辆。例如，如果车辆60a和车辆60b是同一品牌/型号/年份的车辆，则划痕354可以用于区分车辆60a和车辆60b。
155.在一个示例中，检测到的特性364可以是牌照356。cnn模块190b和/或处理器156可以被配置为执行ocr以读取牌照356。通过读取牌照356，处理器156可以将车辆60a区分为特定的车辆。在一些实施例中，通信设备154可以访问以与车辆数据库(例如，远程数据源)通信。例如，通信设备154可以使用从牌照356读取的数据来查询车辆数据库。车辆数据库的查询结果可以提供检测到的车辆360a的车辆品牌/型号/年份和/或所有者。来自车辆数据库的信息可以帮助对检测到的车辆360a进行分类。在一些实施例中，可以基于车牌信息(例如，关于温度异常已经被检测到的个性化警告)向车辆60a的所有者提供信号alert。在一些实施例中，车牌356的检测到的特性364可以提供对车辆60a是否是电动车辆的指示(例如，牌照可以指示车辆是ev)。
156.示出了站370。在一个示例中，站370可以是充电站(例如，用于给电动车辆充电)。在另一个示例中，站370可以是燃料补充站(例如，加油站)。在所示的示例中，站370可以是连接到电动汽车60c-60d的充电站。充电站370可以向电动车辆60c-60d提供再充电。
157.摄影机系统100'被示出安装于充电站(例如，摄影机系统100'可以不是捕获了示例性视频帧350的摄影机系统100)。摄影机系统100'可以类似于摄影机系统100而被配置。摄影机系统100'可以被配置为监控连接到充电站370的车辆的温度异常。例如，在车辆60c-60d正由充电站370充电时，摄影机系统100'可以监控车辆60c和车辆60d的温度，以检测对热失控(例如，快速增加的热量)的指示。在示例中，在具有多个充电站的停车场场景中，充电站中的每一个可以包括摄影机系统100，其被配置为执行从充电站接收电力(例如，再充电)的车辆的对象感知的温度监控。
158.在一些实施例中，充电站370可以附接到电极，并且摄影机系统100'可以安装于附接到充电站370的电极。摄影机系统100'可以监控温度，并且提供对潜在的火灾危险的预警，并且还可以充当监视摄影机。例如，cnn模块190b可以被进一步配置为检测人和/或确定检测到的一个和/或多个人的行为(例如，以检测汽车闯入、故意破坏、盗窃等)。除了温度监控之外，信号feat_set还可以提供用于检测安全监视问题的特征集数据。在使用计算机视觉检测到特定的行为(例如，盗窃、故意破坏、纵火等)时，信号anom可以用于提供警报和/或对潜在的火灾危险的预警。
159.示出了虚线框372。虚线框372可以表示站370的对象检测和/或分类。在示例中，摄影机系统100可以将充电站370检测为对象，并监控充电站370中可能出现的温度异常。例如，充电站370可以是电力存储单元。充电站370可以基于对象分类210进行分类。与具有不同的分类的检测到的对象360a-360d相比，充电站370可以具有不同的正常工作温度212和/或异常位置214。
160.检测到的对象360a-360d(以及特性362-364和检测到的对象370)可以定位在视频帧350上。处理器156可以被配置为确定检测到的对象360a-360d(以及特性362-364和检测
到的对象370)中的每一个在感兴趣的区域110a-110n中的位置。定位可以使得传感器融合模块202能够将来自热像300的温度测量区域302-306b的位置与视觉图像350中的检测到的对象360a-360d(以及特性362-364和检测到的对象370)的位置进行比较。
161.检测到的对象360a-360d的分类可以用于确定检测到的对象360a-360d的正常工作温度。可以将检测到的对象360a-360d的位置、关于根据分类确定的检测到的对象360a-360d的正常工作温度的信息、以及来自热像的数据组合。数据的组合可以用于确定温度异常是否已经被检测到和/或早期警报是否应该被生成。
162.参考图7，示出了示出来自热像的数据与视觉图像中检测到的对象的比较的图。示出了比较帧400。比较帧400可以包括与热像300中所示的视图类似的车辆60a的图像。比较帧400可以是根据热像300确定的结果与对视频帧350执行的对象检测的结果的组合的代表性示例。比较帧400可以包括由传感器融合模块202分析的数据。传感器融合模块202可以生成比较帧400，以便将来自热像300的低分辨率数据与来自视频帧350的高分辨率数据相关联。
163.处理器156可以被配置为将计算机视觉应用于可见光成像传感器102和热成像传感器104的组合。处理器156可以被配置为组合人类可见成像和热成像。计算机视觉技术可以使用传感器融合模块202在热像300、视频帧350和/或二者上使用。计算机视觉技术可以为热像中的温度测量结果提供对象感知。对象感知可以为传感器融合模块202提供附加的信息源，以与用于检测温度异常的热像一起使用。使用多个信息源可以避免在仅依赖于一个信息源(例如，仅仅温度测量结果)的情况下可能发生的错误警报。
164.虚线框402a-402d被示出在车辆60a上。虚线框402a-402d可以表示检测到的对象360a(例如，车辆60a)的各种特征。特征402a-402d可以由cnn模块190b检测。特征402a-402d中的一个或多个大体上可以对应于来自热像300的温度测量区域302-306b的位置。由cnn模块190b检测到的特征402a-402d的数量、位置和/或类型可以根据特定的实施方式的设计准则而变化。
165.在所示的示例中，特征402a可以是车辆60a的车顶，特征402b可以是车辆60a的引擎盖，特征402c可以是车辆60a的前端，并且特征402d可以是车辆60a的电池。传感器融合模块202可以被配置为响应于对象分类210、工作温度212和/或异常位置214来分析特征402a-402d。在一个示例中，传感器融合模块202可以被配置为使用检测到的所述对象来检测所述特征402a-402d，以确定和/或检测对象的潜在易燃的组件(例如，检测电动车辆的电池特征中的热失控)。
166.处理器156可以被配置为将测量的温度区域302a-306b与检测到的对象360a-360d进行比较。热传感器104的感兴趣的区域112a-112b可以与捕获设备102的感兴趣的区域(例如，视场)110a-110b稍有不同。处理器156可以被配置为基于捕获设备102和热传感器104的相对位置和/或视角来执行视差操作。在示例中，处理器156可以被配置为基于捕获设备102和热传感器104之间的距离来执行视差操作。视差操作可以使得处理器156能够将热像300与视频帧350准确地对齐。将热像300与视频帧350准确地对齐可以确保来自热像300的温度测量区域302-306b对应于视频帧350中的相同位置。利用热像300和视频帧350的准确对齐，传感器融合模块202可以被配置为确定特征402a-402d中的每一个的温度测量结果。
167.在比较帧400上示出了元数据404、元数据406和/或元数据408a-408d。元数据404
可以是对象60a的对象分类210。在所示的示例中，用于比较帧400的对象分类210可以是电动车辆型号a。元数据406可以是异常位置214。在所示的示例中，电动车辆型号a的异常位置214可以是车辆60a的底部。元数据408a-408d可以是根据热像300确定的温度测量结果。在所示的示例中，车顶特征402a的温度测量结果408a可以是大约30℃，引擎盖特征402b的温度测量结果408b可以是大约35℃，前端特征402c的温度测量结果408c可以是大约50℃，并且车顶特征402d的温度测量结果408d可以是大约70℃。
168.在一些实施例中，处理器156可以执行宽泛的温度分析。例如，宽泛的温度分析可以确定特定的对象的任何温度测量结果是否大于正常温度范围。在所示的示例中，温度测量结果408d可以是70℃并且电动车辆型号a的正常工作温度范围可以是-20℃到60℃。由于已经测量到大于正常温度范围212的温度，因此处理器156可以生成信号anom(例如，以传送预警)。利用宽泛的温度分析，大于正常温度范围(或比正常温度改变率更快地增加)的温度测量结果408a-408d中的任一个可以被检测为温度异常，并且处理器156可以生成信号anom。
169.在一些实施例中，处理器156可以执行细粒度温度分析。例如，细粒度温度分析可以确定异常位置数据214中针对特定特征的温度测量结果是否大于正常温度范围。在所示的示例中，只有温度测量结果408d可以对应于温度异常位置214(例如，电动车辆的电池位置)。由于对应于电池位置的特征402d的温度测量结果408d可以是70℃并且大于正常温度范围212，因此处理器156可以生成信号anom(例如，以传送预警)。利用细粒度温度分析，只有特定的温度测量结果可以是相关的数据。例如，如果对应于车辆60a的车顶特征402a的温度测量结果408a被测量为70℃(例如，大于正常温度范围)，并且车辆60a的电池特征402d被测量为30℃(例如，在正常温度范围内)，则处理器156可以不生成信号anom。
170.仅仅低分辨率热像300可能无法提供足够的信息来确定测量的温度是否对应于可能是潜在的危险的对象。仅来自视频帧350的高分辨率rgb数据可能无法提供用于确定检测到的对象是否可能是潜在的危险的温度测量结果。来自热传感器104的热像的数据、来自计算机视觉操作(其是对从捕获设备102生成的视频帧vframes执行的)的数据和/或关于特定的对象类别的正常温度范围的数据的组合可以由传感器融合模块202分析，以确定温度异常是否已经被检测到。处理器156可以生成信号anom以响应于检测到温度异常而实现预警通信。
171.对热成像和视觉成像的组合的分析可以用于检测危险的情况。可以响应于决策模块204确定场景可以是响应于由传感器融合模块作出的推断潜在危险的，来生成预警。在一个示例中，危险的情况可以是检测到电池(例如，锂离子电池组)的热失控。在另一个示例中，危险的情况可以是检测到车辆内部的持续的高温(例如，对锁在车辆内部的人或宠物的潜在的伤害)。响应于确定温度异常而检测到的潜在的危险的情况的类型可以根据特定的实施方式的设计准则而变化。
172.参考图8，示出了方法(或过程)500。方法500可以组合视觉传感和热传感以用于对象感知的温度异常监控和预警。方法500大体上包括步骤(或状态)502、步骤(或状态)504、步骤(或状态)506、步骤(或状态)508、步骤(或状态)510、步骤(或状态)512、决策步骤(或状态)514以及步骤(或状态)516。
173.步骤502可以开始方法500。在步骤504中，处理器156可以接收像素数据和热像。捕
获设备102a-102n中的一个或多个可以将信号pexeld_a-pixeld_n呈现给处理器156。热传感器104可以将信号thimg呈现给处理器156。接下来，在步骤506中，处理器156可以根据像素数据生成视频帧。例如，实现视频处理流水线200的专用硬件模块190a-190n中的一个或多个可以根据信号pixeld_a-pixeld_n生成视频帧。接下来，方法500可以移动到步骤508。
174.在步骤508中，处理器156可以对视频帧vframes执行对象检测。在示例中，视频处理流水线200可以在视频帧被生成以实现实时对象检测时将视频帧vframes呈现给cnn模块190b。对象检测以及分类和/或分割可以是由处理器156执行的计算机视觉操作的一部分。接下来，在步骤510中，处理器156可以基于检测到的特性来对检测到的对象进行分类。可以基于对象分类210中存储的数据来执行分类。在步骤512中，处理器156可以将来自热像数据(例如，来自信号thimg)的温度测量结果与对应于检测到的特定的对象分类的正常温度范围(例如，工作温度212)进行比较。接下来，方法500可以移动到决策步骤514。
175.在决策步骤514中，处理器156可以确定温度异常是否已经被检测到。可以基于特定的对象类别的测量的温度来确定温度异常。在一些实施例中，可以基于对象上的测量的温度的特定位置来确定温度异常(例如，使用异常位置数据214)。如果温度异常尚未被检测到，则方法500可以返回到步骤504。如果温度异常已经被检测到，则方法500可以移动到步骤516。在步骤516中，处理器156可以生成控制信号anom。控制信号anom可以由通信设备154用于生成信号alert。信号alert可以提供预警。在示例中，预警可以提供对潜在的火灾的通知。接下来，方法500可以返回到步骤504。
176.参考图9，示出了方法(或过程)550。方法550可以检测温度异常。方法550大体上包括步骤(或状态)552、步骤(或状态)554、步骤(或状态)556、步骤(或状态)558、决策步骤(或状态)560、决策步骤(或状态)562、步骤(或状态)564、步骤(或状态)566、决策步骤(或状态)568以及步骤(或状态)570。
177.步骤552可以开始方法550。在步骤554中，cnn模块190b可以对视觉图像中的对象(例如，由视频处理流水线200根据捕获的像素数据生成的视频帧)进行分类。接下来，在步骤556中，传感器融合模块202确定由cnn模块190b分类的对象的正常工作温度。例如，传感器融合模块202可以从包括工作温度数据212的存储器接收信号data。在步骤558中，传感器融合模块202可以分析热像以检测温度异常的区域。接下来，方法550可以移动到决策步骤560。
178.在决策步骤560中，传感器融合模块202可以确定是否存在温度的快速增加。在示例中，工作温度数据212可以包括关于各种类型的对象的温度改变率的数据。如果存在温度的快速增加，则方法550可以移动到步骤564。如果不存在温度的快速增加，则方法550可以移动到决策步骤562。
179.在决策步骤562中，传感器融合模块202可以确定检测到的温度是否高于正常工作范围。在示例中，工作温度数据212可以包括被认为是各种类型的对象的正常工作范围的温度范围。如果检测到的温度不高于特定的对象类别的正常工作范围(例如，在该正常工作范围内)，则方法550可以返回到步骤554。如果检测到的温度高于特定的对象类别的正常工作范围，则方法550可以移动到步骤564。
180.在步骤564中，处理器156可以确定温度异常已经被检测到。接下来，在步骤566中，传感器融合模块202可以在视觉图像中定位温度异常的区域。在示例中，传感器融合模块
202可以被配置为组合和/或比较来自视觉图像和热像的数据，以确定关于检测到的对象的温度异常所在的位置。接下来，方法550可以移动到决策步骤568。
181.在决策步骤568中，决策模块204可以确定温度异常是否对应于对象的特征402a-402d中的一个。在示例中，异常位置数据214可以包括关于温度异常的关注区域的信息(例如，电子车辆的电池的位置、燃料箱的位置、易燃液体的位置等)。如果检测到的温度异常的位置不与对应于对象的异常位置214的特征402a-402d中的一个相对应，则方法550可以返回到步骤554。例如，如果检测到的高温对应于车辆的车顶，则高温可以是车顶上阳光照射的结果，并且可能不是关注的原因(例如，为车顶上的由阳光照射引起的温度异常提供预警可能是误报)。如果检测到的温度异常的位置确实与对象的特征相对应，则方法550可以移动到步骤570。在步骤570中，处理器156可以生成信号anom以触发预警。接下来，方法550可以返回到步骤554。
182.参考图10，示出了方法(或过程)600。方法600可以组合热数据、图像数据和温度数据。方法600大体上包括步骤(或状态)602、步骤(或状态)604、步骤(或状态)606、步骤(或状态)608、步骤(或状态)610、步骤(或状态)612、步骤(或状态)614、步骤(或状态)616、步骤(或状态)618、决策步骤(或状态)620以及步骤(或状态)622。
183.步骤602可以开始方法600。接下来，方法600可以移动到步骤604、步骤606和/或步骤608。步骤604可以是用于处理视频帧(例如，对视频帧执行计算机视觉操作)的子过程(包括步骤604和步骤610-614)的一个步骤。步骤606可以是用于处理热像数据的子过程(包括步骤606和步骤616)的一个步骤。步骤608可以是用于确定关于检测到的对象的特性的子过程的一个步骤。子过程可以实质上和/或部分地被并行执行。子过程可以均是流水线的组件，其中一个子过程的一些步骤依赖于由流水线中的子过程中的另一个确定的信息。
184.在步骤604中，视频处理流水线200可以接收图像数据(例如，像素数据pixeld_a-pixeld_n中的一个或多个)。接下来，在步骤610中，视频处理流水线200可以生成视频帧vframes。接下来，在步骤612中，cnn模块190b可以使用计算机视觉操作来检测视频帧中的对象。在一个示例中，在步骤612中执行的分类可以确定检测到的对象的一般种类(例如，汽车、人、街道标志等)。接下来，在步骤614中，cnn模块190b可以基于对象特性来执行对对象的细粒度分类。在一些实施例中，步骤614可以是可选的步骤。在示例中，细粒度分类可以包括关于车辆的品牌/型号/年份的细节。在另一个示例中，细粒度分类可以包括关于热异常所在的位置的细节(例如，汽车电池所在的位置)。在又一个示例中，细粒度分类可以识别特定的车辆(例如，基于车牌、通过识别进入/离开车辆的人、基于特定的贴花或划痕等)。接下来，方法600可以移动到步骤618。
185.在步骤606中，传感器融合模块202可以接收热像数据(例如，信号thimg)。接下来，在步骤616中，传感器融合模块202可以执行分割。分割可以被配置为确定高温读数在热像数据中所在的位置。接下来，方法600可以移动到步骤618。
186.在步骤608中，传感器融合模块202可以接收检测到的对象的正常温度范围。在一些实施例中，步骤608可以在步骤612和/或614之后执行或与之并行执行，以使得工作温度数据212能够取回由cnn模块190b检测到的对象的特定的类别和/或特定的特征的正常工作温度。接下来，方法600可以移动到步骤618。
187.在步骤618中，传感器融合模块202可以组合来自计算机视觉分析的数据和来自热
像分析的数据。在一些实施例中，来自分割的数据可以在步骤612和/或步骤614中使用，以将热异常的位置与对象特性的细粒度分类相关联。接下来，方法600可以移动到决策步骤620。
188.在决策步骤620中，决策模块204可以确定温度异常是否已经被检测到。对温度异常的检测可以响应于确定特定的对象的检测到的温度是否在检测到的对象类别的正常工作温度范围之外而被确定。如果没有任何温度异常已经被检测到，则方法600可以返回到步骤602。如果温度异常已经被检测到，则方法600可以移动到步骤622。在步骤622中，决策模块204可以生成用于预警的控制信号anom。接下来，方法600可以返回到步骤602。
189.参考图11，示出了方法(或过程)650。方法650可以定位具有温度异常的区域。方法650大体上包括步骤(或状态)652、步骤(或状态)654、决策步骤(或状态)656、步骤(或状态)658、步骤(或状态)660、步骤(或状态)662、决策步骤(或状态)664以及步骤(或状态)666。
190.步骤652可以开始方法650。在步骤654中，处理器156可以分析由热传感器104生成的热像300。接下来，方法650可以移动到决策步骤656。
191.在决策步骤656中，处理器156可以确定温度异常是否已经被检测到。在示例中，可以在不首先确定对象的类别的情况下确定温度异常。例如，温度异常可以由通用参数确定(例如，30秒内增加10摄氏度，高于60摄氏度的温度等)。如果没有任何温度异常已经被检测到，则方法650可以返回到步骤654。如果温度异常已经被检测到，则方法650可以移动到步骤658。
192.在步骤658中，处理器156可以定位在视觉图像(例如，视频帧350)中具有温度异常的热像300的区域。例如，可以生成比较图像400以将温度异常的位置与视觉数据进行比较。接下来，在步骤660中，处理器160可以确定具有温度异常的区域中检测到的对象的特性。例如，cnn模块190b可以分析对应于温度异常的位置的视频帧的区域(例如，检测到的特征402a-402n)。在步骤662中，传感器融合模块202可以将由处理器156从热像300中提取的信息与由处理器156从计算机视觉操作中提取的结果组合。接下来，方法650可以移动到决策步骤664。
193.在决策步骤664中，决策模块204可以针对对象的特定类别和/或对象的特定特征确定温度异常是否在正常工作温度范围之外。例如，处理器156可以首先在热像300中搜索潜在的异常(例如，在决策步骤656中)，并且然后在特定的区域中搜索特定异常(例如，使用计算机视觉在决策步骤664中基于对象类别和/或对象的特征)。如果温度异常在对象的正常操作范围内，则方法650可以返回到步骤654。如果温度异常在对象的正常工作温度范围之外，则方法650可以移动到步骤666。在步骤666中，处理器156可以生成信号anom。信号anom可以用于发起预警警报。接下来，方法650可以返回到步骤654。例如，监控可以是连续的。
194.由图1-11中的图执行的功能可以使用以下各项中的一项或多项来实现：根据说明书的教导进行编程的传统的通用处理器、数字计算机、微处理器、微控制器、risc(精简指令集计算机)处理器、cisc(复杂指令集计算机)处理器、simd(单指令多数据)处理器、信号处理器、中央处理单元(cpu)、算术逻辑单元(alu)、视频数字信号处理器(vdsp)和/或类似的计算机器，如对于相关领域技术人员来说将是显而易见的。可以由熟练的程序员基于本公开的教导容易地准备适当的软件、固件、编码、例程、指令、操作码、微码和/或程序模块，如
对于相关领域技术人员来说也将是显而易见的。软件通常由机器实施方式的处理器中的一个或多个从一个或若干个介质执行。
195.本发明还可以通过准备以下各项来实现：asic(专用集成电路)、平台asic、fpga(现场可编程门阵列)、pld(可编程逻辑器件)、cpld(复杂可编程逻辑器件)、门海(sea-of-gates)、rfic(射频集成电路)、assp(专用标准产品)、一个或多个单片集成电路、布置为倒装芯片模块和/或多芯片模块的一个或多个芯片或管芯，或通过互连传统的组件电路的适当网络，如本文所描述的，其修改对于本领域技术人员来说将是非常显而易见的。
196.因此，本发明还可以包括计算机产品，该计算机产品可以是一个或多个存储介质和/或一个或多个传输介质，其包括可以用于对机器编程以执行根据本发明的一个或多个过程或方法的指令。由机器执行被包含在计算机产品中的指令连同周围电路的操作可以将输入数据变换成存储介质上的一个或多个文件和/或代表物理对象或物质的一个或多个输出信号，例如音频描绘和/或视觉描绘。存储介质可以包括但不限于任何类型的磁盘(包括软盘、硬盘驱动器、磁盘、光盘、cd-rom、dvd和磁光盘)以及电路(例如，rom(只读存储器)、ram(随机存取存储器)、eprom(可擦除可编程rom)、eeprom(电可擦可编程rom)、uvprom(紫外线可擦除可编程rom)、闪存、磁卡、光学卡和/或适合用于存储电子指令的任何类型的介质。
197.本发明的元件可以形成一个或多个设备、单元、组件、系统、机器和/或装置的一部分或全部。这些设备可以包括但不限于服务器、工作站、存储阵列控制器、存储系统、个人计算机、膝上型计算机、笔记本电脑、掌上电脑、云服务器、个人数字助理、便携式电子设备、电池供电的设备、机顶盒、编码器、解码器、转码器、压缩器、解压缩器、预处理器、后处理器、发射器、接收器、收发器、密码电路、蜂窝电话、数码摄影机、定位和/或导航系统、医疗设备、平视显示器、无线设备、音频记录、音频存储装置和/或音频播放设备、视频记录、视频存储装置和/或视频播放设备、游戏平台、外围设备和/或多芯片模块。相关领域技术人员将理解，本发明的元件可以在其他类型的设备中实现，以满足特定的应用的准则。
198.术语“可以”和“大体上”在本文中与“是”和动词结合使用时意指传达这样的意图：描述是示例性的，并且被认为足够广泛地包含在本公开中呈现的特定示例以及可以基于本公开导出的可替代的示例二者。本文中使用的术语“可以”和“大体上”不应被解释为一定暗示省略对应的元件的可取性或可能性。
199.尽管已经参考本发明的实施例具体地示出和描述了本发明，但是本领域技术人员将理解，可以在不脱离本发明的范围的情况下进行形式和细节中的各种改变。