使用视频分析的建筑物管理系统的制作方法

1.本公开整体涉及建筑物管理系统，并且更具体地讲，涉及用于监测和/或操纵建筑物中的状况以识别和发起维护任务的系统和方法。


背景技术：

2.建筑物需要维护以服务于建筑物的占用者。例如，建筑物管理系统(bms)用来控制，例如，一个或多个暖通空调(hvac)系统、一个或多个安全系统、一个或多个照明系统、一个或多个消防系统，以及/或者一个或多个门禁控制系统。由bms监测的建筑物系统需要例行维护。建筑物维护活动还包括保持建筑物清洁和用品储备充足。期望的是，改善对建筑物中需要维护的物品或情况的检测的方法和系统。


技术实现要素：

3.本公开整体涉及用于至少部分地基于视频分析来识别建筑物中的维护任务的系统和方法。在一个示例中，一种用于识别维护任务的方法包括：使用图像捕获设备随时间推移捕获建筑物的部件的多个图像；将多个图像中的至少一些图像与部件的基线图像进行比较以识别部件的物理变化；确定部件的物理变化何时超过阈值物理变化；以及当部件的物理变化超过阈值物理变化时，发送维护请求以维修部件。
4.在一些情况下，该部件可以包括建筑物的hvac系统的hvac部件。hvac部件可以包括，例如，过滤器、加压容器或管、空调线圈和/或任何其他合适的hvac部件。
5.在一些情况下，该部件可以包括建筑物中的地毯，并且阈值物理变化可以表示地毯上的可见污垢的变化。在一些情况下，该部件可以包括纸分配器，并且阈值物理变化可以表示纸分配器中的剩余纸量的变化。在一些情况下，纸分配器可以包括一次性手巾分配器，并且阈值物理变化可以表示一次性手巾分配器中的剩余一次性手巾数量的变化。在另一个示例中，纸分配器可以包括卫生纸分配器，并且阈值物理变化可以表示卫生纸分配器中的剩余卫生纸量的变化。
6.在一些情况下，该部件可以包括垃圾罐，并且阈值物理变化可以表示垃圾罐中的垃圾量的变化。在另一个示例中，该部件可以包括办公用品储存库，并且阈值物理变化可以表示办公用品储存库中的剩余办公用品量的变化。在一些情况下，办公用品可以包括复印纸、纸垫和笔中的一者或多者。
7.在一些情况下，该方法可以包括：感测建筑物中的一个或多个环境条件；确定建筑物中所感测到的环境条件中的一者或多者何时指示部件可能需要维护；捕获部件的图像；通过分析部件的所捕获的图像并注意部件的物理变化是否超过阈值物理变化来确认部件需要维护；以及如果确认，则发送维护请求以维修部件。
8.在另一个示例中，一种用于识别建筑物中的维护任务的系统可以包括：用于从图像捕获设备接收多个图像的输入端，该图像捕获设备被配置为具有包括建筑物的部件的视场；输出端；存储器；以及控制器，该控制器经由输入端、存储器和输出端可操作地耦接到图
像捕获设备。控制器可以被配置为：将由图像捕获设备捕获的基线图像存储在存储器中，该基线图像包括建筑物的部件的图像；随时间推移将来自图像捕获设备的多个图像存储到存储器，该多个图像中的每个图像包括建筑物的部件的图像；将该多个图像中的至少一些图像与部件的基线图像进行比较以识别部件的物理变化；确定部件的物理变化何时超过阈值物理变化；以及当部件的物理变化超过阈值物理变化时，经由输出端发送维护请求以维修部件。在一些情况下，维护请求可以为描述维护要求的工作订单。
9.在另一个示例中，一种用于识别建筑物中的维护任务的方法可以包括：感测建筑物中的一个或多个环境条件；使用图像捕获设备随时间推移捕获建筑物的部件的多个图像；将多个图像中的至少一些图像与部件的基线图像进行比较以识别部件的物理变化；确定部件的物理变化何时超过阈值物理变化；确定当部件的物理变化超过阈值物理变化时，部件可能需要维护；确定建筑物中所感测到的环境条件中的一者或多者何时还指示同一部件可能需要维护；当部件的物理变化超过阈值物理变化并且建筑物中所感测到的环境条件中的一者或多者指示同一部件可能需要维护时，确定部件需要维护；以及当确定需要维护时，发送维护请求以维修部件。在一些情况下，建筑物中的一个或多个环境条件可以包括以下中的一者或多者：温度、压力、流速和湿度。
10.提供前面的发明内容是为了便于理解本公开的一些特征，而并非意图作为完整的描述。通过将整个说明书、权利要求书、附图和说明书摘要作为一个整体，能够获得对本公开的全面理解。
附图说明
11.结合附图考虑以下对各种实施方案的详细描述，可以更全面地理解本公开，其中：
12.图1是包括建筑物管理系统(bms)的示例性建筑物或其他结构的示意图，该bms控制维修建筑物或其他结构的客户端设备；
13.图2是图1的示例性bms的示意性框图，所该bms包括视频分析系统；
14.图3是具有视频分析系统的示例性bms的示意性框图；并且
15.图4是用于分析bms和视频数据的方法的示例性流程图。
16.虽然本公开服从于各种修改和另选形式，但是其细节已经在附图中以示例的方式示出并将被详细描述。然而，应当理解，其意图不是将本公开的方面限制于所描述的特定实施方案。相反，其意图是覆盖落入本公开的实质和范围内的所有修改、等同物和替代方案。
具体实施方式
17.应参考附图阅读以下具体实施方式，其中不同附图中的相似元件以相同的方式编号。具体实施方式和附图描绘了示例性实施方案，并且不旨在限制本公开的范围，附图不一定按比例绘制。所示的示例性实施方案仅旨在为示例性的。除非有明确相反的说明，否则任何示例性实施方案的选定特征部均可并入另外的实施方案中。
18.本公开整体涉及建筑物管理系统，并且更具体地讲，涉及用于分析从建筑物管理系统以及图像和/或视频捕获设备获得的数据以识别针对建筑物的维护任务的系统和方法。图1是包括示例性建筑物管理系统(bms)12的示例性建筑物或结构10的示意图，该bms用于控制维修建筑物或结构10的一个或多个客户端设备。如本文根据各种例示性实施方案所
述，bms12可用于控制一个或多个客户端设备，以便控制某些环境条件(例如，温度、通风、湿度、照明等)。此类bms 12可以在办公建筑、工厂、制造场所、配送场所、医院、健身俱乐部、电影院、餐厅、甚至住宅中实现。
19.图1中所示的示例性bms 12包括一个或多个暖通空调(hvac)系统20、一个或多个安全系统30、一个或多个照明系统40、一个或多个消防系统50，以及一个或多个门禁控制系统60。这些只是可由bms 12包括或控制的系统的几个示例。在一些情况下，bms 12可以包括更多或更少的系统。在一些情况下，每个系统可包括客户端设备，该客户端设备被配置为提供用于控制bms 12的一个或多个建筑物控制部件和/或设备的一个或多个控制信号。
20.例如，在一些情况下，hvac系统20可包括hvac控制设备22，该hvac控制设备用于与一个或多个hvac设备24a、24b和24c(统称为24)通信并对其进行控制，以便服务于建筑物或结构10的hvac需求。虽然hvac系统20被示出为包括三个设备，但应当理解，根据需要，该结构可包括少于三个或多于三个设备24。一些示例性设备可以包括但不限于加热炉、热泵、电热泵、地热泵、电加热单元、空调单元、加湿器、除湿器、空气交换器、空气净化器、风门、阀、鼓风机、风扇、电机等。hvac系统20还可包括管道系统和通风口(未明确示出)的系统。hvac系统20还可包括被配置为测量要控制的环境的参数的一个或多个传感器或设备26。hvac系统20可根据需要包括多于一个的每种类型的传感器或设备以控制系统。可以设想到，大型建筑物(诸如但不限于办公建筑)可以在每个房间中或在某些类型的房间内包括多个不同的传感器。一个或多个传感器或设备26可以包括但不限于温度传感器、湿度传感器、二氧化碳传感器、压力传感器、占用传感器、接近传感器等。传感器/设备26中的每个传感器/设备可以经由对应的通信端口(未明确示出)可操作地连接到控制器22。可以设想到，通信端口可以是有线的和/或无线的。当通信端口是无线的时，通信端口可以包括无线收发器，并且控制器22可以包括兼容的无线收发器。可以设想到，无线收发器可使用标准和/或专有通信协议进行通信。根据需要，合适的标准无线协议可包括例如蜂窝通信、zigbee、蓝牙、wifi、irda、专用短程通信(dsrc)、enocean或任何其他合适的无线协议。
21.在一些情况下，安全系统30可包括用于与一个或多个安全单元34通信并对其进行控制以监控建筑物或结构10的安全控制设备32。安全系统30还可包括多个传感器/设备36a、36b、36c、36d(统称为36)。传感器/设备36可被配置为检测建筑物10内和/或周围的威胁。在一些情况下，传感器/设备36中的一些传感器/设备可被构造成检测不同的威胁。例如，传感器/设备36中的一些传感器/设备可以是位于建筑物10的门和窗上的限位开关，其由闯入者通过门和窗进入建筑物10而被激活。举例来说，其他合适的安全传感器/设备12可以包括火灾、烟雾、水、一氧化碳和/或天然气检测器。其他合适的安全系统传感器/设备36可以包括：检测建筑物10中的闯入者的运动的运动传感器；检测打破玻璃的声音的噪声传感器或麦克风、安全卡通行系统或电子锁等。可以设想到，运动传感器可以是被动式红外(pir)运动传感器、微波运动传感器、超声运动传感器、断层摄影运动传感器、具有运动检测软件的摄影机、振动运动传感器等。在一些情况下，传感器/设备36中的一个或多个传感器/设备可以包括摄影机。在一些情况下，传感器/设备36可以包括喇叭或警报、风门执行器控制器(例如，其在火灾事件期间闭合风门)、用于自动打开/关闭灯以模拟占用的灯控制器和/或任何其他合适的设备/传感器。这些只是示例。
22.在一些情况下，照明系统40可包括用于与具有照明单元l1
‑
l10的一个或多个灯组
44通信并对其进行控制以服务于建筑物或结构10的照明控制设备42。在一些实施方案中，照明单元l1
‑
l10中的一个或多个照明单元可被配置为提供视觉照明(例如，在可见光谱中)，并且照明单元l1
‑
l10中的一个或多个照明单元可被配置为提供紫外(uv)光以提供照射。照明系统40可包括应急灯、插座、照明装置、外部灯、盖布和一般负载开关，其中一些受到“调光”控制，这改变了递送到各种建筑物控制设备的电力的量。
23.在一些情况下，消防系统50可包括用于与具有消防单元f1
‑
f6的一个或多个防火堤54通信并对其进行控制以监控和服务于建筑物或结构10的消防控制设备52。消防系统50可包括烟雾/热传感器、喷水系统、警示灯等。在一些情况下，门禁控制系统60可包括用于与一个或多个门禁控制单元64通信并对其进行控制以允许进入、离开和/或围绕建筑物或结构10的门禁控制设备62。门禁控制系统60可以包括门、门锁、窗、窗锁、十字转门、停车闸口、电梯或其他物理障碍物，其中准许进入可以电子方式控制。在一些实施方案中，门禁控制系统60可包括一个或多个传感器66(例如，rfid等)，该一个或多个传感器被配置为允许进入建筑物或建筑物10的某些部分。
24.在简化示例中，bms 12可用于控制单个hvac系统20、单个安全系统30、单个照明系统40、单个消防系统50和/或单个门禁控制系统60。在其他实施方案中，bms 12可用于与多个系统20、30、40、50、60的多个离散建筑物控制设备22、32、42、52和62通信并对其进行控制。系统20、30、40、50、60的设备、单元和控制器可在建筑物10的专用空间(例如，办公室、工作室等)中或在其外部位于不同的区域和房间中，诸如公共空间区域(大厅、休息室等)。在一些情况下，系统20、30、40、50、60可由线电压供电，并且可由相同或不同的电路供电。可以设想到，bms 12可用于控制其他合适的建筑物控制部件，这些建筑物控制部件可用于服务于建筑物或结构10。
25.根据各种实施方案，bms 12可包括主机设备70，该主机设备可被配置为与bms 12的分立系统20、30、40、50、60通信。在一些情况下，主机设备70可被配置有应用程序，该应用程序将离散系统的设备分配给特定设备(实体)类别(例如，公共空间设备、专用空间设备、户外照明、一体控制器等)。在一些情况下，可存在多个主机。例如，在一些示例中，主机设备70可以是控制设备22、32、42、52、62中的一者或多者。在一些情况下，主机设备70可以是在外部或远程服务器(也称为“云”)处位于建筑物10外部的中心。
26.在一些情况下，建筑物控制设备22、32、42、52、62可被配置为将命令信号传输到其对应的建筑物控制部件，以便以期望的方式激活或去激活建筑物控制部件。在一些情况下，建筑物控制设备22、32、42、52、62可被配置为接收建筑物控制部件的分类，并且考虑到建筑物控制部件的分类，可将对应的命令信号传输到其相应的建筑物控制部件。
27.在一些情况下，建筑物控制设备22、32、62可以被配置为从位于整个建筑物或结构10上的一个或多个传感器26、36、66接收信号。在一些情况下，建筑物控制设备42和52可被配置为从分别与位于整个建筑物或结构10上的照明单元l1
‑
l10和消防单元f1
‑
f6可操作地和/或通信地耦接的一个或多个传感器接收信号。在一些情况下，一个或多个传感器可与其相应的建筑物控制设备22、32、42、52、62中的一者或多者集成并且形成其一部分。在其他情况下，一个或多个传感器可作为与对应的建筑物控制设备分开的部件提供。在其他情况下，一些传感器可以是其对应的建筑物控制设备的单独部件，而其他传感器可以与其对应的建筑物控制设备集成。这些只是一些示例。建筑物控制设备22、32、42、52、62和主机设备70可
以被配置为使用从一个或多个传感器接收到的信号来操作或协调位于整个建筑物或结构10上的各种bms系统20、30、40、50、60的操作。
28.一个或多个传感器26、36、66、l1
‑
l10和f1
‑
f6可以是以下中的任一者：温度传感器、湿度传感器、占用传感器、压力传感器、流量传感器、光传感器、摄影机、电流传感器、烟雾传感器和/或任何其他合适的传感器。在一个示例中，传感器26、36、66或其他传感器中的至少一者可以是占用传感器。建筑物控制设备22、32、42、62和/或主机设备70可以从占用传感器接收指示建筑物或结构10的房间或区域内的占用的信号。作为响应，建筑物控制设备22、32、42和/或62可以发送命令以激活位于感测到占用的房间或区域中或者服务于该房间或区域的一个或多个建筑物控制部件。
29.同样，在一些情况下，传感器26中的至少一个传感器可以是被配置为发送指示建筑物或结构10的房间或区域中的当前温度的信号的温度传感器。建筑物控制设备22可以从温度传感器26接收指示当前温度的信号。作为响应，建筑物控制设备22可以向hvac设备24发送命令以激活和/或去激活hvac设备24，该hvac设备位于该房间或区域中或者正在服务于该房间或区域以根据期望的温度设定点来调节温度。
30.在又一个示例中，传感器中的一个或多个传感器可以是电流传感器。电流传感器可耦接到一个或多个建筑物控制部件和/或向一个或多个建筑物控制部件提供电力的电路。电流传感器可被配置为向对应的建筑物控制设备发送信号，该信号指示与建筑物控制部件的操作相关联的电流的增加或减小。该信号可用于提供由建筑物控制设备传输的命令已被建筑物控制部件成功接收并采取行动的确认。这些只是bms 12的配置以及可在传感器和控制设备之间进行的通信的几个示例。
31.在一些情况下，从bms 12接收到的数据可以经分析并用于动态地(例如，自动地)触发针对bms 12中各种设备24、34、64、l1
‑
l10、f1
‑
f6和/或传感器26、36、66的维修请求或工作订单。可以设想到，可以根据需要从控制设备22、32、42、62、设备24、34、64、l1
‑
l10、f1
‑
f6和/或传感器26、36、66接收数据。在一些情况下，从bms 12接收的数据可以与来自图像捕获设备的视频数据组合。可以设想到，视频数据可以从某些传感器26、36、66获得，这些传感器是与bms 12的分立系统20、30、60相关联的图像捕获设备，或者可根据需要作为单独的图像捕获设备提供，诸如视频(或静态图像)捕获摄像机80a、80b(统称为80)。虽然示例性建筑物10被示出为包括两个摄像机80，但可以设想到，建筑物可根据需要包括少于两个或多于两个摄像机。还可以设想到，摄像机(分立摄像机80或与分立系统20、30、60相关联的摄像机)可以被认为是能够独立地处理图像流的“智能”摄像机(其可以是物联网(iot)设备)，或者用作传感器以收集由独立视频分析引擎分析的视频信息的“非智能”摄像机，如本文更详细所述。一些示例性“非智能”摄像机可包括但不限于无人机或热视觉摄像机。
32.可以设想到，将来自bms 12的数据与来自摄像机26、36、66、80的数据组合并系统地分析该数据，这可以允许动态触发针对建筑物10的附加维修动作和/或提高可能已经动态触发的维修动作的效率。例如，分析算法和决策制定过程可以基于更丰富(例如，来自bms 12和视频两者)的数据，这可以使得能够更准确地检测各种操作问题。可以设想到，维修动作可以不限于bms 12的部件。例如，视频分析可以允许：监测可消费用品，包括但不限于办公室用品(例如，复印纸、笔等)、休息室用品(例如，小吃和饮料、餐巾纸等)、浴室用品(例如，纸巾、卫生纸、皂等)；监测环境条件(例如，清洁度)；和/或监测占用者舒适度和/或环境
满意度。
33.另外参见图2，该图为图1的示例性bms 12的示意性框图，主机设备70可用作服务器、客户端、本地控制器或任何其他合适的设备。在所示示例中，主机设备70可以执行如本文所述的各种通信和数据传输功能，并且可以执行一个或多个应用功能。主机设备70可为多种计算设备中的任一种，诸如服务器计算机、台式计算机、手持式计算机、平板计算机、移动电话或其他移动设备等。主机设备70的部件可包括但不限于控制器104、系统存储器106和总线108，该总线将包括系统存储器106的各种系统部件耦接到控制器104。
34.控制器104可包括执行存储在系统存储器106中的指令的一个或多个控制器或处理器。控制器104可包括可编程微处理器。这样的可编程微处理器可允许用户甚至在主机设备70被安装在现场(例如，固件更新，应用更新)之后修改它的控制逻辑。当提供时，总线108可表示若干类型的总线结构中的任一种总线结构中的一种或多种总线结构，包括存储器总线或存储器控制器、外围总线、加速图形端口、以及使用各种总线架构中的任一种总线架构的处理器或局部总线。以示例而非限制的方式，此类架构包括工业标准架构(isa)总线、微通道架构(mca)总线、增强型isa(eisa)总线、视频电子标准协会(vesa)局部总线和外围部件互连(pci)总线。
35.主机设备70的系统存储器106可包括易失性存储器形式的计算机系统可读介质，诸如随机存取存储器(ram)112和/或高速缓存存储器114。主机设备70还可包括其他可移动/不可移动、易失性/非易失性计算机系统存储介质。仅以示例的方式，存储系统116可被提供用于从不可移动的非易失性磁介质(未示出并且通常称为“硬盘驱动器”)读取和写入该磁介质。尽管未示出，但可提供用于从可移动非易失性磁盘(例如，“软盘”)读取和写入该磁盘的磁盘驱动器，以及用于从可移动非易失性光盘(诸如cd
‑
rom、dvd
‑
rom或其他光学介质)读取或写入该光盘的光盘驱动器。在此类情况下，磁盘驱动器和光盘驱动器各自可通过一个或多个数据介质接口连接到总线108。如下面将进一步描绘和描述的，系统存储器106可以包括具有一组程序模块的至少一个消息队列118，该程序模块被配置为接收和处理数据点，该数据点来自iot设备(例如，图像捕获设备和其他互联网启用的“智能”设备)和/或建筑物系统控制器102，并且将该数据发送到数据存储装置和/或用于进一步处理，如本文将更详细地描述。
36.在任何场景中，建筑物系统控制器102和/或iot设备可以通过任何类型的连接诸如网络(例如，网络150)(包括局域网(lan)或广域网(wan))连接到主机设备70，或者可以与外部计算机进行连接(例如，通过使用互联网维修提供商的互联网)。在各种实施方案中，主机设备70可通过网络150与来自建筑物系统控制器102的各种系统的一个或多个设备进行通信。这样的通信可经由输入/输出(i/o)接口124发生。在一些情况下，主机设备70的控制器104可经由总线108可操作地耦接到i/o接口124，并且可使用i/o接口124经由建筑物系统控制器102与设备进行通信。
37.图3是用于识别建筑物内、建筑物上或建筑物附近的维修事件的示例性bms和视频分析系统200的示意性框图。bms和视频分析系统200可以包括建筑物管理系统(bms)202，该bms可以在形式和功能上类似于相对于图1和图2所述的bms。在所示的示例中，bms 202可以包括一个或多个场传感器204、一个或多个“智能”图像捕获设备或其他iot设备206、一个或多个热成像摄像机208、一个或多个无人机210和/或一个或多个图像捕获设备或摄像机
212。一个或多个场传感器204可以包括与可以形成bms 12的一部分的系统20、30、40、50、60中的任一个系统相关联的上述传感器/设备26、36、l1
‑
l10、f1
‑
f6、66的任何组合。一个或多个“智能”图像捕获设备206可以包括具有内置无线连接性的“智能”图像捕获设备或iot设备，有时称为“智能”设备或“连接”设备。虽然未明确示出，但建筑物管理系统202还包括形成bms 202的单独系统的设备。例如，bms 202可以包括hvac系统及其相关设备(加热装备、冷却装备、过滤器、空气处理装备、阻尼器等)、安全系统及其相关设备、照明系统及其相关设备(例如，灯、开关等)、灭火系统及其相关设备(例如喷水器、烟雾探测器等)和/或建筑物门禁系统及其相关设备(读卡器、电子控制接入点等)。
38.在一些实施方案中，建筑物管理系统202可以包括用户界面(未明确示出)，该用户界面允许建筑物管理系统202显示和/或请求信息，以及接受一个或多个用户交互。在一个示例中，用户界面可以是能够在建筑物管理系统202处访问的物理用户界面，并且可以包括显示器和/或不同的小键盘。显示器可以是任何合适的显示器。在一些情况下，显示器可包括或可以是液晶显示器(lcd)，并且在一些情况下可包括或可以是电子墨水显示器、固定分段显示器或点阵lcd显示器。在其他情况下，用户接口可以是用作显示器和小键盘两者的触摸屏lcd面板。该触摸屏lcd面板可适于请求多个操作参数的值和/或接收此类值，但这不是必需的。再在其他情况下，用户接口可以是动态图形用户接口。
39.在一些情况下，用户界面不必是在建筑物管理系统202处用户可物理访问的。相反，用户界面可以是能够使用移动无线设备(诸如智能电话、平板电脑、电子阅读器、膝上型计算机、个人计算机、密钥卡等)经由网络250访问的虚拟用户界面。在一些情况下，虚拟用户界面可以由一个或多个应用程序提供，该一个或多个应用程序由用户的远程设备执行，以用于与建筑物管理系统202远程交互的目的。
40.场传感器204和/或“智能”图像捕获设备206可以与bms 202的中央主机设备214(在形式和功能上类似于本文所述的主机设备70)通信。在一些情况下，基于云的中心可以替换主机设备214或与该主机设备配套使用。在一些情况下，场传感器204和/或“智能”图像捕获设备可以与主机设备214直接通信。在其他情况下，场传感器204和/或“智能”图像捕获设备206可以经由中间设备(诸如但不限于系统控制器)与主机设备进行通信。例如，温度传感器可以经由hvac控制器向主机设备214提供数据。来自场传感器204和/或“智能”图像捕获设备206的数据可以通过一个或多个网络250(诸如局域网(lan)和/或广域网或包括例如互联网的全局网络(wan)在消息队列216处接收和/或传输到该消息队列。在随后通过一个或多个网络260(诸如局域网(lan)和/或广域网或包括例如互联网的全局网络(wan))传输到分析系统218之前，数据可以在主机设备214或“智能”图像捕获设备206处经处理和编码为消息，如本文将更详细地描述。网络250、260可以根据需要为相同的网络或不同的网络。在一些情况下，场传感器204和/或iot设备206可以具有嵌入式数据分析引擎，使得在相应设备内进行数据分析，并且在其中生成分析结果并随后将其传输到分析系统218。
41.一个或多个热图像捕获设备208、包括图像捕获设备和/或能力的一个或多个无人机210、和/或一个或多个图像捕获设备212可以为“非智能”图像捕获设备。如本文所用，术语“非智能”旨在指缺乏内置无线连接性和/或处理能力/装备来分析所捕获的图像的设备。图像捕获设备208、210、212可以捕获但不限于静止图像、视频图像、红外图像、热图像等。由于图像捕获设备208、210、212可能不能向消息队列216发送经处理的数据，因此捕获的图像
(如本文所用，“图像”旨在包括静止图像、视频图像、红外图像(视频和静止)、热图像(视频和静止)等)可以首先传输到视频模块220。在一些情况下，视频模块220可以是bms 202本地的。在其他情况下，视频模块220可以远离bms 202。例如，视频模块220可以位于外部服务器或云网络上，该外部服务器或云网络位于建筑物具有bms 202的远程位置处。
42.在一些情况下，图像可以传输到视频流模块222和视频分析模块226。视频流模块222可以允许用户查看图像，尽管这不是必需的。图像可以从视频流模块222传输到视频存储模块224。图像可以在被擦除或重写之前存储预先确定的时间长度，或者可以根据需要无限期地存储。可以在视频分析模块226处分析图像。可以设想到，视频分析模块226可以包括专用模型以识别不同的特定状态或事件，诸如漏水、身体语言等。模型可以在多个(例如，数百万个的范围内)训练样品上训练以提高准确度。
43.图像捕获设备206、208、210、212可以被配置为捕获与建筑物的特定部分相关的图像。例如，可能期望，使图像捕获设备206、208、210、212捕获与bms 202的物理建筑物和/或系统部件相关的部件的图像，包括但不限于基于屋顶、hvac装备(例如，监测损坏、泄漏、腐蚀、污垢等)的绝缘单元、窗单元、空调单元。图像捕获设备206、208、210、212也可以被定位成触发与办公装备和/或器具相关的纠正动作。例如，纠正动作可以涉及复印机或打印机(例如，纸分配器中没有纸)、饮水机(例如，没有水)、自动售货机(例如，一些商品不可用)、卫生间(例如，皂液分配器中无皂、手巾分配器中无手巾、卫生纸分配器中无卫生纸等)、或厨房角落或休息室(例如，无咖啡、糖等)。还可以设想到，图像捕获设备206、208、210、212可以被定位成触发与清洁维修相关的纠正动作。例如，清洁维修可以涉及脏污或润湿地板、脏污地毯、脏污窗、脏污光照锥、厨房或卫生间中的脏乱等。可以设想的是，所使用的图像捕获设备206、208、210、212的类型可以基于待检测的变化来选择。例如，热视觉或热成像摄像机可用于定位可能造成热损失的绝缘部分。可以触发维修事件的事件类型的上述示例并非旨在是限制性的，而是示例性的。可以设想的是，可检测事件可以基于系统200部署在其中的建筑物而变化。例如，制造设施可以监测和检测来自办公楼的不同部件的变化。
44.在一些情况下，可以将来自图像捕获设备206、208、210、212中任一者的图像与基线图像进行比较，以识别与图像中的部件的物理变化相关的差异。例如，可以在期望的操作条件下采集房间的图像、bms 202的部件的图像、装备的零件的图像等，以用作基线。可以将所捕获的图像与基线进行比较，以确定图像中的任何部件是否已存在物理变化。在一些情况下，物理变化可以是二进制的(例如，存在或不存在)或者可能需要超过阈值物理变化，以触发维修事件。例如，50％填充的手巾分配器虽然不同于100％填充的手巾分配器，但可能不满足阈值物理变化，而10％填充的手巾分配器可能满足阈值物理变化并触发维修事件。这只是一个示例，并非旨在进行限制。
45.如上所述，该变化可以在以下项中出现：系统(例如，hvac系统)的操作部件(例如，hvac部件，诸如但不限于加压管或容器、空调线圈等)中；休息室、浴室、办公用品储存库或其他房间(例如，纸巾、卫生纸、纸垫、笔、复印纸等)的消费品中；空间的清洁度(例如，休息室柜台上的泼洒物、垃圾桶中的垃圾、地毯上的可见污垢等)等等。可以设想到，所捕获的图像可以使用面部识别来分析。例如，可以分析图像中的一个人或多个人的面部表情，以确定此人是否因环境而看起来不悦或烦扰。在一些情况下，人可能能够(例如，使用例如移动设备上的应用程序)提供关于他们对空间的外观或舒适度的满意度和/或不满意度的反馈。反
馈可以用于改进与面部识别或身体语言分析相关的算法。如本文将更详细地讨论，当部件的物理变化超过阈值物理变化时，可以生成维护请求以维修部件。
46.可以设想到，可以在一段时间内捕获来自图像捕获设备208、210、212中的一者或多者的多个图像。图像可以在设备本身(如果设备能够的话)或视频分析模块226处连续分析，因为图像在视频分析模块226处接收，并且/或者根据需要在预定时间间隔(例如，每10分钟)处接收。一旦图像分析完成，视频分析模块226就可以通过网络250(诸如局域网(lan)和/或广域网或包括例如互联网的全局网络(wan)来将结果发送到主机设备214和/或消息队列216。可以设想到，不将实际图像传输到主机设备214和/或消息队列216，以减少所发送的数据量以及保护建筑物占用者的隐私。
47.消息队列216可以将从场传感器204、iot设备206和/或视频分析模块226接收到的编码数据(例如，编码消息)组合并发送到分析系统218内的数据存储模块228。分析系统218可以是具有bms 202的建筑物本地的计算机或处理系统。在其他实施方案中，分析系统218可以是远离具有bms 202的建筑物定位的远程服务器或云网络。在任一种情况下，分析系统218可以包括控制器，该控制器至少具有处理器和存储器，该存储器用于存储信息，诸如但不限于本体模型、系统配置信息、传感器数据、算法等。存储器可以是任何合适类型的存储设备，包括但不限于ram、rom、eprom、闪存存储器、硬盘驱动器等。在一些情况下，处理器可以将信息存储在存储器内，并且随后可以从存储器检索所存储的信息。分析系统218还可以包括输入/输出块(i/o块)，该i/o块用于从主机设备接收一个或多个信号和/或用于与建筑物管理系统202通信。i/o块可以是有线和/或无线的。在一些情况下，视频分析模块226和/或视频模块220的其他部件可以结合到分析系统218中，使得单个控制器存储基线图像、当前捕获的图像，将基线图像与当前图像进行比较，确定当前图像的变化何时超过阈值物理变化，对附加场传感器数据和建筑物数据进行综合分析，维护数据存储，以及发出维护请求。
48.数据存储模块228可以与数据分析平台或模块230通信。数据分析模块230可以被配置为通过将从外部传感器和图像捕获设备204、206、208、210、212接收到的数据组合来进行综合数据分析，以确定是否保持用于触发维修事件的条件。可以设想到，数据分析模块230可以利用从本体模块232获得的建筑物信息、从系统配置模块234获得的系统配置信息和/或从算法库236获得的算法以及从外部传感器和图像捕获设备204、206、208、210、212接收到的数据，以确定是否保持用于触发维修事件的条件。
49.本体模型232可以包括关于具有bms 202的建筑物的信息。例如，本体模型232可以包括建筑物尺寸、多个楼层、门、窗、走廊和/或房间的位置、装备信息、二维建筑物地图、三维地图等，以向数据分析模块230提供上下文信息。例如，本体模块232可以帮助数据分析模块230中使用的算法理解真实世界，然后生成域相关事件。系统配置模块234可以包括用于bms 202中的各种系统的装备信息。例如，系统配置模块234可以包括关于形成bms 202的hvac系统、安全系统、照明系统、灭火系统和/或门禁控制系统的装备的类型、位置和/或使用年限的信息。在一些情况下，系统配置模块234还可以包括系统设定点、计划表和其他操作参数。算法库236可以是可用于促进数据分析的算法库。算法可以使用机器学习模块(例如，基于先前事件和/或条件的学习算法)生成，或者可以根据需要由用户生成并存储在库236中。算法库236可以包括多个算法，每个算法可以适用于不同类型的检测条件。例如，算
法库236可以包括特定于hvac装备、供应补充、清洁度、建筑物维护等的算法。
50.当数据分析模块230已确定已发生维修事件时，数据分析模块230可以通过网络270(诸如局域网(lan)和/或广域网或包括例如互联网的全球网络(wan))将事件传送至维修案例管理系统238。网络270可以与网络250、260是相同的或不同的。例如，在一些实施方案中，bms和视频分析系统200的一些部分可以通过lan进行通信，而bms和视频分析系统200的其他部分可以通过wan进行通信。bms和视频分析系统200的一些部分可以被配置为通过lan和wan两者进行通信。维修案例管理系统238可以生成已完成工作订单的动作，该工作订单传输至客户门户242和/或移动设备244。客户门户242可以经由网络访问，该网络诸如但不限于局域网(lan)或广域网或全局网络(wan)，诸如因特网。在一些情况下，客户门户242可以经由外部或远程服务器(也称为“云”)访问。移动设备244可以包括存储在其存储器中的一个或多个应用程序代码(即，应用程序)，其被配置为接收和显示工作订单。客户门户242和/或移动设备244可以被配置为向该客户门户242和/或移动设备244的用户显示工作订单。工作订单可以包括诸如问题的位置、所需维修的类型、要执行工作的紧急性等信息。可以设想到，客户门户242和/或移动设备244可以与负责解决问题的维修公司和/或建筑物管理部门相关联，该维修公司和/或建筑物管理部门负责通知负责解决问题的一方。维修事件和/或工作订单可以从维修案例管理系统238传输，可以存储在维修案例存储模块240中。可以分析该数据以改进存储在算法库236中的算法或识别趋势，使得可以在维修事件发生之前进行维护或维修。
51.维修案例管理系统238可以为具有bms 202的建筑物本地的计算机或处理系统。在其他实施方案中，维修案例管理系统238可以为远离具有bms 202的建筑物定位的远程服务器或云网络。在一些情况下，维修案例管理系统238可以为分析系统218的一部分，而在其他情况下，维修案例管理系统238可以与分析系统218分开。在任何情况下，维修案例管理系统238可以至少包括处理器和存储器，该存储器用于存储信息，诸如但不限于维修事件、联系人信息、工作订单等。存储器可以是任何合适类型的存储设备，包括但不限于ram、rom、eprom、闪存存储器、硬盘驱动器等。在一些情况下，处理器可以将信息存储在存储器内，并且随后可以从存储器检索所存储的信息。维修案例管理系统238还可以包括输入/输出块(i/o块)，该i/o块用于从分析系统218接收一个或多个信号。i/o块可以是有线和/或无线的。
52.在一些实施方案中，主机设备214、视频模块220、分析系统218和/或维修案例管理系统238中的任一者或全部可以包括用户界面，该用户界面允许显示信息、请求信息和/或接受一个或多个用户交互。在一个示例中，用户界面可以是用户可访问的物理用户界面，并且可以包括显示器和/或不同的小键盘。显示器可以是任何合适的显示器。在一些情况下，显示器可包括或可以是液晶显示器(lcd)，并且在一些情况下可包括或可以是电子墨水显示器、固定分段显示器或点阵lcd显示器。在其他情况下，用户接口可以是用作显示器和小键盘两者的触摸屏lcd面板。该触摸屏lcd面板可适于请求多个操作参数的值和/或接收此类值，但这不是必需的。再在其他情况下，用户接口可以是动态图形用户接口。
53.在一些情况下，用户界面不必是用户可物理访问的。相反，用户界面可以是能够使用移动无线设备(诸如智能电话、平板电脑、电子阅读器、膝上型计算机、个人计算机、密钥卡等)经由网络250、260、270中的一者或多者访问的虚拟用户界面。在一些情况下，虚拟用
户界面可以由一个或多个应用程序提供，该一个或多个应用程序由用户的远程设备执行，以用于与bms和视频分析系统200远程交互的目的。
54.图4是用于分析bms和视频数据的方法300的示例性流程图。可以设想到，如果存在两种不同类型的图像捕获设备(例如，“智能”图像捕获设备206和“非智能”图像捕获设备208、210、212)，则该方法可以开始于两个单独的起始点302、304。起始点302、304可以基本上同时发生，使得来自每种类型设备的数据并行收集，或者起始点302、304可以顺序地发生，使得先收集来自一种类型设备的此类数据，然后收集另一种类型设备的此类数据。还可以设想到，虽然图像捕获设备206、208、210、212被描述为初始识别阈值变化，该阈值变化提示对场传感器204和/或本体模型232的综合分析验证在图像处检测到的事件，但在一些情况下，场传感器204中的阈值变化可以提示或发起对用于验证在场传感器204处检测到的事件的图像的综合分析。
55.从“智能”图像捕获设备206的起始点302开始，由于“智能”图像捕获设备206被配置为处理设备内的图像，因此可以收集由“智能”图像捕获设备206确定的分析结果，如框306所示。可以通过将结果发送到bms系统主机设备214(有时在主机设备内的消息队列216内)，然后通过将结果从“智能”图像捕获设备发送到分析系统218内的数据存储模块228来收集结果。在一些情况下，“智能”图像捕获设备206可以绕过主机设备214并将分析结果直接发送到数据存储模块228。此时，方法300与来自“非智能”图像捕获设备208、210、212的分析结果合并。为简明起见，将在继续分析方法300的其余部分之前，描述对来自“非智能”图像捕获设备208、210、212的图像的分析。
56.从“非智能”图像捕获设备208、210、212的起始点304开始，可以收集来自该图像捕获设备208、210、212的数据并将其传输到视频分析模块226，如方框308所示。可以设想到，可以通过有线连接、可移除存储卡、无线连接等传输或收集图像。然后视频分析模块226可以对所收集的图像进行视频分析，如框310所示。分析可以包括但不限于异常检测、篡改识别、身体语言分析等。来自视频分析模块226的结果可以格式化为编码消息并传输到bms系统主机设备214(有时到主机设备内的消息队列216内)，并且然后将来自“非智能”图像捕获设备的结果发送到分析系统218内的数据存储模块228。在一些情况下，视频分析模块226可以绕过主机设备214并将分析结果直接发送到数据存储模块228。
57.分析系统218可以被配置为分析来自“智能”图像捕获设备206和“非智能”图像捕获设备208、210、212的结果，以确定结果中是否存在期望或预定的图案或场景，如方框312所示。由于来自“智能”图像捕获设备206和“非智能”图像捕获设备208、210、212两者的结果在方法300中从这一点起以相同的方式进行处理，因此两组图像分析结果将统称为图像分析结果。如果不存在期望的或预定的图案或场景，则可以丢弃或忽略图像分析结果，如框314所示。如果存在期望的或预先确定的图案或场景，则将进行进一步的数据分析，如框316所示。可以设想到，当正在分析不止一个图像时，可以丢弃314一些图像分析结果，而进一步分析316其他图像分析结果。
58.316处的进一步分析可以包括将对来自场传感器204的数据和本体模型232的图像分析结果进行综合。例如，数据分析模块230可以检索本体模型232，如框320所示，以在进行综合分析(例如，结合图像数据和传感器数据的分析)时提供上下文数据。数据分析模块230还可以从场传感器204收集数据。在一些情况下，场传感器204可以提供关于建筑物的环境
条件的信息，诸如但不限于温度、压力、流速、湿度等。在其他情况下，场传感器204可以提供特定于操作装备的特定零件的数据。可以设想到，来自场传感器204的数据可以从分析系统218的数据存储模块228检索，或者可以从bms 202的主机设备214和/或消息队列216检索。然后，数据分析模块230可以利用来自场传感器204和本体模型232的数据来分析图像分析结果，从而提供附加信息。下文将更详细地描述一些具体但非限制性的分析场景。数据分析模块230可以确定是否检测到异常，如方框322所示。异常可以是装备发生故障、设备性能不佳、清洁程度欠缺、用品缺乏、环境体验感差等。如果未检测到异常，则可以丢弃或忽略来自综合数据分析的结果，如方框324所示。如果检测到异常，则可以生成维修案例，如方框326所示。可以将维修案例或工作订单发送到最终用户，并且存储维修案例和来自数据分析模块230的结果，如框328所示。可以设想的是，最终用户可以是负责纠正异常的维修公司、维修技术人员、建筑物管理人员或其他人。
59.再次参见图3，在第一示例性使用场景中，可以安装“非智能”图像捕获设备212，以监测制冷设备的冷水供水管。“非智能”图像捕获设备212可以被配置为在监测周期期间记录供水管的视频和/或图像的流序列。可以设想的是，监测周期可以是连续的、呈预定义的间隔，或者可以链接到另一个变量。例如，监测周期可以在水流过供水管时发生。视频流222可以存储在视频存储器224中。视频流222可以根据需要在视频分析模块226处以预先确定的间隔周期性地或随机地分析。视频分析模块226可以包括具体算法以识别图像中的具体异常。例如，在该使用情况下，视频分析模块226可以至少包括专用的泄漏检测算法。如果视频分析模块226输出指示异常的正信号(在该使用情况下，正信号可以指示泄漏)，则警报通知或信号可以排队到主机设备214和/或iot中心(用于基于云的系统)，随后可以将其传输到分析系统218。中间结果(例如，来自视频分析模块226的正信号)可以传输到分析系统218中的数据存储模块228。bms 202还可以在从场传感器204收集数据的基本上同时收集生成正结果的图像流。在该使用情况下，一些相关的场传感器可以包括冷水供应温度传感器和冷水供应压力传感器。来自这些传感器的数据可以被收集并直接或经由主机设备214和/或iot中心(用于基于云的系统)发送到分析系统218中的数据存储模块228。
60.在接收到来自视频分析模块226的泄漏通知之后，数据分析模块230可以开始进行综合数据分析。为了开始进行分析，视频分析模块226可以检索制冷设备的本体模型以得到关于冷水供水管的信息，包括但不限于其位置、尺寸、供应关系、附接到冷水供水管的对应传感器等。视频分析模块226然后可以从算法库236检索泄漏具体算法，并且通过将来自视频分析模块226的结果、来自场传感器204的数据(例如，压力、温度等)和本体模型232组合来进行综合数据分析。在一些情况下，也可以从系统配置模块234检索当前系统配置信息，以获得诸如但不限于系统识别、算法设置和操作参数等信息。使用综合分析，可以确认(或不确认)流体渗漏。在一些情况下，如果有足够的压力传感器可用，则可以通过管道内的压力梯度来识别泄漏的位置。维修案例可以由维修案例管理系统238生成和处理。维修案例可以(使用，例如，移动应用程序作为界面)发送到客户门户242和/或移动设备244，以最终通知负责修复泄漏的一个人或多个人。维修案例也可以存储在维修案例存储装置240中以用于保存和查询记录。
61.在另一个示例性使用场景中，“非智能”图像捕获设备210，诸如具有图像捕获能力的无人机，可以用于评估绝缘质量、建筑物围护结构和/或建筑物的其他难以接近的部分。
无人机210可以配备有摄像机，该摄像机记录和/或直接流式传输在检测期间拍摄的图像序列。由无人机210的摄像机生成的视频流222可以记录在视频存储器224中。视频流222可以根据需要在视频分析模块226处以预先确定的间隔周期性地或随机地分析。视频分析模块226可以包括具体算法以识别图像中的具体异常。例如，在这种使用情况下，视频分析模块226可以至少包括经过训练以检测指示建筑物围护结构上的潜在损坏的区域的算法。该算法可以使用受过训练的分类模型来开发。
62.视频分析模块226输出指示每个异常的正信号(在当前使用情况下，正信号可以指示潜在的损坏)，警报通知或信号可以排队到主机设备214和/或iot中心(用于基于云的系统)，该iot中心随后可以传输到分析系统218。中间结果(例如，来自视频分析模块226的正信号)可以传输到分析系统218中的数据存储模块228。bms 202还可以在从场传感器204收集数据的基本上同时收集生成正结果的图像流。在该使用情况中，正信号可以指示损坏的绝缘，并且一些相关的场传感器可以包括与具有潜在损坏和/或相关hvac性能的区域相邻的房间的温度分布。来自这些传感器的数据可以被收集并直接或经由主机设备214和/或iot中心(用于基于云的系统)发送到分析系统218中的数据存储模块228。
63.在接收到来自视频分析模块226的潜在损坏通知之后，数据分析模块230可以开始进行综合数据分析。为了开始进行分析，视频分析模块226可以检索本体模型，以识别hvac系统的可能受损坏的绝缘影响的具体房间和部件。视频分析模块226还可以从算法库236检索具体算法，并且通过将来自视频分析模块226的结果、来自场传感器204的数据(例如，温度、hvac性能等)和本体模型232组合来进行综合数据分析，以识别可能对应于受损建筑物围护结构的可能偏差。使用综合分析，可确认(或不确认)损坏。维修案例可以由维修案例管理系统238生成和处理。维修案例可以发送到客户门户242和/或移动设备244(使用例如移动应用程序作为界面)，以最终通知负责修复损坏的一个人或多个人。维修案例也可以存储在维修案例存储装置240中以用于保存和查询记录。
64.本文所述的各种模型可以用以下各项来实现或进行：通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列信号(fpga)或其他可编程逻辑设备、分立栅极或晶体管逻辑、分立硬件部件或设计用于执行本文所述的功能的以上各项的任何组合。通用处理器可以是微处理器，但是在替代方式中，该处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器可还被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、结合dsp核心的一个或多个微处理器或者任何其他此类配置。
65.本领域技术人员将认识到，本公开可以以不同于本文描述和设想的特定实施方案的各种形式来表现。因此，在不脱离如所附权利要求中所述的本公开的范围和实质的情况下，可以在形式和细节上作出改变。