适用于各摄影机视角的电梯内人员异常行为检测系统的制作方法

1.本发明一般而言，涉及一种在电梯厢内检测乘客行为异常的方法以及电梯装置，可适用于各摄影机视角。更具体而言，例如，本发明具体实施例包含通过所拍摄的2d图像，以自动化方式在电梯厢内检测乘客行为异常的方法以及可进行此方法的电梯装置。


背景技术：

2.通过图像识别的方式，可自动识别各场域中人的异常行为，而省去人为监控的耗费，也更节省时间，快速有效。对此可参考例如cn102241349bcn111507185b、以及cn108805093b。
3.这种自动化识别的优势在电梯的使用环境更为显著。由于电梯厢属于密闭空间，若乘客在其中身体不适或发生任何紧急事情，不容易被发现。虽然电梯中一般都具备有紧急通话按钮，但若状况严重，或特别是当乘客为老年人或幼童时。也不一定有机会可以启动紧急通话按钮，而与服务人员通话，取得援助。
4.在电梯厢或其他特定空间中要判断乘客的行为是否有异常，可通过乘客的身体姿势加以判断。举例来说，例如在电梯厢中，一般乘客的身体姿势都属于站姿，又或某些老年人可能因坐在轮椅上而采坐姿。可想而知，若发现乘客既不属于站姿也不属于坐姿，则此乘客发生行为异常的机会就很高。
5.另一方面，要判断人体的姿势，目前可采用3d人体扫描机。但在一般场域或电梯中，并不可能轻易地设置3d人体扫描机。对此，现有技术做法其中之一，则通过拍摄2d图像，来判断乘客的身体姿势，而在判断出身体姿势后，可进一步判断是否有行为异常。
6.但由于2d图像拍摄时容易有死角，因此从2d图像判断身体姿势时，容易发生误判。举例来说，例如在电梯的情况，一般来说摄影机安装的数量，位置，跟拍摄角度(视角)都有限制，例如摄影机只能安装在电梯厢的顶部，由上往下拍摄。可想而知，例如乘客下半身的图像往往不清楚，导致姿势判断错误。
7.此外，各种电梯厢的空间尺寸不尽相同，即使摄影机都安装在电梯厢的顶部，拍摄的角度也会有差异。而针对不同摄影机视角所拍摄到的乘客2d图像，若要通过人工智能的方式来判断出乘客的身体姿势与行为异常，也就必须针对各个摄影机视角进行人工智能模型的训练，可想而知这必然耗费大量的时间与精力而不可行。


技术实现要素：

8.本公开的一特点在从设置于电梯厢内的摄影机所拍摄到的2d人体图像，建构出3d身体特征基准图。举例来说，为了克服电梯厢内的摄影机的拍摄死角，可依需求对3d身体特征基准图额外进行摄影机视角的转换，也就是图像视角或是3d身体特征基准图坐标的转换，而有利于后续分析或是提供作为异常行为检测模型的判断。藉此可省去针对各个摄影机视角进行人工智能模型的训练所需的时间与精力。
9.本公开另一特点在于，可仅需要使用单一摄影机，且仅需拍摄单一张2d图像，即可
进行。
10.本公开之又一特点在于根据上述经过视角转换或坐标转换的3d身体特征基准图中，另外产生2d身体特征基准图，并以此2d身体特征基准图进行后续分析或是提供作为异常行为检测模型的判断。此2d身体特征基准图可不同于从电梯厢内的摄影机所拍摄到的2d人体图像直接产生的2d身体特征基准图，特别是此2d身体特征基准图可具有适合于异常行为检测模型的视角。
11.在一实施例中，本公开提出的方法以一摄影装置所取得该电梯厢中一乘客的一2d图像，并根据此2d图像获取出该乘客的身体特征以产生一2d身体特征基准图。接着从2d身体特征基准图建构出具有某一视角的3d身体特征基准图。下一步则是进行视角转换的估测，以得到具有优选视角的3d身体特征基准图，并可基于此视角转换后的3d身体特征基准图在与参考地面垂直的方向上投影产生另一2d身体特征基准图，并根据经投影所产生的身体特征基准图而使用一预定的行为检测模型，判断出该乘客行为有异常。
12.在另一实施例中，本公开提出的方法以一摄影装置所取得该电梯厢中一乘客的一2d图像，并根据此2d图像获取出该乘客的身体特征以产生一2d身体特征基准图。接着从2d身体特征基准图建构出具有某一视角的3d身体特征基准图。下一步则是进行视角转换的估测，以得到具有优选视角的3d身体特征基准图，并使用一预定的行为检测模型，判断出该乘客行为有异常。
13.此外，在其他实施例中，本公开提出的电梯装置中具有一摄影装置与一控制模组，该控制模组接收摄影装置所拍摄一乘客的一2d图像，并进行上述的方法。
14.本说明书中所提及的特点、优点、或类似表达方式并不表示，可以本发明实现的所有特点及优点应在本发明的任何单一的具体实施例内。而是应明白，有关特点及优点的表达方式是指结合具体实施例的特定特点、优点、或特性包含在本发明的至少一具体实施例内。因此，本说明书中对于特点及优点、及类似表达方式的论述与相同具体实施例有关，但亦非必要。
15.参考以下说明及所附权利要求范围或利用如下文所提的本发明的实施方式，即可更加明了本发明的这些特点及优点。
附图说明
16.从本发明各实施例的详细描述，且结合所伴随的图式，将能更完全地理解及体会本发明，其中图式为：
17.图1显示本发明的实施方式中电梯装置100的系统架构图；
18.图2显示根据本发明实施例的一方法流程图；
19.图3显示从2d身体特征基准图产生3d身体特征基准图的示例。
20.图4显示从一3d身体特征基准图进行视角转换产生另一3d身体特征基准图的示例。
21.图5显示从3d身体特征基准图产生2d身体特征基准图的示例。
具体实施方式
22.本说明书中“一具体实施例”或类似表达方式的引用是指结合该具体实施例所述
的特定特点、结构、或特性包括在本发明的至少一具体实施例中。因此，在本说明书中，“在一具体实施例中”及类似表达方式的用语的出现未必指相同的具体实施例。
23.《系统架构》
24.图1为表示本发明的实施方式中电梯装置100的系统架构图，以说明电梯装置100的基本运作与元件，但应知以下说明的目的为示例，且以简化省略不必要的细节。
25.如图1所示，电梯装置100的电梯厢1与平衡重3通过钢缆4而悬吊于升降路2。钢缆4卷挂在曳引机的曳引轮6上。当曳引轮6转动时，通过曳引轮6与钢缆4的摩擦力带动使电梯厢1随着上升或下降。曳引机除了曳引轮6之外还具备电动机及制动装置。电动机使曳引轮6转动及停止。制动装置使曳引轮6不转动，而使曳引轮6维持在静止的状态，同时电梯厢1也跟着静止。
26.另外，在机械室7中设置了控制模组10与通信模组11。
27.控制模组10控制电梯装置100的运转，特别是电梯厢1的上升、下降或静止，藉此将乘客运送到目的楼层。控制模组10通过控制缆线13与电梯厢1连接。电梯厢1和控制模组10之间的消息的收发通过控制缆线13而进行。但在其他实施例中，电梯厢1和控制模组10也可通过无线通信的方式进行消息的通信。
28.在此实施例中，电梯厢1具备了例如显示器14、对讲机15、摄影机16及秤装置17。例如，控制模组10通过控制缆线13接收从对讲机15传来的消息、摄影机16传来的消息及秤装置17传来的消息。
29.显示器14为向乘客呈现消息的装置的示例。对讲机15具备麦克风及扬声器。由麦克风取得的声音的消息被输出至控制模组10。摄影机16拍摄例如电梯厢1的内部。由摄影机16拍摄的图像的消息被输出至控制模组10。
30.秤装置17检出电梯厢1的承载重量。也可以将秤装置17设置在钢缆4的端部。由秤装置17所检出的承载重量的消息被输出至控制模组10。
31.控制模组10包括具有例如输出输入接口、处理器、存储器的电路以作为其硬体资源。控制模组10，通过处理器执行记忆在存储器中的程序，以实现控制电梯装置100运转的功能。控制模组10也可具备多个处理器。控制模组10也可具备多个存储器。即，可以用多个处理器及多个存储器协同运作来实现控制模组10的功能，且各功能的一部分或者全部也可以用硬体来实现。但应知控制模组10的一部分或者全部也可以通过个人电脑、工作站、或是通过网络以云端的方式来实现。
32.通信模组11用以让控制模组10和外部进行通信的装置。通信模组11能够通过通信线路21(可为有线或无线线路)而和外部进行通信，藉此将消息从电梯装置向外部传送，以及从外部接收消息。一般来说，通信模组11可进行通信的对象乃预先指定，例如可以是电梯装置100的服务中心或是建筑物的管理室等等。
33.如前述，摄影机16拍摄例如电梯厢1的内部。由摄影机16拍摄的图像的消息被输出至控制模组10。在此实施例中，摄影机16可对比一般电梯中的摄影机，设置在电梯厢的顶部，由上往下拍摄乘客。摄影机16的数量不限，但以单一摄影机16即已足够实现本发明。此外，即使摄影机16的数量为一个，但若摄影机16皆设置在电梯厢的顶部，因此在拍摄乘客时，一般来说会有死角，例如不容易清楚拍摄到乘客下半身。但另一方面，由于隐私的考虑，通常也不允许摄影机16设置在电梯厢的地板上。
34.在一实施例中，控制模组10可根据摄影机16所拍摄电梯乘客的2d图像，并进行如图2所示的各步骤，以检测电梯乘客的行为异常。在此实施例中，控制模组10可仅通过单一摄影机16所拍摄的单一张2d图像来进行如图2所示的各步骤，但本发明可不限于此。
35.在步骤200：控制模组10接收摄影机16拍摄乘客的图像，此为一2d图像，图像格式可例如是一般数字图像的rgb格式，但不限于此。
36.步骤202：控制模组10从2d的rgb图像中识别该乘客的身体特征，例如是骨架、关节位置、或是身体边缘，以产生该乘客的一2d身体特征基准图(fiducial map)。从2d的rgb图像获取出身体特征，例如，但不限于骨骼，而产生2d身体特征基准图的做法，此部分又称为2d人体姿势估计(2d human pose estimation)，现有技术中有许多做法，对此可参考例如美国专利公开号us20190122424a1以及dlib shape predictor,opencv,cmu openpose,alphapose等等，本发明对此并不欲加以限制。
37.步骤204：根据步骤202中所得到该乘客的的2d身体特征基准图，产生一3d身体特征基准图，且其具有一给定的摄影机视角(camera viewpoint)，如图3所例示。2d身体特征基准图本身虽然没有直接提供深度(depth)消息，但因为人体特征的分布方式与对应关系并非毫无限制，且通常具有大致的模式，因此有机会根据从2d身体特征的分布，利用定位、分类、与回归(positioning,classification,and regression)等数据分析与计算手段，建构出具有特定摄影机视角(即特定的3d坐标(3d coordinates))的3d身体特征基准图，也就是将该乘客的身体特征以特定摄影机视角呈现在三维坐标之中。此部分又称为3d人体姿势估计(3d human pose estimation)，已有相当多的学术研究已经提出各种做法，其中使用人工智能或是神经网络的做法，例如可参考j.martinez,r.hossain,j.romero,and j.j.little.asimple yet effective baseline for 3d human pose estimation.in ieee international conference on computer vision,iccv,2017.3,7或是c.-h.chen and d.ramanan.3d human pose estimation＝2d pose estimation matching.in cvpr,2017.2或是meng,l.,&gao,h.(2021).3d human pose estimation based on a fully connected neural network with adversarial learning prior knowledge.frontiers in physics.。但应知本发明对此并不欲加以限制。此外，当使用人工智能或是神经网络进行步骤204时，一般来说需要对模型进行训练，而在一实施例中，可使用例如是human3.6m数据集，其具有360万个3d人体姿势和相应的图像来进行训练，但同样地，应知本发明对此并不欲加以限制。
38.在此需说明的是，在步骤204中所得到的3d身体特征基准图，其摄影机视角一般来说是模拟摄影机16拍摄乘客的图像时的摄影机视角。换言之，若摄影机16设置在电梯厢的顶部而由上往下拍摄乘客，步骤204中所得到的3d身体特征基准图也会呈现约略相同的摄影机视角。也因此摄影机16拍摄乘客图像时的死角，也会反映在步骤204中所得到的3d身体特征基准图上，而造成姿势判断的困难，更难以正确地判断乘客的行为是否异常。
39.步骤206：有鉴于步骤204中所得到的3d身体特征基准图，其摄影机视角是模拟摄影机16拍摄乘客的图像时的摄影机视角(由上往下拍摄)，可能并非是理想的角度，因此需将以进行视角转换(viewpoint transformation)，以获得具有优选的摄影机视角(可根据后续用途而预先决定)的3d身体特征基准图。在此需说明的是，虽然原始的2d图像受限于摄影机16实际的摄影机视角，但通过以人体特征(例如关节位置)的相对关系或形状作为参照
基准进行视角转换，仍可建构出具有不同于步骤204中摄影机视角的3d身体特征基准图，如图4所示。举例来说，此部分可利用普氏分析(procrustes analysis)的方式，具体内容亦可参考论文c.wang and s.mahadevan,manifold alignment using procrustes analysis,proc.int.。
40.需说明的是，只要转换后摄影机视角所呈现的3d身体特征基准图有助于后续分析使用(例如适用于步骤210中所提到的异常行为检测模型)，本发明并未对转换后的摄影机视角究竟哪一个角度加以限定。举例来说，为了能够使用预先训练好的异常行为检测模型，转换后的摄影机视角即可根据异常行为检测模型的训练数据集中一3d人体姿势参考数据来决定。也就是说，当转换至某一摄影机视角下的3d身体特征基准图可与异常行为检测模型的训练数据集中一3d人体姿势参考数据(其乃以某一特定摄影机视角所预先拍摄)在身体特征上互相匹配(例如关节位置重合)时，即可以在步骤206中进一步确认采用此时转换的摄影机视角，并根据此摄影机视角下的3d身体特征基准图而进行后续的分析，例如使用现有的异常行为检测模型而检测异常行为。
41.步骤208：现有技术中虽然存在可直接从3d身体特征基准图来检测异常行为的方式，但由于3d数据量庞大，变数众多，导致在异常行为检测模型的训练过程上相当费时耗力。有鉴于此，除了直接从3d身体特征基准图来检测异常行为，在另一实施例中，则是将步骤206中的3d身体特征基准图(具有转换后的摄影机视角)进行平面投影以转换为2d身体特征基准图，如图5所示。优选地，在一实施例中，即是将步骤206中的3d身体特征基准图以垂直参考地面的一方向投影以产生2d身体特征基准图。但本发明并不限于此。举例来说，也可以平行参考地面的一方向投影以产生2d身体特征基准图。
42.步骤210：根据步骤208的2d身体特征基准图来检测异常行为。根据2d身体特征基准图而使用异常行为检测模型来检测异常行为，现有技术中已存在许多做法，在此不予赘述。而相较于直接从3d身体特征基准图来检测异常行为的方式，以2d身体特征基准图来检测异常行为的模型的训练较为容易。
43.前述公开内容并非旨在将本发明限制在所公开的精确形式或特定使用领域。如此，根据本发明，无论本文明确描述或暗示，可预期本发明的各种替代具体实施例及/或修改。
44.本文提供的各种具体实施例可使用硬件、软件或硬件与软件的组合实行，且各种硬件与软件部件可组合成包含软件及/或硬件的组合之一或多个部件，而不背离本发明的精神。在应用时，可改变本文所述的各种步骤的顺序，结合成合并步骤，及/或分拆成子步骤以提供本文所述的特征。
45.本发明虽以各种实施例公开如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与修改。本发明的保护范围当视所附的权利要求范围所界定者为准。
46.【符号说明】
47.电梯厢 1
48.升降路 2
49.平衡重 3
50.钢缆 4
51.曳引轮 6
52.机械室 7
53.控制模组 10
54.通信模组 11
55.控制缆线 13
56.显示器 14
57.对讲机 15
58.摄影机 16
59.秤装置 17
60.通信线路 21
61.电梯装置 100
62.步骤 200～210。