空座率的确定方法、装置和电子设备【
技术领域：
：】1.本说明书实施例涉及互联网
技术领域：
：，尤其涉及一种空座率的确定方法、装置和电子设备。
背景技术：
：：2.目前的餐饮业中，用户一般不知道附近店铺的详细就餐人数和客流高峰时段，只能通过历史经验粗略估计各个店铺的火爆程度，然后结合当前的时间安排和/或口感偏好，以及到店后的实际情况进行评估，最终挑选一家比较满意的店铺就餐。这样，难免出现用户到店后长时等待或更换首选店铺的情况。3.为了解决用户到店后长时等待或更换首选店铺的问题，可以将各个店铺的实时空座率和客流高峰时段，按照用户偏好进行排序，用实时地图数据的形式展示给用户。一方面，实时空座率可以帮助用户根据自身需要选择适合的店铺，在用户到店前形成数字化的最优决策，而不是基于历史经验的模糊决策；另一方面，对店铺而言，可以根据实时空座率优化服务效率，还可以与外卖和/或优惠券等结合，延长高峰时长。4.因此，需要提供一种空座率的确定方法，来确定店铺的实时空座率。技术实现要素：5.本说明书实施例提供了一种空座率的确定方法、装置和电子设备，以实现根据目标场所内设置的摄像头拍摄的图像，确定上述目标场所的实时空座率，进而优化目标场所的服务效率。6.第一方面，本说明书实施例提供一种空座率的确定方法，应用于服务器，所述空座率的确定方法包括：获取摄像头采集的目标场所内的图像；其中，所述摄像头设置在所述目标场所内；对所述图像进行检测，获取所述图像中的座位和人体；确定所述座位与地面接触点的第一像素坐标，以及确定所述人体的脚与地面接触点的第二像素坐标；根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标，以及根据所述第二像素坐标，确定所述人体的脚与地面接触点在地平面坐标系的第二坐标；根据所述第一坐标确定所述目标场所内当前的座位数，以及根据所述第二坐标确定所述目标场所内当前的用户数；根据所述座位数和所述用户数，确定所述目标场所当前的空座率。7.上述空座率的确定方法中，服务器获取摄像头采集的目标场所内的图像之后，对上述图像进行检测，获取上述图像中的座位和人体，然后确定上述座位与地面接触点的第一像素坐标，以及确定人体的脚与地面接触点的第二像素坐标，根据第一像素坐标，确定座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，确定人体的脚与地面接触点在地平面坐标系的第二坐标，最后根据第一坐标确定目标场所内当前的座位数，以及根据第二坐标确定上述目标场所内当前的用户数，根据上述座位数和上述用户数，确定上述目标场所当前的空座率，从而可以实现根据目标场所内设置的摄像头拍摄的图像，确定上述目标场所的实时空座率，进而优化目标场所的服务效率；并且，上述方法利用目标场所内已有的摄像头拍摄图像，无需在目标场所门口安装客流计，降低了安装和供电方面的施工难度，适用性较高。8.其中一种可能的实现方式中，所述根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标，以及根据所述第二像素坐标，确定所述人体的脚与地面接触点在地平面坐标系的第二坐标包括：通过检测所述图像中的直线段，提取所述图像中的正交消失点的坐标；根据所述正交消失点的坐标计算所述摄像头的焦距和外参矩阵；根据所述外参矩阵和所述摄像头距离地面的高度，获得所述图像与所述摄像头坐标系的变化矩阵；根据所述第一像素坐标和所述第二像素坐标，以及所述摄像头的焦距和所述变化矩阵，进行三维语义重建，以确定所述第一坐标和所述第二坐标。9.其中一种可能的实现方式中，所述摄像头的数量为至少两个；所述获取摄像头采集的目标场所内的图像之后，还包括：从所述至少两个摄像头采集的图像中提取特征点；将提取的所述特征点进行匹配，获得特征点匹配对；根据所述特征点匹配对，确定所述至少两个摄像头之间的变换关系，以将所述至少两个摄像头采集的图像进行场景拼接。10.其中一种可能的实现方式中，所述根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标，以及根据所述第二像素坐标，确定所述人体的脚与地面接触点在地平面坐标系的第二坐标之后，还包括：当所述座位所处区域内检测获得至少两个第一坐标时，对所述至少两个第一坐标进行非极大值抑制处理，保留所述座位所处区域内置信度最高的第一坐标，作为所述座位与地面接触点在地平面坐标系的坐标；和/或，当所述人体所处区域内检测获得至少两个第二坐标时，对所述至少两个第二坐标进行非极大值抑制处理，保留所述人体所处区域内置信度最高的第二坐标，作为所述人体的脚与地面接触点在地平面坐标系的坐标。11.其中一种可能的实现方式中，所述第一坐标包括对当前时刻之前的连续n帧图像中的第一座位进行检测，获得的所述第一座位的至少两个坐标；所述根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标之后，还包括：对所述第一座位的至少两个坐标进行非极大值抑制处理，保留所述第一座位的至少两个坐标中置信度最高的坐标，作为所述第一座位与地面接触点在地平面坐标系的坐标。12.第二方面，本说明书实施例提供一种空座率的确定装置，包括：获取模块，用于获取摄像头采集的目标场所内的图像；其中，所述摄像头设置在所述目标场所内；检测模块，用于对所述图像进行检测，获取所述图像中的座位和人体；坐标确定模块，用于确定所述座位与地面接触点的第一像素坐标，以及确定所述人体的脚与地面接触点的第二像素坐标；以及根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标，以及根据所述第二像素坐标，确定所述人体的脚与地面接触点在地平面坐标系的第二坐标；空座率确定模块，用于根据所述第一坐标确定所述目标场所内当前的座位数，以及根据所述第二坐标确定所述目标场所内当前的用户数；以及根据所述座位数和所述用户数，确定所述目标场所当前的空座率。13.其中一种可能的实现方式中，所述坐标确定模块包括：坐标提取子模块，用于通过检测所述图像中的直线段，提取所述图像中的正交消失点的坐标；计算子模块，用于根据所述正交消失点的坐标计算所述摄像头的焦距和外参矩阵；以及根据所述外参矩阵和所述摄像头距离地面的高度，获得所述图像与所述摄像头坐标系的变化矩阵；重建子模块，用于根据所述第一像素坐标和所述第二像素坐标，以及所述摄像头的焦距和所述变化矩阵，进行三维语义重建，以确定所述第一坐标和所述第二坐标。14.其中一种可能的实现方式中，所述装置还包括：提取模块，用于当所述摄像头的数量为至少两个时，在所述获取模块获取摄像头采集的目标场所内的图像之后，从所述至少两个摄像头采集的图像中提取特征点；匹配模块，用于将所述提取模块提取的所述特征点进行匹配，获得特征点匹配对；场景拼接模块，用于根据所述特征点匹配对，确定所述至少两个摄像头之间的变换关系，以将所述至少两个摄像头采集的图像进行场景拼接。15.其中一种可能的实现方式中，所述装置还包括：保留模块，用于当所述座位所处区域内检测获得至少两个第一坐标时，对所述至少两个第一坐标进行非极大值抑制处理，保留所述座位所处区域内置信度最高的第一坐标，作为所述座位与地面接触点在地平面坐标系的坐标；和/或，当所述人体所处区域内检测获得至少两个第二坐标时，对所述至少两个第二坐标进行非极大值抑制处理，保留所述人体所处区域内置信度最高的第二坐标，作为所述人体的脚与地面接触点在地平面坐标系的坐标。16.其中一种可能的实现方式中，所述第一坐标包括对当前时刻之前的连续n帧图像中的第一座位进行检测，获得的所述第一座位的至少两个坐标；所述装置还包括：保留模块，用于在所述坐标确定模块根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标之后，对所述第一座位的至少两个坐标进行非极大值抑制处理，保留所述第一座位的至少两个坐标中置信度最高的坐标，作为所述第一座位与地面接触点在地平面坐标系的坐标。17.第三方面，本说明书实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。18.第四方面，本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的方法。19.应当理解的是，本说明书实施例的第二～四方面与本说明书实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。【附图说明】20.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。21.图1为本说明书一个实施例提供的空座率的确定方法的流程图；22.图2为本说明书一个实施例提供的目标场所内的图像的示意图；23.图3为本说明书一个实施例提供的检测座位和人体的图像的示意图；24.图4为本说明书另一个实施例提供的空座率的确定方法的流程图；25.图5为本说明书一个实施例中提供的图像处理的示意图；26.图6为本说明书再一个实施例提供的空座率的确定方法的流程图；27.图7为本说明书再一个实施例提供的空座率的确定方法的流程图；28.图8为本说明书另一个实施例中提供的图像处理的示意图；29.图9为本说明书一个实施例提供的空座率的确定装置的结构示意图；30.图10为本说明书另一个实施例提供的空座率的确定装置的结构示意图；31.图11为本说明书一个实施例提供的电子设备的结构示意图。【具体实施方式】32.为了更好的理解本说明书的技术方案，下面结合附图对本说明书实施例进行详细描述。33.应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。34.在本说明书实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。35.为了解决用户到店后长时等待或更换首选店铺的问题，可以将各个店铺的实时空座率和客流高峰时段，按照用户偏好进行排序，用实时地图数据的形式展示给用户。36.现有相关技术中提供了两种统计空座率的方法：37.1)座位扫码：采用扫码点餐的方式实时统计店内当前就餐人数，结合预先人工计数的总座位数，得到当前的店内空座率。该方案中，实际就餐人数由店铺的服务人员输入，准确度受人为因素较大，同时也增加了服务人员的工作量；38.2)客流计数：采用红外线扫描仪和/或摄像头等客流计在店面门口进行客流量统计，结合预先人工计数的总座位数，得到当前店内空座率。该方案受多人同时进/出、多个出入口和/或遮挡等问题的影响，人数统计精度有限，且上述客流计一般放置于门口，对设备安装和/或供电等的要求较高。39.本说明书实施例提供一种空座率的确定方法，通过对摄像头(例如：监控摄像头)拍摄的图像进行消失点检测，完成相机位姿的自动标定，从而实现座椅和人体的三维语义重建。根据室内布局对座位和人体进行非极大值抑制和点位聚合，提升座椅检测和人体检测精度，进而提高了实时空座率精度。40.上述空座率的确定方法，可以利用目标场所内设置的监控摄像头拍摄图像，根据上述图像，通过曼哈顿假设，实现相机位姿的自动标定，进而结合深度学习检测算法和逆透视变换对室内语义信息进行三维重建，从而估计店内空座率，无需人工登记，也无需在门口安装客流计，相比现有方案有较大的效率优势和部署优势。41.图1为本说明书一个实施例提供的空座率的确定方法的流程图，上述空座率的确定方法可以应用于服务器，如图1所示，上述空座率的确定方法可以包括：42.步骤102，获取摄像头采集的目标场所内的图像；其中，上述摄像头设置在上述目标场所内。43.具体地，上述摄像头可以为设置在上述目标场所内的监控摄像头，这样，服务器可以直接获取目标场所内的监控摄像头采集的图像，采集的图像可以如图2所示，图2为本说明书一个实施例提供的目标场所内的图像的示意图。44.步骤104，对上述图像进行检测，获取上述图像中的座位和人体。45.具体地，可以通过深度学习方法检测上述图像中的座位，例如：椅子或沙发等。其中，上述用于检测座位的深度学习方法可以包括：yolo、单激发多盒探测(singleshotmultiboxdetector，ssd)、快速区域卷积神经网络(fasterregionconvolutionalneuralnetwork，fasterrcnn)和/或屏蔽区域卷积神经网络(maskregionconvolutionalneuralnetwork，maskrcnn)等。46.同样，也可以通过深度学习方法检测上述图像中的人体，其中，可用于检测人体的深度学习方法可以包括：yolo、ssd、fasterrcnn和/或maskrcnn等。47.具体实现时，以图2为例，在对图2所示图像中的座位和人体进行检测之后，可以获得如图3所示的图像，图3为本说明书一个实施例提供的检测座位和人体的图像的示意图。48.步骤106，确定上述座位与地面接触点的第一像素坐标，以及确定人体的脚与地面接触点的第二像素坐标。49.步骤108，根据第一像素坐标，确定座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，确定人体的脚与地面接触点在地平面坐标系的第二坐标。50.具体地，服务器可以根据第一像素坐标，通过逆透视变换确定上述座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，通过逆透视变换确定上述人体的脚与地面接触点在地平面坐标系的第二坐标。51.步骤110，根据第一坐标确定目标场所内当前的座位数，以及根据所述第二坐标确定所述目标场所内当前的用户数。52.步骤112，根据上述座位数和上述用户数，确定上述目标场所当前的空座率。53.具体地，可以先计算座位数减去用户数的差值，该差值为目标场所当前空座位的数量，然后，再计算当前空座位的数量除以上述座位数的商，该商值即为上述目标场所当前的空座率。54.上述空座率的确定方法中，服务器获取摄像头采集的目标场所内的图像之后，对上述图像进行检测，获取上述图像中的座位和人体，然后确定上述座位与地面接触点的第一像素坐标，以及确定人体的脚与地面接触点的第二像素坐标，根据第一像素坐标，确定座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，确定人体的脚与地面接触点在地平面坐标系的第二坐标，最后根据第一坐标确定目标场所内当前的座位数，以及根据第二坐标确定上述目标场所内当前的用户数，根据上述座位数和上述用户数，确定上述目标场所当前的空座率，从而可以实现根据目标场所内设置的摄像头拍摄的图像，确定上述目标场所的实时空座率，进而优化目标场所的服务效率；并且，上述方法利用目标场所内已有的摄像头拍摄图像，无需在目标场所门口安装客流计，降低了安装和供电方面的施工难度，适用性较高。55.图4为本说明书另一个实施例提供的空座率的确定方法的流程图，如图4所示，本说明书图1所示实施例中，步骤108可以包括：56.步骤402，通过检测上述图像中的直线段，提取上述图像中的正交消失点的坐标。57.步骤404，根据上述正交消失点的坐标计算上述摄像头的焦距和外参矩阵。58.具体地，可以通过检测图像上的直线段，提取图像上的三个正交消失点坐标(u1v1)、(u2v2)、(u3v3)，根据消失点坐标解算相机焦距和外参矩阵。59.其中，相机焦距f的计算方式可以如式(1)所示：[0060][0061]外参矩阵r的计算过程可以如式(2)和式(3)所示：[0062][0063]r＝r0/‖r0‖ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(3)[0064]式(1)～式(3)中，(u0v0)为上述图像中心点的像素坐标，即分别为上述图像的宽和高的一半。[0065]步骤406，根据上述外参矩阵和上述摄像头距离地面的高度，获得上述图像与上述摄像头坐标系的变化矩阵。[0066]具体地，根据步骤404得到的外参矩阵和预先获得的上述摄像头距离地面的高度h(室内一般取2.5m～3.5m之间)，可以得到上述图像与上述摄像头坐标系的变化矩阵[r|t]，如式(4)所示。[0067][0068]步骤408，根据第一像素坐标和第二像素坐标，以及上述摄像头的焦距和上述变化矩阵，进行三维语义重建，以确定第一坐标和第二坐标。[0069]具体地，在获得上述摄像头的焦距和上述变化矩阵之后，结合第一像素坐标和第二像素坐标，就可以进行三维语义重建。[0070]举例来说，假设检测物体的像素坐标(第一像素坐标或第二像素坐标)为(uv)，其地平面坐标为pw＝[xwyw0]t，上标w表示地平坐标系；则三维语义重建的计算过程可以如式(5)所示。[0071][0072]式(5)中，(uv)为图像中检测物体的像素坐标；pc表示摄像头坐标系下的三维坐标；s表示尺度因子。[0073]本实施例对摄像头自标定和逆透视变换的过程进行描述，上述两个过程的图像处理的示意图可以如图5所示，图5为本说明书一个实施例中提供的图像处理的示意图。[0074]图6为本说明书再一个实施例提供的空座率的确定方法的流程图，本实施例中，上述摄像头的数量可以为至少两个；这样，如图6所示，本说明书图1所示实施例中，步骤102之后，还可以包括：[0075]步骤602，从上述至少两个摄像头采集的图像中提取特征点。[0076]步骤604，将提取的上述特征点进行匹配，获得特征点匹配对。[0077]步骤606，根据上述特征点匹配对，确定至少两个摄像头之间的变换关系，以将上述至少两个摄像头采集的图像进行场景拼接。[0078]具体地，上述特征点可以为尺度不变特征变换(scale‑invariantfeaturetransform，sift)特征点，从上述至少两个摄像头采集的图像中提取sift特征点并进行匹配，获得多组二维(twodimension，2d)特征点匹配对，再通过极线约束从上述多组2d特征点匹配对中求解出至少两个摄像头之间的变换关系，从而实现多图像的场景拼接。[0079]图7为本说明书再一个实施例提供的空座率的确定方法的流程图，如图7所示，本说明书图1所示实施例中，步骤108之后，还可以包括：[0080]步骤702，当上述座位所处区域内检测获得至少两个第一坐标时，则对上述至少两个第一坐标进行非极大值抑制处理，保留上述座位所处区域内置信度最高的第一坐标，作为上述座位与地面接触点在地平面坐标系的坐标；和/或，当上述人体所处区域内检测获得至少两个第二坐标时，则对上述至少两个第二坐标进行非极大值抑制处理，保留上述人体所处区域内置信度最高的第二坐标，作为上述人体的脚与地面接触点在地平面坐标系的坐标。[0081]也就是说，具体实现时，由于座位和人体的检测算法可能存在误检，导致多个座位或人体堆叠在一起，通过对每一个检测目标重建的三维坐标进行非极大值抑制，对于同一类型检测目标仅保留范围内检测置信度最高的一个，这时的图像处理示意图可以如图8所示，图8为本说明书另一个实施例中提供的图像处理的示意图。[0082]其中，非极大值抑制：soft‑nms(non‑maximumsuppression)，是一种去除非极大值的算法，常用于计算机视觉中的检测和/或识别算法。[0083]另外，本说明书图1所示实施例中，第一坐标可以包括对当前时刻之前的连续n帧图像中的第一座位进行检测，获得的第一座位的至少两个坐标；这样，根据第一像素坐标，确定上述座位与地面接触点在地平面坐标系的第一坐标之后，服务器还可以对上述第一座位的至少两个坐标进行非极大值抑制处理，保留第一座位的至少两个坐标中置信度最高的坐标，作为第一座位与地面接触点在地平面坐标系的坐标。其中，n>1，n为正整数，本实施例对n的大小不作限定，举例来说，n可以为10。[0084]也就是说，具体实现时，由于对座位的检测可能存在漏检，需要对连续多帧图像中同一点位的检测结果进行聚合，具体可以为：对于最近10帧中所有出现过的检测目标均做保留，如果同一目标多次重复出现，则对最近10帧中该目标的坐标进行非极大值抑制处理，保留置信度最高的坐标。[0085]本说明书实施例提供的空座率的确定方法中，首先利用深度学习算法检测出图像中的座位和人体，然后通过摄像头自标定、逆透视变换和场景拼接实现座位和人体的三维重建，最后通过后处理算法提高空座率的准确度。一方面，全程无需人工参与，提高了目标场所的服务效率，另一方面利用已有监控摄像头作为传感器部分，无需在门口安装客流计，降低了安装和供电方面的施工难度，有利于规模化部署。[0086]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。[0087]图9为本说明书一个实施例提供的空座率的确定装置的结构示意图，如图9所示，上述空座率的确定装置可以包括：获取模块91、检测模块92、坐标确定模块93和空座率确定模块94；[0088]其中，获取模块91，用于获取摄像头采集的目标场所内的图像；其中，上述摄像头设置在上述目标场所内；[0089]检测模块92，用于对上述图像进行检测，获取上述图像中的座位和人体；[0090]坐标确定模块93，用于确定上述座位与地面接触点的第一像素坐标，以及确定上述人体的脚与地面接触点的第二像素坐标；以及根据第一像素坐标，确定上述座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，确定上述人体的脚与地面接触点在地平面坐标系的第二坐标；[0091]空座率确定模块94，用于根据第一坐标确定上述目标场所内当前的座位数，以及根据第二坐标确定上述目标场所内当前的用户数；以及根据上述座位数和上述用户数，确定上述目标场所当前的空座率。[0092]图9所示实施例提供的空座率的确定装置可用于执行本说明书图1所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。[0093]图10为本说明书另一个实施例提供的空座率的确定装置的结构示意图，与图9所示的空座率的确定装置相比，图10所示的空座率的确定装置中，坐标确定模块93可以包括：坐标提取子模块931、计算子模块932和重建子模块933；[0094]其中，坐标提取子模块931，用于通过检测上述图像中的直线段，提取上述图像中的正交消失点的坐标；[0095]计算子模块932，用于根据上述正交消失点的坐标计算上述摄像头的焦距和外参矩阵；以及根据上述外参矩阵和上述摄像头距离地面的高度，获得上述图像与上述摄像头坐标系的变化矩阵；[0096]重建子模块933，用于根据第一像素坐标和第二像素坐标，以及上述摄像头的焦距和上述变化矩阵，进行三维语义重建，以确定第一坐标和第二坐标。[0097]进一步地，上述空座率的确定装置还可以包括：提取模块95、匹配模块96和场景拼接模块97；[0098]其中，提取模块95，用于当上述摄像头的数量为至少两个时，在获取模块91获取摄像头采集的目标场所内的图像之后，从至少两个摄像头采集的图像中提取特征点；[0099]匹配模块96，用于将提取模块95提取的上述特征点进行匹配，获得特征点匹配对；[0100]场景拼接模块97，用于根据上述特征点匹配对，确定至少两个摄像头之间的变换关系，以将上述至少两个摄像头采集的图像进行场景拼接。[0101]进一步地，上述空座率的确定装置还可以包括：保留模块98；[0102]保留模块98，用于当上述座位所处区域内检测获得至少两个第一坐标时，对至少两个第一坐标进行非极大值抑制处理，保留上述座位所处区域内置信度最高的第一坐标，作为上述座位与地面接触点在地平面坐标系的坐标；和/或，当上述人体所处区域内检测获得至少两个第二坐标时，对至少两个第二坐标进行非极大值抑制处理，保留上述人体所处区域内置信度最高的第二坐标，作为上述人体的脚与地面接触点在地平面坐标系的坐标。[0103]本实施例中，第一坐标可以包括对当前时刻之前的连续n帧图像中的第一座位进行检测，获得的第一座位的至少两个坐标；进一步地，上述空座率的确定装置还可以包括：保留模块98；[0104]保留模块98，用于在坐标确定模块93根据第一像素坐标，确定上述座位与地面接触点在地平面坐标系的第一坐标之后，对上述第一座位的至少两个坐标进行非极大值抑制处理，保留第一座位的至少两个坐标中置信度最高的坐标，作为上述第一座位与地面接触点在地平面坐标系的坐标。[0105]图10所示实施例提供的空座率的确定装置可用于执行本技术图1～图8所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。[0106]图11为本说明书一个实施例提供的电子设备的结构示意图，如图11所示，上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本说明书图1～图8所示实施例提供的空座率的确定方法。[0107]其中，上述电子设备可以为服务器，上述服务器可以设置在云端，本实施例对上述电子设备的形式不作限定。[0108]图11示出了适于用来实现本说明书实施方式的示例性电子设备的框图。图11显示的电子设备仅仅是一个示例，不应对本说明书实施例的功能和使用范围带来任何限制。[0109]如图11所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器410，通信接口420，存储器430，以及连接不同组件(包括存储器430、通信接口420和处理单元410)的通信总线440。[0110]通信总线440表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，或者使用多种总线结构中的任意总线结构的局域总线。举例来说，通信总线440可以包括但不限于工业标准体系结构(industrystandardarchitecture，isa)总线，微通道体系结构(microchannelarchitecture，mac)总线，增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation，vesa)局域总线以及外围组件互连(peripheralcomponentinterconnection，pci)总线。[0111]电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。[0112]存储器430可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory，ram)和/或高速缓存存储器。存储器430可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本说明书图1～图8所示实施例的功能。[0113]具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器430中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书图1～图8所描述的实施例中的功能和/或方法。[0114]处理器410通过运行存储在存储器430中的程序，从而执行各种功能应用以及数据处理，例如实现本说明书图1～图8所示实施例提供的空座率的确定方法。[0115]本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书图1～图8所示实施例提供的空座率的确定方法。[0116]上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(readonlymemory，rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)或闪存、光纤、便携式紧凑磁盘只读存储器(cd‑rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。[0117]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。[0118]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、射频(radiofrequency，rf)等等，或者上述的任意合适的组合。[0119]可以以一种或多种程序设计语言或其组合来编写用于执行本说明书操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(localareanetwork，lan)或广域网(wideareanetwork，wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。[0120]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。[0121]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。[0122]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。[0123]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属
技术领域：
：的技术人员所理解。[0124]取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。[0125]需要说明的是，本说明书实施例中所涉及的终端可以包括但不限于个人计算机(personalcomputer，pc)、个人数字助理(personaldigitalassistant，pda)、无线手持设备、平板电脑(tabletcomputer)、手机、mp3播放器、mp4播放器等。[0126]在本说明书所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。[0127]另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。[0128]上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁碟或者光盘等各种可以存储程序代码的介质。[0129]以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。当前第1页12当前第1页12
技术领域：
：】1.本说明书实施例涉及互联网
技术领域：
：，尤其涉及一种空座率的确定方法、装置和电子设备。
背景技术：
：：2.目前的餐饮业中，用户一般不知道附近店铺的详细就餐人数和客流高峰时段，只能通过历史经验粗略估计各个店铺的火爆程度，然后结合当前的时间安排和/或口感偏好，以及到店后的实际情况进行评估，最终挑选一家比较满意的店铺就餐。这样，难免出现用户到店后长时等待或更换首选店铺的情况。3.为了解决用户到店后长时等待或更换首选店铺的问题，可以将各个店铺的实时空座率和客流高峰时段，按照用户偏好进行排序，用实时地图数据的形式展示给用户。一方面，实时空座率可以帮助用户根据自身需要选择适合的店铺，在用户到店前形成数字化的最优决策，而不是基于历史经验的模糊决策；另一方面，对店铺而言，可以根据实时空座率优化服务效率，还可以与外卖和/或优惠券等结合，延长高峰时长。4.因此，需要提供一种空座率的确定方法，来确定店铺的实时空座率。技术实现要素：5.本说明书实施例提供了一种空座率的确定方法、装置和电子设备，以实现根据目标场所内设置的摄像头拍摄的图像，确定上述目标场所的实时空座率，进而优化目标场所的服务效率。6.第一方面，本说明书实施例提供一种空座率的确定方法，应用于服务器，所述空座率的确定方法包括：获取摄像头采集的目标场所内的图像；其中，所述摄像头设置在所述目标场所内；对所述图像进行检测，获取所述图像中的座位和人体；确定所述座位与地面接触点的第一像素坐标，以及确定所述人体的脚与地面接触点的第二像素坐标；根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标，以及根据所述第二像素坐标，确定所述人体的脚与地面接触点在地平面坐标系的第二坐标；根据所述第一坐标确定所述目标场所内当前的座位数，以及根据所述第二坐标确定所述目标场所内当前的用户数；根据所述座位数和所述用户数，确定所述目标场所当前的空座率。7.上述空座率的确定方法中，服务器获取摄像头采集的目标场所内的图像之后，对上述图像进行检测，获取上述图像中的座位和人体，然后确定上述座位与地面接触点的第一像素坐标，以及确定人体的脚与地面接触点的第二像素坐标，根据第一像素坐标，确定座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，确定人体的脚与地面接触点在地平面坐标系的第二坐标，最后根据第一坐标确定目标场所内当前的座位数，以及根据第二坐标确定上述目标场所内当前的用户数，根据上述座位数和上述用户数，确定上述目标场所当前的空座率，从而可以实现根据目标场所内设置的摄像头拍摄的图像，确定上述目标场所的实时空座率，进而优化目标场所的服务效率；并且，上述方法利用目标场所内已有的摄像头拍摄图像，无需在目标场所门口安装客流计，降低了安装和供电方面的施工难度，适用性较高。8.其中一种可能的实现方式中，所述根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标，以及根据所述第二像素坐标，确定所述人体的脚与地面接触点在地平面坐标系的第二坐标包括：通过检测所述图像中的直线段，提取所述图像中的正交消失点的坐标；根据所述正交消失点的坐标计算所述摄像头的焦距和外参矩阵；根据所述外参矩阵和所述摄像头距离地面的高度，获得所述图像与所述摄像头坐标系的变化矩阵；根据所述第一像素坐标和所述第二像素坐标，以及所述摄像头的焦距和所述变化矩阵，进行三维语义重建，以确定所述第一坐标和所述第二坐标。9.其中一种可能的实现方式中，所述摄像头的数量为至少两个；所述获取摄像头采集的目标场所内的图像之后，还包括：从所述至少两个摄像头采集的图像中提取特征点；将提取的所述特征点进行匹配，获得特征点匹配对；根据所述特征点匹配对，确定所述至少两个摄像头之间的变换关系，以将所述至少两个摄像头采集的图像进行场景拼接。10.其中一种可能的实现方式中，所述根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标，以及根据所述第二像素坐标，确定所述人体的脚与地面接触点在地平面坐标系的第二坐标之后，还包括：当所述座位所处区域内检测获得至少两个第一坐标时，对所述至少两个第一坐标进行非极大值抑制处理，保留所述座位所处区域内置信度最高的第一坐标，作为所述座位与地面接触点在地平面坐标系的坐标；和/或，当所述人体所处区域内检测获得至少两个第二坐标时，对所述至少两个第二坐标进行非极大值抑制处理，保留所述人体所处区域内置信度最高的第二坐标，作为所述人体的脚与地面接触点在地平面坐标系的坐标。11.其中一种可能的实现方式中，所述第一坐标包括对当前时刻之前的连续n帧图像中的第一座位进行检测，获得的所述第一座位的至少两个坐标；所述根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标之后，还包括：对所述第一座位的至少两个坐标进行非极大值抑制处理，保留所述第一座位的至少两个坐标中置信度最高的坐标，作为所述第一座位与地面接触点在地平面坐标系的坐标。12.第二方面，本说明书实施例提供一种空座率的确定装置，包括：获取模块，用于获取摄像头采集的目标场所内的图像；其中，所述摄像头设置在所述目标场所内；检测模块，用于对所述图像进行检测，获取所述图像中的座位和人体；坐标确定模块，用于确定所述座位与地面接触点的第一像素坐标，以及确定所述人体的脚与地面接触点的第二像素坐标；以及根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标，以及根据所述第二像素坐标，确定所述人体的脚与地面接触点在地平面坐标系的第二坐标；空座率确定模块，用于根据所述第一坐标确定所述目标场所内当前的座位数，以及根据所述第二坐标确定所述目标场所内当前的用户数；以及根据所述座位数和所述用户数，确定所述目标场所当前的空座率。13.其中一种可能的实现方式中，所述坐标确定模块包括：坐标提取子模块，用于通过检测所述图像中的直线段，提取所述图像中的正交消失点的坐标；计算子模块，用于根据所述正交消失点的坐标计算所述摄像头的焦距和外参矩阵；以及根据所述外参矩阵和所述摄像头距离地面的高度，获得所述图像与所述摄像头坐标系的变化矩阵；重建子模块，用于根据所述第一像素坐标和所述第二像素坐标，以及所述摄像头的焦距和所述变化矩阵，进行三维语义重建，以确定所述第一坐标和所述第二坐标。14.其中一种可能的实现方式中，所述装置还包括：提取模块，用于当所述摄像头的数量为至少两个时，在所述获取模块获取摄像头采集的目标场所内的图像之后，从所述至少两个摄像头采集的图像中提取特征点；匹配模块，用于将所述提取模块提取的所述特征点进行匹配，获得特征点匹配对；场景拼接模块，用于根据所述特征点匹配对，确定所述至少两个摄像头之间的变换关系，以将所述至少两个摄像头采集的图像进行场景拼接。15.其中一种可能的实现方式中，所述装置还包括：保留模块，用于当所述座位所处区域内检测获得至少两个第一坐标时，对所述至少两个第一坐标进行非极大值抑制处理，保留所述座位所处区域内置信度最高的第一坐标，作为所述座位与地面接触点在地平面坐标系的坐标；和/或，当所述人体所处区域内检测获得至少两个第二坐标时，对所述至少两个第二坐标进行非极大值抑制处理，保留所述人体所处区域内置信度最高的第二坐标，作为所述人体的脚与地面接触点在地平面坐标系的坐标。16.其中一种可能的实现方式中，所述第一坐标包括对当前时刻之前的连续n帧图像中的第一座位进行检测，获得的所述第一座位的至少两个坐标；所述装置还包括：保留模块，用于在所述坐标确定模块根据所述第一像素坐标，确定所述座位与地面接触点在地平面坐标系的第一坐标之后，对所述第一座位的至少两个坐标进行非极大值抑制处理，保留所述第一座位的至少两个坐标中置信度最高的坐标，作为所述第一座位与地面接触点在地平面坐标系的坐标。17.第三方面，本说明书实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。18.第四方面，本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的方法。19.应当理解的是，本说明书实施例的第二～四方面与本说明书实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。【附图说明】20.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。21.图1为本说明书一个实施例提供的空座率的确定方法的流程图；22.图2为本说明书一个实施例提供的目标场所内的图像的示意图；23.图3为本说明书一个实施例提供的检测座位和人体的图像的示意图；24.图4为本说明书另一个实施例提供的空座率的确定方法的流程图；25.图5为本说明书一个实施例中提供的图像处理的示意图；26.图6为本说明书再一个实施例提供的空座率的确定方法的流程图；27.图7为本说明书再一个实施例提供的空座率的确定方法的流程图；28.图8为本说明书另一个实施例中提供的图像处理的示意图；29.图9为本说明书一个实施例提供的空座率的确定装置的结构示意图；30.图10为本说明书另一个实施例提供的空座率的确定装置的结构示意图；31.图11为本说明书一个实施例提供的电子设备的结构示意图。【具体实施方式】32.为了更好的理解本说明书的技术方案，下面结合附图对本说明书实施例进行详细描述。33.应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。34.在本说明书实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。35.为了解决用户到店后长时等待或更换首选店铺的问题，可以将各个店铺的实时空座率和客流高峰时段，按照用户偏好进行排序，用实时地图数据的形式展示给用户。36.现有相关技术中提供了两种统计空座率的方法：37.1)座位扫码：采用扫码点餐的方式实时统计店内当前就餐人数，结合预先人工计数的总座位数，得到当前的店内空座率。该方案中，实际就餐人数由店铺的服务人员输入，准确度受人为因素较大，同时也增加了服务人员的工作量；38.2)客流计数：采用红外线扫描仪和/或摄像头等客流计在店面门口进行客流量统计，结合预先人工计数的总座位数，得到当前店内空座率。该方案受多人同时进/出、多个出入口和/或遮挡等问题的影响，人数统计精度有限，且上述客流计一般放置于门口，对设备安装和/或供电等的要求较高。39.本说明书实施例提供一种空座率的确定方法，通过对摄像头(例如：监控摄像头)拍摄的图像进行消失点检测，完成相机位姿的自动标定，从而实现座椅和人体的三维语义重建。根据室内布局对座位和人体进行非极大值抑制和点位聚合，提升座椅检测和人体检测精度，进而提高了实时空座率精度。40.上述空座率的确定方法，可以利用目标场所内设置的监控摄像头拍摄图像，根据上述图像，通过曼哈顿假设，实现相机位姿的自动标定，进而结合深度学习检测算法和逆透视变换对室内语义信息进行三维重建，从而估计店内空座率，无需人工登记，也无需在门口安装客流计，相比现有方案有较大的效率优势和部署优势。41.图1为本说明书一个实施例提供的空座率的确定方法的流程图，上述空座率的确定方法可以应用于服务器，如图1所示，上述空座率的确定方法可以包括：42.步骤102，获取摄像头采集的目标场所内的图像；其中，上述摄像头设置在上述目标场所内。43.具体地，上述摄像头可以为设置在上述目标场所内的监控摄像头，这样，服务器可以直接获取目标场所内的监控摄像头采集的图像，采集的图像可以如图2所示，图2为本说明书一个实施例提供的目标场所内的图像的示意图。44.步骤104，对上述图像进行检测，获取上述图像中的座位和人体。45.具体地，可以通过深度学习方法检测上述图像中的座位，例如：椅子或沙发等。其中，上述用于检测座位的深度学习方法可以包括：yolo、单激发多盒探测(singleshotmultiboxdetector，ssd)、快速区域卷积神经网络(fasterregionconvolutionalneuralnetwork，fasterrcnn)和/或屏蔽区域卷积神经网络(maskregionconvolutionalneuralnetwork，maskrcnn)等。46.同样，也可以通过深度学习方法检测上述图像中的人体，其中，可用于检测人体的深度学习方法可以包括：yolo、ssd、fasterrcnn和/或maskrcnn等。47.具体实现时，以图2为例，在对图2所示图像中的座位和人体进行检测之后，可以获得如图3所示的图像，图3为本说明书一个实施例提供的检测座位和人体的图像的示意图。48.步骤106，确定上述座位与地面接触点的第一像素坐标，以及确定人体的脚与地面接触点的第二像素坐标。49.步骤108，根据第一像素坐标，确定座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，确定人体的脚与地面接触点在地平面坐标系的第二坐标。50.具体地，服务器可以根据第一像素坐标，通过逆透视变换确定上述座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，通过逆透视变换确定上述人体的脚与地面接触点在地平面坐标系的第二坐标。51.步骤110，根据第一坐标确定目标场所内当前的座位数，以及根据所述第二坐标确定所述目标场所内当前的用户数。52.步骤112，根据上述座位数和上述用户数，确定上述目标场所当前的空座率。53.具体地，可以先计算座位数减去用户数的差值，该差值为目标场所当前空座位的数量，然后，再计算当前空座位的数量除以上述座位数的商，该商值即为上述目标场所当前的空座率。54.上述空座率的确定方法中，服务器获取摄像头采集的目标场所内的图像之后，对上述图像进行检测，获取上述图像中的座位和人体，然后确定上述座位与地面接触点的第一像素坐标，以及确定人体的脚与地面接触点的第二像素坐标，根据第一像素坐标，确定座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，确定人体的脚与地面接触点在地平面坐标系的第二坐标，最后根据第一坐标确定目标场所内当前的座位数，以及根据第二坐标确定上述目标场所内当前的用户数，根据上述座位数和上述用户数，确定上述目标场所当前的空座率，从而可以实现根据目标场所内设置的摄像头拍摄的图像，确定上述目标场所的实时空座率，进而优化目标场所的服务效率；并且，上述方法利用目标场所内已有的摄像头拍摄图像，无需在目标场所门口安装客流计，降低了安装和供电方面的施工难度，适用性较高。55.图4为本说明书另一个实施例提供的空座率的确定方法的流程图，如图4所示，本说明书图1所示实施例中，步骤108可以包括：56.步骤402，通过检测上述图像中的直线段，提取上述图像中的正交消失点的坐标。57.步骤404，根据上述正交消失点的坐标计算上述摄像头的焦距和外参矩阵。58.具体地，可以通过检测图像上的直线段，提取图像上的三个正交消失点坐标(u1v1)、(u2v2)、(u3v3)，根据消失点坐标解算相机焦距和外参矩阵。59.其中，相机焦距f的计算方式可以如式(1)所示：[0060][0061]外参矩阵r的计算过程可以如式(2)和式(3)所示：[0062][0063]r＝r0/‖r0‖ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(3)[0064]式(1)～式(3)中，(u0v0)为上述图像中心点的像素坐标，即分别为上述图像的宽和高的一半。[0065]步骤406，根据上述外参矩阵和上述摄像头距离地面的高度，获得上述图像与上述摄像头坐标系的变化矩阵。[0066]具体地，根据步骤404得到的外参矩阵和预先获得的上述摄像头距离地面的高度h(室内一般取2.5m～3.5m之间)，可以得到上述图像与上述摄像头坐标系的变化矩阵[r|t]，如式(4)所示。[0067][0068]步骤408，根据第一像素坐标和第二像素坐标，以及上述摄像头的焦距和上述变化矩阵，进行三维语义重建，以确定第一坐标和第二坐标。[0069]具体地，在获得上述摄像头的焦距和上述变化矩阵之后，结合第一像素坐标和第二像素坐标，就可以进行三维语义重建。[0070]举例来说，假设检测物体的像素坐标(第一像素坐标或第二像素坐标)为(uv)，其地平面坐标为pw＝[xwyw0]t，上标w表示地平坐标系；则三维语义重建的计算过程可以如式(5)所示。[0071][0072]式(5)中，(uv)为图像中检测物体的像素坐标；pc表示摄像头坐标系下的三维坐标；s表示尺度因子。[0073]本实施例对摄像头自标定和逆透视变换的过程进行描述，上述两个过程的图像处理的示意图可以如图5所示，图5为本说明书一个实施例中提供的图像处理的示意图。[0074]图6为本说明书再一个实施例提供的空座率的确定方法的流程图，本实施例中，上述摄像头的数量可以为至少两个；这样，如图6所示，本说明书图1所示实施例中，步骤102之后，还可以包括：[0075]步骤602，从上述至少两个摄像头采集的图像中提取特征点。[0076]步骤604，将提取的上述特征点进行匹配，获得特征点匹配对。[0077]步骤606，根据上述特征点匹配对，确定至少两个摄像头之间的变换关系，以将上述至少两个摄像头采集的图像进行场景拼接。[0078]具体地，上述特征点可以为尺度不变特征变换(scale‑invariantfeaturetransform，sift)特征点，从上述至少两个摄像头采集的图像中提取sift特征点并进行匹配，获得多组二维(twodimension，2d)特征点匹配对，再通过极线约束从上述多组2d特征点匹配对中求解出至少两个摄像头之间的变换关系，从而实现多图像的场景拼接。[0079]图7为本说明书再一个实施例提供的空座率的确定方法的流程图，如图7所示，本说明书图1所示实施例中，步骤108之后，还可以包括：[0080]步骤702，当上述座位所处区域内检测获得至少两个第一坐标时，则对上述至少两个第一坐标进行非极大值抑制处理，保留上述座位所处区域内置信度最高的第一坐标，作为上述座位与地面接触点在地平面坐标系的坐标；和/或，当上述人体所处区域内检测获得至少两个第二坐标时，则对上述至少两个第二坐标进行非极大值抑制处理，保留上述人体所处区域内置信度最高的第二坐标，作为上述人体的脚与地面接触点在地平面坐标系的坐标。[0081]也就是说，具体实现时，由于座位和人体的检测算法可能存在误检，导致多个座位或人体堆叠在一起，通过对每一个检测目标重建的三维坐标进行非极大值抑制，对于同一类型检测目标仅保留范围内检测置信度最高的一个，这时的图像处理示意图可以如图8所示，图8为本说明书另一个实施例中提供的图像处理的示意图。[0082]其中，非极大值抑制：soft‑nms(non‑maximumsuppression)，是一种去除非极大值的算法，常用于计算机视觉中的检测和/或识别算法。[0083]另外，本说明书图1所示实施例中，第一坐标可以包括对当前时刻之前的连续n帧图像中的第一座位进行检测，获得的第一座位的至少两个坐标；这样，根据第一像素坐标，确定上述座位与地面接触点在地平面坐标系的第一坐标之后，服务器还可以对上述第一座位的至少两个坐标进行非极大值抑制处理，保留第一座位的至少两个坐标中置信度最高的坐标，作为第一座位与地面接触点在地平面坐标系的坐标。其中，n>1，n为正整数，本实施例对n的大小不作限定，举例来说，n可以为10。[0084]也就是说，具体实现时，由于对座位的检测可能存在漏检，需要对连续多帧图像中同一点位的检测结果进行聚合，具体可以为：对于最近10帧中所有出现过的检测目标均做保留，如果同一目标多次重复出现，则对最近10帧中该目标的坐标进行非极大值抑制处理，保留置信度最高的坐标。[0085]本说明书实施例提供的空座率的确定方法中，首先利用深度学习算法检测出图像中的座位和人体，然后通过摄像头自标定、逆透视变换和场景拼接实现座位和人体的三维重建，最后通过后处理算法提高空座率的准确度。一方面，全程无需人工参与，提高了目标场所的服务效率，另一方面利用已有监控摄像头作为传感器部分，无需在门口安装客流计，降低了安装和供电方面的施工难度，有利于规模化部署。[0086]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。[0087]图9为本说明书一个实施例提供的空座率的确定装置的结构示意图，如图9所示，上述空座率的确定装置可以包括：获取模块91、检测模块92、坐标确定模块93和空座率确定模块94；[0088]其中，获取模块91，用于获取摄像头采集的目标场所内的图像；其中，上述摄像头设置在上述目标场所内；[0089]检测模块92，用于对上述图像进行检测，获取上述图像中的座位和人体；[0090]坐标确定模块93，用于确定上述座位与地面接触点的第一像素坐标，以及确定上述人体的脚与地面接触点的第二像素坐标；以及根据第一像素坐标，确定上述座位与地面接触点在地平面坐标系的第一坐标，以及根据第二像素坐标，确定上述人体的脚与地面接触点在地平面坐标系的第二坐标；[0091]空座率确定模块94，用于根据第一坐标确定上述目标场所内当前的座位数，以及根据第二坐标确定上述目标场所内当前的用户数；以及根据上述座位数和上述用户数，确定上述目标场所当前的空座率。[0092]图9所示实施例提供的空座率的确定装置可用于执行本说明书图1所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。[0093]图10为本说明书另一个实施例提供的空座率的确定装置的结构示意图，与图9所示的空座率的确定装置相比，图10所示的空座率的确定装置中，坐标确定模块93可以包括：坐标提取子模块931、计算子模块932和重建子模块933；[0094]其中，坐标提取子模块931，用于通过检测上述图像中的直线段，提取上述图像中的正交消失点的坐标；[0095]计算子模块932，用于根据上述正交消失点的坐标计算上述摄像头的焦距和外参矩阵；以及根据上述外参矩阵和上述摄像头距离地面的高度，获得上述图像与上述摄像头坐标系的变化矩阵；[0096]重建子模块933，用于根据第一像素坐标和第二像素坐标，以及上述摄像头的焦距和上述变化矩阵，进行三维语义重建，以确定第一坐标和第二坐标。[0097]进一步地，上述空座率的确定装置还可以包括：提取模块95、匹配模块96和场景拼接模块97；[0098]其中，提取模块95，用于当上述摄像头的数量为至少两个时，在获取模块91获取摄像头采集的目标场所内的图像之后，从至少两个摄像头采集的图像中提取特征点；[0099]匹配模块96，用于将提取模块95提取的上述特征点进行匹配，获得特征点匹配对；[0100]场景拼接模块97，用于根据上述特征点匹配对，确定至少两个摄像头之间的变换关系，以将上述至少两个摄像头采集的图像进行场景拼接。[0101]进一步地，上述空座率的确定装置还可以包括：保留模块98；[0102]保留模块98，用于当上述座位所处区域内检测获得至少两个第一坐标时，对至少两个第一坐标进行非极大值抑制处理，保留上述座位所处区域内置信度最高的第一坐标，作为上述座位与地面接触点在地平面坐标系的坐标；和/或，当上述人体所处区域内检测获得至少两个第二坐标时，对至少两个第二坐标进行非极大值抑制处理，保留上述人体所处区域内置信度最高的第二坐标，作为上述人体的脚与地面接触点在地平面坐标系的坐标。[0103]本实施例中，第一坐标可以包括对当前时刻之前的连续n帧图像中的第一座位进行检测，获得的第一座位的至少两个坐标；进一步地，上述空座率的确定装置还可以包括：保留模块98；[0104]保留模块98，用于在坐标确定模块93根据第一像素坐标，确定上述座位与地面接触点在地平面坐标系的第一坐标之后，对上述第一座位的至少两个坐标进行非极大值抑制处理，保留第一座位的至少两个坐标中置信度最高的坐标，作为上述第一座位与地面接触点在地平面坐标系的坐标。[0105]图10所示实施例提供的空座率的确定装置可用于执行本技术图1～图8所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。[0106]图11为本说明书一个实施例提供的电子设备的结构示意图，如图11所示，上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本说明书图1～图8所示实施例提供的空座率的确定方法。[0107]其中，上述电子设备可以为服务器，上述服务器可以设置在云端，本实施例对上述电子设备的形式不作限定。[0108]图11示出了适于用来实现本说明书实施方式的示例性电子设备的框图。图11显示的电子设备仅仅是一个示例，不应对本说明书实施例的功能和使用范围带来任何限制。[0109]如图11所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器410，通信接口420，存储器430，以及连接不同组件(包括存储器430、通信接口420和处理单元410)的通信总线440。[0110]通信总线440表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，或者使用多种总线结构中的任意总线结构的局域总线。举例来说，通信总线440可以包括但不限于工业标准体系结构(industrystandardarchitecture，isa)总线，微通道体系结构(microchannelarchitecture，mac)总线，增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation，vesa)局域总线以及外围组件互连(peripheralcomponentinterconnection，pci)总线。[0111]电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。[0112]存储器430可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory，ram)和/或高速缓存存储器。存储器430可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本说明书图1～图8所示实施例的功能。[0113]具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器430中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书图1～图8所描述的实施例中的功能和/或方法。[0114]处理器410通过运行存储在存储器430中的程序，从而执行各种功能应用以及数据处理，例如实现本说明书图1～图8所示实施例提供的空座率的确定方法。[0115]本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书图1～图8所示实施例提供的空座率的确定方法。[0116]上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(readonlymemory，rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)或闪存、光纤、便携式紧凑磁盘只读存储器(cd‑rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。[0117]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。[0118]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、射频(radiofrequency，rf)等等，或者上述的任意合适的组合。[0119]可以以一种或多种程序设计语言或其组合来编写用于执行本说明书操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(localareanetwork，lan)或广域网(wideareanetwork，wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。[0120]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。[0121]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。[0122]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。[0123]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属
技术领域：
：的技术人员所理解。[0124]取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。[0125]需要说明的是，本说明书实施例中所涉及的终端可以包括但不限于个人计算机(personalcomputer，pc)、个人数字助理(personaldigitalassistant，pda)、无线手持设备、平板电脑(tabletcomputer)、手机、mp3播放器、mp4播放器等。[0126]在本说明书所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。[0127]另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。[0128]上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁碟或者光盘等各种可以存储程序代码的介质。[0129]以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
