一种基于图像处理的自动售卖机识别系统及其识别方法与流程

技术特征：
1.一种基于图像处理的自动售卖机识别系统，其特征在于，包括：授权端，用于获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；监控端，用于基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；结算端，用于基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作。2.根据权利要求1所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述授权端，包括：指令接收模块，用于基于设置在所述自动售卖机外部的触摸显示屏，接收所述买家输入的购买请求指令；图像获取模块，用于当接收到所述购买请求指令时，获取所述自动售卖机前预设范围内的所有高清人脸图像；授权认证模块，用于基于所述购买请求指令和所有高清人脸图像对所述买家进行授权认证，获得授权认证结果。3.根据权利要求2所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述图像获取模块，包括：图像获取单元，用于当接收到所述购买请求指令时，获取所述自动售卖机前预设范围内的所有人员图像；动态追踪单元，用于对所述人员图像进行动态追踪，获得每个人员图像的动态追踪视频；脸部识别单元，用于基于所述动态追踪视频识别出所述自动售卖机前预设范围内的所有高清人脸图像。4.根据权利要求3所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述脸部识别单元，包括：脸部确定子单元，用于在所述动态追踪视频中识别出每个人员图像的动态脸部视频，在所述动态脸部视频中的每个脸部图像帧中确定出脸部区域和脸部轮廓；框架确定子单元，用于确定出预设骨点列表中包含的定位骨点在所述脸部区域中对应的骨点位置，基于定位骨点之间的预设连接关系，将所述脸部区域中包含的骨点位置进行连接，获得所述脸部区域对应的骨点分布框架；角度确定子单元，用于将所述骨点分布框架与标准骨点分布立体框架进行环绕匹配，确定出所述脸部区域的拍摄角度；最佳确定子单元，用于判断每个拍摄角度对应的脸部区域是否不止一个，若是，则获取对应拍摄角度的脸部区域集合和脸部轮廓集合，并基于所述脸部区域集合和所述脸部轮廓集合拟合出对应拍摄角度的最佳脸部区域和最佳脸部轮廓，否则，将对应的脸部区域作为对应拍摄角度的最佳脸部区域，同时，将对应的脸部轮廓作为对应拍摄角度的最佳脸部轮廓；区域确定子单元，用于基于所述拍摄角度和所述标准骨点分布立体框架中的变幅较小区域，确定出所述最佳脸部区域中的第一变幅较小区域；
五官确定子单元，用于将所述最佳脸部区域中除所述第一变幅较小区域以外剩余的区域当作五官区域，识别出所述五官区域中的五官轮廓，基于所述五官轮廓和所述五官区域中包含的骨点位置，计算出所述五官区域的运动幅度，将最小运动幅度对应的五官区域作为对应拍摄角度的最佳五官区域；模型还原子单元，用于基于每个拍摄角度对应的最佳脸部轮廓对所述标准骨点分布立体框架进行轮廓还原，并基于每个拍摄角度对应的第一变幅较小区域和对应的最佳五官区域对所述标准骨点分布立体框架进行局部还原，获得对应人员图像的脸部立体模型；图像处理子单元，用于在所述动态脸部视频中筛选出每个人员图像对应的最佳脸部图像，基于对应的脸部立体模型对所述最佳脸部图像进行局部还原，获得所述自动售卖机前预设范围内的高清人脸图像。5.根据权利要求2所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述授权认证模块，包括：终端确定单元，用于基于所述购买请求指令确定出授权认证终端；指令发送单元，用于基于所有高清人脸图像和所述购买请求指令生成授权认证指令，并将所述授权认证指令发送至所述授权认证终端；账号确定单元，用于接收来自所述授权认证终端的授权认证反馈指令，基于所述授权认证反馈指令确定出所述买家的买家脸部图像和自动扣款账号；授权认证单元，用于基于所述自动扣款账号对所述买家进行授权认证，并结合所述买家脸部图像，获得授权认证结果。6.根据权利要求5所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述授权认证单元，包括：余额获取子单元，用于获取所述自动扣款账号内的可扣款余额；授权认证子单元，用于当所述可扣款余额不低于可授权余额时，则将所述买家通过授权认证和所述买家脸部图像作为授权认证结果，否则，将所述买家未通过授权认证作为授权认证结果，并向所述授权认证终端发送授权认证未通过提示指令。7.根据权利要求1所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述监控端，包括：开启控制模块，用于当所述授权认证结果为所述买家通过授权认证时，则控制所述自动售卖机开启购买窗口；脸部获取模块，用于当所述授权认证结果为所述买家通过授权认证时，则基于所述授权认证结果获取所述买家的买家脸部图像；视频筛选模块，用于基于设置在所述自动售卖机内部的摄像头获取内部拿取视频，基于所述买家脸部图像在所述内部拿取视频中筛选出所述买家在所述自动售卖机中拿取商品的全程视频。8.根据权利要求1所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述结算端，包括：商品识别模块，用于在所述全程视频中识别出本次购买过程的待结算商品；订单商品模块，用于基于所述待结算商品生成待结算订单；自动结算模块，用于基于所述授权认证结果获取对应买家账户的扣款权限，基于所述
扣款权限和所述待结算订单在所述买家账户进行自动扣款操作。9.根据权利要求8所述的一种基于图像处理的自动售卖机识别系统，其特征在于，所述商品识别模块，包括：区域追踪单元，用于确定出所述全程视频中相邻视频帧之间的差异区域，基于所述全程视频对所述差异区域进行视频追踪，获得差异区域序列；权重确定单元，用于将所述差异区域序列和所述全程视频进行帧对齐处理，获得对应的对齐结果，基于所述对齐结果确定出所述差异区域序列最末帧与所述全程视频最末帧之间的帧间隔，基于所述差异区域序列的帧总数和所述帧间隔确定出对应的差异区域的筛选权重；轮廓还原单元，用于将筛选权重不小于权重阈值的差异区域序列作为对应的疑似商品区域序列，对所述疑似商品区域序列中的疑似商品区域进行边缘提取，获得对应的疑似商品边缘集合，基于所述疑似商品边缘集合还原出对应的疑似商品立体轮廓；序列判别单元，用于计算出所述疑似商品轮廓和预设商品轮廓列表中包含的每个商品轮廓之间的匹配度，判断预设商品轮廓列表中是否存在与所述疑似商品轮廓的匹配度大于匹配度阈值的商品轮廓，若是，则将对应的疑似商品区域序列作为对应的待识别序列，否则，判定所述疑似商品区域序列不是待识别序列；矩阵确定单元，用于基于待识别序列中每个待识别区域对应的灰度分布数据确定出对应的灰度阈值，基于灰度阈值对对应待识别区域进行二值化处理，获得二值化区域序列，基于预设划分方式将所述二值化区域序列中每个二值化区域划分为多个待识别子区域，确定出所述待识别子区域的纹理渐变表征值，基于每个待识别子区域的纹理渐变表征值确定出所述二值化区域的纹理渐变特征矩阵；矩阵拼接单元，用于基于所述二值化区域序列的帧序列将所有二值化区域的纹理渐变特征矩阵进行排序，获得对应的纹理渐变特征矩阵序列，确定出纹理渐变特征矩阵序列中相邻纹理渐变特征矩阵之间的重叠部分，基于重叠部分和所述帧序列将纹理渐变特征矩阵序列中的所有纹理渐变特征矩阵进行拼接，获得对应的综合纹理渐变矩阵；商品确定单元，用于将与所述综合纹理渐变矩阵的相似度最大的标准纹理渐变矩阵对应的商品作为待结算商品。10.一种基于图像处理的自动售卖机识别方法，其特征在于，包括：s1：获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；s2：基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；s3：基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作。

技术总结
本发明提供了一种基于图像处理的自动售卖机识别系统及其识别方法，其识别系统包括：授权端，用于获取买家的高清人脸图像，基于所述高清人脸图像对所述买家进行授权认证，获得授权认证结果；监控端，用于基于所述授权认证结果控制所述自动售卖机开启购买窗口，并获取所述买家在所述自动售卖机中拿取商品的全程视频；结算端，用于基于在所述全程视频中识别出的待结算商品生成待结算订单，基于所述待结算订单和所述授权认证结果执行自动扣款操作；用以通过人脸识别功能和云端授权认证相结合，实现了对用户的人脸认证授权，再基于人脸动态识别拿取过程并生成对应买家的待结算订单，提高了交易效率，也使得交易过程更加智能。也使得交易过程更加智能。也使得交易过程更加智能。


技术研发人员：周梓荣 谢阳发
受保护的技术使用者：广东便捷神科技股份有限公司
技术研发日：2022.10.17
技术公布日：2023/1/13