一种餐饮厨余垃圾减量化分析方法及系统与流程
本发明属于计算机视觉与图像数据处理,具体为一种餐饮厨余垃圾减量化分析方法及系统。
背景技术:
1、餐饮厨余垃圾减量化分析通常以餐后图像识别、人工称重记录或二者结合的方式实施。采用图像识别时,常在餐盘回收区域获取餐后残余图像,利用目标检测或语义分割模型识别米饭、蔬菜、肉类、汤汁、骨壳等类别,再根据各类别在图像中的像素面积、轮廓尺度或预设单位面积重量换算残余数量。部分方案在采集图像时以餐盘边缘作为尺寸参照,对图像进行透视校正和尺度归一化,并通过颜色、纹理、边缘和形状特征区分不同残余物。采用人工称重时,通常将回收垃圾按餐次或类别集中称量,再结合菜品供应记录计算剩余比例。上述方案能够形成餐后厨余的总体统计结果,但其分析对象主要是餐后时刻的可见残余,识别结果与餐前供应菜品之间缺少实例级对应关系。当同一餐盘包含多种菜品,或者残余物在食用后出现破碎、浸润、混合和位置迁移时,单次餐后图像中的类别和数量难以直接对应至原始菜品,进而影响菜品级减量结果的形成。
2、另一类技术采用餐前图像与餐后图像对比计算剩余量。该类技术通常分别识别用餐前后的菜品区域,将两幅图像按照餐盘轮廓进行配准,再对相同位置区域的面积差、颜色差或分割掩膜差进行计算,以获得各区域的消耗比例。对于存在遮挡或位置变化的情况,常通过特征点匹配、区域重心校正或相似度搜索寻找餐前菜品与餐后残余之间的对应关系;对于骨、壳、核等不可食组分,则依据预设类别标签从残余总量中扣除。部分技术还通过深度估计或表面起伏分析,将二维面积转换为近似体积,以减小堆叠厚度差异造成的误差。然而,餐前菜品在食用后可能由完整块状转变为碎片、汁液附着或多食材混合状态,原有纹理和形状特征会发生变化,残余区域也可能跨越原菜品位置。仅依赖位置、外观相似度或面积差进行对应,容易产生跨菜品误配;仅使用预设扣除规则,又难以处理不可食组分与可食残余相互覆盖的情况。
3、在同一餐盘内多种菜品经食用后发生破碎、混合、浸润、遮挡及位置迁移的条件下,餐后残余的视觉特征与餐前供应状态之间缺少稳定的对应关系,导致残余来源和分配数量无法同时确定。单独使用餐后分类只能获得当前可见类别,不能判定残余属于哪一原始菜品;采用餐前餐后图像差分时,位置变化会使原菜品区域被误判为完全消耗,同时将迁移后的残余识别为其他菜品;采用外观相似度匹配时,食材状态变化会削弱匹配依据;采用像素面积或近似体积计算时,混合残余中各菜品的占比仍存在多个可行解。由于缺少以原始供应组成和数量为约束的统一关联与分配机制,识别结果可能出现同一残余被重复归属、可食残余被计入不可食组分或分配量超过原始供应量的情况,使菜品级厨余减量分析难以保持数量闭合和语义一致。
技术实现思路
1、本发明的目的在于提供一种餐饮厨余垃圾减量化分析方法及系统,可以解决上述背景技术中的问题。
2、为实现上述目的,本发明采取的技术方案为:
3、一种餐饮厨余垃圾减量化分析方法,包括:获取同一用餐对象对应的用餐前菜品图像和用餐后餐余图像,基于图像识别分别提取菜品实例、残余簇、食材组成区域及餐具边界,并按照所述餐具边界建立统一视觉尺度;
4、根据所述菜品实例形成初始供应语义图,根据所述残余簇形成残余语义图;
5、依据食材特征相似度、空间邻接关系和食材状态转变路径,在所述初始供应语义图与所述残余语义图之间构建候选关联图;
6、以菜品初始供应量为数量上限、以不可食组分为排除约束,对所述候选关联图中的混合残余进行语义守恒分配;
7、根据初始供应量、可食残余量、不可食残余量及视觉消耗量执行闭环校验,并输出各菜品对应的厨余减量化分析结果。
8、优选的,按照所述餐具边界建立统一视觉尺度,包括:对所述用餐前菜品图像和所述用餐后餐余图像分别提取餐具内缘轮廓,按照所述餐具内缘轮廓的主轴方向、尺度比例和局部曲率确定几何变换参数,将两幅图像映射至统一餐具坐标域;
9、在所述统一餐具坐标域内,对菜品实例和残余簇分别执行多尺度语义分割,并根据分割区域的纹理方向、颜色分布、边缘破碎度、表面起伏和空间占据比例生成节点特征;
10、依据节点之间的接触关系、包含关系和相对方位建立边特征,由所述节点特征和所述边特征分别构成所述初始供应语义图及所述残余语义图。
11、优选的,构建所述候选关联图,包括:针对每一菜品实例,从所述残余语义图中筛选食材类别相容且空间迁移范围满足预设餐具拓扑约束的残余簇;
12、将菜品实例的食材组成向量与所述残余簇的食材组成向量进行分量级匹配,并根据完整、破碎、浸润、剥离和混合状态之间的有向转变关系生成状态转变代价;
13、将纹理相似度、颜色偏移量、空间迁移代价、状态转变代价及食材共现一致性共同编码为候选边权值;
14、对共享同一残余簇的多个菜品实例设置竞争边,对属于同一菜品实例的多个残余簇设置聚合边,并由候选边、所述竞争边和所述聚合边形成所述候选关联图。
15、优选的,对所述混合残余进行语义守恒分配,包括:根据所述残余簇中各食材区域的可见比例、遮挡层级和形态完整度建立残余组成矩阵,根据各菜品实例的初始食材组成和初始供应量建立供应约束矩阵;
16、从所述残余组成矩阵中剔除与骨、壳、核及餐具附着物对应的不可食分量,并将剩余分量作为待分配可食残余;
17、以所述候选边权值确定各菜品实例对所述待分配可食残余的初始归属系数,以所述供应约束矩阵限定各归属系数对应的分配上界,通过满足食材类别守恒、供应数量守恒和残余总量守恒的联合约束求得各菜品实例对应的可食残余分配量。
18、优选的,所述表面起伏和空间占据比例的生成,包括:以所述餐具内缘轮廓为基准建立径向归一化网格,在所述径向归一化网格内计算菜品区域及残余区域的亮度梯度一致性、纹理尺度变化和边界收缩率,并将三者融合为相对起伏特征;
19、按照所述相对起伏特征对被遮挡区域进行连续表面补全,获得各菜品实例和残余簇的可见占据区域及推定占据区域;
20、利用所述餐具坐标域内的区域面积、相对起伏等级和遮挡层级构建视觉体积当量,并将所述视觉体积当量作为节点数量属性写入所述初始供应语义图和所述残余语义图。
21、优选的,所述状态转变代价的生成,包括:针对同一食材类别建立由完整形态节点、切分形态节点、破碎形态节点、浸润形态节点和混合形态节点组成的有向状态图,并根据所述用餐前菜品图像与所述用餐后餐余图像之间允许发生的形态变化设置有向边;
22、将所述菜品实例的初始形态映射至起始节点,将所述残余簇的当前形态映射至终止节点,搜索连接所述起始节点与所述终止节点的可行状态路径;
23、依据所述可行状态路径中的形态差异、纹理退化程度及与其他食材接触关系确定路径代价,并将最小路径代价与餐具拓扑迁移代价联合写入对应候选边权值。
24、优选的,所述联合约束求解,包括:对每一待分配可食残余设置与候选菜品实例对应的分配变量,并依据所述候选边权值生成所述分配变量的初始优先级;
25、按照食材类别守恒约束排除类别不相容的分配变量,按照供应数量守恒约束限制同一菜品实例的累计分配量,按照所述残余总量守恒约束限制同一残余簇的分配量之和;
26、当多个分配变量具有等价约束解时,根据候选边权值差异和视觉体积当量误差生成分配区间;
27、当约束解超出所述供应约束矩阵限定的分配上界时,回溯降低对应候选边权值并重新执行联合约束求解。
28、优选的,所述候选边权值还按照如下方式校正:从所述初始供应语义图中提取相邻菜品实例之间的第一拓扑子图,从所述残余语义图中提取相邻残余簇之间的第二拓扑子图;
29、针对每一候选边,将其连接的菜品实例与残余簇分别作为锚点,对所述第一拓扑子图和所述第二拓扑子图执行邻域映射,获得相邻食材类别、相对方位和接触次序的拓扑一致度;
30、对可行状态路径相同但拓扑一致度不同的候选边,按照所述拓扑一致度调整边权值;
31、再以调整后的候选边分别执行由所述菜品实例至所述残余簇和由所述残余簇至所述菜品实例的双向匹配,仅保留双向匹配结果一致的候选边。
32、优选的,所述重新执行联合约束求解,包括:记录导致分配上界被超出的菜品实例、残余簇及候选边,形成冲突集合;
33、按照所述冲突集合中各候选边的状态路径代价、拓扑迁移代价和视觉体积当量误差计算冲突贡献值,并优先削减所述冲突贡献值大的候选边权值;
34、基于削减后的候选边权值重新生成分配变量的优先级和分配区间,直至满足供应数量守恒和残余总量守恒;
35、对仍具有多个可行分配区间的残余簇,保留区间上下限并将相应区间传播至各菜品的可食残余量和视觉消耗量计算过程。
36、一种餐饮厨余垃圾减量化分析系统,包括:图像获取模块,用于获取同一用餐对象对应的用餐前菜品图像和用餐后餐余图像;
37、图像识别模块,用于从两类图像中提取菜品实例、残余簇、食材组成区域及餐具边界,并按照所述餐具边界建立统一视觉尺度;
38、语义图构建模块,用于根据所述菜品实例形成初始供应语义图,并根据所述残余簇形成残余语义图;
39、关联处理模块,用于依据食材特征相似度、空间邻接关系和食材状态转变路径构建候选关联图;
40、守恒分配模块,用于以菜品初始供应量为数量上限、以不可食组分为排除约束,对混合残余进行语义守恒分配;
41、闭环校验模块,用于根据所述初始供应量、可食残余量、不可食残余量及视觉消耗量执行闭环校验并生成减量化分析结果。
42、与现有技术相比,本发明的有益效果在于:
43、1.通过获取同一用餐对象的用餐前菜品图像和用餐后餐余图像,以餐具边界建立统一视觉尺度,并分别构建初始供应语义图和残余语义图,使餐前菜品实例、餐后残余簇、食材组成及空间邻接关系能够在同一坐标基础上表达。候选关联图将食材特征相似度、空间邻接关系和食材状态转变路径共同作为关联条件,可在残余发生破碎、浸润、混合和位置迁移后保留菜品实例与残余簇之间的关联依据。语义守恒分配以菜品初始供应量为数量上限,并将不可食组分作为排除约束,对混合残余中的可食部分进行分配;闭环校验再利用初始供应量、可食残余量、不可食残余量和视觉消耗量之间的数量关系修正不满足约束的分配结果。由此形成从残余来源判定、混合残余拆分到数量闭合校验的连续处理链,减少跨菜品误配、重复归属和超量分配,使菜品级厨余减量结果同时保持语义对应和数量一致。
44、2.统一餐具坐标域结合多尺度语义分割,可降低拍摄角度、餐具尺度和菜品摆放位置差异对前后图像比较的影响,并使纹理方向、颜色分布、边缘破碎度、表面起伏及空间占据比例能够作为同一语义节点的连续属性。通过有向状态图描述食材从完整、切分、破碎、浸润到混合的允许变化,并将状态路径代价与餐具拓扑迁移代价写入候选边权值,可避免仅因外观变化而切断正确关联。相邻菜品实例与相邻残余簇之间的拓扑一致度,以及双向匹配结果,可进一步剔除只在单向相似度上成立的候选关系。视觉体积当量、遮挡层级和推定占据区域用于补充二维可见面积不能表达的堆叠差异;当多个分配结果均满足守恒条件时,以分配区间保留剩余不确定范围,并将区间传递至可食残余量和视觉消耗量的计算过程,避免将不充分的视觉信息强制转化为单一数值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com