豆腐生产系统的制作方法

1.本发明涉及一种豆腐生产系统。


背景技术：

2.根据现有技术，作为对制品的质量控制，已经执行了检测生产线中的制品中的无缺陷制品或有缺陷制品并将确定为有缺陷制品的制品从运送物品中移除的检查操作。即使目前制品生产线的自动化正在进行中，这种检查操作通常依赖于人的经验和视觉观察，导致沉重的人的负担。另一方面，从成本降低的观点来看，作为制品示例的豆腐需要具有低的单价和每预定时间的高生产能力。
3.关于这种制品的生产线的自动化，已经公开了各种方法以提高生产能力。专利文献1公开了一种通过人工智能(ai)应用深度学习和多变量分析的方法以便自动分拣食品的无缺陷制品或有缺陷制品的技术。
4.引用列表
5.专利文献
6.专利文献1：日本特开2019-211288号公报


技术实现要素：

7.技术问题
8.例如，假定根据生产情况、原材料的质量等，豆腐、油炸豆腐等发生细微变化。此外，有必要根据生产条件如生产所需的制品数量或处置率及时改变用于确定无缺陷制品或有缺陷制品的确定标准。根据现有技术，这种确定是由人做出的，并且还根据人的经验等来调整确定标准。因此，需要人的工作，并且工作量大。在上述现有技术中，从豆腐在生产过程中的特性的观点来看，不能检查豆腐，并且不能减少人工检查的负担。此外，为了提高生产率，在检查豆腐期间和根据检查结果，在无缺陷制品/有缺陷制品的传送控制和处理方面存在改进的空间。此外，为了在有限的空间内安装生产系统，还需要使整个生产系统的尺寸紧凑。
9.鉴于上述问题，本发明的目的是提高生产能力，同时减少豆腐生产过程中的人工负担。
10.问题的解决方案
11.为了解决上述问题，本发明具有以下构造。即，一种豆腐生产系统包括：生产装置，所述生产装置构造成连续地生产豆腐；传送装置，所述传送装置构造成根据与所述豆腐对应的预定规则布置由所述生产装置生产的所述豆腐并传送所述豆腐；豆腐检查装置，所述豆腐检查装置构造成检查所述传送装置上的所述豆腐；以及分拣和移除装置，所述分拣和移除装置构造成基于所述豆腐检查装置的检查结果来分拣或移除由所述传送装置传送的所述豆腐中的有缺陷制品。
12.发明的有利效果
13.根据本发明，可以提高生产能力，同时减少豆腐生产过程中的人工负担。
附图说明
14.[图1]是示出根据第一实施方式的豆腐生产系统的总体构造的示例的示意性构造视图。
[0015]
[图2]是示出根据第一实施方式的检查装置以及分拣和移除装置的操作的示意图。
[0016]
[图3]是示出根据第一实施方式的控制装置的功能构造的示例的框图。
[0017]
[图4]是示出根据第一实施方式的学习处理的概况的概念图。
[0018]
[图5]是根据第一实施方式的控制装置的处理流程图。
[0019]
[图6]是示出根据第二实施方式的豆腐生产系统的总体构造的示例的示意性构造视图。
[0020]
[图7]是示出根据第二实施方式的分拣和移除装置的操作的示意图。
具体实施方式
[0021]
在下文中，将参考附图描述本发明的实施方式。以下描述的实施方式是用于解释本发明的实施方式，并且不旨在解释为限制本发明。此外，并非每个实施方式中描述的所有构造都是用于解决本发明的问题的必要构造。在附图中，相同的部件用相同的附图标记表示以表示对应关系。
[0022]
《第一实施方式》
[0023]
在下文中，将描述本发明的第一实施方式。
[0024]
首先，将描述作为根据本发明的待检查制品的豆腐在生产期间的特性。豆腐具有制品的形状和外观容易由于原材料、生产环境等的影响而变化的特性。例如，作为一种豆腐的油炸豆腐的外观可以根据中间制品的膨胀程度、油炸用油的变质程度等而变化。由于豆腐也受到生产环境的影响，制品的形状和外观可以根据生产地点、日常环境变化、生产机器的状态等而变化。即，与诸如电子设备的工业制品相比，豆腐可以具有各种形状和外观。
[0025]
当手工检查豆腐制品时，考虑到当天的生产条件(生产所需的制品数量、处理率等)，根据经验等精细地调整质量确定标准。即，用于确定豆腐质量的标准可能需要根据生产商、生产时间等而变化。此外，可以考虑区域特征、生产商或购买者的口味等来生产豆腐，并且从这种观点来看，质量确定标准可以是不同的。虽然需要考虑豆腐的特性进行检查，但是从成本降低的观点来看，要求豆腐具有低的单价和每预定时间的高生产能力。
[0026]
在本发明的第一实施方式中，将描述考虑到上述生产过程中豆腐的特性的豆腐生产系统。
[0027]
[构造概况]
[0028]
图1是示出根据本实施方式的豆腐生产系统(以下简称为“生产系统”)的总体构造的示意性构造视图。该生产系统包括控制装置1、检查装置2、分拣和移除装置5、第一传送装置6、第二传送装置7、存储装置8、生产装置9和有缺陷制品传送装置10。这里，制品被统称为“豆腐”，但是其中包括的更详细的分类没有特别限制。豆腐的示例可包括油炸豆腐、油炸豆腐包、薄油炸豆腐、厚油炸豆腐、豆腐炸肉排和油炸豆腐汉堡。豆腐的示例还可包括包装嫩
豆腐、嫩豆腐、棉豆腐、烤豆腐和冷冻豆腐。此外，豆腐的示例可包括上述豆腐的中间制品、包装之前或之后的制品、或冷却、冷冻或加热之前或之后的制品。在下面的描述中，对于制品(豆腐)，确定具有特定质量或更高的制品(即，无缺陷制品)由p表示，而确定具有低于特定质量的质量的制品(即，有缺陷制品)由p'表示。当全面描述该制品时，将省略附图标记。
[0029]
控制装置1控制检查装置2的图像捕获操作。控制装置1还基于由检查装置2获取的图像控制分拣和移除装置5的操作。检查装置2包括图像捕获单元3和照射单元4。图像捕获单元3包括电荷耦合器件(ccd)相机、互补金属氧化物半导体(cmos)相机等。此外，设置有检测由第一传送装置6传送的制品的检测传感器t(例如，反射激光传感器等)。检查装置2基于来自检测传感器t的信号和根据第一传送装置6的传送速度限定的预定等待时间以适当的定时捕获图像。照射单元4用光照射第一传送装置6(即，待检查制品)，以便在由图像捕获单元3捕获图像时获取更适当的图像。除了来自检测传感器t的信号之外，还可以基于来自控制装置1的指令来执行检查装置2的图像捕获操作。基于来自控制装置1的指令控制分拣和移除装置5的位置，并且分拣和移除装置5从由第一传送装置6传送的制品中取出指定为有缺陷制品的制品p'，将制品p'传送到有缺陷制品传送装置10，并且将制品p'存储在存储装置8中。除了移除有缺陷制品的目的之外，为了选择和分拣由特性、制品类型、应用等指定的各种质量的制品，可以执行分拣和移除装置5的操作。分拣和移除装置5可以是共用的，以便基于其他检查装置的检查结果来执行分拣和移除，所述其他检查装置例如是图像检查装置、x射线检测器、金属检测器以及重量检查装置，这些检查装置与第一传送装置和第二传送装置连接到同一条线上。这些检查结果也可以适当地组合以执行部分、复合或全面的确定，由此可以执行分拣/移除。
[0030]
图1示出了分拣和移除装置5包括线性运动缸(未示出)和抓握部分的示例。通过线性运动缸在上下方向(z轴)上的伸展和收缩，将抓握部分调整到可抓握确定为有缺陷制品的制品p'的高度。线性运动缸例如是通过伺服电动机或步进电动机使用齿条齿轮机构或滚珠丝杠机构的线性运动致动器系统，并且可以包括具有刻度机构的气缸或液压缸。线性运动缸沿x轴方向和/或y轴方向水平地移动抓握部分，x轴方向和/或y轴方向是垂直于z轴方向的方向。分拣和移除装置5的抓握部分可以包括具有多个指部的手形抓握装置、诸如真空抽吸垫类型或旋流抽吸类型等的保持装置。由于根据本实施方式的分拣和移除装置5、检查装置2等处理诸如豆腐的食品，因此期望每个都具有根据例如作为用于电子装置的防水/防尘标准的进入保护标准(ip标准)的特定质量。具体地，具有54或更高的ip标准的防水/防尘等级是优选的，并且65或更高的ip是更优选的。
[0031]
第一传送装置6沿预定传送方向传送多个制品。制品可以在一排中传送或者可以在以多排布置的同时传送。在本实施方式中，将描述其中制品在被布置成多排的同时被传送的构造。优选地，制品以矩阵或交错方式布置，但制品可以非重叠状态随机传送。作为制品的豆腐的大小根据制品而变化。因此，可以根据第一传送装置6的宽度与制品尺寸之间的关系来限定传送期间的排数和布置。此外，可以根据第一传送装置6的传送速度、检查装置2的检测速度等来调整排数。因此，用于传送豆腐的预定规则可以根据作为目标制品的豆腐的特性而变化。检查装置2的检查区域(即，图像捕获单元3的图像捕获区域)设置在第一传送装置6的传送路径上。
[0032]
分拣和移除装置5构造成使得抓握部分能在上下方向(z轴)上以及在垂直于制品
的传送方向的方向(x轴和y轴)上移动，使得制品p'可以在第一传送装置6的传送路径上被取出和传送。轴向方向和原点的设置不受限制，并且在附图中省略。根据本实施方式的第一传送装置6由环形带形成，并且通过连续旋转环形带而沿预定传送方向传送制品。由第一传送装置6传送的制品的状态没有特别限制，并且可以是例如仅制品在包装之前的状态或制品被包装的状态。即，可以对包装前的制品或包装后的制品进行根据本实施方式的检查。另选地，可以在包装之前和之后进行检查。
[0033]
第二传送装置7接收从第一传送装置6传送的多个制品p并沿预定传送方向传送制品p。在图1的示例中，第一传送装置6的传送方向和第二传送装置7的传送方向彼此垂直，并且矩阵阵列被改变为用于传送的单排阵列。在广义上，诸如在传送方向上连接在第一传送装置6后面的传送机之类的装置可以被统称为第二传送装置7。第一传送装置6的传送速度和第二传送装置7的传送速度可以相同或不同。第一传送装置6和第二传送装置7中的每一个可以构造为传送机类型(例如，带式传送机、由金属丝制成的网式传送机、巧克力传送机、条式传送机、板条带链等)，并且不受特别限制。虽然未示出，但是第二传送装置7可以以堆叠的方式传送制品p(仅无缺陷制品)，可以以倒置的方式传送制品p，或者可以以对齐的方式传送制品p。此后，可以进一步提供传送装置，并且可以在适当的位置进一步提供检查装置或分拣和移除装置。在这种情况下进一步提供的传送装置、检查装置或分拣和移除装置可以具有与上述第一传送装置6、第二传送装置7、检查装置2或分拣和移除装置5相同的构造，或者可以具有不同的构造。
[0034]
被确定为有缺陷制品的制品p'从有缺陷制品传送装置10传送并存储在存储装置8中。所存储的制品p'可以经由存储装置8被传送到不同的地方，或者可以被手动移除。被确定为有缺陷制品的制品p'可以被丢弃，或者可以用于另一目的(例如，中间制品或诸如切碎的油炸豆腐的处理制品的再生产)。
[0035]
生产装置9包括连续凝结机、连续模制机、连续切割机、连续对齐机、连续油炸锅、连续冷冻器、连续消毒器等。生产装置9是连续生产多个制品(在此为豆腐)的机器，并且在传送方向上安装在第一传送装置6的上游。由生产装置9生产的制品被顺序地传送到第一传送装置6。制品的原材料被及时供应到生产装置9。
[0036]
有缺陷制品传送装置10从分拣和移除装置5接收被确定为有缺陷制品的制品p'，并将制品p'朝存储装置8传送。根据本实施方式的有缺陷制品传送装置10由环形带形成，并且通过连续旋转环形带将被确定为有缺陷制品的制品p'沿预定传送方向朝存储装置8传送。有缺陷制品传送装置10的传送速度可以与第一传送装置6的传送速度相同或不同。有缺陷制品传送装置10不需要被连续驱动，并且可以构造成当检测到有缺陷制品时被驱动。有缺陷制品传送装置10可以构造为传送机类型(例如，带式传送机、网式传送机、条式传送机、板条带链等)，并且不受特别限制。图2示出了有缺陷制品传送装置10的传送方向与第一传送装置6的传送方向相同的示例，但是有缺陷制品传送装置10的传送方向不限于此。
[0037]
图2是示出根据本实施方式的生产系统的检查装置2的检查位置以及分拣和移除装置5的操作的视图。图2中所示的箭头a表示制品通过第一传送装置6的传送方向。区域r表示图像捕获单元3的图像捕获范围，并且也是光被照射单元4照射的区域。这里示出了制品以三排传送的示例。对制品的检查结果表明制品p被确定为无缺陷制品，制品p'被确定为有缺陷制品。这里，有缺陷制品的示例包括形状被削片或破裂的制品、表面上检测到异物的制
品等。分拣和移除装置5能在控制装置1的控制下沿箭头b的方向移动。此外，分拣和移除装置5能在如图1所示的上下方向上移动。通过这种操作，分拣和移除装置5移动到被确定为有缺陷制品的制品p'的位置，抓握制品p'，并将制品p'传送到有缺陷制品传送装置10的位置。
[0038]
图2示出了示例，其中提供了一个分拣和移除装置5，但是可以提供多个分拣和移除装置5。在这种情况下，多个分拣和移除装置5中的每一个可以构造成能在箭头b的方向(x轴方向)上独立地移动。当提供多个分拣和移除装置5时，仅一些分拣和移除装置5可以根据第一传送装置6的传送速度、被确定为有缺陷制品的制品p'的产生速率等来操作。
[0039]
分拣和移除装置5可以构造成能在与第一传送装置6的传送方向(箭头a的方向，y轴方向)相同的方向上移动。在这种情况下，即使对于一个分拣和移除装置5，也扩大了可操作范围。此外，分拣和移除装置5可以由高速机器人实现，例如scara机器人或包括多个关节的并联连杆机器人。高速机器人在200mm至2000mm的操作距离范围内具有例如40cpm至500cpm(每分钟循环数)的操作能力。高速机器人的操作能力优选为60cpm至300cpm，最优选为100cpm至200cpm。可以使用具有这种操作能力的高速串联连杆机器人。由此，除了沿图2中的箭头b的方向的移动范围之外，分拣和移除装置5的驱动范围进一步变宽，并且因此分拣和移除装置5可以在抓握被确定为有缺陷制品的制品p'时精细地调整位置。此外，这些机器人可以用作用于堆叠无缺陷制品的对齐装置、转移装置等，并且这种构造使得可以减少多个工人并提高成本效益。例如，优选地，被确定为有缺陷制品的制品p'通过在传送装置的端部的掉落而被简单地移除，并且被确定为无缺陷制品的制品p作为工件由机器人转移和对齐。
[0040]
图2示出了有缺陷制品传送装置10设置在第一传送装置6的一侧的示例，但是有缺陷制品传送装置10可以设置在两侧。在这种情况下，可以根据检查装置2的检查结果来控制将有缺陷制品p'传送到哪个有缺陷制品传送装置10。例如，当a(无缺陷制品)、b(处理过的制品)和c(有缺陷制品)被用作检查中的评估值时，可以控制分拣和移除装置5的操作，使得具有评估值b和c的制品被传送到不同的有缺陷制品传送装置10。另选地，可以设置有传送机(例如，通道器或接触线选择器)，该传送机首先移除(例如，空气排出)具有评估值c的制品，然后分拣具有评估值a和b的制品。分拣和移除制品的顺序和方法不限于上述那些，并且可以使用其他模式和构造。
[0041]
图1的示例示出了被确定为有缺陷制品的制品p'通过分拣和移除装置5移除的构造，但是本发明不限于此。例如，根据被确定为无缺陷制品的制品p和被确定为有缺陷制品的制品p'的比率，被确定为无缺陷制品的制品p可通过对齐装置(未示出)从传送的制品中取出并传送到随后的传送装置以对齐。此时，对齐装置(未示出)可执行诸如将制品p包装在盒中并沿竖直方向或水平方向对齐预定数量的制品p(例如，在油炸豆腐的情况下为10个制品)的操作，使得制品p被堆叠。另选地，可以使用分拣和移除装置5移除被确定为有缺陷制品的制品p'，并且可以使用中继装置(未示出)将被确定为无缺陷制品的制品p从第一传送装置6传送到第二传送装置7。另选地，分拣和移除装置5可以构造成作为对齐装置来操作。在这种情况下，分拣和移除装置5的驱动机构和对齐装置的驱动机构(能够高速操作的机器人，诸如scara机器人或包括线性运动缸的并联连杆机器人、包括两个或更多个正交缸和/或多个关节的正交缸、高速串联连杆机器人、双臂机器人等)被统一或共享，与单独安装相比，这节省了生产系统的尺寸空间，并且能够高速处理(至少5,000或更多制品/h，对应于
10,000至50,000制品/h)。scara机器人是其中在多个旋转轴、臂和末端部分的每一个中限定z轴的机构。所有多个旋转轴和臂用于机器人末端部分的水平移动。通过旋转轴的操作，机器人末端部分在工件正上方移动，并且在机器人末端部分的z轴方向上对工件执行工作。并联连杆机器人是其中由连杆和关节形成的多个连接链并联布置在输出连杆和基部之间的机构。
[0042]
另选地，以规则的间隔传送制品的传送装置可以构造成使得在传送路径上提供分支，并且传送被切换成使得被确定为无缺陷制品的制品p和被确定为有缺陷制品的制品p'前进到不同的路径用于分拣。根据这种确定结果移除或分拣制品的分拣功能可以通过在传送路径上提供诸如翻转式、上出式、下出式、空气喷射式、往返式、载体式、推动器式、斜槽式、梭式、通道器式或接触线选择器式的机构来实现。
[0043]
图1的示例示出了其中制品由生产系统中的装置传送、分拣等的构造，但是本发明不限于此。例如，手工作业可以作为分拣的一部分来执行。例如，生产系统可以通知工人，使得工人可以可视地确认被确定为有缺陷制品的制品p'，并且工人工作以移除制品p'。这里的通知可以例如通过在显示装置(未示出)上显示被确定为有缺陷制品的制品p'的图像来执行，或者可以通过在传送装置上用光等照亮制品p'来执行。此时，工人可以确认由生产系统通知的制品，然后确定是否实际取出该制品。
[0044]
[装置构造]
[0045]
图3是示出根据本实施方式的控制装置1的功能构造的示例的框图。控制装置1例如可以是诸如个人计算机(pc)的信息处理装置。图3所示的每个功能可以通过控制单元(未示出)读取和执行存储在存储单元(未示出)中的根据本实施方式的功能的程序来实现。存储单元可以包括作为易失性存储区域的随机存取存储器(ram)、作为非易失性存储区域的只读存储器(rom)、硬盘驱动器(hdd)等。中央处理单元(cpu)、图形处理单元(gpu)、图形处理单元上的通用计算(gpgpu)等可用作控制单元。
[0046]
控制装置1包括检查装置控制单元11、分拣和移除装置控制单元12、学习数据获取单元13、学习处理单元14、检查数据获取单元15、检查处理单元16、检查结果确定单元17以及显示控制单元18。
[0047]
检查装置控制单元11控制检查装置2以控制图像捕获单元3的图像捕获定时和图像捕获设置以及照射单元4的照射定时和照射设置。分拣和移除装置控制单元12基于制品是无缺陷制品还是有缺陷制品的确定结果来控制分拣和移除装置5移除第一传送装置6的传送路径上的制品p'。
[0048]
学习数据获取单元13获取在由学习处理单元14执行的学习处理中使用的学习数据。稍后将描述学习数据的细节，并且可以基于例如生产系统的管理员的操作来输入学习数据。学习处理单元14使用所获取的学习数据执行学习处理以生成学习模型。稍后将描述根据本实施方式的学习处理的细节。检查数据获取单元15获取由检查装置2捕获的图像作为检查数据。检查处理单元16将由学习处理单元14生成的学习模型应用于由检查数据获取单元15获取的检查数据，以检查其图像被捕获为检查数据的制品。
[0049]
检查结果确定单元17基于检查处理单元16的检查结果来确定分拣和移除装置控制单元12的控制内容。然后，检查结果确定单元17将基于所确定的控制内容的信号输出到分拣和移除装置控制单元12。显示控制单元18基于检查结果确定单元17的确定结果来控制
显示在显示单元(未示出)上的显示屏幕(未示出)。显示屏幕(未示出)可以显示例如基于检查结果确定单元17的确定结果而被确定为有缺陷制品的制品的统计值、被确定为有缺陷制品的制品p'的实际图像等。优选地，通过使用触摸面板型显示单元(未示出)来执行对诸如图像捕获条件、学习条件、检查条件和确定阈值的各种参数的设置调整，以及对传送装置、分拣和移除装置等的控制参数的设置调整。
[0050]
[学习处理]
[0051]
在本实施方式中，使用机器学习中的神经网络的深度学习方法作为学习方法，并且将作为示例描述监督学习。深度学习的更具体方法(算法)没有特别限制，例如，可以使用诸如卷积神经网络(cnn)的已知方法。图4是示出根据本实施方式的学习处理的概念的示意图。在本实施方式中使用的学习数据包括作为输入数据的制品的一对图像数据和作为教师数据的通过对制品上的人(豆腐的生产商)进行评估而获得的评估值。这里，从0到100的值被设置为评估值，并且数目越大，评估就越高。评估值的粒度不限于此，并且例如，评估可以在三个阶段a、b和c中执行，或者通过无缺陷制品/有缺陷制品的两个值来执行，或者可以通过多个有缺陷制品项目中的每一个的评估值来执行。用于归一化制品的评估值的方法不限于上述方法，并且可以使用其他分类。除了神经网络之外的机器学习没有特别限制，只要它是广义上的机器学习，例如决策树、支持向量机、随机森林和回归分析(多变量分析、多元回归分析)。
[0052]
当准备为学习数据的输入数据(这里是豆腐的图像数据)被输入到学习模型时，评估值作为输入数据的输出数据被输出。接着，通过使用输出数据和作为学习数据准备的教师数据(这里，由图像数据指示的豆腐的评估值)的损失函数导出误差。然后，调整学习模型中的每个参数以减小误差。例如，可以使用误差反向传播方法等来调整参数。这样，通过使用多个学习数据重复执行学习来生成学习模型。
[0053]
在本实施方式中使用的学习模型可以具有使用来自根本不执行学习的状态的学习数据来执行学习的构造。然而，为了获得最佳的学习模型，需要大量的学习数据，并且由于使用学习数据的学习处理的重复而导致的处理负荷也很重。因此，通过用新的学习数据更新学习模型，用户(例如，豆腐的生产商)可能会有负担。因此，为了识别图像，其中已经进行了一定程度的学习的学习模型或其参数(神经元之间的连接、权重等)可以用于大量类型的图像数据和大量的图像数据。考虑到图像识别进行深度学习的学习处理的学习模型包括即使在图像识别的目标不同时也可以普遍使用的部分。在通过图像识别增强的学习模型中，已经进行了卷积层和合并层(包括几到几十甚至到几百层)中的参数的调整。在本实施方式中，例如，可以使用所谓的转移学习的学习模型，其中从输入侧到中间层的大多数卷积层的参数值是固定的而不改变，并且在输出侧为若干层(例如，仅最后一层到若干层)学习新的学习数据(例如，豆腐的图像)以调整参数。当使用这样的转移学习模型时，新的学习数据的数量相对较少，并且具有可以容易地更新学习模型同时减少重新学习的处理负荷的优点。
[0054]
学习处理不一定必须由控制装置1执行。例如，生产系统可以构造成向在生产系统外部提供的学习服务器(未示出)提供学习数据，并且在服务器侧执行学习处理。然后，如果需要，服务器可以向控制装置1提供学习模型。这样的学习服务器可以位于诸如因特网的网络(未示出)上，并且服务器和控制装置1能通信地彼此连接。
[0055]
[处理流程]
[0056]
以下，参见图5描述根据本实施方式的控制装置1的处理流程。例如，通过控制装置1中包括的cpu(未示出)或gpu(未示出)读取并执行存储在诸如hdd的存储装置(未示出)中的程序，来实现下面将要描述的处理。以下处理可在生产系统操作时连续执行。
[0057]
在s501中，控制装置1获取通过执行学习处理而生成的学习模型中的最新的或最佳的学习模型。每当对学习模型及时重复学习处理时，更新学习模型。因此，控制装置1在本处理开始时获取最新的学习模型，在以后的处理中使用最新的学习模型。
[0058]
在s502中，控制装置1使检查装置2开始捕获第一传送装置6的传送路径上的图像。此外，控制装置1操作第一传送装置6、第二传送装置7以及有缺陷制品传送装置10以开始传送从生产装置9供应的制品。
[0059]
在s503中，控制装置1根据第一传送装置6对制品的传送来获取从检查装置2及时发送的检查数据(制品的图像)，检查装置2通过使用检测该制品的检测传感器t的信号作为触发来捕获制品的图像。当被传送制品之间的传送间隔或每个制品被布置的传送位置在传送路径上被预先限定时，制品的图像可以基于该位置被单独地捕获。另选地，当从检查装置2及时发送的检查数据是运动图像时，可以以预定间隔从运动图像中提取帧，并且可以将该帧作为图像数据处理。捕获的原始图像数据可以直接用作制品的图像。原始图像数据可以通过适当地经受数据清洁处理(不包括其特征对于人类难以观看的数据)或填充处理(具有增加的噪声的多个图像或具有调整的亮度的多个图像也被添加到学习数据)而被用作学习数据。通过对原始图像数据应用特定图像处理而获得的经处理的图像数据可用作学习数据。特定图像处理可包括例如各种类型的滤波处理，诸如轮廓处理(边缘处理)、位置校正处理(旋转、中心位置移动等)、亮度校正、阴影校正、对比度转换、卷积处理、差分(主差分、次差分)、二值化、噪声移除(平滑)等。预处理和数据处理具有诸如减少和调整学习数据的数量、提高学习效率、减少干扰影响等优点。
[0060]
在s504中，控制装置1将在s503中获取的检查数据(制品的图像数据)输入到学习模型。由此，输出由检查数据指示的制品的评估值作为输出数据。根据评估值确定待检查制品是无缺陷制品还是有缺陷制品。
[0061]
在s505中，控制装置1基于在s504中获得的评估值确定待检查制品是否是有缺陷制品。当检测到有缺陷制品时(s505中为是)，控制装置1的处理进行到s506。另一方面，当未检测到有缺陷制品时(s505中为否)，控制装置1的处理进行到s507。
[0062]
例如，在评估值被评估为0到100的构造中，可以设置用于评估值的阈值，并且可以通过将阈值与从学习模型输出的评估值进行比较来确定待检查制品是无缺陷制品还是有缺陷制品。在这种情况下，作为用于确定制品是无缺陷制品还是有缺陷制品的标准的阈值可以由生产系统的管理员(例如，豆腐的生产商)在任何时间通过设置屏幕(未示出)来设置。如上所述，本实施方式中待检查豆腐的外观和形状可以根据各种因素而改变。考虑到这种变化，管理员能够控制由学习模型获得的输出数据的阈值。在评估值由a、b和c评估的构造中，评估值a和b可被视为无缺陷制品，而评估值c可被视为有缺陷制品。
[0063]
在s506中，控制装置1通过指示分拣和移除装置5分拣和移除在s505中检测为有缺陷制品的制品来控制分拣和移除装置5。此时，为了分拣和移除被检测为有缺陷制品的制品p'，控制装置1基于从检查装置2获取的检查数据、第一传送装置6的传送速度等来指定要移
除的制品p'的位置。作为指定制品位置的方法，可以使用已知的方法，并且这里将省略其详细描述。分拣和移除装置5基于来自控制装置1的指令将待移除的制品p'传送到有缺陷制品传送装置10。
[0064]
即使当豆腐的外观质量不满足某一标准时，该豆腐也可用作另一处理制品的原材料。因此，例如，在通过a、b和c评估评估值的构造中，评估值a可以被视为无缺陷制品，评估值b可以被视为处理目标，并且评估值c可以被视为有缺陷制品。在这种情况下，控制装置1可以控制分拣和移除装置5，以将被确定为具有评估值b的制品传送到处理制品的传送装置的位置。待转移的处理制品的示例包括由油炸豆腐生产切碎的油炸豆腐、由豆腐生产油炸豆腐汉堡以及将精细糊化的液体(再生液体)与豆汁或豆奶混合以重新使用。
[0065]
在s507中，控制装置1确定生产操作是否停止。生产操作的停止可以响应于检测到停止从位于第一传送装置6上游的生产装置9供应制品来确定，或者可以基于来自生产装置9的通知来确定。当生产操作停止时(s507中为是)，控制装置1的处理进行到s508。另一方面，当不停止生产操作时(s507中为否)，控制装置1的处理返回到s503，并且重复相应的处理。
[0066]
在s508中，控制装置1停止第一传送装置6的传送操作。此外，控制装置1可以停止第二传送装置7和有缺陷制品传送装置10的传送操作，或者可以在特定传送完成之后停止传送操作。控制装置1可以对在s501中获取的学习模型执行初始化处理的操作。然后，结束本处理流程。
[0067]
在s503中获取的检查数据可以被存储以用于将来的学习处理。在这种情况下，可以执行图像处理，使得所获取的检查数据变成用于学习的图像数据。
[0068]
[显示处理]
[0069]
在本实施方式中，当作为对豆腐制品的检查结果，在显示单元(未示出)上显示被确定为有缺陷制品的制品p'的图像时，可以显示用于确定为有缺陷制品的基础(有缺陷部分)。在如上所述的神经网络的学习中，存在诸如grad-cam或引导的grad-cam的可视化方法。通过使用这种方法，当待检查制品被确定为有缺陷制品时，聚焦区域可以被指定为确定的基础，并且该区域可以被可视化并显示。即使在制品被确定为无缺陷制品的情况下，当其评估值接近用于确定为有缺陷制品的评估值时，可使用上述方法指定并显示聚焦区域。
[0070]
如上所述，根据本实施方式，可以在减少豆腐生产过程中的手动负担的同时提高生产能力。通过减少根据豆腐的特性进行的人工检查的负担，可以节省生产系统中的人力空间。由于可以在传送路径上并行地检查多个制品，因此可以提高生产效率。利用其中可以在并行传送多个制品的同时执行有缺陷制品的检查和移除的构造，可以缩短整个生产系统的传送路径的路径长度而不降低制品的检查精度。
[0071]
《第二实施方式》
[0072]
在第一实施方式中，描述了检查装置2被固定且检查范围(图像捕获位置)被固定的构造。在本发明的第二实施方式中，对能够改变检查装置2的检查范围的构造进行描述。省略对与第一实施方式相同的构造的描述，并且聚焦于不同点进行描述。
[0073]
[构造概况]
[0074]
图6是示出根据本实施方式的豆腐生产系统(以下简称为“生产系统”)的总体构造的示意性构造视图。根据本实施方式的生产系统包括控制装置1、检查装置2、分拣和移除装
置5、第一传送装置6、第二传送装置7、存储装置8和生产装置9。
[0075]
控制装置1控制检查装置2的图像捕获操作。控制装置1还基于由检查装置2获取的图像控制分拣和移除装置5的操作。检查装置2包括图像捕获单元3、照射单元4和驱动机构20。通过基于来自控制装置1的指令操作致动机构来调整检查装置2的位置，由此指定图像捕获范围和待图像捕获的制品。基于来自控制装置1的指令，分拣和移除装置5从由第一传送装置6传送的制品中取出指定为有缺陷制品的制品p'，并将制品p'传送到存储装置8。
[0076]
图6示出了作为分拣和移除装置5的并联连杆机器人的示例，但是可以使用串联连杆机器人。分拣和移除装置5可以包括双臂机器人、线性运动缸、包括两个或更多个正交缸的正交缸等。分拣和移除装置5构造成能在三个轴向方向(x轴、y轴和z轴)中的任一个上操作，使得制品p可以被转移和对齐，或者制品p'可以在第一传送装置6的传送路径上被取出。轴向方向和原点的设置不受限制，并且在附图中省略。
[0077]
图7是示出由根据本实施方式的检查装置2进行检查时的位置控制的视图。图7中所示的箭头a表示制品通过第一传送装置6的传送方向。箭头b表示检查装置2的移动方向，是与箭头a的方向垂直的方向。通过这种构造，可以将包括在检查装置2中的图像捕获单元3的图像捕获范围改变为任何范围。由于可以通过检查装置的移动来切换图像捕获范围，所以可以减小诸如图像捕获单元3的光接收元件的传感器的尺寸，并且可以减小图像捕获单元3的尺寸及其数量。
[0078]
图7的示例示出了可以沿箭头b的方向调整检查装置2的位置的构造，但是本发明不限于此。例如，驱动机构20可以构造成能够进一步沿箭头a的方向调整检查装置2的位置。驱动机构20可以构造成能够沿着与箭头b的方向不同并且垂直于箭头a的方向的方向(上下方向)进一步调整检查装置2的位置。在这种情况下，由于检查装置2的位置可以同时在多个方向上移动，所以可以通过调整在任何轨道(例如z字形)中的位置，根据制品的尺寸和传送状态有效地执行检查。作为另一构造，检查装置2可构造成包括具有多个关节的scara机器人。由此，除了图7中箭头b的方向上的移动范围之外，检查装置2(图像捕获单元3)的驱动范围进一步变宽，因此检查装置2可以精细地调整制品的图像捕获位置。
[0079]
如上所述，根据本实施方式，除了第一实施方式的效果之外，可以在检查装置移动到任何位置的同时检查制品(豆腐)。
[0080]
《其他实施方式》
[0081]
在上述实施方式中，作为用于检查的方法描述了监督机器学习的示例，但是本发明不限于此。例如，可以通过诸如自动编码器的无监督机器学习来生成学习模型。在这种情况下，通过使用制品中的无缺陷制品的图像数据作为学习数据执行学习来生成学习模型。然后，基于输入到学习模型的制品的图像与从学习模型输出的制品的图像之间的差异，可以确定由输入图像指示的制品是无缺陷制品还是有缺陷制品。
[0082]
在上述实施方式中，如图1所示，检查装置2构造成捕获用于检查的制品的仅一个表面(图1中的上表面)的图像。然而，本发明不限于此，例如，除了前表面之外，还可以获取和检查后表面或侧表面的图像。在这种情况下，可以提供多个检查装置2，并且可以通过包括在多个相应检查装置2中的图像捕获单元(相机)从多个方向捕获制品的图像。例如，可以安装第一图像捕获单元(未示出)以便从第一方向捕获制品的前表面的图像，并且可以安装第二图像捕获单元(未示出)以便从第二方向捕获制品的后表面的图像。另选地，可以在第
一传送装置6中设置使传送路径上的制品反转的构造(反转机构)，并且可以在反转之前和之后捕获制品的图像，并且可以使用捕获图像来执行检查。此时，可以对制品的前表面、后表面和侧表面使用不同的学习模型进行检查。即，根据由第一传送装置6传送的制品的类型、包装状态等，使用前表面、后表面和侧表面的不同学习数据来执行学习，从而生成对应于各个表面的学习模型。然后，可以使用对应于图像捕获方向的学习模型来执行检查。
[0083]
检查不限于使用学习模型的检查。例如，可以通过与指示预先制备的无缺陷制品的图像数据进行图案匹配来单独或组合地检查制品。此外，还可以通过组合使用根据现有技术的位移传感器、距离传感器等获取的三维方向上的数据来执行用于优先识别形状的检查。此外，该检查装置可以与其他检查装置，例如根据现有技术的图像检查装置、x射线检测器、金属检测器和重量检查装置结合使用。
[0084]
在上述实施方式中，照射单元4从与图1所示的图像捕获单元3(相机)相同的方向用光照射制品。然而，本发明不限于这种构造，例如，图像捕获单元3和照射单元4可以具有面向制品的不同位置和取向。在这种构造的情况下，例如，照射单元4可以包括用x射线、紫外线或红外线(除可见光之外)的波长照射制品的光源，并且图像捕获单元3可以基于制品的透射光、透射反射光或透射散射光来获取图像数据。然后，可以基于由图像数据指示的制品的内部信息来检查制品。
[0085]
如上所述，在本说明书中公开了以下事项。
[0086]
(1)一种豆腐生产系统，所述豆腐生产系统包括：
[0087]
生产装置，所述生产装置构造成连续地生产豆腐；
[0088]
传送装置，所述传送装置构造成根据与所述豆腐对应的预定规则布置由所述生产装置生产的所述豆腐并传送所述豆腐；
[0089]
豆腐检查装置，所述豆腐检查装置构造成检查所述传送装置上的所述豆腐；以及
[0090]
分拣和移除装置，所述分拣和移除装置构造成基于所述豆腐检查装置的检查结果来分拣或移除由所述传送装置传送的所述豆腐中的有缺陷制品。
[0091]
根据该构造，可以提高生产能力，同时减少豆腐生产期间的手动负担。通过减少根据豆腐的特性进行的人工检查的负担，可以节省生产系统中的人力空间。由于可以在传送路径上并行地检查多个制品，因此可以提高生产效率。利用其中可在并行传送多个制品的同时执行有缺陷制品的检查和分拣或移除的构造，可缩短整个制造系统的传送路径的路径长度而不降低制品的检查精度。
[0092]
(2)根据(1)所述的豆腐生产系统，
[0093]
其中，所述传送装置包括：第一传送装置，所述第一传送装置构造成将所述生产装置生产的所述豆腐布置成多排并传送所述豆腐；以及第二传送装置，所述第二传送装置在传送方向上位于所述第一传送装置的下游，所述第二传送装置构造成将从所述第一传送装置传送的所述豆腐布置成单排，并且在与所述第一传送装置的所述传送方向垂直的方向上传送所述豆腐。
[0094]
根据该构造，可以通过组合具有不同传送方法的传送装置来检查和传送豆腐。
[0095]
(3)根据(2)所述的豆腐生产系统，
[0096]
其中，所述豆腐检查装置检查所述第一传送装置和所述第二传送装置中的至少一者上的所述豆腐，并且
[0097]
其中，所述分拣和移除装置基于所述豆腐检查装置的所述检查结果来分拣或移除由所述第一传送装置或所述第二传送装置传送的所述豆腐中的所述有缺陷制品。
[0098]
根据该构造，通过组合具有不同传送方法的传送装置，可以在检查豆腐的同时在传送期间分拣和移除有缺陷制品。
[0099]
(4)根据(1)至(3)中的任一项所述的豆腐生产系统，
[0100]
其中，所述分拣和移除装置包括高速机器人(scara机器人、并联连杆机器人或高速串联连杆机器人)，所述高速机器人包括线性运动缸或多个关节，构造成调整分拣操作或移除操作的位置。
[0101]
根据该构造，分拣和移除被确定为有缺陷制品的豆腐的分拣和移除装置的驱动范围可被设计为传送装置的传送路径上的任何范围，由此分拣和移除装置可被驱动。
[0102]
(5)根据(1)至(4)中的任一项所述的豆腐生产系统，
[0103]
其中，所述豆腐检查装置包括scara机器人，所述scara机器人包括线性运动缸或多个关节，构造成调整检查操作的位置。
[0104]
根据该构造，检查豆腐的检查装置的图像捕获范围可被设计为传送装置的传送路径上的任何范围，并且可以在特定位置处执行图像捕获。
[0105]
(6)根据(1)至(5)中的任一项所述的豆腐生产系统，所述豆腐生产系统还包括：
[0106]
对齐装置，所述对齐装置构造成基于所述豆腐检查装置的检查结果，根据预定规则来对齐由所述传送装置传送的所述豆腐中的无缺陷制品。
[0107]
根据该构造，由传送装置传送的被确定为无缺陷制品的豆腐可以根据预定规则对齐。
[0108]
(7)根据(6)所述的豆腐生产系统，
[0109]
其中，所述对齐装置包括高速机器人(scara机器人、并联连杆机器人或高速串联连杆机器人)，所述高速机器人包括线性运动缸或多个关节，构造成调整对齐操作的位置。
[0110]
根据该构造，对齐被确定为无缺陷制品的豆腐的对齐装置的驱动范围可被设计为传送装置的传送路径上的任何范围，借此可驱动对齐装置。
[0111]
(8)根据(6)或(7)所述的豆腐生产系统，
[0112]
其中，所述分拣和移除装置还用作所述对齐装置。
[0113]
根据该构造，在具有对齐装置和移除装置的功能的同时，与单独设置对齐装置和移除装置的情况相比，可以实现空间节省。
[0114]
(9)根据(1)至(8)中的任一项所述的豆腐生产系统，
[0115]
其中，所述传送装置包括反转机构，所述反转机构构造成使被传送的所述豆腐反转，并且
[0116]
其中，所述豆腐检查装置使用在由所述反转机构执行的反转之前和之后捕获的图像来检查所述豆腐。
[0117]
根据该构造，通过在反转前后对豆腐的表面进行检查，能够以更高的精度进行检查。
[0118]
(10)根据(1)至(9)中的任一项所述的豆腐生产系统，所述豆腐生产系统还包括：
[0119]
显示装置，所述显示装置用于显示捕获图像，所述捕获图像指示基于所述豆腐检查装置的所述检查结果确定为所述有缺陷制品的豆腐。
[0120]
根据该构造，豆腐的生产商可以确认被确定为有缺陷制品的实际豆腐的图像。
[0121]
(11)根据(1)至(10)中的任一项所述的豆腐生产系统，
[0122]
其中，所述豆腐检查装置包括：图像捕获单元，所述图像捕获单元构造成捕获待检查的所述豆腐的图像；以及检查装置，所述检查装置相对于用于确定由输入数据指示的豆腐的质量的学习模型，使用通过输入作为输入数据由所述图像捕获单元捕获的所述豆腐的捕获图像而获得的作为输出数据的评估值，来确定由所述捕获图像指示的所述豆腐的质量，通过使用包括豆腐的捕获图像的学习数据执行机器学习而生成所述学习模型。
[0123]
根据该构造，可以在生产过程中考虑豆腐的特性的同时减少人工检查的负担。
[0124]
(12)根据(11)所述的豆腐生产系统，
[0125]
其中，所述学习模型通过使用神经网络的深度学习来生成。
[0126]
根据该构造，可以使用通过基于使用神经网络的深度学习的学习方法获得的学习模型来检查豆腐，并减少人工检查的负担。
[0127]
(13)根据(1)至(10)中的任一项所述的豆腐生产系统，
[0128]
其中，通过图案匹配实施所述豆腐检查装置对所述豆腐的检查。
[0129]
根据该构造，可以通过图案匹配来检查豆腐，并减少人工检查的负担。
[0130]
(14)根据(1)至(13)中的任一项所述的豆腐生产系统，
[0131]
其中，所述豆腐为包装嫩豆腐、嫩豆腐、棉豆腐、烤豆腐、冷冻豆腐、油炸豆腐、油炸豆腐包、薄油炸豆腐、厚油炸豆腐、豆腐炸肉排和油炸豆腐汉堡中的任一种。
[0132]
根据该构造，豆腐可以对应于特定类型的制品生产。
[0133]
尽管以上参考附图描述了各种实施方式，但不必说，本发明不限于这些示例。显然，本领域技术人员可以在权利要求的范围内构思各种修改和变更，并且应当理解，这些修改和变更自然落入本发明的技术范围内。上述实施方式中的部件可以在不脱离本发明精神的范围内组合。
[0134]
本技术基于2020年4月30日提交的日本专利申请(日本专利申请no.2020-080297)和2020年11月18日提交的日本专利申请(日本专利申请no.2020-191602)，其内容通过引用并入本文。
[0135]
附图标记列表
[0136]
1：控制装置
[0137]
2：检查装置
[0138]
3：图像捕获单元
[0139]
4：照射单元
[0140]
5：分拣和移除装置
[0141]
6：第一传送装置
[0142]
7：第二传送装置
[0143]
8：存储装置
[0144]
9：生产装置
[0145]
10：有缺陷制品传送装置
[0146]
t：检测传感器
[0147]
p：无缺陷制品
[0148]
p'：有缺陷制品
[0149]
11：检查装置控制单元
[0150]
12：分拣和移除装置控制单元
[0151]
13：学习数据获取单元
[0152]
14：学习处理单元
[0153]
15：检查数据获取单元
[0154]
16：检查处理单元
[0155]
17：检查结果确定单元
[0156]
18：显示控制单元