基于BPMN工作流的人机协同组装系统和方法与流程

基于bpmn工作流的人机协同组装系统和方法
技术领域
1.本发明涉及控制技术领域，尤其涉及一种基于bpmn工作流的人机协同组装系统和方法。


背景技术：

2.目前，对于生产车间中简单的码垛、搬运等工作，可以由机器人替代人工完成，从而可大大地提高生产效率，然而，对于结构复杂的产品的装配工作，目前还难以实现完全由机器人自动完成，因此，需要人机协同工作，以完成产品装配，针对人机协同工作进行产品装配的工况，如何实现装配过程的有效监控以及保证协同工作过程顺利开展，是亟待解决的问题。


技术实现要素：

3.鉴于上述现有技术的不足之处，本技术实施例的目的在于提供一种基于bpmn工作流的人机协同组装系统和方法，能够实现对人机协同装配过程的有效监控，并能够保证协同工作过程顺利开展。
4.第一方面，本技术实施例提供一种基于bpmn工作流的人机协同组装方法，基于python bpmn程序加载bpmn工作流模型，以执行对应的工作流流程；所述bpmn工作流模型包括检测节点、单一网关、机器人任务节点和人工任务节点；所述工作流流程包括：a1.进入检测节点以执行：向配备视觉系统的机器人发送检测指令，使所述机器人检测工件存放区域是否有工件，并接收所述机器人发回的检测结果信息；a2.进入单一网关以执行：若所述检测结果信息表明检测到工件，则转至步骤a3，否则，向交互终端发送第一类审批信息并转至步骤a4；所述第一类审批信息为询问是否结束本次工作流流程的询问信息；a3.进入机器人任务节点以执行：向所述机器人发送控制指令，使所述机器人把工件从所述工件存放区域取出并放置在目标放置点，若接收到所述机器人发回的表示完成本次机器人任务的反馈信息，则向所述交互终端发送第二类审批信息并转至步骤a4；所述第二类审批信息是询问本次人工任务是否完成的询问信息；a4.进入人工任务节点以执行：若接收到针对第一类审批信息的第一确认信号，则结束本次工作流流程；若接收到针对第二类审批信息的第二确认信号，则转至步骤a1；所述第一确认信号是表示同意结束本次工作流流程的应答信号，所述第二确认信号是表示本次人工任务已完成的应答信号。
5.本技术实施例的基于bpmn工作流的人机协同组装方法，基于python bpmn程序加载bpmn工作流模型以执行对应的工作流流程，由机器人和装配工人交替地执行机器人任务和人工任务，在机器人把工件放置在目标放置点后，由人工完成对应的人工装配工作，只有当装配工人完成人工装配工作并发回第二确认信号后，机器人才会执行下一次机器人任
务，从而保证机器人动作和人工操作之间的时序正确性，避免由于人工操作效率变化而导致机器人过早或过晚动作，保证协同工作过程顺利开展，而且机器人和装配工人每次完成对应的任务后均会发回相应的反馈信息（装配工人通过交互终端发送的确认信号也是反馈信息的一种），从而监控人员可根据机器人和装配工人通过交互终端发送的反馈信息来监控装配过程，实现对人机协同装配过程的有效监控。
6.优选地，所述bpmn工作流模型还包括任务确认节点；步骤a1之前，还包括：a0.进入任务确认节点以执行：获取机器人的状态信息，根据所述状态信息向交互终端发送第三类审批信息，若接收到所述交互终端发回的第三确认信号，才执行步骤a1；所述第三类审批信息是询问是否启动工作流流程的询问信息，所述第三确认信号是表示同意启动工作流流程的应答信号。
7.优选地，所述机器人任务节点包括工件提取节点和工件放置节点；所述控制指令包括提取控制指令和放置控制指令；步骤a3中的向所述机器人发送控制指令，使所述机器人把工件从所述工件存放区域取出并放置在目标放置点的步骤包括循环执行以下步骤直到完成一组工件的转移：a301.进入工件提取节点以执行：向所述机器人发送提取控制指令，使所述机器人抓取目标工件并移动到预设的过渡位姿点，并接收所述机器人发回的表示完成本次提取任务的反馈信息；a302.进入工件放置节点以执行：向所述机器人发送放置控制指令，使所述机器人把所述目标工件放置在对应的目标放置点后移动到预设的拍摄点，并接收所述机器人发回的表示完成本次放置任务的反馈信息。
8.优选地，所述提取控制指令包含预设的过渡位姿数据；所述提取控制指令用于使所述机器人抓取目标工件后根据所述预设的过渡位姿数据把所述目标工件移动到预设的过渡位姿点；所述放置控制指令包含与所述目标工件对应的目标放置位姿数据和预设的拍照位姿数据；所述放置控制指令用于使所述机器人根据所述目标放置位姿数据以对应的目标放置位姿把所述目标工件放置在对应的目标放置点，并用于使所述机器人根据所述预设的拍照位姿数据以对应的拍照位姿移动到预设的拍摄点。
9.优选地，在执行工作流流程的过程中，实时记录和显示任务执行状态信息；所述任务执行状态信息包括各节点的开始时间信息和结束时间信息。
10.第二方面，本技术实施例提供一种基于bpmn工作流的人机协同组装系统，包括上位机、交互终端和机器人；所述机器人具有视觉系统；所述交互终端、所述机器人均与所述上位机通信连接；所述上位机用于基于python bpmn程序加载bpmn工作流模型，以执行对应的工作流流程；所述bpmn工作流模型包括检测节点、单一网关、机器人任务节点和人工任务节点；所述工作流流程包括：a1.进入检测节点以执行：向机器人发送检测指令，使所述机器人检测工件存放区域是否有工件，并接收所述机器人发回的检测结果信息；a2.进入单一网关以执行：若所述检测结果信息表明检测到工件，则转至步骤a3，否则，向交互终端发送第一类审批信息并转至步骤a4；所述第一类审批信息为询问是否结
束本次工作流流程的询问信息；a3.进入机器人任务节点以执行：向所述机器人发送控制指令，使所述机器人把工件从所述工件存放区域取出并放置在目标放置点，若接收到所述机器人发回的表示完成本次机器人任务的反馈信息，则向所述交互终端发送第二类审批信息并转至步骤a4；所述第二类审批信息是询问本次人工任务是否完成的询问信息；a4.进入人工任务节点以执行：若接收到针对第一类审批信息的第一确认信号，则结束本次工作流流程；若接收到针对第二类审批信息的第二确认信号，则转至步骤a1；所述第一确认信号是表示同意结束本次工作流流程的应答信号，所述第二确认信号是表示本次人工任务已完成的应答信号；所述机器人用于根据所述检测指令检测工件存放区域是否有工件，并向所述上位机发回检测结果信息；还用于根据所述控制指令把工件从所述工件存放区域取出并放置在目标放置点，并向所述上位机发回表示完成本次机器人任务的反馈信息；所述交互终端用于显示所述第一类审批信息，获取装配工人输入的第一确认信号并发送至所述上位机；所述交互终端还用于显示所述第二类审批信息，获取装配工人输入的第二确认信号并发送至所述上位机。
11.优选地，所述bpmn工作流模型还包括任务确认节点；步骤a1之前，还包括：a0.进入任务确认节点以执行：获取机器人的状态信息，根据所述状态信息向交互终端发送第三类审批信息，若接收到所述交互终端发回的第三确认信号，才执行步骤a1；所述第三类审批信息是询问是否启动工作流流程的询问信息，所述第三确认信号是表示同意启动工作流流程的应答信号；所述机器人还用于向所述上位机发送状态信息；所述交互终端还用于显示所述第三类审批信息，获取装配工人输入的第三确认信号并发送至所述上位机。
12.优选地，所述机器人任务节点包括工件提取节点和工件放置节点；所述控制指令包括提取控制指令和放置控制指令；步骤a3中的向所述机器人发送控制指令，使所述机器人把工件从所述工件存放区域取出并放置在目标放置点的步骤包括循环执行以下步骤直到完成一组工件的转移：a301.进入工件提取节点以执行：向所述机器人发送提取控制指令，使所述机器人抓取目标工件并移动到预设的过渡位姿点，并接收所述机器人发回的表示完成本次提取任务的反馈信息；a302.进入工件放置节点以执行：向所述机器人发送放置控制指令，使所述机器人把所述目标工件放置在对应的目标放置点后移动到预设的拍摄点，并接收所述机器人发回的表示完成本次放置任务的反馈信息。
13.优选地，所述提取控制指令包含预设的过渡位姿数据；所述机器人用于在抓取目标工件后根据所述预设的过渡位姿数据把所述目标工件移动到预设的过渡位姿点；所述放置控制指令包含与所述目标工件对应的目标放置位姿数据和预设的拍照位姿数据；所述机器人用于根据所述目标放置位姿数据以对应的目标放置位姿把所述目标工件放置在对应的目标放置点，并用于根据所述预设的拍照位姿数据以对应的拍照位姿移动到预设的拍摄点。
notation，业务流程建模与标注）工作流的人机协同组装方法，基于python bpmn程序加载bpmn工作流模型，以执行对应的工作流流程；所述bpmn工作流模型包括检测节点1、单一网关2（为bpmn工作流模型中的一种分支判断节点，以选一方式流转到其它节点）、机器人任务节点和人工任务节点3（如图2所示）；所述工作流流程包括：a1.进入检测节点1以执行：向配备视觉系统的机器人发送检测指令，使所述机器人检测工件存放区域是否有工件，并接收所述机器人发回的检测结果信息；a2.进入单一网关2以执行：若所述检测结果信息表明检测到工件，则转至步骤a3，否则，向交互终端发送第一类审批信息并转至步骤a4；所述第一类审批信息为询问是否结束本次工作流流程的询问信息；a3.进入机器人任务节点以执行：向所述机器人发送控制指令，使所述机器人把工件从所述工件存放区域取出并放置在目标放置点，若接收到所述机器人发回的表示完成本次机器人任务的反馈信息，则向所述交互终端发送第二类审批信息并转至步骤a4；所述第二类审批信息是询问本次人工任务是否完成的询问信息；a4.进入人工任务节点3以执行：若接收到针对第一类审批信息的第一确认信号，则结束本次工作流流程；若接收到针对第二类审批信息的第二确认信号，则转至步骤a1；所述第一确认信号是表示同意结束本次工作流流程的应答信号，所述第二确认信号是表示本次人工任务已完成的应答信号。
25.在实际应用中，该基于bpmn工作流的人机协同组装方法可应用于图5所示的基于bpmn工作流的人机协同组装系统中的上位机，该上位机安装有python bpmn程序；所述上位机与所述机器人、所述交互终端通信连接；所述交互终端设置在装配工位上，以用于向装配工人显示第一类审批信息、第二类审批信息等，并用于供装配工人输入第一确认信号、第二确认信号等（交互终端可以包括触摸屏，以便显示信息和输入信号）。所述bpmn工作流模型可事先根据具体的装配任务通过bpmn modeling工具建立。
26.该基于bpmn工作流的人机协同组装方法，基于python bpmn程序加载bpmn工作流模型以执行对应的工作流流程，由机器人和装配工人交替地执行机器人任务和人工任务，在机器人把工件放置在目标放置点后，由人工完成对应的人工装配工作，只有当装配工人完成人工装配工作并发回第二确认信号后，机器人才会执行下一次机器人任务，从而保证机器人动作和人工操作之间的时序正确性，避免由于人工操作效率变化而导致机器人过早或过晚动作，保证协同工作过程顺利开展，而且机器人和装配工人每次完成对应的任务后均会发回相应的反馈信息（装配工人通过交互终端发送的确认信号也是反馈信息的一种），从而监控人员可根据机器人和装配工人通过交互终端发送的反馈信息来监控装配过程，实现对人机协同装配过程的有效监控。
27.在一些优选实施方式中，所述bpmn工作流模型还包括任务确认节点4；步骤a1之前，还包括：a0.进入任务确认节点4以执行：获取机器人的状态信息，根据所述状态信息向交互终端发送第三类审批信息，若接收到所述交互终端发回的第三确认信号，才执行步骤a1；所述第三类审批信息是询问是否启动工作流流程的询问信息，所述第三确认信号是表示同意启动工作流流程的应答信号。
28.其中，所述机器人的状态信息的具体信息内容可根据实际需要采集，所述第三类审批信息可包含所述机器人的状态信息，以便在交互终端上显示该状态信息供装配工人核对。例如，该状态信息包括机器人的上电状态信息、复位状态信息等，所述第三类审批信息包含这些状态信息，从而交互终端会显示这些状态信息，装配工人逐一地对机器人的真实状态进行核对后，需在通过交互终端发回的第三确认信号后，才会正式启动工作流流程，机器人才会开始工作。
29.在一些实施方式中，步骤a0中，若接收到（装配工人通过）交互终端发回的表示不同意启动工作流流程的应答信号，或者在第一预设时间（可根据实际需要设置）内接收不到交互终端发回的信号，则发出第一告警信号。以便监控人员及时发现该异常情况，从而及时采取应对措施。
30.其中，步骤a1中，向机器人发送检测指令后，所述机器人会根据该检测指令，在预设的拍摄点处，以预设的拍照位姿（视觉系统包括设置在机器人末端的相机）进行工件存放区域的图像采集，然后通过图像识别方法在采集的图像中进行工件识别，以获取工件的位姿数据（以便后续进行工件抓取），若识别不到工件则发回表示检测不到工件的检测结果信息（例如发回字符“n”），若识别到工件则发回表示识别到工件的检测结果信息（例如发回字符“y”）。
31.在步骤a2中，若所述检测结果信息表明检测到工件，则表示还有工件需要进行装配，从而需要机器人再次执行机器人任务；若所述检测结果信息表明检测不到工件，则表示所有工件均已完成装配，从而应该结束任务，但为了保证避免由于识别错误而导致错误地结束任务，需要人工进行确认，因此向所述交互终端发送第二类审批信息，由装配工人检测确认无误后再通过交互终端人工进行确认，才结束任务。
32.在实际应用中，一个产品通常由多个工件装配而成，以下把组成同一个产品的所有工件称为一组工件，在一次机器人任务中，机器人需要把一组工件从工件存放区域转移到人工装配工位上的目标放置点处，以便装配工人进行人工装配操作。从而，在一些优选实施方式中，见图2，所述机器人任务节点包括工件提取节点5和工件放置节点6；步骤a3中的所述控制指令包括提取控制指令和放置控制指令；步骤a3中的向所述机器人发送控制指令，使所述机器人把工件从所述工件存放区域取出并放置在目标放置点的步骤包括循环执行以下步骤直到完成一组工件的转移：a301.进入工件提取节点5以执行：向所述机器人发送提取控制指令，使所述机器人抓取目标工件（由于机器人每次只抓取一个工件，因此每次抓取时均选定一个待抓取的工件为目标工件）并移动到预设的过渡位姿点，并接收所述机器人发回的表示完成本次提取任务的反馈信息；a302.进入工件放置节点6以执行：向所述机器人发送放置控制指令，使所述机器人把所述目标工件放置在对应的目标放置点后移动到预设的拍摄点，并接收所述机器人发回的表示完成本次放置任务的反馈信息。
33.其中，可只预先设置一个目标放置点，从而机器人每次放置工件时均把工件放置在同一个位置点，此时需要装配工人及时取走目标放置点处的工件，以避免该工件与后续放置的工件碰撞。也可针对同一组的各工件分别设置一个目标放置点，从而机器人每次把抓取的工件放置在对应的目标放置点处。
34.优选地，所述提取控制指令包含预设的过渡位姿数据；所述提取控制指令用于使所述机器人抓取目标工件后根据所述预设的过渡位姿数据把所述目标工件移动到预设的过渡位姿点；所述放置控制指令包含与所述目标工件对应的目标放置位姿数据和预设的拍照位姿数据；所述放置控制指令用于使所述机器人根据所述目标放置位姿数据以对应的目标放置位姿把所述目标工件放置在对应的目标放置点，并用于使所述机器人根据所述预设的拍照位姿数据以对应的拍照位姿移动到预设的拍摄点。
35.其中，过渡位姿点可根据实际需要设置，机器人在进行工件转移时，若直接从工件的初始位置直接移动到目标放置点处，机器人移动过程中容易与其它障碍物发生碰撞，通过设置过渡位姿点，使机器人先移动到过渡位姿点，再移动到目标放置点，可引导机器人绕过工件的初始位置和目标放置点之间的障碍物，从而有利于避免机器人与障碍物发生碰撞。而在实际应用中，工件在工件存放区域中的放置位置可能不是固定的，此时，机器人需要实时根据工件的位置来规划移动路径，而设置过渡位姿点后，由于过渡位姿点和目标放置点位置固定，可事先规划好从过渡位姿点到目标放置点之间的路径，工作时，再实时规划从工件的位置到过渡位姿点之间的路径，与实时规划从工件的位置到目标放置点的路径相比，能够提高规划效率，从而提高机器人的工作效率。此外，可把过渡位姿点设置在抓取点（即工件初始位置）或目标放置点上方一段距离（根据实际需要设置）处，当机器人末端接近过渡位姿点时会减速，经过过渡位姿点后以降低后的速度移动至工件或目标放置点，从而不会快速地撞上工件或目标放置点引起设备损伤。
36.其中，在实际应用中，有些工件对放置位姿是有要求的（例如，有些圆柱形工件，若横放在目标放置点则容易发生滚动，需要竖直放置），因此需要根据预先设置的目标放置位姿数据进行工件的放置。而每次完成工件放置后，均使所述机器人根据所述预设的拍照位姿数据以对应的拍照位姿移动到预设的拍摄点，从而当执行步骤a1时，可直接进行图像拍摄，无需再进行拍照位姿的调整，有利于提高效率。
37.在一些实施方式中，见图3，工件提取节点5包括第一移动子节点501、第一夹爪动作子节点502、第二夹爪动作子节点503和第二移动子节点504；步骤a301包括：进入第一移动子节点501以执行：向所述机器人发送第一提取控制指令，使所述机器人移动到目标工件位置点，并接收所述机器人发回的表示完成本次动作任务的反馈信息；进入第一夹爪动作子节点502以执行：向所述机器人发送第二提取控制指令，使所述机器人打开夹爪，并接收所述机器人发回的表示完成本次动作任务的反馈信息；进入第二夹爪动作子节点503以执行：向所述机器人发送第三提取控制指令，使所述机器人收紧夹爪，并接收所述机器人发回的表示完成本次动作任务的反馈信息；进入第二移动子节点504以执行：向所述机器人发送第四提取控制指令，使所述机器人移动到过渡位姿点，并接收所述机器人发回的表示完成本次提取任务的反馈信息。
38.从而有利于记录更加详细的机器人工作过程中的反馈信息，从而实现更加有效的监控，在出现异常时，更容易查找异常原因。
39.在一些实施方式中，见图4，工件放置节点6包括第三移动子节点601、第三夹爪动作子节点602、第四夹爪动作子节点603和第四移动子节点604；步骤a302包括：
进入第三移动子节点601以执行：向所述机器人发送第一放置控制指令，使所述机器人移动到目标放置点，并接收所述机器人发回的表示完成本次动作任务的反馈信息；进入第三夹爪动作子节点602以执行：向所述机器人发送第二放置控制指令，使所述机器人打开夹爪，并接收所述机器人发回的表示完成本次动作任务的反馈信息；进入第四夹爪动作子节点603以执行：向所述机器人发送第三放置控制指令，使所述机器人收紧夹爪（即夹爪复位），并接收所述机器人发回的表示完成本次动作任务的反馈信息；进入第四移动子节点604以执行：向所述机器人发送第四放置控制指令，使所述机器人移动到预设的拍摄点，并接收所述机器人发回的表示完成本次放置任务的反馈信息。
40.从而有利于记录更加详细的机器人工作过程中的反馈信息，从而实现更加有效的监控，在出现异常时，更容易查找异常原因。
41.在一些优选实施方式中，所述bpmn工作流模型还包括复位节点7；步骤a4中，若接收到针对第一类审批信息的第一确认信号，则先进入复位节点7以执行：向机器人发送复位指令，使机器人回到初始位置，并接收机器人发回的表示已经复位的反馈信息；再结束本次工作流流程。
42.在一些实施方式中，步骤a4中，若在第二预设时间（可根据实际需要设置）内接收不到交互终端发回的信号，则发出第二告警信号。以便监控人员及时发现该异常情况，从而及时采取应对措施。
43.优选地，在执行工作流流程的过程中，实时记录和显示任务执行状态信息；所述任务执行状态信息包括各节点（包括子节点）的开始时间信息和结束时间信息，但不限于此。所述上位机可包括显示器，通过显示器显示任务执行状态信息，以便监控人员直观地知道当前的任务进度。其中，记录的任务执行状态信息可保存为记录文件，以便事后查看，当出现生产问题时，方便查找原因。
44.请参考图5，本技术实施例提供一种基于bpmn工作流的人机协同组装系统，包括上位机10、交互终端20和机器人30；所述机器人30具有视觉系统；所述交互终端20、所述机器人30均与所述上位机10通信连接；所述上位机1用于基于python bpmn程序加载bpmn工作流模型，以执行对应的工作流流程；所述bpmn工作流模型包括检测节点1、单一网关2、机器人任务节点和人工任务节点3；所述工作流流程包括：a1.进入检测节点1以执行：向机器人30发送检测指令，使所述机器人30检测工件存放区域是否有工件，并接收所述机器人30发回的检测结果信息；a2.进入单一网关2以执行：若所述检测结果信息表明检测到工件，则转至步骤a3，否则，向交互终端发送第一类审批信息并转至步骤a4；所述第一类审批信息为询问是否结束本次工作流流程的询问信息；a3.进入机器人任务节点以执行：向所述机器人30发送控制指令，使所述机器人30把工件从所述工件存放区域取出并放置在目标放置点，若接收到所述机器人30发回的表示完成本次机器人任务的反馈信息，则向所述交互终端20发送第二类审批信息并转至步骤a4；所述第二类审批信息是询问本次人工任务是否完成的询问信息；
a4.进入人工任务节点3以执行：若接收到针对第一类审批信息的第一确认信号，则结束本次工作流流程；若接收到针对第二类审批信息的第二确认信号，则转至步骤a1；所述第一确认信号是表示同意结束本次工作流流程的应答信号，所述第二确认信号是表示本次人工任务已完成的应答信号；所述机器人30用于根据所述检测指令检测工件存放区域是否有工件，并向所述上位机发回检测结果信息；还用于根据所述控制指令把工件从所述工件存放区域取出并放置在目标放置点，并向所述上位机发回表示完成本次机器人任务的反馈信息；所述交互终端20用于显示所述第一类审批信息，获取装配工人输入的第一确认信号并发送至所述上位机10；所述交互终端20还用于显示所述第二类审批信息，获取装配工人输入的第二确认信号并发送至所述上位机10。
45.其中，上位机10安装有python bpmn程序；所述交互终端20设置在装配工位上，以用于向装配工人显示第一类审批信息、第二类审批信息等，并用于供装配工人输入第一确认信号、第二确认信号等（交互终端20可以包括触摸屏，以便显示信息和输入信号）。所述bpmn工作流模型可事先根据具体的装配任务通过bpmn modeling工具建立。机器人30可以但不限于是多轴机器人（如六轴机器人，七轴机器人等）。
46.该基于bpmn工作流的人机协同组装系统，基于python bpmn程序加载bpmn工作流模型以执行对应的工作流流程，由机器人和装配工人交替地执行机器人任务和人工任务，在机器人把工件放置在目标放置点后，由人工完成对应的人工装配工作，只有当装配工人完成人工装配工作并发回第二确认信号后，机器人才会执行下一次机器人任务，从而保证机器人动作和人工操作之间的时序正确性，避免由于人工操作效率变化而导致机器人过早或过晚动作，保证协同工作过程顺利开展，而且机器人和装配工人每次完成对应的任务后均会发回相应的反馈信息（装配工人通过交互终端发送的确认信号也是反馈信息的一种），从而监控人员可根据机器人和装配工人通过交互终端发送的反馈信息来监控装配过程，实现对人机协同装配过程的有效监控。
47.在一些优选实施方式中，所述bpmn工作流模型还包括任务确认节点4；步骤a1之前，还包括：a0.进入任务确认节点4以执行：获取机器人的状态信息，根据所述状态信息向交互终端20发送第三类审批信息，若接收到所述交互终端20发回的第三确认信号，才执行步骤a1；所述第三类审批信息是询问是否启动工作流流程的询问信息，所述第三确认信号是表示同意启动工作流流程的应答信号；所述机器人30还用于向所述上位机10发送状态信息；所述交互终端20还用于显示所述第三类审批信息，获取装配工人输入的第三确认信号并发送至所述上位机10。
48.其中，所述机器人的状态信息的具体信息内容可根据实际需要采集，所述第三类审批信息可包含所述机器人的状态信息，以便在交互终端上显示该状态信息供装配工人核对。例如，该状态信息包括机器人的上电状态信息、复位状态信息等，所述第三类审批信息包含这些状态信息，从而交互终端会显示这些状态信息，装配工人逐一地对机器人的真实状态进行核对后，需在通过交互终端发回的第三确认信号后，才会正式启动工作流流程，机器人才会开始工作。
49.在一些实施方式中，步骤a0中，若接收到（装配工人通过）交互终端发回的表示不同意启动工作流流程的应答信号，或者在第一预设时间（可根据实际需要设置）内接收不到交互终端发回的信号，则发出第一告警信号。以便监控人员及时发现该异常情况，从而及时采取应对措施。
50.其中，步骤a1中，上位机10向机器人30发送检测指令后，所述机器人30会根据该检测指令，在预设的拍摄点处，以预设的拍照位姿（视觉系统包括设置在机器人末端的相机）进行工件存放区域的图像采集，然后通过图像识别方法在采集的图像中进行工件识别，以获取工件的位姿数据（以便后续进行工件抓取），若识别不到工件则发回表示检测不到工件的检测结果信息（例如发回字符“n”），若识别到工件则发回表示识别到工件的检测结果信息（例如发回字符“y”）。
51.在步骤a2中，若所述检测结果信息表明检测到工件，则表示还有工件需要进行装配，从而需要机器人30再次执行机器人任务；若所述检测结果信息表明检测不到工件，则表示所有工件均已完成装配，从而应该结束任务，但为了保证避免由于识别错误而导致错误地结束任务，需要人工进行确认，因此向所述交互终端20发送第二类审批信息，由装配工人检测确认无误后再通过交互终端20人工进行确认，才结束任务。
52.在实际应用中，一个产品通常由多个工件装配而成，以下把组成同一个产品的所有工件称为一组工件，在一次机器人任务中，机器人需要把一组工件从工件存放区域转移到人工装配工位上的目标放置点处，以便装配工人进行人工装配操作。从而，在一些优选实施方式中，见图2，所述机器人任务节点包括工件提取节点5和工件放置节点6；步骤a3中的所述控制指令包括提取控制指令和放置控制指令；步骤a3中的向所述机器人发送控制指令，使所述机器人把工件从所述工件存放区域取出并放置在目标放置点的步骤包括循环执行以下步骤直到完成一组工件的转移：a301.进入工件提取节点5以执行：向所述机器人30发送提取控制指令，使所述机器人30抓取目标工件（由于机器人30每次只抓取一个工件，因此每次抓取时均选定一个待抓取的工件为目标工件）并移动到预设的过渡位姿点，并接收所述机器人30发回的表示完成本次提取任务的反馈信息（机器人30还用于根据所述提取控制指令，抓取目标工件并移动到预设的过渡位姿点，并向上位机10发送表示完成本次提取任务的反馈信息）；a302.进入工件放置节点6以执行：向所述机器人30发送放置控制指令，使所述机器人30把所述目标工件放置在对应的目标放置点后移动到预设的拍摄点，并接收所述机器人30发回的表示完成本次放置任务的反馈信息（机器人30还用于根据所述放置控制指令，把所述目标工件放置在对应的目标放置点后移动到预设的拍摄点，并向上位机10发送表示完成本次放置任务的反馈信息）。
53.其中，可只预先设置一个目标放置点，从而机器人30每次放置工件时均把工件放置在同一个位置点，此时需要装配工人及时取走目标放置点处的工件，以避免该工件与后续放置的工件碰撞。也可针对同一组的各工件分别设置一个目标放置点，从而机器人30每次把抓取的工件放置在对应的目标放置点处。
54.优选地，所述提取控制指令包含预设的过渡位姿数据；所述机器人30用于在抓取目标工件后根据所述预设的过渡位姿数据把所述目标工件移动到预设的过渡位姿点；所述放置控制指令包含与所述目标工件对应的目标放置位姿数据和预设的拍照
位姿数据；所述机器人30用于根据所述目标放置位姿数据以对应的目标放置位姿把所述目标工件放置在对应的目标放置点，并用于根据所述预设的拍照位姿数据以对应的拍照位姿移动到预设的拍摄点。
55.其中，过渡位姿点可根据实际需要设置，机器人30在进行工件转移时，若直接从工件的初始位置直接移动到目标放置点处，机器人30移动过程中容易与其它障碍物发生碰撞，通过设置过渡位姿点，使机器人30先移动到过渡位姿点，再移动到目标放置点，可引导机器人30绕过工件的初始位置和目标放置点之间的障碍物，从而有利于避免机器人30与障碍物发生碰撞。而在实际应用中，工件在工件存放区域中的放置位置可能不是固定的，此时，机器人30需要实时根据工件的位置来规划移动路径，而设置过渡位姿点后，由于过渡位姿点和目标放置点位置固定，可事先规划好从过渡位姿点到目标放置点之间的路径，工作时，再实时规划从工件的位置到过渡位姿点之间的路径，与实时规划从工件的位置到目标放置点的路径相比，能够提高规划效率，从而提高机器人30的工作效率。此外，可把过渡位姿点设置在抓取点（即工件初始位置）或目标放置点上方一段距离（根据实际需要设置）处，当机器人30末端接近过渡位姿点时会减速，经过过渡位姿点后以降低后的速度移动至工件或目标放置点，从而不会快速地撞上工件或目标放置点引起设备损伤。
56.其中，在实际应用中，有些工件对放置位姿是有要求的（例如，有些圆柱形工件，若横放在目标放置点则容易发生滚动，需要竖直放置），因此需要根据预先设置的目标放置位姿数据进行工件的放置。而每次完成工件放置后，均使所述机器人根据所述预设的拍照位姿数据以对应的拍照位姿移动到预设的拍摄点，从而当执行步骤a1时，可直接进行图像拍摄，无需再进行拍照位姿的调整，有利于提高效率。
57.在一些实施方式中，见图3，工件提取节点5包括第一移动子节点501、第一夹爪动作子节点502、第二夹爪动作子节点503和第二移动子节点504；步骤a301包括：进入第一移动子节点501以执行：向所述机器人30发送第一提取控制指令，使所述机器人30移动到目标工件位置点，并接收所述机器人发回的表示完成本次动作任务的反馈信息（机器人30还用于根据所述第一提取控制指令，移动到目标工件位置点，并向上位机10发送表示完成本次动作任务的反馈信息）；进入第一夹爪动作子节点502以执行：向所述机器人30发送第二提取控制指令，使所述机器人30打开夹爪，并接收所述机器人30发回的表示完成本次动作任务的反馈信息（机器人30还用于根据所述第二提取控制指令，打开夹爪，并向上位机10发送表示完成本次动作任务的反馈信息）；进入第二夹爪动作子节点503以执行：向所述机器人30发送第三提取控制指令，使所述机器人30收紧夹爪，并接收所述机器人30发回的表示完成本次动作任务的反馈信息（机器人30还用于根据所述第三提取控制指令，收紧夹爪，并向上位机10发送表示完成本次动作任务的反馈信息）；进入第二移动子节点504以执行：向所述机器人30发送第四提取控制指令，使所述机器人30移动到过渡位姿点，并接收所述机器人30发回的表示完成本次提取任务的反馈信息（机器人30还用于根据所述第四提取控制指，移动到过渡位姿点，并向上位机10发送表示完成本次提取任务的反馈信息）。
58.从而有利于记录更加详细的机器人工作过程中的反馈信息，从而实现更加有效的
监控，在出现异常时，更容易查找异常原因。
59.在一些实施方式中，见图4，工件放置节点6包括第三移动子节点601、第三夹爪动作子节点602、第四夹爪动作子节点603和第四移动子节点604；步骤a302包括：进入第三移动子节点601以执行：向所述机器人30发送第一放置控制指令，使所述机器人30移动到目标放置点，并接收所述机器人30发回的表示完成本次动作任务的反馈信息（机器人30还用于根据所述第一放置控制指令，移动到目标放置点，并向上位机10发送表示完成本次动作任务的反馈信息）；进入第三夹爪动作子节点602以执行：向所述机器人30发送第二放置控制指令，使所述机器人30打开夹爪，并接收所述机器人30发回的表示完成本次动作任务的反馈信息（机器人30还用于根据所述第二放置控制指令，打开夹爪，并向上位机10发送表示完成本次动作任务的反馈信息）；进入第四夹爪动作子节点603以执行：向所述机器人30发送第三放置控制指令，使所述机器人30收紧夹爪（即夹爪复位），并接收所述机器人30发回的表示完成本次动作任务的反馈信息（机器人30还用于根据所述第三放置控制指令，收紧夹爪，并向上位机10发送表示完成本次动作任务的反馈信息）；进入第四移动子节点604以执行：向所述机器人30发送第四放置控制指令，使所述机器人30移动到预设的拍摄点，并接收所述机器人30发回的表示完成本次放置任务的反馈信息（机器人30还用于根据所述第四放置控制指令，移动到预设的拍摄点，并向上位机10发送表示完成本次放置任务的反馈信息）。
60.从而有利于记录更加详细的机器人工作过程中的反馈信息，从而实现更加有效的监控，在出现异常时，更容易查找异常原因。
61.在一些优选实施方式中，所述bpmn工作流模型还包括复位节点7；步骤a4中，若接收到针对第一类审批信息的第一确认信号，则先进入复位节点以执行：向机器人30发送复位指令，使机器人30回到初始位置，并接收机器人30发回的表示已经复位的反馈信息（机器人30还用于根据复位指令，回到初始位置，并向上位机10发送表示已经复位的反馈信息）；再结束本次工作流流程。
62.在一些实施方式中，步骤a4中，若在第二预设时间（可根据实际需要设置）内接收不到交互终端20发回的信号，则发出第二告警信号。以便监控人员及时发现该异常情况，从而及时采取应对措施。
63.优选地，所述上位机10还用于在执行工作流流程的过程中，实时记录和显示任务执行状态信息；所述任务执行状态信息包括各节点（包括子节点）的开始时间信息和结束时间信息，但不限于此。所述上位机10可包括显示器，通过显示器显示任务执行状态信息，以便监控人员直观地知道当前的任务进度。其中，记录的任务执行状态信息可保存为记录文件，以便事后查看，当出现生产问题时，方便查找原因。
64.综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术佩戴人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，其方案与本发明实质上相同。