一种生产流程管理的工业互联网平台和方法与流程

1.本发明涉及机器视觉技术领域，特别涉及一种生产流程管理的工业互联网平台和方法。


背景技术：

2.随着工业自动化和数字化的发展，越来越多的工厂由传统的手工生产转换为机械自动化生产，逐步建设数字化无人工厂。然而工厂生产模式的转型升级并不容易，需要面临诸多的难题，比如是否有成熟可靠的生产流程管理系统、投入及维护成本是否合理、能否提升生产效率、能否实现生产各流程及产品的追溯监管等。
3.目前现有的生产流程管理系统大都属于纯数据信息的管理，数据的来源基本上都需要人工统计录入，产品具体的生产流程同样也需要由人工完成，比如产品的质量检测、统计计数等，并不能通过系统把整个生产流程统一监管起来。目前部分企业使用的流程管理主要是偏向于解决工厂人员、财务、产品、设备等信息的管理，而信息的来源通常都是需要由人工统计并录入系统，系统只是通过录入的各类数据进行统计分析管理，并不能实现生产数据的自动获取和解放人工劳动力，这类型的平台其实更偏向于信息管理系统，为工厂生产流程数据的管理提供了一种解决方法，在一定程度上提高了工厂生产的效率。
4.另外，还有部分企业采用pdm(product data management，产品数据管理)系统进行产品相关数据的管理。pdm系统主要是用来管理所有与产品相关信息(包括零件信息、配置、文档、cad文件、结构、权限信息等)和所有与产品相关过程(包括过程定义和管理)，通过实施pdm，可以提高生产效率，有利于对产品的全生命周期进行管理，加强对于文档、图纸、数据的高效利用，使工作流程更加规范化。总而言之，pdm是一种帮助管理人员管理产品数据和产品研发过程的工具，最终的目标是达到企业级信息集成的目的。但是，单纯通过使用pdm系统只能够达到产品数据管理的效果，为产品的生产流程提供规范化的计划，侧重于对产品数据的管理，而对于解放工厂人工劳动力方面起到的效果微乎其微，产品生产过程的质量检测、统计、监管等流程依旧需要由人工完成，无法从根本上解决工厂自动化、无人化生产的问题。


技术实现要素：

5.本技术实施例提供了一种生产流程管理的工业互联网平台和方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
6.第一方面，本技术实施例提供了一种生产流程管理的工业互联网平台，所述平台包括：
7.工厂车间设备、云中心以及后台中心；其中，
8.所述工厂车间设备以及所述后台中心分别与所述云中心通信连接；其中，
9.所述工厂车间设备，用于通过摄像头采集生产线上的产品生产图像，并发送至所述云中心；
10.所述云中心，用于根据预设数据交互规则将接收的产品生产图像发送至所述后台中心；
11.所述后台中心，用于根据接收的产品生产图像进行视觉识别生成有效生产数据，并将所述有效生产数据进行数据融合与统计，得到最终的基础数据，以及将最终的基础数据进行保存并通过所述云中心反馈至所述工厂车间设备；
12.所述工厂车间设备，还用于根据最终的基础数据进行实时生产监管和数据统计，生成多种形式的生产统计报表。
13.可选的，所述工厂车间设备包括多个第一手机端、多个第二手机端以及多个管理服务器；其中，
14.所述多个第一手机端、多个第二手机端以及多个管理服务器通过互联网通信连接；其中，
15.所述多个第一手机端，用于通过摄像头采集生产线上的产品生产图像，并通过互联网发送至所述云中心；
16.所述多个第二手机端，用于根据最终的基础数据进行实时生产监管和数据统计，生成多种形式的生产统计报表；
17.所述多个管理服务器，用于共享pdm系统中的数据与设计规则。
18.可选的，所述多个第一手机端中每个第一手机端上安装有视觉检测app；
19.所述多个第二手机端中每个第二手机端上安装有生产流程监管app。
20.可选的，所述后台中心包括服务器组模块、交换机模块、平台管理终端以及算法处理中心；其中，
21.所述服务器组模块、平台管理终端以及算法处理中心分别与所述交换机模块通信连接；其中，
22.所述算法处理中心，用于根据接收的产品生产图像进行视觉识别后生成有效生产数据，并对有效生产数据进行融合，得到第一融合数据，并将所述第一融合数据反馈至所述平台管理终端与所述服务器组模块；
23.所述服务器组模块，用于预处理进出所述后台中心的数据，并将所述第一融合数据进行数据融合与统计，得到最终的基础数据，并将最终的基础数据进行保存，以及将所述基础数据发送至平台管理终端并通过所述云中心反馈至所述工厂车间设备以及所述多个管理服务器；
24.所述平台管理终端，用于构建业务管理功能，并根据所述第一融合数据以及最终的基础数据监管系统设备，以及对不同终端或用户的业务流程进行管理。
25.可选的，所述服务器组模块包括接入服务器组、智慧服务器组以及存储服务器组；
26.其中，所述接入服务器组、智慧服务器组以及存储服务器组通信连接；
27.其中，所述接入服务器组，用于对进出所述后台中心的数据进行预处理，所述预处理至少包括筛选和过滤非法数据；
28.所述存储服务器组，用于接收来自每个终端的数据进行基础数据融合，得到第二融合数据，并接收来自所述智慧服务器组的数据请求指令，根据所述请求指令确定出目标
数据反馈至所述智慧服务器组；
29.所述智慧服务器组，用于将所述第一融合数据进行数据融合与统计，得到最终的基础数据，并将最终的基础数据进行保存并通过所述云中心反馈至所述工厂车间设备；或者将接收的终端数据与所述接收的目标数据进行数据融合后发送至所述平台管理终端。
30.可选的，所述根据接收的产品生产图像进行视觉识别后生成有效生产数据，包括：
31.获取接收的产品生产图像像素的r、g、b值，得到rgb图像帧；
32.按照预设尺寸将所述rgb图像帧进行平均分割，得到多个图像块，并计算出每个图像块的22种特征值；
33.计算整个所述rgb图像帧的22种特征值的平均值；
34.计算所述每个图像块的22种特征值与整个所述rgb图像帧的22种特征值的平均值之间的差值，得到每个图像块的多个第一特征值差值；
35.计算每个图像块的每个第一特征值差值的最大值；
36.计算所述每个图像块的22种特征值中每个特征值与所述最大值之间的差值，得到每个图像块的多个第二特征值差值；
37.统计计算每个图像块的多个第二特征值差值大于预设阈值的连续个数和序列号；
38.根据所述连续个数和序列号识别物体和计算物体个数，并将识别的物体和计算的物体个数确定为有效生产数据。
39.可选的，所述获取接收的产品生产图像像素的r、g、b值，得到rgb图像帧，包括：
40.确定接收的产品生产图像的图像格式；
41.当图像格式为jpg图像时，初始化开发工具qt软件的方法qimage函数；
42.采用所述qimage函数将所述jpg图像转换为rgb图像数据；
43.将rgb图像数据保存至于容器a，得到rgb图像帧。
44.可选的，所述按照预设尺寸将所述rgb图像帧进行平均分割，得到多个图像块，并计算出每个图像块的22种特征值，包括：
45.按照预设尺寸将所述rgb图像帧进行平均分割，得到多个图像块，并保存至容器b；
46.从所述容器b中提取出单个图像块保存至容器c；
47.从所述容器c中提取每个图像块的像素点，分别对所述像素点中的红、绿、蓝、黄、青、紫、白、黑、最大值、最小值、平均值11种参数的特征值进行提取，并提取每个图像块与周边块的11种差异特征值，得到每个图像块的22种特征值。
48.可选的，所述将接收的终端数据与所述接收的目标数据进行数据融合后发送至所述平台管理终端，包括：
49.接收来自所述平台管理终端的请求指令和终端数据；
50.将所述终端数据进行融合后发送至所述平台管理终端；
51.或者，
52.根据所述请求指令的深度解析的结果，确定业务功能所需的所有基础数据；
53.根据所述业务功能所需的所有基础数据生成数据获取请求，并发送至所述存储服务器组；
54.接收来自所述服务器组的目标数据，按照业务功能数据规则及逻辑，开始对终端数据与目标数据进行多级的数据融合，得到有效的功能数据；
55.将有效的功能数据发送至所述平台管理终端；
56.清除功能融合数据本地缓存，释放内存空间。
57.第二方面，本技术实施例提供了一种生产流程管理的方法，方法包括：
58.工厂车间设备通过摄像头采集生产线上的产品生产图像，并发送至所述云中心；
59.云中心根据预设数据交互规则将接收的产品生产图像发送至所述后台中心；
60.后台中心根据接收的产品生产图像进行视觉识别生成有效生产数据，并将所述有效生产数据进行数据融合与统计，得到最终的基础数据，以及将最终的基础数据进行保存并通过所述云中心反馈至所述工厂车间设备；
61.工厂车间设备根据最终的基础数据进行实时生产监管和数据统计，生成多种形式的生产统计报表。
62.本技术实施例提供的技术方案可以包括以下有益效果：
63.在本技术实施例中，工厂车间设备通过上传图像至后台中心，通过后台中心进行图像的视觉识别处理，包含产品类型识别、数量统计、质量检测等，然后后台中心将视觉识别处理得出的数据结合pdm系统的流程设计规范进行对应的数据融合、统计得到有效数据，最后将有效数据保存至数据仓并反馈给工厂车间设备，对生产流程进行实时的监管和数据统计，从而可追溯产品整个生命周期的所有流程数据及记录，同时可实时查看订单产品的每个零部件实时可视化生产情况，可对产品生产的任一流程进行可视化有效监管。
64.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
65.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
66.图1是本技术实施例提供的一种生产流程管理的工业互联网平台的平台结构示意图；
67.图2是本技术实施例提供的一种工厂车间设备的结构示意图；
68.图3是本技术实施例提供的一种后台中心的结构示意图；
69.图4是本技术实施例提供的一种生产流程管理的方法的方法流程示意图；
70.图5是本技术实施例提供的一种数据融合过程示意图；
71.图6是本技术实施例提供的一种数据帧格式表示意图；
72.图7是本技术实施例提供的另一种数据帧格式表示意图；
73.图8是本技术实施例提供的另一种数据帧格式表示意图；
74.图9是本技术实施例提供的另一种数据帧格式表示意图。
具体实施方式
75.以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
76.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其
它实施例，都属于本发明保护的范围。
77.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
78.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
79.本技术提供的技术方案中，工厂车间设备通过上传图像至后台中心，通过后台中心进行图像的视觉识别处理，包含产品类型识别、数量统计、质量检测等，然后后台中心将视觉识别处理得出的数据结合pdm系统的流程设计规范进行对应的数据融合、统计得到有效数据，最后将有效数据保存至数据仓并反馈给工厂车间设备，对生产流程进行实时的监管和数据统计，从而可追溯产品整个生命周期的所有流程数据及记录，同时可实时查看订单产品的每个零部件实时可视化生产情况，可对产品生产的任一流程进行可视化有效监管，下面采用示例性的实施例进行详细说明。
80.请参见图1，图1是本技术实施例提供的一种生产流程管理的工业互联网平台示意图，该工业互联网平台包括：工厂车间设备、云中心以及后台中心；其中，所述工厂车间设备以及所述后台中心分别与所述云中心通信连接；其中，所述工厂车间设备，用于通过摄像头采集生产线上的产品生产图像，并发送至所述云中心；所述云中心，用于根据预设数据交互规则将接收的产品生产图像发送至所述后台中心；所述后台中心，用于根据接收的产品生产图像进行视觉识别生成有效生产数据，并将所述有效生产数据进行数据融合与统计，得到最终的基础数据，以及将最终的基础数据进行保存并通过所述云中心反馈至所述工厂车间设备；所述工厂车间设备，还用于根据最终的基础数据进行实时生产监管和数据统计，生成多种形式的生产统计报表。
81.在本实施例中，后台中心、云中心、工厂车间设备之间均通过网络进行数据互联，采用的网络通信协议为tcp/ip协议，能够从底层保证数据网络传输的稳定性和可靠性。
82.在本实施例中，云中心是系统互联网中心的接入端。云中心通过互联网网络通信技术管理接入的后台中心的解析服务器、各生产车间的终端设备，通过私有云操作系统数据通信协议实现数据的交互传输，解决各类功能终端用户和功能数据快速接入的问题。同时，通过系统数据交互的规则，通过算法自动调控系统数据的传输方向、传输速度、传输数据量，有效降低了公网带宽和流量的消耗。
83.在本实施例中，例如图2所示，所述工厂车间设备包括多个第一手机端、多个第二手机端以及多个管理服务器；其中，所述多个第一手机端、多个第二手机端以及多个管理服务器通过互联网通信连接；其中，所述多个第一手机端，用于通过摄像头采集生产线上的产品生产图像，并通过互联网发送至所述云中心；所述多个第二手机端，用于根据最终的基础数据进行实时生产监管和数据统计，生成多种形式的生产统计报表；所述多个管理服务器，
用于共享pdm系统中的数据与设计规则。
84.进一步地，所述多个第一手机端中每个第一手机端上安装有视觉检测app；所述多个第二手机端中每个第二手机端上安装有生产流程监管app；每个管理服务器上有pdm系统。
85.具体的，视觉检测app属于安卓手机端的终端软件，主要是通过手机摄像头拍照或录像采集产品生产流程的图像，然后通过网络将数据传输至后台中心，经过后台中心的算法处理中心对图像进行视觉算法处理，包含识别产品信息、对产品进行计数并统计、进行质量检测等。如此提供产品生产流程的图像即可由平台自动实现生产流程数据的记录、统计和分析。
86.视觉检测app本身并不集成任何的视觉识别算法，只进行生产流程的数据来源(主要是视觉图像)，需要通过网络连接到平台才能使用相应的业务功能，才能体现该终端软件的价值。
87.具体的，生产流程监管app属于安卓手机端的终端软件，主要是对工厂车间的生产流程进行监管，可以查看任一批次和流程的生产实时数据、生产统计报表(日、周、月、季、年)和产品生产流程备案图像，实时了解生产的情况，随时进行生产流程的数据追溯，为产品的生产、销售、售后提供更有力的数据支撑。
88.具体的，pdm系统是工厂一般在使用的产品数据管理系统，可将该系统通过网络接入到本发明的平台中，平台结合pdm系统中生产流程的设计、产品的定义和规划、产品信息等进行整合，与平台中收集到的生产数据进行融合，由平台提供更加完善的生产流程管理数据。
89.在本技术实施例中，例如图3所示，所述后台中心包括服务器组模块、交换机模块、平台管理终端以及算法处理中心；其中，所述服务器组模块、平台管理终端以及算法处理中心分别与所述交换机模块通信连接；其中，所述算法处理中心，用于根据接收的产品生产图像进行视觉识别后生成有效生产数据，并对有效生产数据进行融合，得到第一融合数据，并将所述第一融合数据反馈至所述平台管理终端与所述服务器组模块；所述服务器组模块，用于预处理进出所述后台中心的数据，并将所述第一融合数据进行数据融合与统计，得到最终的基础数据，并将最终的基础数据进行保存，以及将所述基础数据发送至平台管理终端并通过所述云中心反馈至所述工厂车间设备以及所述多个管理服务器；所述平台管理终端，用于构建业务管理功能，并根据所述第一融合数据以及最终的基础数据监管系统设备，以及对不同终端或用户的业务流程进行管理。
90.进一步地，所述服务器组模块包括接入服务器组、智慧服务器组以及存储服务器组；其中，所述接入服务器组、智慧服务器组以及存储服务器组通信连接；其中，所述接入服务器组，用于对进出所述后台中心的数据进行预处理，所述预处理至少包括筛选和过滤非法数据；所述存储服务器组，用于接收来自每个终端的数据进行基础数据融合，得到第二融合数据，并接收来自所述智慧服务器组的数据请求指令，根据所述请求指令确定出目标数据反馈至所述智慧服务器组；所述智慧服务器组，用于将所述第一融合数据进行数据融合与统计，得到最终的基础数据，并将最终的基础数据进行保存并通过所述云中心反馈至所述工厂车间设备；或者将接收的终端数据与所述接收的目标数据进行数据融合后发送至所述平台管理终端。
91.具体的，接入服务器组主要是负责局域网终端和云服务器设备的接入管理，进行互联网与局域网数据的转换交互传输，是用户终端数据与系统后台数据的交互中转站。初步解析筛选数据，过滤无效或非法数据，保证后台数据中心的安全、稳定；通过系统规划的数据交互规则，快速分发数据，保证数据传输的及时性。
92.具体的，智慧服务器组属于系统数据处理中心，主要负责对数据进行网络交互传输，对数据进行融合和统计分析，自行智能处理某些问题。通过云计算技术以及独创的数据融合处理算法，能够快速对系统数据进行融合、统计分析，实现各类功能；同时，结合内置的专家系统，在出现紧急情况时，智能匹配应急预案并进行事件处理，第一时间发现问题并解决问题。
93.具体的，存储服务器组是数据的存储中心，主要负责对系统数据的快速存储、快速查询的功能。采用专有编码的多维数据仓存储技术，快速构建多维存储空间，结合私有云操作系统数据通信协议，进行系统数据的快速编码、分类存储、精确查询，为系统提供高效、稳定的数据存储保障。数据仓中存储的数据均为系统功能的基础数据，各类型的功能数据均通过不同的基础数据进行融合处理得出，因此数据仓中不存储功能融合数据以及其余无效数据，能够最大限度降低磁盘资源的占用，节省成本。
94.具体的，平台管理终端属于后台中心局域网内的终端设备，包括平台设备管理终端、平台业务管理终端等，根据不同的职能设计对应的管理终端，有针对性地规划、设计终端的功能。平台设备管理终端主要管理整个平台的设备，实时监管设备的运行状态(是否故障)，设备维保管理，软件远程更新升级管理，为平台的设备管理提供便捷的、可视化的管理。平台业务管理终端主要是负责平台内各业务流程的管理，对不同终端或用户的业务流程进行管理，可以更便利的实现系统业务的监管和调配。
95.具体的，算法处理中心集成有视觉识别算法、语音识别算法、融合统计算法等各类型的数据处理算法，为系统内各类业务需求提供远程的算法处理，无需将算法集成到各个终端设备或软件中，极大程度上降低了终端设备或软件的研发成本及使用成本。
96.在本工业互联网平台中，视觉识别算法尤为重要，工厂车间设备将实时拍照图像或视频传输至算法处理中心进行处理，例如对产品进行类型识别、统计计数、质量检测等，再将算法处理的结果返回后台存储以及工厂车间对应的终端设备。大量的运算有算法处理中心进行，而终端设备只需要提供数据的来源以及展示数据处理后的结果，这样的做法能够大大降低终端设备的硬件要求，具有更好的实用性。
97.进一步地，在获取接收的产品生产图像像素的r、g、b值，得到rgb图像帧时，首先确定接收的产品生产图像的图像格式，然后当图像格式为jpg图像时，初始化开发工具qt软件的方法qimage函数，其次采用所述qimage函数将所述jpg图像转换为rgb图像数据，最后将rgb图像数据保存至于容器a，得到rgb图像帧。
98.进一步地，在按照预设尺寸将所述rgb图像帧进行平均分割，得到多个图像块，并计算出每个图像块的22种特征值时，首先按照预设尺寸将所述rgb图像帧进行平均分割，得到多个图像块，并保存至容器b，然后从所述容器b中提取出单个图像块保存至容器c，再从所述容器c中提取每个图像块的像素点，分别对所述像素点中的红、绿、蓝、黄、青、紫、白、黑、最大值、最小值、平均值11种参数的特征值进行提取，并提取每个图像块与周边块的11种差异特征值，得到每个图像块的22种特征值。
99.进一步地，将接收的终端数据与所述接收的目标数据进行数据融合后发送至所述平台管理终端时，首先接收来自所述平台管理终端的请求指令和终端数据，再将所述终端数据进行融合后发送至所述平台管理终端；或者，首先根据所述请求指令的深度解析的结果，确定业务功能所需的所有基础数据，再根据所述业务功能所需的所有基础数据生成数据获取请求，并发送至所述存储服务器组，然后接收来自所述服务器组的目标数据，按照业务功能数据规则及逻辑，开始对终端数据与目标数据进行多级的数据融合，得到有效的功能数据，再将有效的功能数据发送至所述平台管理终端，最后清除功能融合数据本地缓存，释放内存空间。
100.需要说明的是，本发明中提供的工业互联网平台则集成机器视觉算法，结合原创的平台结构、数据融合处理方法以及数据仓存储技术，对生产流水线的产品进行识别、统计、质量检测等，自动收集各种零部件、半成品、成品的数据，通过系统后台进行各类生产数据的存档、统计分析、融合，既能够为企业生产流程提供全方位的自动化监管，又能够在产品的生命周期内对产品的任一生产流程进行过程追溯管理，为产品的质量提供更有力的保障。
101.在本技术实施例中，工厂车间设备通过上传图像至后台中心，通过后台中心进行图像的视觉识别处理，包含产品类型识别、数量统计、质量检测等，然后后台中心将视觉识别处理得出的数据结合pdm系统的流程设计规范进行对应的数据融合、统计得到有效数据，最后将有效数据保存至数据仓并反馈给工厂车间设备，对生产流程进行实时的监管和数据统计，从而可追溯产品整个生命周期的所有流程数据及记录，同时可实时查看订单产品的每个零部件实时可视化生产情况，可对产品生产的任一流程进行可视化有效监管。
102.下面将结合附图4-附图6，对本技术实施例提供的生产流程管理的方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的生产流程管理的工业互联网平台上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
103.图4为本技术实施例提供了一种生产流程管理的方法的流程示意图。如图4所示，本技术实施例的方法可以包括以下步骤：
104.s101，工厂车间设备通过摄像头采集生产线上的产品生产图像，并发送至所述云中心；
105.s102，云中心根据预设数据交互规则将接收的产品生产图像发送至所述后台中心；
106.s103，后台中心根据接收的产品生产图像进行视觉识别生成有效生产数据，并将所述有效生产数据进行数据融合与统计，得到最终的基础数据，以及将最终的基础数据进行保存并通过所述云中心反馈至所述工厂车间设备；
107.在本技术实施例中，在根据接收的产品生产图像进行视觉识别生成有效生产数据时，首先获取接收的产品生产图像像素的r、g、b值，得到rgb图像帧，再按照预设尺寸将所述rgb图像帧进行平均分割，得到多个图像块，并计算出每个图像块的22种特征值，再计算整个所述rgb图像帧的22种特征值的平均值，然后计算所述每个图像块的22种特征值与整个所述rgb图像帧的22种特征值的平均值之间的差值，得到每个图像块的多个第一特征值差值，再计算每个图像块的每个第一特征值差值的最大值，其次计算所述每个图像块的22种特征值中每个特征值与所述最大值之间的差值，得到每个图像块的多个第二特征值差值，
再统计计算每个图像块的多个第二特征值差值大于预设阈值的连续个数和序列号，最后根据所述连续个数和序列号识别物体和计算物体个数，并将识别的物体和计算的物体个数确定为有效生产数据。
108.具体的，在获取接收的产品生产图像像素的r、g、b值，得到rgb图像帧时，首先确定接收的产品生产图像的图像格式，再当图像格式为jpg图像时，初始化开发工具qt软件的方法qimage函数，然后采用所述qimage函数将所述jpg图像转换为rgb图像数据，最后将rgb图像数据保存至于容器a，得到rgb图像帧。
109.例如，通过利用开发工具qt软件的方法qimage，将jpg图像转换为rgb图像数据，并保存至于容器a，其中图像宽度为nw，图像高度为nh。每个图像像素点为3个字节，因此容器a的取值范围为3*nw*nh。
110.具体的，在按照预设尺寸将所述rgb图像帧进行平均分割，得到多个图像块，并计算出每个图像块的22种特征值时，首先按照预设尺寸将所述rgb图像帧进行平均分割，得到多个图像块，并保存至容器b，然后从所述容器b中提取出单个图像块保存至容器c，再从所述容器c中提取每个图像块的像素点，分别对所述像素点中的红、绿、蓝、黄、青、紫、白、黑、最大值、最小值、平均值11种参数的特征值进行提取，并提取每个图像块与周边块的11种差异特征值，得到每个图像块的22种特征值。
111.例如，在按照预设尺寸将所述rgb图像帧进行平均分割，得到多个图像块，并保存至容器b时，将rgb图像帧数据进行平均分割，图像宽度平均分割为nmw＝256份，图像高度平均分割为nmh＝256份，由此可得到分割后nmh*nmw个图像块，并保存至于容器b。
112.一个图像块的宽度：w＝nw/nmw
113.一个图像块的高度：h＝nh/nmh
114.例如，从所述容器b中提取出单个图像块保存至容器c时，从容器b中提取出单个图像块保存至容器c，单个图像块所有的像素点相当于一个h行w列的数表，起始像素点为(a1，b1)，a等于w，b等于h，如下：
115.c
11
，c
12
，c
13
，
…
，c
1w
116.c
21
，c
22
，c
23
，
…
，c
2w
117.c
31
，c
32
，c
33
，
…
，c
3w
118.…
119.c
h1
，c
h2
，c
h3
，
···
，c
hw
120.例如，从所述容器c中提取每个图像块的像素点，分别对所述像素点中的红、绿、蓝、黄、青、紫、白、黑、最大值、最小值、平均值11种参数的特征值进行提取，并提取每个图像块与周边块的11种差异特征值，得到每个图像块的22种特征值时，共22种特征值如下：
121.a)红色特征值：如果像素点x(i，j)的r、g、b值关系满足如下公式：
122.r
nh*nw
(x)＞g
nh*nw
(x)且r
nh*nw
(x)＞b
nh*nw
(x)
123.则计算该像素点红色特征值，计算公式如下：
124.btr
nh*nw
(x)＝((r
nh*nw
(x)-g
nh*nw
(x)) (r
nh*nw
(x)-g
nh*nw
(x)))/2
125.设置特征值的阈值cc＝50，若btr
nh*nw
(x)＞cc，则btr
nh*nw
(x)为有效值，否则btr
nh*nw
(x)＝0，统计该图像块中所有红色特征值，统计的公式如下：
[0126][0127]
b)绿色特征值：如果像素点x(i，j)的r、g、b值关系满足如下公式：
[0128]gnh*nw
(x)＞r
nh*nw
(x)且g
nh*nw
(x)＞b
nh*nw
(x)
[0129]
则计算该像素点绿色特征值，计算公式如下：
[0130]
btg
nh*nw
(x)＝((g
nh*nw
(x)-r
nh*nw
(x)) (g
nh*nw
(x)-b
nh*nw
(x)))/2
[0131]
设置特征值的阈值cc＝50，若btg
nh*nw
(x)＞cc，则btg
nh*nw
(x)为有效值，否则btg
nh*nw
(x)＝0，统计该图像块中所有绿色特征值，统计的公式如下：
[0132][0133]
c)蓝色特征值：如果像素点x(i，j)的r、g、b值关系满足如下公式：
[0134]bnh*nw
(x)＞r
nh*nw
(x)且b
nh*nw
(x)＞g
nh*nw
(x)
[0135]
则计算该像素点蓝色特征值，计算公式如下：
[0136]
btb
nh*nw
(x)＝((b
nh*nw
(x)-r
nh*nw
(x)) (b
nh*nw
(x)-g
nh*nw
(x)))/2
[0137]
设置特征值的阈值cc＝50，若btb
nh*nw
(x)＞cc，则btb
nh*nw
(x)为有效值，否则btb
nh*nw
(x)＝0
[0138]
统计该图像块中所有蓝色特征值，统计的公式如下：
[0139][0140]
d)黄色特征值：如果像素点x(i，j)的r、g、b值关系满足如下公式：
[0141]rnh*nw
(x)＞b
nh*nw
(x)且g
nh*nw
(x)＞b
nh*nw
(x)
[0142]
则计算该像素点黄色特征值，计算公式如下：
[0143]
bth
nh*nw
(x)＝((r
nh*nw
(x)-b
nh*nw
(x)) (g
nh*nw
(x)-b
nh*nw
(x)))/2
[0144]
设置特征值的阈值cc＝50，若bth
nh*nw
(x)＞cc，则bth
nh*nw
(x)为有效值，否则bth
nh*nw
(x)＝0
[0145]
统计该图像块中所有黄色特征值，统计的公式如下：
[0146][0147]
e)青色特征值：如果像素点x(i，j)的r、g、b值关系满足如下公式：
[0148]rnh*nw
(x)＞g
nh*nw
(x)且b
nh*nw
(x)＞g
nh*nw
(x)
[0149]
则计算该像素点青色特征值，计算公式如下：
[0150]
btt
nh*nw
(x)＝((r
nh*nw
(x)-g
nh*nw
(x)) (b
nh*nw
(x)-g
nh*nw
(x)))/2
[0151]
设置特征值的阈值cc＝50，若btt
nh*nw
(x)＞cc，则btt
nh*nw
(x)为有效值，否则btt
nh*nw
(x)＝0
[0152]
统计该图像块中所有青色特征值，统计的公式如下：
[0153][0154]
f)紫色特征值：如果像素点x(i，j)的r、g、b值关系满足如下公式：
[0155]gnh*nw
(x)＞r
nh*nw
(x)且b
nh*nw
(x)＞r
nh*nw
(x)
[0156]
则计算该像素点紫色特征值，计算公式如下：
[0157]
btz
nh*nw
(x)＝((g
nh*nw
(x)-r
nh*nw
(x)) (b
nh*nw
(x)-r
nh*nw
(x)))/2
[0158]
设置特征值的阈值cc＝50，若btz
nh*nw
(x)＞cc，则btz
nh*nw
(x)为有效值，否则btz
nh*nw
(x)＝0
[0159]
统计该图像块中所有紫色特征值，统计的公式如下：
[0160][0161]
g)白色特征值：如果像素点x(i，j)的r、g、b值关系满足如下公式：
[0162]gnh*nw
(x)＝r
nh*nw
(x)且b
nh*nw
(x)＝r
nh*nw
(x)
[0163]
统计该图像块中所有像素点的白色特征值，设置阈值cc1＝100，满足条件统计的公式如下：
[0164][0165]
h)黑色特征值：如果像素点x(i，j)为黑色，统计该图像块中所有像素点的黑色特征值，统计的公式如下：
[0166][0167]
i)最小值特征值：统计该图像块中所有像素点的最小特征值，统计的公式如下：
[0168][0169]
j)平均值特征值：统计该图像块中所有像素点的平均特征值，统计的公式如下：
[0170][0171]
k)红色边缘特征值：重新构建红色特征值，计算公式如下：
[0172][0173]
1)绿色边缘特征值：重新构建绿色特征值，计算公式如下：
[0174][0175]
m)蓝色边缘特征值：重新构建蓝色特征值，计算公式如下：
[0176][0177]
n)黄色边缘特征值：重新构建黄色特征值，计算公式如下：
[0178][0179]
o)青色边缘特征值：重新构建青色特征值，计算公式如下：
[0180][0181]
p)紫色边缘特征值：重新构建紫色特征值，计算公式如下：
[0182][0183]
q)白色边缘特征值：重新构建白色特征值，计算公式如下：
[0184][0185]
r)黑色边缘特征值：重新构建黑色特征值，计算公式如下：
[0186][0187]
s)最大值边缘值特征值：重新构建最大值特征值，计算公式如下：
[0188][0189]
t)最小值边缘特征值：重新构建最小值特征值，计算公式如下：
[0190][0191]
u)平均值边缘值特征值：重新构建平均值特征值，计算公式如下：
[0192][0193]
具体的，在计算整个所述rgb图像帧的22种特征值的平均值时，每种特征值的计算公式如下：
[0194]
a)红色特征值的平均值：计算公式如下：
[0195][0196]
b)绿色特征值的平均值：计算公式如下：
[0197][0198]
c)蓝色特征值的平均值：计算公式如下：
[0199]
[0200]
d)黄色特征值的平均值：计算公式如下：
[0201][0202]
e)青色特征值的平均值：计算公式如下：
[0203][0204]
f)紫色特征值的平均值：计算公式如下：
[0205][0206]
g)白色特征值的平均值：计算公式如下：
[0207][0208]
h)黑色特征值的平均值：计算公式如下：
[0209][0210]
i)最大特征值的平均值：计算公式如下：
[0211][0212]
j)最小特征值的平均值：计算公式如下：
[0213][0214]
k)平均值特征值的平均值：计算公式如下：
[0215][0216]
1)红色边缘特征值的平均值：计算公式如下：
[0217][0218]
m)绿色边缘特征值的平均值：计算公式如下：
[0219][0220]
n)蓝色边缘特征值的平均值：计算公式如下：
[0221]
[0222]
o)黄色边缘特征值的平均值：计算公式如下：
[0223][0224]
p)青色边缘特征值的平均值：计算公式如下：
[0225][0226]
q)紫色边缘特征值的平均值：计算公式如下：
[0227][0228]
r)白色边缘特征值的平均值：计算公式如下：
[0229][0230]
s)黑色边缘特征值的平均值：计算公式如下：
[0231][0232]
t)最大边缘特征值的平均值：计算公式如下：
[0233][0234]
u)最小边缘特征值的平均值：计算公式如下：
[0235][0236]
v)平均边缘特征值的平均值：计算公式如下：
[0237][0238]
具体的，在计算每个图像块的22种特征值与整个所述rgb图像帧的22种特征值的平均值之间的差值时，每个特征值的计算公式如下：
[0239]
a)红色特征值与平均值的差值：计算公式如下：
[0240]
dtr
nmh*nmw
(i，j)
[0241]
b)绿色特征值与平均值的差值：计算公式如下：
[0242]
dtg
nmh*nmw
(i，j)
[0243]
c)蓝色特征值与平均值的差值：计算公式如下：
[0244]
dtb
nmh*nmw
(i，j)
[0245]
d)黄色特征值与平均值的差值：计算公式如下：
[0246]
dth
nmh*nmw
(i，j)
[0247]
e)青色特征值与平均值的差值：计算公式如下：
[0248][0249]
f)紫色特征值与平均值的差值：计算公式如下：
[0250][0251]
g)白色特征值与平均值的差值：计算公式如下：
[0252][0253]
h)黑色特征值与平均值的差值：计算公式如下：
[0254][0255]
i)最大值特征值与平均值的差值：计算公式如下：
[0256][0257]
j)最小值特征值与平均值的差值：计算公式如下：
[0258]
k)平均值特征值与平均值的差值：计算公式如下：dta
nmh*nmw
(i，j)
[0259]
1)红色边缘特征值与平均值的差值：计算公式如下：
[0260][0261]
m)绿色边缘特征值与平均值的差值：计算公式如下：
[0262][0263]
n)蓝色边缘特征值与平均值的差值：计算公式如下：
[0264][0265]
o)黄色边缘特征值与平均值的差值：计算公式如下：
[0266][0267]
p)青色边缘特征值与平均值的差值：计算公式如下：
[0268][0269]
q)紫色边缘特征值与平均值的差值：计算公式如下：
[0270][0271]
r)白色边缘特征值与平均值的差值：计算公式如下：
[0272][0273]
s)黑色边缘特征值与平均值的差值：计算公式如下：
[0274][0275]
t)最大值边缘特征值与平均值的差值：计算公式如下：
[0276][0277]
u)最小值边缘特征值与平均值的差值：计算公式如下：
[0278][0279]
v)平均值边缘特征值与平均值的差值：计算公式如下：
[0280][0281]
具体的，在计算每个图像块的每个第一特征值差值的最大值时，每个特征值的计算公式如下：
[0282]
a)红色特征值差值的最大值：
[0283]
设最大值maxbtr＝0，
[0284]
求最大值，公式如下
[0285][0286]
保存该特征最大值：maxbtr0＝maxbtr
[0287]
b)绿色特征值差值的最大值：
[0288]
设最大值maxbtg＝0，
[0289]
求最大值，公式如下
[0290][0291]
保存该特征最大值：maxbtg0＝maxbtg
[0292]
c)蓝色特征值差值的最大值：
[0293]
设最大值maxbtb＝0，
[0294]
求最大值，公式如下
[0295][0296]
保存该特征最大值：maxbtb0＝maxbtb
[0297]
d)黄色特征值差值的最大值：
[0298]
设最大值maxbth＝0，
[0299]
求最大值，公式如下
[0300][0301]
保存该特征最大值：maxbth0＝maxbth
[0302]
e)青色特征值差值的最大值：
[0303]
设最大值maxbtt＝0，
[0304]
求最大值，公式如下
[0305][0306]
保存该特征最大值：maxbtt0＝maxbtt
[0307]
f)紫色特征值差值的最大值：
[0308]
设最大值maxbtz＝0，
[0309]
求最大值，公式如下
[0310][0311]
保存该特征最大值：maxbtz0＝maxbtz
[0312]
g)白色特征值差值的最大值：
[0313]
设最大值maxbt1r＝0，
[0314]
求最大值，公式如下
[0315][0316]
保存该特征最大值：maxbt1r0＝maxbt1r
[0317]
h)黑色特征值差值的最大值：
[0318]
设最大值maxbt1g＝0，
[0319]
求最大值，公式如下
[0320][0321]
保存该特征最大值：maxbt1g0＝maxbt1g
[0322]
i)最大值特征值差值的最大值：
[0323]
设最大值maxbt1b＝0，
[0324]
求最大值，公式如下
[0325][0326]
保存该特征最大值：maxbt1b0＝maxbt1b
[0327]
j)最小值特征值差值的最大值：
[0328]
设最大值maxbt1＝0，
[0329]
求最大值，公式如下
[0330][0331]
保存该特征最大值：maxbt1r0＝maxbt1r
[0332]
k)平均值特征值差值的最大值：
[0333]
设最大值maxbt1a＝0，
[0334]
求最大值，公式如下
[0335][0336]
保存该特征最大值：maxbt1a0＝maxbt1a
[0337]
1)红色边缘特征值差值的最大值：
[0338]
设最大值maxbtrd＝0，
[0339]
求最大值，公式如下
[0340][0341]
保存该特征最大值：maxbtrd0＝maxbtrd
[0342]
m)绿色边缘特征值差值的最大值：
[0343]
设最大值maxbtgd＝0，
[0344]
求最大值，公式如下
[0345][0346]
保存该特征最大值：maxbtgd0＝maxbtgd
[0347]
n)蓝色边缘特征值差值的最大值：
[0348]
设最大值maxbtbd＝0，
[0349]
求最大值，公式如下
[0350][0351]
保存该特征最大值：maxbtbd0＝maxbtbd
[0352]
o)黄色边缘特征值差值的最大值：
[0353]
设最大值maxbthd＝0，
[0354]
求最大值，公式如下
[0355][0356]
保存该特征最大值：maxbthd0＝maxbthd
[0357]
p)青色边缘特征值差值的最大值：
[0358]
设最大值maxbttd＝0，
[0359]
求最大值，公式如下
[0360][0361]
保存该特征最大值：maxbttd0＝maxbttd
[0362]
q)紫色边缘特征值差值的最大值：
[0363]
设最大值maxbtzd＝0，
[0364]
求最大值，公式如下
[0365][0366]
保存该特征最大值：maxbtzd0＝maxbt2d
[0367]
r)白色边缘特征值差值的最大值：
[0368]
设最大值maxbt1r＝0，
[0369]
求最大值，公式如下
[0370][0371]
保存该特征最大值：maxbt1rd0＝maxbt1rd
[0372]
s)黑色边缘特征值差值的最大值：
[0373]
设最大值maxbt1gd＝0，
[0374]
求最大值，公式如下
[0375][0376]
保存该特征最大值：maxbt1gd0＝maxbt1gd
[0377]
t)最大值边缘特征值差值的最大值：
[0378]
设最大值maxbt1bd＝0，
[0379]
求最大值，公式如下
[0380][0381]
保存该特征最大值：maxbt1bd0＝maxbt1bd
[0382]
u)最小值边缘特征值差值的最大值：
[0383]
设最大值maxbt1d＝0，
[0384]
求最大值，公式如下
[0385][0386]
保存该特征最大值：maxbt1rd0＝maxbt1rd
[0387]
v)平均值边缘特征值差值的最大值：
[0388]
设最大值maxbt1ad＝0，
[0389]
求最大值，公式如下
[0390][0391]
保存该特征最大值：maxbt1ad0＝maxbt1ad
[0392]
具体的，计算所述每个图像块的22种特征值中每个特征值与所述最大值之间的差值时，每个特征值的计算公式如下：
[0393]
a)红色特征值与最大值的差值：
[0394]
最大值阈值cc＝50，差值阈值ee＝20，
[0395]
各小块中最大值str＞cc，则计算差值，公式如下：
[0396]
str＝qabs(btr(i，j)-maxbtr0)
[0397]
判断str＜ee，成立则str0(i，j)＝ee-str，否则str0(i，j)＝0
[0398]
b)绿色特征值与最大值的差值：
[0399]
最大值阈值cc＝50，差值阈值ee＝20，
[0400]
各小块中最大值stg＞cc，则计算差值，公式如下：
[0401]
stg＝qabs(btg(i，j)-maxbtg0)
[0402]
判断stg＜ee，成立则stg0(i，j)＝ee-stg，否则stg0(i，j)＝0
[0403]
c)蓝色特征值与最大值的差值：
[0404]
最大值阈值cc＝50，差值阈值ee＝20，
[0405]
各小块中最大值stb＞cc，则计算差值，公式如下：
[0406]
stb＝qabs(btb(i，j)-maxbtb0)
[0407]
判断stb＜ee，成立则stb0(i，j)＝ee-stb，否则stb0(i，j)＝0
[0408]
d)黄色特征值与最大值的差值：
[0409]
最大值阈值cc＝50，差值阈值ee＝20，
[0410]
各小块中最大值sth＞cc，则计算差值，公式如下：
[0411]
sth＝qabs(bth(i，j)-maxbth0)
[0412]
判断sth＜ee，成立则sth0(i，j)＝ee-sth，否则sth0(i，j)＝0
[0413]
e)青色特征值与最大值的差值：
[0414]
最大值阈值cc＝50，差值阈值ee＝20，
[0415]
各小块中最大值stt＞cc，则计算差值，公式如下：
[0416]
stt＝qabs(btt(i，j)-maxbtt0)
[0417]
判断stt＜ee，成立则stt0(i，j)＝ee-stt，否则stt0(i，j)＝0
[0418]
f)紫色特征值与最大值的差值：
[0419]
最大值阈值cc＝50，差值阈值ee＝20，
[0420]
各小块中最大值stz＞cc，则计算差值，公式如下：
[0421]
stz＝qabs(btz(i，j)-maxbtz0)
[0422]
判断stz＜ee，成立则stz0(i，j)＝ee-stz，否则stz0(i，j)＝0
[0423]
g)白色特征值与最大值的差值：
[0424]
最大值阈值cc＝50，差值阈值ee＝20，
[0425]
各小块中最大值stir＞cc，则计算差值，公式如下：
[0426]
st1r＝qabs(bt1r(i，j)-maxbt1r0)
[0427]
判断st1r＜ee，成立则st1r0(i，j)＝ee-st1r，否则st1r0(i，j)＝0
[0428]
h)黑色特征值与最大值的差值：
[0429]
最大值阈值cc＝50，差值阈值ee＝20，
[0430]
各小块中最大值st1g＞cc，则计算差值，公式如下：
[0431]
st1g＝qabs(bt1g(i，j)-maxbt1g0)
[0432]
判断st1g＜ee，成立则st1g0(i，j)＝ee-st1g，否则st1g0(i，j)＝0
[0433]
i)最大值特征值与最大值的差值：
[0434]
最大值阈值cc＝50，差值阈值ee＝20，
[0435]
各小块中最大值st1b＞cc，则计算差值，公式如下：
[0436]
st1b＝qabs(bt1b(i，j)-maxbt1b0)
[0437]
判断st1b＜ee，成立则st1b0(i，j)＝ee-st1b，否则st1b0(i，j)＝0
[0438]
j)最小值特征值与最大值的差值：
[0439]
最大值阈值cc＝50，差值阈值ee＝20，
[0440]
各小块中最大值st1＞cc，则计算差值，公式如下：
[0441]
st1＝qabs(bt1(i，j)-maxbt10)
[0442]
判断st1＜ee，成立则st10(i，j)＝ee-st1，否则st10(i，j)＝0
[0443]
k)平均值特征值与最大值的差值：
[0444]
最大值阈值cc＝50，差值阈值ee＝20，
[0445]
各小块中最大值sta＞cc，则计算差值，公式如下：
[0446]
sta＝qabs(bta(i，j)-maxbta0)
[0447]
判断sta＜ee，成立则sta0(i，j)＝ee-sta，否则sta0(i，j)＝0
[0448]
1)红色边缘特征值与最大值的差值：
[0449]
最大值阈值cc＝50，差值阈值ee＝20，
[0450]
各小块中最大值strd＞cc，则计算差值，公式如下：
[0451]
strd＝qabs(btrd(i，j)-maxbtrd0)
[0452]
判断strd＜ee，成立则strd0(i，j)＝ee-strd，否则strd0(i，j)＝0
[0453]
m)绿色边缘特征值与最大值的差值：
[0454]
最大值阈值cc＝50，差值阈值ee＝20，
[0455]
各小块中最大值stgd＞cc，则计算差值，公式如下：
[0456]
stgd＝qabs(btgd(i，j)-maxbtgd0)
[0457]
判断stgd＜ee，成立则stgd0(i，j)＝ee-stgd，否则stgd0(i，j)＝0
[0458]
n)蓝色边缘特征值与最大值的差值：
[0459]
最大值阈值cc＝50，差值阈值ee＝20，
[0460]
各小块中最大值stbd＞cc，则计算差值，公式如下：
[0461]
stbd＝qabs(btbd(i，j)-maxbtbd0)
[0462]
判断stbd＜ee，成立则stbd0(i，j)＝ee-stbd，否则stbd0(i，j)＝0
[0463]
o)黄色边缘特征值与最大值的差值：
[0464]
最大值阈值cc＝50，差值阈值ee＝20，
[0465]
各小块中最大值sthd＞cc，则计算差值，公式如下：
[0466]
sthd＝qabs(bthd(i，j)-maxbthd0)
[0467]
判断sth＜ee，成立则sthd0(i，j)＝ee-sth，否则sthd0(i，j)＝0
[0468]
p)青色边缘特征值与最大值的差值：
[0469]
最大值阈值cc＝50，差值阈值ee＝20，
[0470]
各小块中最大值sttd＞cc，则计算差值，公式如下：
[0471]
sttd＝qabs(bttd(i，j)-maxbttd0)
[0472]
判断sttd＜ee，成立则sttd0(i，j)＝ee-sttd，否则sttd0(i，j)＝0
[0473]
q)紫色边缘特征值与最大值的差值：
[0474]
最大值阈值cc＝50，差值阈值ee＝20，
[0475]
各小块中最大值stzd＞cc，则计算差值，公式如下：
[0476]
stzd＝qabs(btzd(i，j)-maxbtzd0)
[0477]
判断stzd＜ee，成立则stzd0(i，j)＝ee-stz，否则stzd0(i，j)＝0
[0478]
r)白色边缘特征值与最大值的差值：
[0479]
最大值阈值cc＝50，差值阈值ee＝20，
[0480]
各小块中最大值st1rd＞cc，则计算差值，公式如下：
[0481]
st1rd＝qabs(bt1rd(i，j)-maxbt1rd0)
[0482]
判断st1rd＜ee，成立则st1rd0(i，j)＝ee-st1rd，否则st1rd0(i，j)＝0
[0483]
s)黑色边缘特征值与最大值的差值：
[0484]
最大值阈值cc＝50，差值阈值ee＝20，
[0485]
各小块中最大值st1gd＞cc，则计算差值，公式如下：
[0486]
st1gd＝qabs(bt1gd(i，j)-maxbt1gd0)
[0487]
判断st1gd＜ee，成立则st1gd0(i，j)＝ee-st1gd，否则st1gd0(i，j)＝0
[0488]
t)最大值边缘特征值与最大值的差值：
[0489]
最大值阈值cc＝50，差值阈值ee＝20，
[0490]
各小块中最大值st1bd＞cc，则计算差值，公式如下：
[0491]
st1bd＝qabs(bt1bd(i，j)-maxbt1bd0)
[0492]
判断st1bd＜ee，成立则st1bd0(i，j)＝ee-st1bd，否则st1bd0(i，j)＝0
[0493]
u)最小值边缘特征值与最大值的差值：
[0494]
最大值阈值cc＝50，差值阈值ee＝20，
[0495]
各小块中最大值st1d＞cc，则计算差值，公式如下：
[0496]
st1d＝qabs(bt1d(i，j)-maxbt1d0)
[0497]
判断st1d＜ee，成立则st1d0(i，j)＝ee-st1d，否则st1d0(i，j)＝0
[0498]
v)平均值边缘特征值与最大值的差值：
[0499]
最大值阈值cc＝50，差值阈值ee＝20，
[0500]
各小块中最大值stad＞cc，则计算差值，公式如下：
[0501]
stad＝qabs(btad(i，j)-maxbtad0)
[0502]
判断stad＜ee，成立则stad0(i，j)＝ee-stad，否则stad0(i，j)＝0
[0503]
具体的，统计计算每个图像块的多个第二特征值差值大于预设阈值的连续个数和序列号时，设阈值cc1＝3，cc＝10，
[0504]
a)红色特征值最大值的差值大于阈值的连续个数及序列号：
[0505]
计数值sn1＝0，n1＝0，
[0506]
若str0(i，j)＞cc1，则sn1 ，当sn1＞cc，开始记录连续个数
[0507]
若number1r＜sn1，则number1r＝sn1
[0508]
当str0(i，j)≤cc1，则n1 ，当n1＞cc，说明连续断开，重置sn1＝0，该连续段的序列号为上一序列号加一，即snumber1r
[0509]
b)绿色特征值最大值的差值大于阈值的连续个数及序列号：
[0510]
计数值sn2＝0，n2＝0，
[0511]
若stg0(i，j)＞cc1，则sn2 ，当sn2＞cc，开始记录连续个数若number1g＜sn2，则number1g＝sn2
[0512]
当stg0(i，j)≤cc1，则n2 ，当n2＞cc，说明连续断开，重置sn2＝0，该连续段的序列号为上一序列号加一，即snumber1g
[0513]
c)蓝色特征值最大值的差值大于阈值的连续个数及序列号：
[0514]
计数值sn3＝0，n3＝0，
[0515]
若stb0(i，j)＞cc1，则sn3 ，当sn3＞cc，开始记录连续个数若number1b＜sn3，则number1b＝sn3
[0516]
当str0(i，j)≤cc1，则n3 ，当n3＞cc，说明连续断开，重置sn3＝0，该连续段的序列号为上一序列号加一，即snumber1b
[0517]
d)黄色特征值最大值的差值大于阈值的连续个数及序列号：
[0518]
计数值sn4＝0，n4＝0，
[0519]
若sth0(i，j)＞cc1，则sn4 ，当sn4＞cc，开始记录连续个数
[0520]
若number1h＜sn4，则number1h＝sn4
[0521]
当sth0(i，j)≤cc1，则n4 ，当n4＞cc，说明连续断开，重置sn4＝0，该连续段的序列号为上一序列号加一，即snumber1h
[0522]
e)青色特征值最大值的差值大于阈值的连续个数及序列号：
[0523]
计数值sn5＝0，n5＝0，
[0524]
若stt0(i，j)＞cc1，则sn5 ，当sn5＞cc，开始记录连续个数
[0525]
若number1t＜sn5，则number1t＝sn5
[0526]
当stt0(i，j)≤cc1，则n5 ，当n5＞cc，说明连续断开，重置sn5＝0，该连续段的序列号为上一序列号加一，即snumber1t
[0527]
f)紫色特征值最大值的差值大于阈值的连续个数及序列号：
[0528]
计数值sn6＝0，n6＝0，
[0529]
若stz0(i，j)＞cc1，则sn6 ，当sn6＞cc，开始记录连续个数
[0530]
若number1z＜sn6，则number1z＝sn6
[0531]
当stz0(i，j)≤cc1，则n6 ，当n6＞cc，说明连续断开，重置sn6＝0，该连续段的序列号为上一序列号加一，即snumber1z
[0532]
g)白色特征值最大值的差值大于阈值的连续个数及序列号：
[0533]
计数值sn7＝0，n7＝0，
[0534]
若st1r0(i，j)＞cc1，则sn7 ，当sn7＞cc，开始记录连续个数
[0535]
若number2r＜sn7，则number2r＝sn7
[0536]
当st1r0(i，j)≤cc1，则n7 ，当n7＞cc，说明连续断开，重置sn7＝0，该连续段的序列号为上一序列号加一，即snumber2r
[0537]
h)黑色特征值最大值的差值大于阈值的连续个数及序列号：
[0538]
计数值sn8＝0，n8＝0，
[0539]
若st1g0(i，j)＞cc1，则sn8 ，当sn8＞cc，开始记录连续个数
[0540]
若number2g＜sn8，则number2g＝sn8
[0541]
当st1g0(i，j)≤cc1，则n8 ，当n8＞cc，说明连续断开，重置sn8＝0，该连续段的序列号为上一序列号加一，即snumber2g
[0542]
i)最大值特征值最大值的差值大于阈值的连续个数及序列号：
[0543]
计数值sn9＝0，n9＝0，
[0544]
若st1b0(i，j)＞cc1，则sn9 ，当sn9＞cc，开始记录连续个数
[0545]
若number2b＜sn9，则number2b＝sn9
[0546]
当st1b0(i，j)≤cc1，则n9 ，当n9＞cc，说明连续断开，重置sn9＝0，该连续段的序列号为上一序列号加一，即snumber2b
[0547]
j)最小值特征值最大值的差值大于阈值的连续个数及序列号：
[0548]
计数值sna＝0，na＝0，
[0549]
若st10(i，j)＞cc1，则sna ，当sna＞cc，开始记录连续个数
[0550]
若number11＜sna，则number11＝sna
[0551]
当st10(i，j)≤cc1，则na ，当na＞cc，说明连续断开，重置sna＝0，该连续段的序列号为上一序列号加一，即snumber11
[0552]
k)平均值特征值最大值的差值大于阈值的连续个数及序列号：
[0553]
计数值snb＝0，nb＝0，
[0554]
若sta0(i，j)＞cc1，则snb ，当snb＞cc，开始记录连续个数
[0555]
若number1a＜snb，则number1a＝snb
[0556]
当sta0(i，j)≤cc1，则nb ，当nb＞cc，说明连续断开，重置snb＝0，该连续段的序列号为上一序列号加一，即snumber1a
[0557]
1)红色边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0558]
计数值sn1d＝0，n1d＝0，
[0559]
若strd0(i，j)＞cc1，则sn1d ，当sn1d＞cc，开始记录连续个数
[0560]
若number1rd＜sn1d，则number1rd＝sn1d
[0561]
当strd0(i，j)≤cc1，则n1d ，当n1d＞cc，说明连续断开，重置sn1d＝0，
[0562]
该连续段的序列号为上一序列号加一，即snumber1rd
[0563]
m)绿色边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0564]
计数值sn2d＝0，n2dd＝0，
[0565]
若stgd0(i，j)＞cc1，则sn2d ，当sn2d＞cc，开始记录连续个数
[0566]
若number1gd＜sn2d，则number1gd＝sn2d
[0567]
当stgd0(i，j)≤cc1，则n2d ，当n2d＞cc，说明连续断开，重置sn2d＝0，
[0568]
该连续段的序列号为上一序列号加一，即snumber1gd
[0569]
n)蓝色边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0570]
计数值sn3d＝0，n3d＝0，
[0571]
若stbd0(i，j)＞cc1，则sn3d ，当sn3d＞c，开始记录连续个数
[0572]
若number1bd＜sn3d，则number1bd＝sn3d
[0573]
当strd0(i，j)≤cc1，则n3d ，当n3d＞cc，说明连续断开，重置sn3d＝0，
[0574]
该连续段的序列号为上一序列号加一，即snumber1bd
[0575]
o)黄色边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0576]
计数值sn4d＝0，n4d＝0，
[0577]
若sthd0(i，j)＞cc1，则sn4d ，当sn4d＞cc，开始记录连续个数
[0578]
若number1hd＜sn4d，则number1hd＝sn4d
[0579]
当sthd0(i，j)≤cc1，则n4d ，当n4d＞cc，说明连续断开，重置sn4d＝0，
[0580]
该连续段的序列号为上一序列号加一，即snumber1hd
[0581]
p)青色边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0582]
计数值sn5d＝0，n5d＝0，
[0583]
若sttd0(i，j)＞cc1，则sn5d ，当sn5d＞cc，开始记录连续个数
[0584]
若number1td＜sn5d，则number1td＝sn5d
[0585]
当sttd0(i，j)≤cc1，则n5d ，当n5d＞cc，说明连续断开，重置sn5d＝0，
[0586]
该连续段的序列号为上一序列号加一，即snumber1td
[0587]
q)紫色边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0588]
计数值sn6d＝0，n6d＝0，
[0589]
若stzd0(i，j)＞cc1，则sn6d ，当sn6d＞cc，开始记录连续个数
[0590]
若number1zd＜sn6d，则number1zd＝sn6d
[0591]
当stzd0(i，j)≤cc1，则n6d ，当n6d＞cc，说明连续断开，重置sn6d＝0，
[0592]
该连续段的序列号为上一序列号加一，即snumber1zd
[0593]
r)白色边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0594]
计数值sn7d＝0，n7d＝0，
[0595]
若st1rd0(i，j)＞cc1，则sn7d ，当sn7d＞cc，开始记录连续个数
[0596]
若number2rd＜sn7d，则number2rd＝sn7d
[0597]
当st1rd0(i，j)≤cc1，则n7d ，当n7d＞cc，说明连续断开，重置sn7d＝0，
[0598]
该连续段的序列号为上一序列号加一，即snumber2rd
[0599]
s)黑色边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0600]
计数值sn8d＝0，n8d＝0，
[0601]
若st1gd0(i，j)＞cc1，则sn8d ，当sn8d＞cc，开始记录连续个数
[0602]
若number2gd＜sn8d，则number2gd＝sn8d
[0603]
当st1gd0(i，j)≤cc1，则n8d ，当n8d＞cc，说明连续断开，重置sn8d＝0，
[0604]
该连续段的序列号为上一序列号加一，即snumber2gd
[0605]
t)最大值边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0606]
计数值sn9d＝0，n9d＝0，
[0607]
若st1bd0(i，j)＞cc1，则sn9d ，当sn9d＞cc，开始记录连续个数
[0608]
若number2bd＜sn9d，则number2bd＝sn9d
[0609]
当st1bd0(i，j)≤cc1，则n9d ，当n9d＞cc，说明连续断开，重置sn9d＝0，
[0610]
该连续段的序列号为上一序列号加一，即snumber2bd
[0611]
u)最小值边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0612]
计数值snad＝0，nad＝0，
[0613]
若st1d0(i，j)＞cc1，则snad ，当snad＞cc，开始记录连续个数
[0614]
若number11d＜snad，则number11d＝shad
[0615]
当st1d0(i，j)≤cc1，则nad ，当nad＞cc，说明连续断开，重置snad＝0，
[0616]
该连续段的序列号为上一序列号加一，即snumber11d
[0617]
v)平均值边缘特征值最大值的差值大于阈值的连续个数及序列号：
[0618]
计数值snbd＝0，nbd＝0，
[0619]
若stad0(i，j)＞cc1，则snbd ，当snbd＞cc，开始记录连续个数
[0620]
若number1ad＜snbd，则number1ad＝snbd
[0621]
当stad0(i，j)≤cc1，则nbd ，当nbd＞cc，说明连续断开，重置snbd＝0，
[0622]
该连续段的序列号为上一序列号加一，即snumber1ad
[0623]
具体的，根据所述连续个数和序列号识别物体和计算物体个数时，计算公式如下：
[0624]
例如以下为红色矿泉水与绿色矿泉水的算法处理：
[0625]
设阈值dd＝10，
[0626]
a)红色矿泉水识别及计数
[0627]
白色连续number2r值、红色连续值number1r，红色顺序号snumber1r
[0628]
若满足number2r＞dd&&number1r＞dd&&snumber1r＞1，
[0629]
则红色矿泉水计数nmax1r加一，并累加满足条件的连续值
[0630][0631]
若smr＞0，则用红框标识出该红色矿泉水瓶
[0632]
b)绿色矿泉水识别及计数
[0633]
白色连续number2r值、绿色连续值number1g，绿色顺序号snumber1g
[0634]
若满足number2r＞dd&&number1g＞dd&&snumber1g＞0，
[0635]
则绿色矿泉水计数nmax1g加一，并累加满足条件的连续值
[0636][0637]
若smg＞0，则用绿框标识出该绿色矿泉水瓶。
[0638]
需要说明的是，本发明中的视觉识别算法属于原创的图像识别处理算法，不依赖任何第三方的算法库，利用c/c 从底层构建算法。第三方图像算法库大多数不开源，代码封装层次较深，导致代码执行处理效率较低，在实时性要求非常严格的应用场景下并不实用，并且部分算法库的开发语言并不完全统一，在软件或系统的兼容性方面较差。本发明的视觉识别处理算法由于采用c/c 语言从底层进行构建，代码封装层次较低，其具有兼容性更强、冗余性更低、处理速度更快的特点，能够满足工业流水线生产流程的实时性要求。
[0639]
进一步地，平台通过各类型的终端从各种生产流程中收集到各种各样的基础生产数据，然后通过后台中心进行基础生产数据的融合处理，提取有效的生产数据，为工厂生产提供各流程的数据支撑，对生产流程进行全方位的监管和追溯。
[0640]
具体的，在进行数据融合时，例如图5所示，算法处理中心通过视觉算法处理各生产流程的图像，提取出生产所需的有效数据，然后对该部分数据进行初步的融合统计，向后台数据融合中心提供初步的功能融合数据。
[0641]
存储服务器的数据仓根据平台业务功能进行一定程度的基础数据融合，从而生成平台中所需的新的基础数据，为平台业务的扩展提供更全面的、更具体的基础数据。另外，存储服务器的响应外部的数据请求操作，进行数据初步融合后将数据返回至请求方。
[0642]
智慧服务器是平台的数据融合处理中心，平台中所有的业务数据均需要通过智慧服务器组进行管理，对数据进行多重融合处理，最终得出对应业务的功能融合数据。
[0643]
智慧服务器组在接收到平台业务指令的时候，进行指令深度解析，之后主要进行的数据融合包括两大部分：直接融合和请求基础数据后再融合。
[0644]
直接融合的方法对于基础数据依赖性较弱，即根据平台传输的当前数据即可通过数据融合规则得出相应的功能融合数据，直接为系统业务提供功能数据。
[0645]
请求基础数据后再融合的方法则对于各类的基础数据依赖性较强，相应的数据融合规则较复杂多样。其基本的融合步骤为：
[0646]
(1)根据指令深度解析的结果，明确业务功能所需的所有基础数据；
[0647]
(2)依次向存储服务器的数据仓中请求相应的基础数据；
[0648]
(3)按照业务功能数据规则及逻辑，开始对基础数据进行多级的数据融合，提取有效的功能数据；
[0649]
(4)生成功能融合数据，将数据返回至业务功能操作方；
[0650]
(5)清除功能融合数据本地缓存，释放内存空间。
[0651]
s104，工厂车间设备根据最终的基础数据进行实时生产监管和数据统计，生成多种形式的生产统计报表。
[0652]
本系统中提供的流程管理主要是产品生产流水线的管理，主要包括零部件和成品等产品的信息提取、计数统计、质量检测等，通过后台中心的视觉算法处理后，后台自动统计及记录相应的产品信息，为生产流程的管理提供各类信息。
[0653]
(1)零部件生产流程管理
[0654]
产品零部件生产流水线，通过视觉检测app拍照采集各类零部件的图像信息，上传到后台中心自动进行产品零部件的分类、计数及质量检测，然后数据处理中心根据流程设计的生产任务实时统计各类产品零部件的生产完成度、总体生产完成度以及合格率等，提供实时统计报表，利于工厂对产品零部件生产流程的管理(实时了解生产进度，及时调整生产计划)。
[0655]
(2)成品生产流程管理
[0656]
成品生产是基于产品零部件的基础上的，在成品的生产流水线上，通过视觉检测app拍照采集成品的图像信息，上传到后台中心自动进行成品的分类、计数及质量检测，然后数据处理中心根据流程设计的生产任务实时统计各类成品的生产完成度、总体完成度以及合格率等，根据批次、订单等条件实时生成对应的管理统计报表，利于工厂对产品成品生产流程的管理(实时了解生产进度，及时调整生产计划)。
[0657]
在进行可视化追溯监管时，制造行业在生产过程中，产品的追溯性管理越来越被重视，对每一个工序、每一项生产流程、每一件产品或零部件的生产记录能够为产品的质量问题追溯提供有效的数据支撑。本系统中生产流程、产品的追溯信息基础来源是需要视觉算法进行来支撑的，由视觉算法对生产流程和产品的图像进行识别处理，得出的有效生产数据，能够作为产品整个生产过程的可追溯信息。
[0658]
本系统中主要提供的生产信息追溯类型有：生产流程追溯监管、产品追溯监管、订单追溯监管。
[0659]
1、生产流程追溯监管
[0660]
根据系统数据仓保存的生产流程信息，结合数据处理中心的数据融合操作，能够对产品的生产流程进行全面的追溯监管(生产流程原始数据，即图像；生产流程统计报表)，包含产品零部件和产品成品的批次、类别、生产时间、当时的生产进度、生产计划、合格率等，对产品的整个生产流程进行追溯监管。
[0661]
生产流程的追溯监管主要的服务对象是工厂，能够为工厂的正常生产提供保障，及时调整生产的计划和流程，及时发现并解决问题。
[0662]
2、产品追溯监管
[0663]
根据系统数据仓保存的生产流程和产品信息，结合数据处理中心的数据融合操作，能够对产品进行全面的追溯监管(生产流程原始数据，即图像；生产流程统计报表)，包含产品和零部件的批次信息、生产流程、生产时间、合格证明等，对产品的整个生存周期的信息进行追溯监管。
[0664]
产品追溯监管主要的服务对象是工厂、客户。工厂可以通过对任一批次或任一个产品的基本信息进行追溯监管，保证产品的生产真实性和质量可靠性，提升企业的竞争力；客户同样工厂可以通过对任一批次或任一个产品的基本信息进行追溯，确保产品的来源、质量真实可靠。
[0665]
3、订单追溯监管
[0666]
根据企业的产品订单，事先制定生产计划，系统根据产品订单会自动统计产品的生产进度、生产效率，为订单产品的交期管理提供多方位的生产数据支持，及时跟进订单产品的生产进度。
[0667]
根据系统数据仓保存的订单信息、生产流程和产品信息，结合数据处理中心的数据融合操作，能够根据订单对目标产品及其生产流程进行全面的追溯监管。
[0668]
订单追溯监管主要的服务对象时工厂、客户。工厂和客户都可以通过任一订单追溯到当时产品的所有生产信息，确保产品的售后保障。
[0669]
需要说明的是，专有的平台云操作协议属于原创的系统数据通信协议，系统中各类设备之间的数据交互必须严格按照规范进行，各层相互独立的物理网络设备之间的通信协议信息互不相同，各自之间存在对应规则所生成的动态信息码，跨设备之间无法解析与自身设备无关的信息码，并且动态信息码有一定的生存周期，平台会不定时更新各自的动态信息码。通过这种方式在软件层面保证了数据安全、数据准确性的问题，提高系统的稳定性和可靠性。
[0670]
功能协议方面则根据系统所需解决的问题进行功能和数据的分类、解析、融合，各级设备进行多级的功能解析融合，保证系统功能的稳定性。
[0671]
(1)终端与云中心
[0672]
云中心作为互联网终端的接口，在平台云操作协议中终端与云中心之间的数据通信设置动态信息码，双方之间通过设备编号(源设备编号和云服务器编号)和终端网三级动态信息码进行系统数据的交互。若信息码正确，进行功能协议解析和数据处理；若信息码错误，则将该数据丢弃或隔离，并做记录备案，数据帧格式例如图6所示。
[0673]
(2)云中心与接入服务器
[0674]
云中心作为互联网终端的接口，接入服务器作为后台中心的接口设备，在平台云操作协议中云中心与接入服务器之间的数据通信设置动态信息码，双方之间通过接入网三级动态信息码进行系统数据的交互。若信息码正确，进行功能协议解析和数据处理；若信息码错误，则将该数据丢弃或隔离，并做记录备案，数据帧格式例如图7所示。
[0675]
(3)接入服务器与智慧服务器
[0676]
接入服务器作为后台中心的接口设备，智慧服务器作为系统数据融合处理中心，在平台云操作协议中接入服务器与智慧服务器之间的数据通信设置动态信息码，双方之间通过智慧网三级动态信息码进行系统数据的交互。若信息码正确，进行功能协议解析和数据处理；若信息码错误，则将该数据丢弃或隔离，并做记录备案，数据帧格式例如图8所示。
[0677]
(4)融合服务器与存储服务器
[0678]
智慧服务器作为系统数据融合处理中心，存储服务器作为系统的数据存储中心，在平台云操作协议中智慧服务器与存储服务器之间的数据通信设置动态信息码，双方之间通过存储网三级动态信息码进行系统数据的交互。若信息码正确，进行功能协议解析和数据处理；若信息码错误，则将该数据丢弃或隔离，并做记录备案，数据帧格式例如图9所示。
[0679]
本发明中的系统结构属于原创自研的独立平台，通过自适应虚拟网技术和后台三层相互独立的物理网络保证了数据的安全性；结合自研的数据融合处理算法，解决大数据的融合处理和交互问题；采用独创的数据仓编码存储技术，极大程度提升了数据的存、取的效率。
[0680]
本发明的平台拥有百分之百的原创性，只采用的全球开源免费的linux操作系统、c/c 语言、计算机体系结构、编码理论等技术，从底层开始构建平台，从源头解决知识产权之争的问题。
[0681]
在本技术实施例中，工厂车间设备通过上传图像至后台中心，通过后台中心进行图像的视觉识别处理，包含产品类型识别、数量统计、质量检测等，然后后台中心将视觉识别处理得出的数据结合pdm系统的流程设计规范进行对应的数据融合、统计得到有效数据，最后将有效数据保存至数据仓并反馈给工厂车间设备，对生产流程进行实时的监管和数据统计，从而可追溯产品整个生命周期的所有流程数据及记录，同时可实时查看订单产品的每个零部件实时可视化生产情况，可对产品生产的任一流程进行可视化有效监管。
[0682]
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的生产流程管理的工业互联网平台方法。
[0683]
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的生产流程管理的工业互联网平台方法。
[0684]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令相关硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
[0685]
以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。