一种基于机器学习的灯光监测方法和监测系统与流程

1.本发明涉及灯具测试领域，特别是指一种基于机器学习的灯光监测方法和监测系统。


背景技术：

2.灯具在研发测试时，需要对灯具的亮度和色温进行识别，传统的灯具亮度识别，通常是通过光敏传感器获取灯具的亮度，而灯具的色温主要与通过灯具的电流比参数相关，因此，对于灯具色温的识别通过需要先得到通过灯具的电流比参数，在根据预设的电流比参数与色温的对应关系中查找到相应的色温，测试过程繁琐，测试成本高。


技术实现要素：

3.本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于机器学习的灯光监测方法，结合图像识别和机器学习，将研发过程、生产过程中的灯具实现自动化灯光监测，无需人工干预，且测试过程快速，结果准确，成本低。
4.本发明采用如下技术方案：
5.一种基于机器学习的灯光监测方法，包括：
6.获取样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，并获取对应图像中灯具的光通量和色温；
7.根据图像的rgb数据、ir灰度数据以及depth深度数据，构建特征序列，并将对应图像中灯具的光通量和色温作为第一标签和第二标签；
8.将所述特征序列和第一标签、第二标签，输入预训练的多对多回归网络模型中进行训练，得到训练好的多对多网络模型；
9.将提取图像的rgb数据、ir灰度数据以及depth深度数据的模型融合训练好的多对多网络模型，得到灯光监测模型；
10.将待监测的图像输入灯光监测模型，得到图像中灯具的光通量和色温。
11.具体地，根据图像的rgb数据、ir灰度数据以及depth深度数据，构建特征序列，具体为：
12.将图像中像素的r值平均值作为第一特征值；
13.将图像中像素的g值平均值作为第二特征值；
14.将图像中像素的b值平均值作为第三特征值；
15.将图像中像素的ir值平均值作为第四特征值；
16.将图像中像素的depth值平均值作为第五特征值；
17.将第一特征值、第二特征值、第三特征值、第四特征值和第五特征值构建为特征序列。
18.具体地，所述多对多网络模型包括但不限于：多对多循环神经网络模型、lstm模型。
19.具体地，还包括：
20.获取样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，并根据样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，确定灯具区域，并根据灯具区域内的rgb数据、ir灰度数据以及depth深度数据，构建特征序列。
21.本发明实施例另一方面提供一种基于机器学习的灯光监测系统，包括：
22.样本数据获取单元：获取样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，并获取对应图像中灯具的光通量和色温；
23.特征序列和标签获取单元：根据图像的rgb数据、ir灰度数据以及depth深度数据，构建特征序列，并将对应图像中灯具的光通量和色温作为第一标签和第二标签；
24.多对多网络模型训练单元：将所述特征序列和第一标签、第二标签，输入预训练的多对多回归网络模型中进行训练，得到训练好的多对多网络模型；
25.灯光监测模型获取单元：将提取图像的rgb数据、ir灰度数据以及depth深度数据的模型融合训练好的多对多网络模型，得到灯光监测模型；
26.灯具监测单元：将待监测的图像输入灯光监测模型，得到图像中灯具的光通量和色温。
27.具体地，根据图像的rgb数据、ir灰度数据以及depth深度数据，构建特征序列，具体为：
28.将图像中像素的r值平均值作为第一特征值；
29.将图像中像素的g值平均值作为第二特征值；
30.将图像中像素的b值平均值作为第三特征值；
31.将图像中像素的ir值平均值作为第四特征值；
32.将图像中像素的depth值平均值作为第五特征值；
33.将第一特征值、第二特征值、第三特征值、第四特征值和第五特征值构建为特征序列。
34.具体地，所述多对多网络模型包括但不限于：多对多循环神经网络模型、lstm模型。
35.具体地，还包括：
36.获取样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，并根据样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，确定灯具区域，并根据灯具区域内的rgb数据、ir灰度数据以及depth深度数据，构建特征序列。
37.本发明实施例再一方面一种电子设备，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述一种基于机器学习的灯光监测的方法步骤。
38.本发明实施例又一方面一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于机器学习的灯光监测的方法步骤。
39.由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
40.(1)本发明提出的一种基于机器学习的灯光监测方法，首先获取样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，并获取对应图像中灯具的光通量和色温；根
据图像的rgb数据、ir灰度数据以及depth深度数据，构建特征序列，并将对应图像中灯具的光通量和色温作为第一标签和第二标签；将所述特征序列和第一标签、第二标签，输入预训练的多对多回归网络模型中进行训练，得到训练好的多对多网络模型；将提取图像的rgb数据、ir灰度数据以及depth深度数据的模型融合训练好的多对多网络模型，得到灯光监测模型；将待监测的图像输入灯光监测模型，得到图像中灯具的光通量和色温；本发明提出的方法，结合图像识别和机器学习，将研发过程、生产过程中的灯具实现自动化灯光监测，无需人工干预，且测试过程快速，结果准确，成本低。
41.(2)本发明将图像的rgb数据、ir灰度数据以及depth深度数据作为输入特征值，全面的表征了图像的属性，使得训练模型准确，从而测试结果更为准确。
附图说明
42.图1为本发明实施例提供的一种基于机器学习的灯光监测方法流程图；
43.图2为本发明实施例提供的rnn不同结构示意图；
44.图3为本发明实施例提供的灯具识别的示意图；
45.图4为本发明实施例提供的一种基于机器学习的灯光监测的系统结构图；
46.图5为本发明实施例提供的一种电子设备的实施例示意图；
47.图6为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
48.以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
49.本发明提出了一种基于机器学习的灯光监测方法，结合图像识别和机器学习，将研发过程、生产过程中的灯具实现自动化灯光监测，无需人工干预，且测试过程快速，结果准确，成本低。
50.如图1，为本发明实施例提供的一种基于机器学习的灯光监测方法的流程图，具体为：
51.一种基于机器学习的灯光监测方法，包括：
52.s101：获取样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，并获取对应图像中灯具的光通量和色温；
53.首先获取包含灯具的样本图像集，再获取图像集中图像的rgb数据、ir灰度数据以及depth深度数据；
54.值得说明的是，3d摄像头产品目前有双目结构光(rgb ir)方案、tof(单个ir摄像头)方案，本发明实施例可采用tof方案外加rgb摄像头的结构形式。
55.具体地，对彩色rgb和红外ir添加帧同步信号，同步采集rgb数据和ir灰度数据，depth数据是3d深度生成算法对该帧数据进行处理生成，具体地，可基于rgb数据和ir灰度数据生成depth数据，或者根据ir灰度数据生成depth数据。tof方案只需要ir灰度数据即可生成depth数据。
56.s102：根据图像的rgb数据、ir灰度数据以及depth深度数据，构建特征序列，并将对应图像中灯具的光通量和色温作为第一标签和第二标签；
57.实际上，该步骤之前还包括，获取样本图像集中图像的rgb数据、ir灰度数据以及
depth深度数据，并根据样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，确定灯具区域，并根据灯具区域内的rgb数据、ir灰度数据以及depth深度数据，构建特征序列。
58.根据样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，确定灯具区域，具体是根据图像的rgb数据、ir灰度数据以及depth深度数据变化速率，在灯具区域各数据的变化速率较慢，超过灯具区域，各数据的变化速率会出现骤降；以数据的变化速率出现骤降为界限，确定灯具区域。
59.将图像灯具区域中像素的r值平均值作为第一特征值；
60.将图像灯具区域中像素的g值平均值作为第二特征值；
61.将图像灯具区域中像素的b值平均值作为第三特征值；
62.将图像灯具区域中像素的ir值平均值作为第四特征值；
63.将图像灯具区域中像素的depth值平均值作为第五特征值；
64.将第一特征值、第二特征值、第三特征值、第四特征值和第五特征值构建为特征序列。
65.灯具的亮度通过光通量来表征，单位：流明，即lm。光源在单位时间内发射出的光量称为光源的发光通量。同样，这个量是对光源而言，是描述光源发光总量的大小的，与光功率等价。光源的光通量越大，则发出的光线越多。
66.色温是考量灯具的一个重要指标，色温是表示光线中包含颜色成分的一个计量单位。从理论上说，黑体温度指绝对黑体从绝对零度(－273℃)开始加温后所呈现的颜色。黑体在受热后，逐渐由黑变红，转黄，发白，最后发出蓝色光。当加热到一定的温度，黑体发出的光所含的光谱成分，就称为这一温度下的色温，计量单位为“k”。
67.s103：将所述特征序列和第一标签、第二标签，输入预训练的多对多回归网络模型中进行训练，得到训练好的多对多网络模型；
68.所述多对多网络模型包括但不限于：多对多循环神经网络模型、lstm模型。
69.本发明实施例采用的是多对多循环神经网络模型：
70.循环神经网络(recurrent neural network，简称rnn)在普通多层反向传播(back propagation，简称bp)神经网络基础上，增加了隐藏层各单元间的横向联系，通过一个权重矩阵，可以实现将上一个时间序列的神经单元的值传递至当前的神经单元，从而使神经网络具备了记忆功能，对于处理有上下文联系的自然语言处理或者时间序列的机器学习问题有很好的应用性。对于一个标准的rnn结构，t时刻rnn的主体结构输入除了来自输入层xt，还有一个循环的边来提供从t-1时刻传递来的隐藏状态。
71.rnn模型的适用性根据输出和输入序列的数量不同，如图2所示，rnn可以有多种不同的结构，5种结构依次是：一对一、一对多、多对一、间隔多对多、同步多对多。不同结构自然就有不同的应用场合，这5种rnn模型结构可以分别对应vanilla神经网络、图片标题生成、情感分析、机器翻译、下文预测应用场景。
72.本发明的数据输入是特征序列，要求的输出是灯具的光通量和色温，其天然的序列性符合rnn模型的间隔多到多和同步多到多2种结构。这两者最大的区别是，间隔多到多模式下，模型无法利用输入特征序列中特征之间的关联关系，而同步多到多模式则可以。因此，本发明实施例建模选取具有同步多到多结构的rnn模型即同步多对多循环神经网络模
型，作为基础网络结构。
73.s104：将提取图像的rgb数据、ir灰度数据以及depth深度数据的模型融合训练好的多对多网络模型，得到灯光监测模型；
74.将常规的提取图像的rgb数据、ir灰度数据以及depth深度数据的算法，结合到训练好的多对多网络模型，得到灯光监测模型；
75.本实施例中，可以通过摄像机直接采集图像的rgb数据和ir灰度数据，depth数据是通过常规3d深度生成算法对rgb数据和ir灰度数据进行处理生成，因此，只需要将常规3d深度生成算法结合的训练好的多对多循环神经网络模型，即得到灯光监测模型。
76.s105：将待监测的图像输入灯光监测模型，得到图像中灯具的光通量和色温。
77.如图3，为测试过程中灯具的识别示意图。
78.如图4，为本发明实施例另一方面提供一种基于机器学习的灯光监测系统，包括：
79.样本数据获取单元401：获取样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，并获取对应图像中灯具的光通量和色温；
80.首先获取包含灯具的样本图像集，再获取图像集中图像的rgb数据、ir灰度数据以及depth深度数据；
81.值得说明的是，3d摄像头产品目前有双目结构光(rgb ir)方案、tof(单个ir摄像头)方案，本发明实施例可采用tof方案外加rgb摄像头的结构形式。
82.具体地，对彩色rgb和红外ir添加帧同步信号，同步采集rgb数据和ir灰度数据，depth数据是3d深度生成算法对该帧数据进行处理生成，具体地，可基于rgb数据和ir灰度数据生成depth数据，或者根据ir灰度数据生成depth数据。tof方案只需要ir灰度数据即可生成depth数据。
83.特征序列和标签获取单元402：根据图像的rgb数据、ir灰度数据以及depth深度数据，构建特征序列，并将对应图像中灯具的光通量和色温作为第一标签和第二标签；
84.实际上，该步骤之前还包括，获取样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，并根据样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，确定灯具区域，并根据灯具区域内的rgb数据、ir灰度数据以及depth深度数据，构建特征序列。
85.根据样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，确定灯具区域，具体是根据图像的rgb数据、ir灰度数据以及depth深度数据变化速率，在灯具区域各数据的变化速率较慢，超过灯具区域，各数据的变化速率会出现骤降；以数据的变化速率出现骤降为界限，确定灯具区域。
86.将图像灯具区域中像素的r值平均值作为第一特征值；
87.将图像灯具区域中像素的g值平均值作为第二特征值；
88.将图像灯具区域中像素的b值平均值作为第三特征值；
89.将图像灯具区域中像素的ir值平均值作为第四特征值；
90.将图像灯具区域中像素的depth值平均值作为第五特征值；
91.将第一特征值、第二特征值、第三特征值、第四特征值和第五特征值构建为特征序列。
92.灯具的亮度通过光通量来表征，单位：流明，即lm。光源在单位时间内发射出的光
量称为光源的发光通量。同样，这个量是对光源而言，是描述光源发光总量的大小的，与光功率等价。光源的光通量越大，则发出的光线越多。
93.色温是考量灯具的一个重要指标，色温是表示光线中包含颜色成分的一个计量单位。从理论上说，黑体温度指绝对黑体从绝对零度(－273℃)开始加温后所呈现的颜色。黑体在受热后，逐渐由黑变红，转黄，发白，最后发出蓝色光。当加热到一定的温度，黑体发出的光所含的光谱成分，就称为这一温度下的色温，计量单位为“k”。
94.多对多网络模型训练单元403：将所述特征序列和第一标签、第二标签，输入预训练的多对多回归网络模型中进行训练，得到训练好的多对多网络模型；
95.所述多对多网络模型包括但不限于：多对多循环神经网络模型、lstm模型。
96.本发明实施例采用的是多对多循环神经网络模型：
97.循环神经网络(recurrent neural network，简称rnn)在普通多层反向传播(back propagation，简称bp)神经网络基础上，增加了隐藏层各单元间的横向联系，通过一个权重矩阵，可以实现将上一个时间序列的神经单元的值传递至当前的神经单元，从而使神经网络具备了记忆功能，对于处理有上下文联系的自然语言处理或者时间序列的机器学习问题有很好的应用性。对于一个标准的rnn结构，t时刻rnn的主体结构输入除了来自输入层xt，还有一个循环的边来提供从t-1时刻传递来的隐藏状态。
98.rnn模型的适用性根据输出和输入序列的数量不同，如图2所示，rnn可以有多种不同的结构，5种结构依次是：一对一、一对多、多对一、间隔多对多、同步多对多。不同结构自然就有不同的应用场合，这5种rnn模型结构可以分别对应vanilla神经网络、图片标题生成、情感分析、机器翻译、下文预测应用场景。
99.本发明的数据输入是特征序列，要求的输出是灯具的光通量和色温，其天然的序列性符合rnn模型的间隔多到多和同步多到多2种结构。这两者最大的区别是，间隔多到多模式下，模型无法利用输入特征序列中特征之间的关联关系，而同步多到多模式则可以。因此，本发明实施例建模选取具有同步多到多结构的rnn模型即同步多对多循环神经网络模型，作为基础网络结构。
100.灯光监测模型获取单元404：将提取图像的rgb数据、ir灰度数据以及depth深度数据的模型融合训练好的多对多网络模型，得到灯光监测模型；
101.将常规的提取图像的rgb数据、ir灰度数据以及depth深度数据的算法，结合到训练好的多对多网络模型，得到灯光监测模型；
102.本实施例中，可以通过摄像机直接采集图像的rgb数据和ir灰度数据，depth数据是通过常规3d深度生成算法对rgb数据和ir灰度数据进行处理生成，因此，只需要将常规3d深度生成算法结合的训练好的多对多循环神经网络模型，即得到灯光监测模型
103.灯具监测单元405：将待监测的图像输入灯光监测模型，得到图像中灯具的光通量和色温。
104.将搭载有本发明方法的智能终端部署到需要进行监测的场地，安装好要监测的目标设备，开启测试，等待输出结果即可。
105.如图5所示，本发明实施例提供了一种电子设备500，包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现本发明实施例提供的一种基于机器学习的灯光监测方法。
106.在具体实施过程中，处理器520执行计算机程序511时，可以实现图1对应的实施例中任一实施方式。
107.由于本实施例所介绍的电子设备为实施本发明实施例中一种数据处理装置所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。
108.请参阅图6，图6为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
109.如图6所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现本发明实施例提供的一种基于机器学习的灯光监测方法；
110.在具体实施过程中，该计算机程序611被处理器执行时可以实现图1对应的实施例中任一实施方式。
111.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
112.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
113.本发明提出的一种基于机器学习的灯光监测方法，首先获取样本图像集中图像的rgb数据、ir灰度数据以及depth深度数据，并获取对应图像中灯具的光通量和色温；根据图像的rgb数据、ir灰度数据以及depth深度数据，构建特征序列，并将对应图像中灯具的光通量和色温作为第一标签和第二标签；将所述特征序列和第一标签、第二标签，输入预训练的多对多回归网络模型中进行训练，得到训练好的多对多网络模型；将提取图像的rgb数据、ir灰度数据以及depth深度数据的模型融合训练好的多对多网络模型，得到灯光监测模型；将待监测的图像输入灯光监测模型，得到图像中灯具的光通量和色温；本发明提出的方法，结合图像识别和机器学习，将研发过程、生产过程中的灯具实现自动化灯光监测，无需人工干预，且测试过程快速，结果准确，成本低。
114.本发明将图像的rgb数据、ir灰度数据以及depth深度数据作为输入特征值，全面的表征了图像的属性，使得训练模型准确，从而测试结果更为准确。
115.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上所述仅是本申
请的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
116.上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。