冶炼终点监测芯片、智能冶炼控制设备及制备方法

1.本发明涉及人工智能技术领域，尤其涉及一种冶炼终点监测芯片、智能冶炼控制设备及制备方法。


背景技术：

2.转炉炼钢是目前世界上应用最广泛、最高效的炼钢方法，冶炼终点控制是转炉生产中的关键技术之一，终点的准确判断在提高钢水质量、缩短冶炼周期方面具有重要的意义。但由于入炉原料不稳定、复杂的化学反应和所炼钢种的严格等原因，冶炼终点的准确控制仍是难点。对终点碳含量、钢水温度进行准确地在线监测，一直是全世界冶金行业亟待解决的难题。目前行业内用于终点控制主要依赖人工经验、或复杂的大型仪器设备测炉口温度及炉渣残留物定性测量，精度低且成本较高。


技术实现要素：

3.针对现有技术存在的问题，本发明实施例提供一种冶炼终点监测芯片、智能冶炼控制设备及制备方法。
4.具体地，本发明实施例提供了如下技术方案：
5.第一方面，本发明实施例提供了一种冶炼终点监测芯片，用于冶炼终点监测任务，包括：光调制层和图像传感器，所述图像传感器与处理器连接设置；所述光调制层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层；
6.所述光调制层设置于所述图像传感器的感光区域的表面，所述光调制层包含有光调制结构，所述光调制结构用于对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光包括炼钢炉口的反射光、透射光和/或辐射光；
7.所述图像传感器用于将与不同位置点经光调制层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光调制层调制后的图像信号；
8.所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到冶炼终点监测结果；
9.其中，所述冶炼终点监测任务包括识别冶炼终点，所述冶炼终点监测结果包括冶炼终点识别结果。
10.进一步地，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
11.进一步地，所述冶炼终点监测任务还包括识别冶炼过程中的碳含量和/钢水温度，所述冶炼终点监测结果还包括冶炼过程中的碳含量和/钢水温度识别结果。
12.进一步地，所述冶炼终点监测芯片包括训练好的光调制结构和图像传感器，所述
处理器为训练好的处理器；
13.所述训练好的光调制结构、图像传感器和处理器是指利用与所述冶炼终点监测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的冶炼终点监测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
14.其中，所述输入训练样本包括由冶炼至终点以及未冶炼至终点的炼钢炉口反射、透射和/或辐射的入射光；所述输出训练样本包括是否冶炼至终点的判定结果。
15.进一步地，当所述冶炼终点监测任务还包括识别冶炼过程中的碳含量和/钢水温度时，相应地，所述输入训练样本还包括由冶炼至不同碳含量和/钢水温度的炼钢炉口反射、透射和/或辐射的入射光，所述输出训练样本还包括相应的碳含量和/钢水温度。
16.进一步地，在对包含不同的光调制结构和图像传感器的冶炼终点监测芯片以及具有不同的全连接参数和非线性激活参数的处理器进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
17.进一步地，所述光调制层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光调制层中的光调制结构包含离散型结构和/或连续型结构。
18.进一步地，所述光调制层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
19.进一步地，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
20.进一步地，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
21.进一步地，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
22.进一步地，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
23.进一步地，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
24.进一步地，所述微纳单元具有四重旋转对称性。
25.进一步地，所述光调制层由一层或多层滤波器层构成；
26.所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元spp微纳结构、可调法布里-珀罗谐振腔中的一种或多种制备的滤波器层。
27.进一步地，所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
28.进一步地，所述光调制层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
29.第二方面，本发明实施例还提供了一种智能冶炼控制设备，包括如第一方面所述的冶炼终点监测芯片。
30.第三方面，本发明实施例还提供了一种如第一方面所述的冶炼终点监测芯片的制备方法，包括：
31.在所述图像传感器的感光区域的表面制备包含有光调制结构的光调制层；
32.生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
33.连接所述图像传感器和所述处理器；
34.其中，所述光调制层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；
35.所述图像传感器用于将与不同位置点经光调制层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到冶炼终点监测结果。
36.进一步地，所述冶炼终点监测芯片的制备方法，还包括：对所述冶炼终点监测芯片的训练过程，具体包括：
37.利用与所述冶炼终点监测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构和图像传感器的冶炼终点监测芯片以及具有不同的全连接参数的处理器进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
38.进一步地，在所述图像传感器的表面制备包含有光调制结构的光调制层，包括：
39.在所述图像传感器的表面生长一层或多层预设材料；
40.对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光调制结构的光调制层；
41.或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光调制层；
42.或通过对所述一层或多层预设材料进行外加动态调制，得到包含有光调制结构的光调制层；
43.或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光调制层；
44.或对所述一层或多层预设材料进行分区生长，得到包含有光调制结构的光调制层；
45.或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。
46.本发明实施例实现了一种能够实现人工神经网络功能的全新冶炼终点监测芯片，用于冶炼终点监测任务，在该冶炼终点监测芯片中，以硬件方式嵌入了人工神经网络，其中，光调制层设置于图像传感器的感光区域的表面，光调制层包含有光调制结构，光调制层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该冶炼终点监测芯片中，光调制层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，光调制层对进入光调制层的入射光的滤波作用作为输入层到线性层的连接权重，也即该冶炼终点监测芯片中的光调制层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例
将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该冶炼终点监测芯片进行冶炼终点识别时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由冶炼终点监测芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低冶炼终点识别时的功耗和延时。
47.由此可见，本发明实施例提供了用于准确识别冶炼终点的新型光电芯片，该芯片将人工神经网络部分嵌入包含各种光调制层的图像传感器中，实现安全可靠、快速准确的冶炼终点控制。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1是本发明一实施例提供的冶炼终点监测芯片的结构示意图；
50.图2是本发明一实施例提供的冶炼终点监测芯片识别原理示意图；
51.图3是本发明一实施例提供的冶炼终点监测芯片拆解示意图；
52.图4是本发明一实施例提供的对冶炼过程中炉口进行识别以确定冶炼终点的示意图；
53.图5是本发明一实施例提供的一种光调制层的俯视图；
54.图6是本发明一实施例提供的另一种光调制层的俯视图；
55.图7是本发明一实施例提供的又一种光调制层的俯视图；
56.图8是本发明一实施例提供的另又一种光调制层的俯视图；
57.图9是本发明一实施例提供的再又一种光调制层的俯视图；
58.图10是本发明一实施例提供的还又一种光调制层的俯视图；
59.图11是本发明一实施例提供的微纳结构宽带滤波效果示意图；
60.图12是本发明一实施例提供的微纳结构窄带滤波效果示意图；
61.图13是本发明一实施例提供的前照式的图像传感器结构示意图；
62.图14是本发明一实施例提供的后照式的图像传感器结构示意图；
63.图15是本发明另一实施例提供的冶炼终点监测芯片的制备方法的流程示意图。
具体实施方式
64.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
65.转炉炼钢是目前世界上应用最广泛、最高效的炼钢方法，冶炼终点控制是转炉生产中的关键技术之一，终点的准确判断在提高钢水质量、缩短冶炼周期方面具有重要的意义。但由于入炉原料不稳定、复杂的化学反应和所炼钢种的严格等原因，冶炼终点的准确控
制仍是难点。对终点碳含量、钢水温度进行准确地在线监测,一直是全世界冶金行业亟待解决的难题。目前行业内用于终点控制主要依赖人工经验、或复杂的大型仪器设备测炉口温度及炉渣残留物定性测量，精度低且成本较高。因此，实现微体积、低成本、安全可靠且易于后期集成控制系统的在线冶炼终点控制芯片对钢铁冶炼行业的发展、行业的自动化具有重要意义，是真正意义上的工业4.0，本发明实施例基于转炉炼钢炉口的光谱辐射信息特征分析，开展转炉炼钢冶炼终点、钢水温度、碳含量等的在线非接触测量，从而实现了冶炼终点的准确在线控制。具体地，本发明实施例提供一种冶炼终点监测芯片，用于冶炼终点监测任务，在该冶炼终点监测芯片中，以硬件方式嵌入了人工神经网络，其中，光调制层设置于图像传感器的感光区域的表面，光调制层包含有光调制结构，光调制层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该冶炼终点监测芯片中，将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该冶炼终点监测芯片进行冶炼终点识别时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由冶炼终点监测芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低冶炼终点识别时的功耗和延时。此外，本发明实施例还可以利用炼钢炉口的入射光携带信息，包括图像信息、光谱信息、入射光的角度和入射光的相位信息中的一种或多种信息，由于炼钢炉口不同点处的入射光携带信息涵盖了炼钢炉口的图像、成分、形状、三维深度、结构、三维颜色等信息，从而在依据不同点处的不同点处的入射光携带信息进行炼钢终点识别时，可以涵盖炼钢炉口的图像、成分、形状、三维深度、三维颜色等信息，从而可以充分利用能够利用的信息对炼钢终点进行识别，从而可以解决背景技术部分所提到的难以准确识别冶炼终点的问题，由此可见，本发明实施例提供的冶炼终点监测芯片，能同时满足低功耗、低延时和高识别率的效果，从而可以快速且准确地识别冶炼终点，本发明实施例提供的冶炼终点监测芯片，很好地解决了冶炼终点难以监测的世界性难题，实现了无接触式的准确监测，同时由于采用光人工神经网络芯片，使得光人工神经网络中有关输入层和线性层对应的复杂的信号处理和算法处理均可以用预先制备好的硬件(光调制层和图像传感器)代替，从而大大降低了处理时延，能够实现快速准确、安全可靠的冶炼终点监测。下面将通过具体实施例对本发明提供的内容进行详细解释和说明。
66.如图1所示，本发明一实施例提供的冶炼终点监测芯片，用于冶炼终点监测任务，包括：光调制层1和图像传感器2，所述图像传感器2与处理器3连接设置，所述处理器3可以设置在芯片内，也可以独立于芯片设置(所述处理器3作为芯片的一部分，也可以作为分离器件)；所述光调制层1对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器2对应人工神经网络的线性层；所述处理器3对应人工神经网络的非线性层以及输出层；
67.所述光调制层1设置于所述图像传感器2的感光区域的表面，所述光调制层包含有光调制结构，所述光调制结构用于对进入至所述光调制结构不同位置点处的入射光分别进
行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光包括炼钢炉口的反射光、透射光和/或辐射光；
68.在本实施例中，所述图像传感器2用于将与不同位置点经光调制层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光调制层调制后的图像信号；
69.在本实施例中，所述处理器3用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到冶炼终点监测结果；
70.其中，所述冶炼终点监测任务包括识别冶炼终点，所述冶炼终点监测结果包括冶炼终点识别结果。
71.在本实施例中，所述入射光携带信息中包含有待进行光人工神经网络智能芯片处理的目标对象的图像信息和/或各种光空间信息，例如，所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的至少一种。
72.由此可见，在本实施例中，需要利用光源照射人体待测部位，然后使得透射光或反射光进入芯片的光调制层，由光调制层中的光调制结构对入射至光调制结构上的光进行调整，由于光调制层中的光调制结构是预先设计好的可以进行冶炼终点监测的调制图案，因此，当炼钢炉口的反射光、透射光和/或辐射光进入芯片的光调制层后，芯片上的光调制层、图像传感器和处理器一起作为人工神经网络的整体对所述反射光、透射光和/或辐射光进行识别，进而得到冶炼终点监测结果。
73.此外，需要说明的是，光调制层中的可以进行冶炼终点监测的调制图案可以通过如下方式进行设定：
74.对于冶炼终点监测，可以通过在计算机上对调制图案进行光学仿真，得到调制图案对入射光不同波长成分的调制强度(透射率)，将其作为人工神经网络输入层到线性层的连接权重，并在计算机中实现非线性激活函数，预先对大量炼钢炉口的反射、透射和/或辐射光进行采集，同时采集相应的是否为冶炼终点的监测结果，利用采集的这些输入样本数据和输出样本数据进行人工神经网络训练，可以设计出所需的调制图案并进行制备，在芯片上通过硬件方式(光调制层和图像传感器)实现人工神经网络的输入层和线性层。
75.所述处理器3用于将与不同位置点对应的电信号进行全连接处理，得到人工神经网络的输出信号，也即得到冶炼终点监测结果。
76.在本实施例中，光调制层1设置于图像传感器的表面，光调制层1包含有光调制结构，光滤波器1层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在图像传感器的表面得到与不同位置点对应的调制后的入射光携带信息。由此可见，在实施例中，光调制层对应人工神经网络的输入层，同时光调制层上的光调制结构对入射光的调制作用可以看作是输入层到所述线性层的连接权重；
77.在本实施例中，光调制层1包含有光调制结构，通过光调制结构对进入至光调制结构不同位置点处的入射光(例如待识别目标的反射光、透射光、辐射光等相关作用光)进行不同强度的频谱调制，以在图像传感器2的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息。
78.在本实施例中，可以理解的是，调制强度与光调制结构的具体结构形式有关，例
如，可以通过设计不同的光调制结构(如改变光调制结构的形状和/或尺寸参数)来实现不同的调制强度。
79.在本实施例中，可以理解的是，光调制层1上不同位置处的光调制结构对入射光具有不同的频谱调制作用，光调制结构对入射光不同波长成分的调制强度对应于人工神经网络线性层的连接强度，也即对应输入层以及输入层到线性层的连接权重。需要说明的是，光调制层1是由多个光滤波器单元组成的，每个光滤波器单元内不同位置处的光调制结构是不同的，因此对入射光具有不同的频谱调制作用；光滤波器单元之间不同位置处的光调制结构可以相同或不同，因此对入射光具有相同或不同的频谱调制作用。
80.在本实施例中，图像传感器2将与不同位置点对应的光强度分布信号转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给处理器3，图像传感器2对应神经网络的线性层。
81.在本实施例中，处理器3将不同位置点的电信号进行全连接处理与非线性激活处理，进而得到人工神经网络的输出信号。
82.可以理解的是，处理器3对应神经网络的非线性层以及输出层，也可以理解成对应神经网络中除输入层和线性层以外的剩余层(其他所有层)。
83.此外，需要补充说明的是，处理器3可以设置在所述冶炼终点监测芯片内，也即所述处理器3可以和所述滤波器层1以及图像传感器2一起设置在冶炼终点监测芯片内，也可以单独地设置在冶炼终点监测芯片外，并通过数据线或连接器件与冶炼终点监测芯片内中的图像传感器2连接，本实施例对此不作限定。
84.此外，需要说明的是，所述处理器3可以采用计算机实现，也可以采用具有一定运算能力的arm或fpga电路板实现，还可以采用微处理器实现，本实施例对此不做限定。此外，正如前面所述，所述处理器3可以集成在所述冶炼终点监测芯片内，也可以独立于所述冶炼终点监测芯片外设置。当所述处理器3独立于所述冶炼终点监测芯片外设置时，可以通过信号读出电路将图像传感器2中的电信号读出至处理器3中，进而由处理器3对读出的电信号进行全连接处理与非线性激活处理。
85.在本实施例中，可以理解的是，处理器3在进行非线性激活处理时，可以采用非线性激活函数实现，例如可以采用sigmoid函数、tanh函数、relu函数等，本实施例对此不作限定。
86.在本实施例中，光调制层1对应人工神经网络的输入层以及输入层到线性层的连接权重，图像传感器2对应于人工神经网的线性层，将空间不同位置点的光强度分布信号转化为电信号，处理器3对应人工神经网络的非线性层以及输出层，将不同位置的电信号进行全连接，经由非线性激活函数得到人工神经网络的输出信号，实现对冶炼终点的监测。
87.如图2左侧所示，冶炼终点监测芯片包括光调制层1和图像传感器2，处理器3与冶炼终点监测芯片中的图像传感器2连接，在图2中，处理器3采用信号读出电路和计算机来实现。如图2右侧所示，冶炼终点监测芯片中的光调制层1对应人工神经网络的输入层，图像传感器2对应人工神经网络的线性层，处理器3对应人工神经网络的非线性层和输出层，光调制层1对进入光调制层1的入射光的滤波作用对应输入层到线性层的连接权重，由此可见，本实施例提供的冶炼终点监测芯片中的光调制层和图像传感器通过硬件的方式实现了人工神经网络中输入层和线性层的相关功能，从而使得后续在使用该冶炼终点监测芯片进行
识别处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理(例如省略了输入层到线性层的连接权重等这些计算)，这样可以大幅降低人工神经网络处理时的功耗和延时。此外，本发明实施例同时利用了炼钢炉口不同空间位置点的图像信息、光谱信息、入射光的角度和入射光的相位信息，即炼钢炉口空间不同点处的入射光携带信息，由于炼钢炉口空间不同点处的入射光携带信息涵盖了炼钢炉口不同空间位置点的图像、成分、形状、三维深度、结构、三维颜色等信息，从而在依据炼钢炉口的不同点处的入射光携带信息进行冶炼终点监测时，可以涵盖炼钢炉口不同空间位置点的图像、成分、形状、三维深度、结构、三维颜色等信息，从而可以解决背景技术部分所提到的难以准确实现冶炼终点监测的问题，由此可见，本发明实施例提供的冶炼终点监测芯片，能同时满足低功耗、低延时和高识别率的效果。
88.如图2右侧所示，将光调制层1不同位置处的入射光频谱p
λ
投影/连接到图像传感器的光电流响应in上，处理器3包括信号读出电路和计算机，处理器3中的信号读出电路将光电流响应读出至传输到计算机中，由计算机进行电信号的全连接处理与非线性激活处理，最后输出结果。
89.如图3所示，光调制层1上的光调制结构集成在图像传感器2上方，对经炼钢炉口反射、透射和/或辐射的入射光进行调制，将入射光的频谱信息投影/连接到图像传感器2的不同像素点上，得到包含入射光频谱信息和图像信息的电信号，也即入射光经过光调制层1后，由图像传感器2转换成电信号，形成包含入射光的频谱信息的图像，最后由与图像传感器2连接的处理器3对包含入射光的频谱信息和图像信息的电信号进行处理。由此可见，本发明实施例提供的冶炼终点监测芯片，能同时满足低功耗、低延时和高识别率的效果，从而可以快速且准确地监测到冶炼终点。
90.在本实施例中，所述入射光携带信息可以包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息中的一种或多种(包括两种)。
91.例如，在一种实现方式中，所述入射光携带信息可以包括光强度分布信息，在其他实现方式中，可以同时利用了目标对象的图像信息、光谱信息、入射光的角度和入射光的相位信息中的多种信息对目标对象进行识别，从而可以更加准确地实现对目标对象的智能识别。
92.本发明将炼钢炉口处不同位置点的图像信息、光谱信息、入射光的角度和入射光的相位信息中的一种或多种投影到硬件芯片的光电流响应中，充分利用了炼钢炉口各个维度的光相关信息，从而能够实现准确的冶炼终点监测。
93.本发明实施例实现了一种能够实现人工神经网络功能的全新冶炼终点监测芯片，用于冶炼终点监测任务，在该冶炼终点监测芯片中，以硬件方式嵌入了人工神经网络，其中，光调制层设置于图像传感器的感光区域的表面，光调制层包含有光调制结构，光调制层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息，相应地，图像传感器用于将与不同位置点对应的入射光携带信息转换为与不同位置点对应的电信号，与图像传感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网络的输出信号，由此可见，在该冶炼终点监测芯片中，光调制层作为人工神经网络的输入层，图像传感器作为人工神经网络的线性层，光调制层对进入光调制层
的入射光的滤波作用作为输入层到线性层的连接权重，也即该冶炼终点监测芯片中的光调制层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行了剥离，利用硬件的方式实现了人工神经网络中的输入层和线性层这两层结构，从而使得后续在使用该冶炼终点监测芯片进行冶炼终点识别时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，只需由冶炼终点监测芯片中的处理器进行与电信号全连接与非线性激活的相关处理即可，这样可以大幅降低冶炼终点识别时的功耗和延时。由此可见，本发明实施例将光调制层作为人工神经网络的输入层，将图像传感器作为人工神经网络的线性层，将光调制层对进入光调制层的入射光的滤波作用作为输入层到线性层的连接权重，利用光调制层和图像传感器将炼钢炉口不同点处的光携带信息投影成电信号，然后在处理器中实现电信号的全连接处理与非线性激活处理，由此可见，本发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理，从而可以大幅提高处理速度。
94.此外，本发明实施例可以利用炼钢炉口空间不同点处的图像信息、光谱信息、入射光的角度和入射光的相位信息中的一种或多种信息，即利用炼钢炉口的空间不同点处的入射光携带信息，由于炼钢炉口不同点处的入射光携带信息涵盖了炼钢炉口的图像、成分、形状、三维深度、结构、三维颜色等信息，从而在依据不同点处的不同点处的入射光携带信息进行炼钢终点识别时，可以涵盖炼钢炉口的图像、成分、形状、三维深度、三维颜色等信息，从而可以充分利用能够利用的信息对炼钢终点进行识别，从而可以解决背景技术部分所提到的难以准确识别冶炼终点的问题，由此可见，本发明实施例提供的冶炼终点监测芯片，能同时满足低功耗、低延时和高识别率的效果，从而可以快速且准确地识别冶炼终点。
95.由此可见，本发明实施例提供了用于准确识别冶炼终点的新型光电芯片，该芯片将人工神经网络部分嵌入包含各种光调制层的图像传感器中，实现安全可靠、快速准确的冶炼终点控制。
96.基于上述实施例的内容，在本实施例中，所述冶炼终点监测任务还包括识别冶炼过程中的碳含量和/钢水温度，所述冶炼终点监测结果还包括冶炼过程中的碳含量和/钢水温度识别结果。
97.基于上述实施例的内容，在本实施例中，所述冶炼终点监测芯片包括训练好的光调制结构和图像传感器，所述处理器为训练好的处理器；
98.所述训练好的光调制结构、图像传感器和处理器是指利用与所述冶炼终点监测任务对应的输入训练样本以及输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的冶炼终点监测芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理器；
99.其中，所述输入训练样本包括由冶炼至终点以及未冶炼至终点的炼钢炉口反射、透射和/或辐射的入射光；所述输出训练样本包括是否冶炼至终点的判定结果。
100.基于上述实施例的内容，在本实施例中，当所述冶炼终点监测任务还包括识别冶炼过程中的碳含量和/钢水温度时，相应地，所述输入训练样本还包括由冶炼至不同碳含量和/钢水温度的炼钢炉口反射、透射和/或辐射的入射光，所述输出训练样本还包括相应的碳含量和/钢水温度。
101.由此可见，本实施例的可监测样本包括但不限于转炉炼钢的终点控制，还可以引
入人工神经网训练监测冶炼炉口温度和物质元素，极易于后端工业控制系统的集成、且识别准确性高、定性分析较为准确。
102.在本实施例中，可以理解的是，所述输入训练样本包括由相应智能处理任务中的炼钢炉口反射、透射和/或辐射的入射光；所述输出训练样本包括炼钢炉口的智能处理结果，如冶炼终点识别结果、冶炼过程中的温度识别结果、冶炼过程中的碳含量识别结果等。
103.在本实施例中，炼钢炉口的反射光、透射光和/或辐射光进入至训练好的冶炼终点监测芯片中，得到是否为冶炼终点、以及炉口温度和物质元素含量等智能处理结果。
104.在本实施例中，以冶炼终点的识别任务为例进行说明，可以理解的是，在利用该冶炼终点监测芯片进行识别任务时，首先需要对冶炼终点监测芯片进行训练，这里对冶炼终点监测芯片进行训练是指通过训练确定适用于当前识别任务的光调制结构，以及，适用于当前识别任务的全连接参数与非线性激活参数。
105.可以理解的是，由于光调制层对进入光调制层的入射光的滤波作用对应人工神经网络输入层到线性层的连接权重，因此，在训练时，改变光调制层中的光调制结构相当于改变人工神经网络输入层到线性层的连接权重，通过训练收敛条件，确定出适用于当前识别任务的光调制结构，以及，适用于当前识别任务的全连接参数与非线性激活参数，从而完成对冶炼终点监测芯片的训练。
106.可以理解的是，在对冶炼终点监测芯片训练后，就可以使用该冶炼终点监测芯片执行识别任务。具体地，携带有炼钢炉口图像信息以及光携带信息的入射光进入训练好的冶炼终点监测芯片的光调制层1后，光调制层1中的光调制结构会对入射光进行调制，调制后的光信号强度由图像传感器2探测并转换成电信号，再由处理器3进行全连接处理和非线性激活处理，就能得到当前是否为冶炼终点的识别结果。
107.如图4所示，对于炼钢炉口进行识别以确定是否为冶炼终点的完整流程为：炼钢转炉200的炉口火焰100发出的光由冶炼终点监测芯片300采集，由冶炼终点监测芯片中的光调制层、图像传感器和处理器进行处理后，即可得到当前是否为冶炼终点的识别结果。
108.由此可见，本实施例的目的是提供一种用于冶炼终点控制的新型光电芯片，该芯片在线采集冶炼过程中炉口的图像信息、光谱信息、入射光的角度和入射光的相位信息，可以实现快速准确、安全可靠的冶炼终点、炉口温度测量及碳元素等的探测及定性分析。
109.该芯片在图像传感器的感光区域表面上直接制备微纳调制结构，若干个分立或连续的微纳结构构成一个单元，不同位置处的微纳调制结构对入射光具有不同的频谱调制作用，共同构成了光调制层。这些微纳调制结构对入射光不同波长成分的调制强度对应于人工神经网络的连接强度(线性层权重)，同时所述图像传感器用于将与不同位置点经光调制层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器，处理器将与不同位置点对应的电信号进行全连接处理和非线性激活处理，得到人工神经网络的输出信号。对于冶炼终点控制，可以先对终点时刻的转炉炉口图像和光谱信息进行采集，通过数据训练得到线性层的权重，即光调制层的系统函数，便可以逆向设计出所需的光调制层结构，将其集成在图像传感器上方。在实际使用时，在实际冶炼终点控制过程中，再利用制作完成的光调制层的输出，对电信号全连接层的权重进一步训练并优化，便可实现高准确率的光人工神经网络，完成对冶炼过程中终点时刻的准确判断。
110.可以理解的是，该芯片实际上同时利用了终点时刻的转炉炉口图像信息和光谱信息，从而得到准确的在线炉口温度和元素含量，提高了冶炼终点时刻判断的准确性；并在硬件上部分实现了人工神经网络，提高了冶炼终点时刻的判断的速度。此外，该芯片方案可以利用现有的cmos工艺实现量产，降低了器件的体积、功耗和成本，并便于与后续控制系统集成。
111.可以理解的是，对于识别任务来说，由于本实施例提供的冶炼终点监测芯片的优势还在于能够获取到识别对象的光携带信息，因此，为充分利用该优势，对于作为输入训练样本的识别对象样本优先采用真实的识别对象，而不是识别对象的二维图像。当然，这并不代表不可以将二维图像作为识别对象样本。
112.在本实施例中，光调制层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层，为了使神经网络的损失函数最小，将光调制层中的光调制结构对炼钢炉口的入射光中不同波长成分的调制强度作为神经网络的输入层到线性层的连接权重，通过调整光调制层的结构可以调整炼钢炉口的入射光中不同波长成分的调制强度，从而实现对输入层到线性层连接权重的调整，进而优化神经网络的训练。
113.因此，本实施例中光调制结构是基于神经网络训练得到的，通过计算机对训练样本进行光学仿真，获取训练样本中光调制结构对智能处理任务中炼钢炉口的入射光不同波长成分的样本调制强度，将样本调制强度作为神经网络的输入层到线性层的连接权重，进行非线性激活，并利用与智能处理任务对应的训练样本进行神经网络训练，直至神经网络收敛时将对应的训练样本光调制结构作为对应智能处理任务的光调制层。
114.由此可见，本实施例通过在物理层实现神经网络的输入层和线性层，能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算法处理，从而可以提高处理速度，降低时延。同时本发明实施例实际上同时利用了炼钢炉口的图像信息、光谱信息、入射光的角度和入射光的相位信息，即炼钢炉口空间不同点处的入射光携带信息，从而使得可以从空间图像、光谱、角度、相位信息中进一步提取炼钢炉口成分、形状、三维深度等信息，从而可以解决背景技术部分所提到的采用炼钢炉口的二维图像信息难以保证识别的准确性问题。
115.基于上述实施例的内容，在本实施例中，在对包含不同的光调制结构和图像传感器的冶炼终点监测芯片以及具有不同的全连接参数和非线性激活参数的处理器进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
116.本实施例通过计算机光学仿真对光调制结构进行设计，通过光学仿真调整光调制结构，直至神经网络收敛时确定对应的光调制结构为最终需要制作的光调制结构尺寸，节省原型制作时间和成本，提高产品效率，轻松解决复杂的光学问题。例如，可以通过fdtd软件来对光调制结构进行仿真设计，在光学仿真中改变光调制结构，从而可以准确地预测光调制结构对不同入射光的调制强度，并将其作为神经网络输入层与线性层的连接权重，对冶炼终点监测芯片进行训练，准确获取光调制结构。
117.可以理解的是，可以预先对终点时刻的转炉炉口图像和光谱信息进行多次采集并进行数据训练，可以设计出所需的微纳调制结构并进行制备，在芯片上实现人工神经网络的输入层和线性层。
118.由此可见，本实施例通过采用计算机光学仿真设计的方式设计光调制结构，节省了光调制结构原型制作时间和成本，提高产品效率。
119.可以理解的是，该芯片实际上同时利用了炉口处的图像信息和光携带信息，提高了冶炼终点识别的准确准确性，本实施例在硬件上部分实现了人工神经网络，提高了冶炼终点的识别实时性。此外，该芯片方案可以利用现有的cmos工艺实现量产，降低了器件的体积、功耗和成本。
120.本实施例提供的基于微纳调制结构和图像传感器的光人工神经网冶炼终点监测芯片，其结构示意图如图2所示，包括光调制层1、图像传感器2和处理器3。所述光调制层对应人工神经网络的输入层以及输入层到线性层的连接权重，所述图像传感器对应人工神经网络的线性层，其中，若干个分立或连续的微纳调制结构构成一个单元，这些调制结构对入射光具有不同的宽带频谱调制作用，不同单元包含的微纳调制结构可以相同或不同，也可以根据图像进行空间重构。每个单元与多个图像传感器感光像素在垂直方向上相对应。图像传感器2将光调制层1的出射光场en转换为图像传感器的光电流响应in上。处理器3包括信号读出电路和计算机，处理器3中的信号读出电路将光电流响应读出in至传输到计算机中，由计算机进行电信号的全连接处理和非线性激活处理，最后输出结果。
121.可以理解的是，对于冶炼终点控制，通过在计算机上对微纳调制结构进行光学仿真，可以得到调制结构对入射光不同波长成分的调制强度(透射率)，将其作为人工神经网络输入层到线性层的连接权重，图像传感器用于将与不同位置点经光调制层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述电信号为经光调制层调制后的图像信号；处理器将与不同位置点对应的电信号进行全连接处理和非线性激活处理，得到人工神经网络的输出信号，事先对终点时刻的转炉炉口的光携带信息进行多次采集并进行数据训练，可以设计出所需的微纳调制结构并进行制备，在芯片上实现人工神经网络的输入层和线性层。
122.从纵向上看，如图2所示，光调制层中的每个微纳调制结构是通过预先的人工神经网络训练设计得到的，可以通过在图像传感器上直接生长一层或多层介质或金属材料，再进行刻蚀来制备。光调制层中每个调制单元的整体尺寸通常为λ2～105λ2，厚度通常为0.1λ～10λ，λ是目标波段的中心波长。光调制层中的每个调制单元结构对应图像传感器上的多个像素。光调制层直接在图像传感器上制备，图像传感器和处理器之间通过电接触进行连接。
123.可以理解的是，光调制层和cis晶圆(cis晶圆作为一种特殊的图像传感器)都可以由半导体cmos集成工艺制造，从晶圆级别直接在图像传感器上单片集成光调制层，利用cmos工艺一次流片即可完成该芯片的制备，从而可以在晶圆级别实现单片集成，有利于减小传感器与光调制层之间的距离，缩小器件的体积，降低封装成本。
124.本实施例提供的基于微纳调制结构和图像传感器的光人工神经网冶炼终点监测芯片有以下效果：a、将人工神经网络部分嵌入至包含各种光调制层的图像传感器中，实现安全可靠、快速准确的冶炼终点控制。b、可监测样本包括但不限于转炉炼钢的终点控制，引入人工神经网训练监测冶炼炉口温度和物质元素，极易于后端工业控制系统的集成、且识别准确性高、定性分析准确。c、可以通过cmos工艺一次流片完成对该芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。d、在晶圆级别实现单片集成，可以最大
程度减小传感器与光调制层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本。
125.基于上述实施例的内容，在本实施例中，所述光调制层中的光调制结构包含规则结构和/或不规则结构；和/或，所述光调制层中的光调制结构包含离散型结构和/或连续型结构。
126.在本实施例中，所述光调制层中的光调制结构可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。
127.在本实施例中，这里光调制结构包括规则结构可以指：光调制结构包含的最小调制单元是规则的结构，如最小调制单元可以长方形、正方形和圆形等规则的图形。此外，这里光调制结构包括规则结构还可以指：光调制结构包含的最小调制单元的排布方式是规则的，如排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。此外，这里光调制结构包括规则结构还可以指：光调制结构包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。
128.在本实施例中，这里的光调制结构包括不规则结构可以指：光调制结构包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
129.在本实施例中，所述光调制层中的光调制结构可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
130.在本实施例中，这里光调制结构包括连续型结构可以指：光调制结构是由连续的调制图案构成的；这里光调制结构包括离散型结构可以指：光调制结构是由离散的调制图案构成的。
131.可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
132.可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的方形、离散的不规则多变形等)形成的调制图案。
133.在本实施例中，需要说明的是，光调制结构对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
134.基于上述实施例的内容，在本实施例中，所述光调制层为单层结构或多层结构。
135.在本实施例中，需要说明的是，所述光调制层可以为单层滤波器结构，也可以是多层滤波器结构，例如可以是两层、三层、四层等多层结构。
136.在本实施例中，如图1所示，所述光调制层1为单层结构，光调制层1的厚度与目标波长范围相关，对于波长400nm～10μm，光栅结构的厚度可以为50nm～5μm。
137.可以理解的是，由于光调制层1的作用是对入射光进行频谱调制，因此，优选折射率高、损耗小的材料制备，例如可以选择硅、锗、锗硅材料、硅的化合物、锗的化合物、iii-v族材料等进行制备，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
138.此外，需要说明的是，为在输入层和线性层之间形成更多或更复杂的连接权重，优选地，可以将所述光调制层1设置为多层结构，各层对应的光调制结构可以设置为不同的结构，从而增加光调制层对入射光的频谱调制能力，从而可以在输入层和线性层之间形成更多或更为复杂的连接权重，进而提高冶炼终点监测芯片在处理智能任务时的准确度。
139.此外，需要说明的是，对于包含多层结构的滤波器层来说，每层结构的材料可以相同，也可以不同，举例来说，对于有二层的光调制层1，第一层可以为硅层，第二层可以为氮化硅层。
140.需要说明的是，光调制层1厚度与目标波长范围相关，对于波长400nm～10μm，多层结构总的厚度可以为50nm～5μm。
141.基于上述实施例的内容，在本实施例中，所述光调制层中的光调制结构包含由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点；各个微纳单元的结构相同或不同。
142.在本实施例中，为能够获得呈阵列分布的连接权重(用于连接输入层与线性层之间的连接权重)以便于处理器进行后续的全连接与非线性激活处理，优选地，在本实施例中，光调制结构为阵列结构形式，具体地，光调制结构包括由多个微纳单元组成的单元阵列，每个微纳单元对应图像传感器上的一个或多个像素点。需要说明的是，各个微纳单元的结构可以相同，也可以不同。此外，需要说明的是，各个微纳单元的结构可以是周期的，也可以是非周期的。此外，需要说明的是，各个微纳单元还可以进一步包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同等。
143.下面结合图5～图9进行举例说明，在本实施例中，如图5所示，光调制层1包含多个重复连续或离散的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为非周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图6所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(与图5的区别在于图6中每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点；如图7所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同(且每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的一个或多个像素点，与图6的区别在于图7中的各微纳单元内周期阵列的单元形状具有四重旋转对称性；如图8所示，光调制层1包含多个微纳单元，如11、22、33、44、55、66，与图6的区别在于每个微纳单元结构互不相同，每个微纳单元对应图像传感器2上的一个或多个像素点，本实施例中光调制层1包含多个互不相同的微纳单元，也即冶炼终点监测芯片上不同区域对入射光的调制作用不同，从而提高了设计的自由度，进而也可以提升识别的准确率。如图9所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元结构相同，与图5的区别在于各微纳单元是由分立的非周期阵列结构组成的，每个微纳单元对应图像传感器2上的一个或多个像素点。
144.在本实施例中，微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的滤波器结构，使得光通过不同组的滤波器结构后，对应的透射谱不同。
145.基于上述实施例的内容，在本实施例中，所述微纳单元包含规则结构和/或不规则结构；和/或，所述微纳单元包含离散型结构和/或连续型结构。
146.在本实施例中，所述微纳单元可以只包括规则结构，也可以只包括不规则结构，还可以既包括规则结构，又包括不规则结构。
147.在本实施例中，这里微纳单元包括规则结构可以指：微纳单元包含的最小调制单元是规则的结构，如最小调制单元可以长方形、正方形和圆形等规则的图形。此外，这里微纳单元包括规则结构还可以指：微纳单元包含的最小调制单元的排布方式是规则的，如排布方式可以是规则的阵列形式、圆形形式、梯形形式、多边形形式等。此外，这里微纳单元包括规则结构还可以指：微纳单元包含的最小调制单元是规则的结构，同时最小调制单元的排布方式也是规则的等。
148.在本实施例中，这里的微纳单元包括不规则结构可以指：微纳单元包含的最小调制单元是不规则的结构，如最小调制单元可以不规则多边形、随机形状等不规则的图形。此外，这里微纳单元包括不规则结构还可以指：微纳单元包含的最小调制单元的排布方式是不规则的，如排布方式可以是不规则的多边形形式、随机排列形式等。此外，这里微纳单元包括不规则结构还可以指：微纳单元包含的最小调制单元是不规则的结构，同时最小调制单元的排布方式也是不规则的等。
149.在本实施例中，所述光调制层中的微纳单元可以包括离散型结构，也可以包括连续型结构，还可以既包括离散型结构，又包括连续型结构。
150.在本实施例中，这里微纳单元包括连续型结构可以指：微纳单元是由连续的调制图案构成的；这里微纳单元包括离散型结构可以指：微纳单元是由离散的调制图案构成的。
151.可以理解的是，这里连续的调制图案可以指直线型图案、波浪线型图案、折线型图案等等。
152.可以理解的是，这里离散的调制图案可以指由离散的图形(如离散的点、离散的三角形、离散的星形等)形成的调制图案。
153.在本实施例中，需要说明的是，不同微纳单元对不同波长的光具有不同的调制作用，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳单元，使得光通过不同组的微纳单元后，对应的透射谱不同。
154.基于上述实施例的内容，在本实施例中，所述微纳单元包含有多组微纳结构阵列，各组微纳结构阵列的结构相同或不同。
155.在本实施例中，如图5所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个不同的微纳结构阵列110、111、112和113，滤波单元44包含4个不同的微纳结构阵列440、441、442和443。如图10所示，光调制层1包含多个微纳单元，如11、22、33、44、55、66，每个微纳单元包含有多组微纳结构阵列，如微纳单元11包含4个相同的微纳结构阵列110、111、112和113。
156.需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。
157.在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组滤波结构之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
158.基于上述实施例的内容，在本实施例中，各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
159.在本实施例中，为了能够获取炼钢炉口的入射光不同波长成分的调制强度作为神经网络输入层和线性层的连接权重，通过采用不同的微纳结构阵列实现宽带滤波和窄带滤波，因此本实施例中微纳结构阵列通过对炼钢炉口的入射光进行宽带滤波或窄带滤波，获取炼钢炉口的入射光不同波长成分的调制强度。如图11和图12所示，光调制层中各组微纳结构阵列具有宽带滤波或窄带滤波的作用。
160.可以理解的是，对于各组微纳结构阵列来说，可以都具备宽带滤波作用，也可以都具备窄带滤波作用，也可以部分具备宽带滤波作用，部分具备窄带滤波作用。此外，各组微纳结构阵列的宽带滤波范围和窄带滤波范围也可以相同或不同。举例来说，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有窄带滤波作用，即只有一个(或较少个)波长的光可以通过。又如，通过设计微纳单元内各组微纳结构的周期、占空比、半径、边长等尺寸参数，使其具有宽带滤波作用，即允许较多波长或所有波长的光可以通过。
161.可以理解的是，在具体使用时，可以根据应用场景进行宽带滤波、窄带滤波或其组合的方式确定各组微纳结构阵列的滤波状态。
162.基于上述实施例的内容，在本实施例中，各组微纳结构阵列为周期结构阵列或非周期结构阵列。
163.在本实施例中，各组微纳结构阵列可以均为周期结构阵列，也可以均为非周期结构阵列，也可以部分为周期结构阵列，部分为非周期结构阵列。其中，周期结构阵列易于进行光学仿真设计，非周期结构阵列可以实现更复杂的调制作用。
164.在本实施例中，如图5所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为非周期性结构。其中，非周期性结构指微纳结构阵列上的调制孔形状按照非周期排列方式进行排布。如图5所示，微纳单元11包含4个不同的非周期结构阵列110、111、112和113，微纳单元44包含4个不同的非周期结构阵列440、441、442和443，非周期性结构的微纳结构阵列是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图6所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，与图5所不同的是，微纳结构阵列为周期性结构。其中，周期性结构指微纳结构阵列上的调制孔形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图6所示，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的滤波器结构是通过前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。如图7所示，光调制层1包含多个互不相同的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，且微纳结构阵列为周期性结构。其中，周期性结构指滤波器结构上的形状按照周期排列方式进行排布，周期的大小通常为20nm～50μm。如图7所示，微纳单元11与微纳单元12的微纳结构阵列互不相同，微纳单元11包含4个不同的周期结构阵列110、111、112和113，微纳单元44包含4个不同的周期结构阵列440、441、442和443，周期性结构的微纳结构阵列是通过
前期针对智能处理任务，由神经网络数据训练设计得到的，通常是不规则形状的结构。
165.需要说明的是，图5～图9每个微纳单元均包括四组微纳结构阵列，四组微纳结构阵列分别采用四种不同形状的调制孔形成，四组微纳结构阵列用于对入射光具有不同的调制作用。需要说明的是，这里只是以包括四组微纳结构阵列的微纳单元进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括六组、八组或其他数量组微纳结构阵列的微纳单元。在本实施例中，四种不同形状可以为圆形、十字形、正多边形和矩形(不限于此)。
166.在本实施例中，微纳单元内的每组微纳结构阵列对不同波长的光具有不同的调制作用，并且各组微纳结构阵列之间对输入光的调制作用也不同，具体的调制方式包括但不限于散射、吸收、干涉、表面等离激元、谐振增强等。通过设计不同的微纳结构阵列，使得光通过不同组的微纳结构阵列后，对应的透射谱不同。
167.基于上述实施例的内容，在本实施例中，所述微纳单元包含的多组微纳结构阵列中有一组或多组空结构。
168.下面结合图9所示例子进行举例说明，在本实施例中，如图9所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，对于任一微纳单元包含一组或多组空结构，所述空结构用于直通入射光。可以理解的是，当多组微纳结构阵列中包含有一组或多组空结构时，可以形成更为丰富的频谱调制效果，从而满足特定场景下的频谱调制需求(或满足特定场景下输入层与线性层之间的特定连接权重需求)。
169.如图9所示，每个微纳单元均包括一组微纳结构阵列和三组空结构，微纳单元11包含1个非周期结构阵列111，微纳单元22包含1个非周期结构阵列221，微纳单元33包含1个非周期结构阵列331，微纳单元44包含1个非周期结构阵列441，微纳单元55包含1个非周期结构阵列551，微纳单元66包含1个非周期结构阵列661，其中微纳结构阵列用于对入射光进行不同的调制。需要说明的是，这里只是以包括一组微纳结构阵列和三组空结构进行举例说明，并不起到限制作用，在实际应用中，还可以根据需要设置包括一组微纳结构阵列和五组空结构或其他数量组微纳结构阵列的微纳单元。在本实施例中，微纳结构阵列可以采用圆形、十字形、正多边形和矩形的调制孔制成(不限于此)。
170.需要说明的是，微纳单元包含的多组微纳结构阵列中也可以均不包含空结构，即多组微纳结构阵列可以是非周期结构阵列，也可以是周期结构阵列。
171.基于上述实施例的内容，在本实施例中，所述微纳单元具有偏振无关特性。
172.在本实施例中，由于微纳单元具有偏振无关特性，因此使得光调制层对入射光的偏振不敏感，从而实现了对入射角、偏振均不敏感的冶炼终点监测芯片。本发明实施例提供的冶炼终点监测芯片对入射光的入射角以及偏振特性不敏感，即测量结果不会受到入射光的入射角度和偏振特性的影响，从而可以保证光谱测量性能的稳定性，进而可以保证智能处理的稳定性，如智能感知的稳定性、智能识别的稳定性、智能决策的稳定性等等。需要说明的是，微纳单元也可以具有偏振相关特性。
173.基于上述实施例的内容，在本实施例中，所述微纳单元具有四重旋转对称性。
174.在本实施例中，需要说明的是，四重旋转对称性属于偏振无关特性中的一种具体
情况，通过将微纳单元设计为具有四重旋转对称性的结构，可以满足偏振无关特性的要求。
175.下面结合图7所示例子进行举例说明，在本实施例中，如图7所示，光调制层1包含多个重复的微纳单元，如11、22、33、44、55、66，每个微纳单元由多组微纳结构阵列组成，多组微纳结构阵列对应的结构互不相同，微纳结构阵列为周期性结构，与上述实施例所不同的是，每组微纳结构阵列对应的结构可为圆、十字、正多边形、矩形等具有四重旋转对称性的结构，即结构旋转90
°
、180
°
、270
°
后，与原来的结构重合，从而使得结构具有偏振无关的特性，使得在不同偏振光入射都能取得相同的智能识别效果。
176.基于上述实施例的内容，在本实施例中，所述光调制层由一层或多层滤波器层构成；
177.所述滤波器层是由半导体材料、金属材料、液晶、量子点材料、钙钛矿材料中的一种或多种制备；和/或，所述滤波器层是由光子晶体、超表面、随机结构、纳米结构、金属表面等离激元spp(surface plasmon polaritons，spp)微纳结构、可调法布里-珀罗谐振腔(fabry-perot cavity，fp腔)中的一种或多种制备的滤波器层。
178.所述半导体材料包括硅、氧化硅、氮化硅、氧化钛、按照预设比例混合的复合材料以及直接带隙化合物半导体材料中的一种或多种；和/或，所述纳米结构包括纳米点二维材料、纳米柱二维材料和纳米线二维材料中的一种或多种。
179.其中，光子晶体，以及超表面与随机结构组合可采用cmos工艺兼容，能够有较好的调制效果，微纳调制结构微孔中也可以填充其他材料做表面的平滑化处理；量子点与钙钛矿可以利用材料本身的谱调制特性使得单个调制结构的体积最小；spp体积较小，可实现偏振相关的光调制；液晶可以用电压动态调控，提升空间分辨率；可调法布里-珀罗谐振腔可以动态调控，提升空间分辨率。
180.基于上述实施例的内容，在本实施例中，所述光调制层的厚度为0.1λ～10λ，其中λ表示入射光的中心波长。
181.在本实施例中，需要说明的是，若光调制层的厚度远小于入射光的中心波长，就不能起到有效的频谱调制作用；若光调制层的厚度远大于入射光的中心波长，工艺上难以制备，并且会引入较大的光学损耗。因此，本实施例中为了减少光学损耗易于制备，并且保证有效的频谱调制作用，光调制层1中每个微纳单元的整体尺寸(面积)通常为λ2～105λ2，厚度通常为0.1λ～10λ(λ表示炼钢炉口的入射光的中心波长)。如图5所示，每个微纳单元的整体尺寸为0.5μm2～40000μm2，光调制层1中的介质材料为多晶硅，厚度为50nm～2μm。
182.基于上述实施例的内容，在本实施例中，所述图像传感器为下述中的任意一项或多项：
183.cmos图像传感器(contact image sensor，cis)、电荷耦合元件(charge coupled device，ccd)、单光子雪崩二极管(single photon avalanche diode，spad)阵列和焦平面光电图像传感器阵列。
184.在本实施例中，需要说明的是，采用晶圆级别的cmos图像传感器cis，在晶圆级别实现单片集成，可以最大程度减小图像传感器与光调制层之间的距离，有利用于缩小单元的尺寸，降低器件体积和封装成本，spad可以用于弱光探测，ccd可以用于强光探测。
185.在本实施例中，光调制层和图像传感器可以由互补金属氧化物半导体(complementary metal oxide semiconductor，cmos)集成工艺制造，有利于降低器件失效
率，提高器件的成品率并降低成本。例如，可以通过在图像传感器上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到光调制层。
186.基于上述实施例的内容，在本实施例中，所述人工神经网络的类型包括：前馈神经网络。
187.在本实施例中，前馈神经网络(feedforward neural network，fnn)，又称作深度前馈网络(deep feedforward network，dfn)、多层感知机(multi-layer perceptron，mlp)，是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。前馈神经网络结构简单，易于在硬件上实现，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数.而且可以精确实现任意有限训练样本集。前馈网络是一种静态非线性映射。通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。
188.基于上述实施例的内容，在本实施例中，所述光调制层与所述图像传感器之前设置有透光介质层。
189.在本实施例中，需要说明的是，在所述光调制层与所述图像传感器之间设置透光介质层，可以有效将光调制层与图像传感器层分开，避免两者相互干扰。
190.基于上述实施例的内容，在本实施例中，所述图像传感器为前照式，包括：自上而下设置的金属线层和光探测层，所述光调制层集成在所述金属线层远离所述光探测层的一面；或，
191.所述图像传感器为背照式，包括：自上而下设置的光探测层和金属线层，所述光调制层集成在所述光探测层远离所述金属线层的一面。
192.在本实施例中，如图13所示为前照式的图像传感器，硅探测层21在金属线层22下方，光调制层1直接集成到金属线层22上。
193.在本实施例中，与图13不同的是，图14所示为背照式的图像传感器，硅探测层21在金属线层22上方，光调制层1直接集成到硅探测层21上。
194.需要说明的是，对于背照式的图像传感器，硅探测层21在金属线层22上方，可以减少金属线层对入射光的影响，从而可以提高器件的量子效率。
195.由此可见，在本发明实施例中，将光调制层作为人工神经网络的输入层，将光调制层对入射光的滤波作用作为输入层到线性层的连接权重，将图像传感器作为人工神经网络的线性层，，本发明实施例将物体的光携带信息投影到图像传感器的光电流响应中，并在处理器中实现电信号的全连接和非线性激活，实现了低功耗、低延时和高准确率的智能感知、识别和/或决策等功能。本发明实施例中基于光滤波器和图像传感器的光人工神经网冶炼终点监测芯片有以下效果：将人工神经网络部分嵌入包含各种光调制层的图像传感器中，实现快速准确的智能感知、识别和/或决策功能。此外，本发明实施例还可以在晶圆级别实现单片集成，从而可以最大程度减小传感器与光调制层之间的距离，有利于缩小单元的尺寸，降低器件体积和封装成本。
196.基于相同的发明构思，本发明另一实施例提供了一种智能冶炼控制设备，包括：如上面实施例所述的冶炼终点监测芯片。所述智能冶炼控制设备可以包括各种与冶炼过程控制有关的设备，本实施例对此不作限定。
197.由于本实施例提供的智能冶炼控制设备包括上述实施例所述的冶炼终点监测芯片，因此，本实施例提供的智能冶炼控制设备具备上述实施例所述的冶炼终点监测芯片的全部有益效果，由于上述实施例已经对此进行了较为详尽的描述，因此本实施例不再赘述。
198.基于相同的发明构思，本发明另一实施例提供了一种如上面所述实施例的冶炼终点监测芯片的制备方法，如图15所示，具体包括如下步骤：
199.步骤1510、在所述图像传感器的感光区域的表面制备包含有光调制结构的光调制层；
200.步骤1520、生成具备对信号进行全连接处理与非线性激活处理功能的处理器；
201.步骤1530、连接所述图像传感器和所述处理器；
202.其中，所述光调制层用于通过所述光调制结构对进入至所述光调制结构不同位置点处的入射光分别进行不同的频谱调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息包括光强度分布信息、光谱信息、所述入射光的角度信息以及所述入射光的相位信息；
203.所述图像传感器用于将与不同位置点经光调制层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理器；所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到冶炼终点监测结果。
204.在本实施例中，还包括对所述光人工神经冶炼终点监测芯片的训练过程，具体包括：
205.利用与所述冶炼终点监测任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构和图像传感器的冶炼终点监测芯片以及具有不同的全连接参数的处理器进行训练得到满足训练收敛条件的光调制结构、图像传感器和处理器，并将满足训练收敛条件的光调制结构、图像传感器和处理器作为训练好的光调制结构、图像传感器和处理器。
206.可以理解的是，在对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的光人工神经冶炼终点监测芯片进行训练时，所述不同的光调制结构通过采用计算机光学仿真设计的方式设计实现。
207.可以理解的是，可以预先对终点时刻的转炉炉口图像和光谱信息进行多次采集并进行数据训练，可以设计出所需的微纳调制结构并进行制备，在芯片上实现人工神经网络的输入层和线性层。
208.在本实施例中，在所述图像传感器的感光区域的表面制备包含有光调制结构的光调制层，包括：
209.在所述图像传感器的表面生长一层或多层预设材料；
210.对所述一层或多层预设材料进行光调制结构图案的干法刻蚀，得到包含有光调制结构的光调制层；
211.或对所述一层或多层预设材料进行压印转移，得到包含有光调制结构的光调制层；
212.或通过对所述一层或多层预设材料进行外加动态调控，得到包含有光调制结构的光调制层；
213.或对所述一层或多层预设材料进行分区打印，得到包含有光调制结构的光调制
层；
214.或对所述一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光调制层；
215.或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。
216.当所述冶炼终点监测芯片用于炼钢炉口的智能处理任务时，利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数的处理器的冶炼终点监测芯片进行训练，得到满足训练收敛条件的光调制结构、图像传感器和处理器。
217.在本实施例中，需要说明的是，如图1所示，光调制层1可以通过在图像传感器2上直接生长一层或多层介质材料，再进行刻蚀，在除去用于刻蚀的牺牲层之前，沉积金属材料，最后再移除牺牲层，进行制备得到。通过设计光调制结构的尺寸参数，各个单元能够对目标范围内不同波长的光有不同的调制作用，并且该调制作用对入射角度、偏振均不敏感。光调制层1中的每个单元对应图像传感器2上一个或多个像素。1是直接在2上制备的。
218.在本实施例中，需要说明的是，如图14所示，假设图像传感器2为背照式结构，则光调制层1可以在背照式的图像传感器的硅图像传感器层21上直接刻蚀，然后再沉积金属进行制备得到。
219.此外，需要说明的是，所述光调制层上的光调制结构可以通过对一层或多层预设材料进行光调制结构图案的干法刻蚀，干法刻蚀就是直接将图像传感器感光区域表面的一层或多层预设材料中不需要的部分去除，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行压印转移，压印转移是在其它衬底上通过刻蚀制备所需的结构，再通过pdms等材料将结构转移到图像传感器的感光区域，得到包含有光调制结构的光调制层；或通过对一层或多层预设材料进行外加动态调控，外加动态调控是采用有源材料，然后外加电极通过改变电压来调控相应区域的光调制特性，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行分区打印，分区打印是分区采用打印的技术，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行分区材料生长，得到包含有光调制结构的光调制层；或对一层或多层预设材料进行量子点转移，得到包含有光调制结构的光调制层。
220.此外，需要说明的是，由于本实施例提供的制备方法是上述实施例中的冶炼终点监测芯片的制备方法，因此，关于一些原理和结构等方面的详细内容，可以参见上述实施例的介绍，本实施例对此不再赘述。
221.由此可见，本发明在硬件芯片上嵌入了人工神经网络，将硬件芯片上的光调制层作为人工神经网络的输入层，将图像传感器作为人工神经网络的线性层，将光调制层对入射光的滤波作用作为输入层到线性层的连接权重，使得后续在使用该冶炼终点监测芯片进行冶炼终点监测时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处理，可以大幅降低人工神经网络处理时的功耗和延时。本发明将炼钢炉口处不同位置点的图像信息、光谱信息、入射光的角度和入射光的相位信息投影到硬件芯片的光电流响应中，充分利用了炼钢炉口各个维度的光相关信息，从而能够实现准确的冶炼终点监测，由此可见，本技术从处理速度和准确性方面均做了改进，可快速高效地解决冶炼终点准确控制的问题。
222.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。