钢坯入炉前定位控制方法、装置、电子设备和计算机可读存储介质与流程

1.本技术涉及加热炉自动控制技术领域，具体涉及一种钢坯入炉前定位控制方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.钢坯是炼钢炉炼成的钢水经过铸造后得到的产品。钢坯从制造工艺上主要可分为两种：模铸坯和连铸坯。钢坯从外形上主要分为两种：板坯：截面宽、高的比值较大，主要用来轧制板材；方坯：截面宽、高相等，或差别不大，主要用于轧制型钢、线材。钢坯也可以被称为钢材，其通过加工后，可以用作机械零件，锻件，加工各种钢材等，线材即为钢坯的作用。进一步而言，钢坯是指用于生产钢材的半成品，一般不能被直接使用。
3.目前，钢坯在入炉前需要对其进行精确定位，使钢坯按设计的布料图进行定位排布，以满足其加热工艺要求，从而保证钢坯的出炉温度。由于加热炉炉前的温度很高，难以安装相应检测装置，因此，钢坯炉前定位工作需要通过人工判断来实现，并且在此过程中需要手动调整，这样就难以保证钢坯定位的精确性，而且容易影响装钢节奏，进而造成整个生产效率较低。


技术实现要素：

4.本技术的目的在于，本技术实施例提供一种钢坯入炉前定位控制方法、装置、电子设备和计算机可读存储介质，旨在利用机器视觉和深度学习技术，以实现对不同尺寸的钢坯入炉前的自动定位，且达到精准定位的效果。
5.根据本技术的一方面，本技术一实施例提供了一种钢坯入炉前定位控制方法，其包括：获取目标钢坯入炉前的原始图像；对所述原始图像进行图像处理，得到处理后图像；将处理后图像输入训练后网络模型中，得到目标钢坯的位置信息；基于所述目标钢坯的位置信息和预设的指定位置信息，调整用于承载所述目标钢坯的辊道运动状态，据此控制所述目标钢坯移动至指定位置。
6.可选地，在本技术的一些实施例中，在将处理后图像输入训练后网络模型的步骤之前，包括：采集样本钢坯入炉前的样本原始图像；对样本原始图像进行标定处理，得到标定后样本图像和样本钢坯的实际标签；基于标定后样本图像和实际标签，对预设网络模型进行训练，得到训练后网络模型。
7.可选地，在本技术的一些实施例中，所述对样本原始图像进行标定处理，得到标定后样本图像和样本钢坯的实际标签的步骤，包括：对标定后样本图像进行图像预处理。
8.可选地，在本技术的一些实施例中，所述基于标定后样本图像和实际标签，对预设网络模型进行训练，得到训练后网络模型的步骤，包括：初始化预设网络模型的模型参数；根据标定后样本图像生成训练样本；基于所述训练样本对预设网络模型进行训练，得到训练结果，并基于训练结果提取得到样本钢坯的预测标签；比较样本钢坯的预测标签和实际
标签，并得到比较结果；基于所述比较结果对预设网络模型的模型参数进行调整，直至预设网络模型收敛，得到训练后网络模型。
9.可选地，在本技术的一些实施例中，所述预设网络模型包括输入节点、中间节点和输出节点，其中所述输入节点用于接收训练样本，得到输入张量数据；所述输出节点用于获取输出张量数据，并据此输出训练结果；所述中间节点包括多级下采样节点和多级上采样节点；每一级下采样节点各自通过相应的残差下采样模块与后一级下采样节点连接，每一级下采样节点用于根据输入张量数据和前一级下采样节点的中间张量数据，得到本级下采样节点的中间张量数据；每一级上采样节点各自通过相应的残差上采样模块与后一级上采样节点连接，每一级上采样节点用于根据最后一级下采样节点的中间张量数据和前一级上采样节点的中间张量数据，得到本级上采样节点的中间张量数据；每一级下采样节点与相应的上采样节点跨层连接。
10.可选地，在本技术的一些实施例中，所述残差下采样模块的数量用于表征下采样级数，下采样级数的取值范围为m≤n≤n，其中n为下采样级数，m、n为下采样级数的第一阈值和第二阈值，第一阈值是根据预设网络模型的感受野而确定，第二阈值是根据预设网络模型的感受野和样本图像的大小而确定。
11.可选地，在本技术的一些实施例中，在最后一级上采样节点与输出节点之间还设有附加节点，所述附加节点的附加张量数据是基于最后一级上采样节点的中间张量数据，并执行卷积操作、归一化操作及激活函数操作中的至少一种操作而得到的。
12.可选地，在本技术的一些实施例中，所述输出节点的输出张量数据是基于附加张量数据，并执行自适应均值池化操作而得到的。
13.可选地，在本技术的一些实施例中，所述残差下采样模块包括第一分支和第二分支；所述第一分支用于对中间张量数据执行卷积操作、归一化操作、激活函数操作中的至少一种操作，以得到第一分支结果；所述第二分支为捷径通路，所述第二分支用于得到第二分支结果，以与第一分支结果进行叠加操作和激活函数操作。
14.可选地，在本技术的一些实施例中，所述残差上采样模块包括第一分支和第二分支；所述第一分支用于对中间张量数据执行卷积操作、归一化操作、激活函数操作中的至少一种操作，以得到第一分支结果；所述第二分支为捷径通路，所述第二分支用于得到第二分支结果，以与第一分支结果进行叠加操作、激活函数操作以及上采样操作。
15.可选地，在本技术的一些实施例中，所述捷径通路用于对中间张量数据进行卷积操作和归一化操作。
16.根据本技术的另一方面，本技术一实施例提供了一种钢坯入炉前定位控制装置，所述装置包括：图像获取模块，用于获取目标钢坯入炉前的原始图像；图像处理模块，用于对所述原始图像进行图像处理，得到处理后图像；信息获取模块，用于将处理后图像输入训练后网络模型中，得到目标钢坯的位置信息；以及钢坯移动模块，用于基于所述目标钢坯的位置信息和预设的指定位置信息，调整用于承载所述目标钢坯的辊道运动状态，据此控制所述目标钢坯移动至指定位置。
17.根据本技术的另一方面，本技术一实施例提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现本技术任一实施例所述的钢坯入炉前定位控制方法的步骤。
18.根据本技术的又一方面，本技术一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本技术任一实施例所述的钢坯入炉前定位控制方法的步骤。
19.本技术实施例提供了一种钢坯入炉前定位控制方法、装置、电子设备和计算机可读存储介质，通过使用机器视觉和深度学习网络模型，以实现对不同尺寸和不同类型的钢坯入炉前的自动定位，从而达到精准定位的效果。且，通过合理设计深度学习网络模型(或简称网络模型，下文相同)，可以较好地解决梯度爆炸和网络退化问题，以加速网络学习过程，进而能够提升深层网络的泛化问题。进一步地，深度学习网络模型采用5级下采样，以提升网络模型的感受野(receptive field)，而且也能够满足定位精度和实时计算的要求。
附图说明
20.下面结合附图，通过对本技术的具体实施方式详细描述，将使本技术的技术方案及其它有益效果显而易见。
21.图1为本技术一实施例提供的一种钢坯入炉前定位控制方法的场景示意图。
22.图2为本技术一实施例提供的一种钢坯入炉前定位控制方法的流程示意图。
23.图3为在实施如图2所示的钢坯入炉前定位控制方法时所采用的工业相机和光源的示意图。
24.图4为图2所示步骤s300的前序步骤的流程示意图。
25.图5为图4所示步骤s530的子步骤的流程示意图。
26.图6为在实施如图2所示的钢坯入炉前定位控制方法时所使用的深度学习网络模型的结构示意图。
27.图7为图6所示的残差下采样模块的结构示意图。
28.图8为图6所示的残差上采样模块的结构示意图。
29.图9为图7或图8所示的捷径通路的结构示意图。
30.图10为本技术一实施例提供的钢坯入炉前定位控制装置的结构框图。
31.图11为本技术另一实施例提供的钢坯入炉前定位控制装置的结构框图。
32.图12为图11所示的样本图像训练模块的结构框图。
33.图13为本技术一实施例提供的一种电子设备的结构示意图。
具体实施方式
34.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.本技术实施例提供一种钢坯入炉前定位控制方法、装置、计算机可读存储介质及电子设备。其中，钢坯入炉前定位控制装置可以集成在电子设备中，该电子设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、个人计算机(personal computer，简称pc)等终端设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云
存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容发布网络(content delivery network，简称cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
36.请参阅图1，图1为本技术一实施例提供的一种钢坯入炉前定位控制方法的场景示意图。
37.具体地，上述电子设备为服务器，该服务器可以获取目标钢坯入炉前的原始图像；对所述原始图像进行图像处理，得到处理后图像；将处理后图像输入训练后网络模型中，得到目标钢坯的位置信息；基于所述目标钢坯的位置信息和预设的指定位置信息，调整用于承载所述目标钢坯的辊道运动状态，据此控制所述目标钢坯移动至指定位置。这样，通过使用机器视觉和深度学习网络模型，可以实现对不同尺寸的钢坯入炉前的自动定位，而且能够达到精准定位的效果。
38.相应地，本技术一实施例提供了一种钢坯入炉前定位控制方法，其包括：获取目标钢坯入炉前的原始图像；对所述原始图像进行图像处理，得到处理后图像；将处理后图像输入训练后网络模型中，得到目标钢坯的位置信息；基于所述目标钢坯的位置信息和预设的指定位置信息，调整用于承载所述目标钢坯的辊道运动状态，据此控制所述目标钢坯移动至指定位置。通过上述方法的步骤实施，可以实现对不同尺寸的钢坯入炉前的精确定位，从而避免影响装钢节奏，而且提高生产效率。
39.需说明的是，本技术实施例所提供的钢坯入炉前定位控制方法涉及人工智能领域的机器视觉和深度学习。
40.所谓人工智能(artificial intelligence，简称ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换言之，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括机器视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
41.其中机器视觉技术为一种通过使用机器代替人眼来做测量和判断的技术，其通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转换成数字化信号；图像处理系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。通过使用机器视觉技术，可以提高生产的灵活性和自动化程度。尤其在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，通过使用机器视觉来替代人工视觉。同时，在大批重复性工业生成过程中，用机器视觉技术可以提高生产效率和自动化程度。
42.其中深度学习通常是一种以人工神经网络为架构，对资料进行表征学习的方法。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文
字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音数据。深度学习的好处是用监督式、非监督式或半监督式的特征学习和分层特征提取高效算法以替代人工获取特征。
43.以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
44.本技术实施例提供一种钢坯入炉前定位控制方法，该方法可以由终端或服务器执行，本技术实施例以钢坯入炉前定位控制方法由服务器执行为例来进行说明。
45.请参阅图2，图2为本技术一实施例提供的一种钢坯入炉前定位控制方法的流程示意图。该钢坯入炉前定位控制方法的具体流程可以如下：
46.步骤s100，获取目标钢坯入炉前的原始图像。
47.在此步骤中，可以通过使用工业相机对入炉前的目标钢坯进行拍摄，以得到原始图像。
48.由于加热炉炉前的温度非常高，若长期使用普通相机对入炉前的目标钢坯进行拍摄，可能会造成普通相机的受损，以至于影响其正常工作。因此，在本实施例中，使用耐温性好且拍摄性能强的工业相机来拍摄目标钢坯，并得到目标钢坯的相关图像，这样不仅不容易受到使用环境的影响，而且所拍摄的图像能够达到图像信息提取的要求。
49.结合参阅图3，图3为在实施钢坯入炉前定位控制方法时所采用的工业相机和光源的示意图。在对目标钢坯入炉前进行拍摄的过程中，需要预先设置好工业相机(下文可简称为相机)和光源。相机和光源设置在正对于入炉侧炉门的一定距离处，且相机和光源视野能够覆盖目标钢坯需要定位的范围，即目标区域。此外，当钢坯停产的时候，在钢坯经过的路线上设置标定网格，该标定网格用于指示钢坯的位置信息和预设指定点的位置信息。
50.步骤s200，对所述原始图像进行图像处理，得到处理后图像。
51.在此步骤中，图像处理可以包括图像灰度化，但也不限于图像灰度化，也可以包括图像锐化、图像降噪等。需说明的是，将在下文中进一步说明图像灰度化、图像降噪和图像锐化。
52.步骤s300，将处理后图像输入训练后网络模型中，得到目标钢坯的位置信息。
53.在此步骤中，将处理后图像输入训练后网络模型，训练后网络模型输出目标钢坯的标签，该标签包括目标钢坯的两端部的标签(即始端标签和末端标签)。接着，可以对标签进行信息提取的操作，以得到目标钢坯的位置信息。具体地，信息提取的操作可以为首先获取目标钢坯的始端标签和末端标签，然后将始端标签和末端标签投影至预设的标定网格，可以得到目标钢坯始端的位置信息和目标钢坯末端的位置信息，即目标钢坯的位置信息。进一步地，根据目标钢坯始端的位置信息和末端的位置信息，可以计算得到目标钢坯的长度信息。
54.步骤s400，基于所述目标钢坯的位置信息和预设的指定位置信息，调整用于承载所述目标钢坯的辊道运动状态，据此控制所述目标钢坯移动至指定位置。
55.根据步骤s300所得到的目标钢坯的位置信息(其包括目标钢坯始端的位置信息和末端的位置信息)以及预设的指定位置信息，可以得到两位置之间的位置偏移量。在服务器得到位置偏移量之后，可以将该位置偏移量传输至现场控制器，现场控制器据此可以控制用于承载所述目标钢坯的辊道的运动状态，例如辊道的运动速度，以0.1m/s的运动速度前
行，从而使得目标钢坯继续移动，同时持续开启工业相机，对目标钢坯和炉门进行拍摄，并且将实时得到的目标钢坯入炉前的原始图像传送至服务器，服务器通过训练后网络模型实时获得目标钢坯的位置信息。当目标钢坯移动至预设的指定位置(例如目标钢坯始端与预设的指定位置点对齐)，通过现场控制器控制辊道停止运动，从而实现了钢坯入炉前的精准定位控制，而且也避免因人工判断定位而影响装钢节奏，这样也能够提高生产效率。
56.需说明的是，在执行步骤300(即“将处理后图像输入训练后网络模型中，得到目标钢坯的位置信息”)的过程中，使用了一个网络模型。该网络模型为一种人工神经网络架构，其能够对资料进行表征学习，并输出学习结果。换言之，该网络模型也可以称为深度学习网络模型。关于该网络模型的具体结构将在下文中作进一步的描述。
57.为了提高该网络模型的学习效率，在步骤“将处理后图像输入训练后网络模型”之前，可以执行以下步骤，以训练该网络模型，并且得到训练后网络模型。
58.结合参阅图4，图4为图2所示步骤s300的前序步骤的流程示意图。在本实施例中，于步骤s300之前，所述方法可以包括：
59.步骤s510，采集样本钢坯入炉前的样本原始图像。
60.为了训练网络模型，需要采集样本。具体地，在设置好相机、光源以及其他网络设备之后，可以利用预设的样本采集程序收集现场生产过程中的实际样本图像。此外，为了使得样本具有代表性和多样性，可以在生成不同钢种时，收集一整天或更长时间所产生的大量样本图像，以满足样本的数量要求，进而能够更好地训练网络模型。此外，通过选用高质量镜头的工业相机或者使用高性能配置的硬件装置，以获得高质量的样本图像，从而满足样本的质量要求，进一步提高网络模型的训练精度。
61.步骤s520，对样本原始图像进行标定处理，得到标定后样本图像和样本钢坯的实际标签。
62.可选地，步骤s520进一步包括对标定后样本图像进行图像预处理。
63.示例性地，预处理可以包括图像灰度化。图像灰度化是将图像上的像素点设置为一种采样颜色。灰度图像通常显示为从最暗黑色至最亮白色的灰度。例如通过以下公式可以将标定后样本图像(其为彩色图像)转化灰度图像，该公式为gray＝r*0.299 g*0.587 b*0.114，其中gray表示灰度，r表示红色像素，g表示绿色像素，b表示蓝色像素。需说明的是，将彩色图像转化灰度图像的方法也不限于此。
64.这样，通过上述的图像灰度化，能够有效地实现图像的边缘处理，并且提高图像的表达性。
65.在其他部分实施例中，预处理也可以包括图像降噪(image denoising)，其也称为图像去噪。图像降噪可以采用均值滤波器、自适应维纳滤波器、中值滤波器、形态学噪声滤除器的其中一种方式以减小图像中的噪声。
66.在其他部分实施例中，预处理也可以包括图像锐化。示例性地，图像锐化为拉普拉斯算子图像锐化。在图像灰度化之后，对灰度图像进行拉普拉斯算子图像锐化，以突出图像中明显的轮廓曲线，隐去相对不明显的图像边界。拉普拉斯是一种二阶微分算子，因此其强调的是图像中灰度的突变，并不强调图像的缓慢变换区域。这样一些渐变的浅灰色边线就会变成图像轮廓的背景色。具体地，拉普拉斯锐化图像是根据图像中某个像素的周围像素到此像素的突变程度有关，也即拉普拉斯锐化图像的依据是图像像素的变化程度。一个函
数的一阶微分描述了函数图像是朝哪里变化的，即增长或者降低；而二阶微分描述的则是图像变化的速度，急剧增长下降还是平缓的增长下降。据此可以预测出依据二阶微分能够找到图像的色素的过渡程度，例如白色到黑色的过渡就是比较急剧的。或者说，当邻域中心像素灰度低于它所在的领域内其它像素的平均灰度时，此中心像素的灰度应被进一步降低，当邻域中心像素灰度高于它所在的邻域内其它像素的平均灰度时，此中心像素的灰度应被进一步提高，以此实现图像锐化。
67.需要说明的是，根据实际情况确认是否需要对标定后样本图像进行图像预处理。若无需图像预处理时，可直接将标定后样本图像(彩色图像)输入预设网络模型。若需图像预处理时，先将标定后样本图像(彩色图像)转成灰度图像，再将灰度图像输入预设网络模型。
68.继续参阅图4，步骤s530，基于标定后样本图像和实际标签，对预设网络模型进行训练，得到训练后网络模型。
69.进一步参阅图5，图5为图4所示步骤s530的子步骤的流程示意图。步骤s530进一步包括步骤s531至步骤s535。
70.步骤s531，初始化预设网络模型的模型参数。
71.步骤s532，根据标定后样本图像生成训练样本。
72.步骤s533，基于所述训练样本对预设网络模型进行训练，得到训练结果，并基于训练结果提取得到样本钢坯的预测标签。
73.在本实施例中，预设网络模型为深度学习网络模型。参阅图6，图6为在实施如图2所示的钢坯入炉前定位控制方法时所使用的深度学习网络模型的结构示意图。该深度学习网络模型包括输入节点x0、中间节点(x1～x13)和输出节点x14，其中所述输入节点x0用于接收训练样本，得到输入张量数据；所述输出节点x14用于获取输出张量数据，并据此输出训练结果；所述中间节点(x1～x13)包括多级下采样节点(x1～x6)和多级上采样节点(x7～x13)；每一级下采样节点(x1～x6)各自通过相应的残差下采样模块(c0～c5)与后一级下采样节点连接，每一级下采样节点(x1～x6)用于根据输入张量数据和前一级下采样节点的中间张量数据，得到本级下采样节点的中间张量数据；每一级上采样节点(x7～x13)各自通过相应的残差上采样模块(uc1～uc5)与后一级上采样节点连接，每一级上采样节点(x7～x13)用于根据最后一级下采样节点的中间张量数据和前一级上采样节点的中间张量数据，得到本级上采样节点的中间张量数据；每一级下采样节点(x1～x6)与相应的上采样节点(x7～x13)跨层连接。需说明的是，关于跨层连接将在下文中作进一步的描述。
74.在该网络模型中，在最后一级上采样节点与输出节点之间还设有附加节点，所述附加节点的附加张量数据是基于最后一级上采样节点的中间张量数据，并执行卷积操作、归一化操作及激活函数操作中的至少一种操作而得到的。
75.示例性地，如图6所示，可以用x0表示网络模型的输入节点，用x14表示网络模型的输出节点，以及用x1～x13表示网络模型的中间节点。输入节点x0用于接收训练样本，该训练样本为宽度w*高度h的灰度图像，并且将训练样本作为输入张量数据。输出节点x14用于在得到输出张量数据之后，据此生成并输出训练结果，该训练结果包括长度w的向量。中间节点x1～
76.x11各自得到网络模型中所产生的中间张量数据。这些中间张量数据可以用三个
维度参数来表示。三个维度参数分别是宽度、高度、通道数。示例性地，中间节点x1的三个维度参数(宽度、高度、通道数)分别设置为(w,h,4)；中间节点x2的三个维度参数(宽度、高度、通道数)分别设置为(w/2,h/2,8)；中间节点x3的三个维度参数(宽度、高度、通道数)分别设置为(w/4,h/4,16)；中间节点x4的三个维度参数(宽度、高度、通道数)分别设置为(w/8,h/8,32)；中间节点x5的三个维度参数(宽度、高度、通道数)分别设置为(w/16,h/16,64)；中间节点x6的三个维度参数(宽度、高度、通道数)分别设置为(w/32,h/32,64)；中间节点x7的三个维度参数(宽度、高度、通道数)分别设置为(w/16,h/16,128)；中间节点x8的三个维度参数(宽度、高度、通道数)分别设置为(w/8,h/8,64)；中间节点x9的三个维度参数(宽度、高度、通道数)分别设置为(w/4,h/4,32)；中间节点x10的三个维度参数(宽度、高度、通道数)分别设置为(w/2,h/2,16)；中间节点x11的三个维度参数(宽度、高度、通道数)分别设置为(w,h,8)。此外，附加节点也可以作为中间节点，因此，附加张量数据也可以用这三个维度参数(宽度、高度、通道数)来表示。示例性地，附加节点x12的三个维度参数(宽度、高度、通道数)分别设置为(w,h,8)；附加节点x13的三个维度参数(宽度、高度、通道数)分别设置为(w,h,1)。
77.其中，中间节点x1至中间节点x6用于对训练样本进行缩小图像处理，即为下采样(subsampled)或称为降采样(downsampled)，中间节点x7至中间节点用于对训练样本进行放大图像处理，即为上采样(upsampling)或称为图像插值(interpolating)。因此，中间节点x1～中间节点x6相应地为下采样节点x1～下采样节点x6；中间节点x7～中间节点x11相应地为上采样节点x7～上采样节点x11。在本实施例中，当下采样时，这两个维度参数(宽度、高度)的设置规则为成倍递减，与此同时，剩余一个维度参数(通道数)的设置规则为成倍递增；当上采样时，这两个维度参数(宽度、高度)的设置规则为成倍递增，与此同时，剩余一个维度参数(通道数)的设置规则为成倍递减。当然，在其他部分实施例中，当下采样或上采样时，三个维度参数(宽度、高度、通道数)的设置规则也可以设置为非成倍的。需说明的是，当下采样时，若减小宽度和高度，则需要增加通道数，从而能够保留足够的信息。若训练样本的数量足够多，且不考虑运算量，可以将通道数设置为非常大。而在实际操作中，训练样本可能不是很充足，或者要简化网络模型的复杂程度，因此，通道数不会任意设置。在能够保证信息损失较小的情况下，设置的通道数为相对较小，这样不仅能够保证网络模型的泛化性能，而且也能够降低网络模型的推理时间。
78.在本实施例中，每一级下采样节点与相应的上采样节点跨层连接。如图6所示，下采样节点x1与上采样节点x11跨层连接；下采样节点x2与上采样节点x10跨层连接；下采样节点x3与上采样节点x9跨层连接；下采样节点x4与上采样节点x8跨层连接；下采样节点x5与上采样节点x7跨层连接；下采样节点x6与上采样节点x7同层连接。与此同时，每一级上采样节点x7至x11依次连接。换言之，在本实施例中，网络模型采用了双向性插值上采样，这样可以使得放大后的图像质量较高。
79.进一步地，由于下采样节点与上采样节点之间为跨层连接，因此，跨层连接将下采样节点的通道数维度与上采样节点的通道数维度进行了拼接。例如，下采样节点的维度参数为(w,h,c1)，上采样节点的维度参数为(w,h,c2)，则跨层连接后上采样节点的维度参数为(w,h,(c1 c2))。
80.此外，需要说明的是，由于输出节点x14的输出张量数据为一维向量(如上文所述
的长度w的向量)，即输出张量数据中的通道数维度为1，因此，需要将与输出节点x14相连的中间节点的通道数维度设置为1。当多级上采样节点中的最后一级上采样节点与输出节点相连，则最后一级上采样节点的通道数维度设置为1，其余级上采样节点的通道数维度可以设置为递减，也可以设置为维持不变。当最后一级上采样节点与输出节点之间设置有附加节点，且附加节点中的最后一级附加节点与输出节点相连，则最后一级附加节点的通道数维度设置为1。如图6所示，作为与输出节点x14相连的最后一级附加节点x13的通道数维度设置为1。
81.结合参阅图6和图7，图7为图6所示的残差下采样模块的结构示意图。如上文所述，每一级下采样节点之间设有残差下采样模块。所述残差下采样模块(c0～c5)包括第一分支和第二分支；所述第一分支用于对中间张量数据执行卷积conv操作、归一化bn操作、激活函数relu操作中的至少一种操作，以得到第一分支结果；所述第二分支为捷径通路shortcut，所述第二分支用于得到第二分支结果，以与第一分支结果进行叠加操作和激活函数操作。如图7和图9所示，在本实施例中，所述残差下采样模块(c0～c5)包括第一分支和第二分支；所述第一分支用于对中间张量数据依次执行卷积conv操作、归一化bn操作、激活函数relu操作、卷积conv操作、归一化bn操作，以得到第一分支结果；第二分支为捷径通路shortcut，该捷径通路shortcut对中间张量数据进行卷积操作和归一化操作，以得到第二分支结果，并且与第一分支结果进行叠加操作和激活函数relu操作。其中，所述残差下采样模块(c0～c5)的第一分支在执行卷积conv操作时，卷积运算为3乘3的卷积核，步长为1，填充为1。所述残差下采样模块(c0～c5)的第二分支，即捷径通路shortcut在执行卷积conv操作时，卷积运算为1乘1的卷积核，步长为根据是否下采样而确定的，例如介于输入节点x0与第一级下采样节点x1之间的残差下采样模块c0中的捷径通路的卷积步长为1，表示不进行下采样，而其余下采样节点(x1～x6)之间的残差下采样模块(c1～c5)中的捷径通路shortcut的卷积步长为2，表示进行下采样。当然卷积步长也可以设为其他值，例如为3，4，5等等，这样也可以将中间张量数据的宽度维度和高度维度迅速下降，以便于降低运算量和网络模型的复杂度。需要说明的是，每一级下采样节点之间的残差下采样模块在执行激活函数relu操作时，其激活函数relu参数设置为相同。而该些残差下采样模块各自在执行卷积conv操作、归一化bn操作时，其卷积参数和归一化参数可以设置为相同或不同，以满足参数学习的要求。
82.进一步地，所述残差下采样模块(c0～c5)的数量可以表征(或称反映)下采样级数。在本实施例中，所述残差下采样模块(c0～c5)的数量为6，除了输入节点x1与第一级下采样节点x1之间的一个残差下采样模块c0不进行下采样，其余下采样节点之间的残差下采样模块(c1～c5)均进行下采样，即反映出下采样级数为5。由于图像中的目标(此处为钢坯)较大，因此需要提升网络模型的感受野，以使得网络模型能够提取钢坯的全局结构信息。有鉴于此，需要将下采样次数设置为相对较多。当设置下采样级数为5级，这样不仅能够满足钢坯的定位精度，而且也能够满足网络模型实时计算的要求。当然，在其他部分实施例中，所述残差下采样模块的数量也可以为其他值，例如大于或等于4，且小于或等于8；相应地，下采样级数为大于或等于3，且小于或等于7。需说明的是，下采样级数的取值范围可以为m≤n≤n，其中n为下采样级数，m、n为下采样级数的第一阈值和第二阈值，第一阈值是根据预设网络模型的感受野而确定的，第二阈值是根据预设网络模型的感受野和样本图像的大小而确定的。
83.结合参阅图6和图8，图8为图6所示的残差上采样模块的结构示意图。继续如上文所述，每一级上采样节点之间设有残差上采样模块(uc1～
84.uc5)。所述残差上采样模块(uc1～uc5)包括第一分支和第二分支；所述第一分支用于对中间张量数据执行卷积conv操作、归一化bn操作、激活函数relu操作中的至少一种操作，以得到第一分支结果；所述第二分支为捷径通路shortcut，所述第二分支用于得到第二分支结果，以与第一分支结果进行叠加操作、激活函数relu操作以及上采样upsample操作。如图8和图9所示，在本实施例中，所述残差上采样模块(uc1～uc5)包括第一分支和第二分支；第一分支用于对中间张量数据依次执行卷积conv操作、归一化bn操作、激活函数relu操作、卷积conv操作和归一化bn操作，以得到第一分支结果；所述第二分支为捷径通路shortcut，该捷径通路shortcut对中间张量数据进行卷积conv操作和归一化bn操作，以得到第二分支结果，以与第一分支结果进行叠加操作、激活函数relu操作以及上采样upsample操作。其中，所述残差上采样模块(uc1～uc5)的第二分支，即捷径通路shortcut在执行卷积conv操作时，步长为1。
85.本实施例的网络模型采用了残差模块(包括残差下采样模块和残差上采样模块)，因此，相较于传统使用的卷积模块，残差模块能够较好地解决梯度爆炸和网络退化问题，而且在加速网络学习的过程中，进一步提升网络模型的泛化特性。
86.继续参阅图6，如上文所述，在最后一级上采样节点x11与输出节点x14之间还设有附加节点(x12、x13)。在本实施例中，附加节点x12与最后一级上采样节点x11连接，附加节点x13分别与附加节点x12和输出节点x14相连。其中，附加节点x11的附加张量数据是基于最后一级上采样节点的中间张量数据，并通过执行卷积conv操作、归一化bn操作和激活函数relu操作中的任意一个操作而得到的。附加节点x12的附加张量数据是基于附加节点x11的附加张量数据，并通过执行卷积conv操作和激活函数relu操作中的任意一个操作而得到的。最后一级上采样节点x11和附加节点x12各自在执行卷积操作时，卷积运算为3乘3的卷积核，步长为1，填充为1。需说明的是，上述中间节点(包括下采样节点、上采样节点和附加节点)在执行卷积操作时，其输入输出通道数均为根据输出节点x14的通道数维度而确定的。
87.继续如上文所述，输出节点x14用于得到输出张量数据。在本实施例中，该输出张量数据是基于附加节点x13的附加张量数据，并执行自适应均值池化ap操作而得到的。其中，自适应均值池化操作ap是指将w乘h的数据求均值(具体地，沿列方向求均值)，以得到w乘1的目标输出。由于钢坯入炉前定位控制的本质为在水平方向上的分割任务，亦即，网络模型的输出节点输出一维信号，因此，需要在输出节点之前执行自适应均值池化操作(该操作可以由自适应均值池化层完成)，即将网络模型的中间输出信号投影至水平方向，作为网络模型的水平方向上最终分割结果。此外，在本实施例中，输出节点还执行均方误差损失loss操作，以减小误差，而且还提高了目标输出的精确度。
88.需说明的是，为了要确定训练样本中的钢坯所在位置，且仅需确定钢坯的纵向位置，无需确定钢坯的横向位置，因此，网络模型的输出节点输出训练结果，该训练结果为一维信号。示例性地，该一维信号可以包括长度为w的输出向量。这样，该输出向量的长度与输入至网络模型的灰度图像的宽度为相同，且纵向方向上为一一对应。进一步地，判断该输出向量中大于预设值的区域位置，当判定某一区域位置所对应的值大于预设值时，则将所述
区域位置的左右两端位置(即预测标签)记作为样本钢坯的两端位置。其中上述的预设值与样本钢坯有关，用于表征样本钢坯。当然，该一维信号也可以包括长度不是w的输出向量。在得到该输出向量之后，执行线性映射操作。具体地，将输出向量中表示样本钢坯的两端位置映射至样本原始图像中的纵向位置。即样本原始图像长度w1除以输出向量w2得到系数w，然后将该系数w乘以输出向量中得到的所述区域位置的左右两端位置，于是可以得到样本原始图像中的样本钢坯的位置。
89.除了使用如本实施例步骤s532中的预设网络模型，以得到训练结果(其包括样本钢坯的预测标签)之外，也可以通过使用其他人工神经网络模型来实现“基于训练样本对预设网络模型进行训练，得到训练结果(其包括样本钢坯的预测标签)”。示例性地，其他人工神经网络模型可以为alexnet网络模型、vggnet网络模型及resnet网络模型。
90.具体地，alexnet网络模型的网络结构包括多个卷积阶段和全连接阶段。在卷积阶段，alexnet网络模型除了使用卷积之外，还采用了relu激活函数，relu(x)＝max(x,0)，以及lrn局部响应归一化，借鉴侧抑制的思想实现局部抑制，使得响应比较大的值相对更大，提高了网络模型的泛化能力。lrn只对数据相邻区域做归一化处理，不改变数据的大小和维度。此外，alexnet网络模型还应用了overlapping(重叠池化)，重叠池化即为池化操作在部分像素上有重合。池化核大小是n
×
n，步长是k，如果k＝n，则是正常池化，如果k《n，则是重叠池化。而在全连接阶段，alexnet网络模型引入dropout的功能。dropout是指在网络模型的训练过程中，对于神经网络单元，按照一定的概率(一般是50％，这种情况下随机生成的网络结构最多)将其暂时从网络中丢弃(保留其权值)，不再对前向和反向传输的数据响应。dropout可以有效防止网络模型过拟合，让网络泛化能力更强，同时由于减少了网络模型的复杂度，加快了运算速度。
91.具体地，vggnet网络模型的网络结构对输入的图片进行多次的卷积操作、最大化池化以及激活函数操作，并且进行全连接操作。通过使用全连接操作，可以方便对输出进行灵活调整。
92.具体地，resnet网络模型的网络结构包括直连通道。例如，在resnet网络结构中会用到两种残差模块，一种是以两个3
×
3的卷积网络串接在一起作为一个残差模块，另外一种是1
×
1、3
×
3、1
×
1的3个卷积网络串接在一起作为一个残差模块。resnet有不同的网络层数，比较常用的是50-layer，101-layer，152-layer。它们都是由上述的残差模块堆叠在一起实现的。通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的部分，从而简化学习目标和难度。
93.继续参阅图5所示，步骤s534，比较样本钢坯的预测标签和实际标签，并得到比较结果。
94.在基于训练样本对预设网络模型进行训练，得到训练结果，并基于训练结果提取得到样本钢坯的预测标签的步骤完成之后，可以比较样本钢坯的预测标签和实际标签。具体的比较方式可以为计算实际标签与预测标签之间的误差。通过计算两者的误差，以得到误差值。进一步地，判断该误差值是否在预设范围内，当判定该误差值超出预设范围时，则执行下述步骤s535。
95.步骤s535，基于所述比较结果对预设网络模型的模型参数进行调整，直至预设网络模型收敛，得到训练后网络模型。
96.基于比较结果(即上述所得到的误差值)，并且通过梯度下降算法对预设网络模型的模型参数进行调整，直至预测标签和实际标签趋向重合(即预测值趋向于实际值)，此时预设网络模型收敛，并得到训练后网络模型。需说明的是，梯度下降算法具有实现简单、通用性强、效果好的特点。当然，在其他实施例中，也可以使用粒子群、模拟退火、替代优先等方法以实现对预设网络模型的模型参数进行调整。当网络模型所输出的预测值越趋向于实际值时，亦即，误差值越小，则越能够提高网络模型的训练精度。这样，训练后网络模型能够满足实现钢坯精准定位的需求。
97.本技术所述钢坯入炉前定位控制方法通过上述方法的步骤实施，从而实现对不同尺寸的钢坯入炉前的精准定位控制，而且也避免因人工判断定位而影响装钢节奏，这样也能够提高生产效率。
98.为便于更好地实施本技术实施例提供的钢坯入炉前定位控制方法，本技术实施例还提供一种基于上述钢坯入炉前定位控制方法的钢坯入炉前定位控制装置。其中名词的含义与上述钢坯入炉前定位控制方法中的含义相同，具体实现细节可以参考方法实施例中的说明。
99.请参阅图11，图11为本技术一实施例提供的钢坯入炉前定位控制装置的结构框图，该装置包括：图像获取模块1100、图像处理模块1200、信息获取模块1300和钢坯移动模块1400。
100.图像获取模块1100，用于获取目标钢坯入炉前的原始图像。
101.例如，图像获取模块1100具体可以用于获取目标钢坯入炉前的原始图像。该原始图像可以通过使用工业相机拍摄而获得。
102.图像处理模块1200，用于对所述原始图像进行图像处理，得到处理后图像。
103.例如，图像处理模块1200具体可以用于对原始图像进行图像处理，例如图像灰度处理，但也不限于图像灰度处理，也可以包括图像锐化、图像降噪等。
104.信息获取模块1300，用于将处理后图像输入训练后网络模型中，得到目标钢坯的位置信息。
105.例如，信息获取模块1300具体可以用于将处理后图像输入训练后网络模型，训练后网络模型输出目标钢坯的标签，该标签包括目标钢坯的两端部的标签(即始端标签和末端标签)。接着，可以对标签进行信息提取的操作，以得到目标钢坯的位置信息。具体地，信息提取的操作可以为首先获取目标钢坯的始端标签和末端标签，然后将始端标签和末端标签投影至预设的标定网格，可以得到目标钢坯始端的位置信息和目标钢坯末端的位置信息，即目标钢坯的位置信息。进一步地，根据目标钢坯始端的位置信息和末端的位置信息，可以计算得到目标钢坯的长度信息。
106.钢坯移动模块1400，用于基于所述目标钢坯的位置信息和预设的指定位置信息，调整用于承载所述目标钢坯的辊道运动状态，据此控制所述目标钢坯移动至指定位置。
107.例如，钢坯移动模块1400具体可以用于根据信息获取模块1300所得到的目标钢坯的位置信息以及预设的指定位置信息，得到两位置之间的位置偏移量，并且将该位置偏移量传输至现场控制器，现场控制器可以控制用于承载所述目标钢坯的辊道的运动状态，并且通过现场控制器的控制，使得目标钢坯移动至指定位置。
108.本技术钢坯入炉前定位控制装置1000通过上述模块的配合使用，可以实现对不同
尺寸的钢坯入炉前的精准定位控制，而且也避免因人工判断定位而影响装钢节奏，这样也能够提高生产效率。
109.参阅图12，图12为本技术另一实施例提供的钢坯入炉前定位控制装置1000的结构框图。在本技术的另一实施例中，所述装置1000除了包括上述实施例中的图像获取模块1100、图像处理模块1200、信息获取模块1300、钢坯移动模块1400，还可以包括：样本图像采集模块1500、样本图像标定模块1600和样本图像训练模块1700。其中，样本图像采集模块1500、样本图像标定模块1600和样本图像训练模块1700依次连接，样本图像训练模块1700与信息获取模块1300连接。
110.样本图像采集模块1500，用于采集样本钢坯入炉前的样本原始图像。
111.例如，样本图像采集模块1500具体可以用于在生成不同钢种时，收集一整天或更长时间所产生的大量样本图像，以满足样本的数量要求，进而能够更好地训练网络模型。需说明的是，样本图像采集模块1500可以通过预设好的相机、光源和其他网络设备来获得现场生产过程中的实际样本图像，其中相机可以选用高质量镜头，网络设备可以使用高性能配置的硬件，从而使样本图像采集模块1500获得高质量的样本图像，以满足样本的质量要求，进一步提高网络模型的训练精度。
112.样本图像标定模块1600，用于对样本原始图像进行标定处理，得到标定后样本图像和样本钢坯的实际标签。在本技术进一步实施例中，所述样本图像标定模块1600还可以用于对标定后样本图像进行图像预处理。预处理可以包括图像灰度化。图像灰度化是将图像上的像素点设置为一种采样颜色。例如通过以下公式可以将标定后样本图像(其为彩色图像)转化灰度图像。该公式为gray＝r*0.299 g*0.587 b*0.114,其中gray表示灰度，r表示红色像素，g表示绿色像素，b表示蓝色像素。这样，通过对标定后样本图像的图像预处理，有效地实现图像的边缘处理，并且提高图像的表达性。此外，预处理也可以包括图像降噪和图像锐化。示例性地，图像锐化为拉普拉斯算子图像锐化。在图像灰度化之后，对灰度图像进行拉普拉斯算子图像锐化，以突出图像中明显的轮廓曲线，隐去相对不明显的图像边界。具体地，拉普拉斯锐化图像是根据图像中某个像素的周围像素到此像素的突变程度有关，也即拉普拉斯锐化图像的依据是图像像素的变化程度。
113.继续参阅图11，样本图像训练模块1700，用于基于标定后样本图像和实际标签，对预设网络模型进行训练，得到训练后网络模型。结合参阅图12，图12为图11所示的样本图像训练模块的结构框图。在本技术进一步实施例中，所述样本图像训练模块1700可以包括：模型参数初始化单元1710、训练样本生成单元1720、标签信息获得单元1730、标签信息比较单元1740和模型参数调整单元1750。
114.模型参数初始化单元1710，用于初始化预设网络模型的模型参数。
115.训练样本生成单元1720，用于根据标定后样本图像生成训练样本。
116.标签信息获得单元1730，用于基于所述训练样本对预设网络模型进行训练，得到训练结果，并基于训练结果提取得到样本钢坯的预测标签。其中，预设网络模型为深度学习网络模型。该深度学习网络模型包括输入节点、中间节点和输出节点，其中所述输入节点用于接收训练样本，得到输入张量数据；所述输出节点用于获取输出张量数据，并据此输出训练结果，其中该训练结果包括样本钢坯的预测标签。
117.标签信息比较单元1740，比较样本钢坯的预测标签和实际标签，并得到比较结果。
具体地，该标签信息比较单元1740可以用于计算实际标签与预测标签两者之间的误差，并且得到误差值。进一步地，判断该误差值是否在预设范围内，当判定该误差值超出预设范围时，调用模型参数调整单元。
118.模型参数调整单元1750，基于所述比较结果对预设网络模型的模型参数进行调整，直至预设网络模型收敛，得到训练后网络模型。具体地，该单元基于比较结果，可以通过梯度下降算法对预设网络模型的模型参数进行调整，直至预测标签和实际标签趋向重合(即预测值趋向于实际值)，此时预设网络模型收敛，并得到训练后网络模型。当网络模型所输出的预测值越趋向于实际值时，亦即，误差值越小，则越能够提高网络模型的训练精度。这样，训练后网络模型能够满足实现钢坯精准定位的需求。
119.本技术所述钢坯入炉前定位控制装置1000通过上述模块或单元(包括子单元)的配合使用，可以实现对不同尺寸的钢坯入炉前的精准定位控制，而且也避免因人工判断定位而影响装钢节奏，这样也能够提高生产效率。
120.此外，在本技术一实施例中，还提供了一种电子设备5000，如图13所示。该电子设备5000可以包括至少一个处理器5100和至少一个存储器5200。本领域技术人员可以理解，图13中所示出的电子设备5000并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
121.处理器5100是电子设备5000的控制中心，通过运行或执行存储在存储器5200内的软件程序和/或模块，以及调用存储在存储器5200内的数据，执行电子设备5000的各种功能和处理数据，从而对电子设备5000进行整体监控。可选的，处理器5100可包括一个或多个处理核心；优选的，处理器5100可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器5100中。
122.存储器5200可用于存储软件程序以及模块，处理器5100通过运行存储在存储器5200的软件程序以及模块，从而执行各种功能应用以及数据处理，以实现各种功能，具体如下：
123.获取目标钢坯入炉前的原始图像；
124.对所述原始图像进行图像处理，得到处理后图像；
125.将处理后图像输入训练后网络模型中，得到目标钢坯的位置信息；以及
126.基于所述目标钢坯的位置信息和预设的指定位置信息，调整用于承载所述目标钢坯的辊道运动状态，据此控制所述目标钢坯移动至指定位置。
127.本领域普通技术人员可以理解，上述实施例所述方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器5100进行加载和执行。
128.为此，本技术实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本技术任一实施例所提供的一种钢坯入炉前定位控制方法中的步骤。例如，该计算机程序可以执行如下步骤：
129.获取目标钢坯入炉前的原始图像；
130.对所述原始图像进行图像处理，得到处理后图像；
131.将处理后图像输入训练后网络模型中，得到目标钢坯的位置信息；以及
132.基于所述目标钢坯的位置信息和预设的指定位置信息，调整用于承载所述目标钢坯的辊道运动状态，据此控制所述目标钢坯移动至指定位置。
133.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
134.由于该计算机可读存储介质中所存储的指令，可以执行本技术任一实施例所提供的一种钢坯入炉前定位控制方法中的步骤，因此，可以实现本技术任一实施例所提供的一种钢坯入炉前定位控制方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
135.以上对本技术实施例所提供的一种钢坯入炉前定位控制方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例的技术方案的范围。