骨科耗材信息识别方法、装置、设备和介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及骨科耗材信息识别方法、装置、设备和介质。


背景技术：

2.骨科耗材包括骨钉或接骨板等骨科器械，骨科耗材的种类复杂多样、并且骨科耗材通常由植入类耗材与配套器械组成，容易识别错误，现有识别方法多是人工识别验收与统计，效率较低。


技术实现要素：

3.本发明实施例提供了一种骨科耗材信息识别方法、装置、设备和介质，解决了骨科耗材人工识别效率低的问题，实现自动化、智能化骨科耗材识别，提高了骨科耗材信息识别的准确率和效率，有利于对骨科耗材进行管理。
4.第一方面，本发明实施例提供了一种骨科耗材信息识别方法，该方法包括：
5.获取待识别骨科耗材的原始图像，并将原始图像输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息；
6.基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像；
7.通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容。
8.第二方面，本发明实施例还提供了一种骨科耗材信息识别装置，该装置包括：
9.信息定位模块，用于获取待识别骨科耗材的原始图像，并将原始图像输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息；
10.图像转换模块，用于基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像；
11.信息识别模块，用于通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容。
12.第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
13.一个或多个处理器；
14.存储器，用于存储一个或多个程序；
15.当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任一实施例所提供的骨科耗材信息识别方法。
16.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所提供的骨科耗材信息识别方法。
17.本发明实施例的技术方案，通过获取待识别骨科耗材的原始图像，并将原始图像
输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息；基于轮廓信息和位置标记信息，将原始图像中包含有所述目标识别信息的非矩形区域局部图像转换为矩形区域图像；通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容。本发明实施例的技术方案，解决了骨科耗材人工识别效率低的问题，实现自动化、智能化骨科耗材识别，提高了骨科耗材信息识别的准确率和效率，有利于对骨科耗材进行管理。
附图说明
18.图1是本发明实施例提供的一种骨科耗材信息识别方法的流程图；
19.图2是本发明实施例提供的又一种骨科耗材信息识别方法的流程图；
20.图3是本发明实施例提供的另一种骨科耗材信息识别方法的流程图；
21.图4是一种骨科耗材信息识别方法的流程图；
22.图5是一种骨科耗材的图像；
23.图6是本发明实施例提供的一种骨科耗材信息识别装置的结构框图；
24.图7是本发明实施例提供的一种计算机设备的结构框图。
具体实施方式
25.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
26.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“原始”和“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
27.图1是本发明实施例提供的一种骨科耗材信息识别方法的流程图，本实施例可适用于骨科耗材信息识别的场景中，特别的，本实施例更适用于同种类型骨钉型号识别的情况。该方法可以由骨科耗材信息识别装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
28.如图1所示，本实施例的骨科耗材信息识别方法包括以下步骤：
29.s110、获取待识别骨科耗材的原始图像，并将原始图像输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息。
30.其中，原始图像中包括待识别骨科耗材的轮廓信息和目标识别信息。
31.轮廓信息是待识别骨科耗材的外部边缘轮廓图像或外部边缘轮廓线的坐标等用于确定骨科耗材轮廓的位置的信息。
32.目标识别信息为待识别骨科耗材的型号等用于确定骨科耗材规格的信息。
33.位置标记信息为待识别骨科耗材的目标识别信息的起始位置对应的标记点，例如，可以是同一类骨科耗材的型号的第一位数字或字母之前的同一类标记的图像对应的坐标或任何可以用于确定该标记的图像在原始图像中位置的信息。
34.swin transformer模型采取层次化的设计进行特征提取，然后合并各层级的图像块特征来构建分层特征图。swin transformer模型一共包含4个图像分割层，每个图像分割层划分为多个图像块，每个层级都会缩小输入特征图的分辨率，随着层级的加深，图像块的数量会逐渐减少并且每个图像块的感知范围会扩大，便于进行多尺度特征提取。
35.具体的，可以基于人工标记的骨科耗材的轮廓信息和目标识别信息的位置标记对swin transformer模型进行预训练，将待识别骨科耗材的原始图像输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息。
36.s120、基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像。
37.可以理解的是，为了完成骨科耗材信息识别，需要通过ocr(optical character recognition，光学字符识别)分析算法对骨科耗材进行识别。ocr分析算法是对矩形区域的图像进行识别的，因此需要将原始图像中包含有目标识别信息的非矩形区域局部图像转换为对应的矩形区域图像。
38.具体的，需要基于待识别骨科耗材的外部边缘轮廓线的坐标等用于确定骨科耗材轮廓的位置的信息，确定外部边缘轮廓线的中心为待识别骨科耗材的圆心，圆心和目标识别信息的起始位置对应的标记点的连线为半径，以圆心为原点，水平向右的轴为极轴建立极坐标系，通过极坐标系和直角坐标系的对应关系，以目标识别信息的起始位置对应的标记点为起点，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为对应的矩形区域图像。
39.s130、通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容。
40.ocr分析算法是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，用字符识别方法将形状翻译成计算机文字的过程。具体的，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。
41.具体的，ocr分析算法的实现主要包括以下步骤：
42.1、图像输入：对于不同的图像格式有对应的存储格式和压缩方式。
43.2、图像预处理：主要包括二值化，噪声去除、字符切割和倾斜较正等方法。
44.二值化：输入的骨科耗材的原始图像是彩色图像，为了加快识别速度，提高识别效率，对于彩色图像的内容，可以将图像分为前景与背景，对应的图像只包括前景信息与背景信息，可以定义前景信息为黑色，背景信息为白色，完成二值化。
45.常用的噪声去除方法是：使用一个一维的离散微分模板在一个方向上或者同时在水平和垂直两个方向上对骨科耗材的原始图像进行处理。
46.字符切割：用于解决骨科耗材的原始图像造成的字符粘连的问题，需要ocr分析算法进行字符切割，将原始图像中的字符切割成单个字符的图像。
47.倾斜校正：用于解决原始图像倾斜的问题，需要在字符识别之前进行倾斜校正，校正原始图像的方向。
48.3、字符识别：可以通过模板匹配或者特征提取进行字符识别。
49.使用模板匹配进行字符识别：首先，制作字符模板，模板的要求是与要识别的字符的字体格式一致；然后，进行字符模板归一化，使用小模板识别可以提升运算速度；最后，进行字符识别，将待识别字符与字符模板做同样的归一化处理，遍历与字符模板比较，先将待识别字符和字符模板作差，然后计算作差后的图像的总像素值，与设定的字符阈值比较，如果小于设定的字符阈值，则表示该待识别字符和该模板是同一个字符。
50.在本实施例中，采取了特征提取的方式进行字符识别，具体包括如下过程：
51.(1)、进行文本检测：主要有基于回归和基于分割这两类算法。例如，可以是基于回归的算法：east(efficient and accuracy scene text，高效而准确的场景文本检测)算法和textboxes算法等算法、或基于分割的dbnet算法、pan算法和fcenet算法等算法。
52.(2)、进行文字识别：主要有crnn(convolutional recurrent neural network，卷积循环神经网络)算法、resnet算法、mobilenet算法和vgg算法等。
53.具体的，级联光学字符识别分析算法将各个预设算法级联起来，例如，可以是文本检测算法、倾斜校正算法和字符识别算法级联起来，对矩形区域图像进行识别，得到目标识别信息的信息内容，完成字符识别，提高骨科耗材信息识别的准确率。
54.本发明实施例的技术方案，通过获取待识别骨科耗材的原始图像，并将原始图像输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息；基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像；通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容。本发明实施例的技术方案，解决了骨科耗材人工识别效率低的问题，实现自动化、智能化骨科耗材识别，提高了骨科耗材信息识别的准确率和效率，有利于对骨科耗材进行管理。
55.图2是本发明实施例提供的又一种骨科耗材信息识别方法的流程图，本实施例与上述实施例中的骨科耗材信息识别方法属于同一个发明构思，在上述实施例的基础上进一步的描述了得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息的过程，该方法可以由骨科耗材信息识别装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
56.如图2所示，本实施例的骨科耗材信息识别方法包括以下步骤：
57.s210、获取待识别骨科耗材的原始图像，基于图像生成待识别图像向量。
58.具体的，获取待识别骨科耗材的原始图像，将原始图像输入至基于三元损失函数训练得到的facenet中，得到预设维度的待识别图像向量。
59.其中，facenet网络由一个批处理输入层和一个深度cnn(convolutional neural networks，卷积神经网络)组成，然后进行l2范数归一化，即向量中每个元素除以向量的l2范数，最后进行特征嵌入(embedding)，形成一个128维向量。
60.s220、将待识别图像向量与预设向量数据库中图像向量信息进行匹配。
61.其中，图像向量信息为各个骨科耗材的原始图像对应的图像向量。
62.预设向量库中包括各个骨科耗材的原始图像、对应的图像向量信息和对应的目标
识别信息的信息内容。
63.将待识别图像向量与预设向量数据库中的图像向量信息进行匹配，同时计算待识别图像向量和预设向量数据库中的所有向量之间的欧式距离，设置对应的匹配阈值；使用三元损失函数对进行相似度评价，使得同一目标在欧氏空间中的距离较近，而不同目标在欧式空间中的距离较远，因此当欧式距离小于匹配阈值，则认为两个目标是同一目标，向量信息匹配成功，作为向量信息匹配结果输出；当欧式距离大于匹配阈值，则认为两个目标不是同一目标，向量信息匹配失败，作为向量信息匹配结果输出。
64.s230、根据向量信息匹配结果确定是否将图像输入到经过预训练的swin transformer模型中。
65.具体的，若向量信息匹配成功，表明预设向量数据库中有该待识别骨科耗材的目标识别信息的信息内容，不将该待识别骨科耗材的原始图像输入到经过预训练的swin transformer模型中，而是从该预设向量数据库中读取与预设向量数据库中的向量对应的目标识别信息的信息内容，与该待识别骨科耗材的原始图像和该原始图像对应的向量存入预设向量数据库，完成识别；若向量信息匹配失败，表明预设向量数据库中没有该待识别骨科耗材的目标识别信息的信息内容，则将图像输入到经过预训练的swin transformer模型中，继续进行骨科耗材的目标识别信息的信息内容的识别。
66.s240、将原始图像输入到经过预训练的swin transformer模型中，由swin transformer模型的图像分割层对图像进行切分，得到多个图像块。
67.具体的，swin transformer模型通过层次化地特征提取，然后合并各层级的图像块特征来构建分层特征图。swin transformer模型一共包含4个图像分割层，每个图像分割层划分为多个图像块，每个层级都会缩小输入特征图的分辨率，随着层级的加深，图像块的数量会逐渐减少并且每个图像块的感知范围会扩大，便于进行特征提取，降低了计算复杂度，提高了骨科耗材信息识别的效率。
68.进一步的，针对每一个swin transformer块级联结构，在首个swin transformer块前设置有图像块融合层，以进行多图像块特征的融合。
69.具体的，swin transformer模型采取层次化的设计进行特征提取，首个swin transformer块前设置有图像块融合层，用于将多图像块的特征进行融合，实现各层级的图像块特征的合并。
70.s250、将多个图像块输入到swin transformer模型的线性嵌入层，进行图像块编码。
71.swin transformer模型一共包含4个图像分割层，每个图像分割层包括两个部分：线性嵌入层和swin transformer块级联结构。
72.线性嵌入层即全连接层，进行类似于池化的操作。池化实际上是一种形式的降采样，池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。但是池化会损失信息，线性嵌入层不会损失信息。随着网络的加深，每个图像分割层都会改变张量的维度，从而形成一种层次化的表征。
73.全连接层的每一个神经元都与上一层的所有神经元相连，用于把前边提取到的特征综合起来作为图像块的编码结果，完成图像块的编码。
74.s260、将图像块的编码结果输入到swin transformer块级联结构中进行特征提
取，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息。
75.将图像块的编码结果输入到swin transformer块级联结构中进行特征提取。swin transformer模型中注意力的计算是通过滑窗进行图像块编码，在窗口内不以像素点为基本单位计算注意力，在窗口移动的过程中，将注意力计算限制在一个窗口中，下一个窗口的自注意力经过了当前窗口的边界，实现了窗口之间的联系，对待识别骨科耗材的原始图像中的轮廓和目标识别信息的位置标记进行特征提取，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息。
76.s270、基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像。
77.s280、通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容。
78.本发明实施例的技术方案，通过获取待识别骨科耗材的原始图像，并将原始图像输入到经过预训练的swin transformer模型中，由swin transformer模型的图像分割层对图像进行切分，得到多个图像块，将多个图像块输入到swin transformer模型的线性嵌入层，进行图像块编码，将图像块的编码结果输入到swin transformer块级联结构中进行特征提取，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息，基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像，通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容。本发明实施例的技术方案，通过swin transformer模型进行特征提取，解决了骨科耗材人工识别效率低的问题，实现自动化、智能化骨科耗材识别，进一步提高了骨科耗材信息识别的准确率和效率，有利于对骨科耗材进行管理。
79.图3是本发明实施例提供的另一种骨科耗材信息识别方法的流程图，本实施例与上述实施例中的骨科耗材信息识别方法属于同一个发明构思，在上述实施例的基础上进一步的描述了通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容的过程。该方法可以由骨科耗材信息识别装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
80.如图3所示，骨科耗材信息识别方法包括以下步骤：
81.s310、获取待识别骨科耗材的原始图像，并将原始图像输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息。
82.s320、基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像。
83.进一步的，基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像，包括以下步骤：
84.首先，根据轮廓信息确定待识别骨科耗材的圆心和半径。
85.具体的，轮廓信息中待识别骨科耗材的外部边缘轮廓线的中心点为待识别骨科耗材的圆心，圆心到待识别骨科耗材的目标识别信息的起始位置的标记的距离为待识别骨科耗材的半径。
86.其次，计算经过位置标记信息对应的标记点和圆心的直线，在以圆心为原点、以原始图像中水平向右的轴为极轴的极坐标系的极角。
87.具体的，以圆心为原点、以原始图像中水平向右的轴为极轴建立极坐标系，连接圆心和标记点，计算连接圆心和标记点的直线与在该极坐标系中的极角的角度。
88.然后，以标记点为起点、以极角为起始角度，提取原始图像中包含有目标识别信息的环形区域图像。
89.具体的，以标记点作为进行光学字符识别分析的起点位置，以极角作为进行光学字符识别分析的起始角度，提取原始图像中极角的角度内的包含有待识别骨科耗材的型号等用于确定骨科耗材规格的信息的环形区域图像。
90.最后，将环形区域图像转换为以圆心为原点、以极轴为坐标轴的直角坐标系的矩形区域图像。
91.具体的，将环形区域的图像中的字符，按照的直角坐标系与极坐标系的对应关系，映射到以圆心为原点以极轴为坐标轴的直角坐标系中，形成对应的环形区域的矩形区域图像。
92.s330、将矩形区域图像输入到预设文本检测算法中，提取待识别文本。
93.文本检测算法用于确定文字在矩形区域图像中的位置，将矩形区域图像输入到文本检测算法，例如，可以是dbnet算法，进行文本检测，输出文本检测算法检测到的文字的图像、对应的置信度和对应的文字在图像中的坐标。
94.s340、将待识别文本输入到预设文本垂直分类算法中，依次对待识别文本中每一个字符进行字符形态调整。
95.文本垂直分类算法用于倾斜校正，例如，可以是mobilenet算法，将文本的方向变为垂直方向，将文本检测算法输出的文字的图像输入到文本垂直分类算法，校正图像的方向，使检测到的文字的图像垂直于水平方向，进行字符形态调整，输出经过字符形态调整的垂直于水平方向的字符的图像。
96.s350、将经过字符形态调整的字符输入到预设卷积循环神经网络中进行文本识别，得到目标识别信息的信息内容。
97.crnn引入了双向长短期记忆网络(long short-term memory，lstm)。其中，lstm是一种时间循环神经网络，含有lstm区块(blocks)或其他的一种类神经网络，解决了循环神经网络(recurrent neural network，rnn)存在的长期依赖问题，适合于处理和预测时间序列中间隔和长延迟的事件，lstm可作为非线性单元用于构造深度神经网络。所有的rnn都具有一种重复神经网络模块的链式形式。预设lstm网络是基于原始的lstm进行结构优化的结果，包括：双向循环神经网络和深层循环神经网络。双向循环神经网络的主体结构是由两个单向循环神经网络组成的。在每一个时刻，输入会同时提供给这两个方向相反的循环神经网络，而输出则是由这两个单向循环神经网络共同决定；深层循环神经网络是为了增强模型的表达能力，在每一个时刻上将循环体结构复制多次，每一层的循环体中参数是一致的，而不同层中的参数可以不同。
98.crnn通过引入双向lstm提取图像中的上下文信息，将输出的特征序列输入到ctc(connectionist temporal classification，转录)loss层和sequence2sequence算法，进行解码得到序列结果。其中，sequence2sequence算法是由编码器(encoder)把所有的输入序列都编码成一个统一的语义向量，然后再由解码器(decoder)解码。在decoder解码的过程中，不断地将前一个时刻的输出作为后一个时刻的输入，循环解码，直到输出停止符为
止。其中，编码器是一个rnn，对于每个输入的词，编码器输出向量和隐藏状态，并将隐藏状态用于下一个输入的词，循环得到语义向量；解码器是另一个rnn，它接收编码器输出的向量并输出一系列字以创建转换。
99.crnn将文本识别转化为时序依赖的序列学习问题，就是基于图像的序列识别。整个crnn网络结构包含三部分，从下到上依次为：cnn(卷积层)，使用深度cnn，对输入图像提取特征，得到特征图；rnn(循环层)，使用双向rnn对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签(真实值)分布；通过ctc loss(损失)层，把从循环层获取的一系列标签分布转换成最终的标签序列。
100.其中，cnn一共有四个最大池化层，cnn的输出尺寸为(512,1,40)。即cnn最后得到512个特征图，每个特征图的高度为1，宽度为40。不能直接把cnn得到的特征图送入rnn进行训练，需要根据特征图提取rnn需要的特征向量序列。由于卷积层、最大池化层和激活函数在局部区域上执行，因此它们是平移不变的。因此，特征图的每列(即一个特征向量)对应于原始图像的一个矩形区域(称为感受野)，并且这些矩形区域与特征图上从左到右的相应列具有相同的顺序，这些特征向量序列就作为循环层的输入，每个特征向量作为rnn在一个时间步(time step)的输入。
101.由于rnn有梯度消失的问题，不能获取更多上下文信息，基于图像的序列中，序列的前向信息和后向信息都有助于序列的预测，所以crnn中使用的是一个向前的lstm和一个向后的lstm组合形成的双向lstm。rnn中一个特征向量就相当于图像中的一个小矩形区域，rnn的目标就是预测这个矩形区域的字符，即根据输入的特征向量进行预测，得到所有字符的softmax函数(归一化指数函数)概率分布，作为ctc loss层的输入。每个时间步都会有一个输入特征向量，输出一个所有字符的概率分布，输出为时间步数量个长度为字符类别数的向量构成的后验概率矩阵。
102.其中，softmax函数是有限项离散概率分布的梯度对数归一化。softmax函数多用于多分类问题中，该函数能够把数据库中的数据映射到给定类别中，用于进行数据预测。
103.ctc loss层的输入是后验概率矩阵，根据每帧预测找到具有最高概率组合的标签序列，将rnn对每个特征向量所做的预测转换成标签序列。将ocr建模为时序依赖的文本图像问题，然后使用ctc的损失函数来对cnn和rnn进行端到端的联合训练，得到目标识别信息的信息内容。
104.本发明实施例的技术方案，通过获取待识别骨科耗材的原始图像，并将原始图像输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息；基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像；将矩形区域图像输入到预设文本检测算法中，提取待识别文本；将待识别文本输入到预设文本垂直分类算法中，依次对待识别文本中每一个字符进行字符形态调整；将经过字符形态调整的字符输入到预设卷积循环神经网络中进行文本识别，得到目标识别信息的信息内容。本发明实施例的技术方案，解决了骨科耗材人工识别效率低的问题，实现自动化、智能化骨科耗材识别，进一步提高了骨科耗材信息识别的准确率和效率，有利于对骨科耗材进行管理。
105.在一个具体的实施例中，图4是一种骨科耗材信息识别方法的流程图，图5是一种骨科耗材的图像。
106.具体的骨科耗材信息识别方法包括以下步骤：
107.s401、获取待识别骨钉的原始图像。
108.s402、对待识别骨钉的原始图像进行尺寸处理，并将尺寸处理后的图片输入facenet，生成并输出一组128维向量。
109.s403、计算该128维向量与数据库中的向量之间的欧式距离，通过三元损失函数进行相似度评价。
110.s404、向量匹配是否成功：若该欧式距离小于匹配阈值，则向量匹配成功，输出数据库中的对应向量的骨钉的型号，将该型号与该待识别骨钉的128维向量和原始图像存入数据库中，结束识别；若该欧式距离小于匹配阈值，则向量匹配失败，进入s405。
111.s405、将尺寸处理后的图片输入swin transformer模型，检测轮廓位置和标记位：将尺寸处理后的图片输入swin transformer模型，得到如图5所示，一种骨科耗材的图像，其中包括待识别骨钉的待识别骨钉的轮廓的外接矩形80(circle)的坐标和标记位的轮廓的外接矩形90(label)，0.92和0.90分别表示circle和label的置信度。
112.s406、计算圆心、半径：根据待识别骨钉的circle和label计算圆心和半径：连接circle的中心点和label的中心点，得到circle的内接圆的圆心和内接圆的半径。
113.s407、计算label与极轴的夹角，作为字符的起始位置，映射到直角坐标系中：以circle的内接圆的圆心为原点，圆心水平向右的轴为极轴，得到极角坐标系，确定label与极轴的夹角，作为字符的起始位置，将极坐标系的图像映射到对应的直角坐标系中，转换为矩形图像。
114.s408、文本检测：将矩形图像输入到dbnet算法，进行文本检测，输出检测到的文字的图像、对应的文字在图像中的坐标和对应的置信度。
115.s409、倾斜校正：将检测到的文字的图像输入到mobilenet算法，进行倾斜校正，将检测到的文字的图像中的文字方向变为垂直方向，输出各个文字的方向垂直的图像。
116.s410、文本识别：各个文字的方向垂直的图像按顺序输入crnn中，进行文本识别，得到待识别骨钉的型号，将待识别骨钉的型号、对应的128维向量和待识别骨钉尺寸处理后的图片存入数据库中，完成识别。
117.图6是本发明实施例提供的一种骨科耗材信息识别装置的结构框图，本实施例可适用于骨科耗材信息识别的场景中，特别的，本实施例更适用于同种类型骨钉型号识别的情况。该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
118.如图6所示，骨科耗材信息识别装置包括：信息定位模块310、图像转换模块320和信息识别模块330。
119.其中，信息定位模块310，用于获取待识别骨科耗材的原始图像，并将原始图像输入到经过预训练的swin transformer模型中，得到待识别骨科耗的轮廓信息和目标识别信息的位置标记信息；图像转换模块320，用于基于轮廓信息和位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像；信息识别模块330，用于通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容。
120.本发明实施例的技术方案，通过获取待识别骨科耗材的原始图像，并将原始图像
输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息；基于轮廓信息和所述位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像；通过预设级联光学字符识别分析算法对所述矩形区域图像进行识别，得到目标识别信息的信息内容。本发明实施例的技术方案，解决了骨科耗材人工识别效率低的问题，实现自动化、智能化骨科耗材识别，提高了骨科耗材信息识别的准确率和效率，有利于对骨科耗材进行管理。
121.可选的，信息定位模块310用于：
122.将原始图像输入到经过预训练的swin transformer模型中，由swin transformer模型的图像分割层对图像进行切分，得到多个图像块；
123.将多个图像块输入到swin transformer模型的线性嵌入层，进行图像块编码；
124.将图像块的编码结果输入到swin transformer块级联结构中进行特征提取，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息。
125.可选的，信息定位模块310还用于：针对每一个swin transformer块级联结构，在首个swin transformer块前设置有图像块融合层，以进行多图像块特征的融合。
126.可选的，图像转换模块320用于：
127.根据轮廓信息确定待识别骨科耗材的圆心和半径；
128.计算经过位置标记信息对应的标记点和圆心的直线，在以圆心为原点、以原始图像中水平向右的轴为极轴的极坐标系的极角；
129.以标记点为起点、以极角为起始角度，提取原始图像中包含有目标识别信息的环形区域图像；
130.将环形区域图像转换为以圆心为原点以极轴为坐标轴的直角坐标系的矩形区域图像。
131.可选的，信息识别模块330用于：
132.将矩形区域图像输入到预设文本检测算法中，提取待识别文本；
133.将待识别文本输入到预设文本垂直分类算法中，依次对待识别文本中每一个字符进行字符形态调整；
134.将经过字符形态调整的字符输入到预设卷积循环神经网络中进行文本识别，得到目标识别信息的信息内容。
135.可选的，信息定位模块310还用于：
136.基于图像生成待识别图像向量；
137.将待识别图像向量与预设向量数据库中图像向量信息进行匹配；
138.根据向量信息匹配结果确定是否将图像输入到经过预训练的swin transformer模型中。
139.可选的，信息定位模块310还用于：将图像输入至基于三元损失函数训练得到的facenet中，得到预设维度的待识别图像向量。
140.本发明实施例所提供的骨科耗材信息识别装置可执行本发明任一实施例所提供的骨科耗材信息识别方法，具备执行方法相应的功能模块和有益效果。
141.图7是本发明实施例提供的一种计算机设备的结构框图，示出了可以用来实施本发明的实施例的计算机设备10的结构框图。
142.计算机设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。计算机设备10还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜和手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
143.如图7所示，计算机设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储计算机设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
144.计算机设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许计算机设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
145.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个骨科耗材信息识别方法和处理，其中，方法包括：
146.获取待识别骨科耗材的原始图像，并将原始图像输入到经过预训练的swin transformer模型中，得到待识别骨科耗材的轮廓信息和目标识别信息的位置标记信息；
147.基于轮廓信息和所述位置标记信息，将原始图像中包含有目标识别信息的非矩形区域局部图像转换为矩形区域图像；
148.通过预设级联光学字符识别分析算法对矩形区域图像进行识别，得到目标识别信息的信息内容。
149.在一些实施例中，骨科耗材信息识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到计算机设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的骨科耗材信息识别方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行骨科耗材信息识别方法。
150.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出
装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
151.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
152.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备或上述内容的任何合适组合。
153.为了提供与用户的交互，可以在计算机设备10上实施此处描述的系统和技术，该计算机设备10具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机设备10。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者触觉输入)来接收来自用户的输入。
154.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)或者包括这种后台部件、中间件部件或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
155.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
156.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
157.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明
的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。