一种用于托卡马克大视场观测的图像采集与处理方法

：
1.本发明涉及托卡马克图像监测技术领域，具体涉及一种用于托卡马克大视场观测的图像采集与处理方法。


背景技术：

2.托卡马克装置是一种利用磁约束来实现受控核聚变的装置，这类装置的主要科学目标是实现装置的高参数稳态运行以及研究相关物理和工程问题。在实验过程中，由于等离子体在装置内部的高速旋转以及自身拥有的高能量，使得受到较弱约束的等离子体容易脱离磁约束不受控制。当装置内部的等离子体不受约束进行不规律的运动时，很容易直接碰撞到装置内表面，导致装置内表面严重受损甚至影响放电的进行，这就给等离子体放电实验的正常进行带来了严重的安全隐患。因此，必须实时监测等离子体在托卡马克装置内壁等离子的放电过程的状态，以便调节相关实验参数保证等离子体的长时间放电。
3.目前，在托卡马克装置中应用广泛的装置内壁等离子体的图像实时监测系统都采用高速相机来获取放电过程中等离子体的高速运行过程中的图像数据。由于托卡马克装置环形或球形的特殊物理结构以及每台相机的有限视场，使得一台相机无法获取装置内部的全部图像，所以必须采用至少四台高速相机才能获取完整的大视场图像，即整个托卡马克装置内部空间图像，具体高速相机数量可根据托卡马克装置内部的结构、窗口的位置和数量确定。
4.在现有托卡马克图像采集传输方法中，如申请号为cn 109996036 a，授权公告日为2020年12月11日，名称为“用于托卡马克的图像采集与高速处理传输方法”中给出的图像传输方法，该数据传输速度经过测试，其速度在100m/s左右，且是在一炮数据采集完成后将数据统一传输给其他服务器做后期实验数据分析，不能实现在放电过程中托卡马克装置大视场的实时监测效果，另外此方法消耗的时间过多。并且，所有数据统一存储在数据存储服务器，需要的存储空间较大。故而为了实现在放电过程中托卡马克装置大视场的实时监测，需搭建一套托卡马克图像数据的大视场图像采集、高速传输、图像处理和压缩存储的实时监测系统来解决上述问题。


技术实现要素：

5.本发明所要解决的技术问题在于提供一种用于托卡马克大视场观测的图像采集与处理方法，解决多台高速相机采集图像导致整体画面割裂错乱以及现有网络数据传输速率不足以满足放电过程中实时大视场监测要求的问题，同时使用lzo压缩算法压缩存储图像数据，节省了内存空间。
6.由于采集相机的分辨率不断提高，传输的数据量也随之增加以及要实现实时的托卡马克装置放电过程大视场监测，本发明采用高速光纤和gpu来提高图像数据传输速度。由于高速相机拍摄都是孤立的一张装置视场图，每次分析都是单独的，本发明将各个装置视场图进行拼接，形成一个平面大视场图，有利于实验人员从整体托克马克装置的内部大视
场进行分析。
7.本发明所要解决的技术问题采用以下的技术方案来实现：
8.一种用于托卡马克大视场观测的图像采集与处理方法，包括以下步骤：
9.(1)初始化所有高速光纤卡以及高速光纤交换机，设置对应的端口号和id号，设置高速光纤卡的工作模式为：循环发送数据，dma传输模式；
10.(2)初始化各高速相机，设置高速相机的相关采集参数；
11.(3)各高速相机均设置为等待接收总控发送触发信号的状态，数据处理和存储服务器接收总控发出的炮号和采集时长信号，并将炮号作为文件存储名，开始工作，监视各数据采集工控机上高速光纤卡的数据存储状态；
12.(4)当高速相机接收到总控发出的触发信号后，各高速相机开始采集托卡马克装置内部等离子体放电的图像数据；
13.(5)各高速相机将采集到的图像数据传输到对应的数据采集工控机中，同时数据采集工控机使用gpu加速处理向各自的高速光纤卡内写入一帧图像大小的数据量，随后各数据采集工控机通过光纤将本地高速光纤卡中的数据通过高速光纤交换机传输到数据处理和存储服务器的高速光纤卡中；
14.(6)在托卡马克放电前，采集相机被放置在托卡马克装置的不同窗口上，由于采集过程中各高速相机对托卡马克装置内部的采集视场相对固定，数据处理和存储服务器可以利用已知托卡马克装置的各个窗口的位置和每台高速相机的采集视场提前对每台高速相机采集到的图像数据进行预拼接处理，去除重合区域形成完整的装置大视场图像，各所需视频内存数据的位置可以提前确定并保存在数据库中，这样在放电过程中进行图像拼接时数据处理和存储服务器就可以直接读取数据库中内存位置的信息，直接获得所需内存位置的各采集工控机传来的图像数据从而快速地完成图像的大视场拼接；
15.(7)数据处理和存储服务器监测到数据采集工控机上高速光纤卡的数据存储状态的改变，读取高速光纤卡的id号和本地高速光纤卡内存上各采集工控机图像数据；当本地高速光纤卡将内存中的各帧图像数据调用到gpu中，采用cuda技术对图像进行处理，完成大视场图像的拼接并显示，同时将拼接后的图像数据进行本地保存；数据处理和存储服务器通过上位机软件显示处理完成的图像数据所形成的放电过程中装置内部大视场，并清空各数据采集工控机上高速光纤卡保存的数据，数据处理和存储服务器继续监视各数据采集工控机上高速光纤卡的数据存储状态；
16.(8)在一炮图像数据均处理完毕后，将所有放电图像数据保存为图片和视频文件，使用lzo压缩算法压缩存储在本地内存中，并通过internet网连接至外部网络，以供实验人员后续进行研究分析。
17.本发明具体提供了一种用于托卡马克大视场观测的图像采集、高速传输、图像处理和压缩存储的方法，包括总控、高速相机组、数据采集工控机、高速光纤交换机、数据处理和存储服务器。
18.总控，用于发送炮号、图像采集触发信号和图像采集时长信号。
19.高速相机组，可为多台红外高速相机或者是高速光学相机构成。由于托卡马克装置视场受限缘故，需设有至少四台以上高速相机，具体高速相机数量可根据托卡马克装置内部的结构、窗口的位置和数量确定，这里把高速相机组里的各相机编号为c1，c2，c3
……
cn。高速相机通过网线连接对应的数据采集工控机和总控。对应的，当总控发出采集触发信号，高速相机得到响应，开始采集托卡马克装置内壁等离子体放电的视频数据并通过网线传输至数据采集工控机。
20.数据采集工控机，接收来自总控的炮号和采集时长信号，设置高速相机的相关参数。接收来自高速相机的图像数据，通过高速光纤网络使用gpu加速处理发送到数据处理和存储服务器中。
21.高速光纤交换机，连接多条光纤的分流器，将多个数据采集工控机的数据汇总到一条光纤上与数据处理与存储服务器连接，其中，各工控机原先的id号变为高速光纤交换机端口辨识，所以此处将各工控机编号为d1，d2，d3
……
dn，用于连接各数据采集工控机和数据处理和存储服务器。
22.数据处理和存储服务器，图像数据处理和控制中心。一方面接收总控发送的炮号和采集时长信号，将接收到的炮号作为数据保存名，开始监视数据采集工控机上个高速光纤卡的数据存储状态；另一方面通过高速光纤网络接收各数据采集工控机采集到的图像数据，并进行图像滤波，数学物理分析和大视场图像拼接，同时在上位机显示相应的图像数据所形成的装置内部大视场处理结果，处理完成后将处理后的图像数据使用lzo压缩算法压缩存储到本地内存中以供实验人员访问实验数据并进行研究分析。
23.其中，各数据采集工控机、数据处理和存储服务器上分别安装有一块高速光纤卡，各高速光纤卡均通过光纤连接至高速光纤交换机，同时数据采集工控机和数据处理和存储服务器中还安装有高性能的gpu卡，提升数据处理速度。各数据采集工控机采集的图像数据使用gpu加速处理后均通过高速光纤网络发送至数据处理和存储服务器中，数据处理和存储服务器通过gpu进行图像数据加速处理和保存。
24.本发明采用多台高速相机分别单独获取托卡马克装置内壁不同视角下的图像，在图像数据处理和存储服务器上进行图像拼接等处理，使得不同视角下的图像整合为一个整体，解决了空间图像的割裂现象，有利于实验人员整体观测放电过程中装置内部的零件状态。
25.本发明实时监测大视场图像的视角最大为360
°
，当采集的图像分辨率为640
×
512、大小为0.65mb时，利用高速光纤卡提供不低于450mb/s的数据传输速度进行快速传输。
26.本发明使用gpu和高速光纤卡进行图像数据的传输，因为其传输速度不低于450mb/s，可以在采集到一帧图像之后立刻传输到数据处理和存储服务器进行处理和显示，达到实时监测的效果。另外对于大视场图像的拼接处理，使用位置固定的高速相机，所需视频内存数据的位置提前可以确定并保存在数据库中，在大视场拼接时直接根据图像位置信息进行拼接，同时使用gpu技术，减少了图像拼接处理的时间。使用lzo压缩算法对数据进行压缩程度，既节省了存储空间，同时由于lzo压缩算法的解压速度较高，保证了实验人员可以快速访问存储数据。
27.本发明的有益效果是：
28.1、本发明提供的系统性能稳定可靠，抗干扰能力强，利用基于高速光纤和gpu的数据传输网络，极大地加快了图像数据的传输速度。
29.2、本发明根据采集过程中各高速相机对托卡马克装置内部的采集视场相对固定的特点，提前对每台高速相机采集到的图像数据进行预拼接处理，各所需视频内存数据的
位置提前可以确定并保存在数据库中，在大视场拼接时直接根据图像位置信息进行拼接，同时使用gpu技术，减少了图像拼接处理的时间；本发明采用预拼接技术和gpu技术使得每帧图像形成大视场的处理时间不超过20ms，确保了托卡马克装置内部等离子体放电过程中图像数据监测的实时性和准确性。
30.3、本发明使用lzo压缩算法压缩存储图像数据，既节省了存储空间，同时由于lzo压缩算法的解压速度较高，保证了实验人员可以快速访问存储数据。
31.4、本发明结合上位机软件，实现了托卡马克装置内部大视场范围的实时图像监测；利用internet网络，实验人员可以快速、方便地随时访问存储在数据服务器中的放电数据进行相关数据分析。
附图说明：
32.图1为本发明实施例1处理方法的示意图；
33.图2为本发明实施例1高速相机在托卡马克装置中的空间分布位置及视场示意图。
具体实施方式：
34.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例和图示，进一步阐述本发明。
35.实施例1
36.本发明提供的托卡马克大视场观测的图像采集、高速传输、图像处理和压缩存储系统可用于托卡马克装置内部的整个环向视场图像以及实现数据的实时处理和传输。一般的，由于托卡马克装置环形或球形的特殊内部结构，使得一台高速相机无法获取装置内部的全部图像，所以必须采用至少四台高速相机才能获取完整的装置内部空间图像，具体的，可根据托卡马克装置的窗口位置和数量增加相机数量，不同的托卡马克装置仅需根据装置结构特点和相机摆放位置确定需要的相机数量。以下结合图1和图2，利用六台相机对本发明进行详细的说明：
37.本发明中，每台高速相机采集到的图像都有一部分图像数据与其余高速相机采集到的图像数据有一部分的重合，为了实现托卡马克装置内部的大视场的实时监测，我们需要对各相机采集到的图像进行拼接形成完整的视场。由于采集过程中各高速相机对装置内部的采集视场固定，可以利用已知托卡马克装置的各个窗口的位置和每台高速相机的采集视场提前对每台高速相机采集到的图像数据进行预拼接处理。预拼接处理过程如下：
38.固定各高速相机的位置，不因人为的操作，发生角度和位置的偏移。在校正时，总控发出采样信息，各数据采集工控机采集多帧图像数据装置内部的图像数据，由光纤发至数据处理和存储服务器，数据处理和存储服务器读取端口，可以辨识出对应的工控机dx和cx，服务器获得c1和c2两张图像，首先对图像进行高斯滤波，去除白噪声的影响，白噪声是由于传送导致的，并对图像进行锐化操作，加深图像的边缘信息，接着通过两者的特征信息，本方法采用的是角点特质，进行图像匹配，匹配相同的位置为重合区域h1和区域坐标hx1，hy1；hr1，hv1。(hx1,hy1)为区域左上角坐标，(hr1,hv1)为区域右下角坐标。之后，如此方法依次匹配c2和c3的重合部位h2和区域坐标hx2，hy2；hr2，hv2，c3和c4的重合部位h3坐标hx3，hy3，hr3，hv3
……
c5和c6的重合部位h5与坐标(hx5，hy5；hr5，hv5)，c6与c1的重合部
位h6与坐标(hx6，hy6；hr6，hv6)。根据多帧数据，获得一系列对应坐标点，如以下的公式，n为多帧图像的数量，(hx
x
,hy
x
,hr
x
,hv
x
)为取平均获得均值坐标点。对每帧图像获得的重合区域坐标累加取均值即为重合区域的坐标，由此可以获得5组匹配图像hx的重合区域坐标。最后将c1，c2
……
c6的图像去除重合区域合成平面的温度大视场。
[0039][0040]
根据各相机的窗口位置和采集视场将采集到的图像置于大视场图像的各个对应位置，再比对每一高速相机采集到的图像数据的重合部分，从而对该炮图像数据进行重合部分的消除以实现图像预拼接处理。
[0041]
同时为了实现装置内部等离子体图像的快速拼接和实时监测，利用装载了高性能gpu的数据处理和存储服务器对该过程进行加速处理，使得每帧图像拼接显示时间小于20ms，与此同时又采用了高速光纤网络实现数据的即时传输。
[0042]
具体包括以下步骤：
[0043]
s1：高速相机1、高速相机2、高速相机3、高速相机4、高速相机5、高速相机6分别初始化，根据各高速相机对应的数据采集工控机设置采集图像数据的图像分辨率、图像帧率、曝光模式等参数，等待总控发送炮号、采集触发信号和采集时长信号。
[0044]
s2：采集工控机上的高速光纤卡初始化，设置各高速光纤卡的工作模式为：循环发送数据，dma传输模式；设置好各高速光纤卡的id号、数据写入内存的起始地址和数据大小，等待数据采集工控机1、数据采集工控机2、数据采集工控机3、数据采集工控机4、数据采集工控机5和数据采集工控机6写入图像数据；数据处理和存储服务器上的高速光纤卡初始化，设置高速光纤卡的id号和用于接收各工控机图像数据的内存起始地址和数据大小。
[0045]
s3：高速光纤交换机初始化，设置高速光纤交换机对应的端口号和各端口号对应的节点卡id号，为连接各高速光纤卡传输新数据做准备。
[0046]
s4：放电开始，各高速相机设置为自动采集模式，总控统一向各数据采集工控机发送炮号、采集时长信号。随后各高速相机响应采集触发信号，高速相机1、高速相机2、高速相机3、高速相机4、高速相机5和高速相机6根据s1的初始化设置的参数开始采集图像数据并通过网线传输至对应的数据采集工控机。
[0047]
s5：数据处理和存储服务器接收总控发出的炮号和采集时长信号，将接收到的炮号作为文件存储名，开始时刻监视各数据采集工控机上高速光纤卡的数据存储状态。
[0048]
s6：数据采集工控机1、数据采集工控机2、数据采集工控机3、数据采集工控机4、数据采集工控机5和数据采集工控机6得到高速相机返回的托卡马克放电过程中装置内部视场数据后，向工控机本地的内存中写入一帧图像大小的数据量之后，以分包的形式通过高速光纤网络并使用gpu加速处理后向数据处理和存储服务器端发送图像数据。
[0049]
s7：在托卡马克放电前，采集相机被放置在装置的不同窗口上，由于采集过程中各高速相机对托卡马克装置内部的采集视场相对固定，可以利用已知托卡马克装置的各个窗口的位置和每台高速相机的采集视场提前对每台高速相机采集到的图像数据进行预拼接处理，去除重合区域形成完整的装置大视场图像。各所需视频内存数据的位置提前可以确定并保存在数据库中，这样在放电过程中进行图像拼接时数据处理和存储服务器就可以直接读取数据库中内存位置的信息，直接获得所需内存位置的各采集工控机传来的图像数据
从而快速地完成图像的大视场拼接。
[0050]
s8：数据处理和存储服务器若监测到全部数据采集工控机上高速光纤卡的数据存储状态的改变，说明该帧的全视角图像已经接收完成；当在限定的时间内未监测到全部数据采集工控机上高速光纤卡的数据存储状态的改变，说明该数据被干扰，或者是设备装置出现问题。直接舍弃该帧图像，清空各数据采集工控机高速光纤卡的数据，继续监视其数据存储状态。
[0051]
s9：数据处理和存储服务器根据数据采集工控机高速光纤卡数据存储状态的改变，读取高速光纤卡指定内存位置中数据采集工控机1、数据采集工控机2、数据采集工控机3、数据采集工控机4、数据采集工控机5和数据采集工控机6发送的图像数据。
[0052]
s10：数据处理和存储服务器获得各相机的图像数据cx，得到的图像数据从内存移至gpu内存中，使用高斯滤波去除干扰信号，对图像进行直方图投影压缩，减少光线的影响。c1拼接去除重合区域c2得到大视场图像:图像c2减去由校准算到的重合区域坐标(hx1，hy1,hr1,hv1)内的区域。大视场图像拼接去除重合区域的c3得到新的大视场图像：图像c3减去由校准算到的重合区域坐标(hx2，hy2,hr2,hv2)内的区域。同理新大视场图像依次拼接图像c4～c6，形成最终的大视场图像。大视场图像去除光晕和进行增益，提高图像的显示质量。最后图像由gpu的内存提出到计算机内存，各图像数据通过大视场形式将托卡马克装置内部整体图像直接在上位机软件界面中进行显示，同时将拼接后的图像数据进行本地保存。
[0053]
s11：数据处理和存储服务器在完成s9后清空各数据采集工控机高速光纤卡的数据，继续监视其数据存储状态，从而转到步骤s6开始重复进行，直至放电结束。
[0054]
s12：数据处理和存储服务器在将一炮所有图像数据均处理显示完成后，将所有拼接后形成的放电图像数据保存为图片和视频文件，使用lzo压缩算法压缩存储至本地。实验人员通过internet网络访问服务器存储的托卡马克装置内部大视场数据进行相关研究分析。
[0055]
使用lzo算法对数据进行压缩存储的过程如下：
[0056]
lzo压缩算法采用(重复长度l，指回距离d)代替当前已经在历史字符串中出现过的字符串，其中重复长度是指后出现的字符串与先出现的字符串中连续相同部分的长度；指回距离是指先后两个相同字符串之间相隔的距离(每个字节为一个单位)；如果没出现过(定义为新字符)，则首先输出新字符的个数，再输出新字符。例如，待处理的字符串为“abcdefghabcdefjklm”，压缩算法逐个处理字符，处理abcdefgh时没发现重复字符；处理到abcdef时发现这些字符在历史字符串中已经出现过，计算重复长度为6，指回距离(当前a离历史a的距离)为8，则用(6,8)代替abcdef；处理到jklm时没发现重复字符，字符串到此处理完毕，则整个字符串被压缩成：(08)habcdefgh(6,8)(04)h jklm，其中h表示16进制。
[0057]
在一炮实验的所有图像传输完毕之后，使用lzo压缩算法将拼接后的大视场图像数据进行压缩，以节省数据处理和存储服务器的内存空间；同时，lzo作为一种致力于解压速度的无损压缩算法，其解压速度达到410m/s，在实验人员通过internet网络选中某一炮数据进行查看和研究时，可以快速解压并将解压后的图像数据进行显示。
[0058]
上位机软件界面实现的功能包括等离子体的图像数据大视场显示，高速相机采集状态显示，图像数据采集大小显示、图像数据采集帧率显示、各节点高速光纤卡的数据传输
速度显示，以及其他数据显示方式的控制选项。
[0059]
本发明对比申请号为cn 109996036 a，授权公告日为2020年12月11日，名称为“用于托卡马克的图像采集与高速处理传输方法”中给出的图像采集与传输方法，主要实现的改进如下：
[0060]
专利“用于托卡马克的图像采集与高速处理传输方法”使用的传输方式是在一炮实验结束之后，将采集到的所有数据统一通过反射内存卡和交换机传输给数据处理服务器，传输速度为100mb/s左右；而本发明采用的传输方式是在高速相机采集到一帧图像之后通过网线传输给数据采集工控机，数据采集工控机使用高速光纤卡和高速光纤交换机搭建的高速光纤网络将这帧图像数据传递给数据处理和存储服务器，并且使用gpu进行数据传输时的加速处理，因为使用高速光纤网络和gpu加速后，数据的传输速度可以达到460mb/s以上，可以满足高速相机采集到一帧图像之后立即传输给数据处理和存储服务器，达到在托卡马克放电过程中的实时监测效果。表1中给出了两者传输方式传输速度的对比表格，基于高速光纤网络的传输速度达到每秒460多m，远大于基于反射内存网络的传输速度。
[0061]
表1
[0062][0063][0064]
专利“用于托卡马克的图像采集与高速处理传输方法”中使用的图像拼接方式是基于改进的sift图像匹配算法的图像拼接技术进行图像的拼接，sift图像匹配算法是分别检测需要匹配的图像特征点，进行特征点描述之后得到目标的特征点集，之后进行特征点匹配，再进行匹配点的矫正即可得到匹配后的图像，此匹配方式耗时较长。本发明使用位置固定的高速相机，所需视频内存数据的位置提前可以确定并保存在数据库中，在大视场拼接直接根据图像位置信息进行拼接，同时使用gpu技术，减少了图像拼接处理的时间。经过测试，使用sift算法对两张像素分辨率为640
×
512的图像进行图像拼接，耗时为715ms，而本发明中通过固定位置以及使用gpu加速处理后，对于6张像素分辨率为640
×
512的图像进行拼接的时间不到20ms，具体的实时处理和显示速度与像素分辨率有关，同时与数据采集工控机和数据处理和存储服务器的配置有密切的关系，配置越高，处理速度越快。
[0065]
本发明使用lzo压缩算法对数据进行压缩处理，可以节省存储空间，同时也依赖于其400m/s的解压速度，保证了实验人员在后期直接通过internet网络查看实验数据时，可以快速解压并进行查看和分析实验数据。表2给出了lzo压缩算法的压缩和解压速率。
[0066]
表2
[0067][0068][0069]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。