用于捕获和/或处理电致发光图像的方法、系统和图像处理设备以及空中交通工具与流程

1.本技术涉及一种用于捕获并处理光伏(pv)阵列的电致发光(el)图像的方法、用于捕获el图像的空中交通工具、以及用于处理el图像的图像处理设备。


背景技术：

2.已经发现太阳能板在全球范围内被广泛使用。然而，由于高的初始资本投资成本，安装在现场的太阳能板必须正确且高效地工作一段时间以确保投资回报。所以，保持安装在现场的太阳能板的质量是重要的。由于太阳能板在太阳能农场(或通常光电(pv)工厂)中的大量部署，以及太阳能板远程部署(诸如在房屋的屋顶上)，经常难以监测个体太阳能板的性能。各种成像技术，诸如视觉、热(红外)、紫外线(uv)荧光、光致发光(pl)和电致发光(el)成像，可被用于检测太阳能板的缺陷。例如，在pv制造期间使用el检查用于质量控制。
3.对于el测量，这些太阳能板的pv模块被连接到电源上并且置于正向偏压之下。发射的近红外光由在近红外波段敏感的相机捕获。对于现场检查，el成像也已经在采样的基础上被使用。现场el检查的常用方法之一是使用移动拖车。在该方法中，携带暗室的移动拖车被现场部署。pv模块从其安装位置取下，用于在拖车内部的暗室中进行测量。该方法确保在受控环境中进行pv模块的el测量。然而，由于pv模块必须被拆卸，使用这种方法的大规模检查是耗时的并且是不可行的。另外，存在在模块处理期间引入缺陷的风险。
4.另一el检查方法是使用相应在白天期间安装在三脚架上的具有锁定电流控制的相机在夜间进行的的。虽然这种方法不需要从其支撑框架上拆卸pv模块，但它也是耗时且高劳动密集型的。另外，所捕获的图像的透视和强度失真可能起因于安装到三脚架的相机捕获图像的限制。
5.因此，希望提供一种解决现有技术中提到的问题中的至少一者的解决方案，和/或向公众提供有用的替代方案。


技术实现要素：

6.根据第一方面，提供了一种处理pv阵列的电致发光(el)图像的方法。该方法包括：(i)从el图像中提取所述pv阵列的pv阵列子区段的多个框架(frame)，该pv阵列子区段包括该pv阵列的一个或多个pv模块，(ii)从所提取的框架中确定pv阵列子区段的具有最高图像质量的参考框架，(iii)执行所提取的框架与所述参考框架的图像对准，以生成经图像对准的框架，以及(iv)处理经图像对准的框架以产生pv阵列子区段的具有比所述参考框架更高的分辨率的经增强图像。
7.所描述的实施例能够在暗光条件下或者在没有自然光的情况下(诸如在夜间期间)拍摄低分辨率、单色图像、以及视频，并且仍可以产生经增强的分辨率和经降噪的图像以标识有缺陷的pv模块。一般来说，如果使用平均，则所处理的图像中的噪声的量值可减小大致被平均的图像的数目的平方根。结果，通常可实现更高图像质量的经增强图像。
8.具体地，从图像中提取各框架可以包括确定图像中每个pv模块的相应拐角点，并且基于每个pv模块的所标识的拐角点来构建每个pv模块的相应框架。
9.在具体实施例中，确定图像中的每个pv模块的相应拐角点可以包括对在不同图像中重复的特定pv模块的相应拐角点进行聚类，并且计算针对相应拐角点的每个聚类的相应平均位置。
10.优选地，确定具有最高图像质量的参考框架可包括基于框架的锐度、信噪比和完整性中的至少一者来评估每个框架的图像质量。
11.该方法还可包含在执行图像对准之前将所提取的框架布置成堆叠布置。此外，pv模块的相应拐角点可以按堆叠布置来堆叠，并且执行图像对准可以包括将所提取的框架中的每个pv模块的相应拐角点与参考框架中的pv模块的对应拐角点对准。
12.设想处理经图像对准的框架可以包括根据每个框架中的pv模块对图像对准的框架进行编组，并且对经图像对准的框架的每个编组执行图像平均以获得每个pv模块的相应经增强框架。
13.此外，图像平均可以基于加权图像堆叠平均和/或深度卷积神经网络结构。
14.该方法还可包括：根据pv阵列子区段中的每个pv模块的位置，将每个经增强框架与水平索引和垂直索引相关联，以及根据其水平和垂直索引布置经增强框架以产生pv阵列子区段的经增强图像。
15.该方法还可包括缩放每个经增强框架的相应图像强度。另外，该方法还可包括将pv阵列子区段的经增强图像映射到pv阵列子区段的底图(base map)上。底图可以包括每个pv模块的地理位置。
16.在特定实施例中，将经增强图像映射到底图上还可包括将经增强图像定向以将经增强图像中的pv阵列子区段与底图中的pv阵列子区段对准。
17.此外，pv阵列分段的每个el图像可以包括图像标识符，并且对经增强图像进行定向可以包括：将特定el图像的图像标识符与每个经增强框架相关联，每个经增强框架的pv模块被表征在特定el图像中；以及基于与每个经增强框架相关联的图像标识符来确定经增强图像的定向。
18.地理位置可以包括gps坐标。
19.此外，该多个框架可以是pv阵列子区段的连贯框架。
20.根据第二方面，提供了一种用于处理pv阵列的el图像的图像处理设备。该图像处理设备包括：图像处理器，其被配置成从el图像中提取pv阵列的pv阵列子区段的多个框架，该pv阵列子区段包括该pv阵列的一个或多个pv模块，从所提取的框架中确定该pv阵列子区段的具有最高图像质量的参考框架，执行所提取的框架与所述参考框架的图像对准以生成经图像对准的框架，以及处理该经图像对准的框架以产生pv阵列子区段的经增强图像，该经增强图像具有比参考框架更高的分辨率和更低的噪声水平。
21.图像处理器还可被配置成通过确定图像中每个pv模块的相应拐角点并且基于每个pv模块的所标识的拐角点来构建针对每个pv模块的相应框架来从图像中提取框架。
22.优选地，图像处理器还可被被配置成通过对可以在不同图像中重复的特定pv模块的相应拐角点进行聚类，并且针对相应拐角点的每个聚类计算相应平均位置来确定图像中的每个pv模块的相应拐角点。
23.图像处理器还可被配置成通过基于框架的锐度、信噪比和完整性中的至少一者评估每一框架的图像质量来确定具有最高图像质量的参考框架。
24.另外，图像处理器还可被配置为在执行图像对准之前以堆叠布置来布置所提取的框架。
25.此外，pv模块的各个拐角点可以按堆叠布置来堆叠，并且图像处理器还可被配置成通过将所提取的框架中的每个pv模块的各个拐角点与参考框架中的pv模块的对应拐角点对准来执行图像对准。
26.在具体实施例中，图像处理器还可被配置成通过根据每一框架中的pv模块对经图像对准的框架进行编组，对经图像对准的框架进行处理，并对经图像对准的框架的每一编组进行图像平均以获得针对每个pv模块的相应的经增强框架。
27.此外，图像处理器可以被配置成基于经加权图像堆叠平均和/或深度卷积神经网络结构来执行图像平均。
28.图像处理器还可被配置成根据pv阵列子区段中的每个pv模块的位置，将每个经增强框架与水平索引和垂直索引相关联，并且根据其水平和垂直索引布置经增强框架以产生pv阵列子区段的经增强图像。
29.图像处理器可被配置成缩放每个经增强框架的相应图像强度。
30.图像处理器还可被配置成将pv阵列子区段的经增强图像映射到pv阵列子区段的底图上。底图则可以包括每个pv模块的地理位置。另外，图像处理器可以被配置成通过将该经增强图像进行定向以将该经增强图像中的pv阵列子区段与该底图中的pv阵列子区段对准来将该经增强图像映射到该底图上。
31.此外，pv阵列子区段的每个el图像可以包括图像标识符，并且图像处理器可以被配置成通过将特定el图像的图像标识符与每个经增强框架相关联并且基于与每个经增强框架相关联的图像标识符来确定经增强图像的定向来对经增强图像进行定向，每个经增强框架的pv模块被表征在特定el图像中。
32.地理位置可以包括gps坐标。另外，该多个框架可以是pv阵列子区段的连贯框架。
33.根据第三方面，提供了一种控制空中交通工具的移动的方法，该空中交通工具具有用于捕获pv阵列的el图像的相机。该方法包括控制空中交通工具沿飞行路径飞行以捕获pv阵列的对应pv阵列子区段的el图像，从至少一些所捕获的el图像中导出相应图像质量参数，以及基于相应图像质量参数来动态调整空中交通工具沿飞行路径的飞行速度以用于捕获pv阵列子区段的el图像。
34.有利地，通过根据从至少一些所捕获的el图像中获得的图像质量参数动态调整空中交通工具的飞行速度，空中交通工具能够调整其飞行速度，从而能够以更高的图像质量(诸如更好的信噪比或图像清晰度)捕获el图像。
35.图像质量参数可以包括snr扫描因子和运动模糊扫描因子。在具体示例中，snr扫描因子可以取决于目标snr、测得的snr以及所捕获的包括pv阵列子区段的特定pv模块的el图像的估计数量。
36.另一方面，运动模糊扫描因子可以是测得的对象偏转与预定义的最大对象偏转的比率。
37.优选地，基于相应的图像质量参数来动态调整空中交通工具沿飞行路径的飞行速
度可包括基于snr扫描因子和运动模糊扫描因子中的最小者得出目标飞行速度，并动态调整空中交通工具的当前飞行速度以匹配目标飞行速度。
38.另外，导出目标飞行速度可以包括将snr扫描因子和运动模糊扫描因子中的最小中应用于空中交通工具的当前飞行速度以导出目标扫描速度，并且如果目标扫描速度可以低于空中交通工具的最大飞行速度，则选择目标扫描速度作为目标飞行速度。
39.该方法还可包括：如果目标扫描速度超过空中交通工具的最大飞行速度，则选择最大飞行速度作为目标飞行速度。
40.该方法还可包括基于用户输入因子来调整目标飞行速度。
41.另外，该方法还可包括在控制空中交通工具沿飞行路径飞行以捕获pv阵列的对应pv阵列子区段的el图像之前，检测来自pv阵列的一个或多个pv模块发射的el信号。
42.所述方法还可包括：在检测el信号之前，将空中交通工具操纵至初始位置，其中空中交通工具的偏航轴和相机的光轴可垂直于地面。
43.此外，该方法可包括将空中交通工具导航至el信号的位置。
44.在特定实施例中，检测由pv阵列的一个或多个pv模块发射的el信号可包括绕车辆的偏航轴旋转空中交通工具，同时增加相机的光轴角度，直到可检测到el信号。
45.相机的光轴角度可以从0
°
增加至70
°
。设想然后可以按递减的俯仰速度增加相机的光轴角度。优选地，空中交通工具还可以按递减的偏航速度旋转。
46.该方法还可包括在旋转空中交通工具之前将空中交通工具操纵至预定义高度。
47.该方法还可包括通过以下方式将相机的视野(fov)与对应pv阵列子区段对准：确定对应pv阵列子区段中的参考pv模块的相应关键点；从相机的fov的相应关键点导出要与对应pv阵列子区段对准的目标对准点；执行透视变换以将相应关键点与目标对准点对准；以及基于透视变换相对于对应pv阵列子区段来操纵空中交通工具。
48.此外，将相机的fov与对应pv阵列子区段对准还可包括将空中交通工具操纵到适当高度，其中对应pv阵列子区段可以在适当高度处在相机的fov内的预定义尺寸比率处。
49.对应pv阵列子区段可以以预定义尺寸比率占据相机的fov的80％至90％。
50.另外，该方法还可包括根据测量的图像锐度来动态调整相机的焦点。
51.空中交通工具还可包括与相机的光轴对准的光源，并且该方法还可包括除了在捕获pv阵列的el图像时之外，向光源供电。
52.根据第四方面，提供了一种空中交通工具，包括用于捕获pv阵列的el图像的相机、用于致动空中交通工具运动的推进设备以及通信耦接至相机和推进设备的控制器。该控制器被配置成控制空中交通工具沿飞行路径飞行以捕获pv阵列的对应pv阵列子区段的el图像，从至少一些所捕获的el图像中得到相应图像质量参数，以及基于相应图像质量参数来动态调整空中交通工具沿飞行路径的飞行速度以用于捕获pv阵列子区段的el图像。
53.图像质量参数随后可以包括snr扫描因子和运动模糊扫描因子。优选地，snr扫描因子可以取决于目标snr、测得的snr以及所捕获的包括pv阵列子区段的特定pv模块的el图像的估计数量。
54.另一方面，运动模糊扫描因子可以是测得的对象偏转与预定义的最大对象偏转的比率。
55.优选地，控制器还可被配置成基于相应图像质量参数，通过基于snr扫描因子和运
动模糊扫描因子中的最小者导出目标飞行速度，并动态调整空中交通工具的当前飞行速度以匹配目标飞行速度，来动态调整空中交通工具沿飞行路径的飞行速度。
56.控制器还可被配置成通过将snr扫描因子和运动模糊扫描因子中的最小者应用于空中交通工具的当前飞行速度来导出目标扫描速度，并且如果目标扫描速度可以低于空中交通工具的最大飞行速度，则选择目标扫描速度作为目标飞行速度。
57.另外，控制器可被配置成如果目标扫描速度超过空中交通工具的最大飞行速度，则选择最大飞行速度作为目标飞行速度。
58.控制器还可被配置成基于用户输入因子来调整目标飞行速度。
59.此外，控制器还可被配置成检测由来自pv阵列的一个或多个pv模块发射的el信号，pv阵列具有阵列轴，并且该一个或多个pv模块与阵列轴对准并且可以包括平坦表面；确定pv阵列的阵列轴；并控制相机沿着阵列轴捕获pv阵列的el图像，同时动态调整推进设备以将相机的光轴对准成垂直于该一个或多个pv模块的平坦表面。
60.此外，控制器可被配置成通过动态调整推进设备以将空中交通工具的偏航轴设定成垂直于地面，并将相机的光轴动态调整成垂直于地面，来将空中交通工具设定成初始位置。
61.控制器还可被配置成动态调整推进设备，以将空中交通工具导航至所述el信号的位置。
62.所述控制器还可被配置成通过动态调整推进设备以使空中交通工具绕空中交通工具的偏航轴旋转，同时增加相机的光轴角度直到可定位由pv阵列的一个或多个pv模块发射的el信号为止，来定位所述el信号。
63.相机的光轴角度可以从0
°
增加至70
°
。具体地，然后可以按递减的俯仰速度增加相机的光轴角度。优选地，空中交通工具还可以按递减的偏航速度旋转。
64.控制器还可被配置成动态调整推进设备，以在旋转空中交通工具之前将空中交通工具操纵至预定义高度。
65.另外，控制器可被配置成通过以下方式将相机的视野(fov)与对应pv阵列子区段对准：确定对应pv阵列子区段中的参考pv模块的相应关键点；从相机的fov的相应关键点导出要与对应pv阵列子区段对准的目标对准点；执行透视变换以将相应关键点与目标对准点对准；以及基于透视变换来动态调整推进设备以相对于对应pv阵列子区段操纵空中交通工具。
66.控制器还可被配置成通过动态调整推进设备以将空中交通工具操纵至适当高度，将相机的fov对准到对应pv阵列子区段，其中对应pv阵列子区段可以在适当高度处在相机的fov内的预定义尺寸比率处。
67.对应pv阵列子区段可以以预定义尺寸比率占据相机的fov的80％至90％。
68.控制器还可被配置成根据测得的图像锐度动态调整相机的焦点。
69.另外，空中交通工具还可包括与相机的光轴对准的光源，并且控制器还可被配置成除了在捕获pv阵列的el图像时之外，向光源供电。
70.根据第五方面，提供了一种从具有相机的空中交通工具捕获的pv阵列的pv阵列子区段的el图像中获得pv阵列子区段的经增强图像的方法。该方法包括：(i)控制空中交通工具沿飞行路径飞行以捕获pv阵列的对应pv阵列子区段的el图像，从至少一些所捕获的el图
像中导出相应的图像质量参数，基于相应的图像质量参数来动态调整空中交通工具沿飞行路径的飞行速度以用于捕获pv阵列子区段的el图像，(iv)从el图像中提取pv阵列子区段的多个框架，(v)从所提取的框架中确定pv阵列子区段的具有最高图像质量的参考框架，(vi)执行所提取的框架与参考框架的图像对准，以生成经图像对准的框架，以及(vii)处理经图像对准的框架以产生具有比参考框架更高的分辨率的pv阵列子区段的经增强图像。
71.根据第六方面，提供了一种用于捕获和处理pv阵列的pv阵列子区段的el图像的系统。该系统包括空中交通工具和图像处理设备。该空中交通工具包括：用于捕获pv阵列的el图像的相机、用于致动空中交通工具的移动的推进设备、以及通信地连接至该相机和该推进设备的控制器，并且该空中交通工具被配置成控制空中交通工具沿飞行路径飞行以捕获pv阵列的对应pv阵列子区段的el图像，从至少一些所捕获的el图像中导出相应的图像质量参数，以及基于相应图像质量参数来动态调整空中交通工具沿飞行路径的飞行速度以用于捕获pv阵列子区段的el图像。该图像处理设备包括：图像处理器，其被配置成从el图像中提取pv阵列的pv阵列子区段的多个框架，该pv阵列子区段包括该pv阵列的一个或多个pv模块，从所提取的框架中确定该pv阵列子区段的具有最高图像质量的参考框架，执行所提取的框架与所述参考框架的图像对准以生成经图像对准的框架，以及处理该经图像对准的框架以产生pv阵列子区段的经增强图像，该经增强图像具有比参考框架更高的分辨率。
72.附图的简要说明
73.示例性实施例将参照所附附图来描述，其中：
74.图1是使uav捕获pv阵列的el图像的示例性设定；
75.图2是解说用于捕获和处理el图像的系统的系统架构的框图，该系统包括图1的uav；
76.图3是作为图2的系统的一部分的光学子系统；
77.图4是由图2的系统执行的用于捕获和处理el图像的示例性方法的流程图；
78.图5是作为图4的示例性方法的一部分的uav执行point(指向)功能的示意图；
79.图6是作为图4的示例性方法的一部分的uav执行find(寻找)功能的第一部分的示意图；
80.图7是uav执行图6的find功能的第二部分的示意图；
81.图8是描绘图6和7的find功能的过程和结果的示意图；
82.图9是在作为图4的示例性方法的一部分执行的align(对准)功能之前，uva悬停在pv串上方的uav的透视图，其中相机的fov未对准；
83.图10是在作为图4的示例性方法的一部分执行的align功能之后，uva悬停在pv串上方的uav的透视图，其中相机的fov对准；
84.图11是来自根据图9的相机的fov未对准的相机的视角的el图像；
85.图12是来自根据图10的相机的fov对准的相机的视角的el图像；
86.图13是来自根据图11的相机的fov未对准的控制器的视角的el图像的示意图；
87.图14是来自根据图12的相机的fov对准的控制器的视角的el图像的示意图；
88.包括图15a至15f的图15是在作为图4的示例性方法的一部分的scan(扫描)功能期间由相机捕获的pv串的一系列六个连贯的el图像；
89.图16是在执行对pv串的图像对准之后图15的一系列el图像的示意图；
90.图17是示出点对点偏转的图15的两个连贯el图像的示意图；
91.图18a是线图，其示出了作为图4的示例性方法的一部分，在执行scan功能时uav的当前飞行速度随时间减小；
92.图18b是线图，其示出了作为图4的示例性方法的一部分，在执行scan功能时uav的当前飞行速度随时间增大；
93.包括图19a、图19b、图19c、图19d以及图19e的图19是示意图，其示出了作为图4的示例性方法的一部分的uav执行auto(自动)功能的时间流逝；
94.图20是在图19的auto功能期间捕获的针对所存储的el图像的文件结构的示意图；
95.包括图21a、21b和21c的图21是作为图4的示例性方法的一部分的在freeeze(冻结)功能期间从三个连贯的el图像中提取的框架的示意图；
96.图22是对作为图21的freeze功能的一部分提取的框架执行图像增强步骤的示意图；
97.图23是从图22的图像增强步骤获得的经增强框架的像素强度直方图；
98.图24是由图21至23的freeeze功能生成的经增强el图像的示意图；
99.图25a是在作为图4的示例性方法的一部分的map(映射)功能的第一部分期间的经增强el图像的示意图，其中pv模块被布置成两行和两列；
100.图25b是图25a的替代方案的示意图，其中经增强el图像具有以两行和三列布置的pv模块；
101.图25c是图25a的替代方案的示意图，其中经增强el图像具有以两行和五列布置的pv模块；
102.图26是在图25a-c的map功能的第二部分期间被映射到底图上的经增强el图像的示意图；
103.图27是在图26的map功能的第三部分中用于沿着pv串近似相机的fov的中心位置的scan功能期间的uav的示意图；
104.图28a是图27的map功能的第四部分中使用串对准方法将示例性经增强el图像映射到示例性底图上的示意图；以及
105.图28b是使用模块对准方法作为图28a的第四部分的替代方案而映射到示例性底图上的示例性经增强el图像的示意图。
106.详细描述
107.以下描述包括用于解说性目的的具体示例。本领域技术人员应当领会，特定示例的变化和更改是可能的并且在本公开的范围内。具体实施方式的附图和下列描述不应脱离前述概述的一般性。
108.图1解说了用于捕获安装在建筑物屋顶上的pv阵列10的el图像的示例性el检查装置或设置100。在该实施例中，pv阵列10包括三个pv串12。每个pv串12包括两行五个pv模块14。pv串12沿pv串12的纵轴布置在每行中，使得pv阵列10具有沿pv串12的纵轴延伸的阵列轴10a。pv串12连接到组合pv串的电输出的组合器盒16。组合器盒16连接到逆变器盒(未示出)，逆变器盒然后连接到电网。在将经组合的电输出馈送至电网之前，逆变器盒将经组合的电输出从dc转换成ac。以此方式，由pv模块14生成的电力被馈送到电网中。在el检查期间，pv阵列10从电网断开。
109.设置100还包括切换器(switcher)盒32，切换器盒32包括三个通道34。pv阵列10的每个pv串12连接到切换器盒32的相应通道34。设置100还包括连接到切换器盒32的电源36。该电源被配置成向每个pv串12供应高达1000伏的电力和等于pv模块14的短路电流的10％的最小电流。通过选择性地激活通道34，现场工作人员30选择性地向pv串12供应来自电源36的电流，该电源将pv串12置于正向偏压条件下。当处于正向偏压条件中时，pv串12中的一个或多个pv模块14发射光，也称为电致发光(el)，并且从而产生由空中交通工具(例如无人空中交通工具(uav)20)的光学子系统检测的el信号。
110.在图1中，工人30注意到正常工作的pv阵列10生成比预期的更少的电力。视觉检查和红外检查均未指明这一点的原因。在将pv阵列10与电网断开连接，并经由切换器盒32将pv阵列10与电源36电连接之后，工人30指令助手22以部署uav 20以捕获pv串12的el图像以供el检查。uav 20包括主体210、附接至主体210以允许uav 20飞行的推进设备230、以及安装至主体210用于捕获el图像的光学子系统220。
111.虽然在本实施例中提供了助手22，但是应该清楚的是，工人30可以在没有助手22的帮助的情况下部署uav 20。另外，还应当注意，多个pv串12可以连接到一个通道34。例如，pv阵列10的所有三个pv串12可以连接到单个通道34。在这种情况下，全部三个pv串12同时处于正向偏压条件下，并且捕获整个pv阵列10的el图像。值得注意的是，与每个通道34连接到相应的pv串12时相比，在此情形中，由电源36提供的电流量较低，但这不影响pv串12被置于正向偏压条件下。
112.此外，更大的pv阵列可以包括多个组合器盒16，其然后连接到逆变器盒(未示出)。替换地，pv阵列10可以不包括组合器盒16，而是将pv串12直接连接到逆变器盒。
113.优选地，向每个pv串12供应pv模块14的短路电流的100％。然而，这不是必要的。例如，可以向每个pv串12供应等于pv模块14的短路电流的60％的电流。在多个注入电流下对同一pv阵列子区段的测量可被用于估计pv模块14的电气特性并且标识电流相关的缺陷。
114.图2解说了捕获和处理图像的系统200的系统架构。系统200包括无人空中交通工具(uav)20和图像处理设备260。除了光学子系统220和推进设备230之外，uav 20还包括机载处理子系统240和电源242(例如，电池)。电源242连接到光学子系统220、推进设备230和机载处理子系统240，并向其供电。机载处理子系统240通信地耦合到光学子系统220和推进设备230，并且被配置成控制光学子系统220和推进设备230以执行各种功能。
115.首先参考图3描述光学子系统220。光学子系统220包括具有光轴222a的相机222，并且在此实施例中，相机222是可操作用于拍摄单色视频记录的相机。相机222在近红外和/或短红外(nir，swir)el波段中是敏感的，并且适于在这样的波段中捕获el图像。相机222包括聚焦透镜223，其也适用于nir/swir el波段。透镜223(例如，机动聚焦透镜、压控聚合物透镜或液体透镜)允许机载处理子系统240取决于透镜223至pv阵列10的距离调节透镜223的焦点。相机222还包括用于过滤任何不想要的光谱的透镜滤光器(未示出)。
116.光学子系统220还包括光学距离测量设备(诸如光检测和测距设备(激光雷达)224)。激光雷达的光轴(224a)与相机222的光轴222a对准。激光雷达224可操作用于测量光学子系统220与pv阵列10的距离。
117.光学子系统220还包括经聚焦光源(诸如激光器226)。激光器的光轴(226a)也与相机222的光轴222a对准。激光器226被布置成发射可见光谱中的光，并且具有不大于相机的
视野(fov)的光束发散，这使得来自激光器的光学干扰最小化。此外，激光器226允许低功率操作，发射窄波段的光，并且创建工人30容易标识的经聚焦形状。经聚焦形状是非对称的，这有利地允许工人30标识相机222指向的位置，并且还标识相机的fov的旋转。
118.光学子系统220还包括将光学子系统220附接至uav 20的主体210的单轴万向架228(图2中示出)。机载处理子系统240控制万向架(gimbal)以一个自由度(即，俯仰)升高/降低相机222的光轴222a。
119.替换地，光学子系统220可以经由双轴或三轴万向架安装至主体210，以允许用于调整相机222的光轴222a的另外的自由度(偏航、滚动)并且提供fov的经增强稳定性。此外，由激光器226创建的经聚焦形状可以是对称的。led也可用来代替激光器226。透镜223的焦点可以是可调节的，无论是机械驱动的还是电驱动的。
120.参见图2，接下来描述推进设备230。推进设备230包括四组推进器232，四组推进器232由相应的电机234驱动，以允许uav飞行并执行空中机动飞行，诸如绕空中交通工具的偏航轴210a(见图1)旋转。偏航轴210a是当uav 20直立时穿过主体210的中间部的垂直轴。
121.机载处理子系统240包括控制器250和存储器单元252。控制器被配置成根据存储在存储器单元252中的指令集来执行五个功能(focus、point、find、align、scan、auto)。控制器250从光子系统220接收信息，包括从pv阵列10到激光雷达224的距离、以及相机的视觉馈送。使用从光学子系统220接收的信息，控制器250被配置成操作光学子系统220和推进设备230以执行功能point、find、focus、align、scan和auto算法。一旦捕获了el图像，uav 20就返回其基地以将el图像传递到图像处理设备260以供进一步处理。
122.图像处理设备260被配置成执行功能freeze和map。图像处理设备260包括框架提取模块270、图像增强模块280、映射模块290和图像处理器300。图像处理设备260将el图像作为输入，并输出pv阵列10的经增强el图像。
123.在下面章节中更详细地描述了空中交通工具的每个组件的操作。
124.图4是系统200捕获和处理el图像的示例性方法400的框图。在适用的情况下，连同对应的图5至26b一起描述示例性方法400。在本实施例中，无人空中交通工具20被部署以进行pv阵列40的el检查，优选在夜间或低自然光条件下进行。pv阵列40类似于pv阵列10，除了pv阵列40包括更多的pv模块之外。来自pv阵列10的各组的组合器盒(未示出)连接到由现场工人30控制的切换器盒532。
125.在方法400的步骤410处，控制器250执行point功能。图5是uav 20执行point功能的示意图500。在uav 20部署之际，控制器250被配置成控制电源250以向激光器226供电。工人30注意到(spot)由激光器226照亮的区域530并且标识相机222所指向的位置。激光器具有在安全范围内的光强度(激光器：1类或2类)，使得现场工人30即使在无意的直接眼睛暴露于激光器226的情况下也不会承受任何眼睛损害。贯穿整个uav 20的大部分操作，激光器226是开启的。这允许工人30快速标识相机222指向哪里，尤其是当不清楚哪个pv串当前处于正向偏压下时。激光器226在uav20执行scan功能之前被关闭，从而激光器226不会出现在相机222拍摄的el图像中。
126.工人30查阅串连接示意图，该示意图通知工人30哪个pv串根据被激活/打开的通道而被置于正向偏压之下。在该实施例中，串连接示意图包含错误，并且通知工人30对于特定的通道，pv串512a被置于正向偏压下。实际上，另一pv串512b被置于正向偏压下，并且pv
串512b的一个或多个pv模块514b发射el信号。pv串512a、512b是pv阵列40的一部分，并且也被称为pv阵列40的pv阵列子区段512a、512b。
127.在激活特定通道之后，工人30沿着飞行路径520将uav20手动引导至pv串512a。工人30注意到pv串512a没有发射el信号，并且推断在串连接示意图中存在错误。为了确定处于正向偏压下(即发射el信号)的pv串512b的位置，工人30指示控制器250启动find功能。
128.应注意，工人30不必手动将uav20引导至pv串512a。工人30可以在uav20部署之后立即启动find功能，从而免除point功能。替换地，控制器250还可被配置除在uav 20部署时自动启动find功能。
129.在方法400的步骤420处，控制器250执行find功能。图6是uav 20执行find功能的第一部分的示意图600。值得注意的是，工人30和照明区域530在图6a(以及随后的附图)中未解说。find功能的第一部分涉及将uav 20设定为初始位置。在启动时，控制器250被配置除动态调整推进设备220以将uav20操纵至初始位置，其中uav的偏航轴210a垂直于地面。控制器250还被配置成动态调整万向架228，以使相机的光轴222a也垂直于地面，或者换句话说，相机的视野示出uav 20正下方的区域。在这个位置中，光轴222a具有0
°
的角度。
130.另外，控制器250还被配置成动态调整推进设备220，以将uav 20(沿uav的偏航轴210a)从地面操纵至预定高度610。
131.图7是uav 20执行find功能的第二部分的示意图700。find功能的第二部分涉及在扫掠路径中执行pv阵列40的扫掠，该扫掠路径从uav20正下方的区域开始并向外螺旋。为了执行扫掠，控制器250被配置成动态调整推进设备220以使uav 20绕uav的偏航轴210a旋转(见箭头710)。控制器250还被配置成同时增加720相机的光轴角度。这使相机的fov从uav20向外移动。与旋转720相结合，相机的扫掠路径形成螺旋810。这在图8中解说，图8解说了描绘find功能的第二部分的结果的示意图800。
132.给出示例，在初始位置，无人空中交通工具悬停在地面上方10m的高度。如果相机的光轴角度从0
°
移动到70
°
，则观察到55米的径向区域(使用正弦定律：)。相机222具有60
°
的视角。这导致用于直接指向地面的视图的10m的视野因此，三个旋转足以覆盖具有25m半径的pv阵列40。
133.值得注意的是，相机的光轴角度以递减的俯仰速度增加。从万向架228的角度来看，万向架的俯仰速度随着俯仰角的增加而减小。由于扫掠路径810随着2π乘以半径而增加，相机的fov在其最后旋转中沿着五倍更大的距离行进(2π
·
5m≈31；2π
·
25m≈157m)。因此，相机的旋转710或偏航速度被调整为在最后旋转时低五倍。
134.相机的偏航速度取决于曝光时间期间在框架中可接受的运动模糊量。对于在曝光期间10个像素的最大偏转、7ms的曝光时间和640px的水平传感器分辨率，22m/s的偏航速度是可能的对于282m的(半径为5m、15m、25m的三个圆的总和)整个螺旋的近似行进距离，如果没有检测到在正向偏压下的pv串，则方法find可花费最大13秒。当功能find在进行中时，控制器250针对正向偏压的pv串512b的特征来检查由相机222捕获的图像。当检测到来自pv串512b的el信号时，功能find停止。在检测到el时，控制器250被配
置成动态调整推进设备220以将uav20操纵至el信号。以此方式，el信号作为光学标志被用于引导uav 20。
135.在方法400的步骤430处，控制器250执行focus功能。控制器250从激光雷达224接收关于相机222到pv串512b中的一个或多个pv模块的距离的信息。控制器250被配置成根据测得的距离动态调整相机的焦点以使相机镜头223和焦点之间的距离与相机镜头223和成像对象之间的距离匹配，以保持相机镜头的焦点。
136.在方法400的步骤440处，控制器250执行align功能，接着关于图9至14描述align功能。图9和图10是悬停在pv串512b上方的uav 20的透视图900、1000，其中相机的fov分别与pv串512b未对准和对准。图11和12是来自相机222的视角的el图像1100、1200，其中相机的fov分别未对准和对准。图13和14是从控制器250的角度的el图像1100、1200的示意图1300、1400。
137.参照图9，相机的fov910相对于pv串512b未对准。在方法400可前进到scan功能之前，相机的fov 910必须被对准到pv串512b(如图10中所描绘的)。
138.控制器250从相机222接收el图像1100(如图11所描绘的)。el图像1100包括pv串512b(或pv串512b的一部分)，与背景1110(即地面)相比，由于由一个或多个pv模块514b发射的el信号，pv串512b显得明亮(更高的光强度)。控制器250应用算法以确定相机的fov 910相对于pv串512b未对准。该算法利用亮的pv串512b与暗的背景1110之间的强度差异来检测pv串512b(或参考pv模块514b)的位置和定向。具体地，并且参照图13，算法检测pv串的边缘1310，并且从边缘1310导出关键点1320(例如，模块拐角点)。该算法随后确定与每个关键点1320对应的一组经对准点1330，其使未对准和任何角度或角度失真最小化。经对准点1330被设定在上水平指示符1340和下水平指示符1340上。
139.此外，该算法还确定该uav 20相对于该pv串512b的适当高度，该适当高度将该pv串512b以预定义大小比率放置在该相机的fov 910内。该预定义尺寸比率被设定成在pv串512b的顶部与底部与图像边界1410之间保持约5％
–
10％的空间以便允许对uav 20的位置振荡的容限。换句话说，pv串512b在预定义大小比率下占据相机的fov的80％至90％。
140.算法随后确定透视变换以将关键点1320与经对准点1330对准(如图14中所描绘的)。然后，控制器250被配置成基于透视变换对万向架228和推进设备220进行适当的调整。如在图14中可以看到的，相机的fov 910被对准到pv串512b，并且pv串512b在相机的fov910内处于预定义的大小比率。一旦对准，相机的光轴就垂直于pv串的平坦表面。由于pv串包括一个或多个pv模块514b，pv串的平坦表面由一个或多个pv模块的平坦表面构成。该一个或多个pv模块的平坦表面被定义为布置成接收太阳光的表面。
141.值得注意的是，控制器250被配置成在scan功能在进行中时执行重复的align功能。这确保在scan功能期间在捕获el图像时，相机的光轴垂直于pv串的平坦表面。有利地，这使透视失真最小化，并且增加了由相机222捕获的el图像的图像分辨率。此外，这允许相机222捕获在el图像上具有更一致的焦点的el图像。另外，精确地捕获来自每个pv模块514b的el强度，这对于分析目的是重要的。
142.值得注意的是，如果控制器250在el图像1200中没有检测到pv串512b的端部1210，则控制器250就被配置成调整推进设备220以沿着pv串的纵轴10a(参见图1)操纵uav 20，直到pv串512b的端部1210在el图像1200中。
143.在步骤450处，控制器250执行接下来结合图15至17描述的scan功能。图15包括图15a至15f，其分别示出了在沿pv串512b的不同位置处由相机222捕获的pv串512b的一系列1500六个连贯el框架。值得注意的是，el框架交叠，使得pv模块1510可能出现多于一次，即在图15a至15e中。
144.当考虑大型pv设施和uav 20的有限飞行时间时，扫描速度成为确定系统效率的关键参数。长的相机曝光时间通常导致更好的图像质量，即更好的信噪比(snr)。然而，与快速扫描速度耦合的长相机曝光时间导致运动模糊，这降低了图像质量。另一方面，短的相机曝光时间导致el图像具有太多噪声，尤其是当注入的电流低时，这也降低了图像质量。
145.由于pv模块1510出现在图15a至图15f中，所以存在可用于图像平均(再次在稍后的阶段)的pv模块1510的五个框架(将在稍后的阶段提取)。图像平均1520的snr大致随着可用于图像平均的框架数(n
frames
)的平方根而增加。换句话说，图像平均1520的图像噪声随着用于创建图像平均值的框架的数量而减小。可用于图像平均的框架的数目由控制器250实时计算，因为它还取决于扫描速度。
146.此外，即使align功能在scan功能期间被重复执行，相机的fov也难以在整个scan功能中保持完全稳定。考虑到由于作用在uav 20上的外力(诸如风)引起的uav 20的位置振荡，这尤其如此。这在图16中是显而易见的，图16是在执行图15a-15f中的el图像与pv串512b的图像对准之后的系列1500的示意图。在沿着pv串512b的el图像之间的点对点偏移中，uav 20的位置振荡是明显的。虽然通过align功能减轻(并且在很大程度上校正)位置振荡，但是扫描速度的任何计算必须考虑该偏转以及限制噪声和运动模糊。
147.限制噪声：
148.控制器250被配置成在scan功能期间执行光流分析(例如，lucas-kanade方法)。对于由相机222捕获的图15a至图15f中的每个框架，控制器250计算当前框架中的关键点，并且将当前框架中的关键点与前一框架中的关键点进行比较以确定偏转向量的长度。
149.图17是示出了点对点偏转的pv串512b两个连贯el图像(即图15d和15e)的示意图1700。图15e的前一el图像以虚线示出，而当前el图像f以粗线示出。根据图15d和15e的el图像中检测到的关键点的平均偏转，计算图像中心1720中对象1710的偏转。该偏转向量的长度称为d
f2f
。
150.控制器250计算通过图像中心1720并且处于偏转角的线1730。线1730在交叉点1750、1760处与图像边界1740相交。交叉点1750、1760之间的距离表示行进通过图像平面的对象距离。控制器250然后通过取偏转向量d
f2f
的长度与交叉点1750、1760之间的距离的比率来计算n
frames
。
151.噪声对图像质量的影响可以用snr来量化：
[0152][0153]
本该实施例中，以如下方式来计算snr。所捕获的otsu的方法被用于获得暗背景1110和pv串512b(或pv串512b的一部分)之间的阈值(t
otsu
)，该阈值由于由一个或多个pv模块514b发射的el信号而显得更亮。通过对比阈值t
otsu
更亮的所有像素的强度进行平均来获得
‘
信号’值。在el测量之前，从用相似或相当的系列成像参数(例如，曝光时间、传感器温度和增益)拍摄的多个图像的像素的标准偏差的平均中获得
‘
噪声’值。
[0154]
snr相关的扫描速度因子(或简称为snr扫描因子)f
snr
被应用于当前扫描速度，以确保图像平均1520的snr(snr
frame
)匹配使用方程(2)的目标snr(snr
target
)
[0155][0156]
例如，针对实验室测量，将snr
target
设定为45。在scan功能期间调整相机曝光时间以将snr
frame
保持在5(室外测量的最小要求)。控制器250然后估计25个el图像可供用于图像平均(n
frame
＝25)。基于方程(1)，换句话说，当前扫描速度应该减小到其当前值的56％。本质上，降低扫描速度增加了可用于创建图像平均1520的框架数(n
frames
)。
[0157]
限制运动模糊：
[0158]
为了避免运动模糊的影响，在框架的曝光(d
exp
)期间的对象偏转还应低于预定的最大值(d
exp—max
)。建议每曝光时间0.75像素的值。根据方程(3)，可使用两个框架(t
f2f
)和曝光时间(t
exp
)之间的时间差将框架到框架偏转(d
f2f
)缩放成曝光时间偏转(d
exp
)。
[0159][0160]
如方程(4)中所示，运动模糊相关扫描因子(f
blur
)等于最大对象偏转d
exp_max
与当前对象偏转d
exp
的比率。
[0161][0162]
扫描速度因子(f
scan
)从两个因子(f
snr
，f
blur
)中的最小者获得，如方程(5)中所示：
[0163]fscan
＝min(f
snr
，f
blur
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0164]
为了确保高el图像质量，使用方程(6)获得最大设定扫描速度v
quality
：
[0165]vquality
＝min(v
max
，f
scan
·vcur
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0166]
最大设定扫描速度v
quality
定义仍然可以实现高el图像质量的最大扫描速度。
[0167]
根据方程(6)，通过将扫描速度因子f
scan
与当前飞行速度v
cur
相乘来计算目标扫描速度。如果目标扫描速度低于uav 20的最大飞行速度v
max
，则目标扫描速度被选择为最大设定扫描速度v
quality
。换句话说，即使uav 20能够更快地移动至其最大飞行速度v
max
，因为这降低了el图像的图像质量，所以最大设定扫描速度v
quality
被设定在最大飞行速度v
max
以下。
[0168]
若最大设定扫描速度超过uav 20的最大飞行速度v
max
，则选择最大飞行速度v
max
作为最大设定扫描速度v
quality
。
[0169]
目标飞行速度v
target
是根据方程(7)从最大设定扫描速度v
quality
和用户输入因子f
user
获得的。
[0170]vtarget
＝v
quality
·fuser
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0171]
用户输入因子f
user
是从由工人30远程控制的操纵杆的偏转获得的，并且范围从0％至100％。在100％，目标飞行速度v
target
简单地是最大设定扫描速度v
quality
。
[0172]
对目标飞行速度v
target
应用平滑技术以使uav 20的颠簸移动最小化。在该实施例中，指数移动平均被用于根据方程(8)获得设定速度v
set
。α是0至100％范围内的平滑因子。
[0173]vset
＝(α
·vcur
) ((1-α)
·vtarget
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0174]
接下来参照图18a和18b描述scan功能的两个示例性实施例，图18a和18b是示出根据scan功能uav 20的当前飞行速度v
cur
分别随时间减小和增大的线图1800a、1800b。对于这两个实施例，用户输入因子f
user
取为100％，并且uav 20的最大飞行速度v
max
取为9m/s。
[0175]
参见图18a，在时间＝1s时，并且当uav20以6m/s的当前飞行速度v
cur
移动时，控制器250从方程(5)获得50％的扫描速度因子f
scan1
。如果扫描速度因子低于100％，则这表明uav 20移动的速度快于uav 20应该的速度。控制器250然后将目标扫描速度确定为3m/s。由于目标扫描速度低于uav 20的最大飞行速度v
max
，根据方程(6)，目标扫描速度被选择为最大设定扫描速度v
quality
。
[0176]
值得注意的是，由于用户输入因子f
user
是100％，所以根据方程(7)，最大设定扫描速度v
quality
也是目标飞行速度v
target
。
[0177]
然后，控制器250动态地降低空中交通工具的当前飞行速度，直到达到目标飞行速度v
target
。根据方程(8)的平滑技术被应用于使uav 20的颠簸移动最小化，并且这可以在uav 20的当前飞行速度v
cur
从6m/s(在时间＝1s时)到3m/s(在时间＝2s时)的平滑过渡中看到。
[0178]
在时间＝2s时，控制器250从方程(5)获得100％的扫描速度因子f
scan2
。此时，uav 20的当前飞行速度v
cur
与最大设定扫描速度v
quality
匹配。
[0179]
参见图18b，在时间＝1s时，并且当uav20以3m/s的当前飞行速度v
cur
移动时，控制器250从方程(5)获得150％的扫描速度因子f
scan1
。如果扫描速度因子在100％以上，则这表明uav 20能够移动得快50％，同时仍然与所需的图像质量匹配。控制器250然后将目标扫描速度确定为4.5m/s。
[0180]
由于目标扫描速度低于uav 20的最大飞行速度v
max
，因此根据方程(6)，目标扫描速度被选择为最大设定扫描速度v
quality
，而不是选择最大飞行速度v
max
作为最大设定扫描速度v
quality
。
[0181]
类似地，由于用户输入因子f
user
是100％，所以根据方程(7)，最大设定扫描速度v
quality
也是目标飞行速度v
target
。根据方程(8)的平滑技术也被应用于使uav 20的颠簸移动最小化。
[0182]
然后，控制器250动态地增加空中交通工具的当前飞行速度v
cur
，直到达到目标飞行速度v
target
。在时间＝2s时，控制器250从方程(5)获得100％的扫描速度因子f
scan2
。此时，uav 20的当前飞行速度v
cur
与最大设定扫描速度v
quality
匹配。
[0183]
值得注意的是，控制器250持续地执行scan功能，直到检测到pv串512b的相对端。一旦pv串512b的相对端被检测到，控制器250就终止scan功能并且el图像被存储在存储器单元252中。
[0184]
在步骤460，控制器250被配置成执行auto功能。图19(包括图19a至19e)是示出uav 20捕获pv阵列40的el视频图像(使用图5的pv阵列40作为示例)的时间流逝的示意图。pv阵列40被解说为包括pv串的两行1810、1820。控制器250可通信地耦合到并且能够控制电源36和切换器盒532(经由无线连接)，切换器盒532进而被电连接到pv阵列40。
[0185]
在t1，如图19a中所解说的，uav 20开始于第一行1810的端部1810a并在扫描方向1830上拍摄第一pv串1812a的el图像。在检测到pv串1812a的端部1814a之际，控制器250被配置成指令切换器盒532关闭当前通道，并打开用于下一pv串1812b的下一通道。值得注意
的是，注入到pv串1812b中的电流被维持在与pv串1812a相同的电平。该过程继续，直到控制器250检测到其在t2已经在pv串的第一行1810的相对端1810b处到达最后pv串1812f，如图19b中所示。
[0186]
在t3，如图19c中所解说的，控制器250被配置成指令电源36降低注入到pv串1812f中的电流。降低注入电流的目的是捕获低电流el图像以便与较高电流el图像相比较。然后，控制器250动态调整推进设备220以在扫描方向1840上移动uav 20，扫描方向1840与扫描方向1830相反。uav 20沿扫描方向1840移动并捕获处于较低的注入电流的第一行1810中的pv串的el图像。
[0187]
图19d解说了，在t4处，控制器250检测到uav 40已经到达pv串的第一行1810的端部1810a。此时，控制器250被配置成指令切换器框532关闭当前通道并打开下一通道以将第二行1820的第一pv串1820a置于正向偏压下。控制器250还被配置成执行find功能以定位由pv串1820a发射的el信号。值得注意的是，pv串1820a在find功能期间在相机的fov内，并且控制器250能够定位pv串1820a。
[0188]
在图19e中的t5处，控制器250被配置成将uav 20导航至pv串1820a。一旦uav 20已经到达pv串1820a，控制器250就被配置成再次执行scan功能。第二行1820中的pv串的el图像是使用用于捕获第一行1810中的pv串的el图像的类似过程来捕获的(如在t1至t4中详述的)。值得注意的是，控制器250被配置成贯穿scan功能的历时执行align功能。所捕获的el图像被存储在存储器单元252中。
[0189]
图20是所存储的el图像的文件结构的示意图1900。文件结构包括所存储的el图像1910和包括附加元数据1920的附加块。元数据1920被分成报头1930和正文1940。报头1922包括关于在保存el图像1910之前应用于el图像1910的图像校正方法的信息。图像校正方法包括暗电流减法、平场校正、不良像素取代和透镜失真去除。正文1924存储图像相关数据，该图像相关数据包括相机曝光时间和增益、uav地理位置、相机定向(偏转、俯仰、横滚)、注入电流、电压以及通道信息。
[0190]
相机222以大于8比特(例如，14或16比特)的位深来捕获/数字化el图像1910。这允许比单色8比特传感器的255个亮度步长内更精确地分辨图像强度范围。为了减小文件大小，使用基于8比特图像的图像编码器。每个el图像1910的上部和下部强度范围被存储在元数据1920中。从由相机222捕获的每一el图像1910的有效动态范围获得上部和下部强度范围。该范围可被用于将每8比特el图像缩放到原始较高深度相机图像的相应较低和较高强度范围。
[0191]
一旦uav 20返回其基地，所存储的el图像随后被传送给图像处理设备260以供进一步处理。
[0192]
在步骤470处，图像处理设备260执行随后参见图21至24描述的freeze功能。为了简洁起见，参照处理仅包括pv串512b的el图像来描述freeze功能。应理解，freeze功能可以按类似的方式处理每个el图像。
[0193]
freeze功能包括：(i)由框架提取模块270执行的框架提取步骤；以及(ii)由图像增强模块280执行的图像增强步骤。
[0194]
图21包括图21a至21c，其分别解说了作为框架提取步骤的一部分被处理的pv串512b的三个连贯的el框架图像2000a、2000b、2000c。图像处理器300指令框架提取模块270
从所有三个el框架图像2000a、2000b、2000c中确定pv串512b中的每个pv模块514b的相应拐角点2010。在每个el框架图像2000a、2000b、2000c中，每个pv模块514b的检测到的拐角点被示出为黑点2012。值得注意的是，在本实施例中，框架提取模块270未能在图21a中的第一el框架图像2000a中检测到特定pv模块2016的特定拐角点2014。
[0195]
在图21a的第一el框架图像2000a中检测到的所有拐角点2010在图21b的第二el框架图像2000b中被可视化为空点2020。值得注意的是，与图21a的第一el框架图像2000a中的它们对应的黑点2012相比，空点2030稍微向左移动。这是由于点对点偏转的校正。一旦局部拐角点密度超过某个阈值(在该实施例中两个检测到的拐角点2010是足够的)，图像处理器300就控制框架提取模块270以生成聚类点2022。通过对用于生成聚类点2022的所有拐角点2010取平均来获得聚类点的位置。这有利地减小了个体拐角点的空间检测误差。
[0196]
参见图21c，一旦聚类点2022移动到el框架图像的边界之外，就存储聚类点2022，如el图像2000c中的聚类点2030所解说的。一旦太多的el框架图像不再向聚类点添加拐角点2010，就丢弃el框架图像的边界内的聚类点2022。只要增加新的拐角点2010的el框架图像与不增加拐角点2010的el框架图像的比值高于某个阈值，就保持el框架图像边界内的聚类点2022，诸如el图像2000c中的聚类点2032。然后，框架提取模块270对所有聚类点2022进行网格化以生成/构造矩形状四边形或框架。每个框架由包含在每个框架中的相应pv模块的聚类点2022构成。
[0197]
图22解说了从正在图像增强步骤中处理的框架提取步骤中提取的框架2100。图像处理器300指令图像增强模块280根据其在pv串512b中的位置向每个框架2100指派水平和垂直模块索引2110。例如，与特定pv模块2514相关联的第一框架位于pv串512b的第一行和第一列中，并且被指派水平和垂直模块索引[1,1]。
[0198]
图像处理器300还控制图像增强模块280根据包含在每个框架中的pv模块514b(或类似地，根据它们的模块索引2110)对框架2100进行编组。每个框架2100包括四个聚类点2022(分别标记为
‘
a’至
‘
d’)。然后，每个组中的框架2100以堆叠布置(称为堆叠)来布置，使得标记有相同字母(
‘a’‑‘
d’)的聚类点2022被堆叠在彼此的顶部。图22中示出了具有模块索引[1,1]的示例性堆叠2120。
[0199]
图像增强模块280还被配置成丢弃不是框架2100的一部分的区域2124。
[0200]
使用示例性堆叠2120作为示例，图像增强模块280还被配置成从示例性堆叠2120内的框架2100确定具有最高图像质量的参考框架。基于框架内的pv模块514b的锐度、snr和完整性来评估图像质量。
[0201]
图像增强模块280还被配置成执行框架2100的图像对准。这使用图像对准算法(诸如，“使用经增强的相关系数的参数图像对准”)完成。图像增强模块280将示例性堆叠2120中的其余框架2100与参考框架对准。通过将其余框架中标记为
‘
a’的聚类点2022与参考框架中标记为
‘
a’的对应的聚类点2022对准以获得经图像对准的框架2130来进行图像对准。
[0202]
图像增强模块280还被配置成对经图像对准的框架2130执行图像平均以获得特定pv模块2514的经增强框架2140。使用诸如加权图像堆叠平均2032和/或专用深度卷积网络结构2034之类的超分辨率例程来执行图像平均。经增强框架2140具有比参考框架更高的snr(即，更低的噪声)和更高的分辨率(分辨率改进因子最高为3)。
[0203]
对其余堆叠重复相同的过程，以获得pv串512b中其余pv模块514b的相应经增强框
架。图像处理器300还控制图像增强模块280，以确定每个经增强框架的相应拐角点2010，并移除经增强框架中任何其余透视失真。
[0204]
图像处理器300还控制图像增强模块280以根据经增强框架的模块索引2110来布置经增强框架，以产生pv串的经增强el图像。如果pv串512b中的pv模块514b之间的距离相似，则产生单个经增强el图像。如果距离因两个pv模块之间的大间隙2112而变化(这表明其中一个pv模块属于分开的pv串512c)，则为分开的pv串512c产生分开的经增强el图像。
[0205]
图像增强模块280还被配置成缩放每个经增强框架的图像强度，以反映pv串512b中从最暗到最亮的pv模块514b的强度谱。由于强度缩放降低了pv模块强度范围的深度分辨率，因此各个pv模块514b的经增强框架与pv串的经增强el图像一起存储。
[0206]
在图像处理期间，图像强度以实数或浮点值表示。当在视觉上显示结果图像时，必须为图像强度指派介于最暗和最亮可显示值之间的亮度值。为了减少具有极端图像(或像素)强度值的像素的影响，亮度范围由包含最小数量像素(之前称为有效动态范围)的最低像素强度仓(bin)(虚线2201a)和最高像素强度仓(虚线2201b)定义。
[0207]
图23示出了经增强框架2140的像素强度直方图。可以看到分别对应于暗背景和亮el信号的像素强度的两个峰值2200a、2200b。定义最低像素强度仓(虚线2201a)和最高像素强度仓(虚线2201b)之间的亮度范围，以排除在许多像素中未出现的像素强度。在图23中，将最低像素强度仓(虚线2201a的左侧)以下的像素强度设定为最小值(0)，并且将最高像素强度仓(虚线2201b的右侧)以上的像素强度设定为可根据所选精度保存的最大值(对于8比特图像而言，2
8-1＝255)。介于两者之间的图像强度将在定义亮度范围的最小值(0)和最大值(255)之间缩放。
[0208]
图24解说了图像增强步骤完成后pv串512b的经增强el图像2200，并且注意到经增强el图像2200的分辨率好于参考框架的分辨率。值得注意的是，独立于扫描方向2210，即从左到右、从右到左、从上到下或任何其他组合，经增强el图像2200始终与相机的偏航(即光轴222a)对准，因为el图像2000a、2000b、2000c是用与pv串512b对准的相机的fov 910来捕获的。为易于参考，黑色三角形2220被用于指示经增强el图像2200的左下角，其中经增强el图像2200与相机的fov 910对准。
[0209]
现有已知方法随后可被用于处理经增强el图像2200，以基于el成像来标识pv串512b的任何有缺陷的pv模块。在标识了有缺陷的pv模块的情况下，知悉有缺陷的pv组件的地理位置可能是有帮助的。为此目的，可以使用映射模块290。
[0210]
图像处理器300控制映射模块290以执行如图25至28中所解说的map功能。映射模块290被配置成将pv串512b的经增强el图像2200映射到pv串2410的底图上。为了从经增强el图像2200中标识pv串512b中的pv模块514b(以及因此任何有缺陷的pv模块)的位置，在scan功能期间捕获、处理和存储以下信息：框架相关的定时地理位置(诸如时间、纬度、经度、高度)和相机定向(例如偏航、俯仰、滚转)。该信息被存储在每个所捕获的el图像/视频的元数据1920中(参考图20)。
[0211]
图像处理器300控制映射模块290以通过将经增强图像进行定向以将该经增强图像中的pv阵列子区段与底图中的pv阵列子区段对准来将经增强图像映射到底图上。如果经增强el图像2200中pv串512b的地理位置是已知的，但其定向(即相机的偏航)是未知的，则相对于黑色三角形2220有四个可能的定向(旋转0
°
、90
°
、180
°
、270
°
)以将图像与底图层中
20根据气压估计dz，这对于更长的飞行时间和不断变化的天气可能是错误的。
[0224]
参考图27，相机的fov 910的中心位置2440位于pv串512b内，而uav的飞行路径2450略低。利用高质量的位置数据和简单的pv串互连(pv串512b的情况就是这种情况)，映射模块290能够将经增强el图像2200准确地映射到底图2410上，而无需其他输入。如果存在更复杂的pv串互连和/或低质量的位置数据，则可通过比较测量编号、切换器盒以及关于哪个逆变器盒或组合器盒16连接到哪个切换器盒以及何时连接到切换器盒的信息，获得pv串的其他输入。
[0225]
图28a解说了使用串对准方法映射到示例性底图2620上的示例性经增强el图像2610。图28b解说了使用模块对准方法映射到示例性底图2640上的示例性经增强el图像2630。
[0226]
参照图28a，对于串对准方法，已知底图2620的拐角点2622，并且经增强el图像2610大致在底图2620的顶部对准。如果底图在经增强el图像2610下方包含多个pv串，则选择与经增强el图像2610共享最多交叠区域的pv阵列2620。然后，经增强el图像2610的四个拐角点2612由映射模块290按照最相似的方向与底图2620内pv串的拐角点2622进行仿射或透视对准2624。
[0227]
参考图28b，在该实施例中，经增强el图像2630中pv模块的数量与底图2640中pv模块的数量不匹配。当仅从所扫描的pv串的一部分中生成经增强el图像或pv串内的pv模块的互连不遵循规则模式时，就会发生这种情况。在这种情况下，除了底图2640的拐角点2642之外，必须知道pv串的每行和每列中的模块数量。此外，经增强el图像2630中的pv模块必须与底图2640中的pv模块大致对准。然后，图像处理器300指令映射模块290以获得从经增强el图像2630中的拐角点2632的偏转向量到底图2640中的pv模块的所有对应拐角点2642的仿射或透视图像变换。图像处理器300还指令映射模块290基于拐角点2632与拐角点2642的最大交叠，并根据最相似的定向，将经增强el图像2630映射到底图2640上。
[0228]
一旦经增强el图像2200、2610、2630被映射到底图2410、2620、2640上，就可以从底图2410、2620、2640中轻松标识经增强el图像2200、2610、2630中标识的pv模块缺陷的地理位置(诸如gps坐标)信息，以供维修工作和/或维护。
[0229]
有利的是，根据所述实施例，uav 20可以在昏暗的光线条件下拍摄低分辨率单色视频，并且可以生成经增强的分辨率和经改进的质量图像，以标识有缺陷的pv模块并估计pv模块功率损失。具体而言，机载处理子系统240能够自主导航uav 20并执行示例性方法400。
[0230]
此外，由于处理诸如框架相关的定时地理位置(诸如时间、纬度、经度、高度等)和相机定向(例如偏航、俯仰、滚动)之类的信息，因此可以可靠且准确地再现特定el图像的pv串的位置。
[0231]
应注意，本文描述的各种实施例不应被解释为限制性的。例如，uav 20还可配备有用于额外距离测量的超声设备。此外，相机222可以在正向偏压下捕获pv串的静止el图像，或者记录pv串的视频。此外，可以使用彩色传感器代替单色传感器。尽管所描述的实施例使用“pv串”作为示例，但可以使用任何其他pv电气连接，并且从广义上讲，该实施例可以与任何pv阵列一起使用。
[0232]
可以使用其他类型的空中交通工具，诸如无人机，而不仅仅是uav。
[0233]
虽然示例性方法400被描述为包括所有8个功能：focus、point、find、align、scan、auto、freeze、map，但将理解，系统200可以以任何合理的顺序执行任意数量的功能。例如，在替代实施例中，机载处理子系统240可能不执行auto功能，因为工人30可能希望更好地控制要检查的pv串。在这种情况下，工人在scan功能完成后手动控制切换器盒32和电源36，并相应地启动find或scan功能。图像处理设备260还可以在没有map功能的情况下执行freeze功能。
[0234]
此外，可以在整个方法400中始终执行focus功能，尤其是在scan功能进行时，以确保所捕获的el图像具有高质量的锐度。替换地，如果uav 20和pv阵列10之间的距离可以保持在较窄的范围内，则根本不需要执行focus功能。在这样的实施例中，可以使用没有受控焦点调整的固定焦点透镜，而不是聚焦透镜223。
[0235]
此外，在替换实施例中，uav 20可以将所捕获的el图像远程传输到图像处理设备260，而无需首先返回基座。
[0236]
此外，可以将预先确定的最大值(d
exp_max
)设定为1.5。
[0237]
在另一示例中，如果透镜滤波器被布置成滤除来自激光器的任何光学干扰，则可能不需要关闭激光器。
[0238]
在另一示例中，在scan功能期间，预定义尺寸比率也可以设定为在pv串512b的顶部和底部与图像边界1410之间保持约15％-20％(或更高，例如20％-25％)的空间，以允许对uav 20的位置振荡有更大的容限，这取决于uav 20看上去的不稳定性。