基于图像采集的河道采砂监控处理方法及系统与流程

1.本发明涉及采砂安全监控领域，具体而言，涉及一种基于图像采集的河道采砂监控处理方法及系统。


背景技术：

2.目前，为了综合考虑环境治理以及资源开发，河道采砂相关项目需要被严密的监控，在传统的监控方式中，一般根据具体采砂的产量进行监管，但随着采砂设备的更替，采砂效率的提高，在相同的工作时间内，已经能够完成庞大的采砂工作，这导致了还利用采砂工作结束后基于产出确定的采砂状态存在滞后性，可能会造成采砂过量的情况发生，而一旦发生这种情况，造成的后果是严重的。


技术实现要素：

3.本发明的目的在于提供一种基于图像采集的河道采砂监控处理方法及系统。
4.第一方面，本发明实施例提供基于图像采集的河道采砂监控处理方法，包括：获取待处理河道采砂监控时间范围的待处理采砂区域图像；分别提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性，其中，参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取；根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性；根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
5.在一种可能的实施方式中，根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像，包括：从参考采砂区域图像中获取符合待处理采砂区域图像监控角度的待定像素点，得到第一待定像素点数组；根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理，得到关键采砂区域图像。
6.在一种可能的实施方式中，根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理，包括：根据初始关联性从第一待定像素点数组中获取第一关键像素点，并根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析。
7.在一种可能的实施方式中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的rgb值；参考采砂区域图像的采砂图像向量包括：参考采砂区域图像中每一像素点的绝对坐标参数、及在参考采砂区域图像中的rgb值；根据初始关联性从第一待定像素点数组中获取第一关键像素点，并根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析，包括：根据第一向量距离，获取待处理采砂区域图像中每一像素点关于参考采砂区域图像中每一像素点的第一差异系数，其中，第一差异系数用于反映待处理采砂区域图像中每一像素点对参考采砂区域图像中每一像素点的差异程度；按照第一差异系数从大至小的顺序从第一待定像素点数组中获取相应的待定像素点，作为第一关键像素点；根据第一关键像素点在参考采砂区域图像中的rgb值、及第一关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点。
8.在一种可能的实施方式中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的rgb值；关键采砂区域图像的采砂图像向量包括：关键采砂区域图像中每一像素点的绝对坐标参数、及在关键采砂区域图像中的rgb值，根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果，包括：根据第二向量距离，获取待处理采砂区域图像中每一像素点关于关键采砂区域图像中每一像素点的第二差异系数，其中，第二差异系数用于反映待处理采砂区域图像中每一像素点对关键采砂区域图像中每一像素点的差异程度；根据第二差异系数和关键采砂区域图像中像素点的rgb值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组；根据待处理采砂区域图像中的当前像素点和监控时间戳，从第二待定像素点数组中获取第二关键像素点；根据监控时间戳和第二关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点，以对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
9.在一种可能的实施方式中，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果，包括;根据采砂合法性评估命令，获取与待处理采砂区域图像对应的评估像素点向量，评估像素点向量包括评估像素点的绝对坐标参数和rgb值； 确定与待处理采砂区域图像对应的评估像素点向量所分别对应的不同河道采砂地区； 基于不同河道采砂地区，确定与不同河道采砂地区对应的评估调整系数； 基于评估调整系数，对待处理采砂区域图像对应的评估像素点向量进行优化，以形成与对应的河道采砂地区对应的评估向量集合；通过预先训练的采砂合法性评估模型对评估向量集合进行采砂合法性评估，得到待处理采砂区域图像的目标采砂评估结果，其中，采砂合法性评估模型包括向量抽取架构、向量分类架构以及时间戳提取架构； 输出待处理采砂区域图像的目标采砂评估结果。
10.在一种可能的实施方式中，方法还包括：
获取多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息；根据多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息，得到与采砂合法性评估模型对应的样本评估向量集合，其中样本评估向量集合中包括不同监控时间戳的样本评估像素点向量；确定不同的时间戳位置，并根据相应的时间戳位置对样本评估向量集合进行处理，确定与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合，其中，训练评估向量集合包括至少一组样本训练评估像素点向量；通过采砂合法性评估模型中向量抽取架构，对训练评估向量集合进行处理，以确定向量抽取架构的原始网络参量；根据向量抽取架构的原始网络参量，通过向量抽取架构对训练评估向量集合进行处理，确定向量抽取架构的优化网络参量；确定向量抽取架构对应的代价函数；根据向量抽取架构的优化网络参量，对向量抽取架构的参数进行优化；直到向量抽取架构的代价函数达到预置损失结果，并且基于向量抽取架构中的参数，能够提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素；通过采砂合法性评估模型中向量分类架构，对训练评估向量集合进行处理，以确定向量分类架构的原始网络参量；将训练评估向量集合中不同样本训练评估像素点向量，参与计算向量分类架构所对应的代价函数；确定代价函数满足预置损失结果时向量分类架构对应优化网络参量；根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果；根据时间戳提取架构的原始网络参量，通过时间戳提取架构对训练评估向量集合进行处理，确定时间戳提取架构的优化网络参量；根据时间戳提取架构的优化网络参量，通过训练评估向量集合对时间戳提取架构的参数进行优化，判定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳，以达到通过采砂合法性评估模型对河道采砂地区中的待处理采砂区域图像的合法性进行评估。
11.在一种可能的实施方式中，根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果，包括：确定向量分类架构对应的代价函数；根据向量分类架构的优化网络参量，对向量分类架构的参数进行优化；直到向量分类架构的代价函数达到预置损失结果，并且基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果。
12.在一种可能的实施方式中，方法还包括：将训练评估向量集合中不同样本训练评估像素点向量，参与计算时间戳提取架构
所对应的代价函数；确定代价函数满足预置损失结果时时间戳提取架构对应优化网络参量；确定时间戳提取架构对应的代价函数；根据时间戳提取架构的优化网络参量，对时间戳提取架构的参数进行优化；直到时间戳提取架构的代价函数达到预置损失结果，并且基于时间戳提取架构中的参数，能够确定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳。
13.第二方面，本发明实施例提供基于图像采集的河道采砂监控处理系统，包括：获取模块，用于获取待处理河道采砂监控时间范围的待处理采砂区域图像；提取模块，用于分别提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性，其中，参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取；根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性；评估模块，用于根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
14.相比现有技术，本发明提供的有益效果包括：采用本发明公开的一种基于图像采集的河道采砂监控处理方法及系统，通过提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，并基于二者得到初始关联性；接着根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；再提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，并基于二者得到目标关联性；最终根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，进行采砂合法性评估得到目标采砂评估结果，如此设计，利用了初始关联性确定出采砂关键区域图像，降低了干扰，再利用目标关联性对待处理河道图像中的采砂合法性进行更为准确地评估。
附图说明
15.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
16.图1为本发明实施例提供的基于图像采集的河道采砂监控处理方法的步骤流程示意图；图2为本发明实施例提供的基于图像采集的河道采砂监控处理系统的结构示意框图；图3为本发明实施例提供的计算机设备的结构示意框图。
具体实施方式
17.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
18.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。根据本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
20.在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为根据附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
21.此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
22.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
23.下面结合附图，对本发明的具体实施方式进行详细说明。
24.请参阅图1，图1为本技术实施例提供的方法的流程示意图。该基于图像采集的河道采砂监控处理方法的具体流程可以如下：步骤s101、获取待处理河道采砂监控时间范围的待处理采砂区域图像。
25.其中，待处理河道采砂监控时间范围可以为需要对河道采砂区域进行监控的时段，如一天、一小时等。该待处理采砂区域图像则为需要进行当前河道采砂是否合法合格的图像。参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取，采砂监控视频数据可以是通过无人机在预设固定位置拍摄得到的，也可以是预先架设的摄像机采集得到的，在此不做限制。
26.在本实施例中，参考采砂区域图像与待处理采砂区域图像对应的河道采砂地点相同。待处理采砂区域图像的采砂图像向量可以包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的rgb（rgb color mode，rgb色彩模式）值。参考采砂区域图像的采砂图像向量包括：参考采砂区域图像中每一像素点的绝对坐标参数、及在参考采砂区域图像中的rgb值。其中，绝对坐标参数可以指相对于预设参照对象的坐标值。rgb值则可以表征像素点在图像中的颜色表征，在本技术实施例中，可以通过不同像素点的颜色表征确定该像素点在图像中代指对象，例如砂土、河流、天空、机器设备等，在
此不做限制，利用rgb值便能够分辨各个像素点的表征事物，具体对应表征关系可以预先存储在对应的服务器中，可以由神经网络训练得到。
27.步骤s102、分别提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性。
28.步骤s103、根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像。
29.实际应用中，在根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作时，可以从参考采砂区域图像中获取符合待处理采砂区域图像监控角度的待定像素点，得到第一待定像素点数组，然后根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理，从而得到关键采砂区域图像。
30.进一步的，在根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理时，具体可以根据初始关联性从第一待定像素点数组中获取第一关键像素点，并根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析，以得到关键采砂区域图像。在一实施方式中，在根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析时，具体可以包括以下流程：根据第一向量距离，获取待处理采砂区域图像中每一像素点关于参考采砂区域图像中每一像素点的第一差异系数，其中，第一差异系数用于反映待处理采砂区域图像中每一像素点对参考采砂区域图像中每一像素点的差异程度；按照第一差异系数从大至小的顺序从第一待定像素点数组中获取相应的待定像素点，作为第一关键像素点；根据第一关键像素点在参考采砂区域图像中的rgb值、及第一关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点。
31.具体的，根据待处理采砂区域图像中每一像素点关于参考采砂区域图像中每一像素点的差异系数的大小，从第一待定像素点数组中获取出待处理采砂区域图像重点关注的像素点，并根据所筛选出像素点在参考采砂区域图像中的特征，在待处理采砂区域图像中确定出的相应位置确定出用户需求的与砂土、砂石采集有关的像素点，并将这些像素点确定的图像区域作为关键采砂区域图像。还可以区分出与砂土、砂石本身不存在直接关联的例如其他固定环境、工作人员、工作设备等无关像素点。
32.步骤s104、分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性。
33.在本实施例中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的rgb值；关键采砂区域图像的采砂图像向量包括：关键采砂区域图像中每一像素点的绝对坐标参数、及在关键采砂区域图像中的rgb值。
34.在获取关键采砂区域图像的采砂图像向量与待处理采砂区域图像的采砂图像向量之间的目标关联性时，具体可以分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，然
后获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，并根据该第二向量距离获取关键采砂区域图像的采砂图像向量与待处理采砂区域图像的采砂图像向量之间目标关联性。
35.步骤s105、根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
36.具体的，可通过预先训练的神经网络模型作为评估工作，以输出目标采砂评估结果。在一些实施例中，在根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果时，具体可以包括：根据目标关联性和关键采砂区域图像中像素点的rgb值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组；根据该监控时间戳和第二待定像素点数组，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
37.具体的，在根据目标关联性和关键采砂区域图像中像素点的rgb值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组时，可根据第二向量距离获取待处理采砂区域图像中每一像素点关于关键采砂区域图像中每一像素点的第二差异系数，其中，第二差异系数用于反映待处理采砂区域图像中每一像素点对关键采砂区域图像中每一像素点的差异程度。然后，根据第二差异系数和关键采砂区域图像中像素点的rgb值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组。
38.在根据监控时间戳和第二待定像素点数组，对待处理采砂区域图像进行采砂合法性评估时，可根据待处理采砂区域图像中的当前像素点和监控时间戳，从第二待定像素点数组中获取第二关键像素点，然后根据监控时间戳和第二关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点，以对待处理采砂区域图像进行采砂合法性评估。
39.本技术实施例提供的方法，通过获取待处理河道采砂监控时间范围的待处理采砂区域图像，并根据待处理采砂区域图像的采砂图像向量与参考采砂区域图像的采砂图像向量之间的初始关联性，将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像，至此，便能够将无关的图像区域排除，降低后续对评估结果的干扰；根据关键采砂区域图像的采砂图像向量与待处理采砂区域图像的采砂图像向量之间的目标关联性、及待处理采砂区域图像中像素点的监控时间戳，结合预先训练的神经网络模型对待处理采砂区域图像进行采砂合法性评估，以得到目标采砂评估结果，提高了针对采砂结果的实时性和准确性。
40.为了能够更加清楚的描述本技术实施例提供的方案，下面对如何确定目标采砂评估结果进行详细的描述。
41.通过根据采砂合法性评估命令，获取与待处理采砂区域图像对应的评估像素点向量；通过预先训练的采砂合法性评估模型对评估向量集合进行采砂合法性评估，得到待处理采砂区域图像的目标采砂评估结果；输出待处理采砂区域图像的目标采砂评估结果。
42.当然在通过采砂合法性评估模型对采砂区域图像进行处理以生成相应的预测结果之前，还需要对采砂合法性评估模型进行训练，具体包括：获取多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息；根据
多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息，得到与采砂合法性评估模型对应的样本评估向量集合，其中样本评估向量集合中包括不同监控时间戳的样本评估像素点向量；基于不同的时间戳位置，对样本评估向量集合进行处理，确定与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合，其中，训练评估向量集合包括至少一组样本训练评估像素点向量；根据与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合对采砂合法性评估模型进行训练，确定与采砂合法性评估模型匹配的神经网络参量，以达到通过采砂合法性评估模型对河道采砂地区中的待处理采砂区域图像的合法性进行评估。
43.在本发明实施例中，还提供如下示例。
44.步骤s301：基于监控时间戳信息的采砂合法性评估装置基于多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息，获取与采砂合法性评估模型对应的样本评估向量集合。
45.其中，样本评估向量集合中包括不同监控时间戳的样本评估像素点向量。
46.在本发明的一些实施例中，由于所获取的包括不同监控时间戳的样本评估像素点向量可能含有噪声信息，因此需要进行除噪处理，可以通过以下方式实现：确定与所采砂合法性评估模型相对应的固定噪声阈值，并根据固定噪声阈值对样本评估向量集合进行去噪处理，以形成与固定噪声阈值对应的样本评估向量集合。
47.步骤s302：基于监控时间戳信息的采砂合法性评估装置确定不同的时间戳位置，并根据相应的时间戳位置，对样本评估向量集合进行处理，确定与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合。
48.其中，训练评估向量集合包括至少一组样本训练评估像素点向量。
49.可选地，采砂合法性评估模型中的神经网络结构可以为卷积神经网络、深度神经网络或生成对抗网络等，本发明实施例对采砂合法性评估模型中的神经网络结构的类型不作限定；预置优化算法可以是随机梯度下降算法、小批量梯度下降算法等，在此不做限制。采砂合法性评估模型中的神经网络结构可以为适用于不同的目标对象预测任务的神经网络，例如：待处理采砂区域图像风险预判任务、产品风险评估任务、待处理采砂区域图像状态分析任务等。采砂合法性评估模型中的神经网络结构也可以为适用于不同的应用场景的神经网络，本发明实施例对采砂合法性评估模型中的神经网络结构的适用范围不作限定。可选地，采砂合法性评估模型中的神经网络结构的网络结构可以根据计算机视觉任务设计，或者，采砂合法性评估模型中的神经网络结构的网络结构可以采用现有的网络结构的至少一部分，例如：深度残差网络等，本发明实施例对采砂合法性评估模型中的神经网络结构的网络结构不作限定。
50.步骤s303：基于监控时间戳信息的采砂合法性评估装置根据与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合对采砂合法性评估模型进行训练，确定与采砂合法性评估模型匹配的神经网络参量。
51.由此，可以达到通过采砂合法性评估模型对河道采砂地区中的待处理采砂区域图像的合法性进行评估。
52.在本发明的一些实施例中，根据训练评估向量集合对采砂合法性评估模型进行训练，确定与采砂合法性评估模型匹配的神经网络参量，可以通过以下方式实现：
根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中向量抽取架构的神经网络参量；根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中向量分类架构的神经网络参量；根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中时间戳提取架构的神经网络参量。其中，本技术中的采砂合法性评估模型训练阶段包括：1）向量抽取架构训练阶段2）向量分类架构和时间戳提取架构的训练阶段。假设利用预先设定好的时间戳将数据划分为了多个监控时间戳数据集，每个监控时间戳数据集上有不同的作为样本训练评估像素点向量的有标记数据。当然，在本发明的另一些实施例中，样本训练评估像素点向量的数据采集阶段还存在一些无标签数据也可以加入样本训练评估像素点向量中，但仅用做时间戳提取架构的训练评估向量集合，不用于向量分类架构的样本训练评估像素点向量。
53.在本发明的一些实施例中，根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中向量抽取架构的神经网络参量，可以通过以下方式实现：通过采砂合法性评估模型中向量抽取架构，对训练评估向量集合进行处理，以确定向量抽取架构的原始网络参量；根据向量抽取架构的原始网络参量，通过向量抽取架构对训练评估向量集合进行处理，确定向量抽取架构的优化网络参量；根据向量抽取架构的优化网络参量，通过训练评估向量集合对向量抽取架构的参数进行优化，以提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素。其中采砂合法性评估模型包括由一个向量抽取架构和一个向量分类架构以及时间戳提取架构组成，其中，向量抽取架构负责提取后续不通分类网络所需要的采砂评估元素，所有不同监控时间戳的数据共享同一个无关特征提取器。该特征提取器将各个监控时间戳样本评估像素点向量映射到同一个空间中。其结构为一个全连接网络，它的输入为每个训练评估像素点向量的原始特征，输出为每个训练评估像素点向量的采砂评估元素，具体来说，特征提取网络的主要目的为基于训练评估向量集合的少量样本将其映射到不同的特征向量表示空间，在该空间中相似的任务距离越近。参数生成网络则以特征向量为输入自适应地生成后续向量分类架构参数以及分类器网络的神经网络参量。
54.在本发明的一些实施例中，根据向量抽取架构的原始网络参量，通过向量抽取架构对训练评估向量集合进行处理，确定向量抽取架构的优化网络参量，可以通过以下方式实现：将训练评估向量集合中不同样本训练评估像素点向量，参与计算向量抽取架构所对应的代价函数；确定代价函数满足预置损失结果时向量抽取架构对应优化网络参量。其中，在本发明的一些实施例中，根据向量抽取架构的优化网络参量，通过训练评估向量集合对向量抽取架构的参数进行优化，以提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素，可以通过以下方式实现：确定向量抽取架构对应的代价函数；根据向量抽取架构的优化网络参量，对向量抽取架构的参数进行优化；直到向量抽取架构的代价函数达到预置损失结果，并且基于向量抽取架构中的参数，能够提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素。其中，向量抽取架构所处理的训练评估向量集合包括不同河道采砂地区中的不同用户所分别对应的个人信息特征、风控模式特征、信用风险类别特征、以及对应的训练任务标签。所提取的每个训练评估像素点向量的采砂评估元素可以用于采砂合法性评估模型中的分类器网络型形成相应的预测结果，以及时间戳提取架构确定各个训练评估像素点向量所
分别对应的监控时间戳。
55.在本发明的一些实施例中，根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中向量分类架构的神经网络参量，包括：通过采砂合法性评估模型中向量分类架构，对训练评估向量集合进行处理，以确定向量分类架构的原始网络参量；根据向量分类架构的原始网络参量，通过向量分类架构对训练评估向量集合进行处理，确定向量分类架构的优化网络参量；根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果。
56.在本发明的一些实施例中，根据向量分类架构的原始网络参量，通过向量分类架构对训练评估向量集合进行处理，确定向量分类架构的优化网络参量，可以通过以下方式实现：将训练评估向量集合中不同样本训练评估像素点向量，参与计算向量分类架构所对应的代价函数；确定代价函数满足预置损失结果时向量分类架构对应优化网络参量。
57.在本发明的一些实施例中，根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果，可以通过以下方式实现：确定向量分类架构应的代价函数；根据向量分类架构的优化网络参量，对向量分类架构的参数进行优化；直到向量分类架构的代价函数达到预置损失结果，并且基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果。其中，采砂合法性评估模型中的向量分类架构可以通过对所有域中有标记样本进行识别分类预测，可选的，向量分类架构的结构为一个全连接网络。通过的每个有标记样本的采砂评估元素，输出样本的预测类别，以提示当前的用户是否有违背采砂合法性的风险，例如，采砂过量、禁区采砂等。
58.在本发明的一些实施例中，根据训练评估向量集合对采砂合法性评估模型进行训练，确定采砂合法性评估模型中时间戳提取架构的神经网络参量，可以通过以下方式实现：根据时间戳提取架构的原始网络参量，通过时间戳提取架构对训练评估向量集合进行处理，确定时间戳提取架构的优化网络参量；根据时间戳提取架构的优化网络参量，通过训练评估向量集合对时间戳提取架构的参数进行优化，以确定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳。其中，时间戳提取架构可以对所有样本进行时间戳判别预测，确定当前样本来自哪一个监控时间戳。时间戳提取架构的结构为一个全连接网络，时间戳提取架构的输入为每个有标记样本的采砂评估元素，输出为域判别的预测结果。
59.在本发明的一些实施例中，根据时间戳提取架构的原始网络参量，通过时间戳提取架构对训练评估向量集合进行处理，确定时间戳提取架构的优化网络参量，可以通过以下方式实现：将训练评估向量集合中不同样本训练评估像素点向量，参与计算时间戳提取架构所对应的代价函数；确定代价函数满足预置损失结果时时间戳提取架构对应优化网络参
量。
60.在本发明的一些实施例中，根据时间戳提取架构的优化网络参量，通过训练评估向量集合对时间戳提取架构的参数进行优化，以提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素，可以通过以下方式实现：确定时间戳提取架构对应的代价函数；根据时间戳提取架构的优化网络参量，对时间戳提取架构的参数进行优化；直到时间戳提取架构的代价函数达到预置损失结果，并且基于时间戳提取架构中的参数，能够确定训练评向量集合中各个训练评估像素点向量所分别对应的监控时间戳。其中，前向传播中向量抽取架构提取的信息传入时间戳提取架构，时间戳提取架构通过确定传入的信息来哪一个监控时间戳，并计算时间戳损失。时间戳提取架构的目标是尽可能区分出输入的特征来哪一个监控时间戳。应当理解是，之所以要结合监控时间戳，是因为不同时间段对于相关图像像素的影响较大，需要确认后方可调用对应的参数，得到准确地评估结果。
61.请结合参阅图2，本发明实施例提供一种基于图像采集的河道采砂监控处理系统110，包括：获取模块1101，用于获取待处理河道采砂监控时间范围的待处理采砂区域图像。
62.提取模块1102，用于分别提取待处理采砂区域图像和参考采砂区域图像中每一像素点的特征化参量，得到多个初始待处理采砂图像向量和多个参考采砂图像向量，获取每一初始待处理采砂图像向量与每一对应参考采砂图像向量之间的第一向量距离，得到初始关联性，其中，参考采砂区域图像根据预置参考时间范围的采砂监控视频数据获取；根据初始关联性将参考采砂区域图像和待处理采砂区域图像执行比对分析操作，得到关键采砂区域图像；分别提取待处理采砂区域图像和关键采砂区域图像中每一像素点的特征化参量，得到多个比对待处理采砂图像向量和多个关键采砂图像向量，获取每一比对待处理采砂图像向量与每一对应关键采砂图像向量之间的第二向量距离，得到目标关联性；评估模块1103，用于根据目标关联性和待处理采砂区域图像中像素点的监控时间戳，对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
63.在一种可能的实施方式中，提取模块1102具体用于：从参考采砂区域图像中获取符合待处理采砂区域图像监控角度的待定像素点，得到第一待定像素点数组；根据初始关联性和第一待定像素点数组对待处理采砂区域图像进行处理，得到关键采砂区域图像。
64.在一种可能的实施方式中，提取模块1102进一步具体用于：根据初始关联性从第一待定像素点数组中获取第一关键像素点，并根据第一关键像素点对待处理采砂区域图像的像素点进行对比分析。
65.在一种可能的实施方式中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的rgb值；参考采砂区域图像的采砂图像向量包括：参考采砂区域图像中每一像素点的绝对坐标参数、及在参考采砂区域图像中的rgb值；提取模块1102进一步具体用于：根据第一向量距离，获取待处理采砂区域图像中每一像素点关于参考采砂区域图像中每一像素点的第一差异系数，其中，第一差异系数用于反映待处理采砂区域图像中每
一像素点对参考采砂区域图像中每一像素点的差异程度；按照第一差异系数从大至小的顺序从第一待定像素点数组中获取相应的待定像素点，作为第一关键像素点；根据第一关键像素点在参考采砂区域图像中的rgb值、及第一关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点。
66.在一种可能的实施方式中，待处理采砂区域图像的采砂图像向量包括：待处理采砂区域图像中每一当前像素点的绝对坐标参数、及在待处理采砂区域图像中的rgb值；关键采砂区域图像的采砂图像向量包括：关键采砂区域图像中每一像素点的绝对坐标参数、及在关键采砂区域图像中的rgb值，评估模块1103具体用于：根据第二向量距离，获取待处理采砂区域图像中每一像素点关于关键采砂区域图像中每一像素点的第二差异系数，其中，第二差异系数用于反映待处理采砂区域图像中每一像素点对关键采砂区域图像中每一像素点的差异程度；根据第二差异系数和关键采砂区域图像中像素点的rgb值，从关键采砂区域图像中获取待定像素点，得到第二待定像素点数组；根据待处理采砂区域图像中的当前像素点和监控时间戳，从第二待定像素点数组中获取第二关键像素点；根据监控时间戳和第二关键像素点对应的绝对坐标参数，在待处理采砂区域图像中的相应位置确定出评估像素点，以对待处理采砂区域图像进行采砂合法性评估，得到目标采砂评估结果。
67.在一种可能的实施方式中，评估模块1103进一步具体用于：根据采砂合法性评估命令，获取与待处理采砂区域图像对应的评估像素点向量，评估像素点向量包括评估像素点的绝对坐标参数和rgb值； 确定与待处理采砂区域图像对应的评估像素点向量所分别对应的不同河道采砂地区； 基于不同河道采砂地区，确定与不同河道采砂地区对应的评估调整系数； 基于评估调整系数，对待处理采砂区域图像对应的评估像素点向量进行优化，以形成与对应的河道采砂地区对应的评估向量集合；通过预先训练的采砂合法性评估模型对评估向量集合进行采砂合法性评估，得到待处理采砂区域图像的目标采砂评估结果，其中，采砂合法性评估模型包括向量抽取架构、向量分类架构以及时间戳提取架构； 输出待处理采砂区域图像的目标采砂评估结果。
68.在一种可能的实施方式中，评估模块1103进一步具体用于：获取多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息；根据多个样本采砂区域图像的评估像素点向量和河道采砂地区的地区信息，得到与采砂合法性评估模型对应的样本评估向量集合，其中样本评估向量集合中包括不同监控时间戳的样本评估像素点向量；确定不同的时间戳位置，并根据相应的时间戳位置对样本评估向量集合进行处理，确定与采砂合法性评估模型对应的不同监控时间戳的训练评估向量集合，其中，训练评估向量集合包括至少一组样本训练评估像素点向量；通过采砂合法性评估模型中向量抽取架构，对训练评估向量集合进行处理，以确定向量抽取架构的原始网络参量；根据向量抽取架构的原始网络参量，通过向量抽取架构对训练评估向量集合进行处理，确定向量抽取架构的优化网络参量；确定向量抽取架构对应的代价函数；根据向量抽取架构的优化网络参量，对向量抽取架构的参数进行优化；直到向量抽取架构的代价函数达到预置损失结果，并且基于向量抽取架构中的参数，能够提取训练评估向量集合中每个训练评估像素点向量的采砂评估元素；通过采砂合法性评估模型中向量分类架构，对训练评估向量集合进行处理，以确定向量分类架构的原始网络参量；将训练评估向量集合中不同样本训练评
估像素点向量，参与计算向量分类架构所对应的代价函数；确定代价函数满足预置损失结果时向量分类架构对应优化网络参量；根据向量分类架构的优化网络参量，通过训练评估向量集合对向量分类架构的参数进行优化，以达到基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果；根据时间戳提取架构的原始网络参量，通过时间戳提取架构对训练评估向量集合进行处理，确定时间戳提取架构的优化网络参量；根据时间戳提取架构的优化网络参量，通过训练评估向量集合对时间戳提取架构的参数进行优化，判定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳，以达到通过采砂合法性评估模型对河道采砂地区中的待处理采砂区域图像的合法性进行评估。
69.在一种可能的实施方式中，评估模块1103进一步具体用于：确定向量分类架构对应的代价函数；根据向量分类架构的优化网络参量，对向量分类架构的参数进行优化；直到向量分类架构的代价函数达到预置损失结果，并且基于相应的训练评估像素点向量标签以及每个训练评估像素点向量的采砂评估元素，确定各个训练评估像素点向量的采砂评估结果。
70.在一种可能的实施方式中，评估模块1103进一步具体用于：将训练评估向量集合中不同样本训练评估像素点向量，参与计算时间戳提取架构所对应的代价函数；确定代价函数满足预置损失结果时时间戳提取架构对应优化网络参量；确定时间戳提取架构对应的代价函数；根据时间戳提取架构的优化网络参量，对时间戳提取架构的参数进行优化；直到时间戳提取架构的代价函数达到预置损失结果，并且基于时间戳提取架构中的参数，能够确定训练评估向量集合中各个训练评估像素点向量所分别对应的监控时间戳。
71.需要说明的是，前述基于图像采集的河道采砂监控处理系统110的实现原理可以参考前述基于图像采集的河道采砂监控处理方法的实现原理，在此不再赘述。应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块1101可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上获取模块1101的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
72.例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，asic)，或，一个或多个微处理器(digital signal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。
73.本发明实施例提供一种计算机设备100，计算机设备100包括处理器及存储有计算机指令的非易失性存储器，计算机指令被处理器执行时，计算机设备100执行前述的基于图像采集的河道采砂监控处理系统110。如图3所示，图3为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括基于图像采集的河道采砂监控处理系统110、存储器111、处理器112及通信单元113。
74.为实现数据的传输或交互，存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。例如，可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。基于图像采集的河道采砂监控处理系统110包括至少一个可以软件或固件（firmware）的形式存储于存储器111中或固化在计算机设备100的操作系统（operating system，os）中的软件功能模块。处理器112用于执行存储器111中存储的基于图像采集的河道采砂监控处理系统110，例如基于图像采集的河道采砂监控处理系统110所包括的软件功能模块及计算机程序等。
75.本发明实施例提供一种可读存储介质，可读存储介质包括计算机程序，计算机程序运行时控制可读存储介质所在计算机设备执行前述的基于图像采集的河道采砂监控处理方法。
76.出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。