一种基于NB-IoT的嵌入式图像型火灾报警方法与流程

一种基于nb-iot的嵌入式图像型火灾报警方法
技术领域
1.本发明涉及火灾报警的技术领域，尤其涉及一种基于nb-iot的嵌入式图像型火灾报警方法。


背景技术：

2.nb-iot是iot领域一个新兴的技术，支持低功耗设备在广域网的蜂窝数据连接，与现有lte网络兼容。是gsm网络的替代方案之一。未来还可以进一步升级满足5g需求，成为5g的一部分。在同样的频段下，nb-iot比现有的网络增益20db，覆盖面积扩大100倍，同时nb-iot一个200khz频率扇区能够支持10万个连接，支持低延时敏感度、超低的设备成本、低设备功耗和优化的网络架构。现有火灾检测以烟雾报警为主，该方式存在及时性差、误报率高等问题，虽然有部分研究开始使用图像检测技术，但是存在成本高，部署实施难的问题，而nb-iot设备则具有成本较低、覆盖面积广、低设备功耗等优点，基于nb-iot实现火灾报警，能够有效提高火灾报警准确性，降低部署难度，减少部署成本。


技术实现要素：

3.有鉴于此，本发明提供一种基于nb-iot的嵌入式图像型火灾报警方法，目的在于基于nb-iot实现火灾报警，有效提高火灾报警准确性，降低部署难度，减少部署成本。
4.实现上述目的，本发明提供的一种基于nb-iot的嵌入式图像型火灾报警方法，包括以下步骤：
5.s1：部署nb-iot设备形成iot传输网络，每一个nb-iot设备采集室内目标位置火灾图像，并对采集到的目标位置火灾图像进行预处理，得到预处理后的目标位置火灾图像；
6.s2：对预处理后的目标位置火灾图像进行分割，并对分割后的图像块进行特征提取；
7.s3：基于提取的特征使用正交分形编码算法对每一图像块进行编码处理，得到压缩编码表示的目标位置火灾图像；
8.s4：构建嵌入式火灾图像网络资源分配模型，确定iot网络资源分配目标函数；
9.s5：根据iot传输网络资源分配目标函数形成iot网络资源分配方案，并根据分配方案传输压缩编码表示的目标位置火灾图像到服务端；
10.s6：服务端接收压缩编码表示后的目标位置火灾图像进行解码操作，得到原始图像，并对原始图像进行图像识别，判断是否有火灾发生，若有则进行报警，否则不进行报警。作为本发明的进一步改进方法：
11.可选地，所述s1步骤中部署nb-iot设备形成iot传输网络，每一个nb-iot设备采集室内目标位置火灾图像，包括：
12.设计低功耗设备在物理层和数据链路层的协议规定，将协议规定修改nb-iot标准，得到nb-iot设备，所述低功耗设备为低功耗的摄像机设备；
13.将nb-iot设备安装在室内目标位置的上方，并开启nb-iot设备，开启后的nb-iot
设备实时采集室内目标位置火灾图像，所采集的目标位置火灾图像的格式为n1×
n2像素，其中n1表示目标位置火灾图像在横轴方向的像素数，n2表示目标位置火灾图像在竖轴方向的像素数。
14.可选地，所述s1步骤中对采集到的目标位置火灾图像进行颜色补偿的预处理，对颜色补偿后的目标位置火灾图像进行颜色空间转换的预处理，得到预处理后的目标位置火灾图像，包括：
15.nb-iot设备将所采集的室内目标位置火灾图像存储在自身的嵌入式芯片中，并对所存储的目标位置火灾图像进行颜色补偿的预处理，所述颜色补偿处理的公式为：
[0016][0017]
其中：
[0018]
ir(x,y)表示目标位置火灾图像中红色通道补偿后的像素；
[0019]
(x,y)为目标位置火灾图像中像素的坐标；
[0020]
ir(x,y)表示目标位置火灾图像中像素(x,y)在红色通道上的值；
[0021]
ig(x,y)表示目标位置火灾图像中像素(x,y)在绿色通道上的值；
[0022]
ig表示目标位置火灾图像中所有像素在绿色通道的均值；
[0023]
ir表示目标位置火灾图像中所有像素在红色通道的均值。
[0024]
通过对目标位置火灾图像中的所有像素进行所述颜色补偿处理，得到颜色补偿后的目标位置火灾图像i
′
，颜色补偿后的像素为i
′
(x,y)；
[0025]
将颜色补偿后的目标位置火灾图像进行颜色空间转换的预处理，即将rgb颜色空间的目标位置火灾图像转换后到lab空间的目标位置图像，所述颜色空间转换的预处理流程为：
[0026]
1)将rgb颜色空间的目标位置火灾图像转换为xyz空间的目标位置火灾图像：
[0027][0028]
其中：
[0029]i′r(x,y),i
′g(x,y),i
′b(x,y)为颜色补偿后的像素i
′
(x,y)分别在r、g、b颜色通道的值；
[0030]i′
x
(x,y),i
′y(x,y),i
′z(x,y)为像素i
′
(x,y)分别在x、y、z空间的值；
[0031]
以白色参考点对转换后的xyz空间的目标位置火灾图像进行归一化处理：
[0032][0033]
x
white
,y
white
,z
white
为白色像素点分别在x、y、z空间的值；
[0034]
2)将归一化后的xyz空间目标位置火灾图像转换为lab空间的目标位置火灾图像：
[0035]
[0036]
其中：
[0037]i′
l
(x,y),i
′a(x,y),i
′b(x,y)为像素i
′
(x,y)分别在l、a、b空间的值；
[0038]
将i
′
l
(x,y)设定为像素i
′
(x,y)的像素值；
[0039]
对目标位置火灾图像中的所有像素进行颜色空间转换处理，并将亮度空间的值作为像素值，得到预处理后的目标位置火灾图像i
″
。
[0040]
可选地，所述s2步骤中对预处理后的目标位置火灾图像进行分割，包括：
[0041]
对预处理后的目标位置火灾图像i
″
进行分割处理，所述分割方式包括固定块分割法以及滑动窗口分割法；
[0042]
其中固定块分割法即设置一个固定大小的图像块，所设置的图像块大小为r1×
r1像素，将目标位置火灾图像i
″
分割成同所设置图像块大小的若干互不重叠的图像块，将所述分割成的互不重叠的图像块作为dj，j＝1,2,3,
…
,m1，m1为分割后互不重叠的图像块的总数；
[0043]
滑动窗口分割法即设置一个大小为r2×
r2像素的滑动窗口，滑动窗口每次移动的步长为l，l《r2，将滑动窗口沿先水平后竖直的方向移动，每次移动得到一个图像块，从而得到若干互有重叠的图像块，将所述分割成的互有重叠的图像块作为ai，i＝1,23,
…
,m2，m2为分割后互有重叠的图像块的总数。
[0044]
可选地，所述s2步骤中对分割后的图像块进行特征提取，并基于提取的特征使用正交分形编码算法对每一图像块进行编码处理，包括：
[0045]
对于分割后的图像块，分别提取图像块dj和图像块ai的特征，所述特征提取流程为：
[0046]
1)从图像块中任意取一点像素s1＝(x,y)以及偏移像素s2＝(x x1,y y1)构成点对，则点对的像素值对为(f1,f2)，其中f1为像素s1的像素值，f2为像素s2的像素值，计算(f1,f2)在图像块中出现的概率，记为p(f1,f2)；重复该步骤，得到所有像素组合的像素值概率；
[0047]
2)提取图像块的特征，所述特征提取公式为：
[0048]fk
＝[f
k,1
,f
k,2
,f
k,3
]
[0049][0050][0051][0052]
其中：
[0053]
(f
′
,f
″
)为图像块中的一组像素值点对；
[0054]fk
为图像块的特征向量，k＝{0,1}，k＝0表示为互不重叠的图像块，k＝1表示为互有重叠的图像块；
[0055]
3)得到图像块的特征向量集合：
[0056][0057]
[0058]
其中：
[0059]
m1为分割后互不重叠的图像块的总数；
[0060]
m2为分割后互有重叠的图像块的总数；
[0061]
为图像块的特征向量；
[0062]
可选地，所述s3步骤中基于提取的特征使用正交分形编码算法对每一图像块进行编码处理，包括：
[0063]
计算df中任意特征向量f
dj
与af中所有特征向量的切比雪夫距离，得到关于任意特征向量f
dj
的相似性度量矩阵其中dis(
·
)为切比雪夫距离计算公式；
[0064]
选取距离f
dj
切比雪夫距离最近的m
′
个特征向量所对应的图像块ai作为图像块dj的编码辅助矩阵，使用正交分形编码算法对每一图像块dj进行编码处理，所述编码处理的流程为：
[0065]
构建编码处理的目标函数：
[0066][0067]
其中：
[0068]
为距离f
dj
切比雪夫距离最近的m
′
个特征向量中之一的向量均值；
[0069]
o1为基于的亮度参数，γ1为基于的对比度参数，g为亮度值为1的常值块；
[0070]
则对于图像块dj的待求解参数γ1,o1，其求解公式为：
[0071][0072]
其中：
[0073]
为距离f
dj
切比雪夫距离最近的m
′
个特征向量之一；
[0074]
为特征向量f
dj
的均值；
[0075]
则所述图像块dj的编码结果为：
[0076][0077]
其中：
[0078]
index(dj)为图像块dj的编码结果；
[0079]
通过对所有互不重叠的图像块进行上述编码处理，得到目标位置火灾图像的压缩编码表示：
[0080][0081]
其中：
[0082]
index为目标位置火灾图像的压缩编码表示。
[0083]
可选地，所述s4步骤中构建嵌入式火灾图像网络资源分配模型，确定iot网络资源分配目标函数，包括：
[0084]
所述嵌入式火灾图像网络资源分配模型中具有q个nb-iot设备，每个nb-iot设备向服务端所上传的任务表示为{indexq,dataq,vq}，其中q∈q，indexq为第q个nb-iot设备所上传的火灾图像的压缩编码表示，dataq为indexq的数据包大小，vq为indexq的上传次数；则每个nb-iot设备被分配到的网络资源为u＝[u1,u2,
…
,uq]，uq为第q个nb-iot设备被分配到的网络资源；
[0085]
确定iot网络资源分配目标函数，所述目标函数为：
[0086][0087]
其中：
[0088]
u表示分配给nb-iot设备的网络资源分配矩阵；
[0089]
v＝[v1,v2,
…
,vq]表示nb-iot设备的任务重发次数矩阵；
[0090]
所述目标函数的约束条件为：
[0091][0092]
其中：
[0093]
sy表示服务端的网络总资源。
[0094]
可选地，所述s5步骤中根据iot传输网络资源分配目标函数形成iot网络资源分配方案，并根据分配方案传输压缩编码表示的目标位置火灾图像到服务端，包括：
[0095]
从u＝[u1,u2,
…
,uq]中选取vq值最小的待上传数据的nb-iot设备，进行火灾图像的压缩编码表示的上传尝试，并令vq 1，若无则停止iot网络资源分配；
[0096]
服务端将可用网络资源分配给待上传数据的nb-iot设备，并计算当前的目标函数值，所述服务端分配的网络资源会使得目标函数值变大，若使得目标函数值变小，则重新分配网络资源；
[0097]
网络资源分配成功后，令vq＝0，重新选取任务重发次数最小的待上传数据的nb-iot设备；
[0098]
重复上述步骤，得到不同nb-iot设备的网络资源分配方案，其中网络资源分配越多的nb-iot设备，其上传压缩编码表示的目标位置火灾图像到服务端的优先级越高，通过设置nb-iot设备上传的优先级，传输压缩编码表示的目标位置火灾图像到服务端。
[0099]
可选地，所述s6步骤中服务端接收压缩编码表示后的目标位置火灾图像进行解码操作，得到原始图像，并对原始图像进行图像识别，判断是否有火灾发生，若有则进行报警，包括：
[0100]
服务端接收压缩编码表示后的目标位置火灾图像进行解码操作，得到原始图像，所述解码公式为：
[0101][0102]
其中：
[0103]
dex(dj)为目标位置火灾图像中图像块dj的解码结果，γ为对比度参数；
[0104]
利用火灾识别模型对原始图像进行识别，所述火灾识别模型的输入为原始图像，输出为φ＝{0,1}，φ＝0表示原始图像中的目标位置不存在火灾，φ＝1表示原始图像中的
目标位置存在火灾，所述火灾识别模型的训练流程为：
[0105]
1)获取若干已完成人工识别的火灾图像，并对火灾图像进行翻转，旋转以及裁剪的数据扩充处理；所述翻转操作为对火灾图像随机设置垂直翻转或水平翻转；所述旋转操作为对火灾图像随机设置θ角度的旋转，其中θ设置为45度的倍数；所述裁剪操作为对火灾图像进行随机裁剪；
[0106]
2)将vgg16模型迁移到火灾图像识别模型中，并设置学习率为0.0001，在训练中对训练结果进行实时监测，若连续10个epoch训练结果还没有提升时，减少10倍的学习率，设置学习率下限为0.00001；
[0107]
3)采取relu作为激活函数，并设置batch size为64；
[0108]
4)设置火灾识别模型的加权损失函数：
[0109][0110][0111]
其中：
[0112]
w1,w2分别为正样本权重和负样本权重，所述正样本为训练集中存在火灾的图像，所述负样本为训练集中不存在火灾的图像；n0为训练集中正样本的数量，n为训练集中的样本总数；
[0113]
yi为训练集中第i幅图像ci的人工识别结果，yi＝{0,1}，yi＝0表示图像区域不存在火灾，yi＝1表示图像区域存在火灾；
[0114]
θ为模型参数；
[0115]hθ
(xi)为训练集中第i幅图像ci的火灾识别模型的识别结果；
[0116]
利用梯度下降算法对加权损失函数进行参数优化，得到火灾识别模型的优化参数θ
*
，构建得到优化后的火灾识别模型，将原始图像输入到优化后的火灾识别模型中，判断是否有火灾发生，若模型输出结果大于0.7，则说明目标位置区域存在火灾，进行报警，否则不进行报警。
[0117]
在本发明实施例中，通过下载存在火灾的图像以及不存在火灾的图像作为训练集，所述训练集中包括图像以及是否存在火灾的标签。
[0118]
为了解决上述问题，本发明还提供一种基于nb-iot的嵌入式图像型火灾报警装置，其特征在于，所述装置包括：
[0119]
设备部署装置，用于部署nb-iot设备形成iot传输网络，每一个nb-iot设备采集室内目标位置火灾图像；
[0120]
数据处理模块，用于对采集到的目标位置火灾图像进行预处理，对预处理后的目标位置火灾图像进行分割，并对分割后的图像块进行特征提取，基于提取的特征使用正交分形编码算法对每一图像块进行编码处理，得到压缩编码表示的目标位置火灾图像；
[0121]
火灾报警模块，用于构建嵌入式火灾图像网络资源分配模型，确定iot网络资源分配目标函数，根据iot传输网络资源分配目标函数形成iot网络资源分配方案，并根据分配方案传输压缩编码表示的目标位置火灾图像到服务端，服务端接收压缩编码表示后的目标位置火灾图像进行解码操作，得到原始图像，并对原始图像进行图像识别，判断是否有火灾
发生，若有则进行报警，否则不进行报警。
[0122]
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
[0123]
存储器，存储至少一个指令；及
[0124]
处理器，执行所述存储器中存储的指令以实现上述所述的基于nb-iot的嵌入式图像型火灾报警方法。
[0125]
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于nb-iot的嵌入式图像型火灾报警方法。
[0126]
相对于现有技术，本发明提出一种基于nb-iot的嵌入式图像型火灾报警方法，该技术具有以下优势：
[0127]
首先，本方案提出一种图像编码方法，通过对预处理完成的图像进行分割处理，得到互有重叠的图像块和互不重叠的图像块，并对所分割的图像块进行灰度共生特征提取，得到图像块的特征向量集合：
[0128][0129][0130]
其中：m1为分割后互不重叠的图像块的总数；m2为分割后互有重叠的图像块的总数；为图像块的特征向量；计算互不重叠图像块df中任意特征向量f
dj
与互有重叠图像块af中所有特征向量的切比雪夫距离，得到关于任意特征向量f
dj
的相似性度量矩阵其中dis(
·
)为切比雪夫距离计算公式；选取距离f
dj
切比雪夫距离最近的m
′
个特征向量所对应的图像块ai作为图像块dj的编码辅助矩阵，从而使用图像块dj的邻近图像块对其进行补充编码，并通过相似性度量矩阵缩减编码辅助矩阵的数量，将全局搜索编码转换为局部搜索编码，提高图像编码的准确性以及图像编码的编码效率，使用正交分形编码算法对每一图像块dj进行编码处理，所述编码处理的流程为：构建编码处理的目标函数：
[0131][0132]
其中：为距离f
dj
切比雪夫距离最近的m
′
个特征向量中之一的向量均值；o1为亮度参数，γ1为对比度参数，g为亮度值为1的常值块；则对于图像块dj的待求解参数γ1,o1，其求解公式为：
[0133][0134]
其中：为距离f
dj
切比雪夫距离最近的m
′
个特征向量之一；为特征向量f
dj
的均值；则所述图像块dj的编码结果为：
[0135][0136]
其中：index(dj)为图像块dj的编码结果；通过对所有互不重叠的图像块进行上述
编码处理，得到目标位置火灾图像的压缩编码表示：
[0137][0138]
其中：index为目标位置火灾图像的压缩编码表示。相较于传统方案，本方案在nb-iot易于部署的基础上，对nb-iot设备的编码效率进行改进，使用图像块的邻近图像块对其进行补充编码，并通过相似性度量矩阵缩减编码辅助矩阵的数量，将全局搜索编码转换为局部搜索编码，提高图像编码的准确性以及图像编码的编码效率，进一步提高火灾报警的时效性。
[0139]
同时，本方案提出一种图像型火灾报警方法，通过利用火灾识别模型对原始图像进行识别，所述火灾识别模型的输入为原始图像，输出为φ＝{0,1}，φ＝0表示原始图像中的目标位置不存在火灾，φ＝1表示原始图像中的目标位置存在火灾，所述火灾识别模型的训练流程为：获取若干已完成人工识别的火灾图像作为训练集，并对火灾图像进行翻转，旋转以及裁剪的数据扩充处理；所述翻转操作为对火灾图像随机设置垂直翻转或水平翻转；所述旋转操作为对火灾图像随机设置θ角度的旋转，其中θ设置为45度的倍数；所述裁剪操作为对火灾图像进行随机裁剪；将vgg16模型迁移到火灾图像识别模型中，并设置学习率为0.0001，在训练中对训练结果进行实时监测，若连续10个epoch训练结果还没有提升时，减少10倍的学习率，设置学习率下限为0.00001；采取relu作为激活函数，并设置batch size为64；设置火灾识别模型的加权损失函数：
[0140][0141][0142]
其中：w1,w2分别为正样本权重和负样本权重，所述正样本为训练集中存在火灾的图像，所述负样本为训练集中不存在火灾的图像；yi为训练集中第i幅图像ci的人工识别结果，yi＝{0,1}，yi＝0表示图像区域不存在火灾，yi＝1表示图像区域存在火灾；θ为模型参数；h
θ
(xi)为训练集中第i幅图像ci的火灾识别模型的识别结果；利用梯度下降算法对加权损失函数进行参数优化，得到火灾识别模型的优化参数θ
*
，构建得到优化后的火灾识别模型，将原始图像输入到优化后的火灾识别模型中，判断是否有火灾发生，若模型输出结果大于0.7，则说明目标位置区域存在火灾，进行报警，否则不进行报警，从而实现火灾的实时监控及报警。
附图说明
[0143]
图1为本发明一实施例提供的一种基于nb-iot的嵌入式图像型火灾报警方法的流程示意图；
[0144]
图2为图1实施例其中一个步骤的流程示意图；
[0145]
图3为图1实施例另一个步骤的流程示意图；
[0146]
图4为本发明一实施例提供的基于nb-iot的嵌入式图像型火灾报警装置的功能模块图；
[0147]
图5为本发明一实施例提供的实现基于nb-iot的嵌入式图像型火灾报警方法的电
子设备的结构示意图。
[0148]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0149]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0150]
本技术实施例提供一种基于nb-iot的嵌入式图像型火灾报警方法。所述基于nb-iot的嵌入式图像型火灾报警方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述基于nb-iot的嵌入式图像型火灾报警方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
[0151]
实施例1：
[0152]
s1：部署nb-iot设备形成iot传输网络，每一个nb-iot设备采集室内目标位置火灾图像，并对采集到的目标位置火灾图像进行预处理，得到预处理后的目标位置火灾图像。
[0153]
所述s1步骤中部署nb-iot设备形成iot传输网络，每一个nb-iot设备采集室内目标位置火灾图像，包括：
[0154]
设计低功耗设备在物理层和数据链路层的协议规定，将协议规定修改nb-iot标准，得到nb-iot设备，所述低功耗设备为低功耗的摄像机设备；
[0155]
将nb-iot设备安装在室内目标位置的上方，并开启nb-iot设备，开启后的nb-iot设备实时采集室内目标位置火灾图像，所采集的目标位置火灾图像的格式为n1×
n2像素，其中n1表示目标位置火灾图像在横轴方向的像素数，n2表示目标位置火灾图像在竖轴方向的像素数。
[0156]
需要解释的是，室内目标位置为易发生火灾的室内位置或若发生火灾会造成较大损失的室内位置，室内目标位置火灾图像并不是火灾成像结果，而是需要进行火灾监测识别的室内目标位置图像。
[0157]
所述s1步骤中对采集到的目标位置火灾图像进行颜色补偿的预处理，包括：
[0158]
nb-iot设备将所采集的室内目标位置火灾图像存储在自身的嵌入式芯片中，并对所存储的目标位置火灾图像进行颜色补偿的预处理，所述颜色补偿处理的公式为：
[0159][0160]
其中：
[0161]
ir(x,y)表示目标位置火灾图像中红色通道补偿后的像素；
[0162]
(x,y)为目标位置火灾图像中像素的坐标；
[0163]
ir(x,y)表示目标位置火灾图像中像素(x,y)在红色通道上的值；
[0164]
ig(x,y)表示目标位置火灾图像中像素(x,y)在绿色通道上的值；
[0165]
ig表示目标位置火灾图像中所有像素在绿色通道的均值；
[0166]
ir表示目标位置火灾图像中所有像素在红色通道的均值。
[0167]
通过对目标位置火灾图像中的所有像素进行所述颜色补偿处理，得到颜色补偿后的目标位置火灾图像i
′
，颜色补偿后的像素为i
′
(x,y)。
[0168]
所述s1步骤中对颜色补偿后的目标位置火灾图像进行颜色空间转换的预处理，得到预处理后的目标位置火灾图像，包括：
[0169]
将颜色补偿后的目标位置火灾图像进行颜色空间转换的预处理，即将rgb颜色空间的目标位置火灾图像转换后到lab空间的目标位置图像，详细地，参阅图2所示，所述颜色空间转换的预处理流程为：
[0170]
s11、将rgb颜色空间的目标位置火灾图像转换为xyz空间的目标位置火灾图像：
[0171][0172]
其中：
[0173]i′r(x,y),i
′g(x,y),i
′b(x,y)为颜色补偿后的像素i
′
(x,y)分别在r、g、b颜色通道的值；
[0174]i′
x
(x,y),i
′y(x,y),i
′z(x,y)为像素i
′
(x,y)分别在x、y、z空间的值；
[0175]
以白色参考点对转换后的xyz空间的目标位置火灾图像进行归一化处理：
[0176][0177]
x
white
,y
white
,z
white
为白色像素点分别在x、y、z空间的值；
[0178]
s12、将归一化后的xyz空间目标位置火灾图像转换为lab空间的目标位置火灾图像：
[0179][0180]
其中：
[0181]i′
l
(x,y),i
′a(x,y),i
′b(x,y)为像素i
′
(x,y)分别在l、a、b空间的值；
[0182]
将i
′
l
(x,y)设定为像素i
′
(x,y)的像素值；
[0183]
s13、对目标位置火灾图像中的所有像素进行颜色空间转换处理，并将亮度空间的值作为像素值，得到预处理后的目标位置火灾图像i
″
。
[0184]
s2：对预处理后的目标位置火灾图像进行分割，并对分割后的图像块进行特征提取。
[0185]
所述s2步骤中对预处理后的目标位置火灾图像进行分割，包括：
[0186]
对预处理后的目标位置火灾图像i
″
进行分割处理，所述分割方式包括固定块分割法以及滑动窗口分割法；
[0187]
其中固定块分割法即设置一个固定大小的图像块，所设置的图像块大小为r1×
r1像素，将目标位置火灾图像i
″
分割成同所设置图像块大小的若干互不重叠的图像块，将所述分割成的互不重叠的图像块作为dj，j＝1,2,3,
…
,m1，m1为分割后互不重叠的图像块的总数；
[0188]
滑动窗口分割法即设置一个大小为r2×
r2像素的滑动窗口，滑动窗口每次移动的步长为l，l《r2，将滑动窗口沿先水平后竖直的方向移动，每次移动得到一个图像块，从而得
到若干互有重叠的图像块，将所述分割成的互有重叠的图像块作为ai，i＝1,23,
…
,m2，m2为分割后互有重叠的图像块的总数；
[0189]
所述s2步骤中对分割后的图像块进行特征提取，包括：
[0190]
对于分割后的图像块，分别提取图像块dj和图像块ai的特征，所述特征提取流程为：
[0191]
1)从图像块中任意取一点像素s1＝(x,y)以及偏移像素s2＝(x x1,y y1)构成点对，则点对的像素值对为(f1,f2)，其中f1为像素s1的像素值，f2为像素s2的像素值，计算(f1,f2)在图像块中出现的概率，记为p(f1,f2)；重复该步骤，得到所有像素组合的像素值概率；
[0192]
2)提取图像块的特征，所述特征提取公式为：
[0193]fk
＝[f
k,1
,f
k,2
,f
k,3
]
[0194][0195][0196][0197]
其中：
[0198]
(f
′
,f
″
)为图像块中的一组像素值点对；
[0199]fk
为图像块的特征向量，k＝{0,1}，k＝0表示为互不重叠的图像块，k＝1表示为互有重叠的图像块；
[0200]
3)得到图像块的特征向量集合：
[0201][0202][0203]
其中：
[0204]
m1为分割后互不重叠的图像块的总数；
[0205]
m2为分割后互有重叠的图像块的总数；
[0206]
为图像块的特征向量。
[0207]
s3：基于提取的特征使用正交分形编码算法对每一图像块进行编码处理，得到压缩编码表示的目标位置火灾图像。
[0208]
所述s3步骤中基于提取的特征使用正交分形编码算法对每一图像块进行编码处理，包括：
[0209]
计算df中任意特征向量f
dj
与af中所有特征向量的切比雪夫距离，得到关于任意特征向量f
dj
的相似性度量矩阵其中dis(
·
)为切比雪夫距离计算公式；
[0210]
选取距离f
dj
切比雪夫距离最近的m
′
个特征向量所对应的图像块ai作为图像块dj的编码辅助矩阵，使用正交分形编码算法对每一图像块dj进行编码处理，所述编码处理的流程为：
[0211]
构建编码处理的目标函数：
[0212][0213]
其中：
[0214]
为距离f
dj
切比雪夫距离最近的m
′
个特征向量中之一的向量均值；
[0215]
o1为基于的亮度参数，γ1为基于的对比度参数，g为亮度值为1的常值块；
[0216]
则对于图像块dj的待求解参数γ1,o1，其求解公式为：
[0217][0218]
其中：
[0219]
为距离f
dj
切比雪夫距离最近的m
′
个特征向量之一；
[0220]
为特征向量f
dj
的均值；
[0221]
则所述图像块dj的编码结果为：
[0222][0223]
其中：
[0224]
index(dj)为图像块dj的编码结果；
[0225]
通过对所有互不重叠的图像块进行上述编码处理，得到目标位置火灾图像的压缩编码表示：
[0226][0227]
其中：
[0228]
index为目标位置火灾图像的压缩编码表示。
[0229]
s4：构建嵌入式火灾图像网络资源分配模型，确定iot网络资源分配目标函数。
[0230]
所述s4步骤中构建嵌入式火灾图像网络资源分配模型，确定iot网络资源分配目标函数，包括：
[0231]
所述嵌入式火灾图像网络资源分配模型中具有q个nb-iot设备，每个nb-iot设备向服务端所上传的任务表示为{indexq,dataq,vq}，其中q∈q，indexq为第q个nb-iot设备所上传的火灾图像的压缩编码表示，dataq为indexq的数据包大小，vq为indexq的上传次数；则每个nb-iot设备被分配到的网络资源为u＝[u1,u2,
…
,uq]，uq为第q个nb-iot设备被分配到的网络资源；
[0232]
确定iot网络资源分配目标函数，所述目标函数为：
[0233][0234]
其中：
[0235]
u表示分配给nb-iot设备的网络资源分配矩阵；
[0236]
v＝[v1,v2,
…
,vq]表示nb-iot设备的任务重发次数矩阵；
[0237]
所述目标函数的约束条件为：
[0238][0239]
其中：
[0240]
sy表示服务端的网络总资源。
[0241]
s5：根据iot传输网络资源分配目标函数形成iot网络资源分配方案，并根据分配方案传输压缩编码表示的目标位置火灾图像到服务端。
[0242]
所述s5步骤中根据iot传输网络资源分配目标函数形成iot网络资源分配方案，并根据分配方案传输压缩编码表示的目标位置火灾图像到服务端，包括：
[0243]
需要解释的是，通过输入服务端的网络设置信息，获取当前服务端的网络资源分配矩阵以及nb-iot设备的任务重发次数矩阵；
[0244]
详细地，参阅图3所示，为iot网络资源分配方案形成流程，包括：
[0245]
s51、选取任务重发次数最小的待上传数据的nb-iot设备，进行火灾图像的压缩编码表示的上传尝试，若无则停止iot网络资源分配；
[0246]
s52、服务端将可用网络资源分配给待上传数据的nb-iot设备，并计算当前的目标函数值，所述服务端分配的网络资源会使得目标函数值变大，若使得目标函数值变小，则重新分配网络资源；
[0247]
s53、网络资源分配成功后，重新选取任务重发次数最小的待上传数据的nb-iot设备；
[0248]
重复上述步骤，得到不同nb-iot设备的网络资源分配方案，其中网络资源分配越多的nb-iot设备，其上传压缩编码表示的目标位置火灾图像到服务端的优先级越高，通过设置nb-iot设备上传的优先级，传输压缩编码表示的目标位置火灾图像到服务端。
[0249]
s6：服务端接收压缩编码表示后的目标位置火灾图像进行解码操作，得到原始图像，并对原始图像进行图像识别，判断是否有火灾发生，若有则进行报警，否则不进行报警。
[0250]
所述s6步骤中服务端接收压缩编码表示后的目标位置火灾图像进行解码操作，得到原始图像，并对原始图像进行图像识别，判断是否有火灾发生，若有则进行报警，包括：
[0251]
服务端接收压缩编码表示后的目标位置火灾图像进行解码操作，得到原始图像，所述解码公式为：
[0252][0253]
其中：
[0254]
dex(dj)为目标位置火灾图像中图像块dj的解码结果，γ为对比度参数；
[0255]
需要解释的是，解码得到的原始图像为预处理完成的目标位置火灾图像；
[0256]
利用火灾识别模型对原始图像进行识别，所述火灾识别模型的输入为原始图像，输出为φ＝{0,1}，φ＝0表示原始图像中的目标位置不存在火灾，φ＝1表示原始图像中的目标位置存在火灾，所述火灾识别模型的训练流程为：
[0257]
1)获取若干已完成人工识别的火灾图像作为训练集，并对火灾图像进行翻转，旋转以及裁剪的数据扩充处理；所述翻转操作为对火灾图像随机设置垂直翻转或水平翻转；所述旋转操作为对火灾图像随机设置θ角度的旋转，其中θ设置为45度的倍数；所述裁剪操
作为对火灾图像进行随机裁剪；
[0258]
2)将vgg16模型迁移到火灾图像识别模型中，并设置学习率为0.0001，在训练中对训练结果进行实时监测，若连续10个epoch训练结果还没有提升时，减少10倍的学习率，设置学习率下限为0.00001；
[0259]
3)采取relu作为激活函数，并设置batch size为64；
[0260]
4)设置火灾识别模型的加权损失函数：
[0261][0262][0263]
其中：
[0264]
w1,w2分别为正样本权重和负样本权重，所述正样本为训练集中存在火灾的图像，所述负样本为训练集中不存在火灾的图像；n0为训练集中正样本的数量，n为训练集中的样本总数；
[0265]
yi为训练集中第i幅图像ci的人工识别结果，yi＝{0,1}，yi＝0表示图像区域不存在火灾，yi＝1表示图像区域存在火灾；
[0266]
θ为模型参数；
[0267]hθ
(xi)为训练集中第i幅图像ci的火灾识别模型的识别结果；
[0268]
利用梯度下降算法对加权损失函数进行参数优化，得到火灾识别模型的优化参数θ
*
，构建得到优化后的火灾识别模型，将原始图像输入到优化后的火灾识别模型中，判断是否有火灾发生，若模型输出结果大于0.7，则说明目标位置区域存在火灾，进行报警，否则不进行报警。
[0269]
在本发明实施例中，通过下载存在火灾的图像以及不存在火灾的图像作为训练集，所述训练集中包括图像以及是否存在火灾的标签。
[0270]
实施例2：
[0271]
如图4所示，是本发明一实施例提供的基于nb-iot的嵌入式图像型火灾报警装置的功能模块图，其可以实现实施例1中的火灾报警方法。
[0272]
本发明所述基于nb-iot的嵌入式图像型火灾报警装置100可以安装于电子设备中。根据实现的功能，所述基于nb-iot的嵌入式图像型火灾报警装置可以包括设备部署装置101、数据处理模块102及火灾报警模块103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0273]
设备部署装置101，用于部署nb-iot设备形成iot传输网络，每一个nb-iot设备采集室内目标位置火灾图像；
[0274]
数据处理模块102，用于对采集到的目标位置火灾图像进行预处理，对预处理后的目标位置火灾图像进行分割，并对分割后的图像块进行特征提取，基于提取的特征使用正交分形编码算法对每一图像块进行编码处理，得到压缩编码表示的目标位置火灾图像；
[0275]
火灾报警模块103，用于构建嵌入式火灾图像网络资源分配模型，确定iot网络资源分配目标函数，根据iot传输网络资源分配目标函数形成iot网络资源分配方案，并根据
分配方案传输压缩编码表示的目标位置火灾图像到服务端，服务端接收压缩编码表示后的目标位置火灾图像进行解码操作，得到原始图像，并对原始图像进行图像识别，判断是否有火灾发生，若有则进行报警，否则不进行报警。
[0276]
详细地，本发明实施例中所述基于nb-iot的嵌入式图像型火灾报警装置100中的所述各模块在使用时采用与上述的图1中所述的基于nb-iot的嵌入式图像型火灾报警方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
[0277]
实施例3：
[0278]
如图5所示，是本发明一实施例提供的实现基于nb-iot的嵌入式图像型火灾报警方法的电子设备的结构示意图。
[0279]
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如嵌入式图像型火灾报警程序12。
[0280]
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如嵌入式图像型火灾报警程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0281]
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(嵌入式图像型火灾报警程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
[0282]
所述总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0283]
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0284]
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此
不再赘述。
[0285]
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
[0286]
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
[0287]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0288]
所述电子设备1中的所述存储器11存储的嵌入式图像型火灾报警程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
[0289]
部署nb-iot设备形成iot传输网络，每一个nb-iot设备采集室内目标位置火灾图像，并对采集到的目标位置火灾图像进行预处理，得到预处理后的目标位置火灾图像；
[0290]
对预处理后的目标位置火灾图像进行分割，并对分割后的图像块进行特征提取；
[0291]
基于提取的特征使用正交分形编码算法对每一图像块进行编码处理，得到压缩编码表示的目标位置火灾图像；
[0292]
构建嵌入式火灾图像网络资源分配模型，确定iot网络资源分配目标函数；
[0293]
根据iot传输网络资源分配目标函数形成iot网络资源分配方案，并根据分配方案传输压缩编码表示的目标位置火灾图像到服务端；
[0294]
服务端接收压缩编码表示后的目标位置火灾图像进行解码操作，得到原始图像，并对原始图像进行图像识别，判断是否有火灾发生，若有则进行报警，否则不进行报警。
[0295]
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图5对应实施例中相关步骤的描述，在此不赘述。
[0296]
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0297]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0298]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技
术领域，均同理包括在本发明的专利保护范围内。