存储视频的方法、装置和电子设备与流程

1.本技术涉及人工智能技术领域，尤其涉及一种存储视频的方法、装置和电子设备。


背景技术：

2.随着计算机技术和人工智能技术的快速发展，人工智能技术被应用到越来越多的场景中，如智慧交通、图像识别等。
3.为了留存证据，以便实现在发生交通事故等场景中进行追责或者实现免责，可以利用车载设备在车辆行驶过程进行录像和存证。但是，车载设备的存储空间通常有限，可能导致有用的视频数据无法存入存储空间，或者被无用的视频数据覆盖。例如，相关技术的行车记录仪，在车辆行驶过程中将拍摄的视频数据存储在具有固定大小的存储卡中。存储卡中存储了大量的无用的视频数据，占用了大量存储空间，导致有用的视频数据无法录入，或者先录入的有用的视频数据，被后录入的无用的视频数据覆盖。


技术实现要素：

4.为解决或部分解决相关技术中存在的问题，本技术提供一种存储视频的方法、装置和电子设备，能够有效减少无用的视频数据占用的存储空间，提升有用的视频数据的存储安全性和可靠性。
5.本技术的第一个方面提供了一种存储视频的方法，包括：
6.获得视频数据，视频数据包括移动平台的环境视频数据；
7.利用经训练的事故预判模型处理视频数据，获得事故预判结果；
8.如果事故预判结果表征移动平台发生事故，则将当前时刻之前预设时间段的视频数据写入非易失性存储器(non-volatile memory，简称nvm)。
9.根据本技术的某些实施例，事故预判模型包括：
10.特征获得模块，用于从视频数据中的视频帧获取特征图；
11.候选框获得模块，用于基于特征图的m个像素生成k
×
m个候选框，并且从k
×
m个候选框中选取n个包括目标对象的候选框，其中，k是针对一个像素的候选框的预设数量，n和m是大于1的整数；
12.候选特征获得模块，用于基于特征图获得与n个候选框各自对应的候选特征；
13.识别模块，用于基于候选特征确定与候选特征对应的候选框的事故预判结果。
14.根据本技术的某些实施例，候选框获得模块具体用于对k
×
m个候选框的尺寸参数中的至少一种进行调整，并且从经调整的k
×
m个候选框中选取n个候选框，作为n个检测框；
15.候选特征获得模块具体用于基于特征图获得与n个检测框各自对应的检测特征；
16.识别模块具体用于基于检测特征确定与检测特征对应的检测框的事故预判结果。
17.根据本技术的某些实施例，特征获得模块包括：
18.多个卷积对，以及设置在部分相邻卷积对之间的池化层，其中，每个卷积对包括相邻设置的卷积层和激活层。
19.根据本技术的某些实施例，候选框获得模块包括：
20.第一支路，用于基于激活函数对特征图的像素进行分类，得到候选框的类别，类别包括：包括目标对象和不包括目标对象，特征图的像素数量与池化层的数量相关；
21.第二支路，用于计算针对候选框的偏移量；
22.候选框确定层，用于基于候选框的类别和候选框的偏移量确定包括目标对象的候选框和候选框针对特征图的覆盖范围。
23.根据本技术的某些实施例，第二支路包括：
24.调整模块，用于对于与特征图中的每个像素对应的k个候选框中的任一个，对该候选框的多个调整维度中的至少一个维度进行调整，直至该候选框覆盖目标对象，并且候选框的覆盖面积最小，其中，候选框的多个调整维度包括：上、下、左和右中的至少一个；
25.偏移量确定模块，用于基于调整后的k个候选框的偏移量的均值确定与该像素对应的候选框的偏移量。
26.根据本技术的某些实施例，识别模块具体用于基于候选特征和路段属性特征确定与候选特征对应的候选框的事故预判结果，路段属性特征包括：公路等级、事故高发路段、学校路段或者居民区路段中至少一种。
27.根据本技术的某些实施例，事故预判模型通过如下方式进行训练：
28.基于训练数据训练由特征获得模块、候选特征获得模块和识别模块构成的基础模型，得到经训练的基础模型，其中，候选特征获得模块所需的候选框可以是由包括训练好的候选框获得模块的模型处理该训练数据，得到的候选框；
29.依序拼接经训练的基础模型中的特征获得模块、候选框获得模块、经训练的基础模型中的候选特征获得模块和经训练的基础模型中的识别模块，得到待训练的事故预判模型；
30.将训练数据输入特征获得模块，通过调整候选框获得模块的模型参数，使得待训练的事故预判模型的输出趋近于与训练数据对应的标签数据。
31.根据本技术的某些实施例，训练数据包括：移动平台采集的视频和与视频对应的标签，其中，标签包括以下至少一种：行人躺倒、行人与移动平台干涉、移动平台之间干涉、行人招手、行人为跑步姿势、行人为行走姿势。
32.根据本技术的某些实施例，上述方法还包括：
33.如果事故预判结果表征移动平台没有发生事故，则生成当前时刻之前预设时间段内的视频流，并且不存储该视频流；或者
34.如果事故预判结果表征移动平台没有发生事故，如果事故预判结果表征移动平台没有发生事故，则将当前时刻之后的视频数据覆盖当前时刻之前预设时间段内的视频数据。
35.本技术的第二方面提供了一种存储视频的装置，包括：视频数据获得模块、视频数据处理模块和视频数据存储模块。
36.其中，视频数据获得模块，用于获得视频数据，视频数据包括移动平台的环境视频数据；
37.视频数据处理模块，用于利用经训练的事故预判模型处理视频数据，确定并且输出事故预判结果；
38.视频数据存储模块，用于如果事故预判结果表征移动平台发生事故，则将当前时刻之前预设时间段的视频数据写入非易失性存储器。
39.本技术的第三方面提供了一种电子设备，包括：处理器；存储器，其上存储有可执行代码，当上述可执行代码被处理器执行时，使得处理器执行上述方法。
40.本技术的第四方面还提供了一种计算机可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行上述方法。
41.本技术的第五方面还提供了一种计算机程序产品，包括可执行代码，可执行代码被处理器执行时实现上述方法。
42.本技术提供的存储视频的方法、装置和电子设备，对视频数据进行分析，预判移动平台是否存在发生交通事故的较大风险。如果预判结果是存在发生交通事故的较大风险，才会将该视频数据存储在非易失性存储器中，而不是对所有视频数据进行存储。本实施例有效提升了存储的视频数据中有用的视频数据的占比，减少无用的视频数据对存储空间的占用。这样可以节省存储空间，并且提升有用的视频数据能被及时存储的可靠性，降低有用的视频数据被无用的视频数据覆盖的可能性。
43.在某些实施例中，基于候选框从特征图中选取所需进行分类的候选特征数据，有效减少了待分类的特征数据数量。在减少了计算量的基础上，提升了针对有用的特征数据的关注度，有助于提升识别效果和识别速度。
44.在某些实施例中，对提取的特征图中每个像素分别生成多个候选框，并且分别对各候选框进行调整，得到针对该像素的多个候选框的偏移量，通过取平均值的方式能有效提升确定的候选框的准确度。
45.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
46.通过结合附图对本技术示例性实施方式进行更详细地描述，本技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本技术示例性实施方式中，相同的参考标号通常代表相同部件。
47.图1示出了一种根据本技术实施例的可以应用于存储视频的方法、装置和电子设备的示例性系统架构；
48.图2示意性示出了根据本技术实施例的存储视频的应用场景示意图；
49.图3示意性示出了根据本技术实施例的存储视频的方法的流程图；
50.图4示意性示出了根据本技术实施例的事故预判模型的一种结构示意图；
51.图5示意性示出了根据本技术实施例的特征提取模块的一种结构示意图；
52.图6示意性示出了根据本技术实施例的一系列候选框的示意图；
53.图7示意性示出了根据本技术实施例的候选框获得模块的一种结构示意图；
54.图8示意性示出了根据本技术实施例的候选特征获得过程的示意图；
55.图9示意性示出了根据本技术实施例的训练事故预判模型的一种流程图；
56.图10示意性示出了根据本技术实施例的存储视频的装置的方框图；
57.图11示意性示出了根据本技术实施例的一种电子设备的方框图。
具体实施方式
58.下面将参照附图更详细地描述本技术的实施方式。虽然附图中显示了本技术的实施方式，然而应该理解，可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本技术更加透彻和完整，并且能够将本技术的范围完整地传达给本领域的技术人员。
59.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
60.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
61.应当理解，尽管在本技术可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
62.相关技术提供的行车记录仪，记录并存储车辆在行驶过程中拍摄的视频数据，并存储在具有固定大小存储空间的存储卡中。这导致无论是否发生交通事故，都会对拍摄的视频进行存储，造成了存储卡中垃圾数据(如无用的视频数据)的堆积。申请人发现，数小时(或者数十小时等)的视频数据中，有用的视频数据可能只有数分钟(如10分钟左右)。
63.此外，随着行车记录仪的使用时间变长，需要用户自行删除存储的视频数据以释放存储卡容量，非常不方便。如果没有及时释放存储卡容量，当发生交通事故时，则有可能因为之前存储空间释放不及时，导致有用的视频数据未能记录下来，或者，存储的有用的视频数据被后来拍摄的无用的视频数据覆盖，导致无法挽回的损失。
64.本技术实施例利用事故预判模型识别视频流中的车辆和行人行为等对象，预判事故发生的可能性。例如，如果车辆和行人发生碰撞的概率大于预设概率阈值，则判定为即将发生事故，开启非易失性存储器的记录权限，以便将有用的视频数据存储在非易失性存储器中。否则只是形成视频流而不进行实际的存储，或者进行视频流的覆盖操作，这样既减少了无用的视频数据的存储，又保证了有用的视频数据的保存。
65.以下将通过图1至图10对本技术实施例的一种存储视频的方法、装置和电子设备进行详细描述。
66.图1示出了一种根据本技术实施例的可以应用于存储视频的方法、装置和电子设备的示例性系统架构。需要注意的是，图1所示仅为可以应用本技术实施例的系统架构的示例，以帮助本领域技术人员理解本技术的技术内容，但并不意味着本技术实施例不可以用于其他设备、系统、环境或场景。
67.参见图1，根据该实施例的系统架构100可以包括移动平台101、102、103，网络104和云端105。网络104用以在移动平台101、102、103和云端105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。移动平台101、
102、103上可以搭载有移动终端，如行车记录仪等，以实现拍摄视频和存储视频等功能。
68.用户可以使用移动平台101、102、103通过网络104与其他移动平台和云端105进行交互，以接收或发送信息等，如发送模型训练请求、模型参数下载请求和接收经训练的模型参数等。移动平台101、102、103可以安装有各种通讯客户端应用，例如，辅助驾驶应用、自动驾驶应用、车机应用、网页浏览器应用、数据库类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等应用等。
69.移动平台101、102、103包括但不限于汽车、机器人、平板电脑、膝上型便携计算机等等可以支持上网、拍摄视频、人机交互等功能的电子设备。
70.云端105可以接收模型训练请求、模型参数下载请求等，调整模型参数进行模型训练、下发模型拓扑结构、下发经训练的模型参数等，还可以发送路段属性信息、实时交通信息等给移动平台101、102、103。例如，云端105可以为后台管理服务器、服务器集群、车联网等。
71.需要说明的是，移动平台、网络和云端的服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的移动平台、网络和云端。
72.图2示意性示出了根据本技术实施例的存储视频的应用场景示意图。
73.参见图2，车载的拍摄装置，如行车记录仪拍摄了连续的视频流，该视频流至少包括在时间段t1和时间段t2内拍摄的两个视频片段。每个视频片段包括多帧视频帧。
74.时间段t1内拍摄的视频帧中，如果基于目标对象相对于移动平台的移动速度、目标对象相对于移动平台移动方向等，可以预判目标对象与车辆发生碰撞的概率较小或者基本不会发生碰撞，则输出事故预判结果为无事故发生可能。此时，可以仅将该时间段t1内拍摄的视频数据存储在缓存中。例如，缓存可以为易失性存储器，其读写速度可以高于非易失性存储器，但是会较频繁的发生数据覆盖。
75.时间段t2内拍摄的视频帧中，如果目标对象相对于移动平台的移动速度、目标对象相对于移动平台移动方向等，可以预判目标对象与车辆发生碰撞的概率较高或者已经发生碰撞，则输出事故预判结果为有事故发生可能。此时，可以将该时间段t2内拍摄的视频数据存储在非易失性存储器中。这样可以保存有用的视频数据，并且降低该有用的视频数据被覆盖的可能性。
76.本技术实施例，通过事故预判模型来识别视频流中的车辆行为和行人行为等，并基于此预先判断事故发生的可能性。如果事故发生的概率大于某个阈值，则可以判定为即将发生事故，开启针对非易失性存储器的记录权限。否则，只形成视频流而不存储在非易失性存储器中，或者进行视频流的覆盖操作。通过以上方式减少了无用的视频数据的存储，又保证了有用的视频数据的保存。
77.图3示意性示出了根据本技术实施例的存储视频的方法的流程图。
78.参见图3，该实施例提供了一种存储视频的方法，该方法包括操作s310～操作s330，具体如下。
79.在操作s310中，获得视频数据，视频数据包括移动平台的环境视频数据。
80.在本实施例中，移动平台包括但不限于：车辆、机器人、船舶或者飞行器中任意一种。例如，可以由设置在车辆上的拍摄装置进行拍摄，得到视频数据。具体地，拍摄装置可以为行车记录仪等。
81.拍摄装置可以是单目拍摄装置。此外，也可以使用双目拍摄装置等，可以对双目拍摄装置拍摄的两个视频数据进行视频融合后，再对融合后的视频数据进行事故预判。
82.环境视频数据中可以包括移动平台自身的至少部分图像，或者不包括移动平台自身图像。环境视频数据中可以包括目标对象的至少部分图像。目标对象可以为多种人造物体、非人造物体等，如建筑物、车辆、行人、树木等。
83.在操作s320中，利用经训练的事故预判模型处理视频数据，获得事故预判结果。
84.事故预判模型可以是预先经过训练的模型，能够确定被输入的视频数据中目标对象是否可能与移动平台发生干涉，或者目标对象已经与移动平台发生干涉。事故预判模型包括但不限于：线性回归(linear regression)、逻辑回归(logistic regression)、决策树(decision trees)、naive bayes(贝叶斯)、k临近(k-nearest neighbors)、支持向量机(support vector machines)、随机决策森林(random decision forests or bagging)、神经网络(neural networks)等。
85.在某些实施例中，事故预判模型可以采用深度神经网络(deep neural networks)等。例如，事故预判模型可以对输入的视频数据中的各视频帧进行特征提取，得到特征图。然后，基于特征图或者特征图以及其它特征等，预判移动平台是否会与目标对象发生干涉。又例如，事故预判模型可以对输入的视频数据中各视频帧进行特征提取，得到特征图，然后，从特征图中确定与目标对象对应的候选框，接着，基于候选框从特征图中获取目标对象的特征数据，然后，基于目标对象的特征数据或者目标对象的特征数据以及其它特征等预判移动平台是否会与目标对象发生干涉。
86.在操作s330中，如果事故预判结果表征移动平台发生事故，则将当前时刻之前预设时间段的视频数据写入非易失性存储器。例如，非易失性存储器包括但不限于以下至少一种：可擦可编程只读内存(erasable programmable read only memory，简称eprom)、电可擦可编程只读内存(electrically erasable programmable read only memory，简称eeprom)、闪存(flash memory)等。
87.训练数据可以被分为针对多种场景的训练数据。事故预判模型可以是针对不同场景的训练数据分别对多个事故预判子模型进行训练，得到的由多个事故预判子模型组合而成的模型。事故预判模型可以是采用针对不同的场景的训练数据，对同一个事故预判模型进行训练得到的模型。场景可以包括：公路等级、事故高发地段、住宅区路段、名胜路段等。多种场景可以分别对应不同的概率阈值，如事故高发地段对应的概率阈值可以低一些，高速公路对应的概率阈值可以高一些。
88.需要说明的是，本技术的技术方案能很好地适用于车辆在移动过程中由拍摄装置拍摄的视频的场景中，该场景下车辆可能在高速移动，拍摄的视频帧中目标对象移动较快，需要能够快速地从视频帧中预判是否会发生交通事故。在该场景下需要使得计算能力有限的移动终端设备，快速地从视频中识别出目标对象，以及判断目标对象是否会与移动平台发生干涉。
89.以下对事故预判模型进行示例性说明。
90.图4示意性示出了根据本技术实施例的事故预判模型的一种结构示意图。
91.参见图4，事故预判模型包括：特征获得模块、候选框获得模块、候选特征获得模块和识别模块。
92.其中，特征获得模块用于从视频数据中的视频帧中获取特征图。
93.候选框获得模块用于基于特征图的m个像素生成k
×
m个候选框，并且从k
×
m个候选框中选取n个包括目标对象的候选框，其中，k是针对一个像素的候选框的预设数量，n和m是大于1的整数。例如，n的取值小于k
×
m的取值。
94.例如，对于特征图中的一个像素点，与其对应的k个候选框是预设的一系列候选框的集合。候选框能把图像上所有可能的目标都囊括进去，这些框位置可能不太准，也不知道哪个候选框中包括目标对象。因此，需要微调候选框和对候选框进行分类。
95.候选特征获得模块用于基于特征图获得与n个候选框各自对应的候选特征。具体地，由于视频帧中像素与特征图中像素之间存在对应关系，针对特征图中的特定区域的候选框，可以对应到视频帧中某个区域，并且可以确定与候选框对应的候选特征。候选特征的数量相对于特征图而言，数据量小了很多，并且能够极大减小视频帧中的噪声数据的数量(与交通事故无关的图像数据，如地面图像数据、空白图像数据等)，有助于提升识别效果。
96.识别模块用于基于候选特征确定与候选特征对应的候选框的事故预判结果。例如，识别模块可以包括全连接层，把针对某个候选框的特征数据进行降维，得到针对该候选框的事故预判结果。
97.图5示意性示出了根据本技术实施例的特征提取模块的一种结构示意图。
98.参见图5，特征获得模块包括：多个卷积对，以及设置在部分相邻卷积对之间的池化层(pooling层)3。
99.例如，每个卷积对包括相邻设置的卷积层1和激活层2，卷积层1的卷积核尺寸(convolutional kernelsize)是3，特征图填充宽度(padding)是1，步长(stride)是1。池化层的卷积核尺寸是2，特征图填充宽度是0，步长是2。
100.图5中示出了4层池化层3，特征获得模块还可以包括更多或更少的池化层3。两个池化层3之间可以存在一个卷积对，也可以存在更多个卷积对。第一个池化层3之前可以存在一个或多个卷积对。特征获得模块通过上述多个卷积对和池化层3可以对视频帧进行特征提取，输出特征图。
101.在一个具体实施例中，可以将视频帧缩放至固定大小x*y，然后将经缩放的图像输入特征获得模块。特征获得模块中可以包含6个卷积层、6个激活函数层(如relu函数)和4个池化层。卷积层1和池化层的参数如下所示。
102.卷积层参数：kernelsize＝3，padding＝1，stride＝1。
103.池化层参数：kernelsize＝2，padding＝0，stride＝2。
104.其中，padding＝1使得视频帧的分辨率变为(x 2)*(y 2)，在以3x3尺寸的卷积核进行卷积后，输出矩阵的分辨率为x*y。上述卷积层参数设置使得卷积层的输入图像和输出矩阵的尺寸相同。
105.此外，池化层的参数使得每个经过池化层的x*y矩阵，都会变为(x/2)*(y/2)大小。池化层的输出矩阵的长度和宽度都变为输入的1/2。因此，分辨率为x*y的视频帧经过4个池化层后，输出矩阵的分别为(x/16)*(y/16)。因此，特征图中的像素和视频帧中像素之间存在对应关系。其中，16是2的4次方。
106.图6示意性示出了根据本技术实施例的一系列候选框的示意图。
107.参见图6，可以基于预先设置的一系列候选框，生成针对特征图中的某个像素的多
个候选框。例如，候选框的尺寸scales＝[8，16，32]，缩放比例ratios＝[0.5/1，1/1，2/1]，特征图中的每个像素对应9种组合的候选框。假设特征图的形状shape：[c，w，v]，则共有w*v个像素点，相应地，所有的候选框可以表示为：[w，v，9*4]。每个候选框用[x1，y1，x2，y2]的表示方式，其中每个数值都能对应到视频帧的像素。这样可以快速生成与特征图中的每个像素对应的组合候选框，共9个候选框。需要说明的是，以上一系列候选框的种类数量和边长缩放比例可以根据专家经验或者使用效果而定，在此不做限定。例如，缩放比例ratios还可以为[1/3，1/2，1/1，2/1，3/1]等。
[0108]
需要说明的是，针对一个分辨率为x*y的特征图，可以生成：x*y*9个候选框，计算量较大，可以按照特定归类或者随机等方式从x*y*9个候选框中选取部分候选框，以减小计算量。
[0109]
在某些实施例中，候选框获得模块具体用于对k
×
m个候选框的尺寸参数中的至少一种进行调整，并且从经调整的k
×
m个候选框中选取n个候选框，作为n个检测框。由于具有预设尺寸的候选框的覆盖范围可能不合适，如覆盖了过大的范围，导致引入了噪音。或者，候选框的覆盖范围过小，导致遗漏了针对目标对象的部分特征数据。可以通过调整候选框的尺寸来调整其覆盖范围。
[0110]
相应地，候选特征获得模块具体用于基于特征图获得与n个检测框各自对应的检测特征。
[0111]
识别模块具体用于基于检测特征确定与检测特征对应的检测框的事故预判结果。
[0112]
图7示意性示出了根据本技术实施例的候选框获得模块的一种结构示意图。
[0113]
参见图7，候选框获得模块可以包括第一支路、第二支路和候选框确定层。
[0114]
其中，第一支路用于基于激活函数对特征图的像素进行分类，得到候选框的类别。例如，类别包括：包括目标对象和不包括目标对象，特征图的像素数量与池化层的数量相关。
[0115]
第二支路用于计算针对候选框的偏移量。
[0116]
候选框确定层用于基于候选框的类别和候选框的偏移量确定包括目标对象的候选框和候选框针对特征图的覆盖范围。
[0117]
图7中候选框获得模块分为2条线，上面一条通过softmax分类候选框的锚点(anchors)获得包括目标对象和不包括目标对象的分类。下面一条用于计算对于锚点的边框回归(bounding box regression)的偏移量，以获得精确的候选框。而最后的候选框确定层用于综合包括目标对象的候选框和对应的偏移量，来获取精准的候选框(检测框)。此外，还可以剔除尺寸不合适(如候选框太小或太大)的候选框。候选框获得模块实现了定位的功能，以确定需要对哪些区域的视频帧(或特征图)进行识别。
[0118]
具体地，第二支路可以包括：调整模块和偏移量确定模块。
[0119]
其中，调整模块用于对于与特征图中的每个像素对应的k个候选框中的任一个，对该候选框的多个调整维度中的至少一个维度进行调整，直至该候选框覆盖目标对象，并且候选框的覆盖面积满足面积要求，其中，候选框的多个调整维度包括：上、下、左和右中的至少一个。其中，面积要求可以是候选框覆盖目标对象，并且候选框的覆盖面积最小，或者候选框
[0120]
偏移量确定模块用于基于调整后的k个候选框的偏移量的均值确定与该像素对应
的候选框的偏移量。
[0121]
例如，一个候选框用[x1，y1，x2，y2]进行表示，对应的检测框用[x1，y1，x2，y2]进行表示，则调整模块用于确定[x1，y1，x2，y2]与[x1，y1，x2，y2]之间的映射关系，这样可以利用该映射关系对各候选框进行调整，得到对应的检测框。其中，映射关系可以通过模型训练等方式来确定。
[0122]
由于特征图中目标对象的数量有限，并且分布在特定的区域，调整模块得到的多个检测框中，一个目标对象可能对应一个或多个调整后的候选框(检测框)，可以通过求平均值的方式来确定针对一个目标对象的检测框的偏移量。
[0123]
本实施例可以快速地生成针对特征图中一个像素的多个候选框，并通过调整候选框的调整维度，便捷地得到精准的检测框。本实施例适用于对移动平台移动过程中拍摄的视频数据，进行目标对象检测和目标对象所在图像区域进行选取，便于确定移动平台和目标对象之间发生干涉的概率。
[0124]
以下对候选特征获得模块进行示例性说明。
[0125]
图8示意性示出了根据本技术实施例的候选特征获得过程的示意图。
[0126]
参见图8，候选特征获得模块将特征图和来自候选框确定层的检测框，按照对应位置进行叠加，可以得到与多个检测框各自对应的检测特征。这样使得识别模块可以仅针对检测特征进行预判，而无需针对整个特征图进行预判，有效减少了计算量，提升响应速度。
[0127]
在某些实施例中，识别模块可以包括全连接层等，用于对检测特征进行降维，得到针对该检测特征(或检测框)对应的事故预判结果。
[0128]
此外，考虑到在不同环境下，移动平台发生事故的概率不同，例如，在同等级公路的事故高发路段和事故低发路段，发生事故的概率不同。如果能在输入特征中增加这些维度，则有助于提升事故预判的精准度。
[0129]
具体地，识别模块具体用于基于候选特征和路段属性特征确定与候选特征对应的候选框的事故预判结果，路段属性特征包括：公路等级、事故高发路段、学校路段或者居民区路段中至少一种。
[0130]
其中，路段属性特征可以是在特征获得模块输入的特征维度，也可以是在识别模块输入的特征维度，在此不做限定。此外，路段属性特征可以通过选取数据集的方式进行输入，如针对事故高发路段类型的训练数据集合，可以用于专门训练与事故高发路段类型对应的事故预判模型。
[0131]
路段属性特征可以是从外部获得的特征，如通过广播、实时路况或第三方平台等获得的特征。路段属性特征还可以包括路面湿滑程度(受天气影响)。公路等级可以分为1级公路～5级公路。公路等级也可以分为乡村路、辅路、国道、高速路等。例如，针对相同的视频数据，如果路段属性特征包括国道时，事故预判结果表征不会发生交通事故。针对相同的视频数据，如果路段属性特征包括名胜路段时，事故预判结果表征大概率会发生交通事故。
[0132]
在某些实施例中，上述方法还可以包括如下操作。
[0133]
例如，如果事故预判结果表征移动平台没有发生事故，则生成当前时刻之前预设时间段内的视频流，并且不存储该视频流。例如，可以在缓存中形成至少部分视频流，缓存的数据读写速度较快，但是成本较高。因此，设备的缓存空间通常较小，缓存中的视频数据会较快得被新拍摄的视频数据覆盖掉，不适宜长期保存有用的视频数据。此外，缓存在下电
后会丢失存储的数据。如果事故预判结果表征移动平台没有发生事故，则可以仅对拍摄的视频数据进行缓存，而不存储在非易失性存储器中，提升数据读写速度和节省非易失性存储器的存储空间。
[0134]
又例如，如果事故预判结果表征移动平台没有发生事故，则将当前时刻之后获得的视频数据覆盖当前时刻之前预设时间段内的视频数据。具体地，可以采用先入先出的方式进行视频数据存储，避免将最新存储的视频数据覆盖掉。
[0135]
在某些实施例中，还可以对事故预判结果中的移动平台发生事故按照发生的概率大小进行分级。例如，已经发生碰撞(概率为100％)、极高发生碰撞(概率为90％～99.9％)、较高发生碰撞(概率为80％～89.9％)等。这样便于对预判结果为移动平台发生事故的视频数据进行分类存储，以进一步提升视频数据的安全性。
[0136]
例如，已经发生碰撞和极高发生碰撞(概率为90％～99.9％)对应于第一存储区域。其中，第一存储区域内存储的视频数据不能被覆盖，只能被用户删除操作来清除。如果第一存储区域已存满，则可以将已经发生碰撞和极高发生碰撞的视频数据存储在第二存储区域中。
[0137]
较高发生碰撞(概率为80％～89.9％)等可能发生碰撞的对应于第二存储区域。第二存储区域内存储的视频数据可以被覆盖，但是按照先进先出的方式进行存储。
[0138]
本实施例中，通过特殊的视频数据存储规则，可以有效提升存储的视频数据的安全性和可靠性。
[0139]
在某些实施例中，事故预判模型可以通过反向传播算法进行训练。具体可以参考神经网络训练方法。
[0140]
在某些实施例中，为了提升获得的候选框的偏移量的精准度，以便从特征图中精确地获得需要进行事故预判的特征数据，可以采用两阶段训练法。具体地，可以先对特征提取部分和预测部分的基础模型进行训练，然后对由基础模型、候选框获得模块、候选特征获得模块构成的事故预判模型进行整体训练。其中，在训练基础模型的过程中，所需的检测框可以由外部输入，如由经训练的能够得到检测框的模型对训练数据进行处理，得到的检测框。
[0141]
图9示意性示出了根据本技术实施例的训练事故预判模型的一种流程图。
[0142]
参见图9，模型训练过程可以包括操作s910～操作s930。
[0143]
在操作s910，基于训练数据训练由特征获得模块、候选特征获得模块和识别模块构成的基础模型，得到经训练的基础模型，其中，候选特征获得模块所需的候选框可以是由包括训练好的候选框获得模块的模型处理该训练数据，得到的候选框。
[0144]
在操作s920，依序拼接经训练的基础模型中的特征获得模块、候选框获得模块、经训练的基础模型中的候选特征获得模块和经训练的基础模型中的识别模块，得到待训练的事故预判模型。
[0145]
在操作s930，将训练数据输入特征获得模块，通过调整候选框获得模块的模型参数，使得待训练的事故预判模型的输出趋近于与训练数据对应的标签数据。
[0146]
此外，还可以重复迭代执行上述操作s910～操作s930，以提升模型预测精度。
[0147]
具体地，训练数据可以包括：移动平台采集的视频数据和与该视频数据对应的标签数据，其中，标签包括以下至少一种：行人躺倒、行人与移动平台干涉、移动平台之间干
涉、行人招手、行人为跑步姿势、行人为行走姿势。
[0148]
需要说明的是，事故预判模型的模型训练过程可以是离线训练或者在线训练，可以在云端进行模型训练。移动平台的视频数据存储设备(如行车记录仪)可以从云端下载经训练的交通事故预判模型的模型拓扑和模型参数，以便实现在移动平台的视频数据存储设备存储视频数据。移动平台也可以将视频流发送给云端，以便云端利用经训练的交通事故预判模型处理视频数据，得到事故预判结果，并且由云端将事故预判结果发送(或广播)给该移动平台或者视频数据存储设备，以便进行视频数据存储。
[0149]
本技术的另一方面还提供了一种存储视频的装置。
[0150]
图10示意性示出了根据本技术实施例的存储视频的装置的方框图。
[0151]
参见图10，该存储视频的装置1000可以包括：视频数据获得模块1010、视频数据处理模块1020和视频数据存储模块1030。
[0152]
其中，视频数据获得模块1010用于获得视频数据，视频数据包括移动平台的环境视频数据。
[0153]
视频数据处理模块1020用于利用经训练的事故预判模型处理视频数据，确定并且输出事故预判结果。
[0154]
视频数据存储模块1030用于如果事故预判结果表征移动平台发生事故，则将当前时刻之前预设时间段的视频数据写入非易失性存储器。
[0155]
在某些实施例中，事故预判模型可以包括：
[0156]
特征获得模块，用于从视频数据中的视频帧中获取特征图；
[0157]
候选框获得模块，用于基于特征图的m个像素生成k
×
m个候选框，并且从k
×
m个候选框中选取n个包括目标对象的候选框，其中，k是针对一个像素的候选框的预设数量，n和m是大于1的整数。
[0158]
候选特征获得模块，用于基于特征图获得与n个候选框各自对应的候选特征。
[0159]
识别模块，用于基于候选特征确定与候选特征对应的候选框的事故预判结果。
[0160]
在某些实施例中，候选框获得模块具体用于对k
×
m个候选框的尺寸参数中的至少一种进行调整，并且从经调整的k
×
m个候选框中选取n个候选框，作为n个检测框。
[0161]
候选特征获得模块具体用于基于特征图获得与n个检测框各自对应的检测特征。
[0162]
识别模块具体用于基于检测特征确定与检测特征对应的检测框的事故预判结果。
[0163]
在某些实施例中，特征获得模块包括：
[0164]
多个卷积对，以及设置在部分相邻卷积对之间的池化层，其中，每个卷积对包括相邻设置的卷积层和激活层。
[0165]
在某些实施例中，候选框获得模块包括：
[0166]
第一支路，用于基于激活函数对特征图的像素进行分类，得到候选框的类别，类别包括：包括目标对象和不包括目标对象，特征图的像素数量与池化层的数量相关。
[0167]
第二支路，用于计算针对候选框的偏移量。
[0168]
候选框确定层，用于基于候选框的类别和候选框的偏移量确定包括目标对象的候选框和候选框针对特征图的覆盖范围。
[0169]
在某些实施例中，第二支路包括：
[0170]
调整模块，用于对于与特征图中的每个像素对应的k个候选框中的任一个，对该候
选框的多个调整维度中的至少一个维度进行调整，直至该候选框覆盖目标对象，并且候选框的覆盖面积满足面积要求，其中，候选框的多个调整维度包括：上、下、左和右中的至少一个。
[0171]
偏移量确定模块，用于基于调整后的k个候选框的偏移量的均值确定与该像素对应的候选框的偏移量。
[0172]
在某些实施例中，识别模块具体用于基于候选特征和路段属性特征确定与候选特征对应的候选框的事故预判结果，路段属性特征包括：公路等级、名胜路段、事故高发路段、学校路段或者居民区路段中至少一种。
[0173]
关于上述实施例中的装置1000，其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
[0174]
本技术的另一方面还提供了一种电子设备。
[0175]
图11示意性示出了根据本技术实施例的一种电子设备的方框图。
[0176]
参见图11，电子设备1100包括存储器1110和处理器1120。
[0177]
处理器1120可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0178]
存储器1110可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)和永久存储装置。其中，rom可以存储处理器1120或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1110可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1110可以包括可读和/或可写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
[0179]
存储器1110上存储有可执行代码，当可执行代码被处理器1120处理时，可以使处理器1120执行上文述及的方法中的部分或全部。
[0180]
此外，根据本技术的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本技术的上述方法中部分或全部步骤的计算机程序代码指令。
[0181]
或者，本技术还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当
可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本技术的上述方法的各个步骤的部分或全部。
[0182]
以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。