一种基于神经网络的数据处理方法及系统与流程

1.本技术涉及智能交通领域，尤其涉及基于神经网络的数据处理方法及系统。


背景技术：

2.在自动驾驶或车路协同系统中，车端的自动驾驶控制器需要处理高精度地图信息。对于一般的车载导航，高精度地图数据量庞大，存储量高出数个量级，若完全依赖于车载自动驾驶控制器，无法实现持久化存储高精度地图信息。
3.车路协同系统中，路侧单元rsu可以向自动驾驶车辆广播地图map数据，map缓存是自动驾驶车载终端为解决无法持久化高精度地图数据的一种常用手段。现有技术中，往往简单地将车辆行驶过程中获取到的全部地图信息数据以某种格式存储在本地文件系统中，以备实时数据缺失时调用。上述方式对本地存储空间资源消耗较大，同时对实时高速本地检索提出较高挑战，例如，与地图数据相关的应用对实时响应要求，一般在毫秒级。
4.现有技术中用于解决本地存储空间资源消耗较大的方法，仅仅基于简单的经验算法为缓存map计算排序权重，例如使用操作系统中常用的lru算法、lfu算法等，然后释放按此排序靠后的缓存数据。然而，现有技术未充分利用具备价值的信息，仅仅基于通用信息的处理方式，可能造成权重估计不合理，实际需要的数据排序靠后而被释放。
5.因此，期望提供一种基于神经网络的数据处理方法及系统，基于访问时间、频率以及道路特点、rsu分布特点等多维度信息，使数据处理优先级排序更合理，有效释放缓存资源，实现存储实际需要缓存的地图数据的目的。


技术实现要素：

6.根据本技术的一些实施例的第一方面，提供了一种基于神经网络的数据处理方法，应用于终端(例如，自动驾驶控制器等)中，所述方法可以包括根据第一区域的地图数据，构造神经网络的输入特征向量，所述地图数据包括路侧信息、距离信息、道路信息、接收信息；基于历史数据，构建训练集、验证集、测试集；构建浅层神经网络模型；训练、验证、测试所述浅层神经网络模型，生成最终的神经网络模型；将所述神经网络模型集成至自动驾驶控制器，确定所述地图数据相关的第一信息。
7.在一些实施例中，所述路侧信息包括路侧单元rsu的数量信息，所述距离信息包括所述路侧单元与所述第一区域的平均距离信息，所述道路信息包括道路平均曲率信息，所述接收信息包括距离上次数据接收失败的时长信息。
8.在一些实施例中，所述构造神经网络的输入特征向量，具体包括根据发送所述第一区域的地图数据的rsu数量x1，rsu到所述第一区域中点的平均距离x2，道路平均曲率x3，距离上次数据接收失败的时长x4，构造输入特征向量x＝[x1,x2,x3,x4]。
[0009]
在一些实施例中，所述地图数据未被接收的概率p作为输出向量。
[0010]
在一些实施例中，所述构建浅层神经网络模型，具体包括构建浅层神经网络模型p＝σ(wrx br)，其中，x为输入特征向量，p为地图数据未被收到的概率，激活函数σ用于将输出
控制在0至1之间，wr为需经训练得到的权重参数、br为需经训练得到的偏移参数。
[0011]
在一些实施例中，所述基于神经网络的数据处理方法包括确定损失函数，具体包括根据地图数据接收失败的概率p与地图数据的实际接收信息的交叉熵，确定损失函数。
[0012]
在一些实施例中，所述基于神经网络的数据处理方法包括训练所述浅层神经网络模型，具体包括基于所述损失函数和所述训练集，对所述浅层神经网络模型进行迭代训练，获取最优权重参数wr、最优偏移参数br；基于所述验证集进行过拟合验证。
[0013]
在一些实施例中，所述基于神经网络的数据处理方法包括测试训练后的所述浅层神经网络模型，具体包括基于所述测试集，对训练后的所述浅层神经网络进行测试；若测试的正确率满足预设阈值，生成最终的神经网络模型。
[0014]
在一些实施例中，所述第一信息包括所述地图数据未被接收的概率，具体包括基于所述地图数据未被接收的概率，确定所述地图数据缓存本地的权重。
[0015]
根据本技术的一些实施例的第二方面，提供了一个系统，所述系统包括：一个存储器，被配置为存储数据及指令；一个与存储器建立通信的处理器，其中，当执行存储器中的指令时，所述处理器被配置为：所述方法可以包括根据第一区域的地图数据，构造神经网络的输入特征向量，所述地图数据包括路侧信息、距离信息、道路信息、接收信息；基于历史数据，构建训练集、验证集、测试集；构建浅层神经网络模型；训练、验证、测试所述浅层神经网络模型，生成最终的神经网络模型；将所述神经网络模型集成至自动驾驶控制器，确定所述地图数据相关的第一信息。
[0016]
因此，根据本技术的一些实施例的基于神经网络的数据处理方法及系统，基于访问时间、频率以及道路特点、rsu分布特点等多维度信息，使数据处理优先级排序更合理，有效释放缓存资源，实现存储实际需要缓存的地图数据的目的。
附图说明
[0017]
为更好地理解并阐述本技术的一些实施例，以下将结合附图参考实施例的描述，在这些附图中，同样的数字编号在附图中指示相应的部分。
[0018]
图1是根据本技术的一些实施例提供的基于神经网络的数据处理系统的示例性示意图。
[0019]
图2是根据本技术的一些实施例提供的基于神经网络的数据处理方法的示例性流程图。
具体实施方式
[0020]
以下参考附图的描述为便于综合理解由权利要求及其等效内容所定义的本技术的各种实施例。这些实施例包括各种特定细节以便于理解，但这些仅被视为示例性的。因此，本领域技术人员可以理解对在此描述的各种实施例进行各种变化和修改而不会脱离本技术的范围和精神。另外，为简要并清楚地描述本技术，本技术将省略对公知功能和结构的描述。
[0021]
在以下说明书和权利要求书中使用的术语和短语不限于字面含义，而是仅为能够清楚和一致地理解本技术。因此，对于本领域技术人员，可以理解，提供对本技术各种实施例的描述仅仅是为说明的目的，而不是限制所附权利要求及其等效定义的本技术。
[0022]
下面将结合本技术一些实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0023]
需要说明的是，在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一”、“一个”、“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本技术中使用的术语“和/或”是指并包含一个或多个相绑定的列出项目的任何或所有可能组合。表达“第一”、“第二”、“所述第一”和“所述第二”是用于修饰相应元件而不考虑顺序或者重要性，仅仅被用于区分一种元件与另一元件，而不限制相应元件。
[0024]
根据本技术一些实施例的终端可以是智能终端，平台，装备和/或电子设备等；该智能终端可以包括自动驾驶控制器等。该平台可以包括云控平台等，所述平台可以包括由一个或多个电子设备组成的系统平台；该装备可以包括智能网联车辆(intelligent connected vehicle，icv)；该电子设备可以包括个人电脑(pc，例如平板电脑、台式电脑、笔记本、上网本、掌上电脑pda)、客户端设备、虚拟现实设备(vr)、增强现实设备(ar)、混合现实设备(mr)、xr设备、渲染机、智能手机、移动电话、电子书阅读器、便携式多媒体播放器(pmp)、音频/视频播放器(mp3/mp4)、摄像机和可穿戴设备等中的一种或几种的组合。根据本技术的一些实施例，所述可穿戴设备可以包括附件类型(例如手表、戒指、手环、眼镜、或头戴式装置(hmd))、集成类型(例如电子服装)、装饰类型(例如皮肤垫、纹身或内置电子装置)等，或几种的组合。在本技术的一些实施例中，所述电子设备可以是灵活的，不限于上述设备，或者可以是上述各种设备中的一种或几种的组合。在本技术中，术语“用户”可以指示使用电子设备的人或使用电子设备的设备(例如人工智能电子设备)。
[0025]
本技术实施例提供了一种基于神经网络的数据处理方法及系统。为了便于理解本技术实施例，以下将参考附图对本技术实施例进行详细描述。
[0026]
图1是根据本技术的一些实施例提供的基于神经网络的数据处理系统的示例性示意图。如图1所述，基于神经网络的数据处理系统100可以包括网络110、控制端120、用户端130和服务器140等。具体的，控制端120与用户端130在通过网络建立通信，例如，控制端120与用户端130可以在同一个局域网(比如，同一个路由器的网络环境等)中通信。进一步，控制端120可以通过有线(例如，网线等)或无线(例如，云端服务器等)等方式与网络110连接，用户端130可以通过有线或无线(例如，wifi等)等方式与网络110建立通信连接。在一些实施例中，用户端130可以向控制端120、服务器140发送车辆区域信息等。进一步地，控制端120、服务器140可以向用户端130反馈地图数据等。根据反馈的信息，用户端130可以缓存地图数据或删除缓存的地图数据等。作为示例，服务器140和/或控制端120可以获取预测地图数据接收失败的概率等，根据所述接收失败的概率可以预估所述地图数据缓存本地的权重等。
[0027]
根据本技术的一些实施例，控制端120、用户端130可以为相同或不同的终端设备等。所述终端设备可以包括但不限于智能终端，云控平台，移动终端，计算机等。在智能交通场景中，控制端120可以包括自动驾驶控制器等，用户端130可以包括显示装置等。在一些实施例中，控制端120和用户端130可以集成在一个设备中，例如，自动驾驶控制器等。在一些
实施例中，服务器140是计算机的一种，具有比普通计算机运行更快、负载更高等优势，而相对应的价格更高昂。在网络环境中，服务器可以为其它客户机(例如，pc机、智能手机、atm等终端，以及交通系统等大型设备)提供计算或者应用服务。服务器具有高速的cpu运算能力、长时间的可靠运行、强大的i/o外部数据吞吐能力以及更好的扩展性。所述服务器可以提供的服务包括但不限于承担响应服务请求、承担服务、保障服务的能力等。所述服务器作为电子设备，具有极其复杂的内部结构，包括与普通计算机相近的内部结构等，作为示例，所述服务器的内部结构可以包括中央处理器(central processing unit，cpu)、硬盘、内存，系统、系统总线等。
[0028]
在本技术的一些实施例中，基于神经网络的数据处理系统100可以省略一个或多个元件，或者可以进一步包括一个或多个其它元件。作为示例，基于神经网络的数据处理系统100可以包括多个用户端130，如多个智能装备等。又例如，基于神经网络的数据处理系统100可以包括一个或多个控制端120。再例如，基于神经网络的数据处理系统100可以包括多个服务器140等。在一些实施例中，基于神经网络的数据处理系统100可以包括但不限于基于城市智能交通场景处理的系统。网络110可以为任意类型的通信网络，所述通信网络可以包括计算机网络(例如，局域网(lan，local area network)或广域网(wan，wide area network))、互联网和/或电话网络等，或几种的组合。在一些实施例中，网络110可以为其他类型的无线通信网络。所述无线通信可以包括微波通信和/或卫星通信等。所述无线通信可以包括蜂窝通信，例如，全球移动通信(gsm，global system for mobile communications)、码分多址(cdma，code division multiple access)、第三代移动通信(3g，the 3rd generation telecommunication)、第四代移动通信(4g)、第五代移动通信(5g)、第六代移动通信(6g)、长期演进技术(lte，long term evolution)、长期演进技术升级版(lte-a，lte-advanced)、宽带码分多址(wcdma，wideband code division multiple access)、通用移动通信系统(umts，universal mobile telecommunications system)、无线宽带(wibro，wireless broadband)等，或几种的组合。在一些实施例中，用户端130可以为其他具备同等功能模块的装备和/或电子设备，该装备和/或电子设备可以包括智能网联车辆(intelligent connected vehicle，icv)、虚拟现实设备(vr)、渲染机、个人电脑(pc，例如平板电脑、台式电脑、笔记本、上网本、掌上电脑pda)、智能手机、移动电话、电子书阅读器、便携式多媒体播放器(pmp)、音频/视频播放器(mp3/mp4)、摄像机和可穿戴设备等中的一种或几种的组合。
[0029]
在一些实施例中，所述wifi可以为其他类型的无线通信技术。根据本技术的一些实施例，所述无线通信可以包括无线局域网(wifi，wireless fidelity)、蓝牙、低功耗蓝牙(ble，bluetooth low energy)、紫蜂协议(zigbee)、近场通讯(nfc，near field communication)、磁安全传输、射频和体域网(ban，body area network)等，或几种的组合。根据本技术的一些实施例，所述有线通信可以包括全球导航卫星系统(glonass/gnss，global navigation satellite system)、全球定位系统(gps，global position system)、北斗导航卫星系统或伽利略(欧洲全球卫星导航系统)等。所述有线通信可以包括通用串行总线(usb，universal serial bus)、高清多媒体接口(hdmi，high-definition multimedia interface)、推荐标准232(rs-232，recommend standard 232)、和/或简易老式电话服务(pots，plain old telephone service)等，或几种的组合。
[0030]
需要说明的是，以上对于基于神经网络的数据处理系统100的描述，仅为描述方便，并不能把本技术限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个元件进行任意组合，或者构成子系统与其他元件连接，对实施上述方法和系统的应用领域进行形式和细节上的各种修正和改变。例如，服务器140和/或控制端120可以通过路侧单元等获取地图数据等。又例如，控制端120/用户端130可以集成在自动驾驶控制器中等。诸如此类的变形，均在本技术的保护范围之内。
[0031]
图2是根据本技术的一些实施例提供的基于神经网络的数据处理方法的示例性流程图。如图2所述，流程200可以通过基于神经网络的数据处理系统100实现。在一些实施例中，所述基于神经网络的数据处理方法200可以自动启动或通过指令启动。所述指令可以包括系统指令、设备指令、用户指令、动作指令等，或几种的组合。
[0032]
在201，根据第一区域的地图数据，构造神经网络的输入特征向量，所述地图数据包括路侧信息、距离信息、道路信息、接收信息。操作201可以通过基于神经网络的数据处理系统100的控制端120、用户端130、服务器140实现。在一些实施例中，控制端120和/或服务器140可以获取第一区域的地图数据。在一些实施例中，控制端120和/或服务器140可以根据第一区域的地图数据，构造神经网络的输入特征向量。所述地图数据可以包括但不限于路侧信息、距离信息、道路信息、接收信息等。作为示例，所述第一区域可以包括当前用户端130的预设距离内的区域，例如，当前车辆的周边区域等。
[0033]
在一些实施例中，所述路侧信息可以包括路侧单元rsu的数量信息等，所述距离信息可以包括所述路侧单元与所述第一区域的平均距离信息等，所述道路信息可以包括道路平均曲率信息等，所述接收信息可以包括距离上次数据接收失败的时长信息等。例如，根据所述地图数据接收相关的多维度信息，基于神经网络的地图数据处理方法(如，地图数据存储权重估值方法)以及基于所述权重估值实现地图数据(map数据)的分级存储决策系统，优化地图数据的缓存方案等。所述多维度信息可以包括但不限于道路曲率、rsu部署距离、射频信号重叠覆盖程度等。
[0034]
作为示例，所述构造神经网络的输入特征向量，具体包括根据发送所述第一区域的地图数据的rsu数量x1，rsu到所述第一区域中点的平均距离x2，道路平均曲率x3，距离上次数据接收失败的时长x4，构造输入特征向量x＝[x1,x2,x3,x4]。
[0035]
在一些实施例中，所述地图数据未被接收的概率p可以作为输出向量。
[0036]
在202，基于历史数据，构建训练集、验证集、测试集。操作202可以通过基于神经网络的数据处理系统100的控制端120、服务器140实现。在一些实施例中，控制端120和/或服务器140可以基于历史数据，构建训练集、验证集、测试集。作为示例，控制端120和/或服务器140可以基于长期收集的历史数据构建训练集、验证集、测试集等，所述训练集、验证集、测试集用于所述神经网络模型的训练、验证和测试。
[0037]
在203，构建浅层神经网络模型。操作203可以通过基于神经网络的数据处理系统100的控制端120、服务器140实现。在一些实施例中，控制端120和/或服务器140可以构建浅层神经网络模型。
[0038]
在一些实施例中，构建所述浅层神经网络模型：
[0039]
p＝σ(wrx br)
[0040]
其中，x为输入特征向量，p为地图数据未被收到的概率，激活函数σ用于将输出控制在0至1之间，wr为需经训练得到的权重参数、br为需经训练得到的偏移参数。
[0041]
在204，训练、验证、测试所述浅层神经网络模型，生成最终的神经网络模型。操作204可以通过基于神经网络的数据处理系统100的服务器140和/或控制端120实现。在一些实施例中，服务器140和/或控制端120可以训练、验证、测试所述浅层神经网络模型，生成最终的神经网络模型。
[0042]
根据本技术的一些实施例，根据地图数据接收失败的概率p与地图数据的实际接收信息的交叉熵，确定损失函数。在一些实施例中，基于所述损失函数和所述训练集，对所述浅层神经网络模型进行迭代训练，获取最优权重参数wr、最优偏移参数br；基于所述验证集进行过拟合验证。例如，所述地图数据的实际接收信息可以包括接收成功记为0，接收失败记为1等。
[0043]
在一些实施例中，基于所述测试集，对训练后的所述浅层神经网络进行测试；若测试的正确率满足预设阈值，生成最终的神经网络模型。作为示例，所述预设阈值包括实际使用要求的正确率。
[0044]
在205，将所述神经网络模型集成至自动驾驶控制器，确定所述地图数据相关的第一信息。操作205可以通过基于神经网络的数据处理系统100的服务器140和/或控制端120实现。在一些实施例中，服务器140和/或控制端120可以将所述神经网络模型集成至自动驾驶控制器，确定所述地图数据相关的第一信息。在一些实施例中，所述第一信息包括所述地图数据未被接收的概率等。作为示例，服务器140和/或控制端120可以根据所述地图数据未被接收的概率，确定所述地图数据缓存本地的权重等。
[0045]
根据本技术的一些实施例，所述第一信息包括所述地图数据未被接收的概率。作为示例，基于所述地图数据未被接收的概率，可以确定所述地图数据缓存本地的权重。例如，当所述地图数据未被接收的概率高，可以增加所述地图数据缓存本地的权重，如在本地缓存所述地图数据等。又例如，当所述地图数据未被接收的概率低，可以降低所述地图数据缓存本地的权重，如删除所述地图数据的本地缓存等。
[0046]
根据本技术的一些实施例，所述地图数据可以在用户端130的用户界面(ui)中显示，所述地图数据的显示场景可以包括但不限于通过vr，ar，mr，xr任一形式或组合形式进行场景显示。
[0047]
需要说明的是，以上对于流程200的描述，仅为描述方便，并不能把本技术限制在所举实施例的范围之内。可以理解，对于本领域技术人员，基于本系统的原理，可能在不背离该原理的前提下，对各个操作进行任意组合，或者构成子流程与其它操作组合，对实施上述流程和操作的功能进行形式和细节上的各种修正和改变。例如，流程200可以进一步包括基于所述地图数据未被接收的概率，可以确定所述地图数据缓存本地的权重等操作。诸如此类的变形，均在本技术的保护范围之内。
[0048]
综上所述，根据本技术实施例的基于神经网络的数据处理方法及系统，基于访问时间、频率以及道路特点、rsu分布特点等多维度信息，使数据处理优先级排序更合理，有效释放缓存资源，实现存储实际需要缓存的地图数据的目的。
[0049]
需要注意的是，上述的实施例仅仅是用作示例，本技术不限于这样的示例，而是可以进行各种变化。
[0050]
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0051]
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
[0052]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(read-only memory，rom)或随机存储器(random access memory，ram)等。
[0053]
以上所揭露的仅为本技术一些优选的实施例，不能以此来限定本技术之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本技术权利要求所作的等同变化，仍属于发明所涵盖的范围。