一种基于Hadoop的车辆大数据处理方法和系统与流程

一种基于hadoop的车辆大数据处理方法和系统
技术领域
1.本发明涉及车联网技术领域，尤其涉及一种基于hadoop的车辆大数据处理方法和系统。


背景技术：

2.车联网的概念源于物联网，即车辆物联网，是以行驶中的车辆为信息感知对象，借助新一代信息通信技术，实现车与x(即车与车、人、路、服务平台)之间的网络连接，提升车辆整体的智能驾驶水平，为用户提供安全、舒适、智能、高效的驾驶感受与交通服务，同时提高交通运行效率，提升社会交通服务的智能化水平。车联网通过新一代信息通信技术，实现车与云平台、车与车、车与路、车与人、车内等全方位网络链接，主要实现了“三网融合”，即将车内网、车际网和车载移动互联网进行融合。车联网是利用传感技术感知车辆的状态信息，并借助无线通信网络与现代智能信息处理技术实现交通的智能化管理，以及交通信息服务的智能决策和车辆的智能化控制。
3.现有的车辆大数据处理方法和系统，无法做到对车辆状态通过算法进行快速识别，并且识别的图像较为模糊，对人员的观察与管理带来不便，并且现有的系统无法高效稳定地支撑千万级车辆进行实时大数据存储、计算、分析和应用，为此我们提出一种基于hadoop的车辆大数据处理方法和系统来解决上述问题。


技术实现要素：

4.本发明的目的是为了解决现有技术中无法做到对车辆状态通过算法进行快速识别，并且识别的图像较为模糊，对人员的观察与管理带来不便，并且现有的系统无法高效稳定地支撑千万级车辆进行实时大数据存储、计算、分析和应用的问题，而提出的一种基于hadoop的车辆大数据处理方法和系统。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种基于hadoop的车辆大数据处理方法，其步骤如下所述：
7.用户通过app或网页进入软件界面，通过车载终端的gps模块接收到车辆本身的定位信息，然后通过gprs网络进行传输，数据采集模块对数据进行接收，采集到车辆定位数据；
8.采集到车辆的定位数据后，通过数据源对车辆的状态、车牌等信息进行识别传输；
9.数据处理模块根据采集到的车辆定位数据和车辆的信息数据，对其数据进行处理；
10.处理完成后的通过通信协议进行数据分割，使数据转换成标准形式，设计数据库，并把数据及时的存储到数据库中；
11.存储完成后，hadoop云平台将车辆的位置信息和车辆的状态信息实时显示在地图上；
12.观察地图上显示的信息，通过大数据调度层，对车辆进行任务调度，并通过大数据
应用层对车辆进行辅助控制。
13.优选地，所述车辆的状态识别背景模型更新和提取前景；所述背景模型更新的算法如下：
[0014][0015]
式中：mask
t
为背景样本集；b
t
为背景帧；pi为背景样本集中的元素；sr(p
t
(x))为所有与p
t
(x)距离小于r的点的集合；
[0016]
所述提取前景的算法如下；
[0017][0018]
式中：tr(sb)为离散度矩阵的迹；sb为离散度矩阵；ω为目标和背景出现的概率；μ为灰度均值矢量。
[0019]
一种基于hadoop的车辆大数据处理系统，包括大数据处理系统，所述大数据处理系统包括hadoop云平台和hbase数据库，所述hadoop云平台采用分布式存储方式来提高读写速度和扩大存储容量，采用mapreduce整合分布式文件系统上的数据，保证高速分析处理数据，还采用存储冗余数据来保证数据的安全性；所述hbase数据库用于存储和处理大型数据。
[0020]
优选地，所述hadoop云平台包括数据源、大数据应用层、大数据计算层、大数据处理层、大数据存储层、大数据采集层和大数据调度层；
[0021]
所述数据源用于提供某种所需要数据的器件或原始媒体；所述大数据应用层用于通过车联网调度层动态调度大数据存储层和计算层的存储和计算资源；所述大数据计算层主要利用统一的大数据计算引擎，根据自描述的元计算数据，统一实时、近线和离线运算；所述大数据处理层用于对数据进行数据解析、数据预处理、数据加载、数据迁移等操作，并将数据发送到hbase数据库中；所述大数据存储层用于对结构化数据和非结构化数据进行一体化存储；所述大数据采集层用于获取不同设备来源的结构化车载数据以及半结构化和非结构化数据；所述大数据调度层用于对车联网的大数据存储资源和计算资源进行整合调度。
[0022]
优选地，所述数据源包括ecu数据、非结构化数据、影像数据、天气数据、地图数据、结构化数据和半结构化数据；
[0023]
所述ecu数据用于根据其内存的程序和数据对空气流量计及各种传感器输入的信息进行运算、处理、判断，然后输出指令；所述非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据；所述影像数据是组成影像的数据集合；所述天气数据是为天气分析和预报服务的一种实时性很强的气象数据；所述地图数据用于应用地图来分析和展示与位置相关的数据；所述结构化数据是二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理；所述半结构化数据用于了解结构变化很大的数据的细节。
[0024]
优选地，所述大数据计算层包括元数据计算、计算资源监控、实时计算、近线计算
和离线计算；
[0025]
所述元数据计算用于对有限元数据进行翻译；所述计算资源监控用于对计算机运行时所需要的资源进行监控；所述实时计算用于计算时间复杂性较低的数据；所述近线计算用于处理实时数据流；所述离线计算用于在计算开始前已知所有输入数据，输入数据不会产生变化，且在解决一个问题后就要立即得出结果的前提下进行的计算。
[0026]
优选地，所述大数据存储层包括存储资源监控、元存储数据、raw数据存储、sql数据存储和nosql数据存储；
[0027]
所述存储资源监控用于展示存储层资源的性能数据；所述元存储数据用于自动识别数据的结构化特征；所述raw数据存储用于存储感光元件记录的图像的所有灰度数据；所述sql数据存储用于存储一组预先写好的能实现某种功能的t-sql程序；所述nosql数据存储用于存储对列属性不确定的记录数据和数据量非常大的数据。
[0028]
优选地，所述大数据采集层包括数据源配置、广度优先采集、精度优先采集、数据清洗转换、flume抽取工具、kafka消息队列和批量实时加载；
[0029]
所述数据源配置用于显示程序数据库的位置和存放的形式；所述广度优先采集用于系统地展开并采集图中的所有节点，以找寻采集结果；所述精度优先采集用于达到被采集结构的叶结点；所述数据清洗转换用于清洗数据中的重复和错误数据，并将数据从一种表现形式变为另一种表现形式；所述flume抽取工具用于自动采集前端数据，并自动保存至数据目的地；所述kafka消息队列用于对数据进行持久化处理；所述批量实时加载用于将数据源数据同时分发到多个目的地。
[0030]
优选地，所述大数据应用层包括故障诊断、辅助驾驶、驾驶行为分析和车辆智能控制；
[0031]
所述故障诊断用于利用各种检查和测试方法发现系统和设备是否存在故障；所述辅助驾驶用于对驾驶者驾驶车辆的过程中提供辅助支持；所述驾驶行为分析用于加强驾驶员不安全行为的监管和增强驾驶员的安全意识；所述车辆智能控制用于通过计算机控制、人工智能和通信技术实现更好的通行能力和更安全的行驶。
[0032]
相比现有技术，本发明的有益效果为：
[0033]
1、本发明通过算法的改进，通过提出的算法对样本集的更新策略进行改进，并且利用样本集与当前帧的对比获取掩码，采用算法求出前景提取的动态阈值，用该阈值通过当前帧与背景帧做差分获取前景图像，提出的算法能够有效改善运动车辆中出现的阴影，并且较好的适应光照突变和图像抖动，使得对车辆的状态识别效果更好，方便人员根据hadoop云平台显示的信息对车辆进行智能辅助控制，提高了整个系统对数据处理的准确性，便于人员使用。
[0034]
2、本发明通过系统的设置，丰富和完善结构化数据、半结构化数据和非结构化数据的数据建模，强化利润数据自身的特征学习能力，提高半监督学习和无监督学习的占比，丰富和完善分布式流处理与批处理模型，提高大数据实时计算、近线计算和离线计算的适用性，增强计算模型之间的动态转换和适配能力，彻底打破计算模型之间的差异，强化通用大数据一体化调度架构的资源管理和任务调度能力，更加紧密地整合和优化大数据集群的计算资源和存储资源，提升了整个系统的鲁棒性、智能性、灵活性、伸缩性和高效性。
附图说明
[0035]
图1为本发明提出的一种基于hadoop的车辆大数据处理方法的流程示意图；
[0036]
图2为本发明提出的一种基于hadoop的车辆大数据处理系统的整体系统框图；
[0037]
图3为本发明提出的一种基于hadoop的车辆大数据处理系统的数据源框图；
[0038]
图4为本发明提出的一种基于hadoop的车辆大数据处理系统的大数据计算层框图；
[0039]
图5为本发明提出的一种基于hadoop的车辆大数据处理系统的大数据存储层框图；
[0040]
图6为本发明提出的一种基于hadoop的车辆大数据处理系统的大数据采集层框图；
[0041]
图7为本发明提出的一种基于hadoop的车辆大数据处理系统的大数据应用层框图。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0043]
参照图1，一种基于hadoop的车辆大数据处理方法，其步骤如下：
[0044]
用户通过app或网页进入软件界面，通过车载终端的gps模块接收到车辆本身的定位信息，然后通过gprs网络进行传输，数据采集模块对数据进行接收，采集到车辆定位数据；
[0045]
采集到车辆的定位数据后，通过数据源对车辆的状态、车牌等信息进行识别传输；车辆的状态识别背景模型更新和提取前景；背景模型更新的算法如下：
[0046][0047]
式中：mask
t
为背景样本集；b
t
为背景帧；pi为背景样本集中的元素；sr(p
t
(x))为所有与p
t
(x)距离小于r的点的集合；
[0048]
提取前景的算法如下；
[0049][0050]
式中：tr(sb)为离散度矩阵的迹；sb为离散度矩阵；ω为目标和背景出现的概率；μ为灰度均值矢量；
[0051]
数据处理模块根据采集到的车辆定位数据和车辆的信息数据，对其数据进行处理；
[0052]
处理完成后的通过通信协议进行数据分割，使数据转换成标准形式，设计数据库，并把数据及时的存储到数据库中；
[0053]
存储完成后，hadoop云平台将车辆的位置信息和车辆的状态信息实时显示在地图上；
[0054]
观察地图上显示的信息，通过大数据调度层，对车辆进行任务调度，并通过大数据应用层对车辆进行辅助控制。
[0055]
参照图2-7，一种基于hadoop的车辆大数据处理系统，包括大数据处理系统，大数据处理系统包括hadoop云平台和hbase数据库，hadoop云平台采用分布式存储方式来提高读写速度和扩大存储容量，采用mapreduce整合分布式文件系统上的数据，保证高速分析处理数据，还采用存储冗余数据来保证数据的安全性；hbase数据库用于存储和处理大型数据
[0056]
其中，hadoop云平台包括数据源、大数据应用层、大数据计算层、大数据处理层、大数据存储层、大数据采集层和大数据调度层；
[0057]
数据源用于提供某种所需要数据的器件或原始媒体；大数据应用层用于通过车联网调度层动态调度大数据存储层和计算层的存储和计算资源；大数据计算层主要利用统一的大数据计算引擎，根据自描述的元计算数据，统一实时、近线和离线运算，通过动态时间窗口技术，实现大数据统一计算模型，同时根据计算资源实时监控情况，动态调整实时和离线计算，灵活适应集群资源变化，有机整合不同计算框架，实现无缝切换和灵活替换；大数据处理层用于对数据进行数据解析、数据预处理、数据加载、数据迁移等操作，并将数据发送到hbase数据库中；大数据存储层用于对结构化数据和非结构化数据进行一体化存储；大数据采集层用于获取不同设备来源的结构化车载数据以及半结构化和非结构化数据；大数据调度层用于对车联网的大数据存储资源和计算资源进行整合调度
[0058]
其中，数据源包括ecu数据、非结构化数据、影像数据、天气数据、地图数据、结构化数据和半结构化数据；
[0059]
ecu数据用于根据其内存的程序和数据对空气流量计及各种传感器输入的信息进行运算、处理、判断，然后输出指令；非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据；影像数据是组成影像的数据集合；天气数据是为天气分析和预报服务的一种实时性很强的气象数据；地图数据用于应用地图来分析和展示与位置相关的数据；结构化数据是二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理；半结构化数据用于了解结构变化很大的数据的细节
[0060]
其中，大数据计算层包括元数据计算、计算资源监控、实时计算、近线计算和离线计算；
[0061]
元数据计算用于对有限元数据进行翻译；计算资源监控用于对计算机运行时所需要的资源进行监控；实时计算用于计算时间复杂性较低的数据；近线计算用于处理实时数据流；离线计算用于在计算开始前已知所有输入数据，输入数据不会产生变化，且在解决一个问题后就要立即得出结果的前提下进行的计算
[0062]
其中，大数据存储层包括存储资源监控、元存储数据、raw数据存储、sql数据存储和nosql数据存储；
[0063]
存储资源监控用于展示存储层资源的性能数据；元存储数据用于自动识别数据的结构化特征；raw数据存储用于存储感光元件记录的图像的所有灰度数据；sql数据存储用于存储一组预先写好的能实现某种功能的t-sql程序；nosql数据存储用于存储对列属性不确定的记录数据和数据量非常大的数据
[0064]
其中，大数据采集层包括数据源配置、广度优先采集、精度优先采集、数据清洗转
换、flume抽取工具、kafka消息队列和批量实时加载；
[0065]
数据源配置用于显示程序数据库的位置和存放的形式；广度优先采集用于系统地展开并采集图中的所有节点，以找寻采集结果；精度优先采集用于达到被采集结构的叶结点；数据清洗转换用于清洗数据中的重复和错误数据，并将数据从一种表现形式变为另一种表现形式；flume抽取工具用于自动采集前端数据，并自动保存至数据目的地；kafka消息队列用于对数据进行持久化处理；批量实时加载用于将数据源数据同时分发到多个目的地
[0066]
其中，大数据应用层包括故障诊断、辅助驾驶、驾驶行为分析和车辆智能控制；
[0067]
故障诊断用于利用各种检查和测试方法发现系统和设备是否存在故障；辅助驾驶用于对驾驶者驾驶车辆的过程中提供辅助支持；驾驶行为分析用于加强驾驶员不安全行为的监管和增强驾驶员的安全意识；车辆智能控制用于通过计算机控制、人工智能和通信技术实现更好的通行能力和更安全的行驶。
[0068]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0069]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0070]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。