车载终端数据的可视化方法、设备及存储介质与流程

1.本发明涉及车联网领域，尤其涉及一种车载终端数据的可视化方法、设备及计算机可读存储介质。


背景技术：

2.目前，传统汽车行业正在发生改变，车辆的网联化和智能化在迅速发展，随之而来的就是数以亿级的车辆数据，收集数据的目的是为了为产品赋能，也就是为车辆的销售提供更多信息。传统的数据分析挖掘都是在数据库中进行，面对的都是大量的数字和文字，同时十分依赖专业技术人员，可操作性型不高。不能直观地得到需要的数据和分析结果，而且转手过多、效率不高。


技术实现要素：

3.本发明的主要目的在于提供一种车载终端数据的可视化方法，旨在解决现有技术中数据分析挖掘效率低下、结果展示不够直接的技术问题。
4.为实现上述目的，本发明提供一种车载终端数据的可视化方法，所述车载终端数据的可视化方法包括：
5.将接收到的车载终端数据以预设格式进行处理得到标签数据，分布式存储于数据库表中；
6.当接收到业务需求时，从所述数据库表中查询并读取车载终端数据，按照业务需求对车载终端数据进行逻辑处理后得到待展示的标签数据；
7.使用可视化组件构建可视化页面，将待展示的标签数据在所述可视化页面上进行展示。
8.可选地，所述分布式存储于数据库表中的步骤包括：
9.在接收到车载终端数据后，使用hadoop框架读取处理并存储车载终端数据，将车载终端数据处理成以文件的形式，分布式存储于数据库表中。
10.可选地，所述以文件的形式，分布式存储于数据库表中的步骤包括：
11.将文件随机存储到数据库表中的数据节点的块中，文件的目录信息存放在数据库表中的名称节点中。
12.可选地，所述从所述数据库表中查询并读取车载终端数据的步骤包括：
13.根据所述数据库表建立对应的实体对象及映射对象，利用注解标识对应属性，将实体对象的属性与数据库表中的属性一一对应；
14.通过继承mybatis-plus框架中封装的基础映射实体接口实现车载终端数据的查询和读取操作。
15.可选地，所述按照业务需求对车载终端数据进行逻辑处理后得到待展示的标签数据的步骤包括：
16.通过预先建立的服务处理类对从所述数据库表中查询并读取的车载终端数据按
照业务需求进行计算和封装，将处理得到的数据封装到vo实体类中，得到待展示的标签数据。
17.可选地，对所述车载终端数据进行计算和封装的步骤包括：
18.对车载终端数据进行过滤、排序、映射的流操作以及时间限制，按照业务需求建立vo实体类。
19.可选地，在所述按照业务需求对车载终端数据进行逻辑处理后得到待展示的标签数据之后的步骤，还包括：
20.对所述待展示的标签数据封装成json格式的数据返回给查询端，使查询端进行可视化展示。
21.可选地，在所述当接收到业务需求时之后的步骤，还包括：
22.对业务需求参数的类型和值进行判断，识别并丢弃脏数据。
23.此外，为实现上述目的，本发明还提供一种车载终端数据的可视化设备，所述车载终端数据的可视化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车载终端数据的可视化程序，所述车载终端数据的可视化程序被所述处理器执行时实现如上述的车载终端数据的可视化方法的步骤。
24.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有车载终端数据的可视化程序，所述车载终端数据的可视化程序被处理器执行时实现如上所述的车载终端数据的可视化方法的步骤。
25.本发明实施例提出的一种车载终端数据的可视化方法、设备及计算机可读存储介质，在数据存储方面使用hadoop框架，采用分布式存储系统hbase进行数据存储，主要使用hdfs存储一些不需要任意修改的大数据文件，利用mapreduce来处理hbase中的海量数据，mapreduce利用分治的思想对车联网大数据平台的数据进行快速处理，同时zookeeper作为协调工具，主要协调分布式存储系统的命名服务、状态同步服务、集群管理、分布式应用部署等，确保本系统中数据存储的一致性。
26.在数据查询和数据处理方面利用java程序对hbase进行操作，得到需要的数据项，借助hbase查询的高效率、低时延，配合跨平台的java程序，得到原始数据的同时并处理得到用户需要的其他数据内容。
27.在数据展示方面主要使用各种可视化组件构建可视化大屏，包括了地图可视化组件、时间流图可视化组件、协同分析组件等。地图可视化组件，使用地图作为依据，在上面显示车辆的实时位置，可以清晰地看到车辆的全国分布，也可以根据车辆id查询到单个车辆的车辆信息和行驶信息等，用户点击某一区域，会显示区域隐藏的信息，包括区域车辆总数、车辆详细分布等。从而帮助制定更加有针对性的销售方案。
28.从而一方面提升车辆数据的使用效率，不仅体现在数据的查询速度上，而且体现在数据的展示幅度上。另一方面提升了车辆数据的使用范围，由之前的专业技术人员才能使用的数据，到所有需要使用数据的人都可以实时精准且快速地使用需要的数据。
附图说明
29.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
30.图2为本发明车载终端数据的可视化方法一实施例的流程示意图。
31.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
32.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
33.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
34.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
35.本发明实施例运行设备可以是pc，也可以是智能手机、平板电脑、电子书阅读器、便携计算机等具有显示功能的可移动式终端设备。
36.如图1所示，该运行设备可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
37.可选地，运行设备还可以包括摄像头、rf(radio frequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动运行设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动运行设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
38.本领域技术人员可以理解，图1中示出的运行设备结构并不构成对运行设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
39.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车载终端数据的可视化程序。
40.在图1所示的运行设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的车载终端数据的可视化程序，并执行以下操作：
41.将接收到的车载终端数据以预设格式进行处理得到标签数据，分布式存储于数据库表中；
42.当接收到业务需求时，从所述数据库表中查询并读取车载终端数据，按照业务需求对车载终端数据进行逻辑处理后得到待展示的标签数据；
43.使用可视化组件构建可视化页面，将待展示的标签数据在所述可视化页面上进行展示。
44.进一步地，处理器1001可以调用存储器1005中存储的车载终端数据的可视化程序，还执行以下操作：
45.在接收到车载终端数据后，使用hadoop框架读取处理并存储车载终端数据，将车载终端数据处理成以文件的形式，分布式存储于数据库表中。
46.进一步地，处理器1001可以调用存储器1005中存储的车载终端数据的可视化程序，还执行以下操作：
47.将文件随机存储到数据库表中的数据节点的块中，文件的目录信息存放在数据库表中的名称节点中。
48.进一步地，处理器1001可以调用存储器1005中存储的车载终端数据的可视化程序，还执行以下操作：
49.根据所述数据库表建立对应的实体对象及映射对象，利用注解标识对应属性，将实体对象的属性与数据库表中的属性一一对应；
50.通过继承mybatis-plus框架中封装的基础映射实体接口实现车载终端数据的查询和读取操作。
51.进一步地，处理器1001可以调用存储器1005中存储的车载终端数据的可视化程序，还执行以下操作：
52.通过预先建立的服务处理类对从所述数据库表中查询并读取的车载终端数据按照业务需求进行计算和封装，将处理得到的数据封装到vo实体类中，得到待展示的标签数据。
53.进一步地，处理器1001可以调用存储器1005中存储的车载终端数据的可视化程序，还执行以下操作：
54.对车载终端数据进行过滤、排序、映射的流操作以及时间限制，按照业务需求建立vo实体类。
55.进一步地，处理器1001可以调用存储器1005中存储的车载终端数据的可视化程序，还执行以下操作：
56.对所述待展示的标签数据封装成json格式的数据返回给查询端，使查询端进行可视化展示。
57.进一步地，处理器1001可以调用存储器1005中存储的车载终端数据的可视化程序，还执行以下操作：
58.对业务需求参数的类型和值进行判断，识别并丢弃脏数据。
59.参照图2，本发明提供一种车载终端数据的可视化方法，在本发明的车载终端数据的可视化方法的流程中，所述流程包括：
60.步骤s10，将接收到的车载终端数据以预设格式进行处理得到标签数据，分布式存储于数据库表中。
61.由于原始数据可读性较差，所以需要将原始车载终端数据根据指定的格式处理成方便阅读的二次标签数据，存放到供可视化处理的数据库表中，这里的计算任务主要使用mapreduce进行计算处理。mapreduce其实是一种编程模型，这个模型的核心步骤主要分两部分：map(映射)和reduce(归约)。当向mapreduce框架提交一个计算作业时，它会首先把计算作业拆分成若干个map任务，然后分配到不同的节点上去执行，每一个map任务处理输入数据中的一部分，当map任务完成后，它会生成一些中间文件，这些中间文件将会作为reduce任务的输入数据。reduce任务的主要目标就是把前面若干个map的输出汇总到一起
并输出。
62.步骤s20，当接收到业务需求时，从所述数据库表中查询并读取车载终端数据，按照业务需求对车载终端数据进行逻辑处理后得到待展示的标签数据。
63.利用java从数据库表中读取所需的车载终端数据，并按实际的业务需求，比如每日活跃度的计算、车机版本分布(车载终端的迭代版本，百分比的数据)等，对车载终端数据进行逻辑处理得到需要展示在可视化页面上的标签数据，以此来替代手动编写sql进行业务需求的处理，将一些常用的业务封装成固定的函数接口供需求方使用，函数接口包括但不限于车联网活跃接口、功能使用次数和排名接口、版本分布等接口，接口参数由前端输入，一般输入一些日期和车型等限定条件。
64.步骤s30，使用可视化组件构建可视化页面，将待展示的标签数据在所述可视化页面上进行展示。
65.首先，车辆数据的展示内容，不仅要有基本的车辆原始数据，也要对车辆原始数据进行处理，从而得到一些更加直观地数据展示在可视化页面上。其次，车辆数据的展示形式需结合计算机图形学的知识，主要有以下几种改进：
66.a.常规数据信息的展示通过计算机图形技术将各种数据统计模型加入到车辆信息可视化系统中，传统的图像模型，在本发明实施例中，采用多维动态展示的技术，对于展示的维度可以根据数据的条件进行多维调整，动态变化。同时，同样的数据可以采用不同的数据模型进行展示，从而以不同的角度看数据来得到不同的见解，更好的激发思维。同一种数据模型可以在时间，空间等不同维度上进行对比展示，使得可视化形式多样，满足多场景需求。
67.b.地理学可视化即地理位置数据的可视化，在传统静态地图的基础上实现动态地图，静态地图上显示的数据信息有限，可读能力也不足，在动态地图上，数据不仅是在数字上变化，也在地图上的内容的变化，将大量的不同的空间参考信息共同构建与一张动态地图之上。
68.在本实施例中，在数据存储方面使用hadoop框架，采用分布式存储系统hbase进行数据存储，主要使用hdfs存储一些不需要任意修改的大数据文件，利用mapreduce来处理hbase中的海量数据，mapreduce利用分治的思想对车联网大数据平台的数据进行快速处理，同时zookeeper作为协调工具，主要协调分布式存储系统的命名服务、状态同步服务、集群管理、分布式应用部署等，确保本系统中数据存储的一致性。
69.在数据查询和数据处理方面利用java程序对hbase进行操作，得到需要的数据项，借助hbase查询的高效率、低时延，配合跨平台的java程序，得到原始数据的同时并处理得到用户需要的其他数据内容。
70.在数据展示方面主要使用各种可视化组件构建可视化大屏，包括了地图可视化组件、时间流图可视化组件、协同分析组件等。地图可视化组件，使用地图作为依据，在上面显示车辆的实时位置，可以清晰地看到车辆的全国分布，也可以根据车辆id查询到单个车辆的车辆信息和行驶信息等，用户点击某一区域，会显示区域隐藏的信息，包括区域车辆总数、车辆详细分布等。从而帮助制定更加有针对性的销售方案。
71.其中，hdfs(hadoop distributed file system，hadoop框架的分布式文件存储系统)为海量数据提供了存储，而mapreduce为海量数据提供了计算框架。从而一方面提升车
辆数据的使用效率，不仅体现在数据的查询速度上，而且体现在数据的展示幅度上。另一方面提升了车辆数据的使用范围，由之前的专业技术人员才能使用的数据，到所有需要使用数据的人都可以实时精准且快速地使用需要的数据。
72.可选地，所述分布式存储于数据库表中的步骤包括：
73.在接收到车载终端数据后，使用hadoop框架读取处理并存储车载终端数据，将车载终端数据处理成以文件的形式，分布式存储于数据库表中。
74.车载终端数据上传到车载终端数据库，然后使用hadoop框架对数据进行读取处理并存储，主要将车载终端数据处理成以文件的形式进行分布式存储于数据库表中。
75.可选地，所述以文件的形式，分布式存储于数据库表中的步骤包括：
76.将文件随机存储到数据库表中的数据节点的块中，文件的目录信息存放在数据库表中的名称节点中。
77.在接收到车载终端数据后，车载终端数据文件随机存储到datanode数据节点的block块中，车载终端数据文件的目录信息存放在namenode名称节点中。namenode是master节点(主节点)，可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。namenode会将文件系统的meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在datanode的信息等。datanode是slave节点(从节点)，是文件存储的基本单元，它将block存储在本地文件系统中，保存了block的meta-data，同时周期性地将所有存在的block信息发送给namenode。还有一个block(块)的概念：block是hdfs中的基本读写单元；hdfs中的文件都是被切割为block(块)进行存储的；这些块被复制到多个datanode中；块的大小(通常为64mb)和复制的块数量在创建文件时由client决定。client用来切分文件，访问hdfs，与namenode交互，获得文件位置信息，与datanode交互，读取和写入数据。
78.可选地，所述从所述数据库表中查询并读取车载终端数据的步骤包括：
79.根据所述数据库表建立对应的实体对象及映射对象，利用注解标识对应属性，将实体对象的属性与数据库表中的属性一一对应；
80.通过继承mybatis-plus框架中封装的基础映射实体接口实现车载终端数据的查询和读取操作。
81.根据通过hadoop框架得到的数据库表建立对应的持久层entity实体对象及mapper映射对象。entity实体对象的属性与所需数据表中的属性一一对应，对应方法为利用注解标识每一个对应属性，包括id、车架号、插入到数据库表的时间等信息，数据的crud(增删改查操作)通过继承mybatis-plus框架封装好的basemapper《entity》基础映射实体接口来实现，主要用到的是basemapper的动态数据库查询功能，将接口传入的参数按照日期、车型、功能名等限定条件动态拼接到查询的数据库语句中，实现动态批量查询数据的目的。myabtis-plus框架提供的接口的查询方法(selectone、selectlist等)，程序与数据库表的连接主要依靠字段名和实体类的属性名进行一一对应。
82.可选地，所述按照业务需求对车载终端数据进行逻辑处理后得到待展示的标签数据的步骤包括：
83.通过预先建立的服务处理类对从所述数据库表中查询并读取的车载终端数据按照业务需求进行计算和封装，将处理得到的数据封装到vo实体类中，得到待展示的标签数
据。
84.在业务层，建立service业务处理类，即服务处理类，对查询数据库表得到的车载终端数据根据业务逻辑进行计算和封装，在业务逻辑层将处理好的数据封装到vo(view object，视图对象)实体类中，并返回到表现层。
85.可选地，对所述车载终端数据进行计算和封装的步骤包括：
86.对车载终端数据进行过滤、排序、映射的流操作以及时间限制，按照业务需求建立vo实体类。
87.计算过程主要包括对数据的过滤、排序、映射等流操作以及时间的限制等，均已在语言框架中封装成函数以供使用；封装是根据业务需要的数据建立vo实体类，将属性写入vo实体类中，以完成计算和封装的步骤。在业务逻辑层将经过计算过程后的处理好的数据封装到vo实体类中，并返回到表现层。
88.可选地，在所述按照业务需求对车载终端数据进行逻辑处理后得到待展示的标签数据之后的步骤，还包括：
89.对所述待展示的标签数据封装成json格式的数据返回给查询端，使查询端进行可视化展示。
90.表现层作为数据的出口，主要任务之一是作为处理好的数据出口，对数据进行封装，一般封装成json格式的数据返回给前端进行可视化展示。
91.可选地，在所述当接收到业务需求时之后的步骤，还包括：
92.对业务需求参数的类型和值进行判断，识别并丢弃脏数据。
93.表现层作为参数的入口，主要任务之一是对参数的类型和值进行判断，避免脏数据造成程序瘫痪。脏数据是指格式不对的数据，比如需要日期类型，传入的是日期时间类型，或者输入错误的车型名称等。
94.可选地，所述使用可视化组件构建可视化页面，将待展示的标签数据在所述可视化页面上进行展示的步骤，还包括：
95.实现双动态展示，响应不同用户的各种查看请求。
96.传统可视化大屏的可操作性不强，仅仅有显示数据的功能，而本发明实施例中的动态地图功能，不仅其动态可变，而且更重要的是在人机交互方面有更大的突破，实现动态实时的人机交互，数据的上传和查询速度更快，让用户感觉不到时延。本发明实施例在显示方面利用了高清触摸屏实现双动态展示，不仅是画面的自动变化，同时，用户可以去操作画面，探索数据背后的数据。比如，在动态地图界面，可以点击查看各个区域的详细数据，也可以对不同地区数据进行实时比较。
97.为辅助理解上述车载终端数据的可视化方法的步骤，现在通过以下的一个例子来进行解释说明。
98.以车辆日活跃度计算为例，数据查询处理程序主体采用了ssm框架进行编写，主要分为三层，表现层：主要用来控制接口传入参数的校验和传出业务逻辑层的函数处理后的业务数据，其业务数据包括：每日、每月、每周活跃度、车机版本分布、车主手机版本分布、车及功能使用排名、每日新增用户数等，其控制为进行条件判断、控制参数形式，比如不为null或日期必须为年月日的格式等，在业务逻辑处理前进行控制。业务层：主要根据业务需求对数据进行业务逻辑处理。持久层：负责与数据库表进行对应，获取所需数据库表数据。
99.某个业务需求需要的数据库表为car_work，包含了id、车架号、车辆点火时间、车型、车辆是否联网、车辆是否点火等字段。这个数据库表作为数据源，通过在数据查询处理程序中建立carwork与car_work通过表字段的名称和实体类属性名称进行属性的一一对应，并通过carworkmapper获取car_work表中的数据信息。
100.业务层要得到某一天的活跃度，根据某一天的日期来获取这一天的车辆点火信息，通过stream流操作过滤掉点火信息不完整的数据以及车型，得到需要处理的信息，之后根据车辆是否联网、车辆是否点火、车架号、车辆点火时间等信息得到车辆点火数、车辆联网数及车辆总数，以此来计算当日的车辆活跃度和车辆联网度，比如用活跃车辆数/总车辆数得到车辆活跃度，并将其放入carworkvo中传到表现层。
101.表现层主要对传入的时间进行格式化和非空判断，其中时间格式化为比如1998-02-12 12:23:52格式化为1998-02-12，或者反过来类似的方式，同时对得到的返回数据进行json格式化处理后返回给前端可视化进行展示。
102.其他功能全部根据以上处理流程开发，不同点在于需求的不同导致的传入参数不同及返回结果不同。
103.此外，本发明实施例还提供一种车载终端数据的可视化设备，所述车载终端数据的可视化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车载终端数据的可视化程序，所述车载终端数据的可视化程序被所述处理器执行时实现如上述的车载终端数据的可视化方法的步骤。
104.此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有车载终端数据的可视化程序，所述车载终端数据的可视化程序被处理器执行时实现如上所述的车载终端数据的可视化方法的步骤。
105.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
106.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
107.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
108.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。