1.本发明涉及深度学习的领域,尤其涉及深度学习识别系统、方法、计算机设备及存储介质。
背景技术：
：：2.深度学习的概念源于人工神经网络的研究。深度学习的提出使得人工神经网络重新成为机器学习最重要的算法之一,在传统的人工神经网络训练中增加了一个预训练阶段,即用无监督学习对每一-层网络进行一次专门的训练,然后才用有监督学习对整个网络进行总体训练,也就是说计算机通过深度神经网络，模拟人脑的机制来学习、判断、决策。通过深度学习方法,人工神经网络的效果一举赶上甚至显著超过了支持向量机等其他机器学习方法。近年来,这种方法已被应用于许多领域,在ibm、谷歌、微软、科大讯飞、百度等公司很多工业级图像和语音处理应用上取得了非常好的效果,在近期和未来都将是人工智能领域的一个热点研究方向。3.深度学习中涉及的算法需要基于深度学习系统实现。现有技术中,深度学习系统由大量的中央处理器(cpu)及图形处理器(gpu)堆积而成，这样的深度学习系统,成本高且运行能耗高。技术实现要素：4.为了克服现有技术存在的缺点与不足,本发明提供深度学习识别系统、方法、计算机设备及存储介质。5.本发明所采用的技术方案是，6.第一方面，本发明实施例提供深度学习识别系统，所述系统包括；7.特征数据传输模块，用于根据深度学习指令传输边缘计算网关发送的消息；8.边缘计算网关，用于采集所述特征数据传输模块的特征数据并触发信息采集模块并对所述特征数据进行采集；9.信息采集模块，用于根据加密后的数据包采集所述边缘计算网关中的特征数据并进行解析和计算；10.信息特征提取模块，用于提取所述信息采集模块中计算的特征数据并写进数据库模块；11.所述特征数据应用模块，用于提供信息应用入口并根据所述信息应用入口中的应用信息实时调取所述数据库模块的特征数据。12.第二方面，本发明实施例提供深度学习识别方法，所述方法应用于深度学习识别系统，所述系统包括特征数据传输模块、边缘计算网关、信息采集模块、信息特征提取模块、数据库模块和特征数据应用模块；13.所述特征数据传输模块根据深度学习指令传输所述边缘计算网关发送的消息；14.所述边缘计算网关采集所述特征数据传输模块的特征数据并触发所述信息采集模块对所述特征数据进行采集；15.所述信息采集模块根据加密后的数据包采集所述边缘计算网关中的特征数据并进行解析和计算；16.所述信息特征提取模块提取所述信息采集模块中计算的特征数据并写进所述数据库模块；17.所述特征数据应用模块根据信息应用入口的应用信息实时调取所述数据库模块的特征数据。18.本发明第三方面提供一种计算机设备，包括计算器、处理器以及存储在所述计算器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本发明实施例第二方面所述方法的步骤。19.本发明第四方面一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例第二方面所述方法的步骤。20.本发明实施例提供的深度学习识别系统、方法、计算机设备和存储介质，特征数据传输模块根据深度学习指令对边缘计算网关发送的消息进行传输，边缘计算网关采集特征数据并加密后的数据包采集模块进行采集、解析和计算；信息特征提取模块再将信息采集模块中的传输记录写进数据库模块中，由特征数据应用模块实现对特征数据实时的调取；使用户的特征数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，从而降低了深度学习的成本以及能耗。附图说明21.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。22.图1为本发明实施例1提供的深度学习识别系统的结构示意图；23.图2为本发明实施例1进行具体配置的结构示意图；24.图3为本发明实施例1的算法以hog特征提取方式从数据收集提取数据的示意图；25.图4为本发明实施例1的算法以sift算子方式从数据收集提取数据的示意图；26.图5为本发明实施例2提供的深度学习识别方法的流程图；27.图6为本发明实施例4提供的计算机设备的示意图。具体实施方式28.需要说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特征可以相互结合,下面结合附图和有具体实施例对本技术作进一步详细说明。29.如图1所示,深度学习识别系统、方法、计算机设备及存储介质，30.实施例131.请参考图1，其示出了本发明实施例提供的深度学习识别系统的结构示意图。32.如图1所示，深度学习识别系统10包括：特征数据传输模块101、边缘计算网关102、信息采集模块103、信息特征提取模块104、数据库模块105和特征数据应用模块106。33.特征数据传输模块101，用于根据深度学习指令传输边缘计算网关102发送的消息。34.具体地，特征数据传输模块101与自媒体平台连接，例如微信、微博等自媒体平台。边缘计算网关102向用户推送消息，传输客户端101根据用户的指令将消息传输到自媒体平台。例如：保险app将新办的业务活动信息发送给业务员，业务员通过特征数据传输模块101将业务活动信息传输到微信朋友圈，业务员朋友圈的人就可以通过微信朋友圈看到该业务活动信息，查看业务活动信息的内容。35.边缘计算网关102，用于采集特征数据传输模块101的特征数据并加密后的数据包采集模块103对特征数据进行采集。36.其中，特征数据是指用户通过特征数据传输模块101传输时采集的关于传输的特征种类、特征形式、传输速度等内容。37.具体地，当用户通过特征数据传输模块101传输信息到自媒体平台时，边缘计算网关102采集特征数据。当边缘计算网关102采集特征数据时，生成加密后的数据包，并发送至信息采集模块通知进行特征数据的采集。其中，加密后的数据包是指特征数据传输模块101通过网络协议传输数据时边缘计算网关102生成的数据记录。38.信息采集模块103，用于根据加密后的数据包采集边缘计算网关102中的特征数据并进行解析和计算。39.当信息采集模块103接收到边缘计算网关102发送的加密后的数据包时，采集边缘计算网关102中的特征数据，解析成信息采集模块103可以接收的数据形式并进行计算。40.作为一种实施方式，信息采集模块103包括数据采集接口、数据解析模块和计算节点。其中，数据采集接口与边缘计算网关102和数据解析模块连接，数据解析模块与计算节点连接。当数据采集接口接收到边缘计算网关102发送的加密后的数据包，数据采集接口启动对特征数据进行采集，并将采集到的特征数据发送到数据解析模块。由于特征数据可能不能为信息采集模块103所接收，因此，数据解析模块将特征数据进行解析并转换为信息采集模块103可以接收的数据形式后计算到计算节点。41.信息特征提取模块104，用于提取信息采集模块103中计算的特征数据并写进数据库模块105。42.由于信息采集模块103计算的特征数据不能提供实时调取的接口，因此需要用信息特征提取模块104进一步将特征数据发送到数据库模块105中，再通过特征数据应用模块106实现对特征数据实时的调取。43.具体地，信息特征提取模块104与信息采集模块103和数据库模块105连接，从信息采集模块103中提取特征数据并写进数据库模块105中，其中，特征数据是以流数据的形式写进数据库模块105中的，即当信息采集模块103有特征数据时，信息特征提取模块104即将特征数据实时提取并写入到数据库模块105中。44.特征数据应用模块106，用于提供信息应用入口并根据信息应用入口中的应用信息实时调取数据库模块105的特征数据。45.具体地，特征数据应用模块106与数据库模块105连接，并提供信息应用入口，用户可以通过信息应用入口采集数据库模块105中的特征数据。46.当特征数据写进数据库模块105后，用户可以根据实际需要将特征数据的关键字输入到特征数据应用模块106的信息应用入口中，进行数据实时的调取。47.本发明实施例提供的深度学习识别系统，特征数据传输模块根据深度学习指令传输边缘计算网关发送的消息；边缘计算网关加密后的数据包采集模块对特征数据进行采集；再通过信息特征提取模块提取信息采集模块的特征数据，计算到数据库模块中；特征数据应用模块通过信息应用入口实时调取特征数据，使业务管理人员可以调取到业务人员的特征数据。48.进一步地，请参考图2，其示出了将深度学习识别系统10进行具体配置之后的结构示意图。49.如图2所示，深度学习识别系统10具体配置为：信息采集模块103配置为数据收集集合，信息特征提取模块104配置为算法集合，数据库模块105配置为mysql集合，特征数据应用模块106配置为python客户端。50.其中，数据收集是一种高吞吐量的分布式发布订阅消息系统，它可以处理网站中的所有动作流数据。例如，网页浏览、搜索和其他用户的行动，这些数据通常是由于吞吐量的要求需要通过处理日志和日志聚合来解决。数据收集的目的是通过hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集合机来提供实时的消费。51.spark是一个类似于mapreduce的分布式计算框架，其核心是弹性分布式数据集，提供了比mapreduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。算法是一种构建在spark上的实时计算框架，它扩展了spark处理大规模流式数据的能力。52.mysql是一个分布式的、面向列的开源数据库。该技术来源于faychang所撰写的google论文“bigtable：一个结构化数据的分布式计算系统”。就像bigtable利用了google文件系统所提供的分布式数据计算一样，mysql在hadoop之上提供类似于bigtable的能力。mysql是hadoop项目的子项目。mysql不同于一般的关系数据库，它是一个适合于非结构化数据计算的数据库，另一个不同的是mysql基于列的而不是基于行的模式。53.python是一个java中间层，可以让开发者在apachemysql上执行结构化调取语言(structuredquerylanguage，简称sql)进行调取。调取引擎可以sql调取转换为一个或多个mysqlscan，并编排执行以生成标准的jdbc(javadatabaseconnectivity,java数据库连接)结果集。对于简单调取来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。54.具体地，数据收集集合103包括数据采集接口、数据解析模块和数据收集计算节点。数据采集接口与边缘计算网关10和数据解析模块连接，数据解析模块与数据收集计算节点连接。55.当特征数据传输模块101通过网络协议(例如http协议)并行格式数据时，可以通过post或者get的方式进行传输，此时边缘计算网关102采集特征数据并生成加密后的数据包。边缘计算网关102将采集到的加密后的数据包发送给数据采集接口，数据采集接口启动对特征数据进行采集。56.由于数据采集接口采集到的特征数据是加密形式的，因此需要将格式解析成数据收集集合可以接收的形式。具体地，数据采集接口将特征数据以加密的形式根据预设周期传送给数据解析模块，预设周期可以根据实际需要(例如数据流入的速度)进行具体设定。数据解析模块将加密形式的特征数据转换为并行格式的数据，然后再传送给数据收集计算节点。57.算法集合104与数据收集计算节点连接，算法集合104提取数据收集计算节点的特征数据，再将其发送给mysql集合105。当算法集合104从数据收集计算节点提取数据时，可以有hog特征提取或者sift算子两种方式。58.请参考图3，其示出了算法集合104以hog特征提取方式从数据收集计算节点提取数据的示意图。如图3所示，算法集合104通过hog特征提取从数据收集计算节点采集特征数据，将其存放在spark的内存中，然后算法会启动job对spark内存的数据进行处理并写进mysql中。由于在默认的配置下，这种方式可能会因为底层的失败而丢失数据，因此，为了数据的安全，需要启用预写日志机制(writeaheadlog，简称wal机制)，该机制可以使从数据收集计算节点接收到的数据同步到mysql中，防止数据的丢失。59.请参考图4，其示出了算法集合104以sift算子方式从数据收集计算节点提取数据的示意图。sift算子方式是指算法集合104不通过hog特征提取直接从数据收集计算节点中提取数据。从如图4所示，算法集合104直接从数据收集计算节点采集特征数据，然后写进mysql中。60.应当理解的是，本发明实施例可以采用hog特征提取或者sift算子两个方式中的至少一个。61.当算法集合104将传输记录写进mysql集合105时，可以根据传输信息的特征种类作为行键将特征数据写入mysql集合105中。将特征数据写入mysql集合105的计算结构，将特征种类作为行键，可以使数据的计算更有效率，同时方便调取。62.由于mysql集合105计算的数据是非关系型的数据，本身的调取语言不支持sql，因此，为了方便实现调取，需要另外提供一个调取的接口。python可以为mysql集合105提供sql调取的支持，可以在命令行下执行，也可以用jdbc接口实现，还可以通过python客户端实现。本发明实施例中，通过python客户端实现对特征数据的实时调取。63.具体地，python客户端可以用sql编写脚本从而提供相应调取结果的视图。其中，将关键字作为字段名输入，即可以调取到相应的数据。本实施例中，可以将与有特征数据有关的内容作为关键字输入到信息应用入口进行调取。例如，输入某个用户的特征种类作为关键字，即可以将该用户所有的特征数据都实时地调取出来。业务管理者可以根据需要对业务员的特征数据进行实时调取。64.本发明实施例提供的深度学习识别系统，特征数据传输模块根据深度学习指令对边缘计算网关发送的消息进行传输，边缘计算网关采集特征数据并加密后的数据包采集模块进行采集、解析和计算；信息特征提取模块再将信息采集模块中的传输记录写进数据库模块中，由特征数据应用模块实现对特征数据实时的调取；使用户的特征数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，从而降低了深度学习的成本以及能耗。65.实施例266.请参考图5，其示出了本发明实施例提供的深度学习识别方法的流程图。67.本发明实施例的深度学习识别方法应用于深度学习识别系统，深度学习识别系统包括：特征数据传输模块、边缘计算网关、信息采集模块、信息特征提取模块、数据库模块和特征数据应用模块。如图5所示，深度学习识别方法包括以下步骤：68.步骤s201，特征数据传输模块根据深度学习指令传输边缘计算网关发送的消息。69.步骤s202，边缘计算网关采集特征数据传输模块的特征数据并加密后的数据包采集模块对特征数据进行采集。70.步骤s203，信息采集模块根据加密后的数据包采集边缘计算网关中的特征数据并进行解析和计算。71.步骤s204，信息特征提取模块提取信息采集模块中计算的特征数据并写进数据库模块。72.步骤s205，特征数据应用模块根据信息应用入口的应用信息实时调取数据库模块的特征数据。73.深度学习识别系统可以具体配置为：信息采集模块配置为数据收集集合，信息特征提取模块配置为算法集合，数据库模块配置为mysql集合，特征数据应用模块配置为python客户端。以下是将深度学习识别系统进行具体配置之后的实现方法：74.数据收集集合包括数据采集接口、数据解析模块和数据收集计算节点，特征数据传输模块通过网络协议传输并行格式数据的方式生成加密后的数据包，边缘计算网关将加密后的数据包发送至所述数据采集接口。75.数据采集接口根据加密后的数据包对特征数据进行采集，根据预设周期将所述特征数据以加密的形式发送至数据解析模块，数据解析模块将特征数据转换为并行格式数据并计算到数据收集计算节点，特征数据包括：传输信息的特征种类、特征形式、传输速度和可识别度。76.算法集合通过hog特征提取的方式从数据收集中采集特征数据，并启用预写日志机制，将特征数据写入mysql集合；或者，算法集合通过sift算子的方式从数据收集中采集特征数据，并将特征数据写入mysql集合。77.算法集合根据传输信息的特征种类或传输速度作用行键将特征数据写入mysql集合。78.python客户端根据信息应用入口采集特征数据的关键字，运用sql的方式从mysql集合中实时采集特征数据。79.本发明实施例提供的深度学习识别方法，特征数据传输模块根据深度学习指令对边缘计算网关发送的消息进行传输，边缘计算网关采集特征数据并加密后的数据包采集模块进行采集、解析和计算；信息特征提取模块再将信息采集模块中的传输记录写进数据库模块中，由特征数据应用模块实现对特征数据实时的调取；使用户的特征数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，从而降低了深度学习的成本以及能耗。80.对于方法实施例而言，由于其基本对应于系统实施例，所以相关之处参见系统实施例的部分说明即可。81.实施例382.本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例2中深度学习识别方法，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例1中深度学习识别系统中各模块/单元的功能，为避免重复，这里不再赘述。83.可以理解地，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机计算器、只读计算器(rom，read-onlymemory)、随机存取计算器(ram，randomaccessmemory)、电载波信号和电信信号等。84.实施例485.图6是本发明一实施例提供的计算机设备的示意图。如图6所示，该实施例的计算机设备30包括：处理器31、计算器32以及存储在计算器32中并可在处理器31上运行的计算机程序33。处理器31执行计算机程序33时实现上述实施例2中深度学习识别方法的步骤，例如图6所示的步骤s201至s205。或者，处理器31执行计算机程序33时实现上述各装置实施例中各模块/单元的功能，例如图1所示模块101至106的功能。86.在本发明描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。87.尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解的是,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。当前第1页12当前第1页12
背景技术：
：：2.深度学习的概念源于人工神经网络的研究。深度学习的提出使得人工神经网络重新成为机器学习最重要的算法之一,在传统的人工神经网络训练中增加了一个预训练阶段,即用无监督学习对每一-层网络进行一次专门的训练,然后才用有监督学习对整个网络进行总体训练,也就是说计算机通过深度神经网络，模拟人脑的机制来学习、判断、决策。通过深度学习方法,人工神经网络的效果一举赶上甚至显著超过了支持向量机等其他机器学习方法。近年来,这种方法已被应用于许多领域,在ibm、谷歌、微软、科大讯飞、百度等公司很多工业级图像和语音处理应用上取得了非常好的效果,在近期和未来都将是人工智能领域的一个热点研究方向。3.深度学习中涉及的算法需要基于深度学习系统实现。现有技术中,深度学习系统由大量的中央处理器(cpu)及图形处理器(gpu)堆积而成，这样的深度学习系统,成本高且运行能耗高。技术实现要素：4.为了克服现有技术存在的缺点与不足,本发明提供深度学习识别系统、方法、计算机设备及存储介质。5.本发明所采用的技术方案是，6.第一方面，本发明实施例提供深度学习识别系统，所述系统包括；7.特征数据传输模块，用于根据深度学习指令传输边缘计算网关发送的消息；8.边缘计算网关，用于采集所述特征数据传输模块的特征数据并触发信息采集模块并对所述特征数据进行采集；9.信息采集模块，用于根据加密后的数据包采集所述边缘计算网关中的特征数据并进行解析和计算；10.信息特征提取模块，用于提取所述信息采集模块中计算的特征数据并写进数据库模块；11.所述特征数据应用模块，用于提供信息应用入口并根据所述信息应用入口中的应用信息实时调取所述数据库模块的特征数据。12.第二方面，本发明实施例提供深度学习识别方法，所述方法应用于深度学习识别系统，所述系统包括特征数据传输模块、边缘计算网关、信息采集模块、信息特征提取模块、数据库模块和特征数据应用模块；13.所述特征数据传输模块根据深度学习指令传输所述边缘计算网关发送的消息；14.所述边缘计算网关采集所述特征数据传输模块的特征数据并触发所述信息采集模块对所述特征数据进行采集；15.所述信息采集模块根据加密后的数据包采集所述边缘计算网关中的特征数据并进行解析和计算；16.所述信息特征提取模块提取所述信息采集模块中计算的特征数据并写进所述数据库模块；17.所述特征数据应用模块根据信息应用入口的应用信息实时调取所述数据库模块的特征数据。18.本发明第三方面提供一种计算机设备，包括计算器、处理器以及存储在所述计算器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本发明实施例第二方面所述方法的步骤。19.本发明第四方面一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例第二方面所述方法的步骤。20.本发明实施例提供的深度学习识别系统、方法、计算机设备和存储介质，特征数据传输模块根据深度学习指令对边缘计算网关发送的消息进行传输，边缘计算网关采集特征数据并加密后的数据包采集模块进行采集、解析和计算；信息特征提取模块再将信息采集模块中的传输记录写进数据库模块中，由特征数据应用模块实现对特征数据实时的调取；使用户的特征数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，从而降低了深度学习的成本以及能耗。附图说明21.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。22.图1为本发明实施例1提供的深度学习识别系统的结构示意图；23.图2为本发明实施例1进行具体配置的结构示意图；24.图3为本发明实施例1的算法以hog特征提取方式从数据收集提取数据的示意图；25.图4为本发明实施例1的算法以sift算子方式从数据收集提取数据的示意图；26.图5为本发明实施例2提供的深度学习识别方法的流程图；27.图6为本发明实施例4提供的计算机设备的示意图。具体实施方式28.需要说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特征可以相互结合,下面结合附图和有具体实施例对本技术作进一步详细说明。29.如图1所示,深度学习识别系统、方法、计算机设备及存储介质，30.实施例131.请参考图1，其示出了本发明实施例提供的深度学习识别系统的结构示意图。32.如图1所示，深度学习识别系统10包括：特征数据传输模块101、边缘计算网关102、信息采集模块103、信息特征提取模块104、数据库模块105和特征数据应用模块106。33.特征数据传输模块101，用于根据深度学习指令传输边缘计算网关102发送的消息。34.具体地，特征数据传输模块101与自媒体平台连接，例如微信、微博等自媒体平台。边缘计算网关102向用户推送消息，传输客户端101根据用户的指令将消息传输到自媒体平台。例如：保险app将新办的业务活动信息发送给业务员，业务员通过特征数据传输模块101将业务活动信息传输到微信朋友圈，业务员朋友圈的人就可以通过微信朋友圈看到该业务活动信息，查看业务活动信息的内容。35.边缘计算网关102，用于采集特征数据传输模块101的特征数据并加密后的数据包采集模块103对特征数据进行采集。36.其中，特征数据是指用户通过特征数据传输模块101传输时采集的关于传输的特征种类、特征形式、传输速度等内容。37.具体地，当用户通过特征数据传输模块101传输信息到自媒体平台时，边缘计算网关102采集特征数据。当边缘计算网关102采集特征数据时，生成加密后的数据包，并发送至信息采集模块通知进行特征数据的采集。其中，加密后的数据包是指特征数据传输模块101通过网络协议传输数据时边缘计算网关102生成的数据记录。38.信息采集模块103，用于根据加密后的数据包采集边缘计算网关102中的特征数据并进行解析和计算。39.当信息采集模块103接收到边缘计算网关102发送的加密后的数据包时，采集边缘计算网关102中的特征数据，解析成信息采集模块103可以接收的数据形式并进行计算。40.作为一种实施方式，信息采集模块103包括数据采集接口、数据解析模块和计算节点。其中，数据采集接口与边缘计算网关102和数据解析模块连接，数据解析模块与计算节点连接。当数据采集接口接收到边缘计算网关102发送的加密后的数据包，数据采集接口启动对特征数据进行采集，并将采集到的特征数据发送到数据解析模块。由于特征数据可能不能为信息采集模块103所接收，因此，数据解析模块将特征数据进行解析并转换为信息采集模块103可以接收的数据形式后计算到计算节点。41.信息特征提取模块104，用于提取信息采集模块103中计算的特征数据并写进数据库模块105。42.由于信息采集模块103计算的特征数据不能提供实时调取的接口，因此需要用信息特征提取模块104进一步将特征数据发送到数据库模块105中，再通过特征数据应用模块106实现对特征数据实时的调取。43.具体地，信息特征提取模块104与信息采集模块103和数据库模块105连接，从信息采集模块103中提取特征数据并写进数据库模块105中，其中，特征数据是以流数据的形式写进数据库模块105中的，即当信息采集模块103有特征数据时，信息特征提取模块104即将特征数据实时提取并写入到数据库模块105中。44.特征数据应用模块106，用于提供信息应用入口并根据信息应用入口中的应用信息实时调取数据库模块105的特征数据。45.具体地，特征数据应用模块106与数据库模块105连接，并提供信息应用入口，用户可以通过信息应用入口采集数据库模块105中的特征数据。46.当特征数据写进数据库模块105后，用户可以根据实际需要将特征数据的关键字输入到特征数据应用模块106的信息应用入口中，进行数据实时的调取。47.本发明实施例提供的深度学习识别系统，特征数据传输模块根据深度学习指令传输边缘计算网关发送的消息；边缘计算网关加密后的数据包采集模块对特征数据进行采集；再通过信息特征提取模块提取信息采集模块的特征数据，计算到数据库模块中；特征数据应用模块通过信息应用入口实时调取特征数据，使业务管理人员可以调取到业务人员的特征数据。48.进一步地，请参考图2，其示出了将深度学习识别系统10进行具体配置之后的结构示意图。49.如图2所示，深度学习识别系统10具体配置为：信息采集模块103配置为数据收集集合，信息特征提取模块104配置为算法集合，数据库模块105配置为mysql集合，特征数据应用模块106配置为python客户端。50.其中，数据收集是一种高吞吐量的分布式发布订阅消息系统，它可以处理网站中的所有动作流数据。例如，网页浏览、搜索和其他用户的行动，这些数据通常是由于吞吐量的要求需要通过处理日志和日志聚合来解决。数据收集的目的是通过hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集合机来提供实时的消费。51.spark是一个类似于mapreduce的分布式计算框架，其核心是弹性分布式数据集，提供了比mapreduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。算法是一种构建在spark上的实时计算框架，它扩展了spark处理大规模流式数据的能力。52.mysql是一个分布式的、面向列的开源数据库。该技术来源于faychang所撰写的google论文“bigtable：一个结构化数据的分布式计算系统”。就像bigtable利用了google文件系统所提供的分布式数据计算一样，mysql在hadoop之上提供类似于bigtable的能力。mysql是hadoop项目的子项目。mysql不同于一般的关系数据库，它是一个适合于非结构化数据计算的数据库，另一个不同的是mysql基于列的而不是基于行的模式。53.python是一个java中间层，可以让开发者在apachemysql上执行结构化调取语言(structuredquerylanguage，简称sql)进行调取。调取引擎可以sql调取转换为一个或多个mysqlscan，并编排执行以生成标准的jdbc(javadatabaseconnectivity,java数据库连接)结果集。对于简单调取来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。54.具体地，数据收集集合103包括数据采集接口、数据解析模块和数据收集计算节点。数据采集接口与边缘计算网关10和数据解析模块连接，数据解析模块与数据收集计算节点连接。55.当特征数据传输模块101通过网络协议(例如http协议)并行格式数据时，可以通过post或者get的方式进行传输，此时边缘计算网关102采集特征数据并生成加密后的数据包。边缘计算网关102将采集到的加密后的数据包发送给数据采集接口，数据采集接口启动对特征数据进行采集。56.由于数据采集接口采集到的特征数据是加密形式的，因此需要将格式解析成数据收集集合可以接收的形式。具体地，数据采集接口将特征数据以加密的形式根据预设周期传送给数据解析模块，预设周期可以根据实际需要(例如数据流入的速度)进行具体设定。数据解析模块将加密形式的特征数据转换为并行格式的数据，然后再传送给数据收集计算节点。57.算法集合104与数据收集计算节点连接，算法集合104提取数据收集计算节点的特征数据，再将其发送给mysql集合105。当算法集合104从数据收集计算节点提取数据时，可以有hog特征提取或者sift算子两种方式。58.请参考图3，其示出了算法集合104以hog特征提取方式从数据收集计算节点提取数据的示意图。如图3所示，算法集合104通过hog特征提取从数据收集计算节点采集特征数据，将其存放在spark的内存中，然后算法会启动job对spark内存的数据进行处理并写进mysql中。由于在默认的配置下，这种方式可能会因为底层的失败而丢失数据，因此，为了数据的安全，需要启用预写日志机制(writeaheadlog，简称wal机制)，该机制可以使从数据收集计算节点接收到的数据同步到mysql中，防止数据的丢失。59.请参考图4，其示出了算法集合104以sift算子方式从数据收集计算节点提取数据的示意图。sift算子方式是指算法集合104不通过hog特征提取直接从数据收集计算节点中提取数据。从如图4所示，算法集合104直接从数据收集计算节点采集特征数据，然后写进mysql中。60.应当理解的是，本发明实施例可以采用hog特征提取或者sift算子两个方式中的至少一个。61.当算法集合104将传输记录写进mysql集合105时，可以根据传输信息的特征种类作为行键将特征数据写入mysql集合105中。将特征数据写入mysql集合105的计算结构，将特征种类作为行键，可以使数据的计算更有效率，同时方便调取。62.由于mysql集合105计算的数据是非关系型的数据，本身的调取语言不支持sql，因此，为了方便实现调取，需要另外提供一个调取的接口。python可以为mysql集合105提供sql调取的支持，可以在命令行下执行，也可以用jdbc接口实现，还可以通过python客户端实现。本发明实施例中，通过python客户端实现对特征数据的实时调取。63.具体地，python客户端可以用sql编写脚本从而提供相应调取结果的视图。其中，将关键字作为字段名输入，即可以调取到相应的数据。本实施例中，可以将与有特征数据有关的内容作为关键字输入到信息应用入口进行调取。例如，输入某个用户的特征种类作为关键字，即可以将该用户所有的特征数据都实时地调取出来。业务管理者可以根据需要对业务员的特征数据进行实时调取。64.本发明实施例提供的深度学习识别系统，特征数据传输模块根据深度学习指令对边缘计算网关发送的消息进行传输，边缘计算网关采集特征数据并加密后的数据包采集模块进行采集、解析和计算；信息特征提取模块再将信息采集模块中的传输记录写进数据库模块中，由特征数据应用模块实现对特征数据实时的调取；使用户的特征数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，从而降低了深度学习的成本以及能耗。65.实施例266.请参考图5，其示出了本发明实施例提供的深度学习识别方法的流程图。67.本发明实施例的深度学习识别方法应用于深度学习识别系统，深度学习识别系统包括：特征数据传输模块、边缘计算网关、信息采集模块、信息特征提取模块、数据库模块和特征数据应用模块。如图5所示，深度学习识别方法包括以下步骤：68.步骤s201，特征数据传输模块根据深度学习指令传输边缘计算网关发送的消息。69.步骤s202，边缘计算网关采集特征数据传输模块的特征数据并加密后的数据包采集模块对特征数据进行采集。70.步骤s203，信息采集模块根据加密后的数据包采集边缘计算网关中的特征数据并进行解析和计算。71.步骤s204，信息特征提取模块提取信息采集模块中计算的特征数据并写进数据库模块。72.步骤s205，特征数据应用模块根据信息应用入口的应用信息实时调取数据库模块的特征数据。73.深度学习识别系统可以具体配置为：信息采集模块配置为数据收集集合，信息特征提取模块配置为算法集合，数据库模块配置为mysql集合，特征数据应用模块配置为python客户端。以下是将深度学习识别系统进行具体配置之后的实现方法：74.数据收集集合包括数据采集接口、数据解析模块和数据收集计算节点，特征数据传输模块通过网络协议传输并行格式数据的方式生成加密后的数据包，边缘计算网关将加密后的数据包发送至所述数据采集接口。75.数据采集接口根据加密后的数据包对特征数据进行采集，根据预设周期将所述特征数据以加密的形式发送至数据解析模块，数据解析模块将特征数据转换为并行格式数据并计算到数据收集计算节点，特征数据包括：传输信息的特征种类、特征形式、传输速度和可识别度。76.算法集合通过hog特征提取的方式从数据收集中采集特征数据，并启用预写日志机制，将特征数据写入mysql集合；或者，算法集合通过sift算子的方式从数据收集中采集特征数据，并将特征数据写入mysql集合。77.算法集合根据传输信息的特征种类或传输速度作用行键将特征数据写入mysql集合。78.python客户端根据信息应用入口采集特征数据的关键字，运用sql的方式从mysql集合中实时采集特征数据。79.本发明实施例提供的深度学习识别方法，特征数据传输模块根据深度学习指令对边缘计算网关发送的消息进行传输，边缘计算网关采集特征数据并加密后的数据包采集模块进行采集、解析和计算；信息特征提取模块再将信息采集模块中的传输记录写进数据库模块中，由特征数据应用模块实现对特征数据实时的调取；使用户的特征数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，从而降低了深度学习的成本以及能耗。80.对于方法实施例而言，由于其基本对应于系统实施例，所以相关之处参见系统实施例的部分说明即可。81.实施例382.本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例2中深度学习识别方法，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例1中深度学习识别系统中各模块/单元的功能，为避免重复，这里不再赘述。83.可以理解地，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机计算器、只读计算器(rom，read-onlymemory)、随机存取计算器(ram，randomaccessmemory)、电载波信号和电信信号等。84.实施例485.图6是本发明一实施例提供的计算机设备的示意图。如图6所示，该实施例的计算机设备30包括：处理器31、计算器32以及存储在计算器32中并可在处理器31上运行的计算机程序33。处理器31执行计算机程序33时实现上述实施例2中深度学习识别方法的步骤，例如图6所示的步骤s201至s205。或者，处理器31执行计算机程序33时实现上述各装置实施例中各模块/单元的功能，例如图1所示模块101至106的功能。86.在本发明描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。87.尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解的是,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。