一种数据检测方法、系统、电子设备及介质与流程

1.本技术涉及深度学习技术领域，尤其涉及一种数据检测方法、系统、电子设备及介质。


背景技术：

2.社交媒体的发展在加速信息传播的同时，也带来了虚假谣言信息的泛滥，往往会引发诸多不安定因素，并对经济和社会产生巨大的影响。这些不切实际的谣言，“操纵”了舆论感情，误导了公众的判断，更影响了社会稳定。因此，如何充分利用多模态以及预训练模型的优势来统一抽取社交内容中的标题、正文、图片、评论等丰富特征中的特征内容，并对其进行科学的甄别，成为了一个亟待解决的问题。


技术实现要素：

3.本技术实施例提供了一种数据检测方法、系统、电子设备及介质，以至少通过本发明解决了无法充分利用多模态以及预训练模型的优势来抽取社交内容中的多种社交信息，导致检测内容单一以及社交信息检测准确率低等问题。
4.本发明提供了数据检测方法，包括：
5.社交信息获取步骤：获取社交内容相关的社交信息；
6.特征向量获取步骤：通过预训练的相关模型，分别对所述社交信息进行特征抽取后，获得多个特征向量；
7.特征向量融合步骤：对多个所述特征向量进行拼接，获得社交信息融合特征向量；
8.特征向量检测步骤：对所述社交信息融合特征向量进行检测分类获取检测结果，根据所述检测结果判断所述社交信息是否为低质量社交信息。
9.上述的数据检测方法中，所述社交信息获取步骤包括，获取所述社交内容的标题、正文、插图以及评论相关的所述社交信息。
10.上述的数据检测方法中，所述特征向量获取步骤包括：
11.标题特征向量获取步骤：通过预训练的语言模型获得标题特征向量；
12.内容特征向量获取步骤:通过预训练的所述语言模型获得内容特征向量；
13.图片特征向量获取步骤：过预训练的图像模型分别获得多个图片特征向量；
14.评论特征向量获取步骤：通过预训练的所述语言模型分别获得多个评论特征向量。
15.上述的数据检测方法中，所述特征向量融合步骤包括：
16.整合特征向量获取步骤:对多个所述图片特征向量与多个所述评论特征向量进行整合，获取整合特征向量；
17.社交信息融合特征向量获取步骤：对所述整合特征向量、所述标题特征向量以及所述内容特征向量进行拼接，获得所述社交信息融合特征向量。
18.本发明还提供数据检测系统，其中，适用于上述所述的数据检测方法，所述数据检
测系统包括：
19.社交信息获取单元：获取社交内容相关的社交信息；
20.特征向量获取单元：通过预训练的相关模型，分别对所述社交信息进行特征抽取后，获得多个特征向量；
21.特征向量融合单元：对多个所述特征向量进行拼接，获得社交信息融合特征向量；
22.特征向量检测单元：对所述社交信息融合特征向量进行检测分类获取检测结果，根据所述检测结果判断所述社交信息是否为低质量社交信息。
23.上述的数据检测系统中，通过所述社交信息获取单元获取所述社交内容的标题、正文、插图以及评论相关的所述社交信息。
24.上述的数据检测系统中，所述特征向量获取单元包括：
25.标题特征向量获取模块：通过预训练的语言模型获得标题特征向量；
26.内容特征向量获取模块:通过预训练的所述语言模型获得内容特征向量；
27.图片特征向量获取模块：过预训练的图像模型分别获得多个图片特征向量；
28.评论特征向量获取模块：通过预训练的所述语言模型分别获得多个评论特征向量。
29.上述的数据检测系统中，所述特征向量融合单元包括：
30.整合特征向量获取模块:对多个所述图片特征向量与多个所述评论特征向量进行整合，获取整合特征向量；
31.社交信息融合特征向量获取模块：对所述整合特征向量、所述标题特征向量以及所述内容特征向量进行拼接，获得所述社交信息融合特征向量。
32.本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的数据检测方法。
33.本发明还提供一种电子设备可读存储介质，所述电子设备可读存储介质上存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现上述任一项所述的数据检测方法。
34.相比于相关技术，本发明提出的一种数据检测方法、系统、电子设备及介质，解决了无法充分利用多模态以及预训练模型的优势来统一抽取社交内容中的标题、正文、图片、评论等丰富特征中的社交信息，提高了社交信息检测准确率以及自然语言处理能力。
35.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
36.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
37.图1是根据本技术实施例的数据检测方法流程图；
38.图2是根据本技术实施例的数据检测方法框架图；
39.图3是根据本技术实施例的特征向量融合框架图；
40.图4为本发明的数据检测系统的结构示意图；
41.图5是根据本技术实施例的电子设备的框架图。
42.其中，附图标记为：
43.社交信息获取单元：51；
44.特征向量获取单元：52；
45.特征向量融合单元：53；
46.特征向量检测单元：54；
47.标题特征向量获取模块:521；
48.内容特征向量获取模块:522；
49.图片特征向量获取模块：523；
50.评论特征向量获取模块：524；
51.整合特征向量获取模块:531；
52.社交信息融合特征向量获取模块：532；
53.总线:80；
54.处理器：81；
55.存储器：82；
56.通信接口：83。
具体实施方式
57.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
58.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
59.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
60.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单
元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
61.当前谣言检测主要是以特征工程为基础的机器学习方法，随算力快速提升，以深度学习为基础的方法成为机器学习主流，各类深度学习方法在谣言检测领域取得了长足的进步。从循环神经网络(recurrent neural network,rnn)、卷积神经网络(convolutional neural networks,cnn)，到图卷积网络(graph convolutional network,gcn)，甚至深度学习为基础的集成学习(ensemble learning,el)。尽管当前以深度学习为基础的方法取得了不错的效果，但是仍没有充分的利用预训练语言模型以及多模态的优势，面对丰富的内容表达形式(标题、正文、插图、颜文字etc)仍显得乏力。
62.本发明通过自然语言处理以及图像处理的技术，对社交内容的标题、内容、图片等丰富的信息形式进行多模态的建模，通过统一的模型框架来自动化的进行低质量内容的检测过滤，解决了现有技术中存在的众多问题。
63.下面结合具体实施例对本发明进行说明。
64.实施例一
65.本实施例提供了数据检测方法。请参照图1至图3，图1是根据本技术实施例的数据检测方法流程图；图2是根据本技术实施例的数据检测方法框架图；图3是根据本技术实施例的特征向量融合框架图，如图1至图3所示，数据检测方法包括如下步骤：
66.社交信息获取步骤s1：获取社交内容相关的社交信息；
67.特征向量获取步骤s2：通过预训练的相关模型，分别对所述社交信息进行特征抽取后，获得多个特征向量；
68.特征向量融合步骤s3：对多个所述特征向量进行拼接，获得社交信息融合特征向量；
69.特征向量检测步骤s4：对所述社交信息融合特征向量进行检测分类获取检测结果，根据所述检测结果判断所述社交信息是否为低质量社交信息。
70.在实施例中，所述社交信息获取步骤s1包括，获取所述社交内容的标题、正文、插图以及评论相关的所述社交信息。
71.在实施例中，所述特征向量获取步骤s2包括：
72.标题特征向量获取步骤s21：通过预训练的语言模型获得标题特征向量；
73.内容特征向量获取步骤s22:通过预训练的所述语言模型获得内容特征向量；
74.图片特征向量获取步骤s23：过预训练的图像模型分别获得多个图片特征向量；
75.评论特征向量获取步骤s24：通过预训练的所述语言模型分别获得多个评论特征向量。
76.在具体实施中，通过预训练的相关模型，分别对社交信息进行特征抽取后，获得多个特征向量，详细过程为先通过预训练的语言模型获得标题特征向量(唯一)和内容特征(唯一)后，通过预训练的图像模型分别获取图片特征(不唯一)，最后通过预训练的语言模
型分别获取评论特征(不唯一)。
77.在实施例中，所述特征向量融合步骤s3包括：
78.整合特征向量获取步骤s31:对多个所述图片特征向量与多个所述评论特征向量进行整合，获取整合特征向量；
79.社交信息融合特征向量获取步骤s32：对所述整合特征向量、所述标题特征向量以及所述内容特征向量进行拼接，获得所述社交信息融合特征向量。
80.在具体实施中，对多个图片特征向量与多个评论特征向量进行整合，获取整合特征向量后，对整合特征向量、标题特征向量以及内容特征向量进行拼接，获得所述社交信息融合特征向量。
81.在实施例中，所述特征向量检测步骤s4包括，对所述社交信息融合特征向量进行检测分类获取检测结果，根据所述检测结果判断所述社交信息是否为低质量社交信息。
82.在具体实施中，对社交信息融合特征向量进行检测分类获取检测结果，根据所述检测结果判断所述社交信息是否为谣言后，将判断结果反馈给电脑端，其中所述低质量社交信息为谣言。
83.实施例二
84.请参照图4，图4为本发明的数据检测系统的结构示意图。如图4所示，发明的数据检测系统，适用于上述的数据检测方法，所述数据检测系统，包括：
85.社交信息获取单元51：获取社交内容相关的社交信息；
86.特征向量获取单元52：通过预训练的相关模型，分别对所述社交信息进行特征抽取后，获得多个特征向量；
87.特征向量融合单元53：对多个所述特征向量进行拼接，获得社交信息融合特征向量；
88.特征向量检测单元54：对所述社交信息融合特征向量进行检测分类获取检测结果，根据所述检测结果判断所述社交信息是否为低质量社交信息。
89.在实施例中，通过所述社交信息获取单元51获取所述社交内容的标题、正文、插图以及评论相关的所述社交信息。
90.在实施例中，所述特征向量获取单元52包括：
91.标题特征向量获取模块521：通过预训练的语言模型获得标题特征向量；
92.内容特征向量获取模块522:通过预训练的所述语言模型获得内容特征向量；
93.图片特征向量获取模块523：过预训练的图像模型分别获得多个图片特征向量；
94.评论特征向量获取模块524：通过预训练的所述语言模型分别获得多个评论特征向量。
95.在实施例中，所述特征向量融合单元53包括：
96.整合特征向量获取模块531:对多个所述图片特征向量与多个所述评论特征向量进行整合，获取整合特征向量；
97.社交信息融合特征向量获取模块532：对所述整合特征向量、所述标题特征向量以及所述内容特征向量进行拼接，获得所述社交信息融合特征向量。
98.在实施例中，通过所述特征向量检测单元54对所述社交信息融合特征向量进行检测分类获取检测结果，根据所述检测结果判断所述社交信息是否为低质量社交信息。
99.实施例三
100.结合图5所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
101.具体地，上述处理器81可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
102.其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(hard disk drive，简称为hdd)、软盘驱动器、固态驱动器(solid state drive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在异常数据监测装置的内部或外部。在特定实施例中，存储器82是非易失性(non
‑
volatile)存储器。在特定实施例中，存储器82包括只读存储器(read
‑
only memory，简称为rom)和随机存取存储器(random access memory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmable read
‑
only memory，简称为prom)、可擦除prom(erasable programmable read
‑
only memory，简称为fprom)、电可擦除prom(electrically erasable programmable read
‑
only memory，简称为efprom)、电可改写rom(electrically alterable read
‑
only memory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(static random
‑
access memory，简称为sram)或动态随机存取存储器(dynamic random access memory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random
‑
access memory，简称sdram)等。
103.存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
104.处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意数据检测方法。
105.在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图5所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
106.通信接口83用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/异常数据监测设备、数据库、外部存储以及图像/异常数据监测工作站等之间进行数据通信。
107.总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制，总线80可包括图形加速接口(accelerated graphics port，简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture，简称为eisa)总线、前端总线(front side bus，简称为fsb)、超传输(hyper transport，简称为ht)互连、工业标准架构
(industry standard architecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(low pin count，简称为lpc)总线、存储器总线、微信道架构(micro channel architecture，简称为mca)总线、外围组件互连(peripheral component interconnect，简称为pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(serial advanced technology attachment，简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
108.电子设备可连接数据检测系统，从而实现结合图1至图3的方法。
109.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
110.综上所述，本发明充分考虑了内容中的标题、正文、图片、评论的丰富特征，并通过多模态以及预训练模型的优势来统一抽取了社交信息特征，提出了一种整合框架来对多种特征进行融合并最终进行低质量社交信息分类，提高了社交信息检测准确率。
111.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求的保护范围为准。