一种AI智能文本处理系统的制作方法

一种ai智能文本处理系统
1.技术领域
2.本发明涉及一种文本处理系统，具体是一种ai智能文本处理系统。


背景技术：

3.随着互联网的发展，网文开始在互联网上盛行。网文即
‘
网络文学’的简称，指通过网络平台流传、传播的文学作品。网文通常指网络小说，但在体裁上并不局限于网络小说。从创作内容范围上来说，网文几乎包含所有的小说创作题材，而在形式上，与传统文学既存在区别，又存在联系。作为依托网络为载体的新型文学形式，网文有着风格自由、题材宽泛、阅读简单、受众基数庞大等特点。题材上以男性向的玄幻，和女性向的言情为主。
4.而网文的盛行也带动了一批量的作家投入其中，作家将写好的网络文学文本通过手机、电脑等客户端上传到互联网上供广大网民观看。但随着读者对网络文学的要求越来越高，很多网络文学中含有的瑕疵会被读者发现并批评，这使得网文作家在上传文本时需要仔细检查。由于网文文本的字数较多，检查工作较为繁重，很多网文作者一般采用文本处理系统进行检测分析，以求找到文本中的不正常字段。
5.现有技术存在如下问题：现有文本处理系统在检测网文文本时不够智能，无法快速精准的识别出网文中可能存在的抄袭现象、重复字现象与错别字现象，也不能根据检测结果向用户发出分级预警。因此，本领域技术人员提供了一种ai智能文本处理系统，以解决上述背景技术中提出的问题。


技术实现要素：

6.本发明的目的在于提供一种ai智能文本处理系统，通过设置的非正常检测模型，能够在检测网文文本时快速精准的识别出网文中可能存在的抄袭现象、重复字现象与错别字现象，而预警分级模块也根据检测结果向用户发出分级预警，以解决上述背景技术中提出的问题。
7.为实现上述目的，本发明提供如下技术方案：一种ai智能文本处理系统，包括文本输入模块、网文数据导入模块、信息处理模块、统计模块、转存模块、信息存储云端、检索模块、信息分析模块、预警分级模块、总控模块与预警消息发送模块；其中，所述文本输入模块、网文数据导入模块通信连接信息处理模块，且信息处理模块通信连接统计模块，所述统计模块通信连接转存模块与信息分析模块，且转存模块通信连接信息存储云端，所述信息存储云端通信连接检索模块，所述信息分析模块通信连接预警分级模块，且预警分级模块通信连接总控模块，所述总控模块通信连接预警消息发送模块；所述文本输入模块用以输入文本信息并将文本信息输送给信息处理模块，所述网
文数据导入模块用以导入已公布的网文数据，并将导入的网文数据输送给信息处理模块，所述信息处理模块构建非正常检测模型，并将接收的文本信息与已公布的网文数据输入到非正常检测模型进行检测，最后将检测结果输送给统计模块，所述统计模块接收检测结果并对检测结果中进行分类统计，将分类统计后的检测结果复制成两份分别输送给转存模块与信息分析模块，所述信息分析模块接收分类统计后的检测结果进行预警分析，并将预警分析结果输送给预警分级模块，所述预警分级模块对预警分析结果进行分级并将分级结果信息输送给总控模块，所述总控模块会将接收到的分级结果信息转化为控制指令并将控制指令发送到预警消息发送模块中，所述预警消息发送模块在接收到控制指令后会将预警消息发送出去，所述转存模块接收分类统计后的检测结果并将接收到的检测结果发送到信息储存云端中储存起来，所述检索模块让用户可以随时调取以往检测结果；所述非正常检测模型的具体构建过程为：s1：检测文本信息是否存在抄袭现象，具体为：s101：将文本信息中的对话语句提取出来，标记为a；s102：将网文数据中的对话语句提取出来，标记为b；s103：检测a与b的文字重合度；s104：若重合度小于45%，则输出检测结果为无抄袭现象；若重合度大于或等于45%，则进入下一步骤；s105：提取a中含有的语气词，标记为pi，i=1
…
n；s106：提取b中含有的语气词，标记为nj，j=1
…
n；；s107：将pi与nj进行匹配，若pi与nj的匹配重合数量小于预设值，则输出检测结果为无抄袭现象；若pi与nj的匹配重合数量大于或等于预设值，则输出检测结果为存在抄袭现象；s2：检测文本信息是否存在重复字现象，具体为：s201：将文本信息中任意一个字标记为c1；s201：将文本信息中距离c1最近的相同字标记为c2；s201：识别c1与c2之间间隔字节的数量，标记为d；s201：若d>3，则输出检测结果为无重复字现象；否则，进入下一步骤；s201：通过ai识别c1与c2所在语句是否通畅，若通畅则输出检测结果为无重复字现象；若不通畅则输出检测结果为存在重复字现象；s3：检测文本信息是否存在错别字现象，具体为：s301：将文本信息中任意一个字标记为e；s302：将e所在词语标记为f；s303：将用户以往用e所组成的词语标记为gi，i=1
…
n；s304：将f与gi进行匹配；s305：若f与任一一个gi匹配，则输出检测结果为无错别字现象；若f不与任一一个gi匹配，则输出检测结果为存在错别字现象。
8.通过设置的非正常检测模型，能够在检测网文文本时快速精准的识别出网文中可能存在的抄袭现象、重复字现象与错别字现象，而预警分级模块也根据检测结果向用户发出分级预警。
9.作为本发明进一步的方案：所述统计模块的具体分类统计过程为：步骤一：接收非正常检测模型传来的检测结果；步骤一：将检测结果中的抄袭现象、重复字现象与错别字现象分别区分出来；步骤一：对区分后的抄袭现象、重复字现象与错别字现象进行数量统计。
10.对抄袭现象、重复字现象与错别字现象的数量进行统计，不仅方便后期的预警分析，还方便将统计结果转存起来，方便用户后期查看自己往期文本中犯下错误的比重与次数。
11.作为本发明再进一步的方案：所述信息分析模块的预警分析具体过程为：（1）：将抄袭现象的数量标记为z；（2）：若z大于预设值，则发出抄袭预警；（3）：将重复字现象的数量标记为k；（4）：若k大于预设值，则发出重复字预警；（5）：将错别字现象的数量标记为j；（6）：若j大于预设值，则发出错别字预警；（7）：将上述预警结果发送给预警分级模块。
12.预设值可人为设置或修改，用户可根据自己的需求设定不同大小的预设值。
13.作为本发明再进一步的方案：所述预警分级模块在收到预警分析结果后对预警分析结果进行分级的具体过程为：1）：若收到的预警分析结果为抄袭预警、重复字预警、错别字预警中任意一项，则发出一级预警；2）：若收到的预警分析结果为抄袭预警、重复字预警、错别字预警中任意两项，则发出二级预警；3）：若收到的预警分析结果为抄袭预警、重复字预警、错别字预警中所有项，则发出三级预警；4）：若收到的预警分析结果没有包括抄袭预警、重复字预警、错别字预警中任意一项，则不发出预警。
14.不同级别的预警能够更直白的提醒用户自己所上传文本中含有多少种错误。
15.与现有技术相比，本发明的有益效果是：通过构建的非正常检测模型能够对输入文本进行智能检测，进而快速且精准的识别出输入文本中存在的抄袭现象、重复字现象与错别字现象。其中，抄袭现象的检测以现有检索系统不重视的对话语句为参考量，重点校验对话语句中的语气词，不仅提高了检测速度，也避免了传统检测系统在检测文字不同但涵义相同语句时难以识别的现象，提高检测的精准度。重复字现象的检测不局限与相连的重复字，避免了一些重复字之间存在空格、字母等影响检测结果的存在。错别字现象的检测将文本中文字对应的词语与用户以往所用的词语进行匹配，进而快速检测出该字是否为错别字。此外，在检测不正常现象后还会将检测结果进行统计，并将统计后的不正常现象数量与事先设定的预设值进行比较，进而在超出预设值时向用户发出警报，提醒用户下次注意该方面，从而减小后期用户的文本修改量。而发出警报时采用分级警报，能够更直白的提醒用户自己所上传文本中含有多少种错误，进而提高用户在文本撰写时的细心程度。
附图说明
16.图1为一种ai智能文本处理系统的结构框图。
具体实施方式
17.请参阅图1，本发明实施例中，一种ai智能文本处理系统，包括文本输入模块、网文数据导入模块、信息处理模块、统计模块、转存模块、信息存储云端、检索模块、信息分析模块、预警分级模块、总控模块与预警消息发送模块；其中，文本输入模块、网文数据导入模块通信连接信息处理模块，且信息处理模块通信连接统计模块，统计模块通信连接转存模块与信息分析模块，且转存模块通信连接信息存储云端，信息存储云端通信连接检索模块，信息分析模块通信连接预警分级模块，且预警分级模块通信连接总控模块，总控模块通信连接预警消息发送模块；文本输入模块用以输入文本信息并将文本信息输送给信息处理模块，网文数据导入模块用以导入已公布的网文数据，并将导入的网文数据输送给信息处理模块，信息处理模块构建非正常检测模型，并将接收的文本信息与已公布的网文数据输入到非正常检测模型进行检测，最后将检测结果输送给统计模块，统计模块接收检测结果并对检测结果中进行分类统计，将分类统计后的检测结果复制成两份分别输送给转存模块与信息分析模块，信息分析模块接收分类统计后的检测结果进行预警分析，并将预警分析结果输送给预警分级模块，预警分级模块对预警分析结果进行分级并将分级结果信息输送给总控模块，总控模块会将接收到的分级结果信息转化为控制指令并将控制指令发送到预警消息发送模块中，预警消息发送模块在接收到控制指令后会将预警消息发送出去，转存模块接收分类统计后的检测结果并将接收到的检测结果发送到信息储存云端中储存起来，检索模块让用户可以随时调取以往检测结果；非正常检测模型的具体构建过程为：s1：检测文本信息是否存在抄袭现象，具体为：s101：将文本信息中的对话语句提取出来，标记为a；s102：将网文数据中的对话语句提取出来，标记为b；s103：检测a与b的文字重合度；s104：若重合度小于45%，则输出检测结果为无抄袭现象；若重合度大于或等于45%，则进入下一步骤；s105：提取a中含有的语气词，标记为pi，i=1
…
n；s106：提取b中含有的语气词，标记为nj，j=1
…
n；；s107：将pi与nj进行匹配，若pi与nj的匹配重合数量小于预设值，则输出检测结果为无抄袭现象；若pi与nj的匹配重合数量大于或等于预设值，则输出检测结果为存在抄袭现象；s2：检测文本信息是否存在重复字现象，具体为：s201：将文本信息中任意一个字标记为c1；s201：将文本信息中距离c1最近的相同字标记为c2；s201：识别c1与c2之间间隔字节的数量，标记为d；s201：若d>3，则输出检测结果为无重复字现象；否则，进入下一步骤；
s201：通过ai识别c1与c2所在语句是否通畅，若通畅则输出检测结果为无重复字现象；若不通畅则输出检测结果为存在重复字现象；s3：检测文本信息是否存在错别字现象，具体为：s301：将文本信息中任意一个字标记为e；s302：将e所在词语标记为f；s303：将用户以往用e所组成的词语标记为gi，i=1
…
n；s304：将f与gi进行匹配；s305：若f与任一一个gi匹配，则输出检测结果为无错别字现象；若f不与任一一个gi匹配，则输出检测结果为存在错别字现象。
18.通过设置的非正常检测模型，能够在检测网文文本时快速精准的识别出网文中可能存在的抄袭现象、重复字现象与错别字现象，而预警分级模块也根据检测结果向用户发出分级预警。。
19.作为本发明进一步的方案：统计模块的具体分类统计过程为：步骤一：接收非正常检测模型传来的检测结果；步骤一：将检测结果中的抄袭现象、重复字现象与错别字现象分别区分出来；步骤一：对区分后的抄袭现象、重复字现象与错别字现象进行数量统计。
20.对抄袭现象、重复字现象与错别字现象的数量进行统计，不仅方便后期的预警分析，还方便将统计结果转存起来，方便用户后期查看自己往期文本中犯下错误的比重与次数。
21.作为本发明再进一步的方案：信息分析模块的预警分析具体过程为：（1）：将抄袭现象的数量标记为z；（2）：若z大于预设值，则发出抄袭预警；（3）：将重复字现象的数量标记为k；（4）：若k大于预设值，则发出重复字预警；（5）：将错别字现象的数量标记为j；（6）：若j大于预设值，则发出错别字预警；（7）：将上述预警结果发送给预警分级模块。
22.预设值可人为设置或修改，用户可根据自己的需求设定不同大小的预设值。
23.作为本发明再进一步的方案：预警分级模块在收到预警分析结果后对预警分析结果进行分级的具体过程为：1）：若收到的预警分析结果为抄袭预警、重复字预警、错别字预警中任意一项，则发出一级预警；2）：若收到的预警分析结果为抄袭预警、重复字预警、错别字预警中任意两项，则发出二级预警；3）：若收到的预警分析结果为抄袭预警、重复字预警、错别字预警中所有项，则发出三级预警；4）：若收到的预警分析结果没有包括抄袭预警、重复字预警、错别字预警中任意一项，则不发出预警。
24.不同级别的预警能够更直白的提醒用户自己所上传文本中含有哪些错误。
25.本发明的工作原理是：使用时，首先，通过文本输入模块输入文本信息，文本输入模块将文本信息输送给信息处理模块。随后，信息处理模块构建非正常检测模型，并将接收的文本信息与已公布的网文数据输入到非正常检测模型进行检测。其中，网文数据通过网文数据导入模块导入信息处理模块。最后信息处理模块将检测结果输送给统计模块，统计模块接收检测结果并对检测结果中进行分类统计，并将分类统计后的检测结果复制成两份分别输送给转存模块与信息分析模块。随后，信息分析模块接收分类统计后的检测结果进行预警分析，并将预警分析结果输送给预警分级模块。预警分级模块对预警分析结果进行分级并将分级结果信息输送给总控模块。总控模块会将接收到的分级结果信息转化为控制指令并将控制指令发送到预警消息发送模块中，预警消息发送模块在接收到控制指令后会将预警消息发送出去。此外，转存模块接收分类统计后的检测结果并将接收到的检测结果发送到信息储存云端中储存起来，用户可以通过检索模块随时调取以往检测结果，进而了解自己以往文本中犯下的错误。
26.本发明通过构建的非正常检测模型能够对输入文本进行智能检测，进而快速且精准的识别出输入文本中存在的抄袭现象、重复字现象与错别字现象。其中，抄袭现象的检测以现有检索系统不重视的对话语句为参考量，重点校验对话语句中的语气词，不仅提高了检测速度，也避免了传统检测系统在检测文字不同但涵义相同语句时难以识别的现象，提高检测的精准度。重复字现象的检测不局限与相连的重复字，避免了一些重复字之间存在空格、字母等影响检测结果的存在。错别字现象的检测将文本中文字对应的词语与用户以往所用的词语进行匹配，进而快速检测出该字是否为错别字。此外，在检测不正常现象后还会将检测结果进行统计，并将统计后的不正常现象数量与事先设定的预设值进行比较，进而在超出预设值时向用户发出警报，提醒用户下次注意该方面，从而减小后期用户的文本修改量。而发出警报时采用分级警报，能够更直白的提醒用户自己所上传文本中含有多少种错误，进而提高用户在文本撰写时的细心程度。
27.以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。