一种人工智能筛选错误数据的系统及方法与流程

1.本发明涉及数据处理和筛选领域，特别涉及一种人工智能筛选错误数据的系统及方法。


背景技术：

2.现在越来越多的公司和科研机构开始了人工智能在药物研发领域的探索。但由于制剂的特殊性，很少有公司使用人工智能对其进行研究。制剂的辅料成分多为天然有机物，因此不同批次或不同生产商生产的辅料，实际结构也不相同。以海藻酸为例，海藻酸的相对分子质量在20000到240000之间，其分子量的不同导致其物理性质存在很大差异，影响其崩解性和粘合性。
3.在根据少量样本进行系统处理后，又需要针对数据构成筛选调整，特别是在实际项目中，由于实验操作有误或原辅料出现问题等情况，经常会出现偏差较大的异常数据，这个时候，对异常数据的检测就尤为重要，通常是实验数据处理中的趋势。


技术实现要素：

4.本发明要解决的技术问题是克服现有技术的缺陷，提供一种人工智能筛选错误数据的系统及方法。
5.为了解决上述技术问题，本发明提供了如下的技术方案：
6.本发明一种人工智能筛选错误数据的系统，包括筛选模块，筛选模块包含有筛选处理模型、数据处理系统、正常数据和异常数据，其中筛选模块还包括bp神经网络，径向基函数rbf神经网络，p感知器神经网络，自组织神经网络，ffnn向前反馈神经网络，hn霍普菲尔神经网络，cnn卷积神经网络， rnn周期神经网络，gan生成对抗网络，dn去卷积神经网络；
7.所述筛选处理模型和数据处理系统相连接，且筛选处理模型包含有正常数据和异常数据。
8.本发明提供了如下的第二个技术方案：
9.本发明还提供了这种人工智能筛选错误数据的的使用方法，步骤如下：
10.s1.输入数据量，在筛选处理模型中，设置一个起始训练数量，输入后，数据处理系统会对起始输入数据之后的输入数据进行预测，并与实际的输入数据进行对比，计算出f2值；
11.s2.设定误差区间，根据实验需求设定一个合适的f2区间为允许的误差范围；
12.s21.当f2不在该区间内时，数据处理系统会弹出提示，使人为操作是否将该数据剔除；
13.s22.当数据量很大时，人工筛选需要更多时间，可改为根据f2值自动筛选，系统将不再询问是否保留疑似错误数据，并自动删除。
14.作为本发明的一种优选技术方案，所述数据处理系统包含有预测模块，预测模块包含数据模型、神经网络模型、训练模型、第一优化模块、第二优化模块和辅料调整模块；
15.所述训练模型分别与数据模型和神经网络模型相连接，所述数据模型与第一优化模块或第二优化模块相连接，所述辅料调整模块与第一优化模块或第二优化模块相连接。
16.与现有技术相比，本发明的有益效果如下：
17.本发明主要基于系统的预测数值模型，构建针对预测数值的异常数据筛选方案，使其能够达到在较少数据量预测时，解决由于预测因素较多，预测溶出度较多，在出现异常数据后形成预测数据的偏差程度较大的现象，根据筛选后的预测数据再次形成数据模型后，其准确率增加，误差大量降低，与真实数据对比更加稳定，实现在较低数据量的情况下提高预测数据的真实性的效果。
附图说明
18.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
19.图1是本发明的f2值对比曲线示意图；
20.图2是本发明的溶解速率和时间影响示意图。
21.图3是本发明的数据运行模型示意图。
具体实施方式
22.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
23.实施例1
24.如图1-3所示，本发明提供一种人工智能筛选错误数据的系统，包括筛选模块，筛选模块包含有筛选处理模型、数据处理系统、正常数据和异常数据，其中筛选模块还包括bp神经网络，径向基函数rbf神经网络，p感知器神经网络，自组织神经网络，ffnn向前反馈神经网络，hn霍普菲尔神经网络， cnn卷积神经网络，rnn周期神经网络，gan生成对抗网络，dn去卷积神经网络；
25.所述筛选处理模型和数据处理系统相连接，且筛选处理模型包含有正常数据和异常数据。
26.本发明提供了如下的第二个技术方案：
27.本发明还提供了这种人工智能筛选错误数据的方法，具体步骤如下：
28.s1.输入数据量，在筛选处理模型中，设置一个起始训练数量，输入后，数据处理系统会对起始输入数据之后的输入数据进行预测，并与实际的输入数据进行对比，计算出f2值；
29.s2.设定误差区间，根据实验需求设定一个合适的f2区间为允许的误差范围；
30.s21.当f2不在该区间内时，数据处理系统会弹出提示，使人为操作是否将该数据剔除；
31.s22.当数据量很大时，人工筛选需要更多时间，可改为根据f2值自动筛选，系统将不再询问是否保留疑似错误数据，并自动删除。
32.数据处理系统包含有预测模块，预测模块包含数据模型、神经网络模型、训练模型、第一优化模块、第二优化模块和辅料调整模块；
33.所述训练模型分别与数据模型和神经网络模型相连接，所述数据模型与第一优化模块或第二优化模块相连接，所述辅料调整模块与第一优化模块或第二优化模块相连接。
34.基于原数据处理系统，主要基于预测模块构成，具体步骤如下：
35.s1.建立数据模型，将大量的实验来获取训练数据，输入到计算机后，进行了标准化等数据预处理工作；
36.s2.建立神经网络模型，采用三层rbf神经网络作为数据筛选方法，四层基于bp算法的神经网络作为预测方法，神经网络参数初始设定后，编制神经网络模型；
37.s3.利用s1中得到的数据对s2中建立的神经网络模型进行训练，并评价模型的训练效果；
38.s31.如果效果不理想，返回过程s2修改神经网络参数，以提高模型的非线性拟合能力；
39.s32.如果符合要求，结束该过程。
40.预测模块包含有f2算法、bp神经网络、径向基函数rbf神经网络、p感知器神经网络、自组织神经网络、ffnn向前反馈神经网络、hn霍普菲尔神经网络、cnn卷积神经网络、rnn周期神经网络、gan生成对抗网络和dn去卷积神经网络
41.首先我们选择21组数据中的前20组数据对模型进行训练，得出第21组数据的预测值，我们对该模型进行了50次训练，并对预测值进行对比，在数据输入后，使用神经网络对输入的数据在输入前进行预测，并将其预测值与真实值进行对比，计算其差异值，计算方法包括f2法，计算方差法，同时可人为设定任意需要的差异值，如果高于该值，系统可以提供自动或者手动筛选的方式，提示使用者对异常数据删除或保留。
42.在进一步优化后，即可构成对后续模型数据的处理流程，即对异常数据的筛选处理。
43.具体的，在本模型中，在设置一个起始训练数量，输入后，系统会对起始输入数据之后的输入数据进行预测，并与实际的输入数据进行对比，计算出f2值.此时，我们可以根据项目设定一个合适的f2区间为允许的误差范围。当f2不在该区间内时，系统会弹出提示，可以人为操作是否将该数据剔除。除此之外，当数据量很大时，人工筛选可能需要更多时间，也可以改为根据f2值自动筛选，系统将不再询问是否保留疑似错误数据，并自动删除。
44.显然，之前基于bp算法的神经网络方法在数据量不足的情况下很难实现数据筛选。我们将实际实验数据作为训练数据，再使用该模型对其进行预测的方法来增加预测准确度。经过测试,rbf神经网络的测试准确度很高。我们取数据集中的16个样本输入模型中，并对样本本身进行预测，得到结果如下表所示：
45.处方12345678f266.0063.3578.8275.5090.8298.8499.6485.25处方910111213141516f280.3285.2982.5680.5684.4290.4196.5598.79
46.表1
47.在本次测试中，该方法预测出来的数据中，f2值均大于60，而且16组数据中，f2小于75的只有两组。其中37.5％的预测数据与实际数据的f2大于90，其中拟合度最高的数据，f2高达99.64，由此可见，该方法非常适合处理这种已知结果后进行预测的问题。
48.根据我们的样本量，我们将系统内的起始输入数据值定为10个。把f2 的允许取值范围定义在50到100之间。然后我们把一个异常数据输入到系统内，测试其反应。结果如下表所示：
[0049][0050]
表2
[0051]
图2中，下部的曲折线为target线段，上部的曲线线段为predictionresults线段。
[0052]
由上述实例可以看出，在完成起始设定的训练数据训练后(此实例设定为前10个输入数据)，每当输入训练数据，系统会对每次输入数据的参数进行输出结果预测，并将预测结果与输入结果，根据f2因子公式进行计算，得出f2值。当f2小于设定值时，系统会停止运行，并进行报错，然后提示人工选择是否留存该数据值。避免了由于错误实验数据对整个预测产生影响。此外，当大量数据导入时，为节约人工成本，也可跳过人工选择步骤，直接设定当f2值小于设定值时，系统自动删除该疑似错误的数据，并进行下一步训练。
[0053]
综上所述，本发明主要基于系统的预测数值模型，构建针对预测数值的异常数据筛选方案，使其能够达到在较少数据量预测时，解决由于预测因素较多，预测溶出度较多，在出现异常数据后形成预测数据的偏差程度较大的现象，根据筛选后的预测数据再次形成数据模型后，其准确率增加，误差大量降低，与真实数据对比更加稳定，实现在较低数据量的情况下提高预测数据的真实性的效果。
[0054]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。
凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。