基于最大间隔准则的网页文本分类系统的制作方法

技术特征：
1.基于最大间隔准则的网页文本分类系统，其特征在于，包括：文本预处理模块，用于对原始文本数据进行预处理并提取文本数据；文本表示模块，用于结合文本的向量空间表示，计算特征项权重，对提取的文本数据进行表示；特征项排序模块，用于基于最大间隔准则对特征项进行相关性排序；文本分类模块，用于利用特征选择后的训练集文本构建分类模型，并利用所述分类模型对特征选择后的测试集文本进行分类。2.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述结合文本的向量空间表示，计算特征项权重，对提取的文本数据进行表示，包括：s11、结合文本的向量空间表示，选择词t作为文本的特征项；s12、输入的文本语料库包含n个文档和m个特征项，从文本语料库中统计出文档频次矩阵和词频矩阵；s13、特征项权重采用tf
‑
idf计算方法，得到文本的权重表示矩阵。3.如权利要求2所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述文档频次矩阵所述词频矩阵其中，是第j个特征项在第i个文档中的文档频次，若特征项出现在该文档中则为1，否则为0；是第j个特征项在第i个文档中出现的次数。4.如权利要求3所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述文本的权重表示矩阵为：其中，n
j
是第j个特征项在文本语料库中出现过的文档数量。5.如权利要求2所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述基于最大间隔准则对特征项进行相关性排序，包括：s21、通过对文档频次矩阵进行统计，获得类别在特征项上的文档频率分布以及特征项在类别上的文档频率分布，构建最大间隔准则；s22、通过最大间隔准则计算出文本语料库中每个特征项的判别相关性得分，按照得分降序排列得到特征项重要程度序列。6.如权利要求5所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述文本语料库中每个特征项的判别相关性得分mmc(t)的公式如下：其中，c
i
表示第i个类别，文本语料库共有k个类别；p(c
i
|t)是特征项出现时类别c
i
文档频率，是特征项出现时类别不是c
i
文档频率，p(t|c
i
)是属于c
i
的文档中包含特征
项t的文档频率，是不属于c
i
的文档中包含特征项t的文档频率。7.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，还包括：分类性能评估模块，用于对分类模型进行性能评估。8.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述预处理包括文本分词。9.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述预处理包括文本清洗。10.如权利要求1所述的基于最大间隔准则的网页文本分类系统，其特征在于，所述预处理包括文本标准化。

技术总结
本发明公开了一种基于最大间隔准则的网页文本分类系统，其包括：文本预处理模块，用于对原始文本数据进行预处理并提取文本数据；文本表示模块，用于结合文本的向量空间表示，计算特征项权重，对提取的文本数据进行表示；特征项排序模块，用于基于最大间隔准则对特征项进行相关性排序；文本分类模块，用于利用特征选择后的训练集文本构建分类模型，并利用所述分类模型对特征选择后的测试集文本进行分类。本发明基于最大间隔准则的网页文本分类系统在选择较少数量的特征项时，能够选择出更具有判别性的特征词，提高了网页文本分类的性能，具有适用性强，准确度高的优点。准确度高的优点。准确度高的优点。


技术研发人员：张莉 金玲彬 苏畅之 赵雷 王邦军
受保护的技术使用者：苏州大学
技术研发日：2021.08.27
技术公布日：2021/11/9