重庆理工大学学报（自然科学）

重庆理工大学学报（自然科学） ›› 2021, Vol. 35 ›› Issue (7): 283-290.doi: 10.3969/j.issn.1674-8425(z).2021.07.035

• “第四届亚洲人工智能技术大会”专栏 • 上一篇    

改进样本加权 Ｋ近邻分类器用于垃圾网页检测

吴俊华，谭博觉，高 切，陈木生   

  1. 江西理工大学 软件工程学院，南昌 ３３００１３
  • 收稿日期:2020-08-08 发布日期:2021-08-11
  • 作者简介:吴俊华，女，硕士，讲师，主要从事数据挖掘、机器学习研究，Ｅｍａｉｌ：２７１０４５８０２＠ｑｑ．ｃｏｍ；通讯作者 陈木生，男， 博士，高级工程师，主要从事 Ｗｅｂ数据挖掘、自然语言处理方面研究，Ｅｍａｉｌ：ｄｒｅａｍｉｎｉｔ＠ １６３．ｃｏｍ。
  • 基金资助:
    江西省教育厅科学技术研究基金项目（ＧＪＪ１８０４５０）

  • Received:2020-08-08 Published:2021-08-11

PDF (PC)

193

赞

摘要： 针对垃圾网页检测过程中的“维数灾难”和不平衡分类问题，提出一种融合最优 Ｆｉｓｈｅｒ特征选择的样本加权 Ｋ近邻分类器用于垃圾网页检测。首先，针对训练数据集进行 Ｆｉｓｈ ｅｒ特征选择，按 ＦｉｓｈｅｒＳｃｏｒｅ从大到小排序，依次选择 ＦｉｓｈｅｒＳｃｏｒｅ更大的特征对训练数据集进 行样本加权的 Ｋ近邻分类，根据训练数据集分类结果的 ＡＵＣ值是否增加以确定是否保留某个 特征，最后基于保留的最优特征子集对测试数据集进行样本加权的 Ｋ近邻分类。在 ＷＥＢＳＰＡＭ ＵＫ２００６数据集上的实验表明：该方法明显优于决策树、支持向量机、朴素贝叶斯、Ｋ近邻等传 统分类器。与其他相关方法相比，该方法在准确率、Ｆ１测度和 ＡＵＣ指标上接近最优结果。

关键词: 垃圾网页检测, 特征选择, Ｋ近邻, 不平衡数据分类, 代价敏感分析

中图分类号: 

  • TP391.6