近年来随着机器学习算法的兴起,很多文献提出将相关算法用到垃圾页面识别并已经取得了很好的效果。
由于从本质上来说垃圾页面识别是一个二值分类问题,而机器学习中有很多相应的算法可以被利用。这些算法的共同点通常都是先将网页数据集分为训练集和测试集,然后对网页数据进行预处理,去除数据中的无用信息包括HTML标签、Java Script脚本代码、大量存在的图片等等,然后对网页内容特征(网页字数、标题字数、热门关键词、网页压缩率等)和链接结构特征(入链数、出链数、入链出链比例、Page Rank值等)进行提取作为训练集的输入得出输入输出的映射关系,最后将这种映射关系用测试集进行验证。