网页文本中的中英文处理的区别在于中文需要额外加入分词处理过程。所谓分词就是将一段文本文字分成一个个词组的过程。
具体处理流程为:加载jieba分词包进行中文分词;将分词后的词组去掉停用词及一个字符的词后, 输出训练文本中的常用分词和熟悉的词组;在训练文本的数据训练及情感词典的归档中将爬取获得的网页数据的客观性文本分词后放入变量中, 主观类情感文本放入另一变量中;为自动得到网页文本中重要的关键词组, 过滤掉对网页文本意义贡献不大的常用词组, 在chi2模块的特征选择下, 采用词频-逆文本频率 (TF-IDF) 概念将分词词组变量转换为tf-idf向量形式, 输出分词向量矩阵, 为下一阶段的网页文本情感分析做准备。