手机网站建设网页抓取与息处理

网络爬虫依据主题爬行策略, 从互联网上抓取网页。 在抓取过程中对网页信息进行处理 (如网页去噪、网页去重) 以及主题信息抽取等操作, 然后判断网页是否与搜索引擎主题一致, 如果一致则保存网页信息为创建索引做准备。