网络爬虫, 是一个用于自动提取网页信息的程序, 可以自动从万维网上下载网页, 并将收集到的信息存储到本地数据库中。 根据网络爬虫系统的结构和实现技术, 大致可以分为以下几种:通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。这些爬虫技术的出现是为了提高爬行的效率, 我们需要在更短的时间内尽可能多地获取有用的页面信息。