无数新手站长seoer对百度蜘蛛或其他搜索引擎爬虫机器人的爬行规律都非常感兴趣也非常重视，百度蜘蛛其实只是一个机器人，它由程序代码构成，必须遵循其规定去爬行网站，假如我们站长所负责的网站存在一些网站陷阱，则会让蜘蛛爬得不顺畅，从而引致一系列的问题。
一、什么是爬虫陷阱
“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，一些网站设计技术对搜索引擎说很不友好，不利于蜘蛛爬行和抓取，这些技术被称为蜘蛛陷阱。 最大的特点是当蜘蛛抓取某个特定URL的时候，它便进入了无限循环，只有入口，没有出口。
二、爬虫的基本原理，网络爬虫的基本工作流程如下：
1、首先选取一部分精心挑选的种子URL；
2、将这些URL放入待抓取URL队列；
3、从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。
4、分析已抓取URL队列中的URL，分析页面里包含的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。
三、爬虫陷阱都有哪些：
陷阱一：网站地图不正确
网站地图是一个非常实用的网站工具，对于用户和蜘蛛来说，一副完整、正确的网站地图都能很好地识别整个网站的架构，从而更好地扫瞄和爬行网站。由于一些站长对于代码的不熟悉，以及对网站的架构不熟悉，就随便选了一个权威性不好的工具来制作了一副不完整或不正确的网站地图，最后的结果就是让蜘蛛爬行时陷入其中，最终“迷路”了。
挑选一个权威性好的工具来制作网站地图，比如站长工具、百度站长平台工具等，假如自己对网站比较熟悉，最好能够自己手工制作，并亲身多次测试，保证好网站地图的正确性和完整性。
陷阱二：网站的死链接数量巨大
死链接就是就是返回代码为404的错误页面链接，这类链接通常产生于网站改版后、或者网站更换域名后。死链接的存在对于用户体验和蜘蛛爬行来说都是非常不好的。死链接无疑就是阻挡追施蛛的爬行，当蜘蛛接二连三地碰到这些不该浮上的死链接时，就会产生对网站的不信任，最终会放弃爬行网站。
(1)提交死链接。利用百度站长平台的“死链提交”工具来提交网站死链，具体说明请参考百度站长工具。
(2)对死链接举行重定向或者删除，假如死链接的位置不是很重要，可以把其重定向到首页，假如位置比较重要，数量也比较多，就可以挑选删除死链接，可以使用工具来删除。
陷阱三：网址包含参数过多
尽管百度优化指南官方表明，目前百度搜索机器人也能像谷歌机器人一样收录动态参数网站，但是静态化url的网站永久要比动态化url收录更有优势。因此，假如你的网站像下面的网址一样，那就可能会导致蜘蛛爬行不顺畅了：
在挑选做站程序前，一定要考虑该程序是否支持网站url静态化，并且在日后维护中也要注意网站url是否真正做到静态化，尽量舍弃包含参数的动态网址的做法。
陷阱四：网站过多锚文本
网站锚文本过多，造成内链链轮。外部链轮相信大家都会认识，但是其实内部链接也是可以产生链轮的。无数站长为了提升关键词排名，不惜使用过多的锚文本，然后造成页面之间的链接轮回效应，最后也让蜘蛛走进了无底洞，无法走出来了。
清除过往的，带有链接交叉性的锚文本，并且尽量做到需要时才添加锚文本，滥用锚文本只会让百度蜘蛛更一步不认可你的网站。
百度搜索引擎蜘蛛永久只是一个程序机器人，它的智力永久比不上我们，但是我们还是应该尊重它，为它提供一个爬行顺畅的网站环境，这样才干确保我们的网站能够持续、健康地进展下去。