运营笔记：是时候了解蜘蛛爬取原理了！揭秘收录难题！

很多人在做SEO的时候，搞不清蜘蛛爬取的原理或者对收录索引都搞不清关系，这篇文章主要针对实战来讲解蜘蛛和收录的关系，不讲原理，只讲干货和经验。

首先我们提到蜘蛛可能就可能想到IP，比如以下这些；

220.181.108.89专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新。

220.181.108.94专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新。

220.181.108.97专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新。

220.181.108.80专用抓取首页IP 权重段，一般返回代码是304 0 0代表未更新。

220.181.108.77 专用抓首页IP 权重段，一般返回代码是304 0 0代表未更新。

是不是很难理解？但是如果做过网络维护、或者局域网组网的就能明白，其实每个IP对应的就是一台电脑，每组服务器组对应的就是网段。

比如，220.181.108.x这个网段，我们暂且叫收录服务器组，这个服务器组下面有电脑ABCDE，对应的IP，每台电脑上装着相应的收录程序。

那么这样是不是清楚了呢？比如你提交一个链接到百度，那么相当于把这个链接提交到收录服务器组的C号电脑。

比如你提交了1、2、3个链接，这三个链接分别提交到了收录服务器组的C、D、E号电脑，所以你查看日志的时候会发现，这三条链接对应不同的IP，也就是对应着不同的电脑。

那为什么提交3条链接会提交到三台不同电脑呢？我个人猜测，或许提交的数据太多，同一台电脑处理不了，所以采取了分布处理方式。（个人猜测，并非是研究证明，或许是更高级的处理方式）。

我昨天针对这个做了一个测试，写了3篇原创文章，发布后，我以最短的时间查看蜘蛛爬取情况，结果这三篇文章，分别爬取的IP是；

116.179.32.135——服务器1

220.181.108.122——服务器2

220.181.108.180——服务器3

第一篇文章写完后，文章过几分钟秒收录，然后我模仿第一篇写作框架，继续写第二篇，第二篇也过几分钟秒收，然后接着写第三篇，可惜的是，第三篇没有收录。

但第二天，这三篇全部收录，也就是说，第三篇变成了隔天收录。

我又查看了116.179.32.135这个IP，这个IP属于山西省阳泉市 联通，目前很多人都奇怪现在出现了116.179.32.X网段的蜘蛛，现在可以确定 的是，这个网段就是百度蜘蛛，除了nslookup可以验证外，以下几点也是证据；

另外百度李总裁老家也是阳泉的，所以几个证据足以说明，搜索服务器一部分也搬到了山西。

结合上面实战的经验包括以往收录爬取的蜘蛛分析，只要是链接提交到116.179.32.135，或者220.181.108.122、220.181.108.180等等，那么链接必定收录，所以唯一解开收录密码的难点在于，如果控制链接提交到这些服务器？

甚至有人戏谑称，220开头的是官方蜘蛛，而116开头是老家蜘蛛，呵呵，希望大佬一起来研究这个问题。

Tags：蜘蛛   难题   原理   时候   笔记

转载：感谢您对雨滴无声个人博客网站平台的认可，以及对网站分享的经验、工具及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。http://www.lcfqcl.com/xd/2793.html

很赞哦！ ()