您现在的位置是:首页 > 站长新闻站长新闻
运营笔记:是时候了解蜘蛛爬取原理了!揭秘收录难题!
2021-01-21【站长新闻】人已围观
简介很多人在做SEO的时候,搞不清蜘蛛爬取的原理或者对收录索引都搞不清关系,这篇文章主要针对实战来讲解蜘蛛和收录的关系,不讲原理,只讲干货和经验。首先我们提到蜘蛛可能就可能想到IP,比如以下这些;220.181.108.89专用抓取首页IP 权重
很多人在做SEO的时候,搞不清蜘蛛爬取的原理或者对收录索引都搞不清关系,这篇文章主要针对实战来讲解蜘蛛和收录的关系,不讲原理,只讲干货和经验。
首先我们提到蜘蛛可能就可能想到IP,比如以下这些;
220.181.108.89专用抓取首页IP 权重段,一般返回代码是304 0 0代表未更新。
220.181.108.94专用抓取首页IP 权重段,一般返回代码是304 0 0代表未更新。
220.181.108.97专用抓取首页IP 权重段,一般返回代码是304 0 0代表未更新。
220.181.108.80专用抓取首页IP 权重段,一般返回代码是304 0 0代表未更新。
220.181.108.77 专用抓首页IP 权重段,一般返回代码是304 0 0代表未更新。
是不是很难理解?但是如果做过网络维护、或者局域网组网的就能明白,其实每个IP对应的就是一台电脑,每组服务器组对应的就是网段。
比如,220.181.108.x这个网段,我们暂且叫收录服务器组,这个服务器组下面有电脑ABCDE,对应的IP,每台电脑上装着相应的收录程序。
那么这样是不是清楚了呢?比如你提交一个链接到百度,那么相当于把这个链接提交到收录服务器组的C号电脑。
比如你提交了1、2、3个链接,这三个链接分别提交到了收录服务器组的C、D、E号电脑,所以你查看日志的时候会发现,这三条链接对应不同的IP,也就是对应着不同的电脑。
那为什么提交3条链接会提交到三台不同电脑呢?我个人猜测,或许提交的数据太多,同一台电脑处理不了,所以采取了分布处理方式。(个人猜测,并非是研究证明,或许是更高级的处理方式)。
我昨天针对这个做了一个测试,写了3篇原创文章,发布后,我以最短的时间查看蜘蛛爬取情况,结果这三篇文章,分别爬取的IP是;
116.179.32.135——服务器1
220.181.108.122——服务器2
220.181.108.180——服务器3
第一篇文章写完后,文章过几分钟秒收录,然后我模仿第一篇写作框架,继续写第二篇,第二篇也过几分钟秒收,然后接着写第三篇,可惜的是,第三篇没有收录。
但第二天,这三篇全部收录,也就是说,第三篇变成了隔天收录。
我又查看了116.179.32.135这个IP,这个IP属于山西省阳泉市 联通,目前很多人都奇怪现在出现了116.179.32.X网段的蜘蛛,现在可以确定 的是,这个网段就是百度蜘蛛,除了nslookup可以验证外,以下几点也是证据;
另外百度李总裁老家也是阳泉的,所以几个证据足以说明,搜索服务器一部分也搬到了山西。
结合上面实战的经验包括以往收录爬取的蜘蛛分析,只要是链接提交到116.179.32.135,或者220.181.108.122、220.181.108.180等等,那么链接必定收录,所以唯一解开收录密码的难点在于,如果控制链接提交到这些服务器?
甚至有人戏谑称,220开头的是官方蜘蛛,而116开头是老家蜘蛛,呵呵,希望大佬一起来研究这个问题。
很赞哦! ()
相关文章
随机图文
-
“引爆”网站关键词排名的优化技巧有哪些
了解SEO推广的人都清楚,要想实现网站排名占据搜索引擎首页的位置,那么优先就得选择一些适合做优化且能够带来用户流量的关键词,其次便是利用相关的优化技术和策略,来促使关键词排名稳步增长至百度首页上。那“引爆”网站关键词 -
网页设计中有哪些误区
网页设计可谓是这些年的快速发展,但错误仍计划了很久。因此,我们知道网页设计错误,什么是下面一起来看看!网页设计中有哪些误区?一、不合格的内容取向预期信息不能在用户中找到没 -
SEO工作室,该如何正视SEO设置方法?
对于SEO工作室而言,每天都会面对激烈的竞争,它来自搜索算法的迭代,以及竞争对手的增长,因此,在操作相关SEO项目的时候,有的时候过于激进与盲从,从长期战略考量,它不利于SEO工作室的长久发展。 那么,SEO工作室,该如何正视SEO设置方法 -
网站优化的5个禁忌
网站优化的5个禁忌1、网站服务器在购买网站服务器时,一定不要贪小便宜,快速稳定才是正确的选择,因为稳定的服务器是网站优化的基础,如果搜索引擎蜘蛛在爬行时,好几次都打不开,那么搜索引擎就会这是个不稳定的网站,那么就不会去抓取,自然也就没有排名。