您现在的位置是:首页 > 站长新闻站长新闻
CCbot蜘蛛你有见过吗?
2021-02-06【站长新闻】人已围观
简介不清楚您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?一. CCbot是什么蜘蛛?CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供
不清楚您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?
一. CCbot是什么蜘蛛?
CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。
二. 你如何处理CCbot蜘蛛?
方法1. 使用robots.txt
使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。
①. 不允许任何蜘蛛访问您站点的任何部分
User-agent:*
Disallow:/
②. 允许任何蜘蛛访问您站点的任何部分
User-agent:*
Disallow:
③. 不允许CCbot蜘蛛访问网站的任何部分
User-agent:ccbot
Disallow:/
④. 允许CCbot蜘蛛访问您站点的任何部分
User-agent:ccbot
Disallow:
⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹
User-agent:ccbot
Disallow:/wp-admin
方法2. 使用元标记
可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。
①. 允许所有蜘蛛访问您的页面
②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接
③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接
④. 不允许任何蜘蛛访问您的网页
⑤. 允许CCbot访问您的网页
⑥. 不允许CCbot访问您的页面
⑦. 允许CCbot访问您的页面并跟踪更多页面的链接
如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。
很赞哦! ()
下一篇:http和https的区别
相关文章
随机图文
-
网络营销两大误区和企业网络推广
在网络飞速发展的年代,网络营销这种低成本、高效益的推广渠道就成为了炙手可热的企业营销方式。如今许多大中小公司都在开展网络推广,甚至有逐渐取代原先传统媒体广告的趋势。但是,由于比较外行,很多公司对于网络推广的形式不是很了解,也就容易走入误区。分 -
SEO战略分析,第一页,为什么很重要?
在做SEO项目的过程中,我们难免需要涉及到做战略分析,从宏观的角度去分析某个垂直行业,这对于一名战略家是必备的基本素质。 而在这个过程中,我们通常有一个环节,那就是重点关注百度搜索结果:第一页。 那么,SEO战略分析,第一页,为什么很重要? -
3分钟学会SEO技巧,轻松实现全网霸屏
企业网站怎么做SEO优化?现如今,很多个人都会建设自己的网站,以此来宣传自己的产品,但是很多个人不知道怎么去优化网站,导致网站没有很好的排名,下面小编来告诉你个人怎么优化网站。1、网站定位和关键词分析首先需要进行网站定位分析,看起来很简单却很 -
手机页面如何设计才能留住用户?
手机已经成为每个人生活必不可少的一部分,而移动端网站也成为每个企业网络营销中必要的选择。但是,由于手机的屏幕比电脑的屏幕小太多,所以在页面设计时会有许多的限制,虽然不会影响用户的浏览,但是用户会少很多的视觉体验,吸引不到用户。那么,手机页面怎