2019年最新的各大搜索引擎蜘蛛名称大全

原创 长街seo博客  2018-11-14 19:42:26  阅读 542 次 评论 0 条

上一篇文章给大家介绍一些搜索引擎蜘蛛的相关知识,顺便整理了2019年最新的各大搜索引擎蜘蛛名称大全,不同的浏览器的搜索引擎蜘蛛有不同叫法,有时候我们需要屏蔽掉一些浏览器的蜘蛛,这个时候我们就需要了解该浏览器的蜘蛛长什么样,长街SEO收集了各大搜索引擎的蜘蛛爬虫UA,以便你需要时查阅,下面一起来看看。

2019年最新的各大搜索引擎蜘蛛名称大全

1、百度蜘蛛:Baiduspider

百度有常见的两种蜘蛛Baiduspider和Baiduspider-image(抓取网页图片),百度搜索引擎还有其他几种不常见的蜘蛛类型,比如说Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap)等。

百度搜索引擎蜘蛛UA:

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

2、谷歌蜘蛛:Googlebot

有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的;

谷歌蜘蛛爬虫UA:

“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

图片:“Googlebot-Image/1.0”

3、360蜘蛛:360Spider

360是一个十分懒惰的蜘蛛,基本不见它抓取网页,360收录谜一样的存在;

360蜘蛛爬虫UA:

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

4、搜狗蜘蛛:Sogou News Spider

搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,网站日志基本只能看见Sogou News Spider的影子。

搜狗蜘蛛爬虫UA:

“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

5、必应蜘蛛:bingbot

必应蜘蛛爬虫UA:

“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”

6、SOSO蜘蛛:Sosospider

貌似跟360蜘蛛一样的存在,不过已经被玩死了,交给搜狗公司了~

soso蜘蛛爬虫UA:

“Sosospider+(+http://help.soso.com/webspider.htm)”

7、雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)

雅虎蜘蛛爬虫UA:

雅虎中国:“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”

雅虎英文:“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”

8、MSN蜘蛛:msnbot,msnbot-media

一般只会见到msnbot-media在狂爬……

MSN蜘蛛爬虫UA:

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

除了以上这些蜘蛛,其实还有很多,只是不常见而已,比如说必应蜘蛛(bingbot ) 、一搜蜘蛛(YisouSpider)、Alexa蜘蛛(ia_archiver)、宜搜蜘蛛(EasouSpider)、即刻蜘蛛(JikeSpider)、一淘蜘蛛(EtaoSpider)等。常用的也就主流搜索引擎的蜘蛛,其他的建议用robots.txt文件屏蔽抓取,减少不必要的流量损失。


本文地址:http://www.changjieseo.com/132.html
版权声明:本文为原创文章,版权归 长街seo博客 所有,欢迎分享本文,转载请保留出处!

发表评论


表情

还没有留言,还不快点抢沙发?