首页 > SEO建站 > SEO百科抓取异常是什么意思?详解百度抓取异常工具的作用与抓取异常的原因

抓取异常是什么意思?详解百度抓取异常工具的作用与抓取异常的原因

2022-03-30 14:20:16

抓取异常是什么意思

一、抓取异常是什么

Baiduspider无法正常抓取,就是抓取异常,对于大量内容无法正常抓取的网站,搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、权重上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。

可通过百度抓取诊断工具分析抓取异常情况。

二、百度抓取异常工具怎么用

1、登陆百度搜索资源平台,然后从" 搜索服务"找到" 抓取异常"点击进入,或者直接从下方的百度抓取诊断工具入口进入。

百度抓取异常工具

百度抓取异常工具截图

百度抓取异常工具入口:https://ziyuan.baidu.com/crawl/index

2、通过"链接异常"查看抓取异常的原因与链接,目前给出了服务器错误、访问被拒绝、找不到页面、其他错误四类错误原因,可分别点击查看具体抓取错误的时间、数量以及链接等。

404错误链接异常查看

404错误链接异常查看示例

注意:"链接异常"仅显示前1000条存在错误的网址,百度已对"找不到页面"进行死链屏蔽,站长无需再手动提交。

3、然后通过错误网址进行查看与分析,确认页面的访问情况是否正常,从而查找出错的原因。

三、抓取异常的原因

1、网站异常

(1)、dns异常

当Baiduspider无法解析您网站的IP时,会出现DNS异常。可能是您的网站IP地址错误,或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析,如果不正确或无法解析,请与域名注册商联系,更新您的IP地址。

(2)、连接超时

抓取请求连接超时,可能原因服务器过载,网络不稳定。

(3)、抓取超时

抓取请求连接建立后,下载页面速度过慢,导致超时,可能原因服务器过载,带宽不足。

(4)、连接错误

无法连接或者连接建立后对方服务器拒绝。

2、链接异常

(1)、访问被拒绝

爬虫发起抓取,httpcode返回码是403。

(2)、找不到页面

爬虫发起抓取,httpcode返回码是404。

协议死链,表示用户已无法访问该页面内容,建议通过百度站长平台--死链工具提交死链的方式进行处理,以便搜索引擎更快地发现死链接,减少死链接对用户以及搜索引擎造成的负面影响。

(3)、服务器错误

爬虫发起抓取,httpcode返回码是5XX。

(4)、其他错误

爬虫发起抓取,httpcode返回码是4XX,不包括403和404。

四、抓取异常对网站的影响

1、主动封禁百度蜘蛛抓取

站长由于站点承受压力问题或者其他原因您选择了禁止百度蜘蛛的抓取。如果站长的配置正确,并且DNS更新并生效后,百度的蜘蛛就不会对该站点的页面进行抓取,网站的页面也不会被收录。

2、被动出现的抓取异常

对于大量内容无法正常抓取的网站,搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、权重上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。

最后总结

如果网站出现抓取异常的情况,访问网站的用户就没有办法浏览自己想看的内容,这会大大降低用户体验,网站跳出率就会上升,这会使搜索引擎认为网站质量不高,从而降低对网站的评价。所以,在网站出现抓取异常的时候,一定要及时排查问题,及时进行优化。

想了解更多SEO百科的内容,请访问:SEO百科

本文来源:https://www.youhuaxing.cn/seojianzhan/17361.html

免责声明:部分文章信息来源于网络以及网友投稿,本网站只负责对文章进行整理、排版、编辑,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性,不承担任何法律责任。
用我们的专业,做您满意的SEO+高端网站建设服务商!