请选择 进入手机版 | 继续访问电脑版

老米之家

 找回密码
 立即注册
查看: 102|回复: 0

网站优化中对蜘蛛抓取你了解多少

[复制链接]

2841

主题

2841

帖子

1万

积分

论坛元老

Rank: 8Rank: 8

积分
10925
发表于 2022-6-18 11:00:26 | 显示全部楼层 |阅读模式
网站优化中对蜘蛛抓取你了解多少?我们都知道百度权重是根据百度蜘蛛抓取后反馈这个网站得出的结果,很多做网站优化的人都在研究蜘蛛抓取的规律,当然网上也有很多的相关介绍,这里为大家介绍一下网站优化的蜘蛛抓取。
  抓取需求  抓取需求,crawl demand,指的是搜索引擎“想”抓取特定网站多少页面。  决定抓取需求的主要有两个因素。一是页面权重,网站上有多少页面达到了基本页面权重,搜索引擎就想抓取多少页面。二是索引库里页面是否太久没更新了。说到底还是页面权重,权重高的页面就不会太久不更新。  页面权重和网站权重又是息息相关的,提高网站权重,就能使搜索引擎愿意多抓取页面。  抓取速度限制  搜索引擎蜘蛛不会为了抓取更多页面,把人家网站服务器拖垮,所以对某个网站都会设定一个抓取速度的上限,crawl rate limit,也就是服务器能承受的上限,在这个速度限制内,蜘蛛抓取不会拖慢服务器、影响用户访问。  服务器反应速度够快,这个速度限制就上调一点,抓取加快,服务器反应速度下降,速度限制跟着下降,抓取减慢,甚至停止抓取。  所以,抓取速度限制是搜索引擎“能”抓取的页面数。  抓取份额是由什么决定的?  抓取份额是考虑抓取需求和抓取速度限制两者之后的结果,也就是搜索引擎“想”抓,同时又“能”抓的页面数。  网站权重高,页面内容质量高,页面够多,服务器速度够快,抓取份额就大。  网站优化中对蜘蛛抓取你了解多少?以上文章就是老米之家为大家介绍的此类文章了,相信你肯定对这些文章很感兴趣,如果你有什么不懂的,可以直接联系小编。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|老米之家 ( 蜀ICP备2021018398号-10 )|网站地图

GMT+8, 2022-11-26 17:21 , Processed in 0.046343 second(s), 18 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表