创新易联欢迎您!16年高端网站建设品牌

深圳网站建设之搜索引擎VS蜘蛛觅食

日期:2014-08-27 | 来源:易联网站建设公司 | 阅读:
从事深圳网站建设这个行业,每天都必须给自己增值才能跟上网络更新的脚步。下面谈谈搜索引擎与“蜘蛛觅食”之间的关联:
 
搜索引擎的蜘蛛抓取网页信息是有一定的规律的,不是任何网页它都会随便抓取的哦,而且“蜘蛛觅食”的方式是通过超链接。蜘蛛觅食有深度优先,即在一个页面中发现了第一个超链接,通过这个链接爬到这个页面,当爬到第二个页面的同时有发现这个页面的第一个超链接,然后顺着往下爬。由于深度优先的原因,导致蜘蛛抓取的质量越来越低,并在传递网站权重上也有这根本的问题。
 
除了深度优先,搜索引擎也有着根本的问题,所以搜索引擎推出了第二个策略——宽度优先。蜘蛛会先把当前页面的所有链接爬一次之后再顺着这些链接往下爬。同样的,宽度优先策略也存在着问题——抓取的效率和质量的问题。
 
蜘蛛在抓取完当前网页之后,会根据这个页面的权重;包括它的更新频率、更新质量、外链的数量等等来判定的,那么对于权重高的页面,蜘蛛会在间隔相对比较短的时间内再次抓取信息,然而权重相对低点的网站,类似长期没有更新的网站,那蜘蛛肯定不常关顾,食物都没有。
 
 本文由
深圳网站建设设公司:创新互联Nicole供搞,转载时请保留此链接,谢谢合作!
        文章出处
www.innont.com/newsdetail.asp?news_id=1191

—— 微信公众号 ——

热门标签