robots文件作用和写法

日期：2017-01-11 | 来源：易联网站建设公司 | 阅读：

　　1、Robots.txt文件是什么：首先SEO博客要和大家弄清楚robots.txt的概念问题，带有txt后缀的文件是纯文本文档，robots是机器人的意思，也就是说，robots.txt文件是给搜索引擎蜘蛛看的纯文本文件。它告诉搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止抓取的。搜索引擎蜘蛛来访问你的网站页面的，首先会查看网站根目录下是否有robots.txt文件，robots.txt文件就是起到这个作用的。我们都知道淘宝网是屏蔽百度的，靠的就是robots.txt文件。文件是这样书写的：User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: /

　　2. robots.txt的作用：通过设置屏蔽搜索引擎，使之不必要页面被收录，可以大大降低抓取页面所占用的网站带宽，大型网站尤为明显了。设置robots.txt文件可以指定某个搜索引擎不去索引不想被收录的URL，比如我们通过url重写将动态URL静态化为永久固定链接，就可以通过robots.txt设置权限，阻止某些搜索引擎索引那些动态网址，网站重复页面将减少，有利于SEO优化。

　　创新易联立足深圳面向华南，作为深圳网站建设公司服务提供商，凭借过硬的技术开发及安全保障实力、专业的全方位解决方案一举获得客户的认可。

robots文件

2017-02-051robots文件作用和写法
2016-08-222原创文章在网站SEO优化过程中起到的作用有多大
2015-09-233浅谈网站制作中导航的系统作用和分类
2015-09-104网站设计图片与文字的作用比较
2015-07-065深圳网站建设，探讨外链的重要作用
2015-05-186SEO优化的思路清晰才能达到更好的优化的作用
2014-08-277什么可以决定网站建设作用的因素
2014-08-268网站建设：深度分析HTML代码在页面底部引入JavaScript文件
2014-08-269网页技术大讲堂（第七讲）：如何让自已的文件能够让他人共享
2014-08-2610网站建设技术：服务器空间按程序语言有哪些以及各自有什么作用

robots文件作用和写法

相关文章

最新文章

—— 微信公众号 ——

热门标签

联系我们

服务优势

公司介绍