robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。今天合肥网站优化小编来跟大家具体介绍，robots.txt。
　　第一：什么是robots.txt?
　　这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时，它首先会检查根目录是否存在robots.txt，如果有就确定抓取范围，没有就按链接顺序抓取。
　　第二：robots.txt有什么用
　　为何需要用robots.txt这个文件来告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。说到底了，这些页面或文件被搜索引擎收录了，用户也看不了，多数需要口令才能进入或是数据文件。既然这样，又让搜索机器人爬行的话，就浪费了服务器资源，增加了服务器的压力，因此我们可以用robots.txt告诉机器人集中注意力去收录我们的文章页面。增强用户体验。
　　1，用robots屏蔽网站重复页
　　很多网站一个内容提供多种浏览版本，虽然很方便用户却对蜘蛛造成了困难，因为它分不清那个是主，那个是次，一旦让它认为你在恶意重复，你就惨了
　　User-agent： *
　　Disallow： /sitemap/ （禁止蜘蛛抓取 文本网页）
　　2，用robots保护网站安全
　　很多人纳闷了，robots怎么还和网站安全有关系了？其实关系还很大，不少低级黑客就是通过搜索默认后台登陆，以达到入侵网站的目标
　　User-agent： *
　　Disallow： /admin/ （禁止蜘蛛抓取admin目录下所有文件）
　　3，防止盗链
　　一般盗链也就几个人，可是一旦被搜索引擎“盗链”那家伙你100M宽带也吃不消，如果你做的不是图片网站，又不想被搜索引擎“盗链”你的网站图片
　　User-agent： *
　　Disallow： .jpg$
　　4，提交网站地图
　　现在做优化的都知道做网站地图了，可是却没几个会提交的，绝大多数人是干脆在网页上加个链接，其实robots是支持这个功能的
　　5，禁止某二级域名的抓取
　　一些网站会对VIP会员提供一些特殊服务，却又不想这个服务被搜索引擎检索到
　　User-agent： *
　　Disallow： /
　　以上就是合肥网站优化小编整理的内容，更多相关资讯欢迎访问http://www.zosyo.com/

>> 相关文章：

·安徽网站建设公司怎样评价关键字搜索热度
·合肥网站建设怎样优化网站才能让网站快速打开
·合肥网站制作为什么在公司营销网站的制作要用自适应网站设计？
·了解网络，分析网站地图的功能
·如何选择网站设计公司？
·【安徽网站建设】网页设计灵感来源的几个方向
·【网站建设】网站建设关键词的重要性
·合肥网站建设网站必须满足的要求规范是什么
·死链对网站的影响以及如何处理？
·合肥网站优化的主要内容和作用
·安徽网站建设包含哪些费用
·那些关于网站建设的事情，网站建设包括哪些流程？
·安徽SEO优化给企业网站做好优化工作
·一个好的网站结构能对SEO优化起到什么作用？
·合肥网站优化未来网站发展方向
·2022年安徽网站建设，企业如何做好新品牌的营销？
·网站制作中容易被忽视的因素和一些误解
·合理的内容规划和网站结构更好地留住客户
·安徽网站制作如何评价网站建设的质量效果？
·SEO网站建设过程中的非法操作
·安徽合肥网络公司稳步提高网站流量的引流策略
·安徽网站优化如何获得更好的推广效果？
·安徽合肥网络公司做好高端网站建设的必备小技巧
·合肥网站制作公司如何用常用的方法维护企业官网
·安徽网站优化怎样优化网站排名
·安徽网站优化公司教大家如何选择建站团队
·合肥网站优化如何利用内部链接提高整个站点的权威性
·在网站优化过程中保持长期良性的改进方法是很重要的
·新网站如何做好站内优化？
·合肥中小企业在制作营销网站时需要做哪些规划？
·安徽网站建设有哪些坑需要我们重视
·网站建设对企业有什么好处？
·如何选择好的安徽安徽网站建设网站？
·网站自然优化需要注意哪些问题？
·安徽合肥网络公司在网站推广中这样做将有助于后期SEO优化。
·合肥网站制作如何做前期沟通？
·安徽网站优化中友情链接如何选择