阅读模式:

robots.txt 协议的安全配置

查看:6678  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
session与cookie的区别   阅读:4314javascript点击复制内容   阅读:7097web性能测试工具ab的测试方法   阅读:4764关于PHP程序员技术职业生涯规划   阅读:3048javascript对cookie操作详细代码函数   阅读:5456最简单的Banner轮播左右切换效果代码及实现思路(附带源码)   阅读:32323php 读取和设置redis的键值   阅读:7442csv文件一键导入数据到mysql数据库   阅读:6934简单的DOS攻击之死亡之ping详解   阅读:58500centos 7 忘记root密码   阅读:5004linux php7安装yaf扩展   阅读:8719mysql5.7主从同步配置   阅读:6240php显示刚刚、几分钟前、几小时前、几天前的函数   阅读:8813centos 7 安装 samba 服务   阅读:7005程序员找工作三要素(必看)   阅读:5813一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:131650用php从1加到100的值   阅读:8936php打印九九加法表   阅读:10819面试的时候回去等通知,等电话的真实意思   阅读:24470php压缩页面的html代码一行显示   阅读:7723centos 7 开启网络   阅读:7237php swoole搭建简单的聊天室   阅读:4408人性漫画:打工与创业的残酷区别   阅读:5047php 统计网页打开耗时和脚本运行内存   阅读:6981nginx安装redis模块   阅读:6000centos 7 安装 nginx-1.11.10   阅读:8742小米手机端商城rem适配原理   阅读:6882mysql5.7主从同步中binlog同步模式详解   阅读:7682知乎百万赞作者告诉你:年薪百万的人都在靠什么赚钱   阅读:6744最简单的Banner轮播淡入淡出效果代码及实现思路(附带源码)   阅读:13550mysql5.7主从同步中binlog同步模式详解   阅读:7682霍金24岁博士毕业论文在线预览   阅读:5796什么是天使轮?什么是A轮融资?B轮融资?   阅读:5212centos 7 安装 php-7.1.3   阅读:20580最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:11203centos 7 安装 samba 服务   阅读:7005linux命令中执行php脚本   阅读:8265浅谈javascript的函数节流   阅读:4844浅谈javascript的函数节流   阅读:4844shell发送邮件脚本   阅读:8431爱编程,也爱健康   阅读:4487php连接redis   阅读:5826php打印九九乘法表   阅读:10808面试的时候和你谈理想,是理想or入坑?   阅读:10813知乎百万赞作者告诉你:年薪百万的人都在靠什么赚钱   阅读:6744shell脚本统计当前服务器并发连接数   阅读:7855HTTP 1.1 协议详解   阅读:12606比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:5543人性漫画:打工与创业的残酷区别   阅读:5047shell脚本批量删除几天前的文件   阅读:10386