阅读模式:

robots.txt 协议的安全配置

查看:7012  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
mysql共享锁和排他锁详解   阅读:8001php中地址引用&的真正理解-变量引用、函数引用、对象引用   阅读:6314一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:134106纯干货,程序员面试的超实用技巧   阅读:4699centos 7 开启网络   阅读:7721php设置cookie为HttpOnly防止XSS攻击   阅读:13578centos 7.2 添加php7 的 php-fpm 开机启动   阅读:25806比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:5813web项目高并发量网站解决方案   阅读:5093移动端js触摸touch详解(附带案例源码)   阅读:17707centos 7 设置 nginx-1.11.10 开机启动   阅读:8534给网站添加一键qq登录的功能   阅读:8110centos 7 安装 samba 服务   阅读:7372mysql5.7主从同步配置   阅读:6988一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:134106shell脚本批量删除几天前的文件   阅读:11014centos 7 忘记root密码   阅读:5372一步步带你,如何网站架构   阅读:4663面试都会问你为什么你从上一家公司离职的真实意思   阅读:11860linux时间戳有趣的情人节秒1234567890   阅读:5931phpexcel 超简单从excel表格一键导入数据到数据库教程   阅读:12867php删除一个文件夹内的所有文件夹和文件   阅读:5392程序员找工作三要素(必看)   阅读:6115linux php7编译安装mongodb扩展   阅读:9588网站局部小图片优化-base64编码图片   阅读:20305linux top命令详解   阅读:10237小米手机端商城rem适配原理   阅读:7202linux php7编译安装mongodb扩展   阅读:9588mysql数据库性能的基本优化   阅读:4894centos7中颁发CA证书并开启web https   阅读:8813Nginx 配置文件详解   阅读:5425php文件下载防盗链   阅读:10503简单的DOS攻击之死亡之ping详解   阅读:63745移动端js触摸touch详解(附带案例源码)   阅读:17707centos 7 安装 nginx-1.11.10   阅读:9129php文件下载防盗链   阅读:10503php 统计网页打开耗时和脚本运行内存   阅读:7285php 读取和设置redis的键值   阅读:7831crontab+shell脚本实现定时备份mysql数据库   阅读:8267php连接redis   阅读:6134TCP的三次握手(建立连接)和四次挥手(关闭连接)   阅读:4305linux命令中执行php脚本   阅读:8816centos 7 安装 mysql-5.7   阅读:7788centos 7搭建zabbix3.4   阅读:7146封装php redis缓存操作类   阅读:9825php打印九九乘法表   阅读:11626php+redis实现消息队列   阅读:15936霍金24岁博士毕业论文在线预览   阅读:6130mysql共享锁和排他锁详解   阅读:8001centos7中颁发CA证书并开启web https   阅读:8813