阅读模式:

robots.txt 协议的安全配置

查看:6219  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
javascript点击复制内容   阅读:6453面试都会问你为什么你从上一家公司离职的真实意思   阅读:10719php打印九九加法表   阅读:9694封装php redis缓存操作类   阅读:8703linux rarcrack破解rar、zip和7z压缩包简单密码的工具   阅读:16405用php从1乘到100的值   阅读:6008centos 7搭建zabbix3.4   阅读:6119javascript点击复制内容   阅读:6453知乎百万赞作者告诉你:年薪百万的人都在靠什么赚钱   阅读:6090一步步带你,如何网站架构   阅读:3877php打印三角形   阅读:9011封装php redis缓存操作类   阅读:8703Mysql在大型网站的应用架构演变   阅读:4409php swoole搭建简单的聊天室   阅读:3441一步步带你,如何网站架构   阅读:3877mysql数据一键导出到csv文件   阅读:5362用php从1加到100的值   阅读:8178web性能测试工具ab的测试方法   阅读:4383centos 7 开启网络   阅读:6607php冒泡排序法   阅读:13734mysql5.7主从同步配置   阅读:4939mysql数据库性能的基本优化   阅读:4344用php从1乘到100的值   阅读:6008简单的DOS攻击之死亡之ping详解   阅读:51933企业让你去面试,可能不是真的招人   阅读:5670TCP的三次握手(建立连接)和四次挥手(关闭连接)   阅读:3101一步步带你,如何网站架构   阅读:3877Nginx 配置文件详解   阅读:4415crontab+shell脚本实现定时备份mysql数据库   阅读:7324php+redis实现消息队列   阅读:13707shell脚本统计当前服务器并发连接数   阅读:6987linux php7安装yaf扩展   阅读:8002php冒泡排序法   阅读:13734mongodb设置shell开机启动脚本   阅读:9515mysql5.7主从同步配置   阅读:4939什么是天使轮?什么是A轮融资?B轮融资?   阅读:4655php设置cookie为HttpOnly防止XSS攻击   阅读:12204php翻转字符串   阅读:3269crontab+shell脚本实现定时备份mysql数据库   阅读:7324html5 离线缓存的使用   阅读:4161分享:淘宝技术这十年   阅读:4493Mysql在大型网站的应用架构演变   阅读:4409shell脚本统计当前服务器并发连接数   阅读:6987mysql5.7开启sql日志的配置   阅读:8616php中地址引用&的真正理解-变量引用、函数引用、对象引用   阅读:5382php+redis实现消息队列   阅读:13707centos 7 安装 redis 3.2.9   阅读:6343centos 7 安装 nginx-1.11.10   阅读:8111面试的时候和你谈理想,是理想or入坑?   阅读:9856给网站添加一键qq登录的功能   阅读:7021