阅读模式:

robots.txt 协议的安全配置

查看:5938  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
session与cookie的区别   阅读:3828php打印九九加法表   阅读:9025centos 7 开启网络   阅读:6247php打印三角形   阅读:7864linux时间戳有趣的情人节秒1234567890   阅读:4997nginx安装mysql和json模块   阅读:4063关于PHP程序员技术职业生涯规划   阅读:2322centos 7 安装 samba 服务   阅读:6019企业让你去面试,可能不是真的招人   阅读:5451php翻转字符串   阅读:2989csv文件一键导入数据到mysql数据库   阅读:6122centos 7 修改系统屏幕分辨率   阅读:41133霍金24岁博士毕业论文在线预览   阅读:5135centos7开启交换内存   阅读:9957PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:13358web性能测试工具ab的测试方法   阅读:4234移动端自适应rem原理   阅读:9079phpexcel 超简单从数据库一键导出数据到excel教程   阅读:6720面试都会问你为什么你从上一家公司离职的真实意思   阅读:10256ajax+php 实现一个简单的在线聊天室功能(附带源码)   阅读:8478linux命令中执行php脚本   阅读:7144PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:13358web性能测试工具ab的测试方法   阅读:4234php连接redis   阅读:5214html5 离线缓存的使用   阅读:3958php删除一个文件夹内的所有文件夹和文件   阅读:4394Mysql在大型网站的应用架构演变   阅读:4156网站局部小图片优化-base64编码图片   阅读:8806centos 7 开启网络   阅读:6247crontab+shell脚本实现定时备份mysql数据库   阅读:7060面试都会问你为什么你从上一家公司离职的真实意思   阅读:10256nginx编译安装后对nginx进行平滑升级   阅读:5711centos 7搭建zabbix3.4   阅读:5782把php session 会话保存到redis   阅读:6605TCP的三次握手(建立连接)和四次挥手(关闭连接)   阅读:2694php打印九九乘法表   阅读:8646mysql5.7主从同步中binlog同步模式详解   阅读:5705最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:10122mongodb设置shell开机启动脚本   阅读:8973分享:淘宝技术这十年   阅读:4325php冒泡排序法   阅读:13136shell脚本统计当前服务器并发连接数   阅读:6476centos 7 添加 redis 3.2.9 开机启动脚本   阅读:8686phpexcel 超简单从excel表格一键导入数据到数据库教程   阅读:11445centos7.3安装mongodb3.6   阅读:6747csv文件一键导入数据到mysql数据库   阅读:6122分享:淘宝技术这十年   阅读:4325mysql5.7开启sql日志的配置   阅读:8185php压缩页面的html代码一行显示   阅读:6569解决 nginx 413 request entity too large   阅读:4038