X
活动推荐

阿里云高性能云主机2折293元/年

企业级性能云服务器限时2折起
新用户5折爆款服务器会场
查看详情
阅读模式:

robots.txt 协议的安全配置

查看:5475  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
centos 7 安装 php-7.1.3   阅读:17158centos 7 安装 mysql-5.7   阅读:5472centos 7搭建zabbix3.4   阅读:5306关于PHP程序员技术职业生涯规划   阅读:2006ajax+php 实现一个简单的在线聊天室功能(附带源码)   阅读:7846php压缩页面的html代码一行显示   阅读:6148web性能测试工具ab的测试方法   阅读:4000centos 7搭建zabbix3.4   阅读:5306javascript点击复制内容   阅读:5673给网站添加一键qq登录的功能   阅读:6327一步步带你,如何网站架构   阅读:3496shell脚本批量删除几天前的文件   阅读:8006mysql的四种索引类型   阅读:18579比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:4379centos 7 安装 nginx-1.11.10   阅读:7260php显示刚刚、几分钟前、几小时前、几天前的函数   阅读:7039centos 7 安装 nginx-1.11.10   阅读:7260十张GIF让你弄懂递归等概念   阅读:5218网站性能优化-页面静态缓存   阅读:4803linux命令中执行php脚本   阅读:6291移动端自适应rem原理   阅读:8641mysql的四种索引类型   阅读:18579mongodb设置shell开机启动脚本   阅读:8228php 统计网页打开耗时和脚本运行内存   阅读:5910解决 nginx 413 request entity too large   阅读:3783mysql5.7主从同步中binlog同步模式详解   阅读:4769centos 7 安装 mysql-5.7   阅读:5472centos 7 设置 nginx-1.11.10 开机启动   阅读:7103用php从1乘到100的值   阅读:5511十张GIF让你弄懂递归等概念   阅读:5218程序员找工作三要素(必看)   阅读:4954html5 离线缓存的使用   阅读:3698简单的DOS攻击之死亡之ping详解   阅读:42747HTTP 1.1 协议详解   阅读:8028php删除一个文件夹内的所有文件夹和文件   阅读:4151centos 7 安装 mysql-5.7   阅读:5472shell脚本统计当前服务器并发连接数   阅读:6049ajax+php 实现一个简单的在线聊天室功能(附带源码)   阅读:7846mysql5.7主从同步中binlog同步模式详解   阅读:4769centos 7 安装 samba 服务   阅读:5607面试的时候和你谈理想,是理想or入坑?   阅读:8475什么是天使轮?什么是A轮融资?B轮融资?   阅读:3532web项目高并发量网站解决方案   阅读:3895shell脚本破解十位数内的所有纯数字rar加密压缩包脚本   阅读:7563php 读取和设置redis的键值   阅读:6475linux php7编译安装mongodb扩展   阅读:7281封装php redis缓存操作类   阅读:7728Mysql在大型网站的应用架构演变   阅读:3904web性能测试工具ab的测试方法   阅读:4000用php从1乘到100的值   阅读:5511