阅读模式:

robots.txt 协议的安全配置

查看:5966  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
栈和堆的区别   阅读:4576霍金24岁博士毕业论文在线预览   阅读:5154mysql5.7主从同步配置   阅读:4142php 使用 smtp.php 类在线发送邮件功能   阅读:5053php中地址引用&的真正理解-变量引用、函数引用、对象引用   阅读:5138mysql的四种索引类型   阅读:20440一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:123147面试都会问你为什么你从上一家公司离职的真实意思   阅读:10291浅谈javascript的函数节流   阅读:4266javascript点击复制内容   阅读:6205php显示刚刚、几分钟前、几小时前、几天前的函数   阅读:7657web项目高并发量网站解决方案   阅读:4159php冒泡排序法   阅读:13171centos 7 修改系统屏幕分辨率   阅读:41246shell脚本批量删除几天前的文件   阅读:8760简单的DOS攻击之死亡之ping详解   阅读:47960给网站添加一键qq登录的功能   阅读:6673php删除一个文件夹内的所有文件夹和文件   阅读:4404用php从1乘到100的值   阅读:5801霍金24岁博士毕业论文在线预览   阅读:5154浅谈javascript的函数节流   阅读:4266javascript对cookie操作详细代码函数   阅读:4916面试的时候回去等通知,等电话的真实意思   阅读:22379比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:4626最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:10144php 生成图片,给图片加水印   阅读:5173centos 7 安装 nginx-1.11.10   阅读:7810mysql 为什么添加索引可以提高访问速度   阅读:5531centos7开启交换内存   阅读:9988浅谈javascript的函数节流   阅读:4266centos 7 开启网络   阅读:6283centos 7 添加 redis 3.2.9 开机启动脚本   阅读:8722PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:13448mysql数据一键导出到csv文件   阅读:5127centos7.3安装mongodb3.6   阅读:6772shell脚本统计当前服务器并发连接数   阅读:6498爱编程,也爱健康   阅读:3833PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:13448javascript点击复制内容   阅读:6205封装php redis缓存操作类   阅读:8288mysql数据一键导出到csv文件   阅读:5127知乎百万赞作者告诉你:年薪百万的人都在靠什么赚钱   阅读:5714小米手机端商城rem适配原理   阅读:6285javascript获取两个日期间的所有日期   阅读:5939简单的DOS攻击之死亡之ping详解   阅读:47960用php从1乘到100的值   阅读:5801mysql数据库性能的基本优化   阅读:4190十张GIF让你弄懂递归等概念   阅读:5557最简单的Banner轮播左右切换效果代码及实现思路(附带源码)   阅读:30387centos 7 安装 samba 服务   阅读:6053