X
双12活动推荐^_^

年末巨惠

低至2折
查看详情 更多优惠
阅读模式:

robots.txt 协议的安全配置

查看:3690  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
centos 7 安装 redis 3.2.9   阅读:4162HTTP 1.1 协议详解   阅读:4657shell脚本统计当前服务器并发连接数   阅读:4196程序员找工作三要素(必看)   阅读:3529用php从1乘到100的值   阅读:4096centos 7 忘记root密码   阅读:2964centos7开启交换内存   阅读:6242最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:7367关于PHP程序员技术职业生涯规划   阅读:794关于PHP程序员技术职业生涯规划   阅读:794面试的时候回去等通知,等电话的真实意思   阅读:14245centos7中颁发CA证书并开启web https   阅读:1976一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:26619爱编程,也爱健康   阅读:2304简单的DOS攻击之死亡之ping详解   阅读:25629PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:5565Mysql在大型网站的应用架构演变   阅读:2946最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:7367移动端js触摸touch详解(附带案例源码)   阅读:9928php打印九九加法表   阅读:5764linux教程,鸟哥私房菜(pdf全集)   阅读:3961给 centos 7 安装桌面环境   阅读:12974shell脚本批量删除几天前的文件   阅读:5400把php session 会话保存到redis   阅读:4494面试都会问你为什么你从上一家公司离职的真实意思   阅读:7061php 统计网页打开耗时和脚本运行内存   阅读:4318php 统计网页打开耗时和脚本运行内存   阅读:4318centos 7.2 添加php7 的 php-fpm 开机启动   阅读:15344一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:26619面试都会问你为什么你从上一家公司离职的真实意思   阅读:7061给网站添加一键新浪微博登录的功能   阅读:4485一步步带你,如何网站架构   阅读:2535mysql5.7开启sql日志的配置   阅读:5209linux rarcrack破解rar、zip和7z压缩包简单密码的工具   阅读:7996封装php redis缓存操作类   阅读:5090php 获取当前前后年、月、星期、日、时分秒的时间   阅读:3776centos 7 安装 nginx-1.11.10   阅读:5442shell发送邮件脚本   阅读:2341最简单的Banner轮播淡入淡出效果代码及实现思路(附带源码)   阅读:9506php打印三角形   阅读:2120知乎百万赞作者告诉你:年薪百万的人都在靠什么赚钱   阅读:3726面试的时候和你谈理想,是理想or入坑?   阅读:5306最简单的Banner轮播左右切换效果代码及实现思路(附带源码)   阅读:21089centos 7 修改系统屏幕分辨率   阅读:28256比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:3174php 获取当前前后年、月、星期、日、时分秒的时间   阅读:3776PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:5565爱编程,也爱健康   阅读:2304centos 7 开启网络   阅读:3501一步步带你,如何网站架构   阅读:2535