X
活动推荐

爆款高性能云主机2折293元/年

企业级性能云服务器限时2折起
查看详情 293元/年
阅读模式:

robots.txt 协议的安全配置

查看:4458  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
nginx安装mysql和json模块   阅读:1814linux top命令详解   阅读:6283linux top命令详解   阅读:6283nginx安装mysql和json模块   阅读:1814php打印九九加法表   阅读:6780一步步带你,如何网站架构   阅读:2944mysql数据一键导出到csv文件   阅读:4101nginx安装mysql和json模块   阅读:1814php连接redis   阅读:4142php 使用 smtp.php 类在线发送邮件功能   阅读:4116linux教程,鸟哥私房菜(pdf全集)   阅读:5958linux rarcrack破解rar、zip和7z压缩包简单密码的工具   阅读:10668linux top命令详解   阅读:6283HTTP 1.1 协议详解   阅读:5903小米手机端商城rem适配原理   阅读:5411TCP的三次握手(建立连接)和四次挥手(关闭连接)   阅读:1537linux教程,鸟哥私房菜(pdf全集)   阅读:5958nginx编译安装后对nginx进行平滑升级   阅读:3857html5 离线缓存的使用   阅读:3174centos 7 安装 redis 3.2.9   阅读:4884linux命令中执行php脚本   阅读:4904php打印九九乘法表   阅读:6457给网站添加一键新浪微博登录的功能   阅读:5149centos 7 安装 redis 3.2.9   阅读:4884什么是天使轮?什么是A轮融资?B轮融资?   阅读:2714用php从1乘到100的值   阅读:4761“米粉节”背后的故事——小米网抢购系统开发实践   阅读:3011centos 7 设置 nginx-1.11.10 开机启动   阅读:6261php翻转字符串   阅读:1504十张GIF让你弄懂递归等概念   阅读:4304centos 7搭建zabbix3.4   阅读:4011centos 7 安装 samba 服务   阅读:4803php翻转字符串   阅读:1504比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:3698人性漫画:打工与创业的残酷区别   阅读:3397linux时间戳有趣的情人节秒1234567890   阅读:3970一步步带你,如何网站架构   阅读:2944centos 7 安装 php-7.1.3   阅读:14620移动端自适应rem原理   阅读:7800centos 7 安装 php-7.1.3   阅读:14620企业让你去面试,可能不是真的招人   阅读:4483php打印三角形   阅读:3900面试的时候和你谈理想,是理想or入坑?   阅读:6429php显示刚刚、几分钟前、几小时前、几天前的函数   阅读:5427ajax+php 实现一个简单的在线聊天室功能(附带源码)   阅读:6598centos 7 安装 nginx-1.11.10   阅读:6275最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:8291网站局部小图片优化-base64编码图片   阅读:5924linux rarcrack破解rar、zip和7z压缩包简单密码的工具   阅读:10668php翻转字符串   阅读:1504