阅读模式:

robots.txt 协议的安全配置

查看:2948  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
web项目高并发量网站解决方案   阅读:2437centos 7 开启网络   阅读:2858centos 7 修改系统屏幕分辨率   阅读:24703centos 7 安装 redis 3.2.9   阅读:3608面试的时候回去等通知,等电话的真实意思   阅读:12720PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:4352php删除一个文件夹内的所有文件夹和文件   阅读:2854php打印三角形   阅读:822给php7安装redis扩展库   阅读:3884比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:2662centos7中颁发CA证书并开启web https   阅读:865浅谈javascript的函数节流   阅读:2216javascript获取两个日期间的所有日期   阅读:1602给网站添加一键新浪微博登录的功能   阅读:3811csv文件一键导入数据到mysql数据库   阅读:3550centos7.3安装mongodb3.6   阅读:4069解决 nginx 413 request entity too large   阅读:2314linux php7编译安装mongodb扩展   阅读:3719最简单的Banner轮播左右切换效果代码及实现思路(附带源码)   阅读:18484web项目高并发量网站解决方案   阅读:2437centos7开启交换内存   阅读:5164centos 7.2 添加php7 的 php-fpm 开机启动   阅读:13481最简单的Banner轮播淡入淡出效果代码及实现思路(附带源码)   阅读:8612php删除一个文件夹内的所有文件夹和文件   阅读:2854linux时间戳有趣的情人节秒1234567890   阅读:2800最简单的Banner轮播左右切换效果代码及实现思路(附带源码)   阅读:18484linux命令中执行php脚本   阅读:3312小米手机端商城rem适配原理   阅读:4287给 centos 7 安装桌面环境   阅读:11743Nginx 配置文件详解   阅读:2535“米粉节”背后的故事——小米网抢购系统开发实践   阅读:2223php 使用 smtp.php 类在线发送邮件功能   阅读:3168php中地址引用&的真正理解-变量引用、函数引用、对象引用   阅读:2967一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:22160比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:2662php中地址引用&的真正理解-变量引用、函数引用、对象引用   阅读:2967小米手机端商城rem适配原理   阅读:4287crontab+shell脚本实现定时备份mysql数据库   阅读:3379Nginx 配置文件详解   阅读:2535“米粉节”背后的故事——小米网抢购系统开发实践   阅读:2223给php7安装redis扩展库   阅读:3884ajax+php 实现一个简单的在线聊天室功能(附带源码)   阅读:4774mysql数据一键导出到csv文件   阅读:2973phpexcel 超简单从excel表格一键导入数据到数据库教程   阅读:7568面试都会问你为什么你从上一家公司离职的真实意思   阅读:6258mysql中文分词全文搜索索引讯搜的安装   阅读:3334php 使用 smtp.php 类在线发送邮件功能   阅读:3168linux top命令详解   阅读:3872ajax+php 实现一个简单的在线聊天室功能(附带源码)   阅读:4774mysql5.7主从同步配置   阅读:230