阅读模式:

robots.txt 协议的安全配置

查看:7486  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
centos 7.2 添加php7 的 php-fpm 开机启动   阅读:26967什么是天使轮?什么是A轮融资?B轮融资?   阅读:6233给php7安装redis扩展库   阅读:9514centos 7 安装 samba 服务   阅读:7922一步步带你,如何网站架构   阅读:5119php删除一个文件夹内的所有文件夹和文件   阅读:5923ajax+php 实现一个简单的在线聊天室功能(附带源码)   阅读:11038企业让你去面试,可能不是真的招人   阅读:6886网站性能优化-页面静态缓存   阅读:6364mysql共享锁和排他锁详解   阅读:8658centos 7 设置 nginx-1.11.10 开机启动   阅读:9108centos7中颁发CA证书并开启web https   阅读:9746十张GIF让你弄懂递归等概念   阅读:7183php删除一个文件夹内的所有文件夹和文件   阅读:5923Mysql在大型网站的应用架构演变   阅读:5515mysql5.7开启sql日志的配置   阅读:10896面试的时候回去等通知,等电话的真实意思   阅读:26622解决 nginx 413 request entity too large   阅读:5465phpexcel 超简单从数据库一键导出数据到excel教程   阅读:8467“米粉节”背后的故事——小米网抢购系统开发实践   阅读:5013最简单的Banner轮播左右切换效果代码及实现思路(附带源码)   阅读:34668面试的时候回去等通知,等电话的真实意思   阅读:26622php 使用 smtp.php 类在线发送邮件功能   阅读:6785移动端js触摸touch详解(附带案例源码)   阅读:18868最简单的Banner轮播淡入淡出效果代码及实现思路(附带源码)   阅读:15083centos 7 安装 redis 3.2.9   阅读:7697“米粉节”背后的故事——小米网抢购系统开发实践   阅读:5013nginx安装mysql和json模块   阅读:6818一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:137674什么是天使轮?什么是A轮融资?B轮融资?   阅读:6233centos 7 修改系统屏幕分辨率   阅读:50372栈和堆的区别   阅读:6027面试都会问你为什么你从上一家公司离职的真实意思   阅读:12685php打印九九乘法表   阅读:12944mysql5.7开启sql日志的配置   阅读:10896mysql的四种索引类型   阅读:24596csv文件一键导入数据到mysql数据库   阅读:7845“米粉节”背后的故事——小米网抢购系统开发实践   阅读:5013解决 nginx 413 request entity too large   阅读:5465移动端自适应rem原理   阅读:10717shell发送邮件脚本   阅读:10369把php session 会话保存到redis   阅读:8524shell脚本批量删除几天前的文件   阅读:11981封装php redis缓存操作类   阅读:10539shell脚本破解十位数内的所有纯数字rar加密压缩包脚本   阅读:10421什么是天使轮?什么是A轮融资?B轮融资?   阅读:6233centos7中颁发CA证书并开启web https   阅读:9746mysql数据一键导出到csv文件   阅读:6836centos 7 安装 php-7.1.3   阅读:22405霍金24岁博士毕业论文在线预览   阅读:6635