阅读模式:

robots.txt 协议的安全配置

查看:8004  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
centos7.3安装mongodb3.6   阅读:9518centos 7 安装 samba 服务   阅读:8476一步步带你,如何网站架构   阅读:5652shell脚本统计当前服务器并发连接数   阅读:9600把php session 会话保存到redis   阅读:9208一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:140960javascript点击复制内容   阅读:9222网站性能优化-页面静态缓存   阅读:6848给网站添加一键qq登录的功能   阅读:9409什么是天使轮?什么是A轮融资?B轮融资?   阅读:6889浅谈javascript的函数节流   阅读:6177面试的时候和你谈理想,是理想or入坑?   阅读:13386php翻转字符串   阅读:5026给php7安装redis扩展库   阅读:10125nginx编译安装后对nginx进行平滑升级   阅读:8527PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:17646mysql5.7开启sql日志的配置   阅读:11894封装php redis缓存操作类   阅读:11239linux教程,鸟哥私房菜(pdf全集)   阅读:12566什么是天使轮?什么是A轮融资?B轮融资?   阅读:6889php连接redis   阅读:7171php 使用 smtp.php 类在线发送邮件功能   阅读:7345centos 7 安装 php-7.1.3   阅读:23413nginx安装redis模块   阅读:8669PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:17646centos 7 安装 nginx-1.11.10   阅读:10206centos7开启交换内存   阅读:13355centos 7 添加 redis 3.2.9 开机启动脚本   阅读:11338分享:淘宝技术这十年   阅读:6052centos 7搭建zabbix3.4   阅读:8218centos 7 安装 samba 服务   阅读:8476封装php redis缓存操作类   阅读:11239十张GIF让你弄懂递归等概念   阅读:7802php显示刚刚、几分钟前、几小时前、几天前的函数   阅读:10677网站性能优化-页面静态缓存   阅读:6848php swoole搭建简单的聊天室   阅读:6898霍金24岁博士毕业论文在线预览   阅读:7194php 读取和设置redis的键值   阅读:8956给网站添加一键qq登录的功能   阅读:9409linux教程,鸟哥私房菜(pdf全集)   阅读:12566centos 7 安装 redis 3.2.9   阅读:8281解决 nginx 413 request entity too large   阅读:6023php 统计网页打开耗时和脚本运行内存   阅读:8370mysql数据一键导出到csv文件   阅读:7358centos 7 忘记root密码   阅读:6558php 使用 smtp.php 类在线发送邮件功能   阅读:7345session与cookie的区别   阅读:5438移动端自适应rem原理   阅读:11194给 centos 7 安装桌面环境   阅读:18733php 获取当前前后年、月、星期、日、时分秒的时间   阅读:8508