X
活动推荐

阿里云高性能云主机2折293元/年

企业级性能云服务器限时2折起
新用户5折爆款服务器会场
查看详情 293元/年
阅读模式:

robots.txt 协议的安全配置

查看:5118  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
给网站添加一键qq登录的功能   阅读:5927php设置cookie为HttpOnly防止XSS攻击   阅读:9983TCP的三次握手(建立连接)和四次挥手(关闭连接)   阅读:2030最简单的Banner轮播淡入淡出效果代码及实现思路(附带源码)   阅读:11255用php从1乘到100的值   阅读:5203javascript获取两个日期间的所有日期   阅读:4834霍金24岁博士毕业论文在线预览   阅读:4495什么是天使轮?什么是A轮融资?B轮融资?   阅读:3242shell脚本批量删除几天前的文件   阅读:7382mongodb设置shell开机启动脚本   阅读:7473“米粉节”背后的故事——小米网抢购系统开发实践   阅读:3304php 使用 smtp.php 类在线发送邮件功能   阅读:4485用php从1加到100的值   阅读:6993最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:8994linux php7编译安装mongodb扩展   阅读:6617给php7安装redis扩展库   阅读:6549最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:8994centos 7 开启网络   阅读:4869centos7开启交换内存   阅读:8636shell脚本统计当前服务器并发连接数   阅读:5590linux php7安装yaf扩展   阅读:6503一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:109599纯干货,程序员面试的超实用技巧   阅读:3372一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:109599web性能测试工具ab的测试方法   阅读:3771php冒泡排序法   阅读:11130nginx安装mysql和json模块   阅读:2812用php从1乘到100的值   阅读:5203mysql数据库性能的基本优化   阅读:3744php中地址引用&的真正理解-变量引用、函数引用、对象引用   阅读:4533给php7安装redis扩展库   阅读:6549php 使用 smtp.php 类在线发送邮件功能   阅读:4485php 获取当前前后年、月、星期、日、时分秒的时间   阅读:5149mysql5.7开启sql日志的配置   阅读:7021给php7安装redis扩展库   阅读:6549HTTP 1.1 协议详解   阅读:6975比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:4123linux教程,鸟哥私房菜(pdf全集)   阅读:7132爱编程,也爱健康   阅读:3277linux top命令详解   阅读:7169centos 7 安装 mysql-5.7   阅读:4940centos 7搭建zabbix3.4   阅读:4589简单的DOS攻击之死亡之ping详解   阅读:36216企业让你去面试,可能不是真的招人   阅读:4884php 统计网页打开耗时和脚本运行内存   阅读:5525比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:4123给 centos 7 安装桌面环境   阅读:15108一步步带你,如何网站架构   阅读:3269centos 7 安装 nginx-1.11.10   阅读:6802shell发送邮件脚本   阅读:4684