阅读模式:

robots.txt 协议的安全配置

查看:5938  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
一步步带你,如何网站架构   阅读:3715最简单的Banner轮播淡入淡出效果代码及实现思路(附带源码)   阅读:12366php生成二维码   阅读:6236linux top命令详解   阅读:8546分享:淘宝技术这十年   阅读:4326php连接redis   阅读:5214centos 7 安装 mysql-5.7   阅读:6243面试都会问你为什么你从上一家公司离职的真实意思   阅读:10257mysql5.7开启sql日志的配置   阅读:8187给网站添加一键新浪微博登录的功能   阅读:6039linux教程,鸟哥私房菜(pdf全集)   阅读:8725mysql共享锁和排他锁详解   阅读:6669ajax+php 实现一个简单的在线聊天室功能(附带源码)   阅读:8479centos7中颁发CA证书并开启web https   阅读:6087mongodb设置shell开机启动脚本   阅读:8976centos 7 忘记root密码   阅读:4351session与cookie的区别   阅读:3828php打印九九加法表   阅读:9027给网站添加一键新浪微博登录的功能   阅读:6039javascript点击复制内容   阅读:6180人性漫画:打工与创业的残酷区别   阅读:4335php文件下载防盗链   阅读:9109centos 7 安装 redis 3.2.9   阅读:6108javascript获取两个日期间的所有日期   阅读:5913php打印三角形   阅读:7867十张GIF让你弄懂递归等概念   阅读:5534phpexcel 超简单从数据库一键导出数据到excel教程   阅读:6720php 使用 smtp.php 类在线发送邮件功能   阅读:5026移动端自适应rem原理   阅读:9080用php从1加到100的值   阅读:7714网站局部小图片优化-base64编码图片   阅读:8838centos 7.2 添加php7 的 php-fpm 开机启动   阅读:22556给网站添加一键新浪微博登录的功能   阅读:6039shell脚本破解十位数内的所有纯数字rar加密压缩包脚本   阅读:8092Nginx 配置文件详解   阅读:4250shell脚本批量删除几天前的文件   阅读:8726知乎百万赞作者告诉你:年薪百万的人都在靠什么赚钱   阅读:5692php设置cookie为HttpOnly防止XSS攻击   阅读:11670移动端js触摸touch详解(附带案例源码)   阅读:15513小米手机端商城rem适配原理   阅读:6272Mysql在大型网站的应用架构演变   阅读:4156php 获取当前前后年、月、星期、日、时分秒的时间   阅读:6038shell脚本统计当前服务器并发连接数   阅读:6477比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:4610php 获取当前前后年、月、星期、日、时分秒的时间   阅读:6038centos 7 开启网络   阅读:6249网站性能优化-页面静态缓存   阅读:5080php+redis实现消息队列   阅读:12740nginx编译安装后对nginx进行平滑升级   阅读:5714关于PHP程序员技术职业生涯规划   阅读:2323