小路文章 - 配置Robots.txt
type: channel
link: https://www.xn--yetq47i.top/tag/%E9%85%8D%E7%BD%AERobots-txt/
items: typecho博客如何配置Robots.txt

typecho博客如何配置Robots.txt
type: item
date: 2025-05-25T02:13:00+08:00
description: 今天学习一下Robos.txt Robots.txt是一个存放在网站根目录的纯文本文件（必须小写命名），采用ASCII编码格式。其核心功能是通过声明规则，指导搜索引擎蜘蛛（如Googlebot、Baiduspider）抓取权限范围：​- 允许访问：开放优质内容抓取，提升SEO收录效率​禁止抓取：保护敏感数据（如后台/admin/、临时文件/tmp/）​资源优化：减少无效页面抓取，节省服务器带宽 ------------ 基础语法结构 User-agent: [指定搜索引擎名称] Disallow: [禁止路径] Allow: [允许路径] Sitemap: [网站地图地址] User-agent：指定规则适用的蜘蛛（*表示所有引擎）​路径规则：支持绝对路径（如/admin/）和通配符（*匹配任意字符，$标识结尾） ------------ 为typecho配置robots.txt 在网站根目录下新建txt文本，名字为robots.txt(全是小写字母)，然后放置下方的代码即可，如果你站没有安装网站地图插件，那sitemap那行可以删掉。 User-agent: * Disallow: /admin/ Disallow:/install/ sitemap:https://你的域名/sitemap.xml ------------ 这里的意思就是，所有搜索引擎禁止爬后台路径以及程序安装路径，并告知网站地图链接。 {mtitle title="l"/}