完整的WordPress站点robots.txt文件内容如下:
User-agent: *
Disallow: /wp-admin/
Disallow: /inc/
Disallow: /other/
Disallow: page/
Disallow: /tag trackback
Disallow: /feed
Disallow: ?s=*\
Disallow: /attachment/
Sitemap: https://lanyueer.com/sitemap.xml
具体使用的时候,请把Sitemap换成贵站的sitemap完整地址!
具体解释如下:
1、Disallow: /wp-admin/、Disallow: /inc/和Disallow: /other/
用于告诉搜索引擎不要抓取后台程序文件页面。
2、Disallow: page/和Disallow: /tag trackback
禁止搜索引擎抓取收录trackback等垃圾信息
3、Disallow: /feed、Disallow: ?s=*\
禁止搜索引擎抓取站内搜索结果
4、Disallow: /attachment/
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。