正文

wordpress网站的robots文件怎么写可以让蜘蛛友好的爬取？

浙商
浙商 V管理员 /1.46 K阅读/0评论
0502

我们可以看到，wordpress程序只是为网站的robots.txt文件添加了3句简单的代码：

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

从上面的代码中，wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录，但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。

总结WordPress全部robots.txt配置

User-agent: *  Disallow: /wp-admin/  Disallow: /wp-includes/  Disallow: /wp-content/plugins  Disallow: /wp-content/themes  Disallow: /feed  Disallow: /articles/*/feed

注意事项：避免收录WordPress系统文件，避免收录重复的内容，正确引导搜索引擎找到网址地图

以上仅供参考


免责声明：本文来自猫屋博客，不代表小君博客的观点和立场，如有侵权请联系本平台处理。