搜索蜘蛛爬行记录

对于网站运维来说，了解网站被搜索引擎蜘蛛抓取记录是很重要的环节。可以有效的针对爬虫统计以及后续的推广提高抓取和收录。在这里，我们可以用到这个 LeSpider Analysis 插件记录常见市面上可用的搜索引擎蜘蛛抓取记录进行统计。 在激活插件之后，设置中可以看到勾选需要的常见的统计蜘蛛。设置数据的保留时长，以及是否设置自动清理。 访问统计和日志都可以看到具体的蜘蛛爬行记录。