对于网站运维来说,了解网站被搜索引擎蜘蛛抓取记录是很重要的环节。可以有效的针对爬虫统计以及后续的推广提高抓取和收录。在这里,我们可以用到这个 LeSpider Analysis 插件记录常见市面上可用的搜索引擎蜘蛛抓取记录进行统计。

在激活插件之后,设置中可以看到勾选需要的常见的统计蜘蛛。设置数据的保留时长,以及是否设置自动清理。

访问统计和日志都可以看到具体的蜘蛛爬行记录。
对于网站运维来说,了解网站被搜索引擎蜘蛛抓取记录是很重要的环节。可以有效的针对爬虫统计以及后续的推广提高抓取和收录。在这里,我们可以用到这个 LeSpider Analysis 插件记录常见市面上可用的搜索引擎蜘蛛抓取记录进行统计。

在激活插件之后,设置中可以看到勾选需要的常见的统计蜘蛛。设置数据的保留时长,以及是否设置自动清理。

访问统计和日志都可以看到具体的蜘蛛爬行记录。