我们在运营网站的时候,是不是会关注到搜索引擎蜘蛛对于网站的抓取情况,这样可以检查到我们的网站内容是否受欢迎。如果搜索引擎蜘蛛抓取频率较低,或者较多,甚至有可能是伪蜘蛛的抓取,我们需要做相应的运维手段。在这里,我们可能会通过一些第三方工具或者是插件来实现这个问题。在这里,我们看到有这样的需求情况,老蒋也根据自己的需求设计到这款 LeSpiderAnalysis 蜘蛛爬行的监控记录插件。

插件的设计逻辑功能是包含常见的百度、谷歌、必应、搜狗、神马、头条等搜索引擎的抓取特征,可以设置和选择。采用的是SQLite数据库对于抓取的日志单独的管理,不占用我们网站的SQL数据库,不至于数据库臃肿导致网站速度变慢。
默认的数据库保存在:wp-content/uploads/lespider_visits.db。

蜘蛛抓取的统计采用表格+图标的界面可视化效果体验更好一些。我们也可以检查到当前的蜘蛛详细情况,包括IP地址和抓取的页面统计。

如果我们有需要这样的插件可以体验。
v2.1.0 (当前版本)
- ✨ 代码重构,采用面向对象设计
- ✨ 文件结构优化,便于维护
- ✨ 新增搜索和过滤功能
- ✨ 新增数据导出功能
- ✨ 新增数据清理功能(自动+手动)
- 🔒 修复所有安全漏洞
- ⚡ 数据库索引优化
- 🐛 修复多个Bug
v2.0.0
- ✨ 新增统计仪表盘页面
- ✨ 新增可视化图表(饼图和折线图)
- ✨ 支持8种搜索引擎蜘蛛追踪
- ✨ 访问日志分页功能
- ✨ 增强的数据记录(IP、来源等)
- ✨ 美观的UI界面设计
