ScrapydWeb下载|ScrapydWeb(爬虫管理平台) 官方版v1.4.0下载
ScrapydWeb是一个用于Scrapyd集群管理的Web应用程序，知识兔可以有效地管理分布式Web抓取项目。在将SCRAPY_PROJECTS_DIR选项设置为包含Scrapy项目的路径之后，ScrapydWeb将列出该目录中的所有项目，并选择最新修改的项目。只需选择一个项目并按按钮即可提交，然后知识兔在后台自动打包。
软件特色
???? Scrapyd集群管理
???? 支持所有Scrapyd JSON API
☑️ 分组，过滤和选择任意数量的节点
????️ 只需单击几下即可在多节点上执行命令
???? Scrapy日志分析
???? 统计资料收集
???? 进度可视化
???? 日志分类
???? 增强功能
???? 汽车包装
????️♂️ 与整合 ???? LogParser
⏰ 计时器任务
???? 监控和警报
???? 行动使用者介面
???? Web UI的基本身份验证
浏览器支持
最新版本的Google Chrome，Firefox和Safari。
使用说明
访问http://127.0.0.1:5000，然后知识兔使用上面的USERNAME / PASSWORD登录。
服务器页面将自动显示所有Scrapyd服务器的工作状态。您可以通过分组和过滤来选择任意数量的Scrapyd服务器，然后知识兔只需单击几下即可在群集上调用Scrapyd的HTTP JSON API。
与LogParser集成后，“作业”页面可以自动显示您的抓取作业的页面和项目信息。默认情况下，ScrapydWeb会定期创建您的抓取作业的快照并将其保存在数据库中，知识兔以避免在重新启动Scrapyd服务器时丢失作业信息。
更新内容
新的功能
添加用于通过Slack，Email发送文本或警报的API
改进之处
侧边栏和多节点按钮上的UI改进
其他
将配置文件更新为scrapydweb_settings_v10.py
下载仅供下载体验和测试学习，不得商用和正当使用。
