Spider Flow
| Project Name | Stars | Downloads | Repos Using This | Packages Using This | Most Recent Commit | Total Releases | Latest Release | Open Issues | License | Language |
|---|---|---|---|---|---|---|---|---|---|---|
| Examples Of Web Crawlers | 11,050 | 2 years ago | 3 | mit | Python | |||||
| 一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. ) | ||||||||||
| Spider Flow | 8,075 | 6 months ago | 20 | mit | Java | |||||
| 新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。 | ||||||||||
| Infospider | 6,856 | 2 months ago | 8 | gpl-3.0 | Python | |||||
| INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。 | ||||||||||
| Python3 Spider | 2,582 | a month ago | 6 | Python | ||||||
| Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️ | ||||||||||
| Python Crawler | 1,576 | 2 years ago | 2 | HTML | ||||||
| 从头开始 系统化的 学习如何写Python爬虫。 Python版本 3.6 | ||||||||||
| Autocrawler | 1,454 | a month ago | 11 | apache-2.0 | Python | |||||
| Google, Naver multiprocess image web crawler (Selenium) | ||||||||||
| Instagram Profilecrawl | 1,001 | 8 months ago | 8 | mit | Python | |||||
| 📝 quickly crawl the information (e.g. followers, tags etc...) of an instagram profile. | ||||||||||
| Scrapy Selenium | 842 |  | 3 | 2 | 2 months ago | 6 | January 24, 2019 | 76 | wtfpl | Python |
| Scrapy middleware to handle javascript pages using selenium | ||||||||||
| Xxl Crawler | 650 | 2 | 1 | 8 months ago | 6 | October 15, 2022 | 20 | apache-2.0 | Java | |
| A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER） | ||||||||||
| Netdiscovery | 557 | 3 years ago | apache-2.0 | Java | ||||||
| NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。 | ||||||||||
Alternatives To Spider FlowSelect To Compare
Alternative Project Comparisons
Readme
介绍 | 特性 | 插件 | DEMO站点 | 文档 | 更新日志 | 截图 | 其它开源 | 免责声明
介绍
平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台
特性
- [x] 支持Xpath/JsonPath/css选择器/正则提取/混搭提取
- [x] 支持JSON/XML/二进制格式
- [x] 支持多数据源、SQL select/selectInt/selectOne/insert/update/delete
- [x] 支持爬取JS动态渲染(或ajax)的页面
- [x] 支持代理
- [x] 支持自动保存至数据库/文件
- [x] 常用字符串、日期、文件、加解密等函数
- [x] 支持插件扩展(自定义执行器，自定义方法）
- [x] 任务监控,任务日志
- [x] 支持HTTP接口
- [x] 支持Cookie自动管理
- [x] 支持自定义函数
插件
项目部分截图
爬虫列表
爬虫测试
Debug
日志
其它开源项目
免责声明
请勿将spider-flow应用到任何可能会违反法律规定和道德约束的工作中，请友善使用spider-flow，遵守蜘蛛协议，不要将spider-flow用于任何非法用途。如您选择使用spider-flow即代表您遵守此协议，作者不承担任何由于您违反此协议带来任何的法律风险和损失，一切后果由您承担。
Popular Crawler Projects
Popular Selenium Projects
Popular Data Processing Categories
Related Searches
Get A Weekly Email With Trending Projects For These Categories
No Spam. Unsubscribe easily at any time.
Java
Flow
Crawler
Selenium
Cookie
Ajax
Web Crawler
Ocr
Spider
Xpath
Jsoup