Project Name | Stars | Downloads | Repos Using This | Packages Using This | Most Recent Commit | Total Releases | Latest Release | Open Issues | License | Language |
---|---|---|---|---|---|---|---|---|---|---|
Examples Of Web Crawlers | 13,142 | 5 months ago | 18 | mit | Python | |||||
一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. ) | ||||||||||
Spider Flow | 8,075 | a year ago | 20 | mit | Java | |||||
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。 | ||||||||||
Infospider | 6,856 | 7 months ago | 8 | gpl-3.0 | Python | |||||
INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。 | ||||||||||
Python3 Spider | 2,582 | 6 months ago | 6 | Python | ||||||
Python爬虫实战 - 模拟登陆各大网站 包含但不限于:滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝,如果喜欢请start ❤️ | ||||||||||
Python Crawler | 1,576 | 2 years ago | 2 | HTML | ||||||
从头开始 系统化的 学习如何写Python爬虫。 Python版本 3.6 | ||||||||||
Autocrawler | 1,454 | 7 months ago | 11 | apache-2.0 | Python | |||||
Google, Naver multiprocess image web crawler (Selenium) | ||||||||||
Instagram Profilecrawl | 1,001 | a year ago | 8 | mit | Python | |||||
📝 quickly crawl the information (e.g. followers, tags etc...) of an instagram profile. | ||||||||||
Scrapy Selenium | 842 | 3 | 2 | 7 months ago | 6 | January 24, 2019 | 76 | wtfpl | Python | |
Scrapy middleware to handle javascript pages using selenium | ||||||||||
Xxl Crawler | 650 | 2 | 1 | a year ago | 6 | October 15, 2022 | 20 | apache-2.0 | Java | |
A distributed web crawler framework.(分布式爬虫框架XXL-CRAWLER) | ||||||||||
Netdiscovery | 557 | 3 years ago | apache-2.0 | Java | ||||||
NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。 |