Project Name | Stars | Downloads | Repos Using This | Packages Using This | Most Recent Commit | Total Releases | Latest Release | Open Issues | License | Language |
---|---|---|---|---|---|---|---|---|---|---|
Crawlab | 10,521 | 4 months ago | 1 | March 03, 2019 | 58 | bsd-3-clause | Go | |||
Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架 | ||||||||||
Distribute_crawler | 3,176 | 7 years ago | 26 | Python | ||||||
使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现 | ||||||||||
Lianjia Beike Spider | 2,464 | 9 months ago | 13 | Python | ||||||
链家网和贝壳网房价爬虫,采集北京上海广州深圳等21个中国主要城市的房价数据(小区,二手房,出租房,新房),稳定可靠快速!支持csv,MySQL, MongoDB,Excel, json存储,支持Python2和3,图表展示数据,注释丰富 ,点星支持,仅供学习参考,请勿用于商业用途,后果自负。 | ||||||||||
Anemone | 1,615 | 385 | 34 | 4 years ago | 23 | May 30, 2012 | 55 | mit | Ruby | |
Anemone web-spider framework | ||||||||||
Wechat_spider | 1,236 | 10 months ago | 28 | mit | JavaScript | |||||
微信爬虫,获取文章内容、阅读量、点赞量、评论等,获取公众号所有历史文章链接。 | ||||||||||
Zhihu Crawler | 843 | 5 years ago | 2 | other | Java | |||||
zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目 | ||||||||||
Istock | 770 | a year ago | 18 | Java | ||||||
:point_right:一个基于spring boot 实现的java股票爬虫(仅支持A股),如果你:heart:请:star: . V2升级版正在开发中! | ||||||||||
Python Spider | 680 | 2 years ago | apache-2.0 | Python | ||||||
豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章 | ||||||||||
Web_kg | 435 | 4 years ago | 9 | Python | ||||||
爬取百度百科中文页面,抽取三元组信息,构建中文知识图谱 | ||||||||||
Zhihu | 400 | 7 years ago | 1 | JavaScript | ||||||
✨ 知乎日报 - 爬虫、数据分析、Node.js、Vue.js ... |