Project Name | Stars | Downloads | Repos Using This | Packages Using This | Most Recent Commit | Total Releases | Latest Release | Open Issues | License | Language |
---|---|---|---|---|---|---|---|---|---|---|
Movie_recommend | 1,441 | 5 years ago | 10 | mit | Java | |||||
基于Spark的电影推荐系统,包含爬虫项目、web网站、后台管理系统以及spark推荐系统 | ||||||||||
Funpyspidersearchengine | 862 | 2 years ago | 3 | mit | Python | |||||
Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索 | ||||||||||
Python Spider | 680 | 2 years ago | apache-2.0 | Python | ||||||
豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章 | ||||||||||
Scrapydouban | 646 | 5 months ago | 6 | Python | ||||||
豆瓣电影/豆瓣读书 Scarpy 爬虫 | ||||||||||
China_stock_announcement | 173 | 4 years ago | mit | Python | ||||||
该项目通过scrapy爬虫从巨潮网络的服务器获取中国股市的公告 | ||||||||||
Jobspiders | 171 | a year ago | 6 | apache-2.0 | Python | |||||
scrapy框架爬取51job(scrapy.Spider),智联招聘(扒接口),拉勾网(CrawlSpider) | ||||||||||
Pythoncrawler Scrapy Mysql File Template | 153 | 7 years ago | 2 | mit | Python | |||||
scrapy爬虫框架模板,将数据保存到Mysql数据库或者文件中。 | ||||||||||
News_recommend | 127 | 3 years ago | 7 | Scala | ||||||
基于Spark的新闻推荐系统,包含爬虫项目、web网站以及spark推荐系统 | ||||||||||
Aox_proxy_pool | 103 | 5 years ago | 4 | apache-2.0 | Python | |||||
本项目是为了解决在抓取代理ip后, 代理ip失效快, 不稳定的问题 以及代理ip使用不方便等问题。 | ||||||||||
Docs | 102 | 5 years ago | 3 | |||||||
《数据采集从入门到放弃》源码。内容简介:爬虫介绍、就业情况、爬虫工程师面试题 ;HTTP协议介绍; Requests使用 ;解析器Xpath介绍; MongoDB与MySQL; 多线程爬虫; Scrapy介绍 ;Scrapy-redis介绍; 使用docker部署; 使用nomad管理docker集群; 使用EFK查询docker日志 |