基于Scrapy与Redis的分布式房源数据抓取系统

扫码查看

原文链接

NETL
NSTL
万方数据

中文摘要：系统突破单进程单机爬虫的瓶颈，设计了基于Redis分布式多爬虫共享队列的主题爬虫。采用Python开发的Scrapy框架来开发，Pycharm作为开发工具，使用Xpath技术对下载的网页进行数据的提取解析，运用Redis非关系型数据库做分布式，利用MongoDB非关系型数据库做数据存储，Scrapy-Redis组件作为辅助设计，并完成了能爬取网站上所有城市新房二手房数据的分布式爬虫系统。

作者：

孙士兵

展开 >

作者单位：

410004 湖南长沙民政职业技术学院软件学院湖南长沙

关键词：

Python Scrapy Redis MongoDB 分布式爬虫

出版年：

2019

数字化用户

ISSN：

年,卷(期)：2019.25(52)

参考文献量5