基于Scrapy与Redis的分布式房源数据抓取系统

孙士兵¹

扫码查看

作者信息

1. 410004 湖南长沙民政职业技术学院软件学院湖南长沙
折叠

摘要

系统突破单进程单机爬虫的瓶颈,设计了基于Redis分布式多爬虫共享队列的主题爬虫.采用Python开发的Scrapy框架来开发,Pycharm作为开发工具,使用Xpath技术对下载的网页进行数据的提取解析,运用Redis非关系型数据库做分布式,利用MongoDB非关系型数据库做数据存储,Scrapy-Redis组件作为辅助设计,并完成了能爬取网站上所有城市新房二手房数据的分布式爬虫系统.

关键词

Python/Scrapy/Redis/MongoDB/分布式爬虫

引用本文复制引用

出版年

2019

数字化用户

ISSN：

参考文献量2

段落导航