首页|基于多数据源的论文数据爬虫技术的实现及应用

基于多数据源的论文数据爬虫技术的实现及应用

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
在使用单个数据源进行论文数据采集的过程中,存在着数据全面性不足、数据采集速度因网站访问频率限制而受限等问题.针对这些问题,提出了一个基于多数据源的论文数据爬虫技术.首先,以知网、万方数据、维普网、超星期刊四大中文文献服务网站为数据源,针对检索关键词完成列表页数据的爬取与解析;然后通过任务调度策略,去除各数据源之间重复的数据,同时进行任务的均衡;最后采用多线程对各数据源进行论文详情信息的抓取、解析与入库,并构建网页进行检索与展示.实验表明,在单个网页爬取与解析速度相同的情况下,该技术能够更加全面、高效地完成论文信息采集任务,证实了该技术的有效性.
Implementation and application of paper data crawler technology based on multiple data sources

侯晋升、张仰森、黄改娟、段瑞雪

展开 >

北京信息科技大学 智能信息处理研究所,北京 100101

国家经济安全预警工程北京实验室,北京 100044

网络爬虫 多源数据源 多线程 信息处理 数据展示

国家自然科学基金资助项目科技创新服务能力建设—科研基地建设—北京实验室—国家经济安全预警工程北京实验室项目国家重点研发计划课题

61772081PXM2018_014224_0000102018YFB1402901

2021

10.19734/j.issn.1001-3695.2019.11.0671

计算机应用研究
四川省电子计算机应用研究中心

计算机应用研究

CSTPCDCSCD北大核心
影响因子：0.93
ISSN：1001-3695
年,卷(期)：2021.38(2)
  • 6
  • 11