摘要
随着大数据的发展,互联网数据呈现爆炸式的增长.Web作为一种重要的信息载体,包含了各种类型的信息,而包装器的提出就是为了从杂乱的Web信息中提取出目标数据.但是,随着网页更新的频繁,轻微的结构变化都可能导致原有的包装器失效,增加包装器的维护成本.针对包装器的健壮性以及维护成本问题,提出了一种基于特征相似度计算的网页包装器自适应技术.该技术主要通过解析新网页的特征集合和旧包装器所蕴含的特征信息,通过网页相似度计算,重定位旧包装器在新网页中的映射区域和映射数据项,并根据映射关系使旧包装器能够自适应新网页的数据提取.该技术主要针对各类型网站进行实验,其中包括了购物类、新闻类、资讯类、论坛类和服务类,从中选取了250对新旧版本网页,共500个网页,进行包装器自适应实验.实验结果表明,当网页结构改变时,该方法能够有效地自适应新网页的数据提取,且数据提取的平均精确度和平均召回值分别达到82.2％和84.36％.
基金项目
国家重点研发计划(2017YFB1002000)
福建省自然科学基金杰青项目(2020J06014)
福建省自然科学基金(2018J07005)
NETL
NSTL
万方数据