首页|基于字段过滤和伸缩窗口的SNM算法优化

基于字段过滤和伸缩窗口的SNM算法优化

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
数据仓库中的问题数据对数据质量有较大的影响,为了查找和去除这些问题数据,首要的工作是处理相似重复数据,目前针对重复数据清除应用最多的算法是基本邻近排序算法(SNM).通过分析SNM算法的缺陷,提出了一种改进的SNM算法——ISNM.采用属性区分法计算属性权值,解决了人为主观赋予权值导致的问题;使用字段过滤算法计算2条记录的相似度,减少了窗口内记录属性的比对次数,加快了算法的检测速度;使用可变窗口代替固定大小的窗口,防止记录漏配并减少无用的记录比对.实验结果表明,改进后的ISNM算法在查全率、查准率和运行时间开销上有明显的优势.
SNM algorithm optimization based on field filtering and scaling window

周世杰、娄渊胜

展开 >

河海大学计算机与信息学院,江苏南京 211100

数据质量 数据清洗 相似重复记录 SNM算法

江苏省重点研发计划

BE2018301

2022

10.3969/j.issn.1007-130X.2022.04.014

计算机工程与科学
国防科学技术大学计算机学院

计算机工程与科学

CSTPCDCSCD北大核心
影响因子：0.787
ISSN：1007-130X
年,卷(期)：2022.44(4)
  • 22