浅谈大数据建模中左连接的优化

扫码查看

原文链接

NETL
NSTL
万方数据

中文摘要：大数据的关键在于数据之间的相互作用,通过左连接等碰撞操作产生有价值的分析数据.针对超大数量级且没有完善索引的数据表格,直接使用左连接操作会占用巨大的计算资源,进而影响平台的性能.本文简要探讨了左连接相关的两种优化方案:剪枝优化和降维优化,剪枝优化是将需左连接的表格进行筛选,过滤出有效数据,进而提高左连接效率,降维优化是将左连接的二维操作,降维成为分组排序后的一维操作方式,使模型获得显著的效率提升.

作者：

段兆晔

展开 >

作者单位：

广东省公安厅网警总队,广东广州 510030

关键词：

大数据建模复杂度左连接优化 row_number first_value

出版年：

2024

广东公安科技

广东省公安科学技术研究所

广东公安科技

影响因子：0.125

ISSN：

年,卷(期)：2024.32(2)