浅谈大数据建模中左连接的优化

段兆晔¹

扫码查看

作者信息

1. 广东省公安厅网警总队,广东广州 510030
折叠

摘要

大数据的关键在于数据之间的相互作用,通过左连接等碰撞操作产生有价值的分析数据.针对超大数量级且没有完善索引的数据表格,直接使用左连接操作会占用巨大的计算资源,进而影响平台的性能.本文简要探讨了左连接相关的两种优化方案:剪枝优化和降维优化,剪枝优化是将需左连接的表格进行筛选,过滤出有效数据,进而提高左连接效率,降维优化是将左连接的二维操作,降维成为分组排序后的一维操作方式,使模型获得显著的效率提升.

关键词

大数据建模/复杂度/左连接优化/row_number/first_value

引用本文复制引用

出版年

2024

广东公安科技

广东省公安科学技术研究所

广东公安科技

影响因子：0.125

ISSN：

段落导航