大数据背景下批处理优化

扫码查看

原文链接

NETL
NSTL
万方数据

中文摘要：随着互联网的飞速发展,网络用户量呈现爆炸式增长,各应用系统的数据量正在急剧增加.海量的数据对于批处理程序的效率提出了更高的要求,原始的基于单实例数据库单节点应用部署的处理方式已经无法满足需求.因此,在底层数据存储方面,技术人员可以根据业务特点,使用分布式数据库并按照特定字段进行分片存储;在应用程序的算法设计方面,技术人员则可以利用分布式服务多节点多线程并发处理优势,并基于生产者消费者模型优化异步处理模式.

作者：

郭俊

展开 >

作者单位：

武汉工程大学网络信息中心

关键词：

大数据分布式数据库分布式服务批处理

出版年：

2024

中国新通信

电子工业出版社

中国新通信

影响因子：0.283

ISSN：1673-4866

年,卷(期)：2024.26(5)

参考文献量7