大数据背景下批处理优化

郭俊¹

扫码查看

作者信息

1. 武汉工程大学网络信息中心
折叠

摘要

随着互联网的飞速发展,网络用户量呈现爆炸式增长,各应用系统的数据量正在急剧增加.海量的数据对于批处理程序的效率提出了更高的要求,原始的基于单实例数据库单节点应用部署的处理方式已经无法满足需求.因此,在底层数据存储方面,技术人员可以根据业务特点,使用分布式数据库并按照特定字段进行分片存储;在应用程序的算法设计方面,技术人员则可以利用分布式服务多节点多线程并发处理优势,并基于生产者消费者模型优化异步处理模式.

关键词

大数据/分布式数据库/分布式服务/批处理

引用本文复制引用

出版年

2024

中国新通信

电子工业出版社

中国新通信

影响因子：0.283

ISSN：1673-4866

参考文献量7

段落导航