摘要
随着时代的发展,在许多信息化工作领域,数据种类、采集数据编目的复杂性逐渐增强,同时整体数据体量也在向着更大的方向发展.在这一背景下,对于训练数据处理的实时性、准确性要求自然也不断提升.传统的数据交互处理架构在面对新的、更加复杂的工作场景时,其传输与处理的性能瓶颈问题开始逐渐暴露出来,对其进行优化具有一定的现实意义.通过对相关文献进行查阅,结合RocketMQ消息中间件技术、Flink流处理技术等,针对当前军事训练场景中多来源、高并发、高频率、大体量的数据实时传输、处理、回放需求,进行了一套功能完善的数据传输与处理系统设计,以期为复杂场景下的实时数据处理工作提供一定的理论与技术支持.
NETL
NSTL
万方数据