欢迎加入我们～
在现代大数据处理应用场景中，流数据处理技术的应用十分广泛。消息中间件或消息队列常在流数据处理中起到数据缓冲的作用。Apache Kafka常被用作数据缓冲中间件，Kafka的工作性能在很大程度上决定着应用系统整体的性能。在实际应用中，kafka的上游数据源所产生的数据流量通常是不稳定的，静态的缓存策略不能适应这种多变的生产环境。针对这一问题，如果存在一种策略能根据上游流量变化动态调整数据缓存，就能增强系统对环境的适应能力，实现流数据缓存处理的实时性和吞吐量性能的提升。动态缓存策略采用对上游数据流量监控的方法，通过使用 ARIMA 模型对未来流量进行预测，提前调整流数据存储转发设置。流数据缓存设置参数的最佳值来源于在各压力下对中间件系统性能进行实验得到的结果的多目标优化。
