* 本报告来自网络，如有侵权请联系删除
Flink在数据分析中的应用
收藏
分享
纠错
价格免费
数据简介
TalkingData流处理的背景与痛点 Flink在TalkingData Saas分析中的演进路线.Flink实践中的重点问题解决方案；总结与展望TalkingData流处理的背景与痛点 TalkingData Saas的流处理服务演进:Jetty服务不易扩展与维护；性能问题自研etl-framework无法完整表达DAG容错机制不足；性能问题新的流处理系统；满足更大的业务量满足更复杂的业务场景
详情描述
3.实践经验：3.1 Job阻塞与网络栈的优化分布在不同TM的operator之间的数据传输需要BufferBuffer即MemorySegment ,有效减少Gc数据传输与Buffer申请释放的过程BufferPool中Buffer不足时会阻塞3.1 Job阻塞与网络栈的优化。尽可能的将operator chain在一起，避免网络传输和序列化反序列化的开销使用Flink 1.5之后的版本3.2资源的balance与isolationStandalone的不均匀现象3.2资源的balance与isolation解决之道。将TaskManager的粒度变小，即一台机器部署多个实例，每个实例持有的slot数较少;将大的业务job隔离到不同的集群上. Flink on Yarn. Container的拆解粒度不宜过小: 1core 2g vs 2core 4g
报告预览
*本报告来自网络，如有侵权请联系删除
相关「可视数据」推荐
相关「数据报告」推荐
