© 1999-2048 dssz.net 粤ICP备11031372号
[其它] 日志收集器-源码
说明:产品开发背景 LogCollector是基于应用日志流的一套ETL工具和服务组件。现有的ETL工具Flume也可以完成日志的采集,传输,转换和存储,但是Flume工具仅能应用到通信质量无障碍的替代环境,在公网环境下可能因网络异常等因素导致连接较长的服务的发送器组件失败,而此时收集器组件可能并不知情,数据仍然会继续传送到通道组件,这容易导致通道组件内存占用从而引发OOM错误;导致由于通道错误导致实时收集的数据发送失败,收集器也没有记录实时检查点,这意味着发送失败的数据将丢失。发生所有这些问题的根源<weixin_42112894> 上传 | 大小:368kb