说明:流量
防弹数据流处理框架
KFlow是考虑到Kafka构建的Erlang数据流DSL。 使用Kflow实现的服务具有以下属性:
无状态。 可以随时重新启动服务,而不会丢失数据
容错和自我修复。 可以修复服务中的任何崩溃,一旦部署了该修复程序,该服务将自动重播导致崩溃的数据。 这可以进行无所畏惧的A / B测试和金丝雀部署
可扩展
自动并行化。 每个转换并行运行
自动背压。
这是通过KFlow行为中内置的相当复杂的偏移量跟踪逻辑来实现的,该逻辑可确保仅在完全处理输入消息时才将使用者偏移量提交
<weixin_42166105> 上传 | 大小:322kb