复杂用户应用程序数据的流和批处理 介绍 很好地理解任何主题的最佳方法是尝试一下并以此为基础。 按照这种方法，为了理解构建数据处理管道的过程，我构建了自己的管道。 基于来自开放数据源（例如kaggle和python faker库）的数据，这些数据进行了少许修改以启用联接。 该项目的目标是 建立并了解用于公司的流和批处理数据加载的数据处理框架 设置和了解参与数据流和批处理的云Componanet（API网关，Kinesis，Lambda，S3，Redshift） 了解如何发现数据处理管道中的故障