说明:复杂用户应用程序数据的流和批处理
介绍
很好地理解任何主题的最佳方法是尝试一下并以此为基础。 按照这种方法,为了理解构建数据处理管道的过程,我构建了自己的管道。 基于来自开放数据源(例如kaggle和python faker库)的数据,这些数据进行了少许修改以启用联接。
该项目的目标是
建立并了解用于公司的流和批处理数据加载的数据处理框架
设置和了解参与数据流和批处理的云Componanet(API网关,Kinesis,Lambda,S3,Redshift)
了解如何发现数据处理管道中的故障
<weixin_42131705> 上传 | 大小:479kb