具有数据流的GCP-PubSub-BigQuery
描述
此Python项目在Google Cloud Platform(GCP)上设置了以下工作组件
将消息名称,操作和created_at时间戳发布到GCP主题
从主题的订阅中订阅消息并打印出消息
执行以下任务的Apache Beam数据流
接受输入参数以收听GCP主题或订阅
接受输入参数以通过一些数据转换将事件数据保存到大查询中
使用10秒的窗口和30分钟的允许延迟水印进行流分析
流式分析汇总窗口中提到名称的时间并打印出来
先决条件
为了运行