こんにちは、澤藤です 私自身はマネージャーとして、所属しているディビジョンで開発の質を良くしてスピード感を上げていくパフォーマンスUPに取り組んでいます その中でデータ基盤やデータ整備周りの案件やTipsなどを共有するための共有会を発足して約1年弱…

こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前…