こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前…

こんにちは、足立です。僕のチームは、広告データをGlueで整形・計算したりしてます。 以前に記事を書いてからもう少しで1年経ちそうなので、 そろそろGlueを触って得た知識と経験を書いておこうかなと思います。 その前に以前書いた記事が、ちょっと酷い終…

Adways Advent Calendar 2017 5日目の記事です。 http://blog.engineer.adways.net/entry/advent_calendar_2017 こんにちは、12月7日担当の足立です。 12月7日はクリスマスツリーの日みたいですね。 1886(明治19)年のこの日、横浜・明治屋に日本初のクリスマ…