BigQuery

開発チームがTableauを使って営業部に媒体分析を推進して、データを用いた事業貢献をしようとしている話

こんにちは!府金です!相変わらずキャンプにどハマリしていますが、2021年よりは回数が少なくなりました 今冬は薪ストーブ導入を検討しております 最近はキャンプ人口が増えた分、事故も増えているので気をつけて楽しんでいきたいと思います。 さて今回は「…

Dataformでデータ分析基盤を整備した話

こんにちは佐藤です。 今回はサービスのデータ分析基盤を作成する際に使用したDataformについて紹介させていただきます。 背景 Dataformについて 導入して良かったこと 依存関係がわかりやすい クエリのテスト 工夫した点 フォルダの構成について データセッ…

組織でデータ活用を進めるために、テーマを絞って共有会を実施したら結構良かった話

こんにちは、澤藤です 私自身はマネージャーとして、所属しているディビジョンで開発の質を良くしてスピード感を上げていくパフォーマンスUPに取り組んでいます その中でデータ基盤やデータ整備周りの案件やTipsなどを共有するための共有会を発足して約1年弱…

Spark用BigQueryコネクタを利用したAWS Glue Job(Python)からBigQueryへのアクセスとデータ転送

こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前…