データ分析基盤

Cloud Functions の最大実行時間に収まらない処理をどうする?

こんにちは菊池です。 今回は以前紹介した、サーバーレスで実装したデータ基盤のデータ収集システムについての記事になります。 以前紹介した記事はこちら: データ基盤をサーバーレスで構築したので概要を紹介 Google Cloud Workflows でサーバレスなワーク…

Dataformでデータ分析基盤を整備した話

こんにちは佐藤です。 今回はサービスのデータ分析基盤を作成する際に使用したDataformについて紹介させていただきます。 背景 Dataformについて 導入して良かったこと 依存関係がわかりやすい クエリのテスト 工夫した点 フォルダの構成について データセッ…

Google Cloud Workflows でサーバレスなワークフローを構築したので概要を紹介

1 ヶ月ぶりに記事の場へ帰ってきました菊池です。 今回は前回の記事「データ基盤をサーバーレスで構築したので概要を紹介」で紹介したシステムで Workflows をどのように使っているのか、概要を紹介したいと思います。よろしくお願いいたします。ちなみに結…

データ基盤をサーバーレスで構築したので概要を紹介

あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば…

自社のデータ分析基盤をSLOを用いてデータドリブンに品質向上

お久しぶりです!!! データエンジニアの大窄 直樹 (おおさこ)です. 今年も始まったかと思いきや, もう年末で驚いています. 年齢を重ねるにつれ, 光陰矢の如く1年が過ぎ去っていきますね(笑) それでは, 本題に入ろうと思います. 今回は, 自社のデータ分析基盤…

アドウェイズのデータ分析基盤の現在地と課題

こんにちは、データ基盤チームの内田( [@ruchida13] )です データ基盤チームはアドウェイズの基幹事業である広告事業のデータを各媒体社様から頂きData Lakeに集積していく事、またData Lake、Data Ware House(DWH)、Data Martの開発、保守をミッションにし…