こんにちは菊池です。 今回は以前紹介した、サーバーレスで実装したデータ基盤のデータ収集システムについての記事になります。 以前紹介した記事はこちら： データ基盤をサーバーレスで構築したので概要を紹介 Google Cloud Workflows でサーバレスなワーク…

1 ヶ月ぶりに記事の場へ帰ってきました菊池です。 今回は前回の記事「データ基盤をサーバーレスで構築したので概要を紹介」で紹介したシステムで Workflows をどのように使っているのか、概要を紹介したいと思います。よろしくお願いいたします。ちなみに結…

あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば…

こんにちは、飯沼です。 以前、花田さんが悩みながら構築した「CloudRun/CloudSchedulerのエラーをSlackに通知するサービス」が無事リリースされ、運用が開始されました！ それまでは毎日の運用業務として40以上あるCloudRun/CloudSchedulerのエラーチェック…

こんにちは, データエンジニアの大窄 直樹 (おおさこ)です. 今日, 8月6日は私の誕生日!!ということで, 私が執筆することになりました. 今回は, DWHをBigQueryに移行したあとの話について執筆します. DWHをBigQueryに移行した背景 弊社では, 膨大な広告データ…

こんにちは、花田です。 梅雨に入りましたね。雨は苦手です。 今年から初めてGCPを触るようになりました。 クラウドサービスは便利ですね。 今回はCloud Functionsでエラー通知を行う際に詰まった箇所を書いていきます。 現在も開発中なので最終結果は変わる…

どうも、大曲です。 今回はGCPのWAF機能を調査して導入したのでそれを共有できれば良いなと思います。調べた項目 WAFのルールの模索 どんなルールがあるのか WAFの結果の可視化 どんな攻撃があったかを把握できる機能はあるか

こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前…

お久しぶりです インフラの戸田です 今回の内容は、GKEからオンプレまでデータ転送をする際に行うことをまとめた記事になります。 最近の戸田は、猫に仕事を邪魔されるのでPC近くに猫用の箱をおいてみました。その結果がこれです。 ....邪魔ぁ！！！ （効果…

はじめに 概要 ディレクトリ構成 Workspaceを使わなかった経緯 デプロイ 運用面でのリスク チームへの展開 おわりに はじめに ​ 前回はこちらでAWSの監視コード化の話をしました。 blog.engineer.adways.net 今回はGCP Stackdriverの監視設定をコード化する…

はじめに こんにちはー 5月末からクラウドCoEユニットになった植垣です。 いやいやー。ゲームが熱いですね。 「ファイアーエムブレム風花雪月」がまだまだ終わらず、「ドラクエ11S」、「ペルソナ5 ザ・ロイヤル」が発売され、今後も面白そうな新作がでる予定…

こんにちは！ アドウェイズでは2018年10月からクラウドCoEチームを立ち上げることになりました。 今回は立ち上げメンバーの遠藤、矢吹の2名でチームの紹介をさせていただこうと思います！ 内容 担当 CoEチーム設立の背景及びミッションについて 遠藤 これま…

こんにちは、インフラエンジニアの天津です。 最近年を取ったせいか、エレベータで行き先階を間違えることがあります。 そんなときは、エレベータの行先階ボタンはダブルタップで取り消しができる場合があります。 これで加齢も怖くありませんね。 さて小ネ…

こんにちは、久保田です。 最近、GoogleのCloud FunctionsでAPIを作りました。 作ったのはTODO管理のAPIで、ストレージはDataStoreを使いました。 Cloud FunctionsはGCP内のイベントはもちろん、Firebaseからも使える上に、エンドポイントも提供してくれるの…

久保田です。 AppEngine、いいですよね〜 コードを書くだけでWeb上にアプリケーションが速攻で立ち上がるので初めてやった時は感動さえ覚えました。 さらにローカル環境で開発する用意もされており、簡単に開発を始めることもできます。 そこで今回は、App E…