広告事業本部でリードデータエンジニアをしている大窄 直樹 (おおさこ)です. 今回は, BigQueryの各データへのアクセスを可視化する方法について執筆します. 背景/課題 BigQueryのアクセスログの調査 BigQueryのINFOMATION_SCHEMA Cloud Audit Logs 実装 Clou…

東京GCPリージョンでBigQueryの提供が開始されてから アドウェイズではusリージョンと東京リージョンでリージョンが統一されておらず、 テーブルをJOINさせる際など不都合が生じていました。 そのため東京リージョンに統一する意思決定をし、東京リージョン…

こんにちは。エージェンシー事業でプロフェッショナルアプリケーションエンジニアをしている菊池です。今回は話題の生成 AI のひとつ Azure OpenAI の ChatGPT を社内利用できるようにするために、OSS の Chatbot UI を使って検証環境を構築したので紹介した…

こんにちは、インフラエンジニアの天津です。 技術本部で主に当社サービスにおける非機能領域のQCD向上や開発生産性向上をミッションとして業務を行っています。 今回は、弊社エンジニア組織でのここ数年のセキュリティに関する取り組みについてご紹介したい…

初めまして！エージェンシー事業でアプリケーションエンジニアをしている22年新卒入社の内原です。 今回は、私が所属するチームのシステム(AWS ECS/Fargate)にWorkload Identityを導入してGCPのさまざまなサービスへサービスアカウントキーを利用せずにアク…

みなさんこんにちは。アドプラットフォーム事業でアプリケーションエンジニアをしています、中村です。この記事では、自分が主導して行った2.8億レコードのデータが入ったDBのスキーマ変更のタスクに関して、どのように進めていったか、及びその中で感じたこ…

こんにちは菊池です。 今回は以前紹介した、サーバーレスで実装したデータ基盤のデータ収集システムについての記事になります。 以前紹介した記事はこちら： データ基盤をサーバーレスで構築したので概要を紹介 Google Cloud Workflows でサーバレスなワーク…

1 ヶ月ぶりに記事の場へ帰ってきました菊池です。 今回は前回の記事「データ基盤をサーバーレスで構築したので概要を紹介」で紹介したシステムで Workflows をどのように使っているのか、概要を紹介したいと思います。よろしくお願いいたします。ちなみに結…

あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば…

こんにちは、飯沼です。 以前、花田さんが悩みながら構築した「CloudRun/CloudSchedulerのエラーをSlackに通知するサービス」が無事リリースされ、運用が開始されました！ それまでは毎日の運用業務として40以上あるCloudRun/CloudSchedulerのエラーチェック…

こんにちは, データエンジニアの大窄 直樹 (おおさこ)です. 今日, 8月6日は私の誕生日!!ということで, 私が執筆することになりました. 今回は, DWHをBigQueryに移行したあとの話について執筆します. DWHをBigQueryに移行した背景 弊社では, 膨大な広告データ…

こんにちは、花田です。 梅雨に入りましたね。雨は苦手です。 今年から初めてGCPを触るようになりました。 クラウドサービスは便利ですね。 今回はCloud Functionsでエラー通知を行う際に詰まった箇所を書いていきます。 現在も開発中なので最終結果は変わる…

どうも、大曲です。 今回はGCPのWAF機能を調査して導入したのでそれを共有できれば良いなと思います。調べた項目 WAFのルールの模索 どんなルールがあるのか WAFの結果の可視化 どんな攻撃があったかを把握できる機能はあるか

こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前…

お久しぶりです インフラの戸田です 今回の内容は、GKEからオンプレまでデータ転送をする際に行うことをまとめた記事になります。 最近の戸田は、猫に仕事を邪魔されるのでPC近くに猫用の箱をおいてみました。その結果がこれです。 ....邪魔ぁ！！！ （効果…

はじめに 概要 ディレクトリ構成 Workspaceを使わなかった経緯 デプロイ 運用面でのリスク チームへの展開 おわりに はじめに ​ 前回はこちらでAWSの監視コード化の話をしました。 blog.engineer.adways.net 今回はGCP Stackdriverの監視設定をコード化する…

はじめに こんにちはー 5月末からクラウドCoEユニットになった植垣です。 いやいやー。ゲームが熱いですね。 「ファイアーエムブレム風花雪月」がまだまだ終わらず、「ドラクエ11S」、「ペルソナ5 ザ・ロイヤル」が発売され、今後も面白そうな新作がでる予定…

こんにちは！ アドウェイズでは2018年10月からクラウドCoEチームを立ち上げることになりました。 今回は立ち上げメンバーの遠藤、矢吹の2名でチームの紹介をさせていただこうと思います！ 内容 担当 CoEチーム設立の背景及びミッションについて 遠藤 これま…

こんにちは、インフラエンジニアの天津です。 最近年を取ったせいか、エレベータで行き先階を間違えることがあります。 そんなときは、エレベータの行先階ボタンはダブルタップで取り消しができる場合があります。 これで加齢も怖くありませんね。 さて小ネ…

こんにちは、久保田です。 最近、GoogleのCloud FunctionsでAPIを作りました。 作ったのはTODO管理のAPIで、ストレージはDataStoreを使いました。 Cloud FunctionsはGCP内のイベントはもちろん、Firebaseからも使える上に、エンドポイントも提供してくれるの…

久保田です。 AppEngine、いいですよね〜 コードを書くだけでWeb上にアプリケーションが速攻で立ち上がるので初めてやった時は感動さえ覚えました。 さらにローカル環境で開発する用意もされており、簡単に開発を始めることもできます。 そこで今回は、App E…