GCP

社内向け ChatGPT 検証環境の構築について

こんにちは。エージェンシー事業でプロフェッショナルアプリケーションエンジニアをしている菊池です。今回は話題の生成 AI のひとつ Azure OpenAI の ChatGPT を社内利用できるようにするために、OSS の Chatbot UI を使って検証環境を構築したので紹介した…

パブリッククラウド(AWS、GCP)利用におけるセキュリティ向上の取り組みについて

こんにちは、インフラエンジニアの天津です。 技術本部で主に当社サービスにおける非機能領域のQCD向上や開発生産性向上をミッションとして業務を行っています。 今回は、弊社エンジニア組織でのここ数年のセキュリティに関する取り組みについてご紹介したい…

ECSからGCPの通信でWorkload Identityを導入して、GCPのサービスアカウントキーを撲滅した

初めまして!エージェンシー事業でアプリケーションエンジニアをしている22年新卒入社の内原です。 今回は、私が所属するチームのシステム(AWS ECS/Fargate)にWorkload Identityを導入してGCPのさまざまなサービスへサービスアカウントキーを利用せずにアク…

2.8億レコードのDBテーブルのスキーマ変更をした話

みなさんこんにちは。アドプラットフォーム事業でアプリケーションエンジニアをしています、中村です。この記事では、自分が主導して行った2.8億レコードのデータが入ったDBのスキーマ変更のタスクに関して、どのように進めていったか、及びその中で感じたこ…

Cloud Functions の最大実行時間に収まらない処理をどうする?

こんにちは菊池です。 今回は以前紹介した、サーバーレスで実装したデータ基盤のデータ収集システムについての記事になります。 以前紹介した記事はこちら: データ基盤をサーバーレスで構築したので概要を紹介 Google Cloud Workflows でサーバレスなワーク…

Google Cloud Workflows でサーバレスなワークフローを構築したので概要を紹介

1 ヶ月ぶりに記事の場へ帰ってきました菊池です。 今回は前回の記事「データ基盤をサーバーレスで構築したので概要を紹介」で紹介したシステムで Workflows をどのように使っているのか、概要を紹介したいと思います。よろしくお願いいたします。ちなみに結…

データ基盤をサーバーレスで構築したので概要を紹介

あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば…

既存のGCPサービスをTerraform化 〜 CloudRun/CloudSchedulerのエラーをCloudFunctionsでSlackに通知

こんにちは、飯沼です。 以前、花田さんが悩みながら構築した「CloudRun/CloudSchedulerのエラーをSlackに通知するサービス」が無事リリースされ、運用が開始されました! それまでは毎日の運用業務として40以上あるCloudRun/CloudSchedulerのエラーチェック…

DWHをBigQueryに移行した後の話

こんにちは, データエンジニアの大窄 直樹 (おおさこ)です. 今日, 8月6日は私の誕生日!!ということで, 私が執筆することになりました. 今回は, DWHをBigQueryに移行したあとの話について執筆します. DWHをBigQueryに移行した背景 弊社では, 膨大な広告データ…

悩みながらCloudRun/CloudSchedulerのエラーをCloudFunctionsでSlackに通知してみた

こんにちは、花田です。 梅雨に入りましたね。雨は苦手です。 今年から初めてGCPを触るようになりました。 クラウドサービスは便利ですね。 今回はCloud Functionsでエラー通知を行う際に詰まった箇所を書いていきます。 現在も開発中なので最終結果は変わる…

Google Cloud ArmorのWAF機能の導入

GCP

どうも、大曲です。 今回はGCPのWAF機能を調査して導入したのでそれを共有できれば良いなと思います。調べた項目 WAFのルールの模索 どんなルールがあるのか WAFの結果の可視化 どんな攻撃があったかを把握できる機能はあるか

Spark用BigQueryコネクタを利用したAWS Glue Job(Python)からBigQueryへのアクセスとデータ転送

こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前…

GKEからオンプレへデータ転送~暗号化を添えて~

お久しぶりです インフラの戸田です 今回の内容は、GKEからオンプレまでデータ転送をする際に行うことをまとめた記事になります。 最近の戸田は、猫に仕事を邪魔されるのでPC近くに猫用の箱をおいてみました。その結果がこれです。 ....邪魔ぁ!!! (効果…

Terraformで監視のコード化 ~ 基盤構築からチームへの展開 Part2 ~

はじめに 概要 ディレクトリ構成 Workspaceを使わなかった経緯 デプロイ 運用面でのリスク チームへの展開 おわりに はじめに ​ 前回はこちらでAWSの監視コード化の話をしました。 blog.engineer.adways.net 今回はGCP Stackdriverの監視設定をコード化する…

「GCPのIAMをよろしく」と伝えられた話

はじめに こんにちはー 5月末からクラウドCoEユニットになった植垣です。 いやいやー。ゲームが熱いですね。 「ファイアーエムブレム風花雪月」がまだまだ終わらず、「ドラクエ11S」、「ペルソナ5 ザ・ロイヤル」が発売され、今後も面白そうな新作がでる予定…

クラウドCoEはじめました

こんにちは! アドウェイズでは2018年10月からクラウドCoEチームを立ち上げることになりました。 今回は立ち上げメンバーの遠藤、矢吹の2名でチームの紹介をさせていただこうと思います! 内容 担当 CoEチーム設立の背景及びミッションについて 遠藤 これま…

gcloudコマンド(GCP)で複数のプロジェクトとアカウントの使い分けを便利に

GCP

こんにちは、インフラエンジニアの天津です。 最近年を取ったせいか、エレベータで行き先階を間違えることがあります。 そんなときは、エレベータの行先階ボタンはダブルタップで取り消しができる場合があります。 これで加齢も怖くありませんね。 さて小ネ…

Google Cloud Functionsで遊んでみる

GCP

こんにちは、久保田です。 最近、GoogleのCloud FunctionsでAPIを作りました。 作ったのはTODO管理のAPIで、ストレージはDataStoreを使いました。 Cloud FunctionsはGCP内のイベントはもちろん、Firebaseからも使える上に、エンドポイントも提供してくれるの…

Go言語 で Google App Engine のローカル開発環境から Google Cloud Storage へアクセスする

久保田です。 AppEngine、いいですよね〜 コードを書くだけでWeb上にアプリケーションが速攻で立ち上がるので初めてやった時は感動さえ覚えました。 さらにローカル環境で開発する用意もされており、簡単に開発を始めることもできます。 そこで今回は、App E…