こんにちは, データエンジニアの大窄 直樹 (おおさこ)です. 今日, 8月6日は私の誕生日!!ということで, 私が執筆することになりました. 今回は, DWHをBigQueryに移行したあとの話について執筆します. DWHをBigQueryに移行した背景 弊社では, 膨大な広告データ…

DWHをBigQueryに移行した後の話

こんにちは、花田です。 梅雨に入りましたね。雨は苦手です。 今年から初めてGCPを触るようになりました。 クラウドサービスは便利ですね。 今回はCloud Functionsでエラー通知を行う際に詰まった箇所を書いていきます。 現在も開発中なので最終結果は変わる…

悩みながらCloudRun/CloudSchedulerのエラーをCloudFunctionsでSlackに通知してみた

どうも、大曲です。 今回はGCPのWAF機能を調査して導入したのでそれを共有できれば良いなと思います。調べた項目 WAFのルールの模索 どんなルールがあるのか WAFの結果の可視化 どんな攻撃があったかを把握できる機能はあるか

Google Cloud ArmorのWAF機能の導入

こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前…

Spark用BigQueryコネクタを利用したAWS Glue Job(Python)からBigQueryへのアクセスとデータ転送

お久しぶりです インフラの戸田です 今回の内容は、GKEからオンプレまでデータ転送をする際に行うことをまとめた記事になります。 最近の戸田は、猫に仕事を邪魔されるのでPC近くに猫用の箱をおいてみました。その結果がこれです。 ....邪魔ぁ！！！ （効果…

GKEからオンプレへデータ転送~暗号化を添えて~

はじめに 概要 ディレクトリ構成 Workspaceを使わなかった経緯 デプロイ 運用面でのリスク チームへの展開 おわりに はじめに ​ 前回はこちらでAWSの監視コード化の話をしました。 blog.engineer.adways.net 今回はGCP Stackdriverの監視設定をコード化する…

Terraformで監視のコード化 ~ 基盤構築からチームへの展開 Part2 ~

はじめに こんにちはー 5月末からクラウドCoEユニットになった植垣です。 いやいやー。ゲームが熱いですね。 「ファイアーエムブレム風花雪月」がまだまだ終わらず、「ドラクエ11S」、「ペルソナ5 ザ・ロイヤル」が発売され、今後も面白そうな新作がでる予定…

「GCPのIAMをよろしく」と伝えられた話

こんにちは！ アドウェイズでは2018年10月からクラウドCoEチームを立ち上げることになりました。 今回は立ち上げメンバーの遠藤、矢吹の2名でチームの紹介をさせていただこうと思います！ 内容 担当 CoEチーム設立の背景及びミッションについて 遠藤 これま…

クラウドCoEはじめました

こんにちは、インフラエンジニアの天津です。 最近年を取ったせいか、エレベータで行き先階を間違えることがあります。 そんなときは、エレベータの行先階ボタンはダブルタップで取り消しができる場合があります。 これで加齢も怖くありませんね。 さて小ネ…

gcloudコマンド（GCP）で複数のプロジェクトとアカウントの使い分けを便利に

こんにちは、久保田です。 最近、GoogleのCloud FunctionsでAPIを作りました。 作ったのはTODO管理のAPIで、ストレージはDataStoreを使いました。 Cloud FunctionsはGCP内のイベントはもちろん、Firebaseからも使える上に、エンドポイントも提供してくれるの…

Google Cloud Functionsで遊んでみる

久保田です。 AppEngine、いいですよね〜 コードを書くだけでWeb上にアプリケーションが速攻で立ち上がるので初めてやった時は感動さえ覚えました。 さらにローカル環境で開発する用意もされており、簡単に開発を始めることもできます。 そこで今回は、App E…

Go言語 で Google App Engine のローカル開発環境から Google Cloud Storage へアクセスする