AWS

AWS Aurora から Datastream を使って BigQuery にデータをレプリケーションした話

どうも〜、お久しぶりです。 エージェンシー事業のエンジニアチームでユニットマネージャーをしていますぬまちゃんです! エンジニアブログを書くのは新卒以来なので、4年ほどぶりってところです。 あの頃はエンジニアリングメインでしたが、今はマネジメン…

ゼロから始めるAWS体験記 〜インフラ研修とAWS JumpStartを経て〜

皆様はじめまして!23年度入社の中野と申します アドテクノロジーDiv(アドテク)でアプリケーションエンジニアをしています! アドテクはJANetやAppDriverといった広告配信システムを担当する部署で、私は現在そこでの研修を終えていよいよ実案件に取り組も…

AWS Step Functionsを使ったステージング自動起動と自動停止!

こんにちは。エージェンシー事業でリードプラットフォームディレクターをしています、スガタニと申します。 おや?エンジニアじゃない?と思われたかと思いますが、少し前にBX推進を行う非エンジニア部署に異動しました。 それまではエージェンシー事業のエ…

Amazon VPC Latticeネットワークを構築した話

こんにちは/こんばんは、技術本部 インフラストラクチャーDiv.の矢吹です。 最近は英語力を上げるべくひたすら単語を覚える日々を過ごしながら、休日は夫婦でゼルダの伝説をやってまして、主に防具集め&強化をしている日々を過ごしております。 はじめに VPC…

IMDSパケットアナライザーを用いたIMDSv2 への移行方法 (EC2.8対応)

エージェンシー事業でリードアプリケーションエンジニアの大窄 直樹 (おおさこ)です.最近は SRE 的な業務が楽しく, サービスの品質の向上や, 費用削減にハマってます.現在は Security Hub の AWS 基礎セキュリティのベストプラクティスのスコアアップが楽し…

AWS初心者がRI/SP提案したお話

こんにちは!技術本部 インフラストラクチャーDivでエンジニアをやっている中川です 入社当初は、ギャルと言われていた私も30代に突入し、カラコンとつけまがはずれ、ブリーチをやめ、少し落ち着きました。。。 時が経つのは本当に早いですね (でも髪色が明…

グラフDBで、新しい広告配信システムのプロトタイプを作った話

こんにちは、アドプラットフォーム事業を担当する部署でアプリケーションエンジニアとして働く、おおしまと申します! 4月から2年目に突入しましたが、優秀な後輩がたくさん入ってきて、頑張らないとなという気持ちになっています およそ半年前にいわゆる新…

GitHub Actions から OIDC 経由で AWS の複数アカウントに Switch Role する

記事を御覧いただきありがとうございます。 株式会社アドウェイズ 技術本部 インフラストラクチャーDiv 第三ユニット インフラエンジニアの田口です。 AWS 等のクラウド環境のセキュリティに関しての仕事や、エンジニア全体の開発体験を向上させる取り組み等…

パブリッククラウド(AWS、GCP)利用におけるセキュリティ向上の取り組みについて

こんにちは、インフラエンジニアの天津です。 技術本部で主に当社サービスにおける非機能領域のQCD向上や開発生産性向上をミッションとして業務を行っています。 今回は、弊社エンジニア組織でのここ数年のセキュリティに関する取り組みについてご紹介したい…

ECSからGCPの通信でWorkload Identityを導入して、GCPのサービスアカウントキーを撲滅した

初めまして!エージェンシー事業でアプリケーションエンジニアをしている22年新卒入社の内原です。 今回は、私が所属するチームのシステム(AWS ECS/Fargate)にWorkload Identityを導入してGCPのさまざまなサービスへサービスアカウントキーを利用せずにアク…

2.8億レコードのDBテーブルのスキーマ変更をした話

みなさんこんにちは。アドプラットフォーム事業でアプリケーションエンジニアをしています、中村です。この記事では、自分が主導して行った2.8億レコードのデータが入ったDBのスキーマ変更のタスクに関して、どのように進めていったか、及びその中で感じたこ…

IAMアクセスキーを90日以内にローテーションされている状態を維持するまでの道のり

こんにちは。かわばたです。冬の寒さも本番を迎え、12月下旬という時期的に身も心も冷え冷えとしておりますが皆様いかがお過ごしでしょうか。私が所属しているチームでは、AWSセキュリティガードレールの実装と運用を担当しています。今回はセキュリティガー…

20年近く続いているレガシーシステムをAWSに移行しました

こんにちは!アドテクノロジーDivに所属している呉です。直近では20年近く運用してる弊社の広告系サービスをAWS移行にしました。今回はその中で苦労・工夫した点をご紹介したいと思います。はじめに 20年近く運営している広告サービスなのですが、40-50台程…

EC2のキャパシティー不足(Insufficient Instance Capacity)を解消する手法

こんにちは, 大窄 直樹(おおさこ)です. 今回は, EC2のキャパシティー不足(Insufficient Instance Capacity)を解消する手法についてまとめようと思います. 背景 EC2のキャパシティー不足(Insufficient Instance Capacity)のエラーとは キャパシティー不足を解…

AWS IAM Identity Center(旧:AWS SSO)を使ってみた

皆様お久しぶりです。インフラDivの中嶋です。 最近気温が寒くなってきて天気も崩れやすく、体調を崩してしまうことが増えました。皆様も風邪や某ウィルスに負けないよう暖かい格好でお過ごしください。 さて、今回は新しくなったIAM Identity Center(旧:AW…

古い社内サービスをクラウド化した話

こんにちは花田です。 今回はオンプレミス環境からクラウド環境に移行した話を紹介させていただきます。 はじめに オンプレミス環境 サーバー構成図 クラウド化の目的 クラウド化するにあたって AWS構成図 ネットワーク構築 サブネット VPCエンドポイント ロ…

AWS JumpStart for NewGrads 2022  参加記事 ~最強のアーキテクチャ を考えてみた~

皆さん初めまして!22 卒の服部(@ruriro0125)です。 普段はるりとと呼ばれています。 本記事では、 私を含めた 22 卒のエンジニアで参加した AWS JumpStart for NewGrads 2022 という研修でどのように最強なアーキテクチャ構成を考えていったのか、 という内…

新卒エンジニアが社内システムを1から全てクラウド移行した話

はじめに こんにちは。21卒エンジニアのなかむーです。二年目になりました。 この記事では、私が一年目の最後に行った集大成のタスクである、社内システムを1から全てクラウド移行した話について書いていこうと思います。タスクの遂行を通して学んだエンジニ…

FSx検証環境を1日で築き上げた話

皆様お久しぶりです。インフラの中嶋です。 4月になり入社の時期となりましたが、皆様いかがお過ごしでしょうか。 私は4月で入社8年目となりましたが、まだ昨日入社したような感覚です。(時間が経つのは早いですね。。) 今回はFSx環境を1日で構築した話とな…

複数の AWS アカウントの AWS Security Hub 検出結果を Google BigQuery と Google DataPortal(DataStudio) により可視化した話

こんにちは、インフラの天津です。今日は 複数アカウントの AWS Security Hub 検出結果の可視化についてお話したいと思います。 前提 モチベーション AWS Security Hub とは 構想 ツール・サービスの選定 検出結果データのエクスポートについて 可視化用デー…

AWSのテスト環境リソースを定期自動削除するようにした話

皆様こんにちは、インフラの中嶋です。 今回はAWSテスト環境のリソースを自動で削除する仕組みを作りましたのでそのお話となります。 背景 AWS環境で自由にリソースの作成・検証を行うことができる環境をAWS利用者に提供している。今までは請求アラート(稟議…

DWHをBigQueryに移行した後の話

こんにちは, データエンジニアの大窄 直樹 (おおさこ)です. 今日, 8月6日は私の誕生日!!ということで, 私が執筆することになりました. 今回は, DWHをBigQueryに移行したあとの話について執筆します. DWHをBigQueryに移行した背景 弊社では, 膨大な広告データ…

IAM Role を使用した AWS クロスアカウントアクセスついて(AssumeRole 使用)

こんにちは、インフラの天津です。 今回は AWS のクロスアカウントアクセスを AssumeRole により権限を引き受けて行う方法について、弊社で使用されている GitLab Runner を例に書いていきます。

アドテクノロジーDivの新卒エンジニア研修をご紹介

こんにちは!アドテクノロジーDivの呉です。 最近偏食の息子が保育園の給食を完食するようになり、 食べることの楽しさを伝えられたようです。 さて、4月にアドテクノロジーDiv(以下「アドテク」)に新卒2名が配属され、 約2ヶ月の研修を受けました。 今回…

Jumpstart AWS, Jumpstart Engineer

はじめまして。21新卒システムエンジニアの中村です。 チームではなかむーと呼ばれています。 こちらは6/1 - 6/3に実施された21期新卒エンジニア向けオンライン研修プログラム AWS Jumpstart for NewGrads の参加記になります。想定読者はAWSに興味ある方や…

Reserved Instance使うなんて言うのやめてもらっていいですか, 今の時代はSavings Planですよ!!

はじめに こんにちは!! クラウドエンジニアの大窄直樹(おおさこ)です. 今年も花吹雪舞う季節になり, 春の訪れを感じるこの頃ですね! 2021年度最初のブログということで張り切って執筆させていただきます. 今回のブログでは, Reserved Instance (RI)の後継で…

EC2インスタンスに自動再起動を設定する

インフラを担当している渡瀬です。 歯が痛くて仕事にならないので虫歯だと思って歯医者に行ったら、TCH (Tooth Contacting Habit、「上下歯列接触癖」)と診断を受けました。 歯と歯が接触する時間は一般的に一日に17分だそうですが、TCHの人は歯と歯が接触し…

AWS にて固定 IP で GitLab を動かすなら NLB の利用を検討したほうがいい

あいさつ 概要 主張 どうしてそうなった 話の経緯: AWS 移行後の GitLab で利用するロードバランサー選定 現在の構成 使われ方 AWS におけるアクセス NLB と CLB を比較する VPN の関係で固定 IP がどうしても必要 結論: NLB を使う 構築時の注意点 TLS offl…

Spark用BigQueryコネクタを利用したAWS Glue Job(Python)からBigQueryへのアクセスとデータ転送

こんにちは、天津です。 今回はAWS Glue(Python)からBigQueryへのアクセスおよびデータ転送についてご紹介します。 モチベーション AWS S3からBigQueryへのデータ転送手法について Spark用BigQueryコネクタの検証 情報源など 実装 スクリプト 動作確認 事前…

Amazon RDSのMySQL5.7の監査ログの監視

こんにちは、ほんまです。先日、AWSからAmazon RDS for MySQL バージョン 5.5 のサポート終了のお知らせが届きました。2021/02/09からMySQL5.5が廃止され、MySQL5.5のインスタンスは自動的にMySQL5.7にバージョンアップするようです。 自分が担当しているサ…