Amazon Auroraでアプリごとにリードレプリカを分けつつオートスケールも設定したい2024年3月22日 富士通株式会社 ジャパングローバルゲートウェイ 堀口 洋 はじめに皆さんこんにちは。 本日は、Amazon Aurora PostgreSQL（以下Amazon Auroraとします）で、 オンラインアプリ/バッチアプリで利用するリードレプリカを分けつつ、 さらにリードレプリカのオートスケールも設定したいというテーマでブログを記載したいと思います。 （ある案件で対応させていただいた内容を元に記載しております） 具体的には以下の状況で、以下の個別要件①②の両方、あるいは個別要件①～③のすべてを満たす構成を考えてみたいと思います。 ▼状況
Amazon Web Services ブログ 新しい Amazon Redshift コンソールでクエリをモニタリングおよび最適化する 数万人ものお客様が Amazon Redshift を使用してワークロードを強化し、ビジネスインテリジェンス、予測分析、リアルタイムストリーミング分析などの最新の分析ユースケースを実現しています。管理者やデータエンジニアにとって、データアナリストや BI プロフェッショナルなどのユーザーが最適なパフォーマンスを得ることは重要です。Amazon Redshift コンソールで、クエリのパフォーマンスに関する問題をモニタリングおよび診断できます。 Amazon Redshift マネジメントコンソールには、Amazon Redshift クラスターを作成、管理、モニタリングするためのダッシュボードや更新したフローをモニタリングする機能があります。詳細について
こんにちは、テクニカルサポートの Shimizu です。 弊社ヘルプデスクへ「Application Load Balancer（ALB）の 502 エラーの原因調査が難しい」というお問い合わせをよくいただきます。 実際サポート側においても「原因箇所が ALB 側か、またはバックエンド EC2 サーバー側か」の切り分けは確認するべき点が多く、毎回時間がかかります。 そこで「もっと簡単に原因を切り分ける方法がないか」と考えた結果、Yes/No 形式のトラブルシューティングを作ろうと思いつきました。 それでは始めてみましょう！ 質問 [質問1] 該当時刻の ALB のメトリクスを確認しましょう。「HTTP 5XXs」は出ていますか？ YES（出ている） バックエンドサーバーの内部から 500 系のエラーレスポンスが返されており、バックエンド側の問題を明確に示しています。 → [結果A] へ N
はじめに こんにちはAWS事業本部コンサルティング部のみなみです。 明日からre:Inventが始まりますね！ 今年もラスベガスから最新のアップデートをお届けします! アップデートですが、Cloudwatch Logsに低頻度アクセス用のログクラスInfrequent Accessが追加されました! https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-cloudwatch-logs-infrequent-access-log-class/ 忙しい人のためのまとめ 新しいログクラスInfrequent Accessの利用により、これまで高いと感じられていたデータ転送料が半額に。 ただし、Infrequent Accessは機能の制限があり、サブスクリプションフィルターやメトリクスフィルターなどの多くの機能が使えません。 既
tl;dr S3へのファイルのアップロードには、#putも#upload_fileもいずれも使えるが、特別な理由がない限り#upload_fileを使うべき 同様に、ダウンロードする際は#download_fileを使う s3 = Aws::S3::Resource.new(...) obj = s3.bucket('bucket-name').object('key') # upload obj.upload_file('/source/file/path', acl:'public-read') # download obj.download_file('key') 理由 AWS::S3::Object#upload_file, AWS::S3::Object#download_fileいずれも、容量が大きいオブジェクトの処理の時に自動でmultipartで処理をしてくれるから。 Up
はじめに CTOの川口 (id:dmnlk) です。 5月にオンラインmeetupをさせて頂きその中で「具体的な負荷対策に関しては開発ブログで！」と言っていた件ですが気づいたらもう9月になりかけていました。 コロナ禍においてネットショップ作成サービス「BASE」の利用者様が急増しました。 www.nikkei.com 5 月には 100 万ショップを超えるショップオーナー様にご利用していただいております。 今まで EC 事業を行っていなかった飲食店様や様々な業種の方が利用をはじめていただき、ショップオーナー様も購入者様共に短期の見通しでは想定をしていないアクセスが発生しました。 その途中でシステムとして対応しきれない面もあり、アクセス負荷によるサービスの不安定を招き皆様にはご不便や販売時間を変更していただくお願いなどをしてしまい大変申し訳ありませんでした。 現在では安定しておりますが、その
CX事業本部＠大阪の岩田です。「Developers.IO 2020 CONNECT」 で 「RDSプロキシは未来を変えるか」 というタイトルで動画を公開しました。このブログではセッションの内容について簡単に紹介させて頂きます。 登壇動画 動画はこちらです。 約35分とそこそこのボリュームになっているので、35分も見てられない！という方向けに後ほど概要を説明していきます。 登壇資料 発表に使用した資料はこちらです。 以後内容について説明していきます。 大事なこと RDS Proxyというテーマを選定したのが3ヶ月ほど前。動画公開までにはGAされるかなー？と淡い期待を頂きながら様子を見守りましたが、GAされませんでした。よって本セッションでは実際にRDS Proxyを利用して得られた知見をお話するような、いわゆる「やってみた」系の内容はありません。RDS ProxyがGAされた際に、正しく利
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
Amazon GuardDutyは、悪意のある操作や不正な動作を継続的にモニタリングする脅威検出サービスです。AWS CloudTrail、Amazon VPC フローログ、DNS ログをデータソースに利用します。GuardDutyに興味がある方に向けて、GuardDutyでできることや、料金、実運用について紹介します。GuardDutyはコストパフォーマンスの良く導入障壁もほとんどない大変素晴らしいサービスです。 GuardDutyを有効にすることで、不審なアクティビティに気づける GuardDutyを有効化しておくと、AWS上の不審なアクティビティに気づくことができます。既存の通信やパフォーマンスへの影響は一切ありません。検知できる内容はこちらをご覧ください。ざっくりと、EC2関連とIAM関連のFindingがあります。いくつか例を紹介します。Findingとは、GuardDut
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 注意 この記事は、実運用したことのない、Kubernetes初心者が調べた結果に基づき作成しています。 間違い・誤解などありましたら、コメントや編集リクエストでご連絡ください。 TL;DR / 結論から先に言うと コンテナをクラウドでそのまま動かそうとすると困る n台動かしたいコンテナが、今クラウド全体で何台動いているのかとか デプロイするときに、コンテナを立ち上げたり落としたりする順番・タイミングとか コンテナに割り当てるロードバランサ、ストレージなどの作成とか 他にもいろいろ Kubernetesはクラウド全体のコンテナ周りを一元管
Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問題を解消するにあたり Fluentd に PR を送ったのでそれの紹介もします。 https://github.com/fluent/fluentd/pull/2352 データ収集基盤の構成 Repro のデータ収集基盤はFlunetd High Availability Configをもとに構成され、大まかに次のようになっています。 SDK からアップロードされたデータは、転送用 Fluentd(log forwarders)を経由し
Amazon ECS のタスク定義には、タスク内のコンテナの起動と終了の順序を制御する依存関係が定義できます。 docs.aws.amazon.com アプリケーションのコンテナと、アプリケーションが依存しているミドルウェアのコンテナがあった場合、依存を定義すると タスク開始時にミドルウェアが起動してからアプリケーションが起動する タスク終了時にアプリケーションが停止してからミドルウェアが停止する というような制御が可能です。 graphviz による可視化 しかし依存関係が複雑になると、JSON で文字列で書いただけでは実際にどう依存しているのかがよく分からないし、間違ってループを作ってしまうと起動できないので事前に確認したい、ということで可視化してみました。 これはとあるアプリケーションタスクの依存関係を、task definition の JSON から graphviz 用の .d
はじめに Amazon Auroraは、AWSを触る人ならほとんどの人が利用を検討したことがあるでしょう。 Amazon社内ではOracleを止めたというtweetもありました SHUTDOWN ABORT the last Oracle database running Amazon Fulfillment! pic.twitter.com/DorqTua2Lt— John Darrow (@jdarrow) 2019年3月29日 そんなAuroraは、従来のRDBとは違いクラウド上で動くことを念頭に設計されています。 また、ログが中心的な役割を持つことから「The log is the database」と表現されることもあります。 そんなAuroraの仕組みについての論文を読んだので紹介します。 読んだ論文は以下の２つです。 Amazon Aurora: Design Conside
カイタクは成果につながる営業を、 戦略から実行まで 一貫支援します カイタクは、事業成長に必要な営業プロセスを「設計・実行・改善」まで一貫して支援する、伴走型の営業支援サービスです。 戦略だけで終わらず、現場での実行や改善提案まで一緒に取り組み、再現性ある営業力の構築をサポートします。
Amazon Web Services ブログ AWS CDK 開発者プレビュー 皆さんに AWS Cloud Development Kit (CDK) の開発者プレビューをご案内できることを嬉しく思います。現在の対応言語は TypeScript、 JavaScript そして Java で、.NET と Python を近々ご案内予定です。AWS CDK はソフトウェア開発のフレームワークであり、クラウドのインフラストラクチャをコードで定義して CloudFormation でプロビジョニングできます。CDK は AWS のサービスと統合され、高レベルかつオブジェクト指向の抽象概念を使ってAWS リソースを定義できます。CDK によってモダンなプログラミング言語を使ってAWS インフラストラクチャを見通しよく効率よく定義できるため、アプリケーションからインフラストラクチャまで一貫した開
こんにちは、エンジニアの肥前です。この記事は Serverless Advent Calendar 2018 の13日目です。 また、HiCustomer Tech Blog の最初の記事でもあります。今後もチームで継続して得られた知見を書き溜めていく場にしたいなと思います。 さて、いわゆる ”サーバーレスアーキテクチャ” を採用してスタートアップのプロダクト開発を開始しておおよそ一年が経過しました。もちろん恩恵に預かっている部分、省力化できた点は多々あるのですが、今改めて振り返るとアンチパターンを踏んでいたり、このまま放置すると負債化しそうな箇所が見えてきています。失敗した話というのはなかなか表に出しづらいものではあるのですが、少しでもこれから取り組む方の助けになればと思い記事に残してみようと思います。サーバーレス界隈の方々にはあるあるネタだと思うのでご笑納ください。 前提となる構成 事
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く