こんにちは。サービス部の武田です。Amazon S3 イベント通知は、以前は「稀に失われる」と書かれていましたが現在は「少なくとも1回配信」となっています。ドキュメントの更新履歴を追ってみました。 こんにちは。サービス部の武田です。 AWSではサービスのアップデートなどによって、それまでの常識やベストプラクティスは日々変化します。Amazon S3には イベント通知 という機能があり、オブジェクト作成や削除などをトリガーとして、Lambda関数などを実行できます。 さてこのイベント通知ですが、「たまに抜けることがある」という仕様上の注意がかつて存在しており、頭を抱えた開発者も多いのではないでしょうか。とはいえそれが常識でした。「かつて」と書いたように、実は現在の仕様ではその部分は削除され、代わりに At least once（少なくとも1回配信） となっています。 最近まで知らなかったので
AWSアカウントのS3の料金を AWS Cost Explorer と Amazon S3 Storage Lensを使って分析してみました。 まずはCost Explorerで確認 どのサービスが高いか S3のどの料金タイプが高いか どのリクエストが高いか どのバケットが高いのか S3 Storage Lensも使ってみよう 無料機能でストレージサイズ分析 有料機能でアクティビティ分析 まとめ まずはCost Explorerで確認 AWSアカウントの管理を任されたら、Cost Explorerを見るのはオススメです。任された当初は、そのアカウント上で何が動いているのか、何にコストがかかっているのかも不明だったりしますが、Cost Explorerをみるとある程度の把握ができます。 どのサービスが高いか まずはCost Explorerでデフォルトの設定で見てみます。 グループ化の条件
Amazon Web Services ブログ Amazon S3 アップデート – 強力な書き込み後の読み取り整合性 2006 年に S3 をローンチした当時、私はその事実上無制限の容量 (「あらゆる数のブロックを簡単に保存…」)、99.99% の可用性を実現するように設計されており、データが複数の場所に透過的に保存される耐久性に優れたストレージを提供するという事実について説明しました。このローンチ以来、AWS のお客様は、バックアップと復元、データアーカイブ、エンタープライズアプリケーション、ウェブサイト、ビッグデータ、そして最終集計で 10,000 個を超えたデータレイクといった、驚くほど多様な方法で S3 を使用しておられます。 S3、およびその他の大規模な分散システムの興味深い (時には分かりにくいこともある) 側面のひとつに、一般に結果整合性として知られているものがあります。要
よく訓練されたアップル信者、都元です。年末に Fitbit Alta HR を買いました。 睡眠や心拍がほぼ24時間体制でトラッキングされるって面白いですね。え？ アップルウォッうわなにをする はじめに さて、S3 + CloudFront で静的コンテンツ配信をしよう、というのはもう今さら言うまでもない鉄板構成だと思います。かつてAWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む）でご紹介した「横綱」パターンですね。 公開サイトとして、この構成を雑に作る場合 CloudFront を介して配信するということは基本的に公開サイトとして配信するユースケースが多いと思います。 つまり、原則としてはみんな CloudFront を介してコンテンツにアクセスして欲しいのですが、最悪 S3 に直接アクセスしてコンテンツを読まれたとしてもセキュリティ上は問題ない、ということです。 こ
こんにちは、CI部技術5課の村上です。 今回はS3にあるオブジェクトを異なるアカウントと共有する方法part2です。前回の記事ではバケットのレプリケーションによって共有する方法を紹介しました。この記事では残り2つの方法を紹介します。 ↓前回の記事はこちらからご覧ください。 S3にあるオブジェクトを異なるアカウントと共有する3つの方法 part1 やりたいこと 前回の記事でも記載しましたが、やりたいことを図にすると、以下のような感じです。 前提として、アカウントAのIAMユーザーであるuser-aがS3にオブジェクトを保存しているとします。このオブジェクトをアカウントBのIAMユーザーであるuser-bが参照または取得する方法を3つ検証してみましたので、その方法を紹介します。 今回検証した3つの方法 バケットのレプリケーションで実現する（前回記事に掲載済み） バケットポリシーとIAMポリシー
[速報！] オンプレミスからプライベートネットワークでのアクセスが可能に！PrivateLink に Amazon S3 が追加されました アップデートによって、Private Link for S3がインターフェイス型をサポートされたことによって、この記事のアーキテクチャは陳腐化しました。大変喜ばしいです!! S3にアクセスする際は極力S3のAPIを使い、追加でAWS Transfer for SFTPのコストを払ってでもSFTPしか使えない場合はAWS Transfer for SFTPを使いましょう。 はじめに おはようございます､加藤です｡AWS S3を利用したいが､セキュリティポリシーや送信元のハードウェア・ソフトウェアの都合でパブリックネットワークを使用できない・使用すると脆弱な場合にはプライベートネットワーク経由でS3にアクセスする必要があります｡ 今回は､この要件を実現する
［速報］AWS Transfer for SFTP発表、Amazon S3へファイル転送するマネージドなSFTP。AWS re:Invent 2018 Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2018」が11月26日（現地時間）、ラスベガスで開幕しました。 開幕に先立って現地時間25日夜に前夜祭として行われたイベント「Midnight Madness」では、はやくもいくつかの新機能が発表されました。 Will you be joining in our attempt for the largest air drumming ensemble ? #reInvent Midnight Madness pic.twitter.com/Nnekr1tcij — AWS re:Invent (@AWSreInvent) 2018年11月26日
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? どうも、iron千葉です。 S3について、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです S3は奥が深い。 S3とは？ インターネットストレージ（平たく言うとgoogleドライブ、evernoteのようなwebブラウザから利用できるストレージ） S3はAPIまたはAWS CLIにてプログラムから操作（ファイルのアップロード、ダウンロード、削除）ができる 容量制限なし データはいつでもダウンロード可能 柔軟なアクセス制御ができる（IAM、アクセスコントロール、バケットポリシー） S
AWS CLI単体でS3とのトラフィックを帯域制御出来るようになったため、早速使ってみました。 3行まとめ クライアント OS に依存せず AWS CLI 単体で帯域制御可能 インバウンド・アウトバウンドで同じ値を適用 設定コマンド $ aws configure set default.s3.max_bandwidth 50MB/s やってみた 環境 EC2(m4.xlarge)のAmazon Linux AWS CLI:1.14.8 S3転送に利用するオブジェクトの作成 1 GB のオブジェクトを作成します。 AWS CLIの初期設定値 帯域制御用に追加された s3.max_bandwidth を除き、AWS CLI の設定値はデフォルトのままとします。 特に、s3.multipart_threshold は 8MB のため、今回試験に利用する 1GB のオブジェクトはマルチパート転送
後はcontent以下のディレクトリにMarkdown形式でファイルを置いていったりするだけです。 Themeも用意されており、簡単に導入できます。 hugoの導入は以下が詳しいです。 Hugo | Quick Start サイトを生成する hugo コマンドを実行することで、public以下に生成されます。 S3に設置する public以下に生成されたサイトを設置します。 パブリックアクセスを許可したS3 bucketを設置し、public以下をコピーします。 その後、プロパティからStatic website hostingを有効にします。 東京リージョンに設置した場合、以下のbucket名を置き換えることでアクセス出来るはずです。 https://[bucket_name].s3-website-ap-northeast-1.amazonaws.com CloudFrontを通す C
アプリのダウンロードを高速にしたらユーザさんが大喜びしてくれたMarkdownエディタのInkdropを一人で開発して脱受託を目指しているフリーランスです。 デスクトップ版はなんだかんだでファイルサイズが100MBを超えているため、ダウンロードに数分以上の時間が掛かるという問題がありました。地域によっては10分を超えることも。これを数秒でダウンロード出来るようにしたところ、ユーザさんが大喜びしてくれました。本稿ではこの体験からの学びをシェアしたいと思います。 かかっていたダウンロード時間は数分から十分程度です。しかしこの数分が苦痛なんですね。待っていられない。ダウンロードしている間にアプリを使いたいというモーメンタムはどんどん萎えていき、遂にはキャンセルボタンを押した人がきっと何人もいたに違いありません。 ユーザ登録という高いハードルをわざわざ越えて来たのに、そこから更に数分待たせるという
Private content!This content has been marked as private by the uploader.
皆さんこんにちは、yokatsukiです。 静的コンテンツの配信性能を高めるために、S3とCloudFrontを組み合わせて、CloudFrontからコンテンツを配信する形態は、Cache Distributionパターンとしてよく知られています。しかし、設定がよく理解できていないために、CroudFront以外に、S3コンテンツへ直接アクセスできるようになっていませんか？しかし具体的な設定方法をネットで調べても、(2014年9月初めの時点では)署名付きURL等のやや複雑な説明ばかりで、「配信できているからいいや」と設定をおざなりにしている方、多いと思います。 今回は、S3バケット上のコンテンツを、特に署名や期限等の複雑な設定を設けず、シンプルにCloudFrontのみからアクセスできるように設定する方法を紹介します。上記Cache Distributionパターンのシンプルな一例と考えて
今までに編んできた靴下・1 編み物については体感的にはぜんぜん初心者を脱せていないのに、一足目を編んでからもうずいぶん経ったような気もする。 見てください、この毛玉を。 という文章を書いてから、すでに10ヶ月が過ぎ去りました。いい加減にアップしようと編集画面を開いています。 去年か…
普段 AWS CLI を使うことはそんなにないんですが、S3 コマンドだけはよく使うのでまとめました。といっても全てではなく、ファイルやディレクトリ操作に関する部分です。 基本コマンド AWS CLI の S3 コマンドは以下の形式で実行します。 aws s3 <Command> [<Arg> ...] 基本的に Arg の箇所はパスを入力することになるのですが、ローカルのパスは「ローカルファイルまたはディレクトリの絶対パスまたは相対パス」、S3のパスは「s3://<bucket>/<prefix>/<object>」となります。prefix とはディレクトリやフォルダのイメージです。 Command Description cp オブジェクトのコピー ls オブジェクトの一覧 mb S3バケットの作成 mv オブジェクトの移動 rb S3バケットの削除 rm オブジェクトの削除 sync
こんにちはみなさん サーバサイドの実装やっていると、クライアントには一見すると容易いのに、サーバ側では困難な状況が発生している、ということがあります。 ファイルアップロードなんてまさにそれで、PHPだとアップロードしたファイルの分だけメモリを確保しよるので、下手に動画ファイルなんてあげられると、送信途中でメモリを使い尽くしてリクエストが落ちるなんて事態になります。 HD画質の長時間動画なんて送信された日には、数GBのメモリを使うので、使用するインスタンスのサイズもそれ相応に大きくしなければならなかったりして、費用効率もあまり良くないように思います。 というわけで、やり方を幾つか探ったところ、JavaScriptを使ってクライアントから直にS3へアップロードする技があったので、そいつを実現してみましょう。ミニマム実装なので、ダサい感じですが、例示するものとしては問題ないでしょう。 TL;DR
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く