Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
[B! aws] S3のコストを大幅に削減した話 - Gunosy Tech Blog
[go: Go Back, main page]

記事へのコメント39

  • 注目コメント
  • 新着コメント
オーナーコメントを固定しています
yuutookun
オーナー yuutookun かいた

2022/04/13 リンク

その他
kamatamadai
GlacierへのPUT料金は高めのため、大量のリクエストが発生し、数万ドルの請求が発生した > MultipartUploadを利用してgzipファイルにまとめた

その他
dealforest
“Glac”

その他
sora_h
モチベーションも結果も全部みたことある流れでうける(うちもやりました)

その他
dkfj
dkfj GlaicerのPUT APIのコスト考えると、ファイルまとめて圧縮するが正解。これをライフサイクルで指定できればいいんだけどなぁ。昔、AWSのSA陣と純正機能だけで、できるだけ楽に実現できないか議論させてもらったなぁ

2022/04/14 リンク

その他
razokulover
GlacierのPUTって結構高いのか

その他
knok
gzip結合じゃなくtarとかの非圧縮アーカイブではだめだったのかな。ログならまあいいだろうけどcsvだとヘッダが複数つながって面倒そう

その他
omron
“gzipファイルは複数ファイルを結合しても読み込むことができます”

その他
peketamin
peketamin 貧乏プロジェクトでDBバックアップをgz圧縮+分割してGmailのゴミ箱へ投げてたの思い出した

2022/04/14 リンク

その他
for-my-internet-demo
このへんのアーカイブよくやるパターンな割に、手順が無駄に複雑で全社大仰なことしてるイメージ。

その他
mysql8
Cloud Storageの方が安い

その他
cocoasynn
これは良い取り組み

その他
shikiarai
その辺の料金の考えが嫌で使いたくないんだよね〜といいつつ

その他
lesamoureuses
lesamoureuses なるほどー “単一のファイルを一つにまとめることができれば、GlacierへのPUTリクエストの回数を大きく削減することができます”

2022/04/13 リンク

その他
tagomoris
tagomoris gzをmultipart uploadの各チャンクにすることでアップロード先で結合するの面白アイデアだな

2022/04/13 リンク

その他
fukumura
φ(・ω・ )フムフム...

その他
lont_in
gzipの圧縮率で十分だけど、マシン性能が潤沢ならzstdおすすめ

その他
a-know
ほぇー

その他
napsucks
同じように使えてもう少し圧縮率の高いbzip2やxzにすることでもうさらに節約できそうね。

その他
takuya_1st
gzipのcatで結合は面白い

その他
shunyy
We

その他
Nyoho
“容量制限の5GBまで溜まったらGlacierにCOPYすることでGlacierへのリクエストを最後のコピーの1回だけに抑えることができます。”

その他
tkysktmt
tkysktmt “実際にgzipファイルに対してcatしてみるとgzcatで読めることがわかります。 ” へぇー

2022/04/13 リンク

その他
nekonenene
移動コストで死なないために、gzipでまとめたものを渡すことでPUT回数を抑えたのか~、なるほど

その他
minamishinji
大量のデータを使うことはまだないかもしれないけど、gzipの仕様について学びがあった。

その他
ya--mada
ファイルサイズ5GBまでをcatで繋げてブチ込むだけ。digdag ってトレジャーデータのプロダクトなのか、パーフェクトキューの後継&&要件見直した版って感じか? https://speakerdeck.com/dmmlabo/digdagwodao-ru-sitemite

その他
rrringress
gzip 複数ファイルを re で検索できたりするの便利だよね

その他
bonlife
bonlife いいですね。ただ、取り出すときどうやるんだろ。Glacierも部分的に取り出せそうだけど、どの範囲を取得するかの情報を別途DynamoDBとかに保存しとかないと全部展開するしかなさそう?

2022/04/13 リンク

その他
rx7
"MultipartUploadを利用して複数のgzipファイルを単一のgzipファイルにまとめる", "GlacierへのPUTリクエストの回数を大きく削減することができます"

その他
tyoro1210
tyoro1210 昔カメラのrawファイルのバックアップ先探した時に、put のリクエスト下げる為に自動で一定期間ごとのデータ固めつつ、判別可能なレベルのサムネを結合したjpg吐いて それだけ手元で管理するとかしてたな

2022/04/13 リンク

その他
coco7t
bigqueryでやると、どの程度のコストになるんだろ

その他

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

アプリのスクリーンショット
いまの話題をアプリでチェック!
  • バナー広告なし
  • ミュート機能あり
  • ダークモード搭載
アプリをダウンロード

関連記事

S3のコストを大幅に削減した話 - Gunosy Tech Blog

広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやった...

ブックマークしたユーザー

すべてのユーザーの
詳細を表示します

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

同時期にブックマークされた記事

いま人気の記事 - 企業メディア

企業メディアをもっと読む