やりたいこと S3にアップしたファイルがzipかどうかを判別して、自動的にunzipする処理をlambdaで実行します。 圧縮のサンプルはよく見かけるけど、解凍のサンプルがあまり無い気がしたので、利用シーンは正直まったく浮かばないけど作ってみました。 手順 S3にアップロード用のバケットを作成。 解凍ファイルの保存先用のバケットも作成。（1と同じバケットでもOK） lambda作成 以上。 サンプルコード 使用モジュール 以下のモジュールを使用しています。 async: フロー制御用のモジュール node-zip: zipを操作出来るモジュール mime-types: ファイル名からいい具合にcontentTypeを判断してくれるモジュール 補足 S3にputObjectするにはcontentTypeの指定が必要なので、mime-typesを使っていますが、この子は判断できないファイルの場
あけおめころよろメリクリ!! 尾藤 a.k.a. BTOです。 今年も残すところ、あと357日となりましたが、みなさんいかがおすごしでしょうか。 今年の目標は、純白のメルセデス、プール付きのマンション、最高の女とベッドでドン・ペリニヨンの3つです。 さて、今回はS3上に置いたZipファイルをHTTPのRangeパラメータでバイナリアクセスして、料金を節約した話を書きます。 検索インデックスのデータ量が増大 メールアーカイバでは、検索インデックスを mongodb に格納していますが、データ量が増えるにしたがって性能的な問題が出てきました。なにしろ月間1億6000万通のメールを処理するので、検索インデックスのデータ量も大変なことになります。 amazon EBS 1TB制限 当時のEBSでは、最大で1TBのボリュームしか作れませんでした。 検索インデックスのデータ量の増え方は不規則なので、ど
JSZip is a javascript library for creating, reading and editing .zip files, with a lovely and simple API. Current version : v3.10.1 License : JSZip is dual-licensed. You may use it under the MIT license or the GPLv3 license. See LICENSE.markdown. Example var zip = new JSZip(); zip.file("Hello.txt", "Hello World\n"); var img = zip.folder("images"); img.file("smile.gif", imgData, {base64: true}); zi
データ分析基盤、どう作る？システム設計のポイント、教えます - Developers.IO 2019 (20191101)
作成日: 2009-11-22 17:11:47 / last updated at: 2010-04-03 00:01:24 カテゴリ: Linux UNIX Windows [ Prev ] [ Next ] [ 技術 ] お仕事絡みで、ZIPファイルの歴史が気になったので調べてみた。 前々から何となく「gzipとzlibとzipってどう違うんだろう」とは思っていたのだけれど、WindowsでLhacaやLhaplusなどのアーカイブソフト、あるいはXP以降ならOSの機能としてデフォルトでzip圧縮できるし、Linux/UNIXでも2-3回コマンドラインオプションを試行錯誤してmanページ見ればtar.gz作ったり逆にWindows上で圧縮したzipを適当に解凍できるので「ま、いっか。」で済ませてた。 でもせっかくなので、技術的な詳細には突っ込まないが、ざっくりとした歴史や流れ
第1回：そのパスワードで大丈夫？ ～ GPGPUによる高速パスワード解析 パスワード解析と解析マシン 2014.09.01 今回は、GPGPU(General-purpose computing on graphics processing units)によるオフラインパスワード解析に関する話を数回に分けてご説明いたします。 なお、今回使用している解析マシンでは、法人向けパーツ等は一切使用しておりません。一般に購入できるパーツのみで構成されており、どなたでも入手することが可能なマシンです。使用したソフトウェアについては、悪用防止のため公表致しません。 ここ数年、パスワード解析にグラフィックカードのGPU(Graphics Processing Unit)を利用することで、パスワード解析速度を格段に向上させる技術が注目を集めています。GPUを画像処理以外に利用するという技術は、一般的にGPG
Twitter / dnobori: ファイルをZIPで暗号化し、まずZIPをメールで送り、しばら ... https://twitter.com/dnobori/status/346488232537632768 Daiyuu Nobori ファイルをZIPで暗号化し、まずZIPをメールで送り、しばらくして別メールで8文字程度の乱数パスワードを送るという謎のプロトコルが日本企業で流行っているが、ZIPのパスワードは総当たりでかなり高速に解析できるし、そもそもパスワードをメールで送っているので効果が疑問。 僕も昔そのように送られてきて同じ疑問もったことあります。 はてブコメントみると、 2度送ることであて先ミスによる添付からの情報漏れを防ぐという効果はそこそこ期待できる。 誤送信による一撃死を免れるためのプロトコル。 まぁでも実際メールやFAXの誤爆とかよくある事なわけで。 暗号の強度では
突如寒くなってきて朝布団から出るのがつらい…kimoto です。 今回は、ちょっとした小ネタを。 いや、元ネタは小ネタどころではなく凄い記事なのですが。 Office 製品のファイルから画像のデータのみを抜き出したい時などに役立つ tips です。 まずはワード 先日、Word のファイルから画像を抜き出したい時に Word を起動すらしなくて良い方法が話題にあがっておりました。 やりかたは簡単。拡張子を「.docx」を「.zip」にし、そのまま解凍するだけです。 すると「_rels」「docProps」「word」というディレクトリができるので、「word」の中を見てみます。 画像データがあれば、ここに「media」というディレクトリができており、その中に画像ファイルが入っています。 べんり！ じゃあエクセルは？ これはすごい！ということで、他のファイルはどうかを試してみました。 まずは
If TrueZIP has helped you or your organization to save some valuable development time or enable new features in your application, please consider making a donation. Any donation helps to further develop and maintain the TrueZIP project. TrueZIP Virtual File System API, Version 6.6 "Archive files are virtual directories!" (the TrueZIP mantra) Contents Overview News Introduction Downloading and gett
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く