タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
当たり前なのではというはてぶが多かったので、画像のファイルフォーマット毎の差異もまとめてみました。 Web APIでJPG画像を送信する際、「バイナリ送信(multipart/form-data)で送るか」「Base64エンコードしてJSONに埋め込むか」で迷うこと、あると思います。 例) multipart/form-data で画像データと、付属パラメータを一緒に送信するサンプル POST /upload HTTP/1.1 Content-Type: multipart/form-data; boundary=----boundary123 ------boundary123 Content-Disposition: form-data; name="user_id" 12345 ------boundary123 Content-Disposition: form-data; nam
良い話を含むので概要の最初だけでも読んでもらえると幸いです。この話が実用的かと言うと多分全然実用的ではないので理解しても仕方ないかなと言う気がします。 概要 ファイルフォーマット gzip 10-byteのヘッダ 拡張ヘッダ ファイル本体 フッタ（trailer） zip ローカルファイルヘッダ Data descriptor セントラルディレクトリエントリ セントラルディレクトリの終端レコード gzipからzipへの変換 gzipヘッダの処理 gzipファイル本体の処理 gzip trailerの処理 複数gzipファイルの連結 PoC まとめ 概要 先日Dirty PipeというLinuxカーネルの脆弱性が公表されました。 dirtypipe.cm4all.com この脆弱性の原理自体も面白いのですが、その前に報告者の組織で行っているGzipとZIPの処理で引っかかったのでまず先にそち
モダンなブラウザは JS API として gzip や deflate が使えます。 昔から Chrome に搭載してるのは知ってたんですが、今見たらだいたい搭載してました。 わかってる人向けに言うと、バンドルサイズ大きめの JS実装の pako や zlib.js が不要になって、ブラウザネイティブの(たぶんHTTP上のgzip展開と同等の)高速な実装が使えます。 // impl const encoder = new TextEncoder(); const decoder = new TextDecoder(); export async function compress(str: string): Promise<ArrayBuffer> { const cs = new CompressionStream("gzip"); const buf = encoder.encode(
by 登 大遊, 2022/11/18, Quiita 初投稿記事 Microsoft 製 「Windows Dev Kit 2023」(Windows ARM64 開発キット、32 GB LPDDR4x RAM、512GB SSD) というハードウェアは、実に玄人志向であります。素人には、お勧めできません。なぜならば、PC 利用における極めて基本的な操作 (ディスクイメージの dd + gzip 的なバックアップ、復元) をするために必要な ARM64 版 dd ツールが (見渡す限り) 存在しないのです。そのため、自分でプログラミングして作る必要があります。昔 NEC PC-9801 等を購入した人は、自分でプログラミングして何でも作業していましたが、これは、そのような素晴らしい状況の再来であります。そこで、作ったプログラムとその使い方を共有いたします。 概要 Microsoft 製
Daniel Lemire's blog Daniel Lemire is a software performance expert. He ranks among the top 2% of scientists globally (Stanford/Elsevier 2024) and is one of GitHub's top 1000 most followed developers. Menu and widgets
どういうこと？ 少し前に、CSS プロパティを自動ソートすると gzip 時のビルドサイズを減らせる記事を見ました 👇 これにならい、JSX の Props もソートしたら同じようになるんじゃね？って思って試したら、ビルドサイズを減らすことができたので、この場を借りてその知見を共有したいと思います 💪 検証環境 パッケージ名 バージョン
ウェブサイトを閲覧するとき、画像やドキュメントなどさまざまなリソースを圧縮して転送することで細い回線でも快適にページを閲覧しやすくなります。エンジニアのアリサ・シレネヴァ氏が、ウェブサイトの圧縮に画像圧縮のために開発された「WebP」を使用することである程度の圧縮率を達成できると発表しました。 WebP: The WebPage compression format | purplesyringa's blog https://purplesyringa.moe/blog/webp-the-webpage-compression-format/ 多くのブラウザはgzipやBrotliなどの形式をサポートしており、ウェブサーバーは場合によって形式を使い分けています。gzipは高速に処理できて負荷が軽いためほぼ全ての場合において使用できますが、Brotliはgzipより圧縮率が高いものの処理に
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
lexical_search_with_gzip.py p&�� 0Fi� import gzip def gzip_search(query: str, candidate_chunks: list[str], top_k: int=1): """ 文字列ベースで類似したテキストチャンクを推定するアルゴリズム. `query`, `chunk`, および`query + " " + chunk`をそれぞれgzipで圧縮し、編集距離のようなものをベースに評価する. Parameters: query (str): 検索クエリとして使用する文字列. top_k (int, optional): 返される類似チャンクの上位k個を指定する (default: 1). Returns: List[str]: 最も類似したテキストチャンクのリスト. --- Reference: - “Low-Res
どのようなサイトにおいても、スピードは重要です。高速読み込みの追求のために、さまざまな技術が利用されています。その中の一つが、サイトの機能に悪影響を与えることなく、使用するコードを最小限に抑えること。gzipでの圧縮でそれを実現することができますが、Brotliを用いた圧縮という新手法もあります。 これはGoogleが開発したアルゴリズムで、gzipを超える（あるいはそれに取って代わる）多くのメリットが豊富に詰め込まれています。今回の記事では、Brotliを用いた圧縮のスピードや効率を中心に、その技術に迫りたいと思います。 Brotliアルゴリズムを用いた圧縮について動画での解説もご用意しています。 Brotliを利用した圧縮とは何か、これがサイトで使用されているかどうかを確認する方法、そして、必要な場合に実装する方法も扱います。圧縮アルゴリズムにおけるBrotliの位置付けと、他の選択肢
いわさです。 CloudFrontにはコンテンツを圧縮して配信する機能が備わっています。 以下の記事ではBrotliの設定方法や圧縮されていることを確認しています。 CloudFront側では本日時点でGzipとBrotliの2つの圧縮形式がサポートされていますが、一方でブラウザ毎のコンテンツ圧縮形式のサポート状況は異なっています。 CDN側でそのあたりをどのように吸収しているのか、CloudFrontを使って挙動とキャッシュ動作を確認してみました。 ※各ブラウザで何がサポートされているのかについてはこの記事では触れません。 圧縮設定 CloudFront側でコンテンツ圧縮を有効化するには２つの設定が必要です。 キャッシュビヘイビアでの「オブジェクトを自動的に圧縮」を有効化します。 キャッシュポリシーの圧縮サポートを有効化します。 デフォルトのキャッシュポリシーであればCachingOpt
少し前になりますが、4/8 にさくらのクラウドの高機能ロードバランサーサービスである エンハンスドロードバランサ にレスポンスボディのGZIP圧縮機能を追加しました。 cloud-news.sakura.ad.jp エンハンスドロードバランサのコントールパネルやAPIで、GZIP圧縮を有効にすることで、手軽にWebサイトの表示にかかる時間を短くすることができますので、お試しいただければと思います。 この記事にあるとおり、エンハンスドロードバランサはソフトウェアとしてHAProxyを使っています。 qiita.com 今回、レスポンスのGZIP圧縮対応にあたり、HAProxyにlibslzという圧縮ライブラリを組み込んでおります。GZIP圧縮といえばzlibがもっとも使われると思いますが、事前に比較検証を行った上でlibslzを選択しているので、その紹介です。 ライブラリとベンチマークの環境
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS CloudFront の仕様を突いてあらゆる形式のファイルをgzip圧縮するトリック 前提として、CloudFront は CDN, gzip 圧縮はコンテンツを圧縮して配信することができる技術です。CloudFront は配信元のサーバーをキャッシュして配信できますが、自動的にコンテンツを gzip 圧縮したうえで配信させることもできます。 対象となるデータによりますが、通信量も減るし、速度も速くなるのでとても素晴らしい技術なのです。 CloudFrontは特定のファイル形式に対して自動的にgzip圧縮を行いますが、すべての形
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
はじめにこんにちは、SHIFT の開発部門に所属している Katayama です。 バックエンドでは配置する資材のサイズについて気にする事はないが、フロントエンドの場合は違う。 ブラウザの読み込み速度は利用者の快適さに直結するので、できるだけフロントエンドの資材のネットワーク転送量は少ない方がいい。 そこで今回は、以下に挙げた 3 つの方法を使って、できるだけネットワーク転送量が少なくなるようにし読み込み速度を向上させるという事をやってみた。 ①webpack-bundle-analyzerを用いて webpack で build する際に bundle サイズを小さくする ②HTML/CSS/JavaScript を縮小する（minify） ③gzip による圧縮する 以下でそれぞれの方法についてみていく（①・② については、実際にその方法を試すのは純粋な webpack ではなく、Vu
本記事では以下の 2 種類の方法を書きます: Compression Streams API を用いる方法 ライブラリ pako を用いる方法 1. 予備知識 1.1. Deflate 圧縮のデータ形式について Deflate 圧縮のデータ形式は複数あり、主に以下のものが使用されています: 生の deflate 形式 (RFC 1951) zlib 形式 (RFC 1950) 生の deflate 形式のデータにヘッダとフッタを付け加えた形式 ※単に「deflate 形式」と言う場合は「生の deflate 形式」でなく「zlib 形式」を指す場合があるため注意 gzip 形式 (RFC 1952) 生の deflate 形式のデータにヘッダとフッタを付け加えた形式 参考「RFC 1950: ZLIB Compressed Data Format Specification version
最近公開された論文 “Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors (Jiang et al., Findings 2023) は、gzip で圧縮したデータの長さを活用し、テキスト分類課題で BERTよりも優れたパフォーマンスを発揮すると述べています。面白そうだったので、自分でこの方法を実装して試してみました。その結果、実際に livedoor ニュースコーパス を用いたテキストのカテゴリー分類では、日本語 BERTよりも優れた結果が出ました。 どんな手法なのか やっていることはシンプルで、まずNCD(Normalized compression distance)を算出します。例では圧縮アルゴリズムに gzip を使っています。 個々のデータxとyを圧
※1: gzipの圧縮率はテキストで概ね3:1～4:1（元サイズの25～35%）程度です。※2: Brotliはレベルによって大きく異なり、高圧縮レベルでは極端に遅くなります。低～中レベル（~5程度）ではgzipより少し遅い程度です。※3: Zstdの圧縮率はレベルにより可変です。低レベルではgzip相当、高レベルではBrotliに迫ります。 上記の比較から、各アルゴリズムの特性をまとめると次のようになります。 圧縮率: BrotliとLZMAが非常に高い圧縮率を誇り、テキストを大幅に小さくできます。ZstdもBrotliに匹敵する圧縮率を発揮し得ますが、Brotli最高レベルには僅かに及ばない場合もあります。Deflate(gzip)は中程度の圧縮率で、最新のものに比べるとやや劣ります。LZ4やSnappyは圧縮率が低く、ファイルサイズ削減効果は限定的です（10～30%程度の削減に留まる
XZ Utilsのリンク先は、記事作成時点ではバックドア対応のため工事中 評価条件 圧縮対象のデータ: テキストデータとバイナリデータをそれぞれ1つずつ テキストデータ: Linuxカーネルのソースコード linux-5.15.153.tar.xz を伸長したもの サイズは 1,087.1 MiB バイナリデータ: Ubuntuのdebパッケージ Ubuntu 22.04 LTS for AMD64 の linux-modules-extra-5.15.0-101-generic_5.15.0-101.111_amd64.deb のデータ部分を伸長したもの サイズは 336.5 MiB 補足 追試しやすいよう、再入手が容易なものとした 保存用途での評価をしたかったので、ある程度大きなデータを選んだ 実行環境 プロセッサ: Intel Core i7-5600U (最大動作周波数 3.2 G
困っていた内容 Firehose で S3 に保存した gzip ファイルをダウンロードしたのですが、 解凍しようとするとファイル破損となり解凍できません。 原因 今回の事例では Firehose から S3 にファイルを保存する際に gzip 圧縮を行っています ※上記設定は Amazon Kinesis > Delivery streams > 対象の配信ストリームを選択 Configuration > Destination settings > Compression and encryption で確認できます。 この設定をしていた場合、 S3 に保存する際にメタデータとして Content-Encoding: gzip が付与されます このメタデータが付与されていると、ブラウザ経由でダウンロードした際に、gzip が自動で解凍（展開）されてしまう事があります。 しかし、ファイル
from fastapi import FastAPI from fastapi.middleware.gzip import GZipMiddleware app = FastAPI() app.add_middleware(GZipMiddleware, minimum_size=1000) と記述する。 概要 HTTPでフロントエンドとの通信量を削減する方法の１つとして、コンテンツを特定の圧縮方式で圧縮して通信する方法がありますが、FastAPIでgzipによる圧縮が簡単にできるのでメモしておきます。 gzipでの通信のためには、 リクエスト側がhttp headerのAccept-encoding 属性に、gzipを指定する サーバー側がgzipでの返却に対応する の両方が必要です。 How To 公式ドキュメント にあるように、ミドルウェアを挟むだけでOKです。 from fas
はじめにこの記事ではCloudFrontでgzipに圧縮する前にAmazon S3でバケットを作成し、ファイルをアップロードしていることを前提条件として進めていきます。Amazon S3にファイルをアップロードしていない場合はアップロードを先に終えてからご覧ください。また、アップロードの際はパブリックアクセスを許可するようにしてください。 CloudFrontでディストリビューションを作成AWSにログインし、CloudFrontのコンソールを開けましょう。「Amazon CloudFront Getting Started」が表示されたら、「Create Distribution」をクリックします。 以下の画面が表示されたら、「Web」のほうの「Get Started」を押します。ちなみに「RTMP」とは音声や動画などのデータを扱うストリーミングのプロトコルになります。こちらは2020年の
言語判定には、ディープニューラルネットワーク（DNN）が広く使われているが、この方法は計算量が大きいことから大量のデータとリソースが必要であり、実際の利用時や最適化、新しいデータへの適用にはコストがかかるという問題が起きるそうだ。そこで、簡単で軽量かつ汎用的な代替手法がACL 2023で提案されたという。手法としてはタレコミにあるように、シンプルなコンプレッサ（gzipなど）とk近傍法を組み合わせたないようだという（ACL アンソロジー、Stephen Diehl氏のツイート）。 Patilise 曰く、 ACL 2023でk近傍法とgzipを組み合わせた言語判定モデルが発表された。軽量（大量のデータと処理能力が不要）、パラメータ調整不要でPythonスクリプトにして14行という簡素なものだったが、ほとんどのニューラルモデルと同程度または上回る精度となった。すべてのデータセットでgzipを
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く