JP5826114B2 - データ解凍装置、データ圧縮装置、データの解凍プログラム、データの圧縮プログラム、及び、圧縮データ配信システム - Google Patents
データ解凍装置、データ圧縮装置、データの解凍プログラム、データの圧縮プログラム、及び、圧縮データ配信システム Download PDFInfo
- Publication number
- JP5826114B2 JP5826114B2 JP2012119180A JP2012119180A JP5826114B2 JP 5826114 B2 JP5826114 B2 JP 5826114B2 JP 2012119180 A JP2012119180 A JP 2012119180A JP 2012119180 A JP2012119180 A JP 2012119180A JP 5826114 B2 JP5826114 B2 JP 5826114B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- compressed
- compression
- size
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/12—Replacement control
- G06F12/121—Replacement control using replacement algorithms
- G06F12/126—Replacement control using replacement algorithms with special data handling, e.g. priority of data or instructions, handling errors or pinning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/46—Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0864—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using pseudo-associative means, e.g. set-associative or hashing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
- G06F12/0871—Allocation or management of cache space
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0893—Caches characterised by their organisation or structure
- G06F12/0895—Caches characterised by their organisation or structure of parts of caches, e.g. directory or tag array
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1016—Performance improvement
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/40—Specific encoding of data in memory or cache
- G06F2212/401—Compressed data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/46—Caching storage objects of specific type in disk cache
- G06F2212/465—Structured object, e.g. database record
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Description
次に列01の処理においても残り10バイトは何ら参照されることなくキャッシュメモリ170から削除されており、キャッシュの利用効率が著しく悪いことになる。
110:アプリケーションソフト実行部
120:ブロックデータ解凍部(列方向データ解凍装置)
140:列データ解凍部(列方向データ解凍装置)
150:記憶媒体(列方向データ解凍装置)
160:主記憶装置(列方向データ解凍装置)
170:キャッシュメモリ(列方向データ解凍装置)
180:圧縮データ要求部
200:列方向データ圧縮装置
220:ブロックデータ圧縮部
230:単位サイズ設定部
240:列データ圧縮部
250:記憶媒体(列方向データ圧縮装置)
260:主記憶装置(列方向データ圧縮装置)
270:キャッシュメモリ(列方向データ圧縮装置)
280:圧縮データ選択部
291:ブロックデータ再圧縮部
292:列データ再圧縮部
293:ブロックデータ解凍部(列方向データ圧縮装置)
294:列データ解凍部(列方向データ圧縮装置)
300:通信ネットワーク
500:圧縮データ(実施例1)
510:圧縮データ(実施例2、8KBキャッシュ用)
520:圧縮データ(実施例2、16KBキャッシュ用)
530:圧縮データ(実施例2、32KBキャッシュ用)
540:圧縮データ(実施例3)
600:元データ(実施例1)
610:元データ(実施例2および実施例3)
700:圧縮定義ファイル
Claims (17)
- 圧縮された複数の固定長レコードを含む圧縮データを解凍するデータ解凍装置であって、
前記圧縮データは、圧縮対象データが所定の圧縮対象ブロックサイズ単位で分割され、前記圧縮対象ブロック毎に圧縮された結果を含んだものであり、
前記圧縮対象ブロックサイズは、前記固定長レコードのサイズと、当該データ解凍装置の仕様情報と、に基づいて決定されるものであり、
前記固定長レコードのサイズと、前記データ解凍装置の仕様情報と、に基づいて前記圧縮対象ブロックのサイズを判定し、
前記圧縮データから一以上の圧縮対象ブロックを取得し、
前記圧縮対象ブロックに含まれる、前記複数の固定長レコードの同一列データを列毎に圧縮した結果である圧縮列データの各々を解凍し、前記複数の固定長レコードを復元する列データ解凍部と、を備える
ことを特徴とするデータ解凍装置。 - 請求項1に記載のデータ解凍装置であって、
さらに、ソフトウェアを実行するソフトウェア実行部を備え、
前記圧縮データは、前記圧縮対象ブロック毎に圧縮された結果であるサブブロックを一つ以上含んだブロックを一つ以上含んだものであり、
前記ソフトウェアが要求するデータを含む一つ以上の前記ブロック各々の解凍を制御するブロックデータ解凍制御部を含む
ことを特徴とするデータ解凍装置。 - 請求項1または2に記載のデータ解凍装置であって、
前記データ解凍装置の仕様情報とは、データ解凍装置が備えるキャッシュメモリの容量であり、
前記圧縮対象ブロックのサイズは、前記キャッシュメモリの容量に所定の比率を乗算した値を超えない、前記固定長レコードのサイズの最大の倍数である
ことを特徴とするデータ解凍装置。 - 請求項3に記載のデータ解凍装置であって、
前記キャッシュメモリの容量に乗じる所定の比率とは0.5である
ことを特徴とするデータ解凍装置。 - 請求項2に記載のデータ解凍装置であって、
前記データ解凍装置の仕様情報とは、前記ソフトウェアが前記圧縮対象ブロックの解凍データを保持するために確保している主記憶装置の容量であり、
前記圧縮対象ブロックのサイズは、前記主記憶装置の容量を超えない、前記固定長レコードのサイズの最大の倍数である
ことを特徴とするデータ解凍装置。 - 請求項1または2に記載のデータ解凍装置であって、
前記データ解凍装置の仕様情報とは、データ解凍装置が備える通信装置が一度に送信可能なデータの最大サイズであり、
前記圧縮対象ブロックのサイズは、前記一度に送信可能なデータの最大サイズを超えない、前記固定長レコードのサイズの最大の倍数である
ことを特徴とするデータ解凍装置。 - 請求項1から6のいずれか一項に記載のデータ解凍装置であって、
通信網を介してデータ圧縮装置に、圧縮データの名称と、前記データ解凍装置の仕様情報を送信し、前記データ圧縮装置から、前記通知した情報に適合する圧縮データを受信する圧縮データ要求部を備える
ことを特徴とするデータ解凍装置。 - 請求項7に記載のデータ解凍装置であって、
前記圧縮データ要求部は、前記データ圧縮装置から、適合する圧縮データが存在しないことを通知された場合に、適合する圧縮データが存在しないことを示す警告画面を表示する
ことを特徴とするデータ解凍装置。 - 複数の固定長レコードを含む圧縮対象データを圧縮するデータ圧縮装置であって、
前記固定長レコードの1レコードのサイズと、データ解凍装置の仕様情報と、の入力を受け付ける単位サイズ設定部と、
前記固定長レコードのサイズと、前記データ解凍装置の仕様情報と、に基づいて圧縮対象ブロックのサイズを決定し、各々の前記圧縮対象ブロックに含まれる複数の前記固定長レコードの同一列データを列毎に圧縮して圧縮列データを作成し、各々の前記圧縮列データを含む圧縮データを作成する列データ圧縮部と、を備える
ことを特徴とするデータ圧縮装置。 - 請求項9に記載のデータ圧縮装置であって、
前記データ解凍装置の仕様情報とは、データ解凍装置が備える解凍装置キャッシュメモリの容量であり、
前記圧縮対象ブロックのサイズは、前記解凍装置キャッシュメモリの容量に所定の比率を乗算した値を超えない、前記固定長レコードのサイズの最大の倍数であることを特徴とするデータ圧縮装置。 - 請求項10に記載のデータ圧縮装置であって、
前記解凍装置キャッシュメモリの容量に乗じる所定の比率とは0.5である
ことを特徴とするデータ圧縮装置。 - 請求項9から11のいずれか一項に記載のデータ圧縮装置であって、
前記圧縮対象データを所定サイズの大きさのブロックに分割し、前記ブロック各々の圧縮を制御するブロックデータ圧縮部を備え、 前記ブロックデータ圧縮部は、前記圧縮対象データの各部分で異なる固定長レコードのレコード長を記載した圧縮定義ファイルを参照して、各々の前記ブロックの圧縮方法を決定し、
前記列データ圧縮部は、前記ブロックデータ圧縮部が圧縮方法を列圧縮と決定した前記ブロックを前記圧縮対象データとする
ことを特徴とするデータ圧縮装置。 - 請求項9から12のいずれか一項に記載のデータ圧縮装置であって、
前記単位サイズ設定部に入力された複数の前記仕様情報に基づき、前記列データ圧縮部が一つの前記圧縮対象データから作成した複数の前記圧縮データを記憶媒体に格納し、
さらに、通信網を介してデータ解凍装置から、前記データ解凍装置の仕様情報を受信し、受信した前記仕様情報に適合する前記圧縮データを選択して前記データ解凍装置に送信する圧縮データ選択部を備えることを特徴とするデータ圧縮装置。 - 請求項9から13のいずれか一項に記載のデータ圧縮装置であって
一つの前記圧縮対象データから作成された一つの圧縮データを記憶媒体に格納し、通信網を介してデータ解凍装置から受信した当該データ解凍装置の仕様情報が、前記圧縮データを作成する際に参照した仕様情報と異なっている場合に、前記圧縮データを解凍する解凍部と、
前記解凍部が出力する解凍されたデータを前記圧縮対象データとして、前記データ解凍装置から受信した前記データ解凍装置の仕様情報に基づき、再圧縮された前記圧縮データを、前記データ解凍装置へ送信するブロックデータ再圧縮部と、
を備えることを特徴とするデータ圧縮装置。 - コンピューターを、圧縮された複数の固定長レコードを含む圧縮データを解凍するデータ解凍装置として機能させるためのプログラムであって、
前記圧縮データは、圧縮対象データが所定の圧縮対象ブロックサイズ単位で分割され、前記圧縮対象ブロック毎に圧縮された結果を含んだものであり、
前記圧縮対象ブロックサイズは、前記固定長レコードのサイズと、当該データ解凍装置の仕様情報と、に基づいて決定されるものであり、
前記固定長レコードのサイズと、前記データ解凍装置の仕様情報と、に基づいて前記圧縮対象ブロックのサイズを判定するステップと、
前記圧縮データから一以上の圧縮対象ブロックを取得するステップと、
前記圧縮対象ブロックに含まれる、前記複数の固定長レコードの同一列データを列毎に圧縮した結果である圧縮列データの各々を解凍し、前記複数の固定長レコードを復元するステップと、
を前記コンピューターに実行させる
ことを特徴とするプログラム。 - コンピューターを、複数の固定長レコードを含む圧縮対象データを圧縮するデータ圧縮装置として機能させるためのプログラムであって、
前記コンピューターはユーザーからの命令を受け付けるインターフェース装置を備えており、
前記インターフェース装置を介して、前記固定長レコードの1レコードのサイズと、データ解凍装置の仕様情報と、の入力を受け付けるステップと、
前記固定長レコードのサイズと、前記データ解凍装置の仕様情報と、に基づいて圧縮対象ブロックのサイズを決定するステップと、
前記圧縮対象データを一以上の前記圧縮対象ブロックに分割するステップと、
各々の前記圧縮対象ブロックに含まれる複数の前記固定長レコードの同一列データを列毎に圧縮して圧縮列データを作成するステップと、
各々前記圧縮列データを含む圧縮データを作成するステップと、を前記コンピューターに実行させる
ことを特徴とするプログラム。 - 圧縮された複数の固定長レコードを含む圧縮データを生成するデータ圧縮装置と前記圧縮データを解凍するデータ解凍装置が通信網を介して接続される圧縮データ配信システムであって、
前記圧縮データは、圧縮対象データが所定の圧縮対象ブロックサイズ単位で分割され、前記圧縮対象ブロック毎に圧縮された結果を含んだものであり、
前記圧縮対象ブロックサイズは、前記固定長レコードのサイズと、当該データ解凍装置の仕様情報と、に基づいて決定されるものであり、
前記データ圧縮装置は、
前記固定長レコードの1レコードのサイズと、データ解凍装置の仕様情報と、の入力を受け付ける単位サイズ設定部と、
前記固定長レコードのサイズと、前記データ解凍装置の仕様情報と、に基づいて前記圧縮対象ブロックのサイズを決定し、前記圧縮対象データを一以上の前記圧縮対象ブロックに分割し、各々の前記圧縮対象ブロックに含まれる複数の前記固定長レコードの同一列データを列毎に圧縮して圧縮列データを作成し、各々の前記圧縮列データを含む圧縮データを作成する列データ圧縮部と、を備え、
前記データ解凍装置は、
前記固定長レコードのサイズと、前記データ解凍装置の仕様情報と、に基づいて前記圧縮対象ブロックのサイズを判定し、
前記圧縮データから一以上の圧縮対象ブロックを取得し、
前記圧縮対象ブロックに含まれる、前記複数の固定長レコードの同一列データを列毎に圧縮した結果である圧縮列データの各々を解凍し、前記複数の固定長レコードを復元する列データ解凍部と、を備える
ことを特徴とする圧縮データ配信システム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012119180A JP5826114B2 (ja) | 2012-05-25 | 2012-05-25 | データ解凍装置、データ圧縮装置、データの解凍プログラム、データの圧縮プログラム、及び、圧縮データ配信システム |
| CN201380027389.2A CN104380267B (zh) | 2012-05-25 | 2013-04-18 | 数据解压/压缩装置 |
| PCT/JP2013/061552 WO2013175909A1 (ja) | 2012-05-25 | 2013-04-18 | データ解凍/圧縮装置 |
| US14/403,344 US10116325B2 (en) | 2012-05-25 | 2013-04-18 | Data compression/decompression device |
| EP13794571.3A EP2857976A4 (en) | 2012-05-25 | 2013-04-18 | DEVICE FOR COMPRESSING / DECOMPRESSING DATA |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012119180A JP5826114B2 (ja) | 2012-05-25 | 2012-05-25 | データ解凍装置、データ圧縮装置、データの解凍プログラム、データの圧縮プログラム、及び、圧縮データ配信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013246598A JP2013246598A (ja) | 2013-12-09 |
| JP5826114B2 true JP5826114B2 (ja) | 2015-12-02 |
Family
ID=49623610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012119180A Expired - Fee Related JP5826114B2 (ja) | 2012-05-25 | 2012-05-25 | データ解凍装置、データ圧縮装置、データの解凍プログラム、データの圧縮プログラム、及び、圧縮データ配信システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10116325B2 (ja) |
| EP (1) | EP2857976A4 (ja) |
| JP (1) | JP5826114B2 (ja) |
| CN (1) | CN104380267B (ja) |
| WO (1) | WO2013175909A1 (ja) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10296462B2 (en) | 2013-03-15 | 2019-05-21 | Oracle International Corporation | Method to accelerate queries using dynamically generated alternate data formats in flash cache |
| US10642837B2 (en) * | 2013-03-15 | 2020-05-05 | Oracle International Corporation | Relocating derived cache during data rebalance to maintain application performance |
| US10528590B2 (en) | 2014-09-26 | 2020-01-07 | Oracle International Corporation | Optimizing a query with extrema function using in-memory data summaries on the storage server |
| JP6397995B2 (ja) * | 2015-04-13 | 2018-09-26 | 株式会社日立製作所 | データベース管理システム、データベースサーバ、及び、データベース管理方法 |
| WO2016194121A1 (ja) * | 2015-06-01 | 2016-12-08 | 株式会社日立製作所 | ストレージシステム、計算機装置、及び、重複排除デバイス |
| US10678788B2 (en) | 2015-10-22 | 2020-06-09 | Oracle International Corporation | Columnar caching in tiered storage |
| CN106713394A (zh) * | 2015-11-16 | 2017-05-24 | 华为技术有限公司 | 一种数据传输方法和装置 |
| EP3296996B1 (en) | 2016-06-24 | 2019-08-28 | Huawei Technologies Co., Ltd. | Method for processing data, storage apparatus, solid state disk and storage system |
| JP6336524B2 (ja) * | 2016-07-25 | 2018-06-06 | 株式会社高速屋 | データ圧縮符号化方法、その装置、及び、そのプログラム |
| US10048868B2 (en) * | 2016-09-29 | 2018-08-14 | Intel Corporation | Replacement of a block with a compressed block to increase capacity of a memory-side cache |
| JPWO2018096998A1 (ja) * | 2016-11-28 | 2019-10-17 | 株式会社ターボデータラボラトリー | データ圧縮装置、コンピュータプログラム及びデータ圧縮方法 |
| JP6336636B2 (ja) * | 2017-01-20 | 2018-06-06 | 株式会社高速屋 | データ圧縮符号化方法、その装置、及び、そのプログラム |
| US10409614B2 (en) | 2017-04-24 | 2019-09-10 | Intel Corporation | Instructions having support for floating point and integer data types in the same register |
| US10474458B2 (en) | 2017-04-28 | 2019-11-12 | Intel Corporation | Instructions and logic to perform floating-point and integer operations for machine learning |
| US11281641B1 (en) * | 2017-05-23 | 2022-03-22 | Amazon Technologies, Inc. | Evaluating encoding history for late encoding binding of data |
| US10475375B2 (en) * | 2017-06-09 | 2019-11-12 | Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. | Compression method and decompression method for compensation table of OLED display device |
| US10402111B1 (en) * | 2017-08-14 | 2019-09-03 | Xilinx, Inc. | Systems and methods for data storage compression |
| US11086876B2 (en) | 2017-09-29 | 2021-08-10 | Oracle International Corporation | Storing derived summaries on persistent memory of a storage device |
| US10642602B2 (en) * | 2017-12-12 | 2020-05-05 | Nxp Usa, Inc. | NVM architecture with OTA support |
| CN107943424A (zh) * | 2017-12-18 | 2018-04-20 | 苏州蜗牛数字科技股份有限公司 | 一种网络游戏中方块地形信息的压缩方法 |
| US11321462B2 (en) | 2018-04-10 | 2022-05-03 | Raytheon Company | Device behavior anomaly detection |
| US11340603B2 (en) | 2019-04-11 | 2022-05-24 | Raytheon Company | Behavior monitoring using convolutional data modeling |
| US11436537B2 (en) | 2018-03-09 | 2022-09-06 | Raytheon Company | Machine learning technique selection and improvement |
| US11507847B2 (en) | 2019-07-25 | 2022-11-22 | Raytheon Company | Gene expression programming |
| WO2019199769A1 (en) | 2018-04-10 | 2019-10-17 | Raytheon Company | Cyber chaff using spatial voting |
| WO2019199777A1 (en) | 2018-04-10 | 2019-10-17 | Raytheon Company | Encryption using spatial voting |
| CN109582653B (zh) * | 2018-11-14 | 2020-12-08 | 网易(杭州)网络有限公司 | 文件的压缩、解压缩方法及设备 |
| CN109710581B (zh) * | 2018-12-25 | 2023-05-30 | 四川巧夺天工信息安全智能设备有限公司 | 一种解压qcow镜像文件中压缩数据的方法 |
| US10937465B2 (en) * | 2019-02-21 | 2021-03-02 | Raytheon Company | Anomaly detection with reduced memory overhead |
| US11341235B2 (en) | 2019-02-21 | 2022-05-24 | Raytheon Company | Anomaly detection with adaptive auto grouping |
| PL3938914T3 (pl) | 2019-03-15 | 2025-03-31 | Intel Corporation | Dynamiczna rekonfiguracja pamięci |
| WO2020190807A1 (en) | 2019-03-15 | 2020-09-24 | Intel Corporation | Systolic disaggregation within a matrix accelerator architecture |
| US12182035B2 (en) | 2019-03-15 | 2024-12-31 | Intel Corporation | Systems and methods for cache optimization |
| JP7328799B2 (ja) * | 2019-06-12 | 2023-08-17 | 株式会社日立製作所 | ストレージシステムおよび記憶制御方法 |
| US11861761B2 (en) | 2019-11-15 | 2024-01-02 | Intel Corporation | Graphics processing unit processing and caching improvements |
| US11663746B2 (en) | 2019-11-15 | 2023-05-30 | Intel Corporation | Systolic arithmetic on sparse data |
| CN113556129B (zh) * | 2020-04-23 | 2025-07-29 | 华为技术有限公司 | 数据处理方法和装置 |
| US11586554B2 (en) * | 2020-07-23 | 2023-02-21 | Arm Limited | Cache arrangements for data processing systems |
| CN112054802B (zh) * | 2020-07-29 | 2023-10-13 | 北京市腾河电子技术有限公司 | 一种电力计量数据压缩、解压缩方法、装置及电子设备 |
| CN112181869B (zh) * | 2020-09-11 | 2024-07-19 | 中国银联股份有限公司 | 信息存储方法、装置、服务器及介质 |
| US20220121397A1 (en) * | 2020-10-16 | 2022-04-21 | Western Digital Technologies, Inc. | Internal Compression Storage Devices |
| CN112783462B (zh) * | 2021-01-19 | 2024-06-11 | 昆山联滔电子有限公司 | 一种数据传输的控制方法及装置 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4558302A (en) | 1983-06-20 | 1985-12-10 | Sperry Corporation | High speed data compression and decompression apparatus and method |
| US6275588B1 (en) * | 1998-11-12 | 2001-08-14 | I-Data International A/S | Apparatus and method for performing and controlling encryption/decryption for data to be transmitted on local area network |
| US6959300B1 (en) * | 1998-12-10 | 2005-10-25 | At&T Corp. | Data compression method and apparatus |
| JP2001204001A (ja) * | 1999-10-29 | 2001-07-27 | Matsushita Electric Ind Co Ltd | 動画像配信システム,再生端末装置,及び配信装置 |
| JP4162184B2 (ja) * | 2001-11-14 | 2008-10-08 | 株式会社日立製作所 | データベース管理システムの実行情報を取得する手段を有する記憶装置 |
| JP4588507B2 (ja) * | 2005-03-28 | 2010-12-01 | 株式会社デジタル | 送信装置、そのプログラムおよび記録媒体 |
| US7447839B2 (en) * | 2005-09-13 | 2008-11-04 | Yahoo! Inc. | System for a distributed column chunk data store |
| US7769729B2 (en) | 2007-05-21 | 2010-08-03 | Sap Ag | Block compression of tables with repeated values |
| JP5282460B2 (ja) | 2008-07-02 | 2013-09-04 | オンキヨー株式会社 | 信号入出力装置 |
| US8108361B2 (en) * | 2008-07-31 | 2012-01-31 | Microsoft Corporation | Efficient column based data encoding for large-scale data storage |
| JP5235692B2 (ja) | 2009-01-15 | 2013-07-10 | 三菱電機株式会社 | データアクセス装置及びデータアクセスプログラム |
| US8832142B2 (en) * | 2010-08-30 | 2014-09-09 | Oracle International Corporation | Query and exadata support for hybrid columnar compressed data |
| CN101841337B (zh) * | 2010-05-06 | 2013-04-24 | 华为终端有限公司 | 数据压缩和解压缩处理方法以及移动存储设备 |
| US9325344B2 (en) * | 2010-12-03 | 2016-04-26 | International Business Machines Corporation | Encoding data stored in a column-oriented manner |
| US8560508B2 (en) * | 2011-07-22 | 2013-10-15 | International Business Machines Corporation | Real-time compression of tabular data |
| JP5259848B2 (ja) * | 2011-07-29 | 2013-08-07 | 株式会社東芝 | 再生制御装置及び再生制御方法 |
| US8719271B2 (en) * | 2011-10-06 | 2014-05-06 | International Business Machines Corporation | Accelerating data profiling process |
| CN102521363A (zh) * | 2011-12-15 | 2012-06-27 | 武汉达梦数据库有限公司 | 基于列分解的列存储数据库数值数据压缩方法 |
| US8812564B2 (en) * | 2011-12-20 | 2014-08-19 | Sap Ag | Parallel uniqueness checks for partitioned tables |
| US8880510B2 (en) * | 2011-12-23 | 2014-11-04 | Sap Se | Unique value calculation in partitioned tables |
| US8868594B2 (en) * | 2011-12-23 | 2014-10-21 | Sap Ag | Split processing paths for a database calculation engine |
| US8589451B1 (en) * | 2012-05-24 | 2013-11-19 | Sap Ag | Systems and methods for generating a common data model for relational and object oriented databases |
| US9384204B2 (en) * | 2013-05-22 | 2016-07-05 | Amazon Technologies, Inc. | Efficient data compression and analysis as a service |
| US9244935B2 (en) * | 2013-06-14 | 2016-01-26 | International Business Machines Corporation | Data encoding and processing columnar data |
| US10311154B2 (en) * | 2013-09-21 | 2019-06-04 | Oracle International Corporation | Combined row and columnar storage for in-memory databases for OLTP and analytics workloads |
-
2012
- 2012-05-25 JP JP2012119180A patent/JP5826114B2/ja not_active Expired - Fee Related
-
2013
- 2013-04-18 EP EP13794571.3A patent/EP2857976A4/en not_active Withdrawn
- 2013-04-18 US US14/403,344 patent/US10116325B2/en active Active
- 2013-04-18 CN CN201380027389.2A patent/CN104380267B/zh not_active Expired - Fee Related
- 2013-04-18 WO PCT/JP2013/061552 patent/WO2013175909A1/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| CN104380267A (zh) | 2015-02-25 |
| CN104380267B (zh) | 2017-05-17 |
| US10116325B2 (en) | 2018-10-30 |
| EP2857976A4 (en) | 2016-04-13 |
| JP2013246598A (ja) | 2013-12-09 |
| WO2013175909A1 (ja) | 2013-11-28 |
| US20150100556A1 (en) | 2015-04-09 |
| EP2857976A1 (en) | 2015-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5826114B2 (ja) | データ解凍装置、データ圧縮装置、データの解凍プログラム、データの圧縮プログラム、及び、圧縮データ配信システム | |
| JP3305190B2 (ja) | データ圧縮装置及びデータ復元装置 | |
| US10187081B1 (en) | Dictionary preload for data compression | |
| CN104040541A (zh) | 用于更高效地使用存储器至cpu带宽的技术 | |
| CN112953550A (zh) | 数据压缩的方法、电子设备及存储介质 | |
| CN115438114A (zh) | 存储格式转换方法、系统、装置、电子设备及存储介质 | |
| CN112544038A (zh) | 存储系统数据压缩的方法、装置、设备及可读存储介质 | |
| US9665590B2 (en) | Bitmap compression for fast searches and updates | |
| JP5656593B2 (ja) | 符号化データを復号する装置及び方法 | |
| KR20240078422A (ko) | 인코딩된 데이터에 대한 조건부 트랜스코딩 | |
| JP5549177B2 (ja) | 圧縮プログラム、方法及び装置、並びに解凍プログラム、方法及び装置 | |
| US9916335B2 (en) | Row, table, and index decompression | |
| CN102906740B (zh) | 压缩数据记录和处理压缩数据记录的方法和系统 | |
| JPH10261969A (ja) | データ圧縮方法および装置 | |
| JPH04360246A (ja) | ファイル圧縮装置 | |
| CN118568569A (zh) | 基于分类模型的长文本处理方法、装置、设备及介质 | |
| WO2017186049A1 (zh) | 信息处理方法和装置 | |
| Govinda et al. | Storage optimization in cloud environment using compression algorithm | |
| CN102708109B (zh) | 栅格数据的读取方法和装置,栅格数据的写入方法和装置 | |
| CN113535709A (zh) | 数据处理方法、装置及电子设备 | |
| JP5149454B1 (ja) | Ykm形式圧縮プログラムを記録した記録媒体 | |
| US7375657B2 (en) | Method and system for performing streaming of encoded data | |
| US20170192674A1 (en) | Facilitating reverse reading of sequentially stored, variable-length data | |
| JP2006302082A (ja) | 文字列検索装置 | |
| CN120930799A (zh) | 大语言模型的推理方法和装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140718 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150915 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151013 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5826114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |