JP4183205B2 - 高速アスペクト比ズーミング及び圧縮及びシーリングを用いるサムネイル操作 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はディスプレイ装置上の画像の表示、さらに詳しくは画像のズームインおよびズームアウトのための高速処理、画像閲覧用の画像サムネイルのレイアウトおよびそれに関連するズーミング、画像閲覧等の用途で可変解像度での複数画像の高速表示用の画像サムネイルの符号化および伸縮に関する。
【０００２】
【従来の技術】
デジタルカメラの価格は下降し続け、パーソナル・コンピュータはさらにパワフルになっており、家庭や中小ビジネスのコンピュータユーザが管理するデジタル画像の数は近い将来には劇的に増加するといわれている。それにも関らず、現在の設計上の取り決めによる制限を超えて数千枚の画像のブラウジング（閲覧）が効率的にサポートされるようなソフトウェア画像ブラウザの必要性はあまり関心が持たれていない。さらに、ユーザは、通例、多数のデジタル画像に遭遇するにも関らず、固定サイズの画像サムネイルまたは画像アイコンが従来の画像ブラウジング・アプリケーションの設計の基盤として使用され続けている。
【０００３】
【発明の解決しようとする課題】
既存の画像ブラウザは、固定サイズ画像サムネイルをユーザに表示する概念に基づいている。画像サムネイルはサムネイルが表わす実際の画像ファイルの小形コピーである。代表的には、サムネイルは８０×８０画素から１２０×１２０画素程度で表示される。これにより画面とサムネイルの解像度やインタフェース設計によっては目に見える表示画面上で９枚から２５枚のサムネイルを一度に表示できる。その結果、多数の画像サムネイルをブラウズする場合、ユーザは興味のある画像のごく一部だけしか見ることが出来ず、大抵は大量のサムネイルをスクロールしなければならなくなる。これはブラウジングと見当感において重大な問題となる。
【０００４】
既存の画像ブラウザ設計者がサムネイルを表示するように選択した固定解像度は、画像ブラウザのサムネイルで画像内容をブラウジングすることと画像内容を評価することの２種類の主な用途の間の兼ね合いを表わしている。画像内容をブラウジングすることは、本明細書では画像サムネイルを大まかに眺めるかまたは一覧して利用できる画像の概略を掴むこととして定義する。内容のブラウジングは一度に表示できるサムネイルの個数に制限される。画像内容の評価は画像サムネイルのより詳細な検証と細部の評価であり、表示可能なサムネイル解像度で制限される。
【０００５】
サムネイル使用の従来のアプローチには、全部のサムネイルを表示するだけの十分な広さが無い表示領域で固定サイズのサムネイルの一部だけを表示することやスクロールバーの使用を含めた多数の欠点がある。これらの欠点はどちらもユーザの見当感の欠如、画像空間を移動する際の一般的困難、また画像空間の矛盾した空間表現等に特に関与している。
【０００６】
固定サイズのサムネイルの一部分だけしか表示できないことと、スクロールバーを用いて画像空間を移動するのは困難であり、画像空間の矛盾した空間表現をもたらすという欠点以外に、このような固定サイズサムネイル自体が大量のメモリーを使用することもあり得るし、またはこれ以外でも圧縮画のストレージから展開するのに比較的長い時間がかかることもあり得る。例えば、従来のサムネイルズーミングの方法では所望の画像が得られるまでサムネイル画像のプログレッシブ展開を実行することがある。これはユーザがみえるようなズーム表示を提供するが、多数の複雑な展開を連続的に実行することになる。また、高価なプロセッサ時間やオペレータ時間を消費することが分かっており、望ましくない。
【０００７】
つまり、サイズが固定されないサムネイルを提供し、また必要なメモリーが少なく、高速にスケーリングでき、改良されたブラウジングアプリケーションを提供する方法が明らかに必要とされている。
【０００８】
【課題を解決するための手段】
本発明の目的は、従来の構成に関連した１つまたは２つ以上の問題を実質的に克服するか、または少なくとも改善することである。
［画像の高速ズーミングのための方法］
本発明の第１の態様によれば、ディスプレイ装置上において画像をズーミングする方法が提供され、該方法は、第１の所定のサイズで第１の画像を表示するステップと、所定の画像サイズに前記第１の画像を拡大または縮小するステップと、前記拡大または縮小した画像の少なくとも１つを表示するステップと、第２の所定の画像サイズで第２の画像を表示するステップとを含み、前記拡大または縮小は前記第１の画像の画素を操作することにより前記第１の画像のサイズを調節することを含み、前記拡大は、少なくとも１つの画素値を提供するように画素のグループの値を数学的に操作することと、前記少なくとも１つの画素値を複製することを含む。
【００１９】
本発明のその他多くの態様及び開示内容は、以下の説明と請求項の参照ならびに理解により明らかになろう。
【００２０】
【発明の実施の形態】
図１および図２は、本明細書で説明する処理を実現するためのパーソナル・コンピュータ・システム９００等の代表的実施例を示す。パーソナル・コンピュータ・システム９００はコンピュータ９０１とビデオディスプレイ・モニタ９０４を含む。さらに１つまたは２つ以上の入力デバイス９０２，９０３を含むこともある。コンピュータ９０１を動作させるユーザ入力は入力装置から提供される。例えば、ユーザはキーボード９０２および／またはマウス９０３等のポインティングデバイスを経由してコンピュータ９０１へ入力を提供できる。パーソナル・コンピュータ・システム９００は、モデム通信経路、コンピュータ・ネットワーク、またはインターネット等のような通信チャンネルを使用して１台または２台以上の他のコンピュータへ接続できる。さらに、プロッタ、印刷装置、レーザー印刷装置、およびその他の複写装置等を含む数種類の出力デバイスのいずれかをコンピュータ９０１に接続することが出来る。
【００２１】
コンピュータ・モジュール９０１は、１台または２台以上の中央演算処理ユニット（ＣＰＵまたはプロセッサ）９０５と、ランダム・アクセス・メモリ（ＲＡＭ）とスタティックＲＡＭまたはキャッシュとリード・オンリー・メモリー（ＲＯＭ）とを含むメモリー９０６と、ビデオ・インタフェース／アダプタ９０７と、入出力（Ｉ／Ｏ）インタフェース９１０と、図９においてブロック９０９によって示されている記憶デバイスを有する。ビデオ・インタフェース／アダプタ９０７はビデオディスプレイモニタ９０４に接続されて、ビデオディスプレイモニタ９０４での表示のためにコンピュータ・モジュール９０１からビデオ信号を提供する。画像またはビデオ取り込みデバイス９２０（例えばデジタルカメラ）を、実施例にしたがってサムネイルで表現することの出来るデジタル画像またはビデオシーケンスのソースとして、インタフェース９１０経由でコンピュータ・モジュール９０１へ、任意に接続することができる。
【００２２】
記憶デバイス９０９は、フロッピー・ディスク、ハードディスク・ドライブ、光磁気ディスク・ドライブ、磁気テープ、ＣＤ−ＲＯＭと他の多数の不揮発性記憶デバイスの少なくともいずれかを含んでいてよい。図９に図示してあるコンポーネント９０５から９１０はバス９１１経由で相互に接続されている。バス９１１はさらにデータ、アドレス、制御バスを含むことが出来る。パーソナル・コンピュータ・システム９００の全体的構造と個別コンポーネントは基本的に従来通りで当業者には周知であろう。つまり、パーソナル・コンピュータ・システム９００は図示の目的で単に提供されたものであり、本発明の趣旨および範囲から逸脱することなく他の設定を使用することが出来る。コンピュータ・システムはＩＢＭパーソナル・コンピュータ（ＰＣ）またはその互換機、またはマッキントッシュ(TM)ファミリーのＰＣやサン・マイクロシステムズのSparcstation(TM)、またはその他のうちのひとつを用いて実現することが出来る。前述のコンピュータの種類は本発明の実施例を実施することの出来る一例にすぎない。
【００２３】
図３において、パーソナル・コンピュータ・システム９００の代表的コンポーネントはハードウェア・システム９２５，オペレーティング・システム９３０，アプリケーション・ソフトウェア９３５を含むように図示してある。典型的には、ハードウェア・システム９２５は、図１および図２を参照して前述したようにパーソナル・コンピュータ・システム９００の物理的コンポーネントを含む。オペレーティング・システム９３０は、伝統的にハードウェアの動作を処理し、各種タスクを実行するためパーソナル・コンピュータ・システム９００内部に適用される管理ソフトウェアを含む。アプリケーション・ソフトウェア９３５はユーザが希望するタスクを実行するように設定された特定のルーチンを含む。オペレーティング・システム９３０とアプリケーション・ソフトウェア９３５は永久的記憶デバイス９０９またはメモリー９０６に常駐させるか、またはデバイス９０９からメモリー記憶９０６へ一時的にロードすることが出来る。
【００２４】
図示してあるように、オペレーティング・システム９３０は、典型的にはキーボード９０２からキーボード・インタフェース９２６を経由して、またマウス９０３からマウス・インタフェース９２７を経由してユーザが起動した制御信号を受信する入力デバイス管理システム９３１を含む。入力デバイス管理システム９３１は、ユーザのコマンドを処理して、その時点で動作しているアプリケーション・ソフトウェア９３５、この場合にはサムネイル管理ソフトウェア９３６へ転送する。サムネイル管理ソフトウェア９３６はオペレーティング・システム９３０に含まれるファイルシステム９３３への出力を含む。ファイルシステム９３３はそれぞれハードウェアシステム内部でディスクＩ／Ｏインタフェース９２８経由でアクセスされるディスク・ドライブ９２９上に記憶されるファイルやフォルダへのアクセスを提供する。ドライブ９２９は、図２に図示したように記憶デバイス９０９の一部を含むことが出来る。さらに、サムネイル管理ソフトウェア９３６は描画管理システム９３２へ画像コンポーネントを出力することが出来、システム９３２がさらにビデオ・インタフェース・アダプタ９０７経由でビデオディスプレイモニタ９０４への画像表示を提供する。つまり、例えば、図１に図示してあるように、サムネイル管理システムはパーソナル・コンピュータ・システム９００内部で動作するファイル管理システム９４２へのインタラクティブなグラフィカル・ユーザ・インターフェースとしてコンポーネントとして含まれているサムネイル画像９４０の表示を提供できる。
【００２５】
本実施例において、サムネイル管理システムは多数のコンポーネントを含み、コンポーネントは画像、特にサムネイル画像のズーミングを提供するサイズ調節コンポーネント９３７、サムネイル画像のグループの調整を提供するグループ化構成９３８、および各種のサムネイルグループのアスペクト比の調節を提供するアスペクト比コンポーネント９３９である。
（画像の高速ズーミング）
一般に画像また特にカラーサムネイル画像を取り扱う際に、過剰なグラフィカルおよびオブジェクトおよび／または画素ベースの画像操作でプロセッサ９０５に負荷をかけることなく、ファイル管理システムを使用する場合にこれらの画像を高速でズームインおよびズームアウトできるのが望ましい。
【００２６】
図４を参照すると、例えばビデオディスプレイモニタ９０４上に第１の所定のサイズで表示されており、第２の所定のサイズで第２の画像１１として表示されることを意図した第１の画像１０が図示してある。多くの場合、第１と第２のサイズは、正しく完全に表示された場合に例えば１０２４×７６８画素で２４ビット／画素ＲＧＢカラーのビデオディスプレイ全体を占有するような本来の画像の変化（典型的には縮小）である。実際の画像は、従来、例えばＪＰＥＧ規格を用いる圧縮フォーマットでディスク記憶デバイス９０９上に記憶される。典型的には、第２の画像１１は、第１の画像例えばサムネイル画像に対応するが、別の解像度スケールである。例えば図示したように、第１の画像１０は４×４画素の画像で、実質的に同じ画像を１６×１６画素の画像解像度（すなわち第２の画像１１）を表示するように少なくともひとつの中間表示サイズを経て拡大される。
【００２７】
しばしば、「サムネイル」サイズの画像は所望の画像の多数の所定のサイズのうちでもっとも小さいサイズであるとされる。図４の第１の画像１０は、例えば「サムネイル」サイズ画像であると本明細書では称し、第２の画像１１は所望の画像と呼ぶことにする。図４に図示してある双方向の矢印１２は、サムネイルサイズの画像１０を所望の画像１１にズームできること、または所望の画像を後述するようにサムネイルサイズの画像にズームできることを表わしている。
【００２８】
サムネイルサイズの画像１０と所望の画像（例えば１１）は圧縮フォーマット（表現）でメモリーデバイスに記憶することが出来、望ましくはサムネイルサイズの画像と所望の画像は単一の圧縮画像の各種解像度とする。多様な画像圧縮表現のなかで、メモリー記憶デバイス上に記憶されている単一の画像から多数の解像度を抽出できる。一例として、ウェーブレット符号化で圧縮した画像では圧縮画像の複数解像度の抽出が出来る。ウェーブレット圧縮画像は１と０のビットストリームであると考えることが出来る。ビットストリーム全体に対して展開アルゴリズムを適用することにより、ウェーブレット圧縮画像を実質的に復元する（すなわち全体的に展開する）ことが出来る。しかし、ビットストリームの第１の部分へ展開アルゴリズムを適用することにより、ウェーブレット圧縮画像の低い解像度のバージョンを復元でき、さらに展開アルゴリズムをビットストリームの第１の部分より大きな部分に適用することで、低解像度バージョンより解像度の高いバージョンを得ることも出来る。このようなウェーブレット圧縮／展開構成の一例は、本明細書において「画像処理方法Ａ−デジタル画像圧縮のための方法」の見出しの下でさらに詳細に説明する。単一の圧縮画像から複数の解像度を抽出するのに敵するような圧縮技術の他の例としては、ＪＰＥＧ（Joint Photographic Expert Group）圧縮が挙げられる。
【００２９】
図５Ａを参照すると、サムネイルサイズ画像２０が図示してあり、これは圧縮されたもとの画像から第１の解像度で抽出されてディスプレイデバイス上に表示される。サムネイルサイズ画像２０はサムネイルサイズ画像２０より大きな所定のサイズで所望の画像２１に拡大すべきものである。サムネイルサイズ画像２０は所望の画像２１の最終的な所定のサイズまで、複数の中間ステップ・サイズ２２，２３，２４を経て拡大されることになる。本実施例において、中間サイズ２２，２３，２４は画素複製により実現される。サムネイルサイズ画像２０の各画素２５が４回づつ複製（再生）されてサムネイルサイズ画像２０の第１の中間サイズ２２で４画素のブロック２６を得る。第１の中間サイズ２２のブロック２６の各画素を４回づつ複製して画像２０の第２の中間サイズ２３の４画素のブロック２７を生成する。結局この段階で、もとの画素２５は１６画素を形成するように複製されたことになる。ブロック複製処理は所定の最終的サイズに達するまで反復される。望ましくは、所定の最終サイズは所望の画像２１と（寸法的に）同じサイズである。この点で、図５Ａの画像２０〜２４は縮尺通りに描画しておらず、画素の相対的表現は図示を目的としたものであることに注意されるべきである。この段階で所望の画像２１が圧縮画像から展開（抽出）されサムネイルサイズ画像２０の所定の最終的サイズで表示される。中間段階サイズ２２，２３，２４の少なくともひとつをディスプレイデバイス上に表示して所望の画像２１の所定の最終的サイズまでサムネイルサイズ画像２０から「ズームイン」する視覚的効果を与えるのが望ましい。
【００３０】
このようにして、サムネイルのズームインは画素複製により実現でき、もとの画像から所望のサイズ／解像度の展開を行ないながら実行して、例えばマウス９０３をクリックすることによりユーザから要求されたら、複製段階が再表示されることでズーム効果が起こるように「見え」るようにするのが望ましい。しかしズーム完了時に、もっと正確で、複製されないが展開された画像が表示される。つまり、ひとつの画像だけ（すなわち所望の最終的画像）を展開すれば良く、ズームイン効果を実現し表示するには１回だけの展開時間しか必要としない。この時間の間に、ユーザには高画質画像ではないが元々のサムネイル画像が徐々にズームするように表示され、画像サイズの間の過渡的状況をユーザに提供してブラウジング操作中にファイル／フォルダ構造内部でのユーザの見当感を維持する補助とする。
【００３１】
上記の画素複製処理は中間段階サイズのサイズで２×２（４倍）の増加を参照して行なっている。しかし、４の倍数以外の他の中間段階サイズでの増加も図５Ｂと図５Ｃに図示してあるように随意に実行できる。
【００３２】
画素複製によりサムネイルサイズ画像２０を伸縮する一例として、サムネイルサイズ画像２０の２個の隣接する画素対の間で補間値を取得し補間値を３つに複製して第１の中間サイズのそれぞれの寸法で３個の出力画素を発生するように出来る。これによりサムネイルサイズ画像２０がそれぞれの寸法で１．５倍のサイズに増加したような（１．５×１．５）見かけが得られる。
【００３３】
図５Ｂに図示してあるように、４×４サムネイル画像２８Ａは画素値ａ、ｂ、ｃ，．．．ｐを有するように設定してある。この例では、サムネイル画像２８Ａをそれぞれの方向に１．５倍伸展して６×６中間段階を提供するのが望ましい。前述のようにサムネイル画像の隣接する画素対が補間される。このようにすると、隣接行の画素値の対「ａ」と「ｂ」が補間されて画素値「１」が与えられ、これが３つに複製される。同様に、画素値「ｃ」と「ｄ」を補間してこれも３つに複製された補間値「２」が得られる。この処理をサムネイル画像２８Ａの各行で隣接する画素対のそれぞれに適用して、画素値１．．．８の６×４アレイ２８Ｂが与えられる。同様の方法で、但し各列の隣接する値について、補間を行なう。画素値１と画素値３を補間して画素値９があたえられ、これが３つに複製される。その値の組合せで画素のそれぞれについてこれが行なわれる。こうして、３６の画素位置に展開された、４つの補間された値９，１０，１１，１２を含む９×９画素アレイ２８Ｃが形成される。
【００３４】
図５Ｃを参照すると、すべての隣接画素を補間する別の方法が提供できる。図５Ｃに図示してあるように、画素値ａ、ｂ、ｃ、．．．ｐを含む入力された４×４画素アレイ２９Ａが与えられる。補間値「１」は入力値ａとｂから得られ、図示したように３つに複製される。補間値２は隣接画素ｂとｃから得られ、これも３つに複製される。同様に、補間値３は隣接画素ｃとｄから得られ、これもまた複製される。この処理が入力アレイの各行について行なわれて９×４補間値画素アレイ２９Ｂが得られる。図５Ｂの構成に対応する方法で、画素アレイ２９Ｂは隣接する値に基づいてさらに補間され、値１と４を補間することで値１３が得られ、値４と７を補間することで補間値１８が得られるというようにする。つまり、このアプローチを用いると画素の９×９アレイ２９Ｃが４×４アレイから得られ、２．２５倍の拡大が出来ることが理解されよう。
【００３５】
さらに、前述の説明は隣接した画素対の補間に関連して説明しているが、その他の数学的処理を適用して所望の結果を得ることが出来る。例えば、中間の新規画素の間にあれば隣接画素値を平均化するかまたは混合することができる。しかし、ある種の数学的演算の複雑さは中間ズーミング段階を決定するのに必要な計算時間を増加させることが理解されよう。中間ズーミング段階は典型的には全くの一過性なので、必要とされることは、特定のサムネイル画像がズームインによって拡大されているという印象をユーザに与えることであるから、高画質である必要は一般にない。従って、展開された元の画像が得られると、それがユーザの目にはもっとも強い長続きする印象を残すことになるので画素複製／平均化等による画像の歪みは許容出来る。
【００３６】
図６を参照すると、所望の画像３０を複数の中間段階サイズ３１，３２，３３からサムネイルサイズ画像３４まで縮小（サイズを縮める）して「ズームアウト」の視覚的効果を発生させる。「ズームアウト」技術は、圧縮画像フォーマットから元の画像を展開して第１の画像サイズ（寸法）かつ第１の解像度で所望の画像３０を提供することで行われる。次に、複数の画素３５の平均を求めて平均画素値を生成し、平均画素値を所望の画像３０の第１の中間段階サイズ３１のひとつの画素として割り当てる。図６に図示してある例では、所望の画像３０の４画素のグループ３５の各々を平均化して、第１の中間段階３１のひとつの画素３６を発生する。所望の画像３０の第１の中間段階３１の４画素のグループ３６を平均化して第２の中間段階サイズ３２のひとつの画素３７を発生する。所望の画像３０の第２の中間段階サイズ３２の各画素が生成されるまで、第１の中間段階３１のそれぞれの４画素グループ化のためにこの処理を反復する。４画素を平均化して次の中間段階サイズ３３の画素を生成する処理は、望ましくは所望の画像３０のサムネイルサイズ３４に達するまで反復される。サムネイルサイズ３４の画像が実質的に与えられれば、圧縮画像から低解像度画像を抽出してサムネイルサイズ３４で表示できる。また、図５Ｂおよび図５Ｃを参照して説明した画素複製処理と同様に、所望の画像のサイズを４倍以外の倍率で縮小できる。例えばひとつの中間段階サイズの２５画素を平均化して次の中間段階サイズの４画素を得ることで、縮小サイズ比６．２５：１が得られる。
【００３７】
画像のサイズを縮小する別の選択肢は画像のサブサンプリングである。つまり、縮小画像を形成するための画素として、画像のｎ番目の画素ごとにひとつの画素を選択する。縮小画像は縮小（サイズ）比ｎ：１となる。
【００３８】
図７Ａを参照すると、本発明の実施例による画像のズームインまたはズームアウトのためのステップを示す概要フロー図が図示してある。これはアプリケーション・ソフトウェア９３５のサイズ調節コンポーネント９３７内部で動作するソフトウェアとして実施するのが望ましい。
【００３９】
図７Ａから分かるように、開始ステップ４６Ａから開始して、第１の画像が圧縮入力画像からステップ４０で抽出（展開）され、第１のサイズと解像度でディスプレイデバイス上に表示される。伸展（または縮小）処理４１を前述の技術にしたがって適用し、第１の画像の第１の中間サイズが得られる。第１の画像はビデオディスプレイモニタ９０４から消去されて第１の画像の第１の中間サイズが表示される。
【００４０】
チェック処理４２では、第１の中間サイズが所定の画像サイズと実質的に同様の寸法的なサイズになっているか調べる。チェック処理で所定のサイズに達していないと判定した場合、伸展（または収縮）処理４１をさらに現在の（第１の中間）画像に適用し（４３）、第１の画像の第２の中間段階サイズを取り出して、これを第１の所定のサイズの代わりに表示する。ステップ４４で実質的に所定の画像サイズに達したことをチェック処理４２で判定するまで処理を継続する。この段階で、処理を停止し、所望のサイズでの伸展／縮小画像を連続表示することができる。しかし、第２の寸法かつ第１の画像の解像度の第２の画像を圧縮入力画像から展開（抽出）してディスプレイデバイス上に表示するのが望ましい。伸展処理４１はズームインする場合に用い、縮小処理４１はズームアウトする場合に使用する。画像のズームインまたはズームアウトのどちらかで不合理な結果が得られるようになる範囲まで伸展または縮小処理４１を使用できないことに注意する。
【００４１】
図７Ｂの実施例では、図７Ａの処理と同様の処理が図示してあるが、ここでは開始ステップ４６Ｂで、第１のサイズによる入力画像の展開表示のステップ４０と入力画像の展開を開始するステップ４５Ｂの両方を起動している。この方法では展開と低画質伸展／縮小の両方が同時に行なわれ、伸展／縮小画像の第２の画像サイズが得られ展開が完了した後で、決定ステップ４８を評価することから第２の画像が表示される。
【００４２】
図７Ａおよび図７Ｂの例のそれぞれで、入力画像はもとの完全に圧縮された画像である必要はなく、部分的に圧縮された画像や実際には前述したようなこれの実用版である例えばサムネイルまたは中間段階のいずれかを含むことができる。
【００４３】
上記から、画像のズームインとズームアウトの両方は、ズーム処理の進行段階を表示するような方法で実行できてユーザの見当感を補助するが、それぞれの表示段階で複雑な圧縮を行なう必要がないことは明らかであろう。中間（または最終）段階の伸展／収縮はパーソナル・コンピュータ・システム９００内部の実質的に少ない計算資源しか占有せず、インクリメンタル展開に較べて高速に実行できる。つまり特にファイル管理システムでの画像ブラウジング操作は容易になり速度と使い易さが向上し、一方で完全な画像再現の能力が維持される。
（サムネイルのアスペクト比ズーミング）
本実施例はコンピュータを使用する画像ブラウジングで使用するサムネイルのアスペクト比ズーミングのための方法、装置、システム、およびコンピュータ・プログラム製品に係る。これは基本的に内容のブラウジングと評価の仕事を分離することにより、画像サムネイルサイズで妥協する必要性を排除するものである。アスペクト比ズーミングの処理は画像ブラウジングにおける新しい概念を表わしており、広大な画像空間におけるナビゲーションおよび見当感の問題にユニークな解決方法を提供する。
【００４４】
好適な実施例におけるアスペクト比ズーミングを用いれば、検索領域（サーチドメイン）内の全サムネイルは、有効な表示領域内に適合するように変倍（スケーリング）される。これは、内容の全体的なブラウジングを容易ならしめる。注目サムネイルは、その後求められれば拡大される。これは、画像の内容のより詳細な評価を容易ならしめる。
【００４５】
好適な実施例でのアスペクト比ズーミング処理では、サーチ・ドメイン全体の一貫した空間的表現を提供するようなユニークな画像ブラウジング・システムの実施、階層化したユーザ定義構造内部での画像グループ化のサポート、および内容のブラウジングと、より詳細な内容評価との間の迅速な移動が可能になる。アスペクト比ズーミング処理の重要な側面は、一定のアスペクト比で画像表示領域を再帰的にレイアウトし、アスペクト比が画像表示領域の高さに対する画像表示領域の幅の比率として定義される処理であることである。画像表示領域で一定のアスペクト比を維持することにより、画像空間全体のなかでのユーザのナビゲーションと見当感の問題、ならびにブラウジング処理を中断しないような十分な速度で画像をスケールアップおよびスケールダウンすることに関連した技術的問題を克服する。
【００４６】
本方法による画像ブラウジングで使用するサムネイルのアスペクト比ズーミングのための装置は、例えば図１，図２，図３に図示したシステム等のパーソナルコンピュータ上で実行するソフトウェアを用いて実施するのが望ましい。特に、コンピュータ上で動作するソフトウェアがディスプレイデバイスの最大限利用可能な表示領域のアスペクト比に対応する所定のアスペクト比を有する収容領域内でデジタル画像のサムネイルの１つまたは２つ以上のグループをレイアウトし、望ましくは出来るだけ大きく、それぞれの収容領域に適合させるようにサムネイルをスケーリングする。
【００４７】
望ましくは、本装置は、コンピュータで読み取り可能な媒体上に記録されコンピュータで読み取り可能な媒体からパーソナル・コンピュータ・システム９００へロードされるソフトウェアまたは（例えばブラウザ・アプリケーション内の）コンピュータ・プログラムとして実現されるアスペクト比ズーミング処理で実施する。適当なコンピュータで読み取り可能な媒体の例としては、フロッピー・ディスク、磁気テープ、ハードディスク・ドライブ、ＲＯＭまたは集積回路、光磁気ディスク、コンピュータと別のデバイスの間の無線または赤外線送信チャンネル、コンピュータで読み取り可能なカード例えばＰＣＭＣＩＡカード、別のコンピュータまたはネットワーク上のデバイスへのネットワーク接続、および電子メール送信とウェブサイトその他に記録された情報を含むインターネットやイントラネットが挙げられる。前述の例は単にコンピュータで読み取り可能な媒体関連の例である。本発明の趣旨と範囲から逸脱することなく他のコンピュータで読み取り可能な媒体を実施することが出来る。
【００４８】
図１６は図３のアスペクト比コンポーネント９３９で実施するのが望ましいアスペクト比ズーミング処理１２０の実施例を示すフロー図である。処理はステップ１２１で開始し、１つまたは２つ以上のグループに構成されたサムネイルをそれぞれの収容領域にレイアウトする。各収容領域はさらに（部分）収容領域を含み所定のアスペクト比を有している。アスペクト比はディスプレイデバイス上で利用できる最大限表示可能な領域（画面全体、画面の一部、またはウィンドウ等）の高さに対する幅の比である。これについては図８から図１５を参照して、以下でさらに詳細に説明する。ステップ１２３では、各収容領域内のサムネイルが収容領域の利用可能な部分と適合するようにスケーリングされる。これは表示可能な領域内部でひとつの収容領域が最上部の収容領域を形成するような種類の階層化したツリー状の構造を形成する。ステップ１２１およびステップ１２３は本実施例の基本的ステップを構成する。処理はこれらのステップだけで構成することが出来るが、オプションとしてステップ１２４からステップ１２６を含むことも出来る。
【００４９】
望ましくは、決定ブロック１２４で、ユーザが選択した収容領域をズームインするかどうか決定するチェックを行なう。決定ブロック１２４が真（ズームインする）を返した場合、処理はステップ１２５に進む。ステップ１２５では、選択された収容領域を利用可能な表示領域まで拡大（ズームアップ）し、これはに親収容領域に対するすべての（部分）収容領域でも同様に実行される。処理はステップ１２１に続き、ここでアスペクト比ズーミング処理がステップ１２１とステップ１２３に適用される。
【００５０】
それ以外で、決定ブロック１２４が偽を返す（ズームアウトする）場合、処理はステップ１２６に進む。このステップでは、ステップ１２５の逆または相補的処理を実行してからステップ１２１へ処理が戻る。つまり、選択されたグループの親収容領域は利用できる表示領同様域にセットされ、同様に選択された収容領域はサムネイルといっしょにサイズが縮小される。
【００５１】
本実施例をアスペクト比ズームインする処理は画像空間内部でのユーザのナビゲーションおよび見当感の問題を克服する。図８は６個の別個のグループに分割された合計１３２枚の画像サムネイルを含む画像空間全体の一例を示したものである。画像サムネイルは番号をつけた四角で表わされている。主収容領域１００は例えばビデオディスプレイモニター上の画像サムネイルの表示に利用できる空間全体を表わしている。一般に、主収容領域はディスプレイのアスペクト比を定義する。収容領域１０２，１０４，１０６，１０８，１１０，１１２は画像空間内部の画像の６個のグループについて視覚的分離を提供する。この例では、各グループが２２枚のサムネイルを含み一様な寸法で表示され、グループがそれぞれの収容領域内部に適合できる最大限可能なサイズにスケーリングされる。図８から分かるように、収容領域１０８は主収容領域１００と同じアスペクト比を有する唯一の領域で、この場合約１．３２０の比となっている。
【００５２】
通常のブラウジングまたはサーチ動作の間に、ユーザはサーチドメイン全体（この場合画像空間全体）をスキャンして、注目領域をもっと近くで見られるように選択することでサーチを絞り込む。この場合、ユーザは収容領域のひとつに表示されている画像に対してズームインを選択する。図示したような収容領域１０８は好適実施例の処理にしたがってレイアウトされる。収容領域１０８（主収容領域１００と同じアスペクト比を有している）内部の画像だけがズームアップされて、ユーザに方向性の問題を惹起することなく主収容領域１００（すなわち画像の表示に利用できる空間全体）を埋めることが出来る。
【００５３】
図９は好適実施例の処理にしたがって、最大限表示可能な領域と同じアスペクト比を有する収容領域１０８のサムネイルをアスペクト比ズーミングする処理を示したものである。つまり、収容領域１０８の画像は再配置せずに主収容領域１００を埋めるように拡大できる。これが重要な理由は、画像空間の一貫した空間表現を提供しているためである。逆に、図８の他の画像収容領域１０２，１０４，１０６，１１０，１１２のひとつをズームアップすると（そのグループ内部の画像サムネイルは主収容領域１００を埋めるようにできるだけ大きくされる）図１０を参照して後述するように画像が再配置されることになる。
【００５４】
図１０は主収容領域１００を埋めるようにズームアップする場合に主収容領域１００の画像をどのように再構成すべきかを示したものである。主収容領域１００とは異なるアスペクト比で収容領域をズームアップする別の方法が図１１と図１２に図示してある。どちらもスクロールバー１１４，１１５（または同様の制御）を用いる必要があり、ユーザにとって見当感とナビゲーションの問題を起こす。スクロールバーを使用することに関連した使い易さの問題は周知である。
【００５５】
図１３は図８のサムネイルを好適実施例のアスペクト比ズーミング処理にしたがってどのように再配置できるかを示している。６個のサムネイルグループの収容領域１０２から１１２のそれぞれは主収容領域１００と同じアスペクト比を有するようにレイアウトされている。このようにすると、６個の画像グループ全部が主収容領域と同じアスペクト比の領域に表示される。
【００５６】
図１４は一定のアスペクト比の画像収容領域が同じアスペクト比の別の画像収容領域を表示できるように拡張したアスペクト比ズーミング処理の一例を示す。これらのグループを含む収容領域はさらに（部分）収容領域も含むことがある。つまり、収容領域と（部分）収容領域の階層構造が提供される。画像空間の構造はスクリーンショットまたは画像の左側に（ウィンドウズまたはインターネット）「エクスプローラ」(TM)方式のツリー状ビュー１３０で示してある。収容領域のそれぞれはツリー内のフォルダとして表示される。最大限表示可能な領域または主収容領域は「Library」１３２トラベルが付けられており、「Australia」１３４，「Transport」１３６，「Image of the World」１３８，「People」１４０のラベルがついた４個のサムネイルグループを含む。
【００５７】
「Australia」とラベルのついた収容領域１３４は画像サムネイルだけを含むが、「People」とラベルのついた収容領域１４０は、さらに画像サムネイルグループ（「Children」１４１，「Corporate People」１４２，「Couple」１４３，「Sports people」１４４）を含んでいる。これは「Transport」や「Image of the World」にも等しく当てはまる。このようにすると、アスペクト比ズーミングは画像空間全体の有意義な同時表示をサポートする。
【００５８】
図１５は利用可能な表示スペース（それまで「Library」とラベルが付けられていた）を埋めるような「People」収容領域１４０の拡張を示す。「People」グループの内容を詳細に見るには、ユーザは別の収容領域（例えば「Sports people」１４４はさらに４つのグループ１４５〜１４８を含む）にさらに「ズームイン」するように選択するか、ズームバックすることが出来る。このようにすると、ユーザは内容および空間的参照を維持しながら利用できる表示スペースを埋めるようにすべての収容領域を縮小または拡大できる。
【００５９】
好適実施例によるアスペクト比ズーミングの処理は従来技術の欠点を克服する点で有利である。これは十分なスピードで画像をスケールアップおよびスケールダウンすることに伴う技術的問題を含んでいる。ズーミング（画像および／または収容領域のグループを表示することからひとつの収容領域の内容を表示することに移動すること）は多数の方法で実行できる。
【００６０】
１）切り換え表示：初期状態からズームインされた状態へ単純に切り替える。これは非常に高速である点で有利である。
【００６１】
２）アウトラインのズーム：それぞれのズームステップでズームされるそれぞれの画像または収容領域の輪郭を描画する。これも非常に高速で、ユーザにズーム処理の感覚をかなり与える。
【００６２】
３）正確なズーム：多数の中間ズームステップを実行し、各ステップで正確にディスプレイを再描画する。これは各ズームステップの見かけが良い点で有利である。
【００６３】
４）ビットマップ・スケーリング：主収容領域１００の全体（または一部）のビットマップをそれぞれのズームステップにスケールアップ（またはスケールダウン）して、ズームの最後に正確に再描画する。これは非常に高速でズームの良い感覚をユーザに与える。
【００６４】
上記項目（４）の「ビットマップをスケーリングする」は、ズームインしようとする領域のビットマップが観察領域と同じアスペクト比を有している場合には簡単に実行できる。同じアスペクト比を有していない場合には、ズームステップは最終的に得られる表示と一致しない。このようなズーミングの一例が図４から図７Ｂを参照してすでに説明した高速ズームである。
【００６５】
最後のズームステップの後で、ディスプレイは「スケーリングしたビットマップ」を含む。背景を迅速に描画するがスケーリングした画像をいじらないようにすることで、最終ディスプレイの良好な近似が得られる。各画像は一度に１つずつ正しく描画され、同時にユーザはプログラムと対話し続けられる。ユーザの待ち時間が長い程、（画像全部が再描画されるまでの）ディスプレイの品質は良くなる。
【００６６】
さらに好適な実施が図１７Ａから図１７Ｄに図示してあり、これはサムネイルのこれまでに説明した別の高速ズーミングの実施にアスペクト比ズーミングを組み合せたものである。さらに詳しく説明すると、本発明の発明者らは、収容領域をズーミングする際に必要とされることのある画像毎のサムネイル伸展は、特に各々の中間段階で収容領域の背景を再描画する必要性のせいで過剰な時間がかかり得ることが分かった。この問題点は収容領域全体（ウィンドウ）を選択して１つの入力画像であるかのようにその領域を処理し、これによってテキストと画像を含む収容領域全体を伸縮するようにすることで克服され、最終的サイズがこれまでに説明した高速ズーミング処理を用いて得られる場合、収容領域／ウィンドウ全体が背景、タイトル、個々の画像を含めて再描画される。これが図１７Ａ〜図１７Ｄに図示してあり、図１７Ａは図１４ですでに見たようなライブラリ・ウィンドウ１３２の模式的表現であることが理解されよう。本実施例では、「People」収容領域１４０にズームインして図１５に図示した画像を取り出すのが望ましい。図１７Ａはズーム開始前で初期の形のライブラリ・ディスプレイを示す。図１７Ｂで、People収容領域１４０は第１の中間サイズにズームされており他の収容領域を排除しはじめるように図示してある。図１７Ｃは更なる過渡的段階で、ここではPeople収容領域１４０が実質的にズームが進むにしたがって残りの部分を排除している。図１７Ｄはズーム完了時のディスプレイの構成を示す。図１７Ｂと図１７Ｃの中間ディスプレイ状態で、People収容領域１４０は、図１７Ａに図示してあるPeople収容領域から複製された画素を用いて表示される。しかし図１７Ｄでは、個別のサムネイルと部分収容領域１４１〜１４４の各々が展開されて所望の高品質画像を展開している。
【００６７】
好適実施例によるアスペクト比ズーミング処理は、データベース・ナビゲーションとブラウジングの原理に関して一般に認められている知識が与えられれば、新規かつ優位な画像ブラウジング・システムを提供する点でも有利である。この処理はまたデータベース・ナビゲーション・システムの設計についての指導原理にも従い、サーチドメインの内容全体にユーザの注意を喚起して個別の項目をさらに詳細に高速で検証し易くする（例えば、Spence, R. およびApperly,M.D. の"Database Navigation: An Office Environment For theProfessional", Behaviour and Information Technology, 1,1, pp43−54を参照）。
【００６８】
この処理は人間の持つ顕著な（また良く文書化されている）空間記憶と視覚的操作能力を活用して（単純にそれまでの分類による想起に依存するのではなく）ブラウジング処理の補助を行なう。さらに、無意識にでも、空間的な記憶を拡張すると一般に見なされている画像空間の構造とレイアウトについて、絶え間なく補強する点で有利である。また、最大限可能なサイズでサーチ・ドメインに全てのサムネイルを表示しつつ内容を維持し一貫性のある空間的参照を提供することにより、人間の認識記憶のほとんど無制限な容量（例えばStanding, L. (1973)"Learning 10,000 Pictures", Quartely Journal of Experimental Psychology,25, pp. 207-222参照）ならびにパターン認識の高度に発達した技術を利用する。
【００６９】
ユーザは８０×８０画素より小さいサムネイルからの画像内容について判断するのが必ずしも楽ではないが、それでも６×６画素程度まで小さい画像サムネイルでは互いに簡単に識別することができる。さらに、画像内容の予備知識と組み合せると、人間の知覚系は１４×１４画素程度に小さく表示されたサムネイルから画像を認識することができる。したがって、（内容評価とは異なるものとして）ブラウジングの目的では、従来技術を用いて表示されるよりもさらに小さいサイズでサムネイルを表示することにより相当な有用性が選られる。
（サムネイルの圧縮とスケーリング）
本実施例はサムネイルの符号化とスケーリングのための方法、装置、コンピュータ・プログラム製品に係る。つまり、画像サムネイルが変化する解像度またはサイズで生成される。各種解像度またはサイズはあらかじめ決定しておいても良く、所定のサイズとは異なるサイズに調節することができる。好適実施例にしたがって提供されるサムネイルはデジタル画像の大きなデータベースをナビゲーションするのに用いる画像ブラウザの用途で特に有用である。好適実施例にしたがって作成されるサムネイルの使用は画像データベースをブラウジングする特定の用途を有するが、このような技術は本発明の範囲と趣旨から逸脱することなく他の用途でも有利に実施できることが当業者には明らかになろう。以下の説明において、多数の特定の詳細、例えば画像サムネイルのサイズ、処理を実現するアプリケーション・ソフトウェア、画面表示、サムネイルの構成などが本発明をさらに完全に説明するため詳細に説明される。しかし本発明はこれらの説明に特定されることなく実施できることは当業者には明らかであろう。他の例では、不必要に本発明を不明瞭にしないように周知の特徴は詳細に説明しない。
（概要）
好適な実施例にしたがってサムネイルを圧縮しスケーリングする処理は、多数の小さいサムネイルまたは画像アイコンの表示ができる一方で、必要な時には、このようなサムネイルをできる限り大きく表示することもできる。データベースの要素がサムネイルによって表現されるようなブラウジング用途では、符号化とスケーリング処理を有利に用いて前述の兼ね合いを最適化し、サムネイルが表示される時に表示ウィンドウを埋め、使用されない表示ウィンドウの相当以上の部分を不必要に残さないようにするのが望ましい。大まかな近似として、表示されるサムネイルの個数に関係なくサムネイルは一定の「画像データ」を埋める。多数の画像を表示しなければならないような場合、サムネイルは小さくされ、一方で数個のサムネイルしか表示しなくて良い場合にはサムネイルは大きくされる。一定の画像領域の見当は、領域の量が画像アイコンのサイズと個数とで変化する辺縁領域のサイズに依存するため、単なる近似である。
【００７０】
好適実施例の処理は、このようなサムネイルで記憶容量を最小化するような圧縮も提供する。小さな画像でも相当量の空間を必要とするので多数のサムネイルでは相当量のメモリーを使用することがある。圧縮はメモリー効率の点からも望ましい。高速なアクセスのために、多数のサムネイルをディスク上にではなくメモリー内に格納するのが望ましいことが多い。メモリーは通常高価であるから好適実施例の処理は圧縮フォーマットでメモリー内にサムネイルを格納する。
【００７１】
この処理では、階層化した画像アイコン表現を用いて「一定面積」／可変画像サイズの要件に適合させる。圧縮を用いるには、画像アイコンを受け入れ可能な時間量で表示するように比較的高速の展開が要求される。実質的に同じ時間量で画像の「一定面積」を表示するには、好適実施例の処理は画像のサイズに実質的に比例する展開時間を提供する。異なる種類の「一定面積」画像のセットを同じ時間量で表示することにより、各々の画像セットが受け入れ可能な時間量で表示されることを処理が保証する。各々の画像セットが実質的に同じ時間量で表示される場合、この処理を用いて「最悪の場合」の表示時間の問題を低減または排除できる。つまり全ての画像セットはできる限り迅速に表示される。
【００７２】
前述の要件に適合するため、好適実施例の処理は効率的階層化ディスクリート・ウェーブレット変換（ＤＷＴ）符号化した表現を使用する。ＤＷＴ圧縮技術は良好な画像圧縮を提供し、かつ周波数増加に関してＤＷＴで発生するサブバンドの符号化が、圧縮効率（即ち圧縮量）を実質的に犠牲にすることなしに階層化表現を提供する。さらに、このような順序でのサブバンドの符号化で復号した画像のサイズに比例する展開時間が与えられ、元の画像のサイズとは無関係である。適当なＤＷＴで圧縮した表現を用いることはさらに別の利点を有している。画像アイコンは本来の圧縮画像アイコンのサイズより大きなサイズで実際に展開することができる。これは展開コード内部で逆ＤＷＴエンジンを用いれば簡単に実現される。好適実施例の処理は圧縮用途に特に適している、後述の「画像処理方法Ａ」による圧縮技術を用いている。「画像処理方法Ａ」の技術は「デジタル画像圧縮」と題した１９９７年１月２２日付オーストラリア出願第ＰＯ４７２８号に開示されており、これの関連する開示は対応する小見出しのもとに再現する。後述の画像処理方法Ａを用いる圧縮と展開はどちらも非常に高速である。また、サブバンドは増加周波数の桁で独立して符号化される。さらに、後述の「画像処理方法Ａ」は高い圧縮効率を提供する。
【００７３】
好適実施例の処理はディスクリート・ウェーブレット変換符号化を使用しているので、復号される画像のサイズに直線的に依存する復号時間で画像の低解像度バージョンを復号できる。したがって、領域を構成する画像のサイズとは無関係に一定の画像「面積」が復号できる。効率的階層化ＤＷＴ表現は復号される画像のサイズに実質的に比例した展開速度で高速展開の所望の要件と階層化サイズ展開に適合する。さらに、この階層表現は圧縮効率を犠牲にせずに実現でき、実際に最新技術に匹敵する圧縮が得られる。最後に、ＤＷＴ表現を用いると、逆ＤＷＴエンジンを用いて本来の圧縮サイズより大きなサイズで画像アイコンを表示できる。
（サムネイルを用いる代表的な環境）
図１３はすでに説明したようにディスプレイデバイス１００（例えばコンピュータのディスプレイモニタ）上に表示される６個のサムネイルグループ１０２〜１１２を示したブロック図である。代表的なグループ１０２〜１１２の各々は適切な番号のついた２２個のサムネイルを含む。特定のグループとサムネイルの番号が図示してあるが、本発明の実施例がこのように制限されるものではなく、図１３の例はグレーで塗りつぶしたブロックとして示してある各サムネイルの説明を容易にするために用意されている。
【００７４】
前述のように、各々のサムネイルはこれに対応するのが望ましい画像ファイルの視覚的表現である。画像ファイルの場合、各画像ファイルはこれとこれに対応するサムネイルへの参照を有している。サムネイルすなわち画像アイコンは、これらによって表わされる画像の指示を提供する、その画像の小型版である。画像ファイルへの参照はデータベースに記憶され（これは非画像ファイルへと簡単に拡張できる）ファイルシステムから、またはデジタルカメラまたはスキャナなどの入力デバイスから取り込むことができる。画像ファイルをデータベースシステムへ追加する場合、画像ファイルへの参照が記憶され、その画像に対するサムネイルが作成される。好適実施例はさらに画像を表わすサムネイルを使用しているが、本発明はこの特定アプリケーションに制限されない。むしろ、後述するように好適実施例の方法を用いるサムネイルを用いてビデオシーケンス、アイコンを作成できる文書などを含む他の物を表わすことができる。
【００７５】
図１４の画面写真に示してあるように、サムネイルの各々は画像のグラフィカルな表現である。関係する特定のアプリケーションに依存して、サムネイルの構成は多数の事物を反映できる。その事物には、フォルダ（１つの根があり枝だけの有向非周回グラフ、即ち画像それ自身が複数回参照できる）への画像の半階層的な分類、未だ分類されていないがシステムに取り込まれる画像の表示、またはシステム内の画像に対する何らかの自動サーチの結果、がある。多数の画像がシステム内に記憶できる。例えば、画像データベースは１万枚の画像をまれに含むことがある。実際に画像データベースのサイズの唯一の制限は使用するコンピュータの記憶容量と性能である。
【００７６】
本実施例では、トップレベルの表示は論理的に全ての分類済み画像を示している。図１４の左手に図示してあるグラフ（各フォルダ）の内部ノード各々について、サムネイルの四角い配列が上部左隅に、このノードに直接接続された全ての枝について同じサイズで表示される。残りのスペースでは、このノードにぶら下がる全ての内部ノードにアウトラインがレイアウトされる。この処理は各々のアウトラインの内部で、即ち各々の内部ノードについて再帰的に（もっと小さいスケールで）反復される。サムネイルの階層は代表的用途においてフォルダのズームインとズームアウトによりナビゲーションできる。有向非周回グラフが表示されているので、階層内で任意の画像もまた数回出現することがある。画像が現われる場所は階層の異なったレベルであるため、幾つかのサムネイルを異なるサイズでその画像について同時に表示する必要がある。
（好適実施例の符号化およびスケーリング処理）
潜在的に多数のサムネイルについてのメモリ要求を減少するためとサムネイルの高速スケーリングを提供するため、図１８に図示したような好適実施例ではサムネイルを符号化する方法１５０を提供し、それによると画像は圧縮され、その圧縮された形式は、階層表現を用いてサムネイルの高速スケーリングができる。望ましくは、ステップ１５４で、階層化ディスクリート・ウェーブレット変換（ＤＷＴ）圧縮技術を用いて１つまたは２つ以上のサムネイルを生成する。さらに望ましくは、使用する階層化ＤＷＴ圧縮技術は、後述の「画像処理方法Ａ」による技術とする。
【００７７】
図１９は好適実施例によるサムネイルのスケーリング処理を示すフロー図である。さらに詳しくは、フロー図は、各々のサムネイルがデジタル画像の階層表現を含み複数のスケールの所定の１つでサムネイルを復号して所望のサイズを有する表示用のサムネイルを提供する処理１６０を示している。処理はステップ１６２から始まる。ステップ１６４では、画像の階層表現を含むサムネイルが所望のサイズまたはスケールのサムネイルを作成する目的で復号される。サムネイルは表示用サムネイルの所望のサイズに最も近いスケールに復号される。復号される階層表現のスケールはサムネイルの所望のサイズに等しい。等しくない場合は復号される階層化表現は所望のサイズより大きいのが望ましい。また、階層表現は、後述の「画像処理方法Ａ」によう圧縮技術を用いて圧縮された画像が望ましい。決定ブロック１６６では、復号サムネイルのスケールが表示しようとする所望のサイズに等しいか判定するチェックを行なう。決定ブロック１６６が真（イエス）を返す場合、処理はステップ１７０に続く。それ以外の場合、決定ブロック１６６が偽（ノー）を返す場合、処理はステップ１６８に進む。
【００７８】
ステップ１６８では、復号階層表現のサイズを表示しようとするサムネイルの所望のサイズに調節する。望ましくは、調節ステップは復号した階層表現を均一にスケールダウンするかまたはダウンサンプリングして、復号階層表現のスケールがサムネイルの所望のサイズより大きい場合に所望のサイズのサムネイルを提供するようにする。サムネイルのスケーリングは常にスケールダウンとするのが望ましく、また各々の直線方向で２倍より小さいのが良い。マイクロソフト(TM)ウィンドウズ(TM)などの動作環境で、ウィンドウズ組み込み関数を用いてこれを実行し、システムにできる限り最高の動作を最適化する機会を与えることができる。
【００７９】
ステップ１７０では、復号階層表現が所望のサイズでサムネイルとして表示される。符号化階層表現と復号階層表現（例えば圧縮サムネイルと展開サムネイル）のいずれか或いは両方は、あとで高速に取り出して表示するためサムネイルのキャッシュまたはメモリに記憶するのが望ましい。オプションとして、階層表現を所望のスケールに展開する勝利が階層表現の数個の中間スケールまたはサイズを復号することに係るため、中間スケールもサムネイルのキャッシュまたはメモリに記憶できる。例えば、６４×６４画素で表示される復号サムネイルはこの後１６×１６の画素サイズで表示できる。そのような場合、６４×６４画素のサムネイルを復号する処理で小さいサイズのサムネイルが得られているキャッシュから、このサイズで先に復号されているサムネイルが取り出される。処理はステップ１７２で終了する。
【００８０】
ステップ１６４と１６８は（大きなサイズの）復号階層表現を所望のサイズに調節するようにダウンサンプリングすることに係るが、本発明の範囲から逸脱することなくこのようにする他の技術を用いることもできる。例えば、図１９の方法はこれ以外でも階層化表現を所望のサムネイルサイズより小さいスケールに復号し、復号した階層表現をアップサンプリングして所望のサイズのサムネイルを提供することに係る。さらに別の方法として、本方法はステップ１６４で２つの異なる隣接したスケールまたはサイズ（例えば６４×６４画素と３２×３２画素）で階層表現を復号して所望のサイズのサムネイルを提供することに係る。ステップ１６８では、復号した階層表現の間で補間を行ない所望のサイズのサムネイルを提供することができる。この場合、復号階層表現のスケールの一方は所望のサムネイルサイズより大きく、他方のスケールが所望のサムネイルサイズより小さい。
【００８１】
図１５に戻ると、図１４のPeopleグループのサムネイルすなわち画像アイコンのズームアップ表示を示す更なる典型的な画面写真が図示してある。図１５に図示してあるサムネイルのスケールアップしたバージョンは図１９の処理によって得られる。
【００８２】
望ましくは、前述の処理は、コンピュータで読み取り可能な媒体上に記録されパーソナル・コンピュータ・システム９００へ、コンピュータで読み取り可能な媒体からロードされるソフトウェアまたはコンピュータ・プログラムとして（例えばブラウザ・アプリケーションの内部で）実現されるサムネイル符号化およびスケーリング処理によって実施する。このようなコンピュータで読み取り可能な媒体の例としては、フロッピー・ディスク、磁気テープ、ハードディスク・ドライブ、ＲＯＭまたは集積回路、光磁気ディスク、コンピュータと別のデバイスとの間の無線または赤外線送信チャンネル、コンピュータで読み取り可能なカード例えばＰＣＭＣＩＡカード、別のコンピュータまたはネットワーク上のデバイスへのネットワーク接続、および電子メール送信とウェブサイトその他に記録された情報を含むインターネットやイントラネットが挙げられる。前述の例は、コンピュータで読み取り可能な媒体関連の一例である。本発明の趣旨と範囲から逸脱することなく他のコンピュータで読み取り可能な媒体を実施することが出来る。
【００８３】
好適実施例による方法、また特に後述の「画像処理方法Ａ」の圧縮技術を用いる方法はサムネイルを記憶しスケーリングするための多数の同時要件を満足し、よって多数の利点を有している。第１に、サムネイルの圧縮によりメモリには可能な限り多くのサムネイルを記憶できる。これはユーザが例えば大きな画像データベースをブラウジングするような用途でメモリ内に多数のサムネイルをロードする場合に特に重要である。さらに詳しくは、キャッシュを用いて、多数の異なるサイズで復号したサムネイルのバージョンを含め高速アクセス用にサムネイルを記憶できる。第２に、好適実施例では迅速なサムネイルの展開が可能になる。これは、特に画像データベースなどユーザがサムネイルをズームアップまたはズームダウンするようなデータベースのナビゲーションが関係する用途で、ユーザに対する高速な応答時間を提供する。好適実施例による方法は圧縮効率と展開速度を提供する。第３に、好適実施例はサムネイルを表示する全てのサイズまたはスケールで満足できる画質を提供する。この第３の要件は、ＪＰＥＧ圧縮で要求されることがあるような可変サイズで格納されたサムネイルの多数の圧縮を必要とすることなく、また必要とされる最大限可能なサイズで画像を一回圧縮してから均一にスケールダウンすることなく達成される。つまり、好適実施例は記憶およびメモリを無駄にすることが無く、また遅くはない。
【００８４】
後述の「画像処理方法Ａ」の圧縮技術を用いて画像を圧縮し階層表現を作成することは多数の利点を有している。「画像処理方法Ａ」で達成される圧縮は代表的に１０：１であるから良好な圧縮率を提供する。さらに「画像処理方法Ａ」を用いる展開は高速であり展開される画素数に関して直線的である。つまり多数の（例えば画面いっぱいの）小さなサムネイルを表示するまでの展開時間は数個の大きなサイズのサムネイルを表示するのと同程度である。さらに、「画像処理方法Ａ」はサムネイルを階層的に符号化するので、小さなサイズのサムネイルを得るのにデータセット全体を展開する必要がない。実際に、後述の「画像処理方法Ａ」の圧縮技術はデータを順次符号化するため、後述の「画像処理方法Ａ」により圧縮したデータの第１の部分はもっとも小さいサイズの画像を展開するための情報を全部含んでおり、次の部分は次に大きなサイズで展開するのに必要とされる追加の情報を含む、というようになる。さらに、もっとも小さいサイズのサムネイルを多数表示する場合に全てのデータをＣＰＵキャッシュでプリフェッチできるため、さらに性能が拡張される。
【００８５】
図１９のステップ１６８に関して、後述の「画像処理方法Ａ」で記憶された利用可能な最高解像度が完全に使用される。さらに詳しくは、「画像処理方法Ａ」は「マイナス１」展開を提供し、これは非圧縮サムネイルのサイズの（各々の直線方向に）２倍のサムネイルを提供する。マイナス１画像がスケールダウンされる場合、未だ充分な画質が提供される。「画像処理方法Ａ」で提供される最大サイズ（これは調節可能なパラメータである）より大きなサイズでサムネイルを観察するのが望まれる場合、「マイナス１」バージョンをスケールアップできる。好適実施例の更なる利点は、非圧縮の形でサイズが異なるサムネイルをシステムで取り扱えることである。
【００８６】
前述の説明から理解されるように、好適実施例による方法では以下のうちの少なくとも１つまたは２つ以上を必要とする各種の異なる構成で、サムネイルまたは画像を表示できる。すなわち、１つまたは２つ以上の異なる画像、または異なる均一なスケールの１つまたは２つ以上の画像、または異なる位置にある１つまたは２つ以上の画像である。本方法は異なるディスプレイ構成間での迅速な変更を容易にする。画像はサイズと関係なく満足できる品質で表示できる。
【００８７】
図２０は前述した各種実施例をパーソナル・コンピュータ・システム９００において具体的にどのように実施するかをフローチャートとして示している。ステップ１８１でビデオディスプレイモニタ９０４のアスペクト比が所定のハードウェアパラメータから識別される。ステップ１８２では、ブラウザ・アプリケーションソフトウェア内部の収容領域が図８から図１３を参照して説明したような対応するアスペクト比を有する形状に調節される。ステップ１８３では、収容領域内部のサムネイルサイズの決定ができるようにサムネイルの個数が識別される。ステップ１８４では図４〜図７Ｂと図１６，または図１８〜図１９にしたがってサムネイルのサイズが調節され、全てのサムネイルが収容領域に適合するようにする。ステップ１８５ではリサイズしたサムネイルが収容領域に配置され、最終的にステップ１５６でユーザは収容領域をリサイズしてブラウジングを簡単にできる。
【００８８】
図２１はユーザレベルで以上のことがどのように見えるかを示している。ステップ１８７Ａからステップ１８７Ｃはコンベンショナルな方法でユーザが指示したディレクトリ移動を各々識別する。ステップ１８７Ｂで正しいディレクトリが識別されると、ステップ１８８Ａではユーザが目的画像を識別するためにディレクトリを観察する。このような画像がステップ１８８Ｂで選択され、これによって前述したような高速ズームインが行なわれる。ユーザはステップ１８８Ｃで中間サイズの画像を観察し正しい画像であると確認する。違う場合には、ズームアウトを実行しステップ１８８Ａで別の選択を行なう。正しい画像がステップ１８８Ｃで識別された場合、正しい画像が展開され高画質レベルで表示されるように選択される。ディレクトリ操作１８７Ａ〜１８７Ｃの各々で、アスペクト比に基づくディレクトリと収容領域の操作を行ない、好適実施例ではこれが画像の階層か表現およびズーミングと組み合わされている。
（「画像処理方法Ａ」−デジタル画像圧縮のための方法）
本開示はデジタル画像データを表現するための方法ならびにその装置に関連し、またさらに詳しくはデジタル画像データから得られた変換係数を符号化また復号化するための方法ならびにその装置に関する。
【００８９】
ソース画像を線形変換してデータを非相関させ変換係数を符号化することによる変換に基づく多数の画像符号化技術が知られている。このようなコンベンショナルな技術には、８×８ブロックディスクリートコサイン変換（ＤＣＴ）を使用するＪＰＥＧ規格画像圧縮法が含まれる。ＪＰＥＧ符号化はＤＣＴを用いてソース画像のブロックを変換し、得られた変換係数を量子化することによっており、圧縮の大半は視覚的認識を利用して行なわれるもので、最も低い周波数係数から最も高い周波数係数へと所定のジグザグなシーケンスで量子化係数を無損失符号化する。
【００９０】
他にも埋め込み(embedded)ゼロツリー・ウェーブレット（ＥＺＷ）法と呼ばれる圧縮技術がある。ＥＺＷは、ディスクリート・ウェーブレット変換をソース画像に適用して、通常は多数の異なる解像度レベルまたはスケールで多数の高周波サブバンドと最低周波数サブバンドに画像を分解する。ゼロツリー符号化をスケール間の係数の自己相似性の予測にしたがってサブバンドに適用する。ゼロツリー符号化した係数は算術符号化を用いて無損失符号化する。
【００９１】
しかし、両方の技術とも位置情報を符号化するために複雑な方法を用いており無損失符号化を使用している。つまり、前述の方法は柔軟性の欠如や符号化技術の複雑さを含む多数の欠点を有している。
【００９２】
基本的に、本発明の「画像処理方法Ａ」による処理は符号化表現を提供するようにデジタル画像を表現する方法を提供するもので、
各々の係数が所定のビット・シーケンスにより表わされるような複数の係数を導くようにデジタル画像を変換するステップと、
複数の係数の一部を領域として選択するステップと、
（ａ）各々の有意でないビットプレーンについて、有意なビットプレーンが判定されるまで符号化表現における第１のトークンを提供するように、最上位ビットプレーンから最下位ビットプレーンに向かって選択された領域の各々のビットプレーンの有意性をスキャンするステップであって、第２のトークンは有意なビットプレーンについて符号化表現において提供されるステップと、
（ｂ）選択された領域を所定の形状を有する２つまたは３つ上の部分領域に分割して選択された領域として部分領域の各々をセットするステップと、
（ｃ）選択された領域の係数が符号化されて符号化表現に提供されるように、選択され領域が所定のサイズを有するまで有意なビットプレーンからはじめてステップ（ａ）とステップ（ｂ）を反復するステップとを含む。
【００９３】
望ましくは、線形変換のステップはデジタル画像へディスクリート・ウェーブレット変換を適用するステップを含み、係数の選択された部分は最初に複数の係数全体、または係数のサブバンドを含む。
【００９４】
望ましくは、第１と第２のトークンは０と１のビット値を各々含む。
【００９５】
望ましくは、部分領域の所定のサイズは１×１係数である。さらに、１×１係数は各々の有意なビットプレーンから始まり対応するビット・シーケンスのビットを出力することにより符号化される。望ましくは、所定の最少ビットレベル以上の対応するビット・シーケンスのビットだけが符号化表現に出力される。
【００９６】
望ましくは、ステップ（ｃ）において、選択された領域の各ビットプレーンがスキャンされるまでステップ（ａ）とステップ（ｂ）が反復される。最低ビットレベル以上の選択された領域の各ビットプレーンがスキャンされる。
【００９７】
「画像処理方法Ａ」はデジタル画像を符号化する方法も提供し、当該方法は、多数のサブバンドを提供するようにディスクリート・ウェーブレット変換を用いて画像を分解するステップと、
各々のサブバンドについて、初期領域としてのサブバンドを選択し、以下のサブステップ：
（ａ）選択された領域の現在のビットレベルが有意か調べるステップと、
（ｂ）現在のビットレベルが有意な場合、符号化表現に第１のトークンを出力し、選択された領域を多数の等しいサイズの部分領域に分割するステップであって、各々の部分領域をさらに選択された領域として処理するステップと、
（ｃ）現在のビットレベルが有意でない場合、符号化表現に第２のトークンを出力して選択された領域の次に低いビットレベルを現在のビットレベルとして選択するステップと、
（ｄ）現在のビットレベルが指定された最低ビットレベルより小さくなるまで、または選択された領域が所定のサイズを有し選択された領域の係数が符号化表現に符号化されるまでステップ（ａ）からステップ（ｃ）を反復するステップ
を実行するステップとを含む。
【００９８】
望ましくは、選択された領域の係数はこれに対応する現在のビットレベルと最低ビットレベルの間のビットによって各々の係数を表わすことにより符号化される。
【００９９】
「画像処理方法Ａ」はデジタル画像を符号化する方法も提供し、当該方法は、ａ）デジタル画像を複数のブロックに分割するステップと、
ｂ）１つまたは２つ以上の解像度で複数のＡＣサブバンド領域と、各々のブロックについてのＤＣサブバンド領域とを提供するように、ブロックの各々にサブバンド変換を適用するステップと、
ｃ）選択された領域としてＤＣサブバンド領域を選択し以下のサブステップ：
ｃａ）選択された領域の現在のビットプレーンが有意か調べるステップと、
ｃｂ）現在のビットプレーンが有意な場合、符号化表現に第１のトークンを出力し選択された領域を多数の部分領域に分割するステップであって、各々の部分領域をさらに選択された領域として処理するステップと、
ｃｃ）現在のビットプレーンが有意でない場合、符号化表現に第２のトークンを出力して選択された領域の次に低いビットレベルを現在のビットレベルとして選択するステップと、
ｃｄ）現在のビットプレーンが指定された最低ビットプレーンより小さくなるまで、または選択された領域が所定のサイズを有し選択された領域の係数が符号化表現に符号化されるまでサブステップｃａ）からサブステップｃｃ）までを反復するステップ
を実行するステップと、
ｄ）各ブロックの残りの領域として実質的に全ての符号化されていないＡＣサブバンド領域を選択し最上位のビットプレーンから最下位ビットプレーンに向かって残りの領域の各ビットプレーンの有意性をスキャンし、有意なビットプレーンが決定されるまで各々の有意でないビットプレーンに対して第２のトークンを出力するステップと、
ｅ）現在の解像度レベルで選択された領域として１つまたは２つ以上のＡＣサブバンド領域をセットし、サブステップｃａ）からｃｄ）までを実行するステップと、
ｆ）現在の解像度レベルの実質的に全てのＡＣサブバンドが符号化されるまでステップｅ）を反復するステップと、
ｇ）各ブロックの全部のＡＣサブバンドが符号化されるまでステップｄ）からステップｆ）を反復するステップと、
を含む。
【０１００】
「画像処理方法Ａ」の他の態様としては、符号化表現が本発明の第１または第２の側面にしたがって作成され、デジタル画像の符号化表現を復号するための方法、符号化表現を提供するようにデジタル画像を表現するための装置、デジタル画像の符号化表現を復号するための装置、符号化表現を提供するようにデジタル画像を表現するためのコンピュータソフトウェアシステム、および符号化表現を復号するためのコンピュータソフトウェアシステムが挙げられる。
【０１０１】
「画像処理方法Ａ」法の実施例の概要を示すために高レベルブロック図が図２２に図示してある。入力画像１９０は線形変換が望ましい変換ブロック１９２に提供されて対応する変換係数１９４を生成する。ディスクリート・ウェーブレット変換（ＤＷＴ）を用いるのが望ましい。
【０１０２】
画像の２次元ＤＷＴは画像に対する低周波近似と３つの高周波細部コンポーネントを用いて画像を表現する変換である。従来、これらのコンポーネントはサブバンドと呼ばれている。ＤＷＴで形成された４枚の部分画像の各々はもとの画像のサイズの１／４である。低周波画像はもとの画像についての情報の大半を含む。この情報、またはエネルギー・コンパクションは、画像圧縮に活用されるディスクリート・ウェーブレット変換画像サブバンドの特徴である。
【０１０３】
単一レベルＤＷＴを低周波画像、またはサブバンドに対して再帰的に任意の反復回数だけ適用できる。例えば、画像の３レベルＤＷＴは、１回変換を適用してから変換によって得られた低周波サブバンドにＤＷＴを適用することで得られる。つまり、これにより９個の細かいサブバンドと１つの（非常に）低周波のサブバンドが得られる。３レベルＤＷＴの後でも、得られた低周波サブバンドはもとの画像についての相当量の情報を含んでおり、なおかつ６４分の１の小ささ（１／４×１／４×１／４）であることから、圧縮において係数６４倍となる。
【０１０４】
しかし、画像データを非相関させるための他の線形変換も本発明の範囲から逸脱することなく実行できる。例えば、ディスクリートコサイン変換（ＤＣＴ）を実行できる。変換係数１９４，または、さらに特定すれば符号化表現１９８を提供する効率的な方法でビット再構成ブロック１９６によりビット・シーケンスが表わす値を符号化する。
【０１０５】
復号処理は符号化処理の単なる逆である。符号化係数は変換係数に復号される。（変換ドメインの）画像は逆変換されてもとの画像、またはそのある程度の近似を形成する。
【０１０６】
「画像処理方法Ａ」は例えば図１，図２，図３に図示してあるようなコンベンショナルな汎用コンピュータを用いて実施するのが望ましく、図２４から図２７または図２９から図３２の処理がコンピュータ上で動作するソフトウェアとして実装される。さらに詳しくは、符号化および／または復号方法のステップはパーソナル・コンピュータ・システム９００によって実現されるソフトウェア内の命令により行なわれる。
【０１０７】
「画像処理方法Ａ」の実装の更なる説明を進める前に、以下で用いる術語の概略を提供する。数「ビットｎ」または「ビット数ｎ」の二進整数表現は最下位ビットの左側で２進数の桁ｎ番目を表わす。例えば、８ビットのバイナリ表現を仮定すると、十進数９は００００１００１で表わされる。この数で、ビット３は１に等しく、ビット２，ビット１，ビット０は各々０，０，１に等しい。
【０１０８】
変換符号化用途で、係数の可能な範囲を表わすために必要とされる係数あたりのビット数は線形変換と入力画素の（画素あたりビット数で）各画素の解像度により決定される。各画素の値の範囲は代表的には変換係数の大半の値に対して大きく、大半の係数はゼロが先行する大きな数を有する。例えば、数値９は８ビット表現で４個のゼロが先行し、１６ビット表現では１２個のゼロが先行する。本発明の実施例は、効率的な方法で、係数のブロックに対して、これらの先行するゼロを表現する（または符号化する）方法ならびにその装置を提供する。残りのビットと数値の符号は変更なしに直接符号化される。
【０１０９】
説明を簡略化して不必要に本発明を不明瞭にしないために、以降で変換係数は符号なし２進数の形で符号１ビットをつけて表現されるものと仮定する。つまり、十進数−９と９は同じビット列即ち１００１で表わされ、前者は１に等しい符号ビットで負の値であることを表わし、後者は０に等しい符号ビットで正の値を表わす。先行するゼロの個数は変換係数の範囲によって決まる。整数表現を用いる場合に、係数はすでに暗黙のうちに最も近い整数値へ量子化されているが、これは本発明の本実施例では必ずしも必要ではない。さらに、圧縮目的で、小数点以下のビットに含まれる何らかの情報は通常無視される。
【０１１０】
領域は一組の連続的な画像係数で構成される。係数という述語は、以降で画素と相互交換可能なように使用されるが、当業者には良く理解されるように、前者は変換ドメイン（例えばＤＷＴドメイン）内の画素を表わすために用いられるのが代表的である。
（「画像処理方法Ａ」の符号化処理）
図２４は好適実施例による画像符号化の方法を示すフロー図である。ステップ３０２において、入力画像を用いて処理が開始される。ステップ３０４で、入力画像は線形変換望ましくはディスクリート・ウェーブレット変換を用いて変換される。最初の領域は画像全体となるように定義される。例えば、入力画像の３レベルＤＷＴの場合、得られる係数は１０個のサブバンドから構成され領域として指定できる。これ以外に、各々のサブバンドを別々に処理し、各々の初期領域を問題とするサブバンド全体に設定することができる。
【０１１１】
ステップ３０６では、絶対値が最大の変換係数の最上位ビット（ＭＳＢ）が決定され、パラメータmaxBitNumberがこの係数値にセットされる。例えば、最大の変換係数が二進数の値００００１００１（十進数９）の場合、パラメータmaxBitNumberは３にセットされるが、これはＭＳＢがビット番号３であるためである。これ以外に、パラメータmaxBitNumberは絶対値が最大の変換係数のＭＳＢより大きい何らかの値となるようにセットしても良い。
【０１１２】
さらに、ステップ３０６で、符号化パラメータminBitNumberが符号化画像品質を指定するようにセットされる。さらに詳しくは、この符号化パラメータは、変換される画像の全ての係数の精度を指定し、必要に応じて変更できる。例えば、minBitNumberが３では、値が１より元の画像の再現がより粗くなる。
【０１１３】
オプションとして、本技術が入力画像の符号化表現で出力ヘッダを提供するステップ３０８を含む。こうすれば、実際上の実装において、ヘッダ情報は符号化表現の一部として出力される。例えば、本発明の実施例の出力ヘッダは、画像の高さと幅、ＤＷＴのレベル数、ＤＣサブバンドの平均値、パラメータmaxBitNumber、パラメータminBitNumberを含むソース画像についての情報を含む。
【０１１４】
ステップ３１０が始まると、変換画像の各々のサブバンドがステップ３１２とステップ３１４で別々に符号化される。各サブバンドは独立して、低周波から高周波の順番に符号化される。ＤＣサブバンドでは、符号化の前に平均値が除去されステップ３０８でヘッダ情報に符号化される。ステップ３１２では、各々のサブバンドはサブバンド全体として初期領域をセットすることにより符号化される。ステップ３１４では、パラメータとしてmaxBitNumberおよびminBitNumberにより領域が符号化される。これは、画像の低解像度バージョンが高解像度以前にビットストリームに符号化されるため階層化コードを提供する。処理はステップ３１６で終了する。
【０１１５】
図２５は各々の領域を符号化するために図２４のステップ３１４でコールされる手順"Code region(currentBitNumber,minBitNumber)の詳細なフロー図である。ここでmaxBitNumberがcurrentBitNumberとして提供される。ステップ４０２で処理が始まる。図２５の領域符号化処理への入力はcurrentBitNumberとminBitNumberパラメータを含む。望ましくは、本方法は、選択された領域または部分領域で処理がそれ自体をコールできるような再帰的技術として実装される。しかし、処理は本発明の範囲と趣旨から逸脱することなく非再帰的な方法で実装してもよい。
【０１１６】
決定ブロック４０４で、currentBitNumberパラメータがminBitNumberパラメータより小さいか判定するチェックを行なう。それ以外に、決定ブロック４０４が真（イエス）を返す場合には何も行なわずに処理はステップ４０６の呼び出し手順に戻る。この条件は、選択された領域のあらゆる係数がminBitNumberより小さいＭＳＢ番号を有することを表わしている。決定ブロック４０４が偽（ノー）を返す場合、処理は決定ブロック４０８に進む。
【０１１７】
決定ブロック４０８では、選択された領域が１×１画素か調べるチェックを行なう。決定ブロック４０８が真（イエス）を返す場合、処理はステップ４１０に進む。ステップ４１０では、１×１画素が符号化される。望ましくは、これは符号化表現にminBitNumberより上の残りのビットを直接出力することからなる。ステップ４１２では、処理は呼び出し手順に戻る。それ以外の場合、決定ブロック４０８が偽（ノー）を返す場合、領域は１つ以上の係数から構成されており処理は決定ブロック４１４に続く。
【０１１８】
決定ブロック４１４では、有意かどうか決定するために選択領域をチェックする。つまり、領域の有意性を調べる。領域内で各々の係数のＭＳＢがcurrentBitNumberパラメータの値より小さい場合には領域は有意でないとされる。領域有意性の考え方を正確にするため、式（１）に数学的定義を掲載する。任意のビット番号で、仮にcurrentBitNumber＝ｎで、領域は次のような場合に有意でないとされる：
【０１１９】
【数１】

【０１２０】
ここでＲは領域、またｃijはこの領域内の係数(i,j)を表わす。
【０１２１】
決定ブロック４１４が偽（ノー）を返した場合、処理はステップ４１６に続く。ステップ４１６では、値０（すなわち第１のトークン）が符号化表現ストリームに出力され、currentBitNumberパラメータが１だけデクリメントされる。つまり、この領域の次に低いビットプレーンが処理のために選択される。処理は決定ブロック４０４に続き、ここでパラメータcurrentBitNumber-1とminBitNumberによりその領域が再処理される。それ以外の場合、決定ブロック４１４が真（イエス）を返した場合、つまり領域が有意な場合、処理はステップ４１８に続く。
【０１２２】
ステップ４１８では、値１（すなわち第２のトークン）が符号化表現ストリームに出力される。ステップ４２０では、指定した分割アルゴリズムを用いて選択領域が所定数（望ましくは４）の部分領域に分割される。使用する分割アルゴリズムでコーダに分かっている。
【０１２３】
本発明の本実施例では正方形領域を使用する。領域は４個の等しいサイズの（正方形）部分領域に分割されるのが望ましい。図２３に図示してあるように、選択領域（Ｒ）２００はＭ×Ｍ係数のサイズを有し４つの等しいサイズの部分領域２１０，２１２，２１４，２１６に分割される。部分領域の各々はＮ×Ｎのサイズで、ＮはＭ／２に等しい。初期領域のサイズと形状によってはこれが常に可能になるわけではない。不可能な場合には、初期領域を多数の正方形領域に分割し、各々が２のべき乗の寸法を取るようにし、これらの区画を別々に符号化できる。いずれの場合にも、インテリジェントな方法で行なわれれば総合的な結果に対してこの初期化がもたらす影響は最少である。別の実施例においては、ブロック単位のコーダに適している異なる分割が用いられる。
【０１２４】
ステップ４２２では、各々の部分領域が同じcurrentBitNumberとminBitNumberパラメータで符号化される。これは図２５の手順 "Code region (currentBitNumber,minBitNumber)"の再帰的呼び出しを用いて行なうのが望ましい。部分領域の符号化は並列にまたは逐次的に実施できる。後者の場合、処理は低周波サブバンドから高周波サブバンドへ向かって始める。
【０１２５】
符号化表現において、変換係数はcurrentBitNumberからminBitNumberへ画素ビットを単純に出力することで符号化する。望ましくは、標記にしたがい係数ビットの幾つかが非ゼロの場合にのみ符号を出力する。例えば、currentBitNumber=3の場合で、minBitNumber=1であれば、−９（００００１００１）は符号ビット「１」に続く「１００」に符号化される。
（好適実施例の復号処理）
図２６は、図２４および図２５の処理を用いて得られた画像の符号化表現を復号する方法を示すフロー図である。ステップ５０２において、符号化表現を用いて処理を開始する。ステップ５０４では、ヘッダ情報が符号化表現から読み取られてもとの画像のサイズを決定し、これによって初期領域サイズを決定する。また、maxBitNumber（符号化処理における初期のcurrentBitNumberに等しい）やminBitNumberなどの情報が入力される。更なる情報としてはＤＣサブバンドの平均値などが挙げあれる。
【０１２６】
ステップ５０６では、各サブバンドの復号が各々のサブバンドへ領域を設定することから開始される。ステップ５０８では、maxBitNumberとminBitNumberパラメータを用いて選択領域が復号される。ステップ５１０では、逆ＤＷＴを復号した選択領域にて起用する。処理はステップ５１２で終了する。
【０１２７】
図２７は手順コール"Decode region(currentBitNumber, minBitNumber)を用いて各領域を符号化するための図２６のステップ５０８の詳細なフロー図である。ここでmaxBitNumberはcurrentBitNumberとして提供される。ステップ６０２で処理が始まる。図２７の領域復号処理への入力はcurrentBitNumberとminBitNumberパラメータである。また、本方法は再帰的技術として実装するのが望ましい。しかし、本発明の趣旨と範囲から逸脱することなく処理を非再帰的な方法で実現することもできる。
【０１２８】
決定ブロック６０４では、currentBitNumberがminBitNumberより小さいか決定するチェックを行なう。決定ブロック６０４が真（イエス）を返す場合、処理はステップ６０６に続き、ここで呼び出し手順に処理が復帰する。それ以外の場合、決定ブロック６０４が偽（ノー）を返した場合、処理は決定ブロック６０８に続く。
【０１２９】
決定ブロック６０８では、選択領域が１×１画素のサイズを有するか決定するチェックを行なう。決定ブロック６０８が真（イエス）を返す場合、処理はステップ６１０に続く。ステップ６１０では、１×１領域が復号される。処理はステップ６１２で呼び出し手順に戻る。決定ブロック６０８が偽（ノー）を返した場合、処理はステップ６１４に続く。ステップ６１４では、符号化表現からビットが入力される。
【０１３０】
決定ブロック６１６では、ビットが１に等しいか決定するチェックを行なう。即ち領域が有意か決定するために入力をチェックする。決定ブロック６１６が偽（ノー）を返した場合処理はステップ６１８に進む。ステップ６１８では、currentBitNumberが決定され、処理は決定ブロック６０４に続く。それ以外の場合、決定ブロック６１６が真（イエス）を返した場合、処理はステップ６２０に進む。ステップ６２０では、領域が所定の個数（望ましくは４）の部分領域に分割される。ステップ６２２では、部分領域の各々がcurrentBitNumberとminBitNumberを用いて復号される。好適実施例において、これは図２７に図示してある処理への再帰的呼び出しを用いて行なわれる。ステップ６２４で処理は呼び出し手順に戻る。
【０１３１】
このように、エンコーダでの有意性の決定から出力されたビットがアルゴリズムのどのパスを取るかデコーダに指示し、こうしてエンコーダに倣う。画素とおそらくは符号も適当なビット数（currentBitNumberからminBitNumberまで、及び、それらに非ゼロがある場合には符号ビット）で単純に読み出すことにより復号される。
（２次元的な例）
本方法は大半の変換係数の先行するゼロを効率的に符号化し、一方で最上位ビットから所定の最下位ビットへ、パラメータminBitNumberにより指定されるビットを符号化し、符号は単純にそのままとする。このようにして、本発明の好適実施例ではうまく先行するゼロを表現している。本方法はある状況で、即ちディスクリート・ウェーブレット変換画像係数の符号化で非常に有効であり、代表的には広いダイナミックレンジが示される。代表的には少数の係数が非常に大きな値を有しているが、大半は非常に小さい値を有している。
【０１３２】
４×４係数を含む２次元領域の符号化の例について、図２８Ａから図２８Ｄを参照して説明する。図２８Ａの４×４領域７００の処理は、係数全部のうちで最大のビット番号（ビットプレーン）である７にmaxBitNumberをセットして開始する。
【０１３３】
【数２】

【０１３４】
図示の目的では、minBitNumberは３にセットされる。ヘッダはmaxBitNumberとminBitNumberを含む符号化表現に出力されるのが望ましい。領域７００を符号化する処理は次のように進む。
【０１３５】
currentBitNumber＝７で、領域７００はビット番号７（図２５の決定ブロック４０４，４０８，４１４およびステップ４１８を参照）に対して有意であるから出力される。領域７００は、図２８Ａの左上の領域７１０，右上の領域７１２，左下の領域７１４，右下の領域７１６の４個の部分領域に分割される（図２５のステップ４２０参照）。部分領域各々は２×２係数で構成される。
【０１３６】
図２８Ａの部分領域７１０，７１２，７１４，７１６はさらに図２８Ｂに図示してある所定の処理シーケンスで符号化される。領域７５０は４個の部分領域７５０Ａ〜７５０Ｄで構成される。図面に示してある３本の矢印は処理の順番またはシーケンス、即ち左上の部分領域７５０Ａ、右上の部分領域７５０Ｂ、左下の部分領域７５０Ｃ、右下の部分領域７５０Ｄそれぞれの処理を表わす。
【０１３７】
図２８Ａの部分領域７１０は最初に符号化される（図４のステップ４２２参照）。currentBitNumberが７に等しい場合、１が符号化表現に出力される。部分領域７１０は十進数の値２００，１３，−１３，３を有する４個の１×１画素に分割される。これらの係数の各々はcurrentBitNumber＝７からminBitNumber＝３までの各係数のビットを出力することで符号化される（図２８の決定ブロック４０８とステップ４１０参照）。符号ビットは必要なら出力される。このようにして、十進数での値が２００なら符号ビット０に続けて１１００１と符号化される。係数値１３は符号ビット０付きで００００１として符号化される。係数値−１３では符号ビット１のついた００００１に符号化される。最後に、係数値３は０００００（符号ビットなし）に符号化される。各係数の符号化表現は、currentBitNumberとminBitNumberの間に、係数「２００」のビットに先行する２個の「１」ビットを含む。これで左上の部分領域７１０の符号化が完了する。この状態での符号化出力は次のようになる：
【０１３８】
【数３】

【０１３９】
ヘッダ情報は前述の表現に示していない。
【０１４０】
右上の部分領域７１２が次に符号化される（図２８Ｂ参照）。領域７１２は、７，６，５，４に等しいcurrentBitNumberの各々について有意でないので、これらのビット番号で０が出力される。currentBitNumber＝３では１が出力されるが、これはビットプレーンがビット番号３に対して有意であるためである。部分領域７１２は値−１１，−８，−４，−３を有する１×１画素４個に分割される。これらの十進数の値は、符号ビット１のついたビット値１，符号ビット１のビット値１，符号ビットなしのビット値０，０に各々符号化される。つまりこの段階で、符号化表現は次のようになる：
【０１４１】
【数４】

【０１４２】
左下の部分領域７１４が次に符号化される。領域７１４は、７，６，５，４に等しいcurrentBitNumberの各々について有意でないので、これらのビット番号で０が出力される。currentBitNumber＝３では１が出力されるが、これはビットプレーンがビット番号３に対して有意であるためである。部分領域７１４は値８，１，２，−１を有する１×１画素４個に分割される。これらが各々、符号ビット０の２進数１、および符号ビットのない２進数０，０，０に符号化される。
【０１４３】
最後に、値−２，−２，−３，−３を有する右下の部分領域７１６が符号化される。currentBitNumber＝７，６，５，４，３の各々で部分領域７１６がこれらのビット数に対して有意ではないため０を出力する。符号ビットは出力されない。つまり符号化表現は次のようになる：
【０１４４】
【数５】

【０１４５】
デコーダは単純に符号化処理にならって図２８Ｃに図示したように符号化表現から領域を再構成する。
【０１４６】
復号処理は多数の方法で「よりスマート」に行なうことができる。このような「よりスマート」な方法の１つが図２８Ｄに図示してある。この場合、非ゼロ係数の大きさは２のminBitNumberのべき乗の半分ずつ各々増加する。これが図２８Ｄに図示してある。このようにすると、「スマート」な復号処理は、復号した係数ともとの係数の間の平均二乗誤差を一般的に減少できる。さらに、エンコーダはこれ以外にもこの（種の）演算を実行でき、これによってデコーダに図２８Ｃに図示した最も簡単な方法を利用させる。
（他の「画像処理方法Ａ」の符号化処理）
他の「画像処理方法Ａ」法による符号化処理について、図２９から図３２を参照して説明する。図２９から図３２に図示したフロー図に図示してある処理は前述した処理に対応する汎用コンピュータ・システム９００上で動作するソフトウェアを用いて実装できる。
【０１４７】
デジタル画像全体のディスクリート・ウェーブレット変換はブロック単位で実行できる。各ブロックでの変換の結果は一組の係数となり、これは基本的に画像全体のディスクリート・ウェーブレット変換の一組の空間的に対応する係数と等しい。例えば、画像全体についてのディスクリート・ウェーブレット変換の所定の係数の組から、デジタル画像の一部またはブロックを指定された細部まで再現できる。周波数ドメインから所定の係数の組を選択することは実質的に空間ドメインからのデジタル画像（ブロック）の対応する部分を表現することになる。デジタル画像のブロック単位のディスクリート・ウェーブレット変換は、画像を複数ブロックに分割し各ブロックに対して独立して変換を適用することにより実行でき、これによって実質的に現在の空間的な位置に関連したＤＷＴ係数を評価することができる。ブロック単位の変換アプローチを採用する利点は、画像の他のブロックとの最小限の相互作用で（実質的に独立して）ブロックを実質的に符号化できることである。ブロック単位の技術は本質的にメモリーにローカライズされており、そのためコンピュータ・システムを用いて実現した場合には一般に効率的である。
【０１４８】
図２９は本発明の他の実施例によるブロック単位の符号化処理を示すフロー図である。処理はステップ８０２から始まる。ステップ８０４で、ヘッダが出力される。この情報は画像の高さと幅、ＤＷＴのレベル数、２個のパラメータmaxBitNumberとminBitNumberを含むのが望ましい。オプションとして、用途によっては多少なりともヘッダ情報を使用できる。
【０１４９】
符号化パラメータmaxBitNumberは様々な方法で選択できる。全ての画像ブロックについて、これらのうちのどれかを符号化する前にブロックＤＷＴを実行する場合、maxBitNumberは全部のＤＷＴブロックにわたる最大の係数のＭＳＢ番号となるように選択できる。例えば、最大の係数が１００００００１（十進数１２９）だとすると、maxBitNumberはＭＳＢがビット番号７であるため７にセットされる。これ以外に、入力画像の変換と解像度によって決まる決定閾値を用いることができる。例えば、８ビット入力画像（７ビットと符号にレベルがシフトされる）およびハール変換では、最大のＭＳＢはＪ＋７で区切られ、ＪはＤＷＴのレベル数である。ブロックが小さい場合、このパラメータの選択は圧縮に対して有意な影響を有することがある。場合によっては、maxBitNumberを選択するもっと洗練された方法を用いることがある。しかし、これは特定のアプリケーションに依存する。
【０１５０】
パラメータminBitNumberは圧縮比に対する画質の兼ね合いを決定し変更できる。例えば、ほぼ直交に近い変換では、値３が８ビットグレースケールまたは２４ビットＲＧＢ画像で充分な画質を提供する。
【０１５１】
ステップ８０６では、画像がブロックに分解される（または画像ブロックが形成される）。画像は重複するブロックに分割されるのが望ましい。しかし、重複しないブロックを用いることもある。係数のブロックはもとの画像全体と同程度の大きさとするか、または８×８係数（３レベル変換で）と同程度の小ささにできる。メモリーの少ないアプリケーションでは、できる限り小さいブロックを使用する。一般に、１６係数のブロックサイズが、３乃至４レベルＤＷＴによる高レベルの圧縮に充分である。３レベルＤＷＴでの８×８係数のブロックサイズは各ブロックのＤＣ係数に対して差動パルス符号変調（ＤＰＣＭ）を用いることで良好な符号化効率を維持できる。
【０１５２】
ステップ８０８で、各ブロックはレベルシフトされ変換が実行される。望ましくは、ＤＷＴが使用される。画像値はレベルシフトされ（例えば、８ビット画像では１２８だけシフトされる）、望ましくない平均バイアスを減少または排除し、画像の各々の空間ブロックが変換される。ＤＷＴでは、現在のブロックを包囲するブロックについての何らかの知識が必要とされるのが普通だが（また逆ＤＷＴでも同様だが）、これは厳密には必要とされない。
【０１５３】
ステップ８１０では、maxBitNumberとminBitNumberパラメータを用いてブロックを符号化する。処理はステップ８１２で終了する。
【０１５４】
ブロックを符号化するステップ８１０が図３０のフロー図に詳細に図示してある。図３０のブロック符号化処理への入力はcurrentBitNumberおよびminBitNumberパラメータを含む。処理はステップ１００２で始まる。決定ブロック１００４では、currentBitNumberがminBitNumberより小さいか決定するチェックを行なう。決定ブロック１００４が真（イエス）を返した場合、処理はステップ１００６に進む。ステップ１００６では、実行が呼び出し処理に返され、これによってブロック内の全ての係数がminBitNumberより小さいＭＳＢ番号を有することを表わす。それ以外の場合で、決定ブロック１００４は偽（ノー）を返すと、処理は決定ブロック１００８に進む。
【０１５５】
決定ブロック１００８では、現在のブロックが有意か決定するチェックを行なう。決定ブロック１００８が偽（ノー）を返した場合、処理はステップ１０１０に進む。ステップ１０１０では、符号化表現に０が出力されてcurrentBitNumberがデクリメントされ、言い換えれば次に低いビットプレーンを選択する。処理は決定ブロック１００４に進む。これ以外の場合、決定ブロック１００８が真（イエス）を返した場合、処理はステップ１０１２に進む。
【０１５６】
ステップ１０１０と併せて決定ブロック１００４と１００８により処理はブロック内で最大の係数のＭＳＢ番号を見つけ出すことができるようになる。ブロック内の全ての係数のＭＳＢ番号がcurrentBitNumberより小さければcurrentBitNumberに対してブロックは有意でない。これは、ブロックのビットプレーンが有意かまたはminBitNumberよりcurrentBitNumberが小さくなるまで反復される。
【０１５７】
ステップ１０１２で、ビットプレーンが有意であることを表わすように、符号化表現には１が出力される。ステップ１０１４では、ＤＣサブバンドが符号化される。ステップ１０１６では、ブロックの細部が、パラメータＪ，currentBitNumber，minBitNumberを用いて符号化される。ステップ１０１８では、実行が呼び出し手順に戻る。つまり、ブロックが有意であれば、ステップ１０１２，１０１４，１０１６が実行され、（一般化）クワドツリー・セグメンテーションを用いてminBitNumberより大きなＭＳＢ番号を有する全ての係数を見付けようとする。ブロックが有意な場合には、ＤＣサブバンド係数と残りの係数から構成されレベルＪに対して「ブロック細部」と呼ばれるブロックの、２個の「サブブロック」に分割される。これは全ての低いレベルでレベルＪのブロックについての高周波情報を表わすためである。
【０１５８】
ＤＣサブバンド符号化についての図３０のステップ１０１４が図３２のフロー図で詳細に図示してある。つまり、図３２はcurrentBitNumberとminBitNumberパラメータを使用するサブバンドまたはサブブロックの符号化処理を示している。ステップ１２０２で処理が始まる。決定ブロック１２０４では、currentBitNumberがminBitNumberより小さいか判定するチェックを行なう。決定ブロック１２０４が真（イエス）を返したなら、処理はステップ１２０６に続く。ステップ１２０６では、実行が呼びだし手順に戻る。それ以外の場合、決定ブロック１２０４が偽（ノー）を返した場合、処理は決定ブロック１２０８に進む。
【０１５９】
決定ブロック１２０８では（サブバンドの）ブロックサイズが１×１画素か調べるチェックを行なう。決定ブロック１２０８が真（イエス）を返した場合、処理はステップ１２１０に進む。ステップ１２１０では、１×１画素が符号化される。これは、必要なら符号ビットに続けて、currentBitNumberとminBitNumberを含め、これらの間にあるビットを出力することによる。処理はステップ１２１２で呼びだし手順に戻る。それ以外の場合、決定ブロック１２０８が偽（ノー）を返したなら、処理は決定ブロック１２１４に進む。
【０１６０】
決定ブロック１２１４では、（サブバンドの）ブロックが有意か調べるチェックを行なう。決定ブロック１２１４が偽（ノー）を返した場合、処理はステップ１２１６に進む。ステップ１２１６では、符号化表現に０が出力されcurrentBitNumberがデクリメントされる。処理は決定ブロック１２０４に続く。それ以外の場合で、決定ブロック１２１４が真（イエス）を返したなら、処理はステップ１２１８に進む。
【０１６１】
ステップ１２１８では、（サブバンド）ブロックが有意であることを表わすよう１が符号化表現に出力される。ステップ１２２０では、（サブバンドの）ブロックが４個のサブブロックに分割される。ステップ１２２２では、図３２の処理に再帰的呼び出しを行ない、currentBitNumberとminBitNumberを用いて各々のサブブロックを符号化する。ステップ１２２４では、実行が呼び出し手順に戻る。
【０１６２】
つまり図３２に図示した処理では、サブバンドまたはそのサブブロックが符号化される。最大のＭＳＢ番号は前述のように分離される。サブブロックが１つの画素だけで構成される場合、単一の係数として符号化される。それ以外の場合、currentBitNumberがデクリメントされて、currentBitNumberがminBitNumberより小さくなるまで、またはサブバンド（サブブロック）が有意になるまで符号化表現には０が出力される。サブバンド（サブブロック）が有意な場合、４個の（できるだけ等しくなるように）サブブロックに分割され、これらがさらに符号化される。単一の係数、例えばＤＣ係数は、currentBitNumberからMINBINNへ係数ビットを出力することにより符号化される。また、符号は係数ビットの幾つかが非ゼロの場合にだけ出力するのが望ましい。
【０１６３】
ブロック細部を符号化するための図３０のステップ１０１６は図３１のフロー図に図示してある。ステップ１１０２で処理が始まる。決定ブロック１１０４では、currentBitNumberがminBitNumberより小さいか判定するチェックを行なう。決定ブロック１１０４が真（イエス）を返した場合、ステップ１１０６で実行は呼び出し手順に戻る。それ以外の場合、決定ブロック１１０４が偽（ノー）を返したならには、処理は決定ブロック１１０８へ進む。
【０１６４】
決定ブロック１１０８では、ブロック（細部）が有意か判定するチェックを行なう。決定ブロック１１０８が偽（ノー）を返した場合、処理はステップ１１１０に進む。ステップ１１１０では、符号化表現に０が出力されcurrentBitNumberがデクリメントされる。処理は決定ブロック１１０４に進む。それ以外の場合には、決定ブロック１１０８が真（イエス）を返したなら、処理はステップ１１１２に進む。
【０１６５】
ステップ１１１２では、ブロック（細部）が有意であることを表わすよう符号化表現に１が出力される。ステップ１１１４では、ハイ−ロー（ＨＬ）、ロー−ハイ（ＬＨ）、ハイ−ハイ（ＨＨ）周波数サブバンドの各々が符号化される。各々の解像度のＨＬ，ＬＨ，ＨＨ周波数サブバンドは共通にＡＣサブバンドと呼ばれる。これらのサブバンドの各々は図３２の処理にしたがって符号化される。ステップ１１１６では、（ブロック細部が存在する場合）図３１に図示してある処理への再帰的呼び出しにより、パラメータＪ−１，currentBitNumber，minBitNumberを用いてブロック細部が符号化される。ステップ１１１８で実行は呼び出し手順に戻る。
【０１６６】
このように、レベルＪでのブロック細部は最大の係数のＭＳＢ番号を最初に分離するように処理される。これはcurrentBitNumberをデクリメントしてブロックが有意になるまでゼロを出力することにより行なう。ブロックは次にレベルＪでの３個の高周波サブバンドとレベルＪ−１について（Ｊ−１が０より大きい場合）ブロック細部に分割される。この分割アプローチはいわゆる１／ｆ形式のスペクトルモデルにより誘導される。
【０１６７】
他の「画像処理方法Ａ」法での復号処理は図２９から図３２を参照して説明した符号化処理に倣うことにより実現できる。
【０１６８】
したがって「画像処理方法Ａ」は、画像を記憶するか送信するかのいずれか或いは両方のために表現が適しているような効率的かつ柔軟性のある方法でデジタル画像データを表現するための方法ならびに装置を提供する。符号化技術は一般に変換係数のアレイを表わすために使用でき、またディスクリート・ウェーブレット変換ドメインにおいて画像を表現することにより効率的な表現を提供するために使用できる。さらに詳しくは、実施例は入力画像から取得した変換係数のブロックの先行するゼロを表現する（または符号化する）方法ならびにその装置を提供する。本技術は、任意のサイズのコードで元の画像の良好な再現を与える点に関してと、高速な復号処理を提供する点に関して効率的である。さらに、本技術は線形変換から得られた係数がエントロピー符号化を使用することなく独立して符号化される点で柔軟性がある。実施例の有利な側面としては符号化の深さ第１の性質が挙げられる。さらに、サブバンドを符号化する場合、本発明の有利な側面には各々のサブバンドを別々に階層符号化することが含まれる。
【０１６９】
【図面の簡単な説明】
【図１】実施例のパーソナル・コンピュータ・システムの構成例を示す図である。
【図２】図１のシステムの概要ブロック図である。
【図３】図１および図２の構成を包含するハードウェアならびにソフトウェアを含むサムネイル管理システムを示す図である。
【図４】ひとつの実施例による画像をズームアップまたはズームダウンする最初と最後の段階を示す図である。
【図５Ａ】ズームアップする場合の画像の中間段階の例を示す図である。
【図５Ｂ】ズームアップのための別の構成を示す図である。
【図５Ｃ】ズームアップのための別の構成を示す図である。
【図６】ズームダウンする場合の画像の中間段階の例を示す図である。
【図７Ａ】一般化した実施例によるズーミング処理でのステップを模式的に示す図である。
【図７Ｂ】一般化した実施例によるズーミング処理でのステップを模式的に示す図である。
【図８】２２個のサムネイルを６グループにした模式図で、各グループはそれぞれの収容領域にあり、収容領域のひとつが伸縮され実施例のアスペクト比ズーミング処理によりレイアウトされる様子を示す図である。
【図９】実施例によるアスペクト比ズーミング処理にしたがって図８のサムネイルのグループのスケーリングを示す模式図である。
【図１０】最大限に表示可能な領域のアスペクト比とは異なるアスペクト比を有する収容領域を用いる不利な側面を示す図である。
【図１１】最大限に表示可能な領域のアスペクト比とは異なるアスペクト比を有する収容領域を用いる不利な側面を示す図である。
【図１２】最大限に表示可能な領域のアスペクト比とは異なるアスペクト比を有する収容領域を用いる不利な側面を示す図である。
【図１３】実施例の処理により最大限表示可能な領域と同じアスペクト比を有するそれぞれの収容領域で、図８のサムネイルの幾つかのグループのレイアウトおよびスケーリングを表わす模式図である。
【図１４】実施例の処理に従い最大限表示可能な領域と同じアスペクト比をそれぞれが有し、それぞれの収容領域に構成された４個のサムネイルグループの代表例を示す表示画面の写真である。
【図１５】図１４の収容領域のひとつのアスペクト比ズーミングを示し、親収容領域と最大限表示可能な領域の両方と同じアスペクト比を有する（部分）収容領域に構成されたサムネイルの（サブ）グループを表示する表示画面の写真である。
【図１６】好適実施例による処理を示すフロー図である。
【図１７Ａ】図１４および図１５の収容領域に適用される図４から図７の高速ズーム処理を示す図である。
【図１７Ｂ】図１４および図１５の収容領域に適用される図４から図７の高速ズーム処理を示す図である。
【図１７Ｃ】図１４および図１５の収容領域に適用される図４から図７の高速ズーム処理を示す図である。
【図１７Ｄ】図１４および図１５の収容領域に適用される図４から図７の高速ズーム処理を示す図である。
【図１８】別の実施例によるサムネイルの符号化を示すフロー図である。
【図１９】別の実施例によるサムネイルのスケーリングを示すフロー図である。
【図２０】図１から図９、および図１３から図１９の実施例の組合せによる使用を示す図である。
【図２１】図１から図９、および図１３から図１９の実施例の組合せによる使用を示す図である。
【図２２】「画像処理方法Ａ」処理による画像表現技術を示す高レベルでのブロック図である。
【図２３】「画像処理方法Ａ」処理による分割を示す略図である。
【図２４】「画像処理方法Ａ」処理による画像の表現または符号化の方法を示すフロー図である。
【図２５】図２４での領域のコーディングステップを示す詳細なフロー図である。
【図２６】図２４の方法にしたがって作成した画像のコード表現の復号方法を示すフロー図である。
【図２７】図２６における領域を復号するステップを示した詳細なフロー図である。
【図２８Ａ】図２４から図２６の符号化および復号方法にしたがった２次元８計数領域の処理を示す略図である。
【図２８Ｂ】図２４から図２６の符号化および復号方法にしたがった２次元８計数領域の処理を示す略図である。
【図２８Ｃ】図２４から図２６の符号化および復号方法にしたがった２次元８計数領域の処理を示す略図である。
【図２８Ｄ】図２４から図２６の符号化および復号方法にしたがった２次元８計数領域の処理を示す略図である。
【図２９】別の「画像処理方法Ａ」の方法による画像の表現または符号化方法を示すフロー図である。
【図３０】別の「画像処理方法Ａ」の方法による画像の表現または符号化方法を示すフロー図である。
【図３１】別の「画像処理方法Ａ」の方法による画像の表現または符号化方法を示すフロー図である。
【図３２】別の「画像処理方法Ａ」の方法による画像の表現または符号化方法を示すフロー図である。

Claims (9)

1. ディスプレイデバイス上で画像をズーミングする方法であって、
   第１の所定のサイズで第１の画像を表示するステップと、
   所定の画像サイズに前記第１の画像を拡大または縮小するステップと、
   前記拡大または縮小した画像の少なくとも１つを表示するステップと、
   第２の所定の画像サイズで第２の画像を表示するステップと
   を含み、
   前記拡大または縮小は前記第１の画像の画素を操作することにより前記第１の画像のサイズを調節することを含み、
   前記拡大は、少なくとも１つの画素値を提供するように画素のグループの値を数学的に操作することと、前記少なくとも１つの画素値を複製することを含むこととを特徴とする方法。
2. 前記第１の画像は符号化されたフォーマットでメモリー記憶手段に記憶され、前記表示するステップはさらに表示のために前記第１の画像の復号を含むことを特徴とする請求項１に記載の方法。
3. 前記第２の画像は符号化されたフォーマットでメモリー記憶手段に記憶され、前記表示するステップはさらに表示のために前記第２の画像の復号を含むことを特徴とする請求項１に記載の方法。
4. 前記符号化フォーマットは圧縮画像フォーマットであることを特徴とする請求項２または請求項３に記載の方法。
5. 前記圧縮画像フォーマットはウェーブレット符号化技術により実現されることを特徴とする請求項４に記載の方法。
6. 前記圧縮画像フォーマットはＪＰＥＧ符号化技術により実現されることを特徴とする請求項４に記載の方法。
7. 前記縮小は、少なくとも１つの画素値を提供するように画素のグループを数学的に操作することと、前記１つの画素値を前記グループに含まれるより小さい限られた個数の画素に割り当てることとを含むことを特徴とする請求項１に記載の方法。
8. ディスプレイデバイス上に表示するために画像をズーミングするための装置であって、
   第１の所定のサイズで前記画像の第１の表現を表示するための手段と、
   前記第１の表現を少なくとも１つのさらに所定のサイズに拡大または縮小するための手段と、
   前記拡大または縮小した表現を前記更なる所定のサイズの各々で表示するための手段と、
   前記画像の第２の表現を第２の所定のサイズで表示するための手段とを含み、
   前記拡大または縮小は前記第１の画像の画素を操作することにより前記第１の画像のサイズを調節することを含み、
   前記拡大は、少なくとも１つの画素値を提供するように画素のグループの値を数学的に操作することと、前記少なくとも１つの画素値を複製することを含むこととを特徴とする装置。
9. ディスプレイデバイス上に表示する画像をズーミングするためのコンピュータ・プログラムが記録された、コンピュータで読み取り可能な記憶媒体であって、
   第１の所定のサイズで前記画像の第１の表現を表示するための手段と、
   前記第１の表現を少なくとも１つのさらに所定のサイズに拡大または縮小するための手段と、
   前記拡大または縮小した表現を前記更なる所定のサイズの各々で表示するための手段と、
   前記画像の第２の表現を第２の所定のサイズで表示するための手段としてコンピュータを機能させ、
   前記拡大または縮小は前記第１の画像の画素を操作することにより前記第１の画像のサイズを調節することを含み、
   前記拡大は、少なくとも１つの画素値を提供するように画素のグループの値を数学的に操作することと、前記少なくとも１つの画素値を複製することを含むこととを特徴とするコンピュータ・プログラムが記録された、コンピュータで読み取り可能な記憶媒体。

Images