JP4121958B2

JP4121958B2 - 対象領域を含む低帯域幅のための画像送信

Info

Publication number: JP4121958B2
Application number: JP2003539344A
Authority: JP
Inventors: シルバースタイン，ディー，エイモン; チェン，メイ; ムクハージー，デバーガ; サイード，アミール; レイ，ニルマルヤ
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2001-10-19
Filing date: 2002-10-10
Publication date: 2008-07-23
Anticipated expiration: 2022-10-10
Also published as: WO2003036985A1; US6882755B2; JP2005531821A; EP1437004A1; US20030077002A1; TWI239215B

Description

本発明は、画像データを２つの異なる表示画面エリアに表示するよう送信することに関し、特に、ユーザが関心のある領域又は対象領域（region of interest）を見ることができるように２つの異なるサイズの表示エリア間で表示するよう画像データを送信するシステム及び方法に関するものである。

携帯情報端末（PDA）等のハンドヘルド又はポータブル機器は、サーバ、データベース、及びインターネット等の情報ソースにリモートにアクセスする柔軟性をユーザに提供する。かかる機器はまた、元々デスクトップマシン用に設計されたソフトウェアを操作するために使用される。例えば、Microsoft社のデスクトップアプリケーションの多くはハンドヘルドマシン上で実行できる。ハンドヘルド機器を使用してこれらのタイプの情報ソースにアクセスする際に遭遇する主な欠点の１つは、ハンドヘルド装置の一層小さな表示エリアに画像データが適合しないことである。換言すれば、画像は、ハンドヘルド装置の一層小さな表示エリア内に「フィット」しない。

ハンドヘルド機器の表示エリアのサイズと実際の画像サイズとの不一致によりもたらされる問題を克服するために開発された１つの技法によれば、画像の一部のみをその一層小さな表示エリア内に表示する。次いで、ユーザは、ハンドヘルド機器入力インタフェイス（例えば、ペン型スキャナ（wand）、キー、ボタン、マウス等）を使用して画像の他の部分を見ることにより画像全体をナビゲートすることができる。例えば、ユーザがPDAを使用してウェブページにリモートアクセスする場合、PDAの表示エリア内にはウェブページのわずかな部分しか表示されず、ユーザはユーザインタフェイスを介してウェブページの他の部分にナビゲートする。このように画像の一部を参照することは、ユーザを困惑させ欲求不満にするものである。これは、ユーザが画像の何処を見ているかが不明瞭となり、このため画像のナビゲーションを行うことが困難になるからである。このため、部分的な参照は、大きなディスプレイ装置を意図した情報と対話することに対する主な障害のうちの１つを表すものである。部分的な参照に対する１つの代替策として、フルサイズの画像を表示エリアの小さな機器の一層小さな表示エリアに「縮小する（scale down）」という技法がある。しかし、この技法では、表示エリアのサイズのため、画像の詳細を見ることが困難になり又は不可能になることが多い。

別の既知の技法では、画像全体を一律に「縮小」するのではなく、選択された部分（すなわち対象領域）を相対的に低い縮小率で縮小する一方、画像の残りの部分に対し相対的に高い１つ又は複数の縮小率を使用することにより、PDAタイプの表示エリアに画像全体を表示する。このようにして、対象領域はユーザにより読み取ることが可能なものとなり、画像の残りの部分はナビゲーションのための前後関係を提供するのに十分な認識可能なものとなる。ユーザがユーザインタフェイスを用いて完全な画像の他の部分にナビゲートして新たな対象領域を選択する場合には、該新たな対象領域の縮小率が低減される（すなわち該領域が読み取り可能となるよう縮小率が低減される）一方、古い対象領域を含む画像領域の残りの部分が一層高い縮小率を使用して縮小される。この技法により、相対的に小さな表示エリアに表示される大きな画像に関するナビゲーションが容易になる。

上述したようなスケーリングされた画像を表示するための１つの既知の方法（図１Ａに示す）は、画像領域を、複数の周波数係数を含む周波数領域表現(frequency domain representation)へと変換し、次いで全ての周波数係数を画像のソースから宛先機器（例えばPDA）へと送信する、というものである。次いで逆の変換を行ってフルサイズの空間領域の画像領域を取得し、次いでその画像領域を空間領域における所望のサイズまで縮小する。この方法は、図１Ａに示されており、画像領域が周波数領域表現へと変換され、周波数係数アレイ10が宛先機器へ送信されるようになっている。逆変換は、該アレイを元の画像領域と同じサイズの空間的な画像データ11に戻すよう変換を行う。次いで、画像領域11が所望のサイズ12までスケーリングされる。この方法の問題は、該方法が全ての周波数係数の送信を必要とするため大量の帯域幅が必要になることにある。

図１Ａに示す方法の欠点は、ハンドヘルド機器を用いて画像ソースにリモートアクセスする際には必ず、限られた帯域幅を有する通信経路を介して画像データが無線送信されることが多いことである。小さな通信経路又は過度の負担のかかる通信経路は、情報ソースとハンドヘルド機器との間で送信することができるデータの量を制限することによって、ユーザがリモート情報に迅速にアクセスする能力を大きく妨げる可能性がある。このため、帯域幅使用を低減すると共に可能な限り多くの情報を提供するための強い動機付けが存在する。しかし、全ての周波数係数を送信することは、比較的大量の帯域幅を消費する傾向があり、結果的に、リモートアクセス時間が低速になり、又は画像データにリモートアクセスすることができなくなる可能性がある。このため、画像ソースとハンドヘルド機器との間でデジタル画像を帯域幅効率のよい態様で送信する方法が必要とされている。

本発明は一般に、ハンドヘルド機器（例えばPDA）の表示エリア等の小さな表示エリア内に、情報ソース（例えばサーバ）から発せられた大きな画像及びユーザインタフェイスを表示することに関するものである。更に、本開示は、情報ソースからハンドヘルド機器へ帯域幅を保存する態様で画像を送信するシステム及び方法を提供することに関するものである。

第１の表示エリアサイズに適応された画像データを一層小さな第２の表示エリアサイズを有する装置に送信するための送信方法及びシステムについて解説する。この送信方法及びシステムは、ユーザが、小さな表示エリアを有するハンドヘルド機器で大きな画像を見ることを可能にする。これは、大きな画像内の対象領域を拡大すると共に該対象領域の周囲の周辺領域を拡大しないことで、例えば画像の「魚眼」ビューをハンドヘルド機器の表示エリア内に表示させることにより達成される。

本システム及び方法によれば、第１の表示エリアサイズに表示されるよう適応された画像データを複数の領域に分割し、該各領域が対応する画像データブロックを有するものとなる。次いで各画像データブロックを、関連する係数のアレイを有するデータブロックの周波数領域表現に変換する。前記アレイの少なくとも一部から周波数係数を切り取る（crop）ことにより、該切り取りの量に応じて、空間領域内の対応する画像領域を、空間的にスケーリングする。次いで、切り取られたアレイと切り取られていないアレイとを、第２の表示エリアにスケーリングされた画像を表示するために、装置に送信する。一実施形態では、対象領域に対応する画像領域の係数アレイは切り取らず、対象領域の周辺の画像領域の係数アレイを切り取る。対象領域に対応する係数を、周辺領域についての係数の切り取られた部分と共に装置に送信する。これらの送信された係数を空間領域へと戻すことにより、第２の表示エリアに「魚眼」ビューをレンダリングする。

本発明の目的、特徴、及び利点は以下の詳細な説明に鑑み当業者には明らかとなろう。

一般に、本発明のシステム及び方法は、周波数領域における係数の切り取りを用いて空間領域において画像をスケーリングすることにより、特定のピクセル×ピクセル解像度を有する標準的なコンピュータ画面等の第１の表示エリアサイズに適応された画像を、一層小さな表示エリアサイズを有する装置へ送信する技術である。切り取られた係数を使用して第２の一層小さな表示エリア内に画像を表示する場合には、スケーリングされた画像が表示される。特定の実施形態では、第２の一層小さな表示エリアに表示される際に、画像の対象領域が画像の残りの部分よりも大きくなるように縮小されるように、周波数領域係数を切り取る。このようにスケーリングすることにより、読取可能な対象領域がユーザに提供され、及び画像の残りの部分はユーザによる容易な画像ナビゲーションが促進されるように縮小される。更に、本システム及び方法は、対象領域が変更された場合に、係数データの要求されたサブセットのみが送信されて、先に送信された係数と結合されるように、画像データを帯域幅効率のよい方法で装置に送信する技術である。

図１Ｂは、第２の一層小さな表示エリアサイズの表示エリア14を有する装置13に送信することが可能な、第１の表示エリアサイズに適応された様々な画像の例を示している。該例に示すように、かかる画像は、ウェブページ画像、リモートアクセスされているユーザのパーソナルコンピュータ（PC）のデスクトップの画像、又はデータベースの一部の画像を含むことができる。これらの画像の何れも、イントラネット、インターネット、又は直接接続によって送信することができる。更に、画像を無線で送信し又は有線接続（図示せず）によって送信することが可能である。画像には、サーバを介してアクセスすることが可能であり、又は直接アクセスすることが可能である。装置13は、少なくとも表示エリア、画像信号を受信する手段、及び該画像信号に対応する画像を表示エリア内に表示するよう該表示エリアを駆動する手段を有する、あらゆる装置とすることが可能である。かかるタイプの装置のいくつかの既知の例として、PDA、電話、携帯電話、及びラップトップが挙げられる。

図２は、第１の表示エリアサイズに適応された画像を第２の表示エリアサイズを有する装置に送信する方法の第１の実施形態を示したものであり、該実施形態は、画像を複数の領域に分割すること（ステップ20）を含み、その各領域は、対応するデータブロックを有するものとなる。例えば、図３は、複数の領域A〜Iに分割された画像30の一例を示しており、その各領域は、n×nピクセルの対応するデータブロックを有している。

各データブロックを、対応する周波数係数のアレイを生成するように周波数領域データ表現へと変換する（図２のステップ21）。このため、図３に示す例における各領域A〜Iに対応する各データブロックを周波数係数の対応するアレイに変換する。

本発明によれば、空間スケーリングのタスクが周波数係数の切り取り（cropping）によって達成される。このため、図１Ａに示す従来技術による方法（宛先機器への送信後に各領域のスケーリングを空間領域内で実行するもの）とは異なり、図２に示す方法は、スケーリングすべき領域の周波数アレイを切り取ることにより、それが空間領域へと再変換されたときに既に所望のファクタにスケーリングされているようにする。所与の画像をその周波数領域表現において周波数切り取りした後に空間領域に変換する効果は、それと同じ所与の画像を空間的にスケーリングする従来の技法と数学的に等価であって基本的に同じ結果をもたらすものとなる。このため、図２に示す方法によれば、アレイの一部の周波数係数を、空間領域内の画像の対応する領域の少なくとも一部をスケーリングするように、切り取り（ステップ22）、次いで、該切り取られた係数と残りの切り取られていない係数アレイとを装置に送信して、第２の表示エリア内にスケーリングされた画像を表示させる（ステップ23）。

図４は、空間的にスケーリングされた画像領域を取得するために周波数係数を切り取る概念を示している。本発明によるより帯域幅効率のよい方法では、まず、画像領域に対応する周波数係数アレイ40を、クライアント装置における表示サイズによって確定される所望のスケール40Aまで切り取る。必要な係数40Aのみをクライアント装置に送信し、再変換して、切り取られた係数の量に比例してスケーリングされた画像領域41を生成する。画像領域41は従来技術によるスケーリングされた画像領域12（図１Ａ）と同じように見える、ということに留意されたい。より大きなスケールの画像が望まれる場合、補足的な周波数係数40Bのみを送信すればよい。補足的な係数40Bを先に送信した係数40Aと結合することにより、元のサイズの画像領域42を生成することができる。送信された周波数係数にゼロを埋め込むことにより、画像をより大きなスケールまで更に拡大することができる、ということに留意されたい。

図４に示す方法を完全な画像に対して適用する場合を図５に示す。まず、完全な画像を複数の領域51に分割する。第２に、各領域を周波数係数52のアレイに変換する。次いで、これらの周波数係数を所望のスケール53まで切り取る。クライアント装置には必要な係数54のみを送信する。逆変換により所望のスケールの第２の表示55がもたらされる。図５に示す実施形態では、対象領域（ROI）に関連する周波数係数は切り取られず、そのため送信及び逆変換後に元のサイズに復元される、ということに留意されたい。上述したように、ROIに関連する送信された周波数係数にゼロを埋め込むことにより、ROIを更に拡大することができる。

このように、装置に必要な係数のみを送信し、装置では、逆変換によって、切り取られた周波数係数の程度に比例してスケーリングされた領域を有する第２の表示が生成される。より重要なことは、後により大きな画像が望まれる場合に、補足的な周波数係数のみを送信すればよいことである。これらの補足的な係数を先に送信した係数と結合することにより、スケーリングの度合いがより低い画像をレンダリングすることができる。この方式は必要なデータのみが送信されるため帯域幅効率がよく、送信された全てのデータを再使用することができる。

図６Ａ〜図６Ｃは、第２の一層小さな表示エリアに表示されるようにスケーリングされたフルサイズ画像の例を示している。図６Ａは、各々が関連する画像データブロックを有する領域に分割されたフルサイズ画像を示している。図６Ｂは、スケーリングされた画像を示している。図示するように、スケーリングされた画像のいくつかの領域は他の領域よりも高いスケーリングを有する。例えば、隅領域は、側部領域より大きくスケーリングされ、側部領域は中心領域より大きくスケーリングされている。この例では、中心領域（すなわち対象領域）をユーザが読取可能となるようスケーリングしているが、中心領域は全くスケーリングしなくてもよく、フルサイズで表示することが可能である。図６Ｃは、画像の考え得るスケール係数マッピングを示しており、この場合には、隅に対応するデータブロックを8：1の係数でスケーリングし、側部に対応するデータブロックを4：1の係数でスケーリングし、中心に対応するデータブロックを2：1でスケーリングしている。

図７Ａは、第１の表示エリアサイズに適応された画像データを、第２の一層小さな表示エリアに送信するシステム70の一実施形態を示しており、この実施形態は、画像分割部71を有しており、該画像分割部71は、第１の表示エリアサイズに適応された画像データ70Aを受け取って、その画像を複数の領域に分割し、その各領域が１つの画像データブロック71Aに対応するものとなる。本システムは更に、複数のデータブロック71Aの各々を対応する周波数領域表現72A（各表現が係数のアレイを含む）に変換する画像データ変換部72を有する。周波数係数の切り取り部73が、望ましいスケールによって係数のアレイを切り取ることにより、切り取られた係数73Aのブロックを生成するように作用する。送信器74は、係数の切り取られたブロック73Aと切り取られていないアレイ72Aとを送信する。一実施形態では、送信器は、送信の前に係数データ73A,72Aを圧縮するエンコーダ74Bを含む。別の実施形態では、周波数係数の切り取りを、選択された対象領域（すなわちROI）ポインタ信号に依存して実行する。

図７Ｂは、切り取られた周波数係数74Aを受信する受信器76を含む、スケーリングされた画像データ70Aを表示する装置75を示している。一実施形態では、受信器76は、圧縮された周波数データ74Aをデコードするデコーダ76Bを含む。受信器76は、デコードされた画像データ76Aを画像データ逆変換部77に提供して周波数係数を再び画像データ77Aに変換させる。該画像データ77Aは、第２の表示エリア79に表示される画像データを処理するディスプレイドライバ78に渡される。一実施形態では、本装置は、第２の表示エリア内の対象領域を識別するユーザインタフェイス79Bと、ROI信号をシステム70に送信する手段とを含む。

本発明のシステム及び方法の別の実施形態では、現在表示されているスケーリングされた画像内で新たな対象領域を識別し、次いで、補足的な周波数係数データを装置に送信して先に送信された周波数係数と結合することにより、完全な画像についての係数データを再送信する必要なしに、新たな対象領域に応じてスケーリングされた画像を表示することが可能である。補足的な周波数係数データは、係数の切り取られたブロックと切り取られていないブロックとを含む先に送信された係数と、新たな対象領域を考慮して確定された係数の新たな切り取られたブロックと切り取られていないブロックとを含む新たに確定された係数データとの差を表すものである。

図８は、新たな対象領域が識別される送信の方法の一実施形態を示している。この実施形態によれば、対象領域を含む複数の領域に画像を分割し（ステップ80）、その各領域が対応するデータブロックを有するものであり、その各データブロックを周波数領域表現に変換し（ステップ81）、空間領域において画像をスケーリングさせるために、各ブロックの周波数領域表現の少なくとも一部を対象領域に応じて切り取る（ステップ82）。次いで、切り取られたブロックと切り取られていないブロックとを含む係数データを装置に送信して第２の表示エリア内にスケーリングされた画像を表示させる（ステップ83）。この方法によれば、対象領域に応じて周波数係数を切り取ることにより、スケーリングされた画像が第２の表示エリアに表示された際に、対象領域がユーザにより「読取可能」となり、非対象領域がユーザによる画像のナビゲーションが可能となるよう識別可能となるようにする。

係数が送信されると、新たな対象領域を識別することができる（ステップ84）。対象領域の識別は、装置とインタフェイスするよう適応されたユーザインタフェイスを使用してユーザが第２の表示エリア内の領域を選択することにより行うことができる。例えば、ユーザは、「ペン型スキャナ(wand)」を使用して、触知可能なユーザ入力に応答する第２の表示エリア画面をポイントすることが可能である。代替的には、ユーザは、第２の表示エリア内に表示されるスケーリングされた画像内でナビゲートするための装置上のボタンを使用して、新たな対象領域を選択することが可能である。

識別された新たな対象領域に応じて、新たな係数の切り取られたブロックと新たな係数の切り取られていないブロックとを含む、新たな係数データを確定する（ステップ85）。これらの係数の切り取られたブロックと切り取られていないブロックとは、先に確定した切り取られた及び切り取られていない係数と同様の態様で確定する。特に、画像の領域に対応する複数のデータブロックの周波数領域表現を新たな対象領域に応じて切り取ることにより、画像の対象領域がユーザにより読取可能であるようにスケーリングされ、非対象領域は画像のナビゲーションを可能とするために十分に識別可能であるようにスケーリングされるようにする。

この送信方法の一実施形態によりスケーリングされた画像を装置に送信するために必要となる帯域幅を低減させるために、先に送信した係数データ（ステップ83）と新たな係数データとの差を表す係数のサブセットを確定する（ステップ86）。

該係数のサブセットを装置に送信し、該装置に先に送信された係数データと結合させて、新たな対象領域に応じてスケーリングされた画像を表示させる（ステップ87）。換言すれば、装置に送信された新たな対象領域に対応する係数データのサブセットを使用して、先に送信された係数データを全て格納しているバッファを本質的に更新し補足する。新たな対象領域を選択／変更する際に、追加の補足的な係数を送信する。

図８に示す方法によれば、図９に示すようなシステム70は、更に、先に送信された係数データを格納する第１のバッファ90と、装置によって受信された、先に送信された全ての係数を格納する装置75内の第２のバッファ91と、を有する。バッファ91のサイズは、第１の表示エリア内に表示するようにフォーマットされた画像（すなわちフル解像度画像）に対して全ての係数データを格納することができるものである。第２のバッファは、画像に対応する係数のブロックの完全な切り取られていないセットを潜在的に有するまで、係数を蓄積する。第１及び第２のバッファを同期させて、バッファ間でデータ一貫性がある（すなわちシステムにより格納される第１のバッファが受信器により格納される第２のバッファのコピーである）ようにする。一実施形態では、装置75は、サーバと対話してバッファを確実に同期させるバッファ同期機構（図示せず）を含む。

別の実施形態では、システム70によってエンコードされた画像信号74Aのビットストリームが、信号74A内のエンコードされた係数データ90Aが最も知覚的に重要であるものから最も知覚的に重要でないものという順序で装置75によって受信されるように、送信される。エンコードされた係数データを送信する知覚的に重要な順番は、基準画像を表示することができそれを更に精緻化することができるように、下位の（すなわち低周波数の）周波数係数を送信することから開始する。次に、ROIのそれより上位の（すなわち高周波数の）係数を送信することにより、ROI表示の質を更に向上させる。次いで、係数データの残りを送信することにより、ROIの周囲の周辺領域を更に精緻化する。現在のビューに関する全ての可視情報を送信する際に、追加の帯域幅が利用可能である場合には、周囲の補足的な係数を送信することができる。これは予測キャッシングの一形態である。ユーザがROIを変更する場合には、上位の係数が有用となる。ユーザが、例えば、テキストの列を下方にたどることによりROIを予測可能に変更する場合には、次のROIを推定することができ、追加の係数を送信して後のROIを精緻化することができる。この手続きは、迅速なフィードバック及び応答性を必要とするアプリケーションに対して有用なものである。ビットストリームはいつでも終了させることが可能であり、例えば、対象領域が変わり、その新たな対象領域に応じて新たなビットストリームの生成を開始する場合に、終了させることが可能である、ということに留意されたい。

システム70は更に、装置のユーザインタフェイスにより識別された際に受信器から送信された対象領域点を格納するROIポインタレジスタ93を有する。これは、画像の各領域を如何にスケーリングするか、ひいては各々の対応する係数アレイを如何に切り取るかを確定するために使用される。

一実施形態では、装置75は更に、画像レンダリング部94を含む。ユーザインタフェイス79Bにより提供されるROIポインタに応じて、レンダリングアルゴリズムは、第２の表示エリア内にスケーリングされた画像を表示するために使用される第２のバッファ91における係数を識別する。

更に別の実施形態では、エンコードされた係数データ74Aを送信する知覚的に重要なシーケンスを、優先順位が付された漸進的な方法で編集する。ユーザが各周波数係数ブロックに対して対象領域を選択すると、スケーリングされた第２の表示90をレンダリングするために必要な係数の数が確定され、すでに送信された係数の数がシステム70内に格納された画像マスクにおいて示される。係数に優先順位を付すために２つの統計量を常に評価する。一方はすでに送信された必要な係数の割合であり、他方はまだ送信されていない必要な係数の数である。既に送信された必要な係数の割合がもっとも低い周波数係数ブロックに対し、最高優先順位を与える。全ての周波数係数ブロックが同じ百分位数を有する場合、まだ送信されていない必要な係数の数がもっとも多い周波数係数ブロックに対して最高優先順位を与える。全ての周波数係数ブロックがまだ等しい場合、ラスタ順にしたがって左から右へ、上から下へ、係数を選択する。各周波数係数ブロック内では、JPEG規約で一般に使用されるものと同様にジグザグに係数を順序付ける。

図１０Ａ及び図１０Ｂは、上記優先順位が付された係数移送方式を示している。周波数係数ブロック101A〜103A（図１０Ａ）は、必要な係数、送信された割合、送信すべき割合等の異なる開始条件を有する送信に対する係数の３つのブロックを表す。周波数係数ブロック101A〜103Aにおける塗り潰されたエリアは、非ゼロ係数を示し、スケーリングされたブロック101B〜103Bの陰影付きエリアは、第２の表示エリアでスケーリングされたビューをレンダリングするために必要な係数を示し、マスクブロック101C〜103Cにおける陰影付きエリアは、すでに送信された係数又はゼロである係数を表す。デフォルトでは全ての係数がゼロであり、したがって、全てのゼロ係数がデフォルトで送信されたとみなされ、マスクブロックにおいて陰影付きであるように見える。３つの周波数係数ブロック101A〜103Aにおける係数の送信に優先順位を付すために、表１に示すように何れの係数を送信すべきかを確定する進行中のプロセス中に各ブロックの統計量を絶えず評価する。

（ここで、送信の「ラウンド」は、何れの係数が送信されているかを判断するための進行中の統計量の評価プロセスに対応する。）図１０Ｂは、対応する周波数係数ブロック101A〜103Aの係数の３ラウンドの優先順位付き送信（ラウンド0〜2）の後のマスク画像データ101C〜103Cの状態を示している。最初に、ラウンド0において、ブロック101及びブロック103は、先に送信された係数の割合が共に最低である（33.3％）が、ブロック101の方がより多くの未送信係数（すなわち８個の未送信係数）を有するため、ブロック101に対し最高優先順位が与えられ、係数104が送信される。ラウンド1において、ブロック101からの係数が送信するために選択された後、この時ブロック103が送信された係数の割合が最低であり（33.3％）、そのため最高の優先順位を有し、係数105が送信される。送信されるビットストリームに対しブロック103からの係数が選択されたため、ラウンド2において、ブロック101及びブロック102は、送信された係数の割合が最低である（41.7％）。引分けをなくすため、未送信係数の数を評価する。偶然にも、ブロック101とブロック102とは共に未送信係数の数が同じ（すなわち７つが未送信）である。この段階で、ラスタ順が優先する。ブロック101がブロック102の上にあるため、ブロック101の方が高い優先順位を得て、係数106が送信される。ラウンド3では、ブロック102が、送信済み係数の割合が最低である（41.7％）のために最高優先順位を有する。このプロセスは全ての必要な係数が送信されるまで続く。より多くの帯域幅が利用可能である場合、予測キャッシングを実行する。この移送方式により、新たな対象領域を表示している時に送信チャネルが一時的に使用不能となるか帯域幅可用性が大幅に低下する場合に、スケーリングされた画像を第２のディスプレイに表示するレンダリングエンジンが、まだ現在利用可能な（すなわち、先に送信された）周波数係数を使用して低解像度版の画像を生成することができるため、適切な低均化（graceful degradation）が可能である。次いで、通信チャネルが復旧し及び／又は帯域幅が増大しより多くの係数が送信されると、画像がより高解像度でレンダリングされる。

本発明の更に別の実施形態では、画像を表現するために使用する色空間のタイプを利用することにより、帯域幅効率を更に向上させることができる。画像処理の分野において既知であるように、画像ブロック11（図１１）をYC_rC_b色空間で表現することができ、それは輝度チャネル（ブロック112）と２つのクロミナンス成分（ブロック113,114）とを含む。高周波数情報は輝度チャネル112にのみ保持され、クロミナンスチャネル113又は114には保持されない。この特性により、クロミナンスチャネル（すなわちブロック113,114）が係数2でサブサンプリングされることによりブロック115,116（図１１）を得る場合、送信前に画像のよりコンパクトな表現が可能になる。輝度情報112とサブサンプリングされたクロミナンス情報115,116とを使用して、フルカラーチャネルを使用する場合に比較して２倍の圧縮率が達成される。

本発明の更に別の実施形態では、送信に対し輝度情報をクロミナンス情報より高い優先順位で設定することにより、送信について周波数係数に優先順位を付す。この場合、まず輝度チャネルからの係数を送信してモノクロ表示を生成し、その後クロミナンスチャネルからの係数を送信してカラー表示をレンダリングする。

更に別の実施形態では、システム70及び装置75が共に何れの時点でも、画像の各領域の何れの係数が送信されたかと、何れの追加の係数が必要であるかとを知っているよう保証された配信プロトコル下で、それらシステム70及び装置75が同期化されると想定することにより、係数データ90Aをエンコードする。例えば、最初に、３×４下位ウィンドウの所与の領域に対する係数が装置に送信され、その後装置が（新たなROIを介して）５×７下位ウィンドウの係数を有するより大きなウィンドウが必要であると示す場合、システムは、装置が５×７下位ウィンドウの全ての係数を取得することができるようにするために必要な追加の係数に対応するエンコードされたビットストリームを送信する。この実施形態では、システムと装置とは共に各画像領域に対してすでに知られている係数のバイナリマスクを保持する。装置は、Ｋが既知であり伝達されるべきであるＭＮ−Ｋの未知の係数が残っている、下位のＭ×Ｎの係数を要求する。システムにおいて、量子化された周波数係数をJPEGのものと同様のジグザグ順でスキャンするが、すでに知られているか又は要求されたＭ×Ｎウィンドウ外のものを排除する。この順序付きセット（ＭＮ−Ｋの係数を有する）において、最後の非ゼロ係数の位置、すなわちLを、log₂（ＭＮ−Ｋ）ビットを使用して伝達する。Lは実質的にＭＮ−Ｋの最大からスキャンする係数の総数である。残りのＭＮ−Ｋ−Ｌ係数をスキャンから省き、０として再構成する。

次に、ジグザグスキャン順のＬの未知の係数の順番を算術エンコーディングとバイナリエンコーディングとの組み合わせを使用して伝達する。各係数にその真の値に基づいてカテゴリを割り当てる。カテゴリ0は値｛0｝を表し、カテゴリ1は値｛-1,1｝を表し、カテゴリ2は値｛-3,-4,3,4｝を表し、カテゴリ3は値｛-5,-6,-7,-8,5,6,7,8｝を表す等である。一般に、カテゴリcに対し、追加のcビットが係数の正確な値を指定する。好ましいエンコーディング方式では、カテゴリは算術的にエンコードされ、各係数に対する追加のビットはエンコードされないままである。

カテゴリエンコーディングは、エンコードされる係数の位置とその前後関係次第でいくつかの確率モデルにしたがう。第１に、ジグザグスキャン順の各周波数係数を下の表２に示すようにその位置に基づいて７つの異なるクラスに分類する。

次いで、その前後関係（すでにエンコードされた隣接する係数による）に基づき、クラスを上方又は下方に移動する。例えば、第３行の第４列の係数を考慮する。次いで、位置のみに基づくと、係数のクラスは４である（表２参照）。しかし、その前後関係から、現在の係数がより大きな（一層小さな）値を有する可能性が高いことが分かる場合、余裕があれば、クラスを3（5）等のより低い（より高い）クラスに変更する。特に、各係数に対し、前後関係は、スキャン順において現係数の前に来る１つ又は複数の隣接する係数のカテゴリによって与えられる。

係数の変更されたクラスが、係数のカテゴリの算術エンコーディングに使用される７つの確率モデルのうちの１つをもたらす。モデルは、クラスが高いほど、低いカテゴリの方が高いカテゴリより確率が高いが、前後関係が高い場合は低いように選択する。「カテゴリ」は係数の真の値によって決まり、「クラス」はその位置及び前後関係に基づくその予測された大きさを確定する、ということに留意する。

上述した説明では、本発明の完全な理解を提供するために、エンコーディング技法及び画像の領域の数等、多数の特定の詳細を示している。しかし、当業者には本発明を実施するためにこれらの特定の詳細を必ずしも採用する必要はない、ということが明らかとなろう。また、本発明を不必要に不明瞭にすることを回避するために、既知の送信ステップ及び画像処理技法について詳細には説明しなかった。

更に、本発明の要素をいくつかの実施形態と合わせて説明したが、本発明を様々な他の方法で実施することができる、ということが理解される。したがって、例示として示し説明した特定の実施形態は、決して、限定するものとみなされるようには意図されていない、ということを理解しなければならない。これらの実施形態の詳細に対する言及は、発明に対して本質的であるとみなされる特徴のみを列挙している特許請求の範囲の適用範囲を限定するようには意図されていない。

第１の関連表示エリアサイズを有する画像ソースから第２の一層小さな表示エリアサイズを有する宛先機器に送信される画像データをスケーリングする従来技術による方法の図である。ハンドヘルド機器に無線で送信されている様々なリモート画像の例を示す図である。本発明による、第１の表示エリアに適応される画像データを第２の表示エリアを有する装置に送信する方法を示す図である。画像を複数の領域に分割する例を示す図である。空間的にスケーリングされた画像領域を取得するために画像領域に対応する周波数係数を切り取る概念を示す図である。完全な画像の周波数領域表現における係数の切り取りと空間領域における完全な画像に対するその効果とを示す図である。係数の切り取りを使用して画像データブロックの少なくとも一部をスケーリングすることによりフルサイズ画像をスケーリングする例を示す図である。係数の切り取りを使用して画像データブロックの少なくとも一部をスケーリングすることによりフルサイズ画像をスケーリングする例を示す図である。図６Ａに示す画像に対するスケールマップを示す図である。本発明による、第１の表示エリアに適応された画像データを第２の一層小さな表示エリアを有する装置に送信するシステムの実施形態を示す図である。図７Ａに示すシステムから送信される画像データを受信し表示する装置の実施形態を示す図である。第１の表示エリアに適応された画像データを、対象領域が変化する第２の一層小さな表示エリアを有する装置に送信する方法の第２の実施形態を示す図である。第１の表示エリアに適応された画像データを第２の一層小さな表示エリアを有する装置に送信するシステムの第２の実施形態を示す図である。知覚的重要性に基づく、優先順位が付されかつ漸進的な方法で画像データを送信する方法の実施形態を示す図である。知覚的重要性に基づく、優先順位が付されかつ漸進的な方法で画像データを送信する方法の実施形態を示す図である。帯域幅効率を向上させるための色空間サブサンプリングの方法の実施形態を示す図である。

Claims

第１の表示エリアに構成された画像を、より小さな第２の表示エリアを有する装置へと送信する方法であって、
対応するデータブロックを各々が有する複数の領域へと、前記画像を分割するステップ(20)と、
各ブロックを、係数アレイを含む周波数領域表現へと変換するステップ(21)と、
前記アレイの一部の周波数係数を切り取るステップ(22)であって、
これにより、前記画像の対応する領域が、空間領域表現へと変換された時に、前記切り取る量に依存してスケーリングされ、
切り取られた係数ブロックが、取得される
ことからなる、ステップと、
前記画像がスケーリングされたタイプの画像を、前記第２の表示エリア内において表示するために、前記切り取られたブロックの周波数係数アレイと切り取られなかったブロックの周波数係数アレイとを含む係数データを、前記装置に送信するステップ(23)
とを含む、方法。
前記スケーリングされたタイプの画像内における対象領域を識別するステップ(80)であって、複数のデータブロックのうちの少なくとも１つが、該識別された対象領域に対応する、ステップを更に含み、
前記対象領域に対応する少なくとも１つのデータブロックの前記周波数係数アレイは、前記スケーリングされたタイプの画像の残りの領域に対応する係数アレイよりも少なく切り取られる(53)
ことからなる、請求項１に記載の方法。
前記係数データを、前記装置に送信する前に格納するステップと、
前記画像内における新たな対象領域を識別するステップ(84)と、
前記新たな対象領域に依存して、新たな係数データを確定するステップ(85)と、
以前に送信された係数データと前記新たな係数データとの間の差分を表す係数データのサブセットを確定するステップ(86)と、
前記装置へと以前に送信された係数データと結合させるために、係数データのこのサブセットを、前記装置へと送信するステップ(87)であって、これにより、前記新たな対象領域に依存して、前記第２の表示エリア内において、前記スケーリングされたタイプの画像を再表示するための画像データを提供する、ステップ
とを更に含むことからなる、請求項２に記載の方法。
各ブロックは、前記第１の表示エリアのサイズと、前記第２の表示エリアのサイズと、該ブロックのサイズとに依存する関連付けられたスケール係数を有し、
各ブロックは、その関連付けられたスケール係数に従って切り取られることからなる、請求項１に記載の方法。
前記装置は、ハンドヘルド機器であることからなる、請求項１に記載の方法。
前記画像全体に対応する低周波数係数を送信し、次いで、前記対象領域（ＲＯＩ）に対応するより高い周波数の係数を送信し、次いで、必要とされる係数データの残りを送信することによって、該係数データを知覚的に重要な順序で送信するステップを更に含む、請求項１に記載の方法。
第１の表示エリアに構成された画像を送信するためのシステム(70)であって、
対応するデータブロックを各々が有する複数の領域へと、前記画像を分割するための画像分割部(71)と、
各ブロックを、係数のアレイを含む周波数領域表現へと変換するための画像データ変換部(72)と、
前記アレイの一部の周波数係数を切り取るための周波数係数切り取り部(73)であって、
これにより、前記画像の対応する領域が、空間領域表現へと変換された時に、前記切り取る量に依存してスケーリングされ、
切り取られた係数ブロックが、取得される
ことからなる、周波数係数切り取り部と、
第２のより小さな表示エリア内において、前記画像がスケーリングされたタイプの画像を表示するために、前記切り取られたブロックの係数アレイと切り取られなかったブロックの係数アレイとを含む係数データを、前記装置に送信するためのデータ送信器(74)
とを備える、システム。
前記装置は、前記第２の表示エリア内における対象領域（ＲＯＩ）を選択するための、且つ、ＲＯＩポインタを前記係数切り取り部へと送信するための、ユーザインタフェイスを備え、
前記選択されたＲＯＩは、少なくとも１つの対応する係数アレイを有し、
前記ＲＯＩポインタに応答して、前記係数切り取り部は、少なくとも１つのＲＯＩ係数アレイを、前記複数の領域の残りに対応するアレイよりも少なく切り取ることからなる、請求項７に記載のシステム。
前記装置は、以前に受信した係数データと新たに受信した係数データとを含む送信された係数データを格納するための第１の手段(91)を備え、
前記送信された係数データに依存して前記第２の表示エリアを駆動して、前記スケーリングされたタイプの画像を表示させるためのディスプレイドライバは、前記スケーリングされたタイプの画像を、前記第２の表示エリア内において、レンダリングするための手段を備え、
前記レンダリングするための手段は、前記ＲＯＩポインタに応答して前記スケーリングされたタイプの画像を表示するために、前記第１の格納手段から係数を選択することからなる、請求項７に記載のシステム。
前記装置へと以前に送信された全ての係数データを、格納するための第２の手段(90)と、
以前に送信された係数データと、前記装置から受けとった新たなＲＯＩポインタに対応する新たな係数データとの間の差分に対応する係数のサブセットを確定するための手段
とを更に含む、請求項９に記載のシステム。