JP4439893B2 - 画像表示システムおよび画像表示処理装置 - Google Patents

Description

本発明は、基準画像に対応した基準画像データを生成する画像表示処理装置と、かかる画像表示処理装置および基準画像の一部領域の表示領域を変更した領域変更画像を表示可能な画像表示装置とを備えた画像表示システムとに関するものである。

従来、表示する画像データを生成するＰＣ等の画像表示処理装置と、画像表示処理装置側で生成された画像データを画面上に表示する画像表示装置とを組み合わせた画像表示システムが実用化されている。

画像表示システムを構成する画像表示処理装置は、画像表示処理を専門に行うグラフィックカード等とを備え、グラフィックカード内部には描画エンジンと称される画像データ生成手段とＶＲＡＭと称される記憶手段とを備えた構成を有するのが一般的である。そして、画像表示処理装置内にインストールされたオペレーティングシステム（ＯＳ）、ソフトウェア等から出力される描画命令に基づいて画像データ生成手段が表示フレームごとに画像データの生成を行い、生成した画像データを記憶手段内に一度保存した後に画像表示装置に出力して画像表示を行っている（例えば、特許文献１参照。）。

特開２００１−１７４７４８号公報

しかしながら、従来の画像表示システムでは、既に生成した画像データの有効活用がなされていないという問題が存在する。以下、理解を容易にするため具体例を用いて従来の画像システムの問題点について説明を行う。

例えば、画像表示装置の画面上に表示されている画像の一部領域にユーザが注目し、内容確認のためかかる一部領域について一度拡大した後、再び縮小して元の画面に戻す操作を行う場合を考える。上記したように、従来の画像表示システムでは、１フレームごとに画像データ生成手段が表示画面に対応した画像データを形成し、形成した画像データを記憶手段に書き込んだ後、画像表示装置側に画像データを出力する構成を有する。従って、従来の画像表示システムでは、画面上に表示された基準画像の一部領域を拡大する場合にも、一部領域を拡大・縮小した状態の全画面に関する画像データを改めて画像データ生成手段で生成した後、生成した画像データを記憶手段に書き込む処理を繰り返す必要性を有する。

しかしながら、一部領域を拡大した画像の表示内容は、拡大にかかる部分の表示領域の広さこそ相違するものの、拡大前の基準画像の内容と同様のものである。かかる内容の同一性にもかかわらず従来の画像表示システムでは、記憶手段に対して、基準画像に対応した画像データを消去して、改めて一部領域を拡大した画像データを書き込む処理が行われることとなり、画像表示に要する処理が煩雑となっている。

また、従来の画像表示システムは、基準画像の一部領域について拡大した画像を表示した後、基準画像を表示する場合にも問題を有する。すなわち、拡大前の表示画像と、縮小後の表示画像は表示領域を含めて完全に同一であるにも関わらず、従来の画像表示システムでは、画像表示処理装置内において別個独立に画像データの生成・記憶を行う必要がある。

ＰＣ等を用いた画像表示システムでは、画面上に表示された画像は、起動している複数のソフトウェアに対応した複数のウィンドウを含むのが一般的である。そして、ユーザは複数のソフトウェアのうち、ある特定のソフトウェアに着目して対応するウィンドウを例えば全画面に渡って表示して内容を確認した後、再び複数のウィンドウを含む画像表示に戻るという動作を頻繁に繰り返すことが多い。従って、上記した具体例のようなケースは頻繁に生じることとなり、その度に画像データの生成・記憶を繰り返す従来の画像表示システムでは、既に生成した画像データの有効活用をはかることが困難であると共に、内部で行われる処理が煩雑化することとなる。

本発明は、上記に鑑みてなされたものであって、既に生成した画像データを有効に活用できる画像表示処理装置および画像表示システムを実現することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる画像表示システムは、基準画像に対応した基準画像データを生成する画像表示処理装置と、前記基準画像の一部領域の表示領域を変更した領域変更画像を表示可能な画像表示装置とを備えた画像表示システムであって、前記画像表示処理装置は、前記基準画像データを生成する画像データ生成手段と、表示領域変更後も前記基準画像データを保持する基準画像データ保持領域、および、前記基準画像の一部領域の表示領域の変更内容を示す情報を含む処理データを記憶する処理データ記憶領域を有するフレームメモリとを備え、前記画像表示装置は、前記画像表示処理装置から入力される前記基準画像データに基づいて、前記領域変更画像に対応した画像データを生成する画像処理手段と、前記画像処理手段によって生成された前記画像データを記憶する表示画像データ記憶手段と、該表示画像データ記憶手段に記憶された画像データに応じた画像を表示する表示手段とを備え、前記画像処理手段は、前記表示画像データ記憶手段に記憶された画像データ、前記画像表示処理装置から入力される前記基準画像データ、および前記処理データに基づいて、前記領域変更画像に対応した画像データを生成することを特徴とする。

この請求項１の発明によれば、画像表示装置側において、基準画像データに基づいて領域変更画像に対応した画像データを生成することとしたため、表示領域変更に伴い画像表示処理装置内で新たに画像データの生成および書き込み処理を行う必要がないと共に、既に存在する画像データを有効活用することが可能である。また、画像表示処理装置内では基準画像データの内容を保持し続けることから、一旦表示領域変更が行われた後に、再び基準画像を表示する場合には、画像表示処理装置内に保持された基準画像データをそのまま使用すればよく、かかる場合にも画像表示処理装置側の処理負担が軽減され、既存の画像データを有効活用することが可能である。

また、請求項２にかかる画像表示システムは、上記の発明において、前記画像データ生成手段は、前記基準画像データのうち、少なくとも前記一部領域に対応した画像データの更新処理を所定フレームごとに行い、前記基準画像データ保持領域には、前記更新処理が施された画像データを記憶することを特徴とする。

また、請求項３にかかる画像表示システムは、上記の発明において、前記画像データ生成手段は、前記更新処理において更新前のフレームと異なる表示内容となる１以上の画素を抽出して該画素に対する更新処理を行うことを特徴とする。

また、請求項４にかかる画像表示システムは、上記の発明において、前記処理データ記憶領域には、更新処理が行われる前記画素の位置情報をさらに記憶することを特徴とする。

また、請求項５にかかる画像表示システムは、上記の発明において、前記画像処理手段は、表示領域変更を行うことにより生じる空白領域を補完する補完画像データを新たに生成し、前記基準画像データおよび前記補完画像データに基づいて表示領域変更処理を施した画像データを生成することを特徴とする。

また、請求項６にかかる画像表示システムは、上記の発明において、前記画像データ生成手段は、前記基準画像データ全体に関して更新処理を行い、前記画像表示装置は、前記更新処理が施された前記基準画像データを記憶する更新画像データ記憶手段を備えたことを特徴とする。

また、請求項７にかかる画像表示処理装置は、基準表示画像に対応した基準画像データに基づいて前記基準表示画像の一部の表示領域を変更した画像を画像表示装置に表示させる画像表示処理装置であって、前記基準画像データを生成する画像データ生成手段と、表示領域変更後に前記基準画像データを保持し続ける基準画像データ保持領域、および、前記一部領域の表示領域の変更内容を示す情報を含む処理データを記憶する処理データ記憶領域を有するフレームメモリとを備え、前記画像表示装置に対して前記基準画像データおよび前記処理データを出力することを特徴とする。

本発明にかかる画像表示システムは、画像表示装置側において、基準画像データに基づいて領域変更画像に対応した画像データを生成する構成としたため、表示領域変更に伴い画像表示処理装置内で新たに画像データの生成および書き込み処理を行う必要がないと共に、既に存在する画像データを有効活用できるという効果を奏する。

また、本発明にかかる画像表示システムは、画像表示処理装置内では基準画像データの内容を保持し続けることから、一旦表示領域変更が行われた後に、再び基準画像を表示する場合には、画像表示処理装置内に保持された基準画像データをそのまま使用すればよく、かかる場合にも画像表示処理装置側の処理負担が軽減され、既存の画像データを有効活用することが可能である。

さらに、本発明にかかる画像表示システムは、表示領域変更が行われた際に画像表示処理装置から画像表示装置に対して出力されるデータ量を低減することが可能となるという効果を奏する。

以下、この発明を実施するための最良の形態である画像表示システムについて説明する。なお、図面は模式的なものであり、各部分の厚みと幅との関係、それぞれの部分の厚みの比率などは現実のものとは異なることに留意すべきであり、図面の相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。また、以下では画像表示システムを構成する画像表示処理装置について、ＰＣ等の電子計算機を例に説明するが、本発明がかかる構成に限定して解釈する必要はない。

（実施の形態１）
まず、実施の形態１にかかる画像表示システムについて説明する。図１は、本実施の形態１にかかる画像表示システムの全体構成について示す模式図である。図１に示すように、本実施の形態１にかかる画像表示システムは、基準画像に対応した画像データを生成する画像表示処理装置１と、基準画像に対応した画像データに基づいて、基準画像の一部領域について表示領域変更処理を施した画像データの生成、表示を行う画像表示装置２と、画像表示処理装置１と画像表示装置２との間を接続するモニタケーブル３とを備える。なお、本実施の形態１では、図１に示すように画像表示処理装置１と画像表示装置２とが別個独立に形成された構成について説明するが、例えば同一筐体内に画像表示処理装置１と画像表示装置２とを格納した構成としてもよい。また、例えばモニタケーブル３を省略し、画像表示処理装置１と画像表示装置２との間のデータ転送を無線を介して行う構成としても良い。

画像表示処理装置１は、一般的なＰＣとして、図示を省略したＣＰＵ（Central Processing Unit:中央演算ユニット）、メモリ、ハードディスクドライブを備えている。また、画像表示処理装置１は、一般的なＰＣにて用いられるＯＳ（Operating Systems）またはアプリケーションであるＯＳ／アプリケーション４と、ＯＳ／アプリケーション４から出力される描画命令の内容を解析し、画像表示装置２側に出力する画像データの構成を決定するデータ構成決定部５と、一般的なハード構成であるグラフィックカード６とを備えた構成を有する。

データ構成決定部５は、描画命令の内容を解析する描画命令解析部８と、解析結果を記憶する描画情報データベース９と、描画情報データベース９内に格納された解析結果に基づき、後述するフレームメモリ１４に記憶された画像データのうち、更新処理について制御を行う更新領域制御部１０と、解析結果に基づき、領域変更処理の制御を行う表示領域変更制御部１１と、グラフィックカード６に対する制御を行うグラフィックスドライバ１２とを備える。

描画命令解析部８は、ＯＳ／アプリケーション４から出力される描画命令の具体的内容を解析し、命令の内容を描画情報データベース９に出力するためのものである。描画命令は、例えば、描画ＡＰＩ等によって構成されるものとする。描画命令解析部８は、具体的には、基準画像に対応して既にフレームメモリ１４に記憶された画像データ（以下、「基本画像データ」と称する）の一部について、少なくとも表示内容の変更および表示領域の変更の有無の解析を行う機能を有するとともに、解析結果を描画情報データベース９に出力する機能を有する。

更新領域制御部１０は、更新処理に関してグラフィックスドライバ１２を制御するためのものである。具体的には、更新領域制御部１０は、描画情報データベース９に格納された解析結果に基づいて、基準画像データの中から更新処理を行うべき領域を抽出するとともに、抽出した領域の位置等に関する情報をグラフィックスドライバ１２に出力する機能を有する。なお、「更新処理」とは、画像処理の中で表示領域変更を除いた、表示内容の変更に対応した処理全般のこととしても良いが、以下では、処理前と処理後で異なる内容となる副画素またはかかる副画素を含む表示領域に対応したデータ成分のみを書き換える処理のことをいう。

表示領域変更制御部１１は、表示画像の一部領域の移動・サイズ変更等の領域変更処理に関してグラフィックスドライバ１２を制御するためのものである。具体的には、表示領域変更制御部１１は、描画情報データベース９に格納された解析結果に基づいて、基準画像データ中で領域変更の対象となるデータの情報および表示領域変更処理の内容をグラフィックスドライバ１２に対して出力する機能を有する。

グラフィックスドライバ１２は、グラフィックカード６の駆動を制御するためのものである。具体的には、グラフィックスドライバ１２は、ＯＳ／アプリケーション４から出力される描画命令と、更新領域制御部１０および表示領域変更制御部１１から出力される情報にに基づいてグラフィックカード６内に備わる画像データ生成部１３およびＣＲＴＣ１５に対する制御を行う。

グラフィックカード６は、グラフィックスドライバによる制御に基づいて画像データの生成を行う画像データ生成部１３と、画像データ等を記憶するフレームメモリ１４と、同期をとるためのＣＲＴＣ１５と、フレームメモリ１４に記憶されたデータをパケット化するパケット生成部１６とを備える。

フレームメモリ１４は、必要に応じて更新処理を施した基準画像データおよび更新処理および表示領域変更処理に関する情報を記憶するためのものである。図２は、フレームメモリ１４内部における記憶領域内容について模式的に示す図である。図２に示すように、フレームメモリ１４は、画像データを記憶する基準画像データ保持領域１４ａと、画像表示装置２内で行う処理内容に関連した情報を記憶する処理データ記憶領域１４ｂとを備えた構成を有する。処理データ記憶領域１４ｂには、例えば、更新処理が施された画像データ成分の位置情報や、表示領域変更処理がなされる画像データ成分の位置情報および変更処理の内容等が含まれる。

次に、画像表示装置２について説明する。画像表示装置２は、画像処理部１８と、表示部１９と、表示される画像に対応した画像データを記憶するフレームメモリ２３と、フレームメモリ２３に記憶された画像データの内容に基づいて表示部１９の駆動状態を制御する表示制御部２４とを備える。表示部１９は、液晶モニタ、ＣＲＴモニタ、有機ＥＬ素子を発光素子として利用した有機ＥＬモニタ等によって構成される。

画像処理部１８は、図１に示すように、画像表示処理装置１から出力されたパケットデータの内容を解析するパケット解析部２０と、パケット内のヘッダデータを解析するヘッダ解析部２１と、解析されたヘッダデータの内容およびパケット内に含まれる画像データの内容に基づき実際に表示される画像に対応した画像データをフレームメモリ２３に書き込むデータ書込部２２とを備えた構成を有する。

パケット解析部２０は、受信したパケットの内容を解析し、パケット内のヘッダデータをヘッダ解析部２１に対して出力するとともに、パケット内の画像データをデータ書込部２２に対して出力するためのものである。また、ヘッダ解析部２１は、受け取ったヘッダデータの内容を解析し、ヘッダデータの中から更新に関する情報および表示領域の変換に関する情報を抽出し、抽出した情報をデータ書込部２２に出力するためのものである。さらに、データ書込部２２は、ヘッダデータの中から抽出された情報に基づき、パケット解析部２０を介して受け取った画像データに必要な処理を施してフレームメモリ２３内に書き込むためのものである。

フレームメモリ２３は、表示部１９に表示される画像に対応した画像データを記憶するためのものである。具体的には、フレームメモリ２３は、画像表示処理装置１側から出力された画像データに対してデータ書込部２２によって必要な処理が行われ、表示部１９において実際に表示される画像データを記憶するためのものである。

次に、本実施の形態１にかかる画像表示システムの動作について説明する。以下では、まず、画像表示処理装置１内におけるフレームメモリ１４へのデータ書込動作の説明を行い、フレームメモリ１４内に記憶した情報に基づいて行われるパケット生成動作について説明を行った後、画像表示装置２内におけるデータ処理および画像表示動作について説明を行う。

最初に、画像表示処理装置１内におけるフレームメモリ１４へのデータ書込動作について説明する。図３は、かかる動作について説明するためのフローチャートであり、図３を適宜参照して説明する。なお、初期条件として、フレームメモリ１４内の基準画像データ保持領域１４ａ内には、既に基準画像データが記憶されているものとする。

図３に示すように、まず、ＯＳ／アプリケーション４は描画命令を生成し、生成された描画命令は、描画命令解析部８およびグラフィックスドライバ１２に対して出力される（ステップＳ１０１）。そして、描画命令解析部８は、描画命令が表示部１９で表示する画像の内容に関するものか否かの判定を行う（ステップＳ１０２）。表示画像の内容に関する描画命令とは、表示領域変更に関するもののみならず、広く表示内容一般に関する描画命令のことをいう。表示画像の内容に関しない描画命令とは、例えば、初期化命令のことをいう。

描画命令が表示画像の内容以外に関するものであった場合には、描画命令解析部８は描画命令の具体的内容の解析を行わず、グラフィックスドライバ１２は、描画命令に従った所定の処理を行う（ステップＳ１０３）。一方、描画命令が表示画像の内容に関するもの場合には、描画情報データベース９に解析結果が記憶され、ステップＳ１０４に移行する。

そして、ステップＳ１０２において描画命令が表示画像の内容に関するものと判定された場合には、グラフィックスドライバ１２は、さらに描画命令が表示領域変更を含むか否かの判定を行う（ステップＳ１０４）。具体的には、表示領域変更制御部１１は、描画情報データベース９に記憶された描画命令の解析結果の中から表示領域変更に関する情報を検索し、存在する場合にはかかる情報をグラフィックスドライバ１２に出力する。グラフィックスドライバ１２は、表示領域変更制御部１１からの出力に基づいて判定を行い、例えば、表示領域変更制御部１１から何ら情報が出力されない場合には、描画命令が表示領域変更に関するものを含まないと判定する。

描画命令が表示領域変更を含まない場合には、描画命令が更新処理に関するもののみを含むものと考えられる。従って、あらかじめフレームメモリ１４内に記憶されている基準画像データ全体に対して更新処理が行われ（ステップＳ１０５）、すべての処理を終了する。

描画命令が表示領域変更に関するものを含むと判定された場合には、グラフィックスドライバ１２は、表示領域変更を行った結果、実際に表示画像を構成する画像データ成分内に更新処理が必要か否かの判定を行う（ステップＳ１０６）。具体的には、グラフィックスドライバ１２は、更新領域制御部１０および表示領域変更制御部１１からの情報に基づいて表示部１９における表示画像に対応したデータ成分を基準画像データから抽出し、抽出したデータ成分に関する更新処理の有無を判定する。

グラフィックスドライバ１２によって更新処理の必要がないと判定された場合は、グラフィックスドライバ１２は、表示領域変更処理に関する情報をフレームメモリ１４に出力し、フレームメモリ１４は、かかる情報を処理データ記憶領域１４ｂに記憶する（ステップＳ１０７）。

一方、グラフィックスドライバ１２によって更新処理が必要と判定された場合には、グラフィックスドライバ１２は、フレームメモリ１４内の処理データ記憶領域１４ｂに所定の処理データを記憶させるとともに、更新処理にかかる画像データ成分について、データの書き換えを行わせる（ステップＳ１０８）。以上で、画像表示処理装置１における、フレームメモリ１４内への書込動作は終了する。

以上のように、本実施の形態１における画像表示処理装置１は、生成された描画命令の中に表示領域変更処理に関する情報が含まれる場合には、領域変更後の画像データを新たに書き込むのではなく、基準画像データの内容を維持しつつ、表示領域変更処理に関する情報を処理データ記憶領域１４ｂに書き込むこととしている。

また、本実施の形態１における画像表示処理装置１は、表示領域変更および更新処理の双方を行う場合には、表示領域変更後に表示部１９に実際に表示される画像に対応した画像データ成分についてのみ更新処理を行うこととしている。すなわち、例えば一部領域を画面全体に拡大するような表示領域変更を行う場合には、かかる一部領域以外の領域に対応した画像データ成分の更新処理を行うことなく、フレームメモリ１４内において従前のデータを保持することとしている。

次に、パケット生成部１６におけるパケット生成動作について説明する。なお、以下の説明においては、初期条件として、画像表示処理装置１内のフレームメモリ１４内の基準画像データ保持領域１４ａには、必要な更新処理が行われた基準画像データが記憶されており、画像表示装置２内のフレームメモリ２３内には、更新処理が行われる前の基準画像データが記憶されているものとする。以下、図４に示すフローチャートを参照してパケット生成動作について説明する。

まず、パケット生成部１６は、更新領域制御部１０および表示領域変更制御部１１から出力された情報を、グラフィックスドライバ１２を介して取得し（ステップＳ２０１）、取得した情報に基づいて画像表示装置２に対して出力すべきデータの内容を把握する（ステップＳ２０２）。ここで、出力すべきデータの内容とは、例えば、更新処理を伴わずに表示領域の変更のみを行う場合には表示領域変更情報であり、表示領域の変更を伴わずに更新処理のみを行う場合には、更新処理が行われる画像データ成分の書き換後の内容および画像データ成分の位置情報等である。また、表示領域変更と更新処理の双方を行う場合には、表示領域変更情報と、表示領域変更後の表示画像データの形成に関与する画像データ成分に属し更新処理を行う画像データ成分の書き換え後の内容およびかかる画像データ成分の位置情報等である。

その後、パケット生成部１６は、出力するデータのデータ量を算出し（ステップＳ２０３）、単一のパケットに含めることが可能か否かの判定を行う（ステップＳ２０４）。ここで、出力するデータのデータ量が単一パケットに含めることができない場合には、データ分割を行い（ステップＳ２０５）、再びステップＳ２０３以下の処理を行う。

一方、出力するデータが単一パケットに含まれる、もしくはデータを分割することによって複数のパケットに分けて生成可能と判断した場合には、パケット生成部１６は、パケット生成のために必要なデータの読み出しを行い、パケットの生成を行う（ステップＳ２０６）。具体的には、表示領域変更のみが行われた場合には表示領域変更情報のみをヘッダに含むパケットの生成を行い、更新処理を伴う場合には、更新処理によって内容が書き変わった画像データ成分に対して、ヘッダとして表示領域変更情報および更新処理情報を付属せしめたパケットの生成を行う。以上でパケット生成動作は終了し、生成されたパケットは、モニタケーブル３を介して画像表示装置２に対して出力される。

このように上記のパケット生成動作では、パケット生成部１６は、表示領域変更のみを行う場合には、領域変更後の画像に対応した画像データを用いたパケット生成を行わず、表示領域変更情報のみを用いたパケット生成を行うこととしている。すなわち、更新処理が必要ない場合には、画像データを用いることなくパケット生成を行うことで、画像表示装置２に対するデータ転送量を低減している。また、更新処理が必要な場合にも、表示部１９で実際に表示される画像に関係した画像データ成分のみを転送することで、データ転送量の低減を図っている。

次に、画像表示装置２おいて、受信したパケットに対する処理動作について説明する。図５は、画像表示装置２内で行われる処理動作について説明するためのフローチャートである。図５に示すように、まず、画像表示装置２内に備わるパケット解析部２０は、画像表示処理装置１側から出力されたパケットを受信し（ステップＳ３０１）、ヘッダデータと本体データとを分離する。そして、ヘッダデータはヘッダ解析部２１に出力され、画像データ成分を格納した本体データは直接データ書込部２２に出力される。

その後、ヘッダ解析部２１は、ヘッダデータの解析を行い（ステップＳ３０２）、解析結果をデータ書込部２２に出力する一方、データ書込部２２は、入力された解析結果内に更新処理情報が存在するか否かの判定を行う（ステップＳ３０３）。更新処理情報が存在しないと判定した場合にはステップＳ３０５に移行し、存在すると判定した場合にはステップＳ３０４に移行する。そして、更新処理情報が存在すると判定した場合には、データ書込部２２は、ヘッダデータの内容に基づいて、フレームメモリ２３内の指定位置に対して、パケット解析部２０から出力された画像データ成分を書き込み（ステップＳ３０４）、フレームメモリ２３に記憶された画像データの更新処理が完了する。

その後、データ書込部２２は、ヘッダ解析部２１から出力された解析結果内に表示領域変更情報が存在するか否かの判定を行う（ステップＳ３０５）。表示領域変更情報が存在しない場合には、フレームメモリ２３に対して行う処理が完了し、ステップＳ３０７に移行する。一方、表示領域変更情報が存在する場合には、ステップＳ３０６に移行する。

そして、データ書込部２２は、ヘッダ解析部２１から出力されたヘッダデータの解析結果に基づいて、領域変更処理を行う（ステップＳ３０６）。具体的には、データ書込部２２は、解析結果に含まれる領域変更情報に基づいて、所定の領域が拡大表示される場合には、既にフレームメモリ２３内に記憶された画像データを読み出すとともにかかる画像データを構成する個々の画素データに対して、座標変換等の処理を行うとともに、座標変換によって新たに生じる空白部分に関して補間処理を行う。以上、本ステップにおける表示領域変更処理と、ステップＳ３０４による更新処理によって、フレームメモリ２３に対する書込動作が終了し、表示画像に対応した画像データの形成が完了する。

最後に、表示制御部２４は、フレームメモリ２３に記憶された画像データを表示部１９に対して出力し、表示部１９は、フレームメモリ２３に記憶された画像データに対応した画像表示を行う（ステップＳ３０７）。以上で、パケットを受信した画像表示装置２の動作は完了し、ＯＳ／アプリケーション４から出力された描画命令に対応した画像表示が行われることとなる。

図６は、図３〜図５に示したフローチャートに従った動作を行った場合に行われる処理について模式的に示す図である。なお、以下では理解を容易にするため、表示部１９に表示されている基準画像の一部である表示領域２６（９６０×６００ピクセル）を画面全体（１９２０×１２００ピクセル）に拡大して表示する例について説明する。

具体的には、図６に示すように、まず、表示部１９上に表示される画像の一部である表示領域２６に対して、例えばユーザがより詳細に見たいとの希望の下、ポインティングデバイス等を用いて、図６に示すように表示領域の拡大を指示する。かかる指示に対応してＯＳ／アプリケーション４は表示領域２６の表示領域変更指示、具体的には表示領域２６に表示される画像を画面全体に拡大する旨の情報を含んだ描画命令を生成し、描画命令解析部８等に出力する。

そして、データ構成決定部５は、各構成要素において上記した所定の処理を行うことによって、フレームメモリ１４内に必要なデータの書き込みを行う。ここで、基準画像データ保持領域１４ａにおいて、表示領域２６で表示される画像に対応した画像データ成分たる画像データ２７は、必要な更新処理は施されるものの、図６に示すように記憶される情報としては依然として９６０×６００ピクセルの画像サイズに対応したままであり、基準画像データ保持領域１４ａの全体に拡大した画像データが記憶されることはない。すなわち、描画命令が生成され、所定の処理が行われた後に至っても基準画像データ保持領域１４ａには基準画像に対応した画像データが記憶されている。一方で、表示領域変更指示に関する情報は処理データ記憶領域１４ｂに記憶され、具体的には、図６に示すように処理データ記憶領域１４ｂ内に表示領域変更に関する情報である処理データ２８が記憶される。

その後、フレームメモリ１４内に記憶されたデータに基づくパケットが生成されて画像表示装置２に出力され、画像表示装置２内で上記した処理が行われることによって描画命令に対応した画像データの生成が行われる。この結果、フレームメモリ２３には表示領域２６で示した画像について１９２０×１２００ピクセルの画像サイズに対応した画像データ２９が記憶される。そして、フレームメモリ２３内に記憶された画像データ２９を反映して、表示部１９には、表示領域２６に対応した画像が画面全体に渡って表示されることとなる。

このように、本実施の形態１にかかる画像表示システムは、基準画像の一部領域に関して拡大等の表示領域変更を行う際に、画像表示処理装置１側のフレームメモリ１４に備わる基準画像データ保持領域１４ａの記憶内容について更新処理以外の変更を行うことなく、基準画像に対応した画像データを保持し続けることとしている。本実施の形態１にかかる画像表示システムがかかるデータ保持を行うことによる利点について以下に説明する。

まず、基準画像データ保持領域１４ａ内に記憶した画像データの書き換えを最小限に抑制することができ、画像表示処理装置１の負担を軽減できるという利点を有する。すなわち、従来のように一部領域の拡大表示を行う場合に基準画像データ保持領域１４ａ内の画像データをすべて書き換える構成を採用した場合には、画像データ生成部１３において画面全体に拡大した画像データを新たに生成し、基準画像データ保持領域１４ａに書き込む動作が必要になる。従って、従来の方式を採用した場合には、表示領域の変更を行うごとに煩雑な処理を行う必要性が生じ、画像表示処理装置１の負荷が大きくなるという問題を有していた。

一方、本実施の形態１にかかる画像表示システムでは、画像表示処理装置１側では表示領域の変更に伴う画像データの書き換えを行う必要がないため、既に記憶された画像データの有効活用が可能であって、画像表示処理装置１がかかる煩雑な処理を行う必要が無く、処理負担が軽減されるとともに、迅速な画像処理が可能となる。かかる利点は、特に近年におけるディスプレイの大画面化および高精細化に鑑みると、非常に大きな利点となる。

また、本実施の形態１にかかる画像表示システムでは、表示部１９に表示される基準画像の一部領域を拡大した後、再び基準画像を表示する場合における画像表示処理装置１の処理負担も低減されるという利点を有する。既に説明したように、本実施の形態１では、表示領域変更が行われる場合であっても、基準画像データ保持領域１４ａ内では必要に応じて更新処理を施した基準画像データを保持し続ける。従って、本実施の形態１では、一部領域を拡大した画像表示を行った後、再び基準画像を表示するような場合に、画像表示処理装置１内で再度基準画像データの生成およびフレームメモリ１４内への記憶といった処理を行う必要がなく、処理データ記憶領域１４ｂ内に記憶された表示領域変更に関する情報を削除するのみで良い。このため、本実施の形態１にかかる画像表示システムでは、一旦表示領域変更処理を行った後に、再び基準画像表示に戻るような動作を行う場合の画像表示処理装置１の負担を大幅に低減することが可能となる。

かかる利点は、拡大画像表示と基準画像表示とを頻繁に繰り返すような場合に特に有効である。すなわち、画像表示処理装置１がＰＣの場合を例にすると、ユーザは通常複数のアプリケーションを同時に起動しており、表示部１９上には複数のアプリケーションに対応した複数の画像（ウィンドウ）が表示された基準画像が表示されている。かかる基準画像の一部領域の領域変更を行う例としては、例えば、ユーザが複数のアプリケーションの中で任意のアプリケーションに注目し、詳細な内容の確認を欲して対応する画像の拡大を行うことが考えられる。かかる場合、内容の確認が済んだ後には再び表示部１９上に基準画像を表示するのが通常であることから、本実施の形態１にかかる画像表示システムは、かかる場合に画像表示処理装置１の負担を大幅に低減することができる。

また、本実施の形態１にかかる画像表示システムでは、表示部１９で実際に表示される画像に対応した画像データのみに対して更新処理を行うこととしている。すなわち、図６に示した例では、基準画像を構成する表示領域２６以外の領域については、表示領域２６が画面全体に拡大されることから一連の処理が終了した後に表示部１９上に表示されることはない。このように、基準画像データ保持領域１４ａ内に記憶された画像データのうち、表示領域変更処理後の表示部１９における表示と無関係な画像データについて更新処理を行わない構成とすることによって、画像表示処理装置１の処理負担をさらに低減することが可能である。なお、表示領域変更処理が行われた後、再び基準画像の表示に復帰する場合には、それまでの更新情報を処理データ記憶領域１４ｂ内に保持しておき、基準画像表示に復帰する際に一度に更新処理を行うことで、基準画像表示の際に最新画像を表示することが可能である。

（実施の形態２）
次に、実施の形態２にかかる画像表示システムについて説明する。本実施の形態２にかかる画像表示システムは、画像表示処理装置に備わるフレームメモリ内に冗長記憶領域を備えた構成を有するものである。かかる冗長記憶領域は、表示領域変更処理の中で、基準画像データの中の一部領域を移動または縮小する処理を行う場合において、かかる表示領域変更処理に伴い新たに生じる画像表示領域に関する画像データを記憶する機能を果たしている。

図７は、実施の形態２にかかる画像表示システムの全体構成について示すブロック図である。なお、本実施の形態２において、画像表示装置２については、以下で特に言及しない限り実施の形態１におけるものと同様のものとする。また、図７に示す画像表示処理装置３１内の各構成要素についても、実施の形態１における画像表示処理装置１の構成と同等のものについては同一の名称・符号を付し、以下で特に言及しない限り実施の形態１と同一の構成、機能を有するものとする。

図７に示すように、画像表示処理装置３１は、フレームメモリ３２が基準画像データ保持領域１４ａおよび処理データ記憶領域１４ｂに加えて、さらに冗長記憶領域３２ａを備えた構成を有する。冗長記憶領域３２ａは、表示領域変更処理に伴い新たに必要となる画像データを記憶するためのものである。

図８は、冗長記憶領域３２ａの機能について説明するための模式図である。なお、図８では、表示領域変更処理のうち、基準画像の一部領域について面積の同一性を保持したまま表示位置を移動する処理を例に説明するが、冗長記憶領域３２ａが一部領域を縮小する処理を行う場合等にも同様の機能を発揮することはもちろんである。

図８に示すように、表示部１９に表示された基準画像に対して、ユーザが基準画像の一部の表示領域３３の表示位置を、領域３４の位置に移動させるよう指示した場合を考える。ＯＳ／アプリケーション４は、ユーザの指示に対応した描画命令を生成し、描画命令解析部８等に出力する。

そして、かかる描画命令に対応して、グラフィックスドライバ１２は、フレームメモリ３２内の基準画像データ保持領域１４ａ、処理データ記憶領域１４ｂおよび冗長記憶領域３２ａに必要なデータの書き込みを行う。すなわち、基準画像データ保持領域１４ａは、必要な更新処理に対応した画像データ成分の書き込みを行う一方、表示領域変更に対応した画像データの書き換えは行わない。具体的には、基準画像データ保持領域１４ａは、図８でも示すように、移動にかかる表示領域３３の表示内容に対応した画像データ３５の記憶位置を特に移動することなく、基準画像データを保持し続ける。一方で、冗長記憶領域３２ａには、表示領域の移動に伴って生じる画像データ、すなわち、表示領域３３の移動に伴って空白となる領域に対応した画像データ３６を記憶している。そして、処理データ記憶領域１４ｂは、画像データ３５の位置情報および新たに記憶される画像データ３６の位置情報を含む表示領域変更情報を包含した処理データ３７を記憶する。

その後、図８に示すフレームメモリ３２内に記憶されたデータに基づいてパケットが生成され、画像表示装置２内で実施の形態１と同様の処理が行われることによって、描画命令に対応した画像データの生成が行われる。すなわち、図８に示すように、画像表示装置２内に備わるフレームメモリ２３には、基準画像において表示領域３３に対応した画像データが記憶された領域には、画像データ３６が記憶され、領域３４に対応するフレームメモリ２３内の領域には画像データ３５が記憶されている。そして、図８に示すフレームメモリ２３の記憶内容に対応した画像が表示部１９上に表示されることから、表示部１９上には、基準画像における表示領域３３の表示位置を移動した画像が表示される。

次に、本実施の形態２にかかる画像表示システムの利点について説明する。まず、本実施の形態２にかかる画像表示システムは、実施の形態１の場合と同様に、表示領域変更処理を含む描画命令が生成された場合に、基準画像データ保持領域１４ａ内の画像データについて、表示領域変更に対応した画像データの書き換えを行わない構成を有することから、既に記憶した画像データを有効活用して表示領域変更における画像表示処理装置３１の負担を軽減することが可能であると共に、表示領域変更処理を施した画像の表示を迅速に行うことが可能である。

かかる利点は、特に表示領域変更処理において基準画像の一部領域について、表示面積の同一性を保持しつつ表示位置を移動する場合に有効である。すなわち、表示面積の返納を伴わない処理を行う場合には、表示位置以外は全く同一の画像データを用いて画像表示を行うことが可能である。従って、表示領域変更処理に伴う画像データの書き換えを行わなくとも当該一部領域における画像品質の劣化、情報量の変化等の問題を生じることなく、画像表示処理装置３１の処理負担の軽減および表示処理の迅速化を実現することが可能である。また、表示領域の移動のみを行う場合には、画像表示装置２内において表示領域変更に関係する画像データの拡大・縮小に伴うデータ補間処理・データ間引き処理を省略することが可能であることから、画像表示装置２の処理負担の軽減も可能となる。

また、本実施の形態２にかかる画像表示システムでは、冗長記憶領域３２ａを備える。このため、表示領域変更処理のうち、表示領域の移動、縮小等のように、表示領域変更処理に伴って新たに画像データの生成が必要となる場合であっても、基準画像データ保持領域１４ａ内における基本画像データを保持しつつ、新たな画像データをフレームメモリ１４内に記憶することが可能である。従って、移動・縮小を一度行った後に、ユーザが再び基準画像の表示を欲した場合に基準画像データ保持領域１４ａ内に記憶した画像データを流用することで迅速な画像表示を行うことが可能である。

（実施の形態３）
次に、実施の形態３にかかる画像表示システムについて説明する。実施の形態３にかかる画像表示システムは、画像表示装置に備わるフレームメモリ内に新たに更新データ記憶領域を設けた構成を有する。図９は、実施の形態３にかかる画像表示システムの全体構成を示すブロック図である。図９に示すように、画像表示装置３９は、フレームメモリ４０内に表示部１９にて表示する画像に対応した画像データを記憶する表示画像データ記憶領域４０ａと、必要に応じた更新処理が施された基準画像データを記憶する更新画像データ記憶領域４０ｂとを備える。

本実施の形態３における画像表示処理装置は、実施の形態１における画像表示処理装置１または実施の形態２における画像表示処理装置３１と基本的な構成は同様である。しかしながら、ＯＳ／アプリケーション４において生成される描画命令に表示領域変更および更新処理に関する情報が含まれ、かつ表示領域変更とは無関係な領域における更新処理の情報を含む場合に異なる動作を行う構成を有する。

具体的には、実施の形態３における画像表示処理装置では、図３に示すフローチャートにおけるステップＳ１０６において、基準画像データ全体に関して更新処理が必要か否かを判定する。そして、更新処理が必要と判定された場合、ステップＳ１０８において基準画像データ全体に関して更新処理を行った画像データを新たに記憶するよう動作する。

そして、画像表示処理装置内に備わるパケット生成部１６は、表示部１９に実際に表示される画像に関係した画像データの更新データのみならず、基準画像データ全体に関する更新データについてパケットを生成し、モニタケーブル３を介して画像表示装置３９に出力する。以上が実施の形態１および実施の形態２と相違する点である。

かかる相違に対応して、画像表示装置３９は、実施の形態１、２と同様に表示部１９に実際に表示される画像に対応した画像データを記憶する機構（表示画像データ記憶領域４０ａ）以外に、必要に応じて更新処理が施された基準画像データを記憶する更新画像データ記憶領域４０ｂを備えることとしている。すなわち、本実施の形態３では、画像表示処理装置が、基準画像データのうち表示部１９上に表示されないデータ成分についても更新処理を行うこととし、かつ更新された基準画像データを画像表示装置３９に対して出力する構成を有する。そして、画像表示装置３９は、出力された基準画像データを記憶する領域を新たに備え、常に最新の基準画像データを保持する構成を有する。

図１０は、実施の形態３において、更新画像データ記憶領域４０ｂの機能を説明するための模式図である。まず、図１０に示すように、表示部１９に表示された基準画像に対して、一部の表示領域２６を画面全体に拡大する指示がポインティングデバイス等によってなされ、表示領域変更情報を含む描画命令が生成される。かかる描画命令に基づいて、フレームメモリ１４には、表示領域２６に対応する画像データ成分たる画像データ２７について表示領域変更を反映して書き換えることなく維持すると共に、必要な更新処理を基準画像データ全体に対して行う。そして、表示領域変更情報および更新処理情報を含む処理データ２８を処理データ記憶領域１４ｂ内に記憶する。

そして、フレームメモリ１４内に記憶したデータに基づいてパケット生成を行い、生成したパケットが画像表示装置３９に出力され、画像表示装置３９内では、更新画像データ記憶領域４０ｂ内に基準画像データ保持領域１４ａと同一内容のデータが記憶される。その後、更新画像データ記憶領域４０ｂに記憶された情報およびパケットのヘッダに含まれる処理データに基づいて実際に表示する画像データの生成が行われ、表示画像データ記憶領域４０ａに記憶され、かかる画像データに基づいて表示部１９によって画像表示が行われる。

このように、本実施の形態３では、画像表示装置３９内にさらに更新画像データ記憶領域４０ｂを設けることによって、基準画像データ保持領域１４ａに保持された基準画像データを画像表示装置３９側でも保持することが可能である。そして、本実施の形態３では、基準画像データ保持領域１４ａにおいて、実際の表示画像と無関係な画像データ成分に関しても更新処理を行うこととしていることから、更新画像データ記憶領域４０ｂに記憶される画像データは、更新処理の内容をも反映したものとなる。従って、例えば一度表示領域変更を行った後に再び基準画像を表示する際には、画像表示装置３９は、更新画像データ記憶領域４０ｂに記憶された情報に基づいて画像表示を行うことが可能であり、既に記憶した画像データを有効活用して迅速に画像表示を行うことが可能である。

以上、本発明について実施の形態１〜３に渡って説明したが、本発明は上記の例に限定して解釈するべきではなく、当業者であれば、様々な実施例、変形例等に想到することが可能である。例えば、実施の形態１〜３を相互に組み合わせることが可能である。

また、実施の形態１〜３では、処理データについて画像表示処理装置内で生成し、生成するパケットのヘッダに含めて画像表示装置側に出力する構成を採用しているが、かかる構成に限定する必要はなく、表示領域変更に関する処理データについては画像表示装置側で生成する構成としても良い。すなわち、通常の描画命令生成機構とは別に、例えば画像表示装置と直接接続したポインティングデバイス等の入力手段を用いて表示領域変更情報を画像表示装置に直接入力する構成を採用し、画像表示処理装置側から入力される更新画像データと併せて実際の表示画像に対応した画像データの生成を行うこととしても良い。

また、実施の形態１〜３では、グラフィックスドライバ１２によって画像データの更新等の処理およびパケット生成の制御を行う構成としたが、グラフィックスドライバ１２に既存のものを用いて、別途制御機構を設けることとしても良い。他の構成要素についても、例えばフレームメモリの構成を既存のものとし、別途処理データの記憶機構を設ける等の変更を施すこととしても良い。

さらに、実施の形態１〜３では、画像表示処理装置から画像表示装置に対して処理データと画像データ成分とを一体化したパケットデータを出力する構成としたが、データ形態としてはパケット以外の構成を用いても良いし、処理データと画像データ成分とを別経路によって出力する構成としても良い。また、画像データ成分について、更新処理の関するもののみを出力するのではなく、基準画像データ全体を出力する構成としても良い。要は、画像表示処理装置としては、少なくとも基準画像データを生成する機構と、基準画像データを保持し続けるデータ保持機構とを備えておれば本発明の目的を達することが可能であり、画像表示装置としては、基準画像データと処理情報とに基づいて表示画像に対応した処理機構を備えていれば本発明の目的を達することが可能である。

実施の形態１にかかる画像表示システムの全体構成を示すブロック図である。 画像表示処理装置内に備わるフレームメモリ内部のデータ構造について示す模式図である。 画像表示処理装置内に備わるフレームメモリに対する書込動作について説明するためのフローチャートである。 フレームメモリに記録されたデータに基づくパケット生成動作について説明するためのフローチャートである。 画像表示装置の動作を説明するためのフローチャートである。 画像表示システムの各構成要素の処理動作によって実際に表示される画像が変更される態様を模式的に示す図である。 実施の形態２にかかる画像表示システムを構成する画像表示処理装置の構成を示すブロック図である。 実施の形態２において、冗長記憶領域の機能を説明するための模式図である。 実施の形態３にかかる画像表示システムを構成する画像表示装置の構成を示すブロック図である。 実施の形態３において、更新データ記憶領域の機能を説明するための模式図である。

符号の説明

１ 画像表示処理装置
２ 画像表示装置
３ モニタケーブル
４ ＯＳ／アプリケーション
５ データ構成決定部
６ グラフィックカード
８ 描画命令解析部
９ 描画情報データベース
１０ 更新領域制御部
１１ 表示領域変更制御部
１２ グラフィックスドライバ
１３ 画像データ生成部
１４ フレームメモリ
１４ａ 基準画像データ保持領域
１４ｂ 処理データ記憶領域
１５ ＣＲＴＣ
１６ パケット生成部
１８ 画像処理部
１９ 表示部
２０ パケット解析部
２１ ヘッダ解析部
２２ データ書込部
２３ フレームメモリ
２４ 表示制御部
２６ 表示領域
２７ 画像データ
２８ 処理データ
２９ 画像データ
３１ 画像表示処理装置
３２ フレームメモリ
３２ａ 冗長記憶領域
３３ 表示領域
３４ 領域
３５、３６ 画像データ
３７ 処理データ
３９ 画像表示装置
４０ フレームメモリ
４０ｂ 更新画像データ記憶領域
４０ａ 表示画像データ記憶領域

Claims (7)

1. 基準画像に対応した基準画像データを生成する画像表示処理装置と、前記基準画像の一部領域の表示領域を変更した領域変更画像を表示可能な画像表示装置とを備えた画像表示システムであって、
   前記画像表示処理装置は、
   前記基準画像データを生成する画像データ生成手段と、
   表示領域変更後も前記基準画像データを保持する基準画像データ保持領域、および、前記一部領域の表示領域の変更内容を示す情報を含む処理データを記憶する処理データ記憶領域を有するフレームメモリと、
   を備え、
   前記画像表示装置は、
   画像データを生成する画像処理手段と、
   前記画像処理手段によって生成された前記画像データを記憶する表示画像データ記憶手段と、
   該表示画像データ記憶手段に記憶された画像データに応じた画像を表示する表示手段と、
   を備え、
   前記画像処理手段は、前記表示画像データ記憶手段に記憶された画像データ、前記画像表示処理装置から入力される前記基準画像データ、および前記処理データに基づいて、前記領域変更画像に対応した画像データを生成することを特徴とする画像表示システム。
2. 前記画像データ生成手段は、必要に応じて前記基準画像データのうち、少なくとも前記一部領域に対応した画像データの更新処理を所定フレームごとに行い、
   前記基準画像データ保持領域には、前記更新処理が施された画像データを記憶することを特徴とする請求項１に記載の画像表示システム。
3. 前記画像データ生成手段は、前記更新処理において更新前のフレームと異なる表示内容となる１以上の画素を抽出して該画素に対する更新処理を行うことを特徴とする請求項２に記載の画像表示システム。
4. 前記処理データ記憶領域には、更新処理が行われる前記画素の位置情報を前記処理データとしてさらに記憶することを特徴とする請求項３に記載の画像表示システム。
5. 前記画像処理手段は、表示領域変更を行うことにより生じる空白領域を補完する補完画像データを新たに生成し、
   前記基準画像データおよび前記補完画像データに基づいて表示領域変更処理を施した画像データを生成することを特徴とする請求項１〜４のいずれか一つに記載の画像表示システム。
6. 前記画像データ生成手段は、必要に応じて前記基準画像データ全体に関して更新処理を行い、
   前記画像表示装置は、前記更新処理が施された前記基準画像データを記憶する更新画像データ記憶手段をさらに備えたことを特徴とする請求項１〜５のいずれか一つに記載の画像表示システム。
7. 基準表示画像に対応した基準画像データに基づいて前記基準表示画像の一部の表示領域を変更した画像を画像表示装置に表示させる画像表示処理装置であって、
   前記基準画像データを生成する画像データ生成手段と、
   表示領域変更後に前記基準画像データを保持し続ける基準画像データ保持領域、および、前記一部の表示領域の変更内容を示す情報を含む処理データを記憶する処理データ記憶領域を有するフレームメモリと、
   を備え、前記画像表示装置に対して前記基準画像データおよび前記処理データを出力することを特徴とする画像表示処理装置。

Images