JP5632733B2 - 表示装置、画面画像転送方法、及びプログラム - Google Patents

Description

本発明は、ある表示装置に表示される表示画面を他の表示装置に表示させることにより画面共有を行う技術に関連するものである。

従来から、複数の装置間で、表示画面を共有する技術がある。例えば、特許文献１には、モニタされる側の表示装置が、ユーザ操作に応じて表示する画面の情報を採取し、画面情報を他の表示装置に送信し、他の表示装置が画面情報に基づいて表示画面を再現してモニタする技術が記載されている。

また、特許文献２には、複数の端末装置間で画面の表示内容を共有し端末から画面への書込み等の操作も共有する技術が記載されている。また、特許文献３には、複数のユーザのそれぞれが有する表示装置の画面に、複数のユーザ間で、共通の画面を表示し、その画面表示を通じて行う共同作業を支援する共同作業支援システムに関する技術が記載されている。その他、本願に関連する先行技術文献として、特許文献４，５がある。

特開２０１０−５５１５３号公報 特開２００６−３２３６０７号公報 特開平１１−６５９７５号公報 WO２００９／００４９９６ 特開２００７−２２６６３５号公報

上記のように、複数の表示装置間で表示画面を共有する技術を用いることにより、例えば、表示装置の操作に不慣れなユーザ（被アシスト側）が使用する表示装置（第１の表示装置）に表示される表示画面を、当該操作をアシストするユーザ（アシスト側）の表示装置（第２の表示装置）に表示させることにより、アシスト側のユーザが、表示画面を見ながら被アシスト側のユーザに対して第１の表示装置の操作方法を遠隔で丁寧に教えるといったことが可能になる。

表示画面を共有して操作のアシストを行う技術においては、被アシスト側で表示画面をキャプチャし、キャプチャ画像をアシスト側の表示装置に送信することにより共有を実現するが、適確なアシストを行うためには、被アシスト側の表示装置に表示された表示画面が、アシスト側の表示装置に素早く表示されることが望ましい。このことから、キャプチャ及びキャプチャ画像転送を行うにあたって、表示装置の処理負荷及びネットワーク負荷をできるだけ低く抑えることが求められる。

例えば、キャプチャ画像のデータ量が大きい、及び／又は画像転送の頻度が大きい場合、キャプチャ画像の転送に遅延が生じ、アシスト側の表示装置への表示画面の表示が遅れ、適確なアシストを行うのに支障が生じる恐れがある。

本発明は上記の点に鑑みてなされたものであり、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させるための技術を提供することを目的とする。

上記の課題を解決するために、本発明は、表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像をキャプチャ画像格納手段に格納するキャプチャ手段と、前記キャプチャ手段により取得された第１のキャプチャ画像と、当該第１のキャプチャ画像よりも前に取得され、前記キャプチャ画像格納手段に格納されている第２のキャプチャ画像とを比較し、前記第１のキャプチャ画像と前記第２のキャプチャ画像との間に差分領域がある場合に、前記第１のキャプチャ画像における当該差分領域の画像である差分領域画像を前記他の装置に転送するか否かの転送判定を行う画像比較制御手段と、前記画像比較制御手段により転送すると判定された差分領域画像を前記他の装置に転送する転送手段と、所定の転送回数分の既に転送した差分領域画像を旧差分領域画像として格納する差分領域画像格納手段と、を備え、前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出しない場合に、当該対象差分領域画像を前記他の装置に転送すると判定することを特徴とする表示装置として構成される。

前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出した場合に、当該対象差分領域画像を前記他の装置に転送しないか、又は、当該対象差分領域画像と同じ旧差分領域画像の識別情報を前記他の装置に転送する制御を行うように構成することができる。

また、前記差分領域画像格納手段は、各旧差分領域画像を、当該旧差分領域画像のサイズとともに格納しており、前記画像比較制御手段は、各旧差分領域画像と対象差分領域画像とを比較する際に、最初に各旧差分領域画像のサイズと対象差分領域画像のサイズとを比較し、当該対象差分領域画像のサイズと同じサイズを持つ旧差分領域画像を検出した場合に、当該同じサイズの旧差分領域画像と当該対象差分領域画像との比較を行うようにしてもよい。

また、転送の対象となった差分領域画像が、複数の領域の画像に分割されている場合において、前記転送手段は、当該複数の領域の画像を合成し、１つの画像のデータとして前記他の装置に転送する処理を行ってもよい。

更に、前記画像比較制御手段は、前記第１のキャプチャ画像の元となった表示情報から、前記対象差分領域画像に対応する画像ファイルを取得し、当該画像ファイルにおいて表示と非表示を繰り返す設定がなされているか否かを確認し、繰り返す設定がなされている場合に、当該対象差分領域画像を転送しない制御を行うこともできる。

また、本発明は、上記表示装置が実行する処理に対応する画面画像転送方法として構成することもできるし、表示部を備えるコンピュータを、上記表示装置における各手段として機能させるためのプログラムとして構成することもできる。

本発明によれば、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、第１の表示装置に表示される表示画面を、少ない遅延で第２の表示装置に表示させるための技術を提供することが可能となる。

本発明の実施の形態に係るシステム構成図である。 表示装置１の機能構成図である。 表示装置２の機能構成図である。 システムの動作概要を説明するための図である。 基本例を説明するためのフローチャートである。 変形例１を説明するためのフローチャートである。 変形例１における処理の概念を説明するための図である。 変形例２を説明するためのフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。

(システム構成）
図１に、本発明の実施の形態に係るシステム構成を示す。図１に示すように、本実施の形態に係るシステムは、表示装置１と表示装置２が、通信ネットワーク３を介して接続された構成を有する。

本実施の形態では、表示装置１、２は、それぞれPC等であってもよいし、携帯電話機等の携帯端末でもよい。通信ネットワーク３は、画像データ等を送受信可能なネットワークである。

本実施の形態では、表示装置１に表示される画面を表示装置２に表示させることを想定している。つまり、表示装置１に表示される表示画面のキャプチャ画像が表示装置２に送信され、表示装置２が当該キャプチャ画像に基づいて画面表示を行う。

図２に、本実施の形態に係る表示装置１の機能構成図を示す。図２に示すように、表示装置１は、通信部１１、表示部１２、操作部１３、表示情報生成部１４、表示処理部１５１、キャプチャ部１６、キャプチャ画像格納部１７、画像比較転送制御部１８、差分領域画像履歴格納部１９、転送用画面情報生成転送部２０を備えている。

通信部１１は、通信ネットーク３を介して他の装置とデータ等の通信を行うための機能部である。表示部１２は、いわゆるディスプレイであり、画像を表示する機能部である。操作部１３は、ユーザが表示装置１に対して情報入力や各種指示を行うためのボタンやキーボード等である。また、操作部１３を表示部１２と一体化したタッチスクリーンとして構成してもよい。

表示情報生成部１４は、表示部１２に表示するための表示情報を生成する機能部であり、各種アプリケーションや処理プログラムに対応する機能を含む。表示情報生成部１４に含まれるアプリケーションとしては、一例として、Webブラウザ、カメラアプリケーション、メールアプリケーション等がある。

また、例えば、表示装置１が、携帯電話機である場合、表示情報生成部１４は、表示部１２に操作画面を表示し、電話番号入力を受け付けて発信処理を行う等の処理を行う電話機能、電話帳の表示や管理を行う電話帳アプリケーション等、一般的な携帯電話機に備えられ、画面表示を行う各種機能を含む。

表示情報は、例えば、テキスト情報、画像情報、テキストと画像が混在した情報等（より具体的には、例えば、ＨＴＭＬファイル、画像ファイル等）であり、更に、表示部１２に表示される画面内の画像表示位置情報を含む。

表示処理部１５は、表示情報生成部１４から表示情報を受け取り、表示部１２に対して表示する機能部であり、表示情報を一時的に格納する記憶領域や、グラフィック用記憶領域（グラフィックメモリ等）を含み、表示のためのグラフィック処理を行う。

キャプチャ部１６は、表示処理部１５により表示部１２に表示される画面画像を表示処理部１５から取得（キャプチャ）し、キャプチャ画像格納部１７に格納する機能部である。キャプチャ画像格納部１７には、少なくとも、転送候補となる最新のキャプチャ画像（以下、これを、新キャプチャ画像と呼ぶ）と、１つ前にキャプチャしたキャプチャ画像（以下、これを旧キャプチャ画像と呼ぶ）が格納される。

画像比較転送制御部１８は、新キャプチャ画像と旧キャプチャ画像を比較し、新キャプチャ画像と旧キャプチャ画像間で差分のある部分（領域）の新キャプチャ画像における画像（新差分領域画像と呼ぶ）のみを転送するよう制御する機能を備える。

更に、画像比較転送制御部１８は、過去に転送した差分領域画像（旧差分領域画像と呼ぶ）を、予め定めた転送回数分だけ差分領域画像履歴格納部１９に格納するとともに、新差分領域画像と各旧差分領域画像とを比較し、新差分領域画像と同じ旧差分領域画像があった場合には、新差分領域画像を送らないか、もしくは、新差分領域画像と同じ旧差分領域画像の識別情報のみを転送するよう制御を行う機能を備える。新差分領域画像を送らないか、もしくは識別情報のみを送るかは、予め設定により選択可能である。

転送用画面情報生成部２０は、画像比較転送制御部１８により転送すると判定された新差分領域画像と、それを表示装置２側で表示するための画面内位置情報とを含む転送用画面情報を生成し、表示装置２に転送する機能部である。また、転送用画面情報生成部２０は、新差分領域画像が複数の領域の画像からなる場合に、これらを１つの画像として合成して転送する機能も備える。

画像比較転送制御部１８及び転送用画面情報生成部２０における動作については、後の動作説明のところでより詳細に説明する。

図３に、表示装置２の機能構成図を示す。なお、図３は、表示装置２において、表示装置１から受信した情報を用いて表示を行うことに関する機能をメインに示すものであり、図示はしていないが他の機能も含むものである。例えば、表示装置２が携帯電話機であれば、携帯電話機能や種々のアプリケーション等を含む。

図３に示すように、表示装置２は、通信部２１、表示部２２、表示制御部２３を備えている。

通信部２１は、通信ネットーク３を介して他の装置とデータ等の通信を行うための機能部である。表示部２２は、いわゆるディスプレイであり、画像を表示する機能部である。表示制御部２３は、表示装置１から受信する転送用画面情報に含まれる画像と、位置情報とを用いて、表示部２２に画面表示をする機能等を有する。

表示装置１におけるキャプチャ部１６、キャプチャ画像格納部１７、画像比較転送制御部１８、差分領域画像履歴格納部１９、転送用画面情報生成転送部２０は、ＣＰＵ、メモリ、通信インターフェース等を備えたコンピュータ（上記以外の機能部である表示情報生成部１４や表示処理部１６等に相当する機能部を含む）に、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。当該プログラムは、可搬メモリ等の記録媒体に記録して配布することが可能である。また、当該プログラムをネットワーク上のサーバからダウンロードしてインストールすることも可能である。また、上記の「コンピュータ」は、「コンピュータ」の機能を備える携帯電話機等であってもよい。

また、表示装置２の表示制御部２３も、ＣＰＵ、メモリ、通信インターフェース等を備えたコンピュータに、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。

（システムの動作）
次に、本実施の形態におけるシステムの動作を説明する。まず、図４のシーケンスチャートを参照して、システムの動作概要を説明する。

まず、表示装置２が、画面共有要求を表示装置１に送信し（ステップ１）、表示装置１が、画面共有許可を表示装置２に送信することにより、画面共有が開始される。これ以降、表示装置１に表示される画面画像がキャプチャされ（ステップ３）、転送用画面情報が表示装置２に転送され（ステップ４）、表示装置２で画面画像の表示が行われる（ステップ５）ことにより、画面共有が実現される。画面画像のキャプチャ・転送は、一定時間間隔で行うこととしてもよいし、一定時間間隔でのキャプチャ・転送に加えて、表示装置１のユーザにより所定の操作がなされたことを契機にして行うこととしてもよい。

図４では、表示装置２から画面共有要求を送信し、表示装置１が画面共有許可を表示装置２に送る例を示したが、表示装置１から画面共有要求を送信し、表示装置２が画面共有許可を表示装置２に送るようにしてもよい。また、画面共有要求と画面共有許可を送受信することにより画面共有処理を開始させることは一例に過ぎず、他の手順により画面共有を開始することとしてもよい。

（動作の詳細）
＜基本例＞
以下、画面共有状態になった後、表示装置１（特にキャプチャ部１６、画像比較転送制御部１８、転送用画面情報生成転送部２０）が実行する処理の基本例を図５のフローチャートを参照して説明する。

表示情報生成部１４が、表示部１２に表示するための表示情報を生成する（ステップ１１）。表示情報は、例えば、Ｗｅｂサーバから取得した画像入りのテキスト情報（ＨＴＭＬファイル＋画像ファイル）や、表示のために記憶手段から読み出した写真画像等である。表示情報は、表示処理部１５に渡され、表示処理部１５が表示部１２への表示を行う（ステップ１２）。ここまでは、表示装置１における通常の画面表示処理であり、表示部１２には、ユーザによる操作や、表示情報生成部１４に対応するアプリケーションの処理動作に応じた画面が随時表示されている。

続いて、あるキャプチャのタイミングにて、キャプチャ部１６が、表示部１２に表示されている画面画像を表示処理部１５からキャプチャし、キャプチャ画像（新キャプチャ画像）としてキャプチャ画像格納部１７に格納する（ステップ１３）。なお、キャプチャ画像格納部１７には、少なくとも、１つ前のキャプチャ画像（旧キャプチャ画像）が既に格納されている。また、新キャプチャ画像を格納したときに、キャプチャ画像格納部１７に既に格納されているキャプチャ画像のうち最も古いものを削除する。

キャプチャ部１６によりキャプチャが行われると、画像比較転送制御部１８は、新キャプチャ画像と旧キャプチャ画像を比較し、新キャプチャ画像と旧キャプチャ画像が同じ画像か否かを判定する（ステップ１４）。ここでの比較処理は、対応する位置にある画素同士を比較することにより行う。また、全ての画素を比較するのでなく、部分的に（例えば飛び飛びに）画素を比較し、差分がなければ、新キャプチャ画像と旧キャプチャ画像が同じであると判定してもよい。

ステップ１４における判定で、新キャプチャ画像と旧キャプチャ画像が同じであると判定された場合は、今回の新キャプチャ画像は送らないものとし、ステップ１３の前に戻り、次のキャプチャタイミングを待つ。

ステップ１４における判定で、新キャプチャ画像と旧キャプチャ画像が同じでないと判定された場合、画像比較転送制御部１８は、新キャプチャ画像と旧キャプチャ画像間で画素に差分がある領域の新キャプチャ画像の画像を新差分領域画像として取得し、メモリ等の記憶手段に保持しておく（ステップ１５）。

前述したように、差分領域画像履歴格納部１９には、過去に転送した各差分領域画像（旧差分領域画像）が、そのサイズ（本実施の形態では、差分領域画像の画素数をサイズとする）とともに、予め定めた転送回数分だけ格納されている。

ステップ１５の後、画像比較転送制御部１８は、差分領域画像履歴格納部１９に格納されている各旧差分領域画像のサイズと新差分領域画像のサイズとを比較することにより、差分領域画像履歴格納部１９に格納されている複数の旧差分領域画像の中に、新差分領域画像と同じサイズのものがあるか否かを判定する（ステップ１６）。

ステップ１６での判定の結果、新差分領域画像と同じサイズの旧差分領域画像がある場合、当該同じサイズの旧差分領域画像と、新差分領域画像との比較を行って、これらが同じかどうか判定する（ステップ１７）。ステップ１７での判定の結果、同じであると判定された場合、今回の新差分領域画像は転送しないものとし、ステップ１３の前に戻り、次のキャプチャタイミングを待つ。

ステップ１６での判定の結果、新差分領域画像と同じサイズの旧差分領域画像がない場合、もしくは、ステップ１７での判定の結果、同じでないと判定された場合、新差分領域画像は、転送すべき画像であると判定され、転送用画面情報生成転送部２０に渡される。そして、転送用画面情報生成転送部２０は、新差分領域画像と、当該新差分領域画像の画面内での位置情報とを含む転送用画面情報を生成し、それを表示装置２に転送する（ステップ１８）。

また、画像比較転送制御部１８は、転送した新差分領域画像を、そのサイズとともに、最新の旧差分領域画像として差分領域画像履歴格納部１９に格納するとともに、最も古い旧差分領域画像を削除する（ステップ１９）。

転送用画面情報を受信した表示装置２においては、表示制御部２３が、転送用画面情報に含まれる位置情報で指定される画面内の位置に、新差分領域画像を、既に表示されている画像の上に表示する。

上記のステップ１８において、転送用画面情報生成転送部２０は、新差分領域画像を圧縮して圧縮画像として転送することとしてもよい。

また、差分箇所が複数あり、新差分領域画像が、複数領域の画像に分かれている場合において、転送用画面情報生成転送部２０は、それぞれの画像毎に、画像データと、その位置情報とを含む転送用画面情報を生成し、転送する。もしくは、この場合、転送用画面情報生成転送部２０は、複数の画像を合成し、１つの連続したビット列となる画像データを生成し、この画像データと、各画像毎の表示位置情報（ビット列の中で１番目ビットからＹ番目ビットまでに対応する画像の位置情報、Ｙ＋１番目ビットからＸ番目ビットまでに対応する画像の位置情報、...．．等）をヘッダとして含む１つの転送用画面情報を生成し、表示装置２に送信するようにしてもよい。この場合、表示装置２は、受信した転送用画面情報のヘッダ内情報を用いて、合成された画像を分割し、適切な表示位置への表示を行う。

また、ステップ１４での判定で、新キャプチャ画像と旧キャプチャ画像が同じでないと判定された場合に、ステップ１５、１６の処理を行わずに、ステップ１８に進み、新差分領域画像を転送するようにしてもよい。また、新キャプチャ画像と旧キャプチャ画像が同じでないと判定された場合に、新差分領域画像を転送するのでなく、新キャプチャ画像そのものを転送する処理を行ってもよい。

また、ステップ１９において、画像比較転送制御部１８が転送した新差分領域画像を差分領域画像履歴格納部１９に格納する場合に、当該新差分領域画像をそのまま格納することに代えて、画像のデータ量を減らして格納してもよい。データ量を減らす手法としては、例えば、新差分領域画像を２値画像に変換して格納する方法等がある。このように、新差分領域画像を２値画像に変換して旧差分領域画像として格納する場合、ステップ１７における新差分領域画像と旧差分領域画像との比較では、新差分領域画像を２値画像に変換した２値画像と旧差分領域画像との比較を行うことになる。

更に、ステップ１７の比較において、新差分領域画像と旧差分領域画像との全ての画素を比較するのでなく、画像の一部分のみを比較し、当該部分が同一であれば、新差分領域画像と旧差分領域画像が同一であると判定してもよい。

＜変形例１＞
図５を参照して説明した上記の処理では、差分領域画像履歴格納部１９に、新差分領域画像と同じ旧差分領域画像が格納されている場合には、新差分領域画像を送信しないこととしたが、新差分領域画像の代わりに、新差分領域画像と同じ旧差分領域画像の識別情報を送るようにしてもよい。この場合の処理のフローチャートを図６に示し、基本例と異なる点について説明する。

ステップ１１〜１６は、基本例と同じである。変形例１では、差分領域画像履歴格納部１９には、過去に転送した各差分領域画像（旧差分領域画像）が、そのサイズ、及びその識別情報とともに格納されている。

ステップ１６での判定の結果、新差分領域画像と同じサイズの旧差分領域画像がある場合、当該同じサイズの旧差分領域画像と、新差分領域画像との比較を行って、これらが同じかどうか判定する（ステップ１７）。

ステップ１７での判定の結果、同じであると判定された場合、画像比較転送制御部１８は、同じであると判定された旧差分領域画像の識別情報を差分領域画像履歴格納部１９から取得し、それを転送用画面情報転送部２０に渡す。転送用画面情報転送部２０は、当該識別情報と位置情報を転送用画面情報として表示装置に転送する（ステップ１７１）。その後、ステップ１３の前に進み、次のキャプチャタイミングを待つ。

ステップ１８での処理は基本例と同じである。ステップ１９において、本例では、画像比較転送制御部１８は、転送した新差分領域画像を、そのサイズ、及び識別情報とともに、最新の旧差分領域画像として差分領域画像履歴格納部１９に格納し、最も古い旧差分領域画像を削除する。

なお、旧差分領域画像を識別するための識別情報としては、転送した差分領域画像に付される連番を用いることができる。例えば、画像比較転送制御部１８は、識別情報として用いる変数を用意し、新差分領域画像を転送する度に、変数の値を１だけ増加させて、その増加した値を、識別情報として、転送した新差分領域画像とともに差分領域画像履歴格納部１９に格納する。この変数の値は、予め定めた大きさの数になる度に、０に初期化する。

本例では、表示装置１の差分領域画像履歴格納部１９に格納されているものと同じ旧差分領域画像と識別情報が表示装置２の記憶手段にも格納されている。上記識別情報と位置情報を受信した表示装置２では、表示制御部２３が、受信した識別情報に対応する画像を記憶手段から読み出し、受信した位置情報に基づいて表示部２２への表示を行う。

変形例１及び基本例での処理概念を図７を参照してより具体的に説明する。この例では、３回の転送分の旧差分領域画像が差分領域画像履歴格納部１９に格納されるものとする。また、本例では、表示装置１に、変化しない背景画像上に、背景画像と異なる色の図形が所定時間間隔で表れたり消えたりする画面が表示されているものとする。図７の例では、三角形が表示され、消えた後、円図形が繰り返し表示されていることが示される。

この場合、図７に示す現時点の新キャプチャ画像がキャプチャされた時点で、差分領域画像履歴格納部１９には、図７の下段に示すように、識別情報の１００、１０１、１０２で識別される３つの差分領域画像（旧差分領域画像）が格納されている。

このような前提において、新キャプチャ画像がキャプチャされると、画像比較転送制御部１８は、新キャプチャ画像と、その１つ前の旧キャプチャ画像を比較し、同じでないので、図７に示すように新差分領域画像を取得する。そして、画像比較転送制御部１８は、新差分領域画像と、旧差分領域画像１００、１０１、１０２との比較を行い、新差分領域画像と旧差分領域画像１０１が同じであると判定されるため、今回の新差分領域画像を送らずに、旧差分領域画像の識別情報１０１を送るよう制御を行う。

なお、上記と同じ状況において、基本例では、新差分領域画像も識別情報もいずれも送信しない。

＜変形例２＞
上記の変形例２及び基本例では、差分領域画像間の比較を行うことにより、図７に示すような画像表示／非表示の繰り返し（例：Webブラウザ画面における広告や、デコメ絵文字等）を検出し、新差分領域画像を送らない、もしくは識別情報を送る制御を行っていた。画像の表示／非表示の繰り返しを検出するための処理としては、上記のように画像間を比較する処理の他、以下に説明する処理も可能である。変形例２における処理を図８のフローチャートに沿って説明する。以下では、基本例と異なる点を主に説明する。

なお、変形例２における表示装置２は、図８に示す処理のみを行うこととしてもよいし、基本例や変形例１で示した処理とともに、図８に示す処理を行うこととしてもよい。後者の場合、例えば、画像ファイルにおいて繰り返す設定が検知されなかった場合に、基本例や変形例１と同様に、画像間の比較に基づく判定を行う。図８に示す処理のみを行う場合、差分領域画像履歴格納部１９を備えなくてもよい。

ステップ１１〜ステップ１５までの処理内容は基本例と同じである。

ステップ１５で新差分領域画像を取得した後、画像比較転送制御部１８は、表示処理部１５に保持されている、現在の処理対象である新キャプチャ画像に対応する表示情報から、新差分領域画像に対応する画像ファイルを取得する（ステップ１１６）。当該画像ファイルの画像が表示される位置は、表示情報から取得可能なので、新差分領域画像が表示されている位置情報に基づき、当該新差分領域画像に対応する画像ファイルを取得することができる。なお、新差分領域画像に対応する画像ファイルを検出できなかった場合は、ステップ１１９に進み、新差分領域画像を転送するものとする。

そして、画像比較転送制御部１８は、当該画像ファイルの形式を調べ、特定の形式であって、画像の表示／非表示を繰り返す設定がされているかどうかを判定する（ステップ１１７）。本例では、繰り返す設定がされている可能性のある特定の形式の画像ファイルとして、ＧＩＦファイルもしくはＰＮＧファイルを想定している。これらのファイルでは、画像ファイル自体に繰り返すかどうかのパラメータが設定されており、ステップ１１７では、画像比較転送制御部１８が当該パラメータを読み取ることにより、繰り返し設定有無の判定を行う。

繰り返す設定がされていればステップ１１８に進み、繰り返す設定がされていなければステップ１１９に進む。

繰り返す設定がされている場合、画像比較転送制御部１８は、当該繰り返す設定がされている画像ファイルに対応する新差分領域画像を、所定の回数（例えば１回）だけ既に送信したかどうかを判定する（ステップ１１８）。既に送信していれば、今回の新差分領域画像は転送しないこととし、ステップ１３の前に戻る。

ステップ１１７で繰り返し設定がされていない場合、もしくは、ステップ１１８で既に送信していない場合、今回の新差分領域画像は、転送すべき画像であると判定され、転送用画面情報生成転送部２０に渡される。そして、転送用画面情報生成転送部２０は、新差分領域画像と、当該新差分領域画像の画面内での位置情報とを含む転送用画面情報を生成し、それを表示装置２に転送する（ステップ１１９）。このとき、ステップ１１７で繰り返し設定ありと判定されていた場合、今回転送した新差分領域画像の識別情報（例えば、対応する画像ファイル名）と、転送したことを示すフラグとをメモリ等の記憶手段に格納しておく。この識別情報とフラグを参照することにより、ステップ１１７における判定を行うことができる。

＜画像転送の他の例＞
なお、これまでに説明した基本例、及び変形例１、２において新差分領域画像を転送すると決定した場合において、新差分領域画像に対応する画像ファイルがある場合には、新差分領域画像そのものを送ることに代えて、新差分領域画像に対応する画像ファイル（及びそれを表示するための位置情報）を転送することとしてもよい。この場合、前述したとおり、表示処理部１５に保持された表示情報から画像ファイルを取得する。表示装置２では、画像ファイルと位置情報を用いて画面表示を行う。

また、これまでに説明した基本例、及び変形例１、２において新差分領域画像を転送すると決定した場合において、新差分領域画像に対応する画像ファイルがある場合には、新差分領域画像そのものを送ることに変えて、新差分領域画像に対応する画像ファイルのダウンロード元のアドレス（URL）を、表示のための位置情報とともに表示装置２に転送してもよい。この場合、表示装置２では、受信したURLを用いてネットワーク上のWebサーバから画像ファイルをダウンロードし、位置情報に基づいて表示を行う。

（実施の形態の効果）
上記のように、本実施の形態によれば、処理対象のキャプチャ画像と一つ前にキャプチャしたキャプチャ画像とを比較し、差分がある場合に、差分のある部分（領域）のみを転送する（転送の候補とする）こととしたので、転送すべきデータ量及び頻度を削減でき、少ない遅延で転送を行うことができる。

更に、過去に転送した差分領域画像の履歴を一定数保存しておき、その履歴と同じ差分領域画像があった場合は転送しないか、もしくは識別情報のみを転送することとしたので、転送すべきデータ量及び頻度を更に削減できる。このような構成は、特に、同じ画像の表示／非表示を繰り返す画像（Webブラウザ画面における広告や、デコメ絵文字等）に対して効果が大きい。

また、画面内に複数の差分箇所があった場合は、それぞれの箇所を1つの画像として合成して転送することを可能としたので、それぞれの箇所毎にヘッダを付けて送る場合に比べて、オーバヘッドを削減でき、転送効率を向上させることができる。

また、送信すべき画像に対応する元の画像ファイルの形式を調べ、繰り返す設定になっている場合は2回目以降は転送しない構成をとることにより、効率的に繰り返し画像の送信を制限することができる。

更に、送信すべき画像に対応する元の画像ファイルを送信する構成をとることで、画像全体の画質を高く保ったまま送信データサイズを最小化することが可能になる。また、元の画像ファイルについては、ファイル自体の代わりに画像ファイルのダウンロード元のWebサーバにおけるURLを表示装置２に送信し、表示装置２が直接Webサーバからダウンロードする構成をとることにより、表示装置２において迅速に画像ファイルの取得及び表示を行うことが可能となる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１、２ 表示装置
３ 通信ネットワーク
１１ 通信部
１２ 表示部
１３ 操作部
１４ 表示情報生成部
１５ 表示処理部
１６ キャプチャ部
１７ キャプチャ画像格納部
１８ 画像比較転送制御部
１９ 差分領域画像履歴格納部
２０ 転送用画面情報生成転送部
２１ 通信部
２２ 表示部
２３ 表示制御部

Claims (8)

1. 表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、
   前記表示部に表示される画面画像をキャプチャし、キャプチャ画像をキャプチャ画像格納手段に格納するキャプチャ手段と、
   前記キャプチャ手段により取得された第１のキャプチャ画像と、当該第１のキャプチャ画像よりも前に取得され、前記キャプチャ画像格納手段に格納されている第２のキャプチャ画像とを比較し、前記第１のキャプチャ画像と前記第２のキャプチャ画像との間に差分領域がある場合に、前記第１のキャプチャ画像における当該差分領域の画像である差分領域画像を前記他の装置に転送するか否かの転送判定を行う画像比較制御手段と、
   前記画像比較制御手段により転送すると判定された差分領域画像を前記他の装置に転送する転送手段と、
   所定の転送回数分の既に転送した差分領域画像を旧差分領域画像として格納する差分領域画像格納手段と、を備え、
   前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出しない場合に、当該対象差分領域画像を前記他の装置に転送すると判定する表示装置であり、
   前記画像比較制御手段は、前記第１のキャプチャ画像の元となった表示情報から、前記対象差分領域画像に対応する画像ファイルを取得し、当該画像ファイルにおいて表示と非表示を繰り返す設定がなされているか否かを確認し、繰り返す設定がなされている場合に、当該対象差分領域画像を転送しない制御を行う
   ことを特徴とする表示装置。
2. 表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、
   前記表示部に表示される画面画像をキャプチャし、キャプチャ画像をキャプチャ画像格納手段に格納するキャプチャ手段と、
   前記キャプチャ手段により取得された第１のキャプチャ画像と、当該第１のキャプチャ画像よりも前に取得され、前記キャプチャ画像格納手段に格納されている第２のキャプチャ画像とを比較し、前記第１のキャプチャ画像と前記第２のキャプチャ画像との間に差分領域がある場合に、前記第１のキャプチャ画像における当該差分領域の画像である差分領域画像を前記他の装置に転送するか否かの転送判定を行う画像比較制御手段と、
   前記画像比較制御手段により転送すると判定された差分領域画像を前記他の装置に転送する転送手段と、
   所定の転送回数分の既に転送した差分領域画像を旧差分領域画像として格納する差分領域画像格納手段と、を備え、
   前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出しない場合に、当該対象差分領域画像を前記他の装置に転送すると判定する表示装置であり、
   前記画像比較制御手段は、前記第１のキャプチャ画像の元となった表示情報から、前記対象差分領域画像に対応する画像ファイルを取得し、当該画像ファイルにおいて表示を繰り返す設定がなされているか否かを確認し、繰り返す設定がなされている場合に、当該対象差分領域画像を転送しない制御を行う
   ことを特徴とする表示装置。
3. 前記画像比較制御手段は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出した場合に、当該対象差分領域画像を前記他の装置に転送しないか、又は、当該対象差分領域画像と同じ旧差分領域画像の識別情報を前記他の装置に転送する制御を行う
   ことを特徴とする請求項１又は２に記載の表示装置。
4. 前記差分領域画像格納手段は、各旧差分領域画像を、当該旧差分領域画像のサイズとともに格納しており、
   前記画像比較制御手段は、各旧差分領域画像と対象差分領域画像とを比較する際に、最初に各旧差分領域画像のサイズと対象差分領域画像のサイズとを比較し、当該対象差分領域画像のサイズと同じサイズを持つ旧差分領域画像を検出した場合に、当該同じサイズの旧差分領域画像と当該対象差分領域画像との比較を行う
   ことを特徴とする請求項１ないし３のうちいずれか１項に記載の表示装置。
5. 転送の対象となった差分領域画像が、複数の領域の画像に分割されている場合において、前記転送手段は、当該複数の領域の画像を合成し、１つの画像のデータとして前記他の装置に転送する
   ことを特徴とする請求項１ないし４のうちいずれか１項に記載の表示装置。
6. 表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置が実行する画面画像転送方法であって、
   前記表示部に表示される画面画像をキャプチャし、キャプチャ画像をキャプチャ画像格納手段に格納するキャプチャステップと、
   前記キャプチャステップにより取得された第１のキャプチャ画像と、当該第１のキャプチャ画像よりも前に取得され、前記キャプチャ画像格納手段に格納されている第２のキャプチャ画像とを比較し、前記第１のキャプチャ画像と前記第２のキャプチャ画像との間に差分領域がある場合に、前記第１のキャプチャ画像における当該差分領域の画像である差分領域画像を前記他の装置に転送するか否かの転送判定を行う画像比較制御ステップと、
   前記画像比較制御ステップにより転送すると判定された差分領域画像を前記他の装置に転送する転送ステップと、
   所定の転送回数分の既に転送した差分領域画像を旧差分領域画像として格納する差分領域画像格納手段に、転送した差分領域画像を格納する格納ステップと、を備え、
   前記画像比較制御ステップにおいて、前記表示装置は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出しない場合に、当該対象差分領域画像を前記他の装置に転送すると判定する画面画像転送方法であり、
   前記画像比較制御ステップにおいて、前記表示装置は、前記第１のキャプチャ画像の元となった表示情報から、前記対象差分領域画像に対応する画像ファイルを取得し、当該画像ファイルにおいて表示と非表示を繰り返す設定がなされているか否かを確認し、繰り返す設定がなされている場合に、当該対象差分領域画像を転送しない制御を行う
   ことを特徴とする画面画像転送方法。
7. 表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置が実行する画面画像転送方法であって、
   前記表示部に表示される画面画像をキャプチャし、キャプチャ画像をキャプチャ画像格納手段に格納するキャプチャステップと、
   前記キャプチャステップにより取得された第１のキャプチャ画像と、当該第１のキャプチャ画像よりも前に取得され、前記キャプチャ画像格納手段に格納されている第２のキャプチャ画像とを比較し、前記第１のキャプチャ画像と前記第２のキャプチャ画像との間に差分領域がある場合に、前記第１のキャプチャ画像における当該差分領域の画像である差分領域画像を前記他の装置に転送するか否かの転送判定を行う画像比較制御ステップと、
   前記画像比較制御ステップにより転送すると判定された差分領域画像を前記他の装置に転送する転送ステップと、
   所定の転送回数分の既に転送した差分領域画像を旧差分領域画像として格納する差分領域画像格納手段に、転送した差分領域画像を格納する格納ステップと、を備え、
   前記画像比較制御ステップにおいて、前記表示装置は、前記差分領域画像格納手段に格納されている各旧差分領域画像と、前記転送判定対象の差分領域画像である対象差分領域画像とを比較し、対象差分領域画像と同じ旧差分領域画像を検出しない場合に、当該対象差分領域画像を前記他の装置に転送すると判定する画面画像転送方法であり、
   前記画像比較制御ステップにおいて、前記表示装置は、前記第１のキャプチャ画像の元となった表示情報から、前記対象差分領域画像に対応する画像ファイルを取得し、当該画像ファイルにおいて表示を繰り返す設定がなされているか否かを確認し、繰り返す設定がなされている場合に、当該対象差分領域画像を転送しない制御を行う
   ことを特徴とする画面画像転送方法。
8. 表示部を備えるコンピュータを、請求項１ないし５のうちいずれか１項に記載の表示装置における各手段として機能させるためのプログラム。

Images