JP5582282B2 - サーバ端末、画像処理システム、画像処理方法およびプログラム - Google Patents

Description

本発明は、サーバ端末、特には、画像をクライアント端末に転送するサーバ端末、これを備えた画像処理システム、画像処理方法、及びプログラムに関する。

従来から、サーバ端末の画像をクライアント端末に転送する画像処理システムが知られている。具体的には、このような画像処理システムとしては、シンクライアントシステムが挙げられる。また、画像処理システムにおいては、画像をクライアント端末に転送する際に、転送対象となる画像を分割し、分割した画像を優先度の高いものから順に転送する技術が採用されている。この種の技術として、次のようなものが知られている（例えば、特許文献１、特許文献２、特許文献３参照）。

例えば、特許文献１は、階層符号化された画像を分割し、分割画像毎に優先度を設定して転送する技術を開示している。具体的には、特許文献１に開示された技術では、タイルと呼ばれる複数個の長方形状の分割画像で構成される画像について、各タイルの画像種類（文字及びグラフィックの混在画像、写真画像等）が判定され、ユーザが要求する画像種類のタイルから順に転送される。

また、特許文献２は、サーバ端末の画面情報をクライアント端末に分割転送する技術を開示している。特許文献２に開示された技術でも、特許文献１と同様に、サーバ端末の画面情報をクライアント端末に転送する際、画面情報は複数個に分割されるが、分割された画面情報は、圧縮後のサイズが小さいものから順に転送される。

更に、特許文献３も、サーバ端末の画面情報をクライアント端末に分割転送する技術を開示している。特許文献３に開示された技術では、ユーザインタフェースを構成する部品に応答性や操作性向上を考慮した優先順位が付与され、優先順位の高い部品の画像データから順に転送される。

また、サーバ端末の画像をクライアント端末に転送する画像処理システムにおいては、画像の転送頻度をアプリケーションやウィンドウ毎に適応的に制御する技術も知られている（例えば、特許文献４参照）。具体的には、特許文献４に開示された技術では、クライアント端末からの入力コマンドが、サーバ端末のオペレーティングシステムに入力される際にアプリケーションやウィンドウに応じて適度に間引きされる。これにより画像の転送頻度が制御され、画像表示の遅延が抑制される。

特開２００７−０１９７４４号公報 特開２００８−２１１６３９号公報 特開２００１−１３４５３３号公報 特開２００７−３２８５９４号公報

しかしながら、上記特許文献１〜特許文献４には、転送される画像が、サーバ端末側での処理結果を示す画面の画像であり、ユーザがこの画像の画面情報に基づいてサーバ端末を遠隔操作するようなシーンにおいて、以下の問題点がある。

先ず、特許文献１に開示の技術によれば、画像は、ユーザが指定する画像種類の情報に基づいて順に転送されるので、ユーザは、転送されてきた画像内部の情報を、指定した種類から優先して参照できる。

しかしながら、上述したシーンにおいては、画像は、ユーザが遠隔操作において必要とする画像（画面情報）から順に転送されることが求められるが、特許文献１に開示の技術では、このようなユーザにとって有用な領域から順に転送することは困難である。これは、特許文献１に開示の技術によって行われる画像種類の判断では、画像が、サーバ端末の遠隔操作を行うユーザにとって有用かどうかを判断できないためである。

また、特許文献２に開示の技術によれば、サーバ端末の画面情報を分割し、分割した画面情報を圧縮後のサイズが小さいものから順に転送するので、ユーザは、上述したシーンにおいて、画面情報をその一部から順に素早く参照できる。

しかしながら、特許文献２に開示の技術であっても、特許文献１に開示の技術と同様に、上述のシーンにおいて、画面情報を、ユーザにとって有用な領域から順に転送することは困難である。これは、特許文献２に開示の技術では、分割された画面情報のデータのサイズの判定しか行えず、特許文献１と同様に、画像が、サーバ端末の遠隔操作を行うユーザにとって有効かどうかを判断できないためである。

更に、特許文献３に開示の技術によれば、サーバ端末のアプリケーションの実行画面は、ユーザインタフェースの構成部品を単位として分割され、応答性や操作性向上に資する順に転送される。よって、ユーザは、アプリケーションの実行画面を、有用な領域から順に素早く参照できる。また、特許文献３に開示の技術に、特許文献４に開示の技術を組み合わせることもできる。この場合は、サーバ端末のアプリケーション画面の転送方法をアプリケーション毎に制御できるので、ユーザは、アプリケーションに応じた有用な領域から順に、アプリケーション画面を素早く参照できるようになる。

しかしながら、特許文献３に開示の技術、更に、これと特許文献４に開示の技術とを組み合わせた場合であっても、サーバの画面情報に複数のアプリケーションウィンドウが含まれると、画面情報を、ユーザにとって有用な領域から順に転送することが困難となる。これは、特許文献３及び特許文献４に開示の技術では、画面情報に複数のアプリケーションウィンドウが含まれる場合は想定されておらず、このような場合は優先度を設定することが不可能となるからである。

本発明の目的は、上記問題を解消し、サーバ端末からクライアント端末に転送される画面情報が複数のアプリケーションウィンドウを含む場合であっても、サーバ端末を遠隔利用する上で有用な領域からの優先的な転送を可能にする、サーバ端末、画像処理システム、画像処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明におけるサーバ端末は、クライアント端末の表示画面に、アプリケーションプログラムの実行結果を示す画像を表示させるサーバ端末であって、
前記実行結果を示す画像の全部又は一部の領域を画面情報として取得する、画面情報取得部と、
前記アプリケーションプログラムの種類毎及び各アプリケーションプログラムの実行によって表示されるウィンドウ毎に、前記実行結果を示す画像上の有用領域を特定する有用領域判定ルールの中から、取得された前記画面情報に適用する有用領域判定ルールを選択
する、有用領域判定ルール選択部と、
取得された前記画面情報を、選択された前記有用領域判定ルールを用いて分割し、分割によって得られた前記画面情報の部分毎に有用度を付与する、画面情報分割部と、
前記分割によって得られた前記画面情報の部分に対して、それぞれに付与された前記有用度に基づいて送信順序を設定する、送信制御部と、を備えていることを特徴とする。

上記目的を達成するため、本発明における画像処理システムは、クライアント端末と、前記クライアント端末の表示画面に、アプリケーションプログラムの実行結果を示す画像を表示させるサーバ端末とを備えた画像処理システムであって、
前記サーバ端末は、
前記実行結果を示す画像の全部又は一部の領域を画面情報として取得する、画面情報取得部と、
前記アプリケーションプログラムの種類毎及び各アプリケーションプログラムの実行によって表示されるウィンドウ毎に、前記実行結果を示す画像上の有用領域を特定する有用領域判定ルールの中から、取得された前記画面情報に適用する有用領域判定ルールを選択する、有用領域判定ルール選択部と、
取得された前記画面情報を、選択された前記有用領域判定ルールを用いて分割し、分割によって得られた前記画面情報の部分毎に有用度を付与する、画面情報分割部と、
前記分割によって得られた前記画面情報の部分に対して、それぞれに付与された前記有用度に基づいて送信順序を設定する、送信制御部と、を備えていることを特徴とする。

また、上記目的を達成するため、本発明における画像処理方法は、クライアント端末の表示画面に、アプリケーションプログラムの実行結果を示す画像を表示させるための画像処理方法であって、
（ａ）前記実行結果を示す画像の全部又は一部の領域を画面情報として取得する、ステップと、
（ｂ）前記アプリケーションプログラムの種類毎及び各アプリケーションプログラムの実行によって表示されるウィンドウ毎に、前記実行結果を示す画像上の有用領域を特定する有用領域判定ルールの中から、
前記（ａ）のステップで取得された前記画面情報に適用する有用領域判定ルールを選択する、ステップと、
（ｃ）前記（ａ）のステップで取得された前記画面情報を、前記（ｂ）のステップで選択された前記有用領域判定ルールを用いて分割し、分割によって得られた前記画面情報の部分毎に有用度を付与する、ステップと、
（ｄ）前記（ｃ）のステップでの分割によって得られた前記画面情報の部分に対して、それぞれに付与された前記有用度に基づいて送信順序を設定する、ステップと、を有していることを特徴とする。

更に、上記目的を達成するため、本発明におけるプログラムは、コンピュータによって、クライアント端末の表示画面に、アプリケーションプログラムの実行結果を示す画像を、表示させるためのプログラムであって、
前記コンピュータに、
（ａ）前記実行結果を示す画像の全部又は一部の領域を画面情報として取得する、ステップと、
（ｂ）前記アプリケーションプログラムの種類毎及び各アプリケーションプログラムの実行によって表示されるウィンドウ毎に、前記実行結果を示す画像上の有用領域を特定する有用領域判定ルールの中から、
前記（ａ）のステップで取得された前記画面情報に適用する有用領域判定ルールを選択する、ステップと、
（ｃ）前記（ａ）のステップで取得された前記画面情報を、前記（ｂ）のステップで選択
された前記有用領域判定ルールを用いて分割し、分割によって得られた前記画面情報の部分毎に有用度を付与する、ステップと、
（ｄ）前記（ｃ）のステップでの分割によって得られた前記画面情報の部分に対して、それぞれに付与された前記有用度に基づいて送信順序を設定する、ステップと、を実行させることを特徴とする。

以上の特徴により、本発明における、サーバ端末、画像処理システム、画像処理方法、及びプログラムによれば、サーバ端末からクライアント端末に転送される画面情報が複数のアプリケーションウィンドウを含む場合であっても、サーバ端末を遠隔利用する上で有用な領域からの優先的な転送が可能となる。

図１は、本発明の実施の形態１におけるサーバ端末、クライアント端末、及び画像処理システムの構成を示すブロック図である。 図２は、本発明の実施の形態１で用いられる有用領域判定ルールの一例を示す図である。 図３は、図１に示す画面情報取得部による処理を説明するための図である。 図４は、図１に示す画面情報取得部によって取得された画面情報の一例を示す図である。 図５は、図１に示す有用領域判定ルール選択部による処理を説明するための図である。 図６は、図１に示す画面情報分割部による処理を説明するための図である。 図７は、クライアント端末の表示画面の変遷を示す図である。 図８は、本発明の実施の形態１におけるサーバ端末の動作を示す流れ図である。 図９は、本発明の実施の形態１におけるクライアント端末の動作を示す流れ図である。 図１０は、本発明の実施の形態２におけるサーバ端末、クライアント端末、及び画像処理システムの構成を示すブロック図である。 図１１は、本発明の実施の形態２におけるサーバ端末の動作を示す流れ図である。

（実施の形態１）
以下、本発明の実施の形態１におけるサーバ端末、クライアント端末、画像処理システム、画像処理方法、及びプログラムについて、図１〜図９を参照しながら説明する。最初に、本実施の形態１におけるサーバ端末及び画像処理システムの構成について図１を用いて説明する。図１は、本発明の実施の形態１におけるサーバ端末、クライアント端末、及び画像処理システムの構成を示すブロック図である。

図１に示すように、本実施の形態１におけるサーバ端末１は、クライアント端末２と共に、画像処理システム３を構成している。本実施の形態１において、画像処理システム３は、シンクライアントシステムとして機能するシステムである。サーバ端末１は、ネットワーク２０を介してクライアント端末２に接続され、クライアント端末２の表示画面に、サーバ端末１によるアプリケーションプログラムの実行結果を示す画像を表示させる。

また、図１に示すように、サーバ端末１は、画面情報取得部１１と、有用領域判定ルール選択部１３と、画面情報分割部１４と、送信制御部１５とを備えている。更に、本実施の形態１では、サーバ端末１は、アプリケーションプログラムを実行するアプリケーショ
ンプログラム実行部１９も備えている。アプリケーションプログラム実行部１９による実行結果を示す画像は、画面情報取得部１１に送られる。

画面情報取得部１１は、実行結果を示す画像の全部又は一部の領域を画面情報として取得する。有用領域判定ルール選択部１３は、記憶部１８に記憶された有用領域判定ルールの中から、画面情報取得部１１によって取得された画面情報に適用する有用領域判定ルールを選択する。有用領域判定ルールは、アプリケーションプログラムの種類毎及び各アプリケーションプログラムの実行によって表示されるウィンドウ毎に、実行結果を示す画像上の有用領域を特定するためのルールであり（後述の図２参照）、予め用意されている。

画面情報分割部１４は、画面情報取得部１１によって取得された画面情報を、選択された有用領域判定ルールを用いて分割し、分割によって得られた画面情報の部分毎に有用度を付与する。送信制御部１５は、分割によって得られた画面情報の部分に対して、それぞれに付与された有用度に基づいて送信順序を設定する。そして、画面情報の部分は、設定された送信順序に従って、クライアント端末１に送信される。

このように、サーバ端末１では、画面情報に複数のアプリケーションウィンドウが含まれている場合であっても、有用な領域を判定可能なルール（有用領域判定ルール）が用意されており、このルールに従って、画面情報中の有用な領域の判定及び分割が行われる。よって、サーバ端末１によれば、その画面情報をクライアント端末２に転送する際に、画面情報が複数のアプリケーションウィンドウを含む場合であっても、サーバ端末１を遠隔利用する上で有用な領域からの優先的な転送が可能となる。この結果、クライアント端末２を使用するユーザにおいては、体感の待ち時間が改善され、更に、システム利用時のストレスの軽減が図られる。

ここで、本実施の形態１におけるサーバ端末１、クライアント端末２、及び画像処理システムの構成について、図１に加えて図２〜図７を用いて、更に具体的に説明する。図１にしめすように、本実施の形態１において、サーバ端末１は、上述した構成に加え、判定部１２と、送信部１６と、有用領域判定ルールを記憶する記憶部１８とを更に備えている。また、記憶部１８の記憶領域には、有用領域判定ルールデータベース（ＤＢ）１７が構築されている。

更に、図１に示すように、本実施の形態１においては、クライアント端末２は、受信部２１と、表示部２２とを備えている。表示部２２は、具体的には、液晶表示ディスプレイ等の表示装置である。サーバ端末１におけるアプリケーションプログラムの実行結果は、表示部２２の表示画面に表示される。

また、本実施の形態１において、画面処理システム３を構成する、サーバ端末１及びクライアント端末２は、それぞれ、コンピュータにより実現可能である。コンピュータにより実現する場合は、例えば、コンピュータをサーバ端末１として機能させるためのプログラムを記録した、ディスク、又は半導体メモリ等を用意し、コンピュータに上記プログラムインストールし、これを実行すれば良い。また、コンピュータをクライアント端末２として機能させる場合も同様である。なお、プログラムについての説明は後述する。

本実施の形態１では、各有用領域判定ルールは、記憶部１８の記憶領域に構築された有用領域判定ルールＤＢ１７に格納されている。記憶部１８は、後述するように、コンピュータに備えられたディスク装置等によって実現される。有用領域判定ルールは、本実施の形態１においては、ユーザがクライアント端末２を介してサーバ端末１を遠隔利用（操作）する上で、有用な画面情報の領域を判定するためのルールである。有用領域判定ルールは、上述したように、アプリケーション毎、更には、アプリケーションで使われるウィン
ドウ毎に用意され、記憶されている。また、有用領域判定ルールは、アプリケーションプログラムの提供者、画像処理システム３の提供者、及びユーザのいずれによって与えられていても良い。

また、本実施の形態１では、有用領域判定ルールは、予め設定された標準的なルールとして定義されていても良い。標準的なルールとしては、アプリケーション毎に設定されたウィンドウの種類からの影響を受けることなく、画面情報内の有用領域を決定する標準ルールが挙げられる。また、標準的なルールとしては、アプリケーションプログラムの種類及びウィンドウの種類のいずれからの影響を受けることなく、画面情報内の有用領域を決定する標準ルールも挙げられる。また、標準ルールの内容は特に限定されるものではない。

標準ルールの具体例としては、例えば、アプリケーションの種類及びウィンドウの種類がどのような場合であっても、一律に、ウィンドウ全体のうち上辺を有用領域であると判定するルール等が挙げられる。本実施の形態１では、標準ルールは、有用領域判定ルールＤＢ１７内に、指定されたアプリケーションプログラムのウィンドウに対応する有用領域判定ルールが存在していない場合に、有用領域判定ルール選択部１３によって選択される。

また、本実施の形態１では、有用領域判定ルールＤＢ１７内に、指定されたアプリケーションプログラムのウィンドウに対応する有用領域判定ルールが存在していない場合に、上記標準ルール以外のルールが選択される場合もある。例えば、有用領域判定ルール選択部１３は、上記の場合において、指定されたアプリケーションプログラムと提供元（ベンダ）が同一である別のアプリケーションプログラムに対応する（定義されている）有用領域判定ルールを選択することもできる。

また、本実施の形態１では、有用領域判定ルールは、ウィンドウの構成要素毎に予め設定された有用度、及びウィンドウを構成する矩形領域の予め有用であると設定された一辺又は隣り合う二辺を特定する情報等を含む。

ここで、有用領域判定ルールの具体例について図２を用いて説明する。図２は、本発明の実施の形態１で用いられる有用領域判定ルールの一例を示す図である。図２の例では、有用領域判定ルールは、アプリケーションのウィンドウの表示画面の構成領域（構成要素）毎の有用度（欄Ａ）、ウィンドウの矩形領域の有用な一辺（欄Ｂ）、隣り合う二辺（欄Ｃ）、これらの組み合わせ（欄Ｄ）によって定義されている。

なお、図２において、タイトルバーに付されたマーク「∞」は有用度が無限大であることを示している。また、「ペイン１：１０」は、ペイン１の有用度が１０に設定されていることを示している。「ペイン２：１０」は、ペイン２の有用度が０（ゼロ）であることを示している。また、図２において、有用度の値が大きいほど、有用となる。

図２の例では、有用な一辺としては、クライアント端末２の表示画面において垂直方向上側に位置する上辺（以下、単に「上辺」とする。）が用いられている。本実施の形態１では、有用な一辺としては、表示画面において水平方向左側に位置する左辺（以下、単に「左辺」とする。）が用いられていても良い。また、図２の例では、隣り合う二辺としては、上辺と左辺とが用いられている。このように、上辺又は左辺、あるいは上辺及び左辺が用いられるのは、一般的な表示画面は、ユーザが左上部から右下部に向かって操作を進められるようにデザインされているためである。

また、図２の例において欄Ｄでは、有用領域判定ルールは、ウィンドウの構成要素（タ
イトルバー及びペイン）毎に設定された有用度と、ウィンドウの構成要素（ペイン）の内部における有用な領域（上辺）を特定する情報とを含んでいる。更に、本実施の形態１においては、有用領域判定ルールは、図２に示した例に限定されるものではなく、アプリケーションプログラムのウィンドウ画面をユーザが使用する際に、有用となる領域を判定できるルールであれば良い。

画面情報取得部１１は、本実施の形態１では、クライアント端末２の表示部２２の表示画面の全部または一部、例えば、表示画面内の更新領域等を画面情報として取得する。画面情報は、画面の変化をトリガーに取得される。また、画面の変化は、通常、クライアント端末２からサーバ端末１へのイベント処理要求（マウスイベントや、キーイベント等の処理要求）をトリガーに発生する。

図３を用いて、画面情報取得部１１による画面情報の取得について説明する。図３は、図１に示す画面情報取得部による処理を説明するための図である。図３では、クライアント端末２の表示画面の状態が示されている。図３に示すように、画面情報取得部１１は、図中上図から下図への画面の変化を検知すると、画面内の更新領域Ｅを画面情報として取得する。

判定部１２は、画面情報取得部１１によって画面情報が取得されると、画面情報に含まれるウィンドウを表示しているアプリケーションプログラムの種類と、ウィンドウの種類と、画面情報に含まれている複数のウィンドウの重なりの状態とを判定する。なお、判定部１２は、複数のウィンドウの重なりの状態の判定として、具体的には、前面に位置するウィンドウ及び背面に位置するウィンドウそれぞれを特定する。

図４を用いて、判定部１２による判定について説明する。図４は、図１に示す画面情報取得部によって取得された画面情報の一例を示す図である。図４に示すように、取得された画面情報Ｅには、複数のウィンドウが含まれている。この場合において、判定部１２は、取得された画面情報Ｅと、サーバ端末のＯＳ（オペレーティングシステム）が管理しているウィンドウの位置情報とを対比する。そして、判定部１２は、対比の結果から、取得された画面情報にどのアプリケーションプログラムのどのウィンドウが含まれているのかを判定し、更に、各ウィンドウの重なりの状態を判定する。

例えば、図４の例であれば、判定部１２は、画面情報Ｅから、アプリケーションプログラムＡのメインウィンドウと、アプリケーションプログラムＢのメインウィンドウとが含まれていると判定する。また、判定部１２は、アプリケーションプログラムＡのメインウィンドウが、アプリケーションプログラムＢのメインウィンドウの前面に配置されていることを特定する。

また、有用領域判定ルール選択部１３は、本実施の形態１では、有用領域判定ルールＤＢ１７を参照し、判定部１２によって判定された、アプリケーションプログラムの種類と、ウィンドウの種類とを用いて、これらに対応する有用領域判定ルールを選択する。図５を用いて、有用領域判定ルール選択部１３による有用領域判定ルールの選択について説明する。図５は、図１に示す有用領域判定ルール選択部による処理を説明するための図である。図５において、上側の図は、画面情報取得部１１によって取得された画面情報（図４参照）を示し、下側の図は、有用領域判定ルール（図２参照）を示している。

図５の例では、判定部１２は、取得された画面領域にアプリケーションプログラムＡのメインウィンドウとアプリケーションプログラムＢのメインウィンドウとが含まれ、前者が後者より前面に配置されていることを特定する。この場合、有用領域判定ルール選択部１３は、有用領域判定ルールＤＢ１７を参照し、アプリケーションプログラムＡのメイン
ウィンドウに対応する有用領域判定ルール（欄Ａ）と、アプリケーションプログラムＢのメインウィンドウに対応する有用領域判定ルール（欄Ｄ）とを選択する。

画面情報分割部１４は、本実施の形態１では、画面情報に含まれている複数のウィンドウの重なりの状態に基づき、前面に位置するウィンドウを特定し、そして、前面に位置するウィンドウから順に、分割及び有用度の付与を実行することができる。図６を用いて、画面情報分割部１４による画面の分割について説明する。図６は、図１に示す画面情報分割部による処理を説明するための図である。図６において上側及び中央の図は、図５に示した図に対応する。

図６の例では、画面情報分割部１４は、画面情報Ｅを、欄Ａ及び欄Ｄに示された有用度判定ルールに基づき分割している。また、図６の例のように、画面情報に複数のウィンドウが含まれる場合は、前面に位置するウィンドウから順に分割処理が行われる。

従って、先ず、画面情報分割部１４は、前面に位置しているアプリケーションプログラムＡのメインウィンドウに対して、分割処理を実行する。このため、画面情報分割部１４は、アプリケーションプログラムＡのメインウィンドウの有用領域判定ルール（欄Ａ）を参照する。そして、有用度が最も高いのはタイトルバーなので、図６に示すように、画面情報分割部１４は、このタイトルバーに相当する領域３１を切り出す。

具体的には、画面情報分割部１４は、有用領域判定ルール（欄Ａ）に記載された各領域（タイトルバー、ペイン１、ペイン２等）の表示位置を特定し、特定した表示位置に基づいて画像の切り出しを実行する。以降同様にして、画面情報分割部１４は、ペイン１に対応する領域３２と、ペイン２に対応する領域３３とを切り出す。そして、画面情報分割部１４は、切り出した順に有用度が高くなるように、各画像に有用度を付与する。

次に、画面情報分割部１４は、背面に位置しているアプリケーションプログラムＢのメインウィンドウに対しても、有用領域判定ルールを参照して、画像の切り出しを実行する。具体的には、画面情報分割部１４は、アプリケーションプログラムＢのメインウィンドウの有用領域判定ルール（欄Ｄ）を参照する。そして、画面情報分割部１４は、有用度の高い順に、タイトルバーの領域４１、ペイン１の領域４２及び４３を切り出し、切り出された順に高い有用度を付与する。

但し、アプリケーションプログラムＢのメインウィンドウは背面に位置しているため、この場合、画面情報分割部１４は、直前のアプリケーションプログラムＡのメインウィンドウの分割処理で与えた最小の有用度を下回るように、有用度を付与している。

また、図５中の欄Ｄに示すように、ペイン１に対応する領域に対しては、内部についても有用領域判定ルールが与えられている。このため、ペイン１の領域４２には、領域４３よりも高い有用度が付与されている。具体的に、ペイン１に対応する領域の内部について与えられた有用領域判定ルールは、矩形領域の有用な一辺で定義されている（欄Ｄ参照）。

よって、図６に示すように、画面情報分割部１４は、画面情報を、矩形領域の有用な一辺に近い領域から順にバー形状の領域に分割し（切り出し）、有用な一辺に近い領域４２から順に高い有用度を与える。また、本実施の形態１においては、画面情報分割部１４は、分割された領域のデータサイズ（画像サイズ）が設定された範囲内となるように分割（切り出し）を行っている。

なお、表示されている領域の形状との関係から、切り出された形状が、バー形状を呈し
ていない場合であっても良い。また、有用領域判定ルールが矩形領域の有用な隣り合う二辺で定義されている場合は、画面情報分割部１４は、画面情報を、矩形領域の有用な隣り合う二辺に近い領域から順にＬ字形状の領域に分割し、有用な二辺に近い領域から順に高い有用度を与える。

各アプリケーションプログラムのメインウィンドウに対する切り出しが終了すると、図６に示すように、画面情報分割部１４は、画面情報Ｅの残りの領域（領域５１及び５２）の切り出しを行う。このとき、画面情報分割部１４は、領域５１及び５２に対しては、最小の有用度を与える。なお、以降の説明において、分割された画面情報の部分は、「部分画面情報」と記載する。

送信制御部１５は、本実施の形態１では、画面情報分割部１４で取得された有用度が異なる複数の部分画面情報を、有用度の高い順に送信部１６に送り込む。送信部１６は、送信制御部１５から送り込まれた部分画面情報を、有用度の順に、ネットワーク２０を介して、クライアント端末２へと転送する。

また、クライアント端末２において、受信部２１は、サーバ送信部１６から転送されてきた部分画面情報を、それぞれの有用度の順に、表示部２２に送り、表示画面に表示させる。これにより、表示部２２は、表示画面にサーバ端末１における実行結果を示す画面を常時再現表示する。但し、本実施の形態１では、図７に示すように、表示画面には、受信部２１から送り込まれた部分画面情報が、有用度の順に、対応する位置に表示される。図７は、クライアント端末の表示画面の変遷を示す図である。

ところで、図２、図５、及び図６の欄Ｄに示したように、本実施の形態１では、有用領域判定ルールは、ウィンドウの構成要素毎に設定された有用度に加え、ウィンドウの構成要素の内部の有用な領域を特定する情報を含むことができる。この場合、有用領域判定ルール選択部１３は、有用領域判定ルールに記載された各構成領域（例えば、図５の欄Ａの「タイトルバー」「ペイン１」「ペイン２」等の領域）について、それぞれの内部の有用領域を判定するルールを自動的に追加選択する。

追加選択されるルールも、元の有用領域判定ルールと同様に、アプリケーションプログラムの提供者、画像処理システム３の提供者、及びユーザのいずれかによって与えられる。また、追加選択されるルールとしては、アプリケーションプログラムとウィンドウとの組み合わせに対して定義されたルールが挙げられる。また、追加選択されるルールは、例えば、アプリケーションプログラム毎のウィンドウの種類によらない標準的なルールや、アプリケーションプログラムの種類及びウィンドウの種類によらない標準的なルール等であっても良い。なお、ここでいう標準的なルールも上述した「標準ルール」と同様のルールである。

また、この時、画面情報分割部１４は、画面情報取得部１１によって取得された画面情報を、これら複数の有用領域判定ルールを用いて再帰的に分割する。更に、送信制御部１５は、再帰的に分割され、且つ有用度が異なる、これら複数の部分画面情報を、有用度の高い順に送信手部１６に送り込む。

次に、本発明の実施の形態１におけるサーバ端末１及びクライアント端末２の動作について図８及び図９を用いて説明する。先ず、図８を用いて、サーバ端末１の動作を説明する。図８は、本発明の実施の形態１におけるサーバ端末の動作を示す流れ図である。また、本実施の形態１において、画像処理方法は、サーバ端末１を動作させることにより、実施される。このため、本実施の形態１における画像処理方法の説明は、サーバ端末１の動作の説明に代える。また、以下の説明においては、適宜図１〜図７を参酌する。

図８に示すように、最初に、画面情報取得部１１が、アプリケーションプログラムの実行結果が表示されている表示画面の変化をトリガーとして、実行結果を示す画像の全部または一部を画面情報として取得する（ステップＡ１）。

次に、判定部１２は、画面情報取得部１１によって取得された画面情報に含まれるウィンドウについて、アプリケーションプログラムの種類と、ウィンドウの種類と、複数のウィンドウの重なりの状態とを特定する（ステップＡ２）。

次に、有用領域判定ルール選択部１３は、有用領域判定ルールＤＢ１７を参照し、判定部１２で特定されたアプリケーションプログラムの種類や、ウィンドウの種類に対応する有用領域判定ルールを選択する（ステップＡ３）。

次に、画面情報分割部１４は、画面情報取得部１１によって取得された画面情報を、有用領域判定ルール選択部１３で選択された有用領域判定ルールに基づき、有用度が異なるＮ個の領域（部分画面情報）に分割する（ステップＡ４）。続いて、画面情報分割部１４は、Ｎ個の部分画面情報それぞれに有用度を付与する（ステップＡ５）。なお、ステップＡ５は、ステップＡ４と同時に行われていても良い。即ち、画面情報分割部１４は、分割する度に有用度を付与していても良い。また、Ｎは１以上の自然数である。

次に、送信制御部１５は、有用度がｎ（１≦ｎ≦Ｎ）位の部分画面情報を送信部１６に送り、これをクライアント端末２へと送信させる（ステップＡ６）。ステップＡ６が終了すると、送信制御部１５は、ｎの値を「１」増加させる（ステップＡ７）。

ステップＡ７の終了後、送信制御部１５は、未送信の部分画面情報が存在するかどうかを判定する（ステップＡ８）。即ち、ステップＡ７の終了により、ｎの値がＮを超えたかどうかを判定する。

ステップＡ７の判定の結果、未送信の部分画面情報が存在する場合は、送信制御部１５は、再度ステップＡ６〜Ａ８を実行する。一方、ステップＡ７の判定の結果、未送信の部分画面情報が存在しない場合は、サーバ端末１は処理を終了する。このステップＡ６〜Ａ８の実行により、有用度の高い部分画面情報から順に、クライアント端末２へと転送される。

ここで、クライアント端末２の動作について、図９を用いて説明する。図９は、本発明の実施の形態１におけるクライアント端末の動作を示す流れ図である。図９に示すように、クライアント端末２においては、受信部２１は、サーバ端末１の送信部１６からのＮ個の部分画面情報を送信された順に受信する（ステップＢ１）。更に、受信部２１は、受信した部分画面情報を受信した順に、表示部２２に送り込む。続いて、表示部２２は、受信部２１から部分画面情報が送り込まれてくると、部分画面情報を、送り込まれた順に、その表示画面の対応する位置に表示させる（ステップＢ２）。この結果、クライアント端末２の表示部２２の表示画面には、図７に示したように画面情報が表示される。

また、本実施の形態１においてサーバ端末１を実現するためのプログラムは、コンピュータに、図８に示すステップＡ１〜Ａ８を実行させるプログラムであれば良く、このプログラムを実行することによって、本実施の形態１におけるサーバ端末１及び画像処理方法を実現することができる。

この場合、コンピュータのＣＰＵ（central processing unit）は、画面情報取得部１１、判定部１２、有用領域判定ルール選択部１３、画面情報分割部１４、送信制御部１５
、及び送信部１６として機能し、処理を行なう。また、記憶部１８は、コンピュータに備えられたハードディスク等の記憶装置に、有用領域判定ルールＤＢ１７を構成するデータファイルを格納することによって実現することができる。なお、コンピュータのＣＰＵはアプリケーションプログラムの実行により、アプリケーションプログラム実行部１９としても機能する。また、記憶部１８は、プログラムがインストールされるコンピュータとは別のコンピュータの記憶装置であっても良い。

更に、本実施の形態１においてクライアント端末２を実現するためのプログラムは、コンピュータに、図９に示すステップＢ１及びＢ２を実行させるプログラムであれば良く、このプログラムを実行することによって、本実施の形態１におけるクライアント端末２を実現することができる。この場合、コンピュータのＣＰＵは、受信部２１として機能する。また、コンピュータに備えられた表示装置が表示部２２として機能する。

以上のように、本実施の形態１では、画面情報を転送する際、これに含まれるウィンドウのアプリケーションプログラムの種類と、ウィンドウの種類と、ウィンドウの重なりの関係とが特定される。そして、特定されたアプリケーションプログラムの種類及びウィンドウの種類に対応する有用領域判定ルールが、有用領域判定ルールＤＢ１７から取り出される。更に、取り出された有用領域判定ルールにより、前面のウィンドウから順に、その画面情報は有用度が異なる複数の画面情報に分割され、各部分画面情報は有用度が高い順に転送される。

このため、本実施の形態１では、画面情報が、複数のアプリケーションウィンドウを含んでいても、サーバ端末１を遠隔利用する上で有用な領域から順に転送することができる。そして、この結果、クライアント端末２を使用するユーザにおいて、体感待ち時間が改善され、更にシステム利用時のストレスの軽減が図られる。よって、本実施の形態１は、シンクライアントシステムなどに見られる、サーバ端末１の画面情報をクライアント端末２に転送する画像処理システムに有用である。

（実施の形態２）
次に本発明の実施の形態２におけるサーバ端末、クライアント端末、画像処理システム、画像処理方法、及びプログラムについて、図１０及び図１１を参照しながら説明する。最初に、本実施の形態２におけるサーバ端末及び画像処理システムの構成について図１０を用いて説明する。図１０は、本発明の実施の形態２におけるサーバ端末、クライアント端末、及び画像処理システムの構成を示すブロック図である。

図１０に示すように、本実施の形態２においては、画像処理システム５は、実施の形態１において図１に示したサーバ端末１の代わりに、サーバ端末４を備えている。サーバ端末４は、図１に示したサーバ端末１の構成に加え、閾値決定部３０を備えている。なお、サーバ端末４は、閾値決定部３０を備えている点以外については、サーバ端末１と同様に構成されている。

閾値決定部３０は、分割後の部分画面情報のデータサイズの閾値を、サーバ端末４とクライアント端末２との間のネットワーク２０の帯域に応じて動的に決定することができる。具体的には、閾値決定部３０は、ネットワーク２０の帯域が広い場合は閾値を大きく、ネットワーク２０の帯域が狭い場合は閾値を小さくする。

また、本実施の形態２でも、実施の形態１と同様に、画面情報分割部１４は、画面情報取得部１１によって取得された画面情報を、有用領域判定ルール選択部１３で選択された有用領域判定ルールに基づいて、有用度が異なる複数の部分画面情報に分割する。但し、本実施の形態２においては、画面情報分割部１４は、分割後の部分画面情報それぞれのデ
ータサイズが、閾値決定部３０によって決定された閾値以下になるように分割する。

次に、本実施の形態２におけるサーバ端末４の動作について図１１を用いて説明する。図１１は、本発明の実施の形態２におけるサーバ端末の動作を示す流れ図である。なお、本実施の形態２において、クライアント端末２は、実施の形態１と同様に、図９に示したステップに沿って動作する。また、本実施の形態１において、画像処理方法は、サーバ端末４を動作させることにより、実施される。このため、本実施の形態２における画像処理方法の説明は、サーバ端末４の動作の説明に代える。また、以下の説明においては、適宜図１０を参酌する。

図１１に示すように、最初に、画面情報取得部１１による画面情報の取得（ステップＡ１１）、判定部１２による、アプリケーションプログラムの種類、ウィンドウの種類、複数のウィンドウの重なりの状態の特定（ステップＡ１２）が行われる。続いて、有用領域判定ルール選択部１３による、判定部１２で特定されたアプリケーションプログラムの種類や、ウィンドウの種類に対応する有用領域判定ルールの選択が行われる（ステップＡ１３）。なお、ステップＡ１１〜Ａ１３は、図８に示したステップＡ１〜Ａ３と同様のステップである。

次に、本実施の形態２では、実施の形態１と異なり、閾値決定部３０が、分割後の部分画面情報における最大のデータサイズ（閾値）を、サーバ端末４とクライアント端末２との間のネットワーク２０の帯域に応じて、動的に決定する(ステップＡ１４)。

次に、画面情報分割部１４は、分割後の各部分のデータサイズが、閾値決定部３０によって決定されたデータサイズ（閾値）以下になるように、画面情報取得部１１によって取得された画面情報を、有用領域判定ルールを用いて分割する（ステップＡ１５）。なお、ステップＡ１５は、データサイズが閾値以下となるように分割が行われる点以外は、図８に示したステップＡ４と同様に行われる。続いて、画面情報分割部１４は、Ｎ個の部分画面情報それぞれに有用同を付与する（ステップＡ１６）。なお、ステップＡ１６は、ステップＡ１５と同時に行われていても良い。即ち、画面情報分割部１４は、分割する度に有用度を付与していても良い。また、Ｎは１以上の自然数である。

次に、送信制御部１５は、有用度がｎ（１≦ｎ≦Ｎ）位の部分画面情報を送信部１６に送り、これをクライアント端末２へと送信させ（ステップＡ１７）、更に、ｎの値を「１」増加させる（ステップＡ１８）。また、ステップＡ７の終了後、送信制御部１５は、未送信の部分画面情報が存在するかどうかを判定する（ステップＡ１９）。

ステップＡ１９の判定の結果、未送信の部分画面情報が存在する場合は、送信制御部１５は、再度ステップＡ１７〜Ａ１９を実行する。一方、ステップＡ１９の判定の結果、未送信の部分画面情報が存在しない場合は、サーバ端末４は処理を終了する。このステップＡ１７〜Ａ１９の実行により、有用度の高い部分画面情報から順に、クライアント端末２へと転送される。なお、ステップＡ１７〜Ａ１９は、図９に示したステップＡ５〜Ａ８と同様のステップである。

また、本実施の形態２においてサーバ端末４を実現するためのプログラムは、コンピュータに、図１１に示すステップＡ１１〜Ａ１９を実行させるプログラムであれば良く、このプログラムを実行することによって、本実施の形態２におけるサーバ端末４及び画像処理方法を実現することができる。

この場合、コンピュータのＣＰＵは、画面情報取得部１１、判定部１２、有用領域判定ルール選択部１３、画面情報分割部１４、送信制御部１５、送信部１６、及び閾値決定部
３０として機能し、処理を行なう。また、記憶部１８は、コンピュータに備えられたハードディスク等の記憶装置に、有用領域判定ルールＤＢ１７を構成するデータファイルを格納することによって実現することができる。更に、記憶部１８は、プログラムがインストールされるコンピュータとは別のコンピュータの記憶装置であっても良い。

以上のように、本実施の形態２においても実施の形態１で述べた効果を得ることができる。また、本実施の形態２では、実施の形態１と異なり、分割された画面情報のデータサイズに、ネットワーク２０の帯域に応じた制限が課せられている。よって、本実施の形態２によれば、サーバ端末４からクライアント端末１に画面情報を転送する際において、ネットワーク２０に負荷が掛かり過ぎないようにすることができる。

この結果、本実施の形態２では、サーバ端末１からクライアント端末２へのレスポンスが遅れてしまう事態の発生を抑制でき、サーバ端末１は、クライアント端末２に対して、一定時間以内に定期的にレスポンスを返すことができる。本実施の形態２によれば、ユーザの体感待ち時間をよりいっそう改善でき、更に、システム利用時のストレスもよりいっそう軽減できる。

本発明は、上述した実施の形態１及び２に限定されるものではなく、各種の変形が可能である。例えば、有用領域判定ルールＤＢでは、一つのアプリケーションプログラムとウィンドウとの組み合わせについて、二つ以上のルールが重複して存在しても良い。また、この場合、有用領域判定ルール選択部は、これら重複する有用領域判定ルールから、予め設定された優先順位に従い、いずれかのルールを選択することができる。

具体的には、有用領域判定ルールＤＢ１７に、一つのアプリケーションプログラムとウィンドウとの組み合わせについて、ユーザが個別に与えたルールと、アプリケーションプログラムの提供者が与えたルールと、画像処理システムの提供者が与えたルールとが重複して存在する場合が挙げられる。この場合、例えば、有用領域判定ルール選択部１３は、この上述した順に、優先的にルールを選択することができる。

上記態様は、例えば、画像処理システム提供者が、任意のアプリケーションプログラムとウィンドウとの組み合わせに適用する標準的なルールを定義しているが、個人及びアプリケーションプログラムの提供者がルールを定義していない場合に利用できる。この場合は、標準的なルールが用いられて、有用領域判定ルールが選択される。なお、ここでいう標準的なルールも上述した「標準ルール」と同様のルールである。

また、上述した実施の形態１及び２において、判定部１２は、取得された画面情報に含まれるウィンドウのうち、アクティブ状態にあるウィンドウを表示しているアプリケーションプログラムのみについて、その種類と、そのウィンドウ種類とを判定しても良い。アクティブ状態でないウィンドウの画面情報は、ユーザにとって一様に有用でない場合があるからである。

以上のように、本発明は、シンクライアントシステム等といった、サーバ端末の画面情報をクライアント端末に転送する画像処理システムに有用である。本発明は産業上の利用可能性を有している。

１ サーバ端末（実施の形態１）
２ クライアント端末（実施の形態１、２）
３ 画像処理システム（実施の形態１）
４ サーバ端末（実施の形態２）
５ 画像処理システム（実施の形態１）
１１ 画面情報取得部
１２ アプリ判定部
１３ 有用領域判定ルール選択部
１４ 画面情報分割部
１５ 送信制御部
１６ 送信部
１７ 有用領域判定データベース
１８ 記憶部
１９ アプリケーションプログラム実行部
３０ 閾値決定部
２１ 受信部
２２ 表示部

Claims (34)

1. クライアント端末の表示画面に、アプリケーションプログラムの実行結果を示す画像を表示させるサーバ端末であって、
   前記実行結果を示す画像の全部又は一部の領域を画面情報として取得する、画面情報取得部と、
   前記アプリケーションプログラムの種類毎及び各アプリケーションプログラムの実行によって表示されるウィンドウ毎に前記実行結果を示す画像上の有用領域を特定する、有用領域判定ルールの中から、取得された前記画面情報に適用する有用領域判定ルールを選択する、有用領域判定ルール選択部と、
   取得された前記画面情報を、選択された前記有用領域判定ルールを用いて分割し、分割によって得られた前記画面情報の部分毎に有用度を付与する、画面情報分割部と、
   前記分割によって得られた前記画面情報の部分に対して、それぞれに付与された前記有用度に基づいて送信順序を設定する、送信制御部と、
   を備え、
   選択された前記有用領域判定ルールが、前記ウィンドウの構成要素毎に予め設定された有用度を含む第１の有用領域判定ルールと、前記ウィンドウの構成要素毎に予め設定された有用度、及び前記ウィンドウの構成要素の内部における有用な領域を特定する情報を含む第２の有用領域判定ルールとである場合に、
   前記有用領域判定ルール選択部が、前記第１の有用領域判定ルールによって有用度が設定された前記構成要素それぞれにおける内部の有用領域を判定するルールを更に選択し、
   前記画面情報分割部が、前記第１の有用領域判定ルールと、前記第２の有用領域判定ルールと、新たに選択された前記ルールとを用いて、取得された前記画面情報を分割する、
   ことを特徴とするサーバ端末。
2. 取得された前記画面情報に含まれるウィンドウを表示している前記アプリケーションプログラムの種類と、前記ウィンドウの種類と、前記画面情報に前記ウィンドウが複数含まれている場合のこれらの重なりの状態とを判定する、判定部を更に備え、
   前記有用領域判定ルール選択部が、前記判定部によって判定された、前記アプリケーションプログラムの種類と、前記ウィンドウの種類とを用いて、これらに対応する前記有用領域判定ルールを選択し、
   前記画面情報分割部が、前記画面情報に含まれている複数のウィンドウの重なりの状態に基づき、前面に位置するウィンドウを特定し、そして、前面に位置するウィンドウから順に、分割及び前記有用度の付与を実行する、請求項１に記載のサーバ端末。
3. 当該サーバ端末と前記クライアント端末とがネットワークを介して接続され、
   前記ネットワークの帯域に応じて、前記画面情報分割部による分割後の前記画面情報の部分におけるデータサイズの閾値を決定する、閾値決定部を更に備え、
   前記画面情報分割部が、分割によって得られた前記画面情報の各部分のデータサイズが、前記閾値以下となるように分割を行う、請求項１または２に記載のサーバ端末。
4. 前記有用領域判定ルール選択部が、前記画面情報に含まれるウィンドウを表示しているアプリケーションプログラムに対応する前記有用領域判定ルールが存在していない場合に、
   予め設定され、且つ、アプリケーションプログラム毎に設定されたウィンドウの種類からの、又はアプリケーションプログラムの種類及びウィンドウの種類の両方からの影響を受けることなく、前記画面情報内の有用領域を決定するルールを選択する、請求項１〜３のいずれかに記載のサーバ端末。
5. 前記有用領域判定ルール選択部が、前記画面情報に含まれるウィンドウを表示しているアプリケーションプログラムに対応する前記有用領域判定ルールが存在していない場合に、前記画面情報に含まれるウィンドウを表示しているアプリケーションプログラムと提供元が同一である、別のアプリケーションプログラムに対応する前記有用領域判定ルールを選択する、請求項１〜３のいずれかに記載のサーバ端末。
6. 前記判定部が、取得された前記画面情報に含まれるウィンドウのうち、アクティブ状態にあるウィンドウを表示しているアプリケーションプログラムのみについて、その種類と、そのウィンドウ種類とを判定する、請求項２に記載のサーバ端末。
7. 前記有用領域判定ルールが、前記ウィンドウの構成要素毎に予め設定された有用度を含んでいる請求項１〜６のいずれかに記載のサーバ端末。
8. 選択された前記有用領域判定ルールが、前記ウィンドウを構成している矩形領域の予め有用であると設定された一辺を特定する情報を含む場合に、
   前記画面情報分割部が、取得された前記画面情報を、前記矩形領域の前記有用であると設定された一辺に近い領域から順にバー形状の領域に分割し、前記有用であると設定された一辺に近い程、前記有用度の値を高く設定する、請求項１〜６のいずれかに記載のサーバ端末。
9. 選択された前記有用領域判定ルールが、前記ウィンドウを構成している矩形領域の予め有用であると設定された隣り合う二辺を特定する情報を含む場合に、
   前記画面情報分割部が、取得された前記画面情報を、前記矩形領域の前記有用であると設定された隣り合う二辺に近い領域から順に、Ｌ字形状の領域に分割し、前記有用であると設定された隣り合う二辺に近い程、前記有用度の値を高く設定する、請求項１〜６のいずれかに記載のサーバ端末。
10. 前記矩形領域の有用な隣り合う二辺が、前記表示画面において垂直方向上側に位置する上辺と、前記表示画面において水平方向左側に位置する左辺である、請求項９に記載のサーバ端末。
11. 選択された前記有用領域判定ルールが、前記ウィンドウの構成要素毎に設定された有用度と、前記ウィンドウの構成要素の内部における有用な領域を特定する情報とを含む場合に、
    前記画面情報分割部が、取得された前記画面情報を、前記ウィンドウの構成要素毎に分割した後に、分割された前記構成要素の内部における前記有用な領域についての分割を行う、請求項１〜５に記載のサーバ端末。
12. クライアント端末と、前記クライアント端末の表示画面に、アプリケーションプログラムの実行結果を示す画像を表示させるサーバ端末とを備えた画像処理システムであって、
    前記サーバ端末は、
    前記実行結果を示す画像の全部又は一部の領域を画面情報として取得する、画面情報取得部と、
    前記アプリケーションプログラムの種類毎及び各アプリケーションプログラムの実行によって表示されるウィンドウ毎に前記実行結果を示す画像上の有用領域を特定する、有用領域判定ルールの中から、取得された前記画面情報に適用する有用領域判定ルールを選択する、有用領域判定ルール選択部と、
    取得された前記画面情報を、選択された前記有用領域判定ルールを用いて分割し、分割によって得られた前記画面情報の部分毎に有用度を付与する、画面情報分割部と、
    前記分割によって得られた前記画面情報の部分に対して、それぞれに付与された前記有用度に基づいて送信順序を設定する、送信制御部と、
    を備え、
    選択された前記有用領域判定ルールが、前記ウィンドウの構成要素毎に予め設定された有用度を含む第１の有用領域判定ルールと、前記ウィンドウの構成要素毎に予め設定された有用度、及び前記ウィンドウの構成要素の内部における有用な領域を特定する情報を含む第２の有用領域判定ルールとである場合に、
    前記有用領域判定ルール選択部が、前記第１の有用領域判定ルールによって有用度が設定された前記構成要素それぞれにおける内部の有用領域を判定するルールを更に選択し、
    前記画面情報分割部が、前記第１の有用領域判定ルールと、前記第２の有用領域判定ルールと、新たに選択された前記ルールとを用いて、取得された前記画面情報を分割する、
    ことを特徴とする画像処理システム。
13. クライアント端末の表示画面に、アプリケーションプログラムの実行結果を示す画像を表示させるための画像処理方法であって、
    （ａ）前記実行結果を示す画像の全部又は一部の領域を画面情報として取得する、ステップと、
    （ｂ）前記アプリケーションプログラムの種類毎及び各アプリケーションプログラムの実行によって表示されるウィンドウ毎に前記実行結果を示す画像上の有用領域を特定する、有用領域判定ルールの中から、
    前記（ａ）のステップで取得された前記画面情報に適用する有用領域判定ルールを選択する、ステップと、
    （ｃ）前記（ａ）のステップで取得された前記画面情報を、前記（ｂ）のステップで選択された前記有用領域判定ルールを用いて分割し、分割によって得られた前記画面情報の部分毎に有用度を付与する、ステップと、
    （ｄ）前記（ｃ）のステップでの分割によって得られた前記画面情報の部分に対して、それぞれに付与された前記有用度に基づいて送信順序を設定する、ステップと、を有し、
    前記（ｂ）のステップにおいて、選択された前記有用領域判定ルールが、前記ウィンドウの構成要素毎に予め設定された有用度を含む第１の有用領域判定ルールと、前記ウィンドウの構成要素毎に予め設定された有用度、及び前記ウィンドウの構成要素の内部における有用な領域を特定する情報を含む第２の有用領域判定ルールとである場合に、前記第１の有用領域判定ルールによって有用度が設定された前記構成要素それぞれにおける内部の有用領域を判定するルールを更に選択し、
    前記（ｃ）のステップにおいて、前記第１の有用領域判定ルールと、前記第２の有用領域判定ルールと、新たに選択された前記ルールとを用いて、取得された前記画面情報を分割する、
    ことを特徴とする画像処理方法。
14. （ｅ）前記（ａ）のステップで取得された前記画面情報に含まれるウィンドウを表示している前記アプリケーションプログラムの種類と、前記ウィンドウの種類と、前記画面情報に前記ウィンドウが複数含まれている場合のこれらの重なりの状態とを判定する、ステップを更に有し、
    前記（ｂ）のステップで、前記（ｅ）のステップによって判定された、前記アプリケーションプログラムの種類と、前記ウィンドウの種類とを用いて、これらに対応する前記有用領域判定ルールを選択し、
    前記（ｃ）のステップで、前記（ｅ）のステップによって判定された、前記画面情報に含まれている複数のウィンドウの重なりの状態に基づき、前面に位置するウィンドウを特定し、そして、前面に位置するウィンドウから順に、分割及び前記有用度の付与を実行する、請求項１３に記載の画像処理方法。
    
15. （ｆ）前記クライアント端末が接続されているネットワークの帯域に応じて、前記（ｃ）のステップによる分割後の前記画面情報の部分におけるデータサイズの閾値を決定する、ステップを更に有し、
    前記（ｃ）ステップで、分割によって得られた前記画面情報の各部分のデータサイズが、前記閾値以下となるように分割を行う、請求項１３または１４に記載の画像処理方法。
16. 前記画面情報に含まれるウィンドウを表示しているアプリケーションプログラムに対応する前記有用領域判定ルールが存在していない場合に、
    前記（ｂ）のステップで、予め設定され、且つ、アプリケーションプログラム毎に設定されたウィンドウの種類からの、又はアプリケーションプログラムの種類及びウィンドウの種類の両方からの影響を受けることなく、前記画面情報内の有用領域を決定するルールを選択する、請求項１３〜１５のいずれかに記載の画像処理方法。
17. 前記画面情報に含まれるウィンドウを表示しているアプリケーションプログラムに対応する前記有用領域判定ルールが存在していない場合に、
    前記（ｂ）のステップで、前記画面情報に含まれるウィンドウを表示しているアプリケーションプログラムと提供元が同一である、別のアプリケーションプログラムに対応する前記有用領域判定ルールを選択する、請求項１３〜１５のいずれかに記載の画像処理方法。
18. 前記（ｅ）のステップで、前記画面情報に含まれるウィンドウのうち、アクティブ状態にあるウィンドウを表示しているアプリケーションプログラムのみについて、その種類と、そのウィンドウ種類とを判定する、請求項１４に記載の画像処理方法。
19. 前記有用領域判定ルールが、前記ウィンドウの構成要素毎に予め設定された有用度を含んでいる請求項１３〜１８のいずれかに記載の画像処理方法。
20. 選択された前記有用領域判定ルールが、前記ウィンドウを構成している矩形領域の予め有用であると設定された一辺を特定する情報を含む場合に、
    前記（ｃ）のステップで、取得された前記画面情報を、前記矩形領域の前記有用であると設定された一辺に近い領域から順にバー形状の領域に分割し、前記有用であると設定された一辺に近い程、前記有用度の値を高く設定する、請求項１３〜１８のいずれかに記載の画像処理方法。
21. 選択された前記有用領域判定ルールが、前記ウィンドウを構成している矩形領域の予め有用であると設定された隣り合う二辺を特定する情報を含む場合に、
    前記（ｃ）のステップで、取得された前記画面情報を、前記矩形領域の前記有用であると設定された隣り合う二辺に近い領域から順に、Ｌ字形状の領域に分割し、前記有用であると設定された隣り合う二辺に近い程、前記有用度の値を高く設定する、請求項１３〜１８のいずれかに記載の画像処理方法。
22. 前記矩形領域の有用な隣り合う二辺が、前記表示画面において垂直方向上側に位置する上辺と、前記表示画面において水平方向左側に位置する左辺である、請求項２１に記載の画像処理方法。
23. 選択された前記有用領域判定ルールが、前記ウィンドウの構成要素毎に設定された有用度と、前記ウィンドウの構成要素の内部における有用な領域を特定する情報とを含む場合に、
    前記（ｃ）のステップで、取得された前記画面情報を、前記ウィンドウの構成要素毎に分割した後に、分割された前記構成要素の内部における前記有用な領域についての分割を行う、請求項１３〜１８に記載の画像処理方法。
24. コンピュータによって、クライアント端末の表示画面に、アプリケーションプログラムの実行結果を示す画像を、表示させるためのプログラムであって、
    前記コンピュータに、
    （ａ）前記実行結果を示す画像の全部又は一部の領域を画面情報として取得する、ステップと、
    （ｂ）前記アプリケーションプログラムの種類毎及び各アプリケーションプログラムの実行によって表示されるウィンドウ毎に前記実行結果を示す画像上の有用領域を特定する、有用領域判定ルールの中から、
    前記（ａ）のステップで取得された前記画面情報に適用する有用領域判定ルールを選択する、ステップと、
    （ｃ）前記（ａ）のステップで取得された前記画面情報を、前記（ｂ）のステップで選択された前記有用領域判定ルールを用いて分割し、分割によって得られた前記画面情報の部分毎に有用度を付与する、ステップと、
    （ｄ）前記（ｃ）のステップでの分割によって得られた前記画面情報の部分に対して、それぞれに付与された前記有用度に基づいて送信順序を設定する、ステップと、を実行させ、
    前記（ｂ）のステップにおいて、選択された前記有用領域判定ルールが、前記ウィンドウの構成要素毎に予め設定された有用度を含む第１の有用領域判定ルールと、前記ウィンドウの構成要素毎に予め設定された有用度、及び前記ウィンドウの構成要素の内部における有用な領域を特定する情報を含む第２の有用領域判定ルールとである場合に、前記第１の有用領域判定ルールによって有用度が設定された前記構成要素それぞれにおける内部の有用領域を判定するルールを更に選択し、
    前記（ｃ）のステップにおいて、前記第１の有用領域判定ルールと、前記第２の有用領域判定ルールと、新たに選択された前記ルールとを用いて、取得された前記画面情報を分割する、
    ことを特徴とするプログラム。
25. （ｅ）前記（ａ）のステップで取得された前記画面情報に含まれるウィンドウを表示している前記アプリケーションプログラムの種類と、前記ウィンドウの種類と、前記画面情報に前記ウィンドウが複数含まれている場合のこれらの重なりの状態とを判定する、ステップを更に前記コンピュータに実行させ、
    前記（ｂ）のステップで、前記（ｅ）のステップによって判定された、前記アプリケーションプログラムの種類と、前記ウィンドウの種類とを用いて、これらに対応する前記有用領域判定ルールを選択し、
    前記（ｃ）のステップで、前記（ｅ）のステップによって判定された、前記画面情報に含まれている複数のウィンドウの重なりの状態に基づき、前面に位置するウィンドウを特定し、そして、前面に位置するウィンドウから順に、分割及び前記有用度の付与を実行する、請求項２４に記載のプログラム。
26. （ｆ）前記クライアント端末が接続されているネットワークの帯域に応じて、前記（ｃ）のステップによる分割後の前記画面情報の部分におけるデータサイズの閾値を決定する、ステップを更に前記コンピュータに実行させ、
    前記（ｃ）ステップで、分割によって得られた前記画面情報の各部分のデータサイズが、前記閾値以下となるように分割を行う、請求項２４または２５に記載のプログラム。
27. 前記画面情報に含まれるウィンドウを表示しているアプリケーションプログラムに対応する前記有用領域判定ルールが存在していない場合に、
    前記（ｂ）のステップで、予め設定され、且つ、アプリケーションプログラム毎に設定されたウィンドウの種類からの、又はアプリケーションプログラムの種類及びウィンドウの種類の両方からの影響を受けることなく、前記画面情報内の有用領域を決定するルールを選択する、請求項２４〜２６のいずれかに記載のプログラム。
28. 前記画面情報に含まれるウィンドウを表示しているアプリケーションプログラムに対応する前記有用領域判定ルールが存在していない場合に、
    前記（ｂ）のステップで、前記画面情報に含まれるウィンドウを表示しているアプリケーションプログラムと提供元が同一である、別のアプリケーションプログラムに対応する前記有用領域判定ルールを選択する、請求項２４〜２６のいずれかに記載のプログラム。
29. 前記（ｅ）のステップで、前記画面情報に含まれるウィンドウのうち、アクティブ状態にあるウィンドウを表示しているアプリケーションプログラムのみについて、その種類と、そのウィンドウ種類とを判定する、請求項２５に記載のプログラム。
30. 前記有用領域判定ルールが、前記ウィンドウの構成要素毎に予め設定された有用度を含んでいる請求項２４〜２９のいずれかに記載のプログラム。
31. 選択された前記有用領域判定ルールが、前記ウィンドウを構成している矩形領域の予め有用であると設定された一辺を特定する情報を含む場合に、
    前記（ｃ）のステップで、取得された前記画面情報を、前記矩形領域の前記有用であると設定された一辺に近い領域から順にバー形状の領域に分割し、前記有用であると設定された一辺に近い程、前記有用度の値を高く設定する、請求項２４〜２９のいずれかに記載のプログラム。
32. 選択された 前記有用領域判定ルールが、前記ウィンドウを構成している矩形領域の予め有用であると設定された隣り合う二辺を特定する情報を含む場合に、
    前記（ｃ）のステップで、取得された前記画面情報を、前記矩形領域の前記有用であると設定された隣り合う二辺に近い領域から順に、Ｌ字形状の領域に分割し、前記有用であると設定された隣り合う二辺に近い程、前記有用度の値を高く設定する、請求項２４〜２９のいずれかに記載のプログラム。
33. 前記矩形領域の有用な隣り合う二辺が、前記表示画面において垂直方向上側に位置する上辺と、前記表示画面において水平方向左側に位置する左辺である、請求項３２に記載のプログラム。
34. 選択された前記有用領域判定ルールが、前記ウィンドウの構成要素毎に設定された有用度と、前記ウィンドウの構成要素の内部における有用な領域を特定する情報とを含む場合に、
    前記（ｃ）のステップで、取得された前記画面情報を、前記ウィンドウの構成要素毎に分割した後に、分割された前記構成要素の内部における前記有用な領域についての分割を行う、請求項２４〜２９に記載のプログラム。
    

Images