JP6191470B2 - 画像処理システム、画像処理装置及び携帯端末装置 - Google Patents

Description

この発明は、多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）等の画像処理装置と、該画像処理装置を遠隔操作可能なスマートフォン、タブレット端末等の携帯端末装置とを備えた画像処理システム、該システムに用いられる画像処理装置及び携帯端末装置に関する。

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。

しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。

そこで、最近、画像処理装置の機能を使用するための画像処理装置側の操作画面を、携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との画像処理システムが提案されている。このシステムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。

つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを作成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。

ところで、携帯端末装置には、自装置の状態やアプリケーションの状態等をアイコン等で簡易表示したり、あるいはメッセージの一部を簡易表示する帯状の簡易表示エリアが画面に表示されている。また、画像処理装置の操作画面にも、トナーや用紙情報等をアイコン等で簡易表示したり、メッセージの一部を簡易表示する帯状の簡易表示エリアが表示される場合がある。

このような携帯端末装置側の簡易表示エリアや画像処理装置側の簡易表示エリアに対して、ユーザーが例えばフリック操作等の引き出し操作を行うと、表示エリアの幅方向の一端が引き出されて簡易表示エリアが拡張され、詳細情報の表示画面が表示される。

ところが、図２７に示すように、このような簡易表示エリア３００が表示された画像処理装置の操作画面を、太枠で示すリモート画面Ｄ１として携帯端末装置２に表示した場合、リモート画面Ｄ１内に表示された帯状の簡易表示エリア３００と携帯端末装置２側の帯状の簡易表示エリア４００が隣接状態で表示される場合がある。

このような表示状態において、ユーザーがリモート画面Ｄ１上の簡易表示エリア３００に対して、図２７の矢印Ａ方向にフリック操作等を行う場合、次のような問題が発生していた。なお、図２７において、矢印Ｂは携帯端末装置２側の簡易表示エリア４００に対してフリック操作を行う場合を示している。

特開２０１２−２０４９９３号公報

即ち、画像処理装置の操作画面であるリモート画面Ｄ１上の簡易表示エリア３００は狭い領域であり、ユーザーがこの簡易表示エリア３００に対してフリック操作等を行う場合、この簡易表示エリア３００を矢印Ａの方向に幅方向に横断してフリック操作を行うと、隣接する携帯端末装置２側の簡易表示エリア４００を誤ってフリックしてしまい、携帯端末装置２側の簡易表示エリア４００が引き出されてしまう。このため、リモート画面Ｄ１上の簡易表示エリア３００を正確に引き出すためには、簡易表示エリア３００内の狭い領域を始点にして操作しなければならず、操作性が良くないという問題があった。

なお、フリック操作の始点の領域を広げるために、リモート画面Ｄ１をピンチ操作等により拡大したのちフリック操作すると、画面全体が拡大されるため、状態表示の詳細情報の全体を確認することができず、このためその後に画面の縮小操作やスクロール操作が必要となり、却って操作が面倒になる。

なお、上記の特許文献１には、操作パネルで枠消し設定しようとしたときに、テンキー表示がなされ、そのときにテンキー画面の下に枠消し設定値があると仮定しても何が設定されたかが確認できないため、テンキー画面が下の枠消し設定値と重ならないように、予めテンキー表示領域を設定しておく技術が開示されているが、この技術によっても上記の問題を解決することはできなかった。

一方、スマートフォン等のＷＥＢブラウザで指定した広告画像等のコンテンツを、画面の指定した位置に表示する技術がある。

しかし、この技術を利用して、携帯端末装置に表示された画像処理装置の簡易表示エリアを指定位置に移動しようとしても、リモート画面は画像処理装置から送信された１つの画面表示用データを再生して表示されるため、リモート画面の一部領域だけ別の動作をさせることは困難である。

この発明は、このような事情に鑑みてなされたものであって、簡易表示エリアを有する画像処理装置の操作画面であるリモート画面内の画像処理装置側の簡易表示エリアと、携帯端末装置側の簡易表示エリアが隣接して携帯端末装置に表示される場合の、リモート画面内の簡易表示エリアに対する操作性が良くないという問題や、携帯端末装置側の簡易表示エリアを誤って操作してしまうという問題を解決することができる画像処理システム、画像処理装置及び携帯端末装置を提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理システムであって、前記画像処理装置は、少なくとも自装置の状態及び／またはメッセージを簡易表示する簡易表示エリアであって、該簡易表示エリアに対してユーザーが引き出し操作を行ったときに前記簡易表示エリアを引き出して詳細情報を表示する第１の簡易表示エリアを有する自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのリモート画面表示用データを作成する表示用データ作成手段と、前記作成されたリモート画面表示用データを携帯端末装置に送信する送信手段と、前記リモート画面表示用データに基づいて携帯端末装置に表示されたリモート画面に対してユーザーが行った操作情報を、携帯端末装置から受信する受信手段と、を備え、前記受信手段により前記操作情報を受信したときは、前記表示用データ作成手段は、前記受信した操作情報に応じた前記リモート画面表示用データを作成し、前記送信手段は、作成されたリモート画面表示用データを前記携帯端末装置に送信し、前記携帯端末装置は、前記画像処理装置からの前記リモート画面表示用データを受信する受信手段と、表示手段と、前記受信手段により受信したリモート画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、少なくとも自装置の状態及び／またはメッセージを簡易表示する第２の簡易表示エリアを前記リモート画面と共に表示し、かつ前記第２の簡易表示エリアに対してユーザーが引き出し操作を行ったときに前記簡易表示エリアを引き出して詳細情報を前記表示手段に表示させる表示制御手段と、前記表示手段に表示された前記リモート画面に対してユーザーが操作を行ったときは、操作に対応する操作情報を前記画像処理装置に送信する送信手段と、を備え、前記画像処理装置のリモート画面における前記第１の簡易表示エリアと、前記携帯端末装置の表示手段に表示される前記第２の簡易表示エリアとが隣接するときは、前記画像処理装置または携帯端末装置は、前記第１及び第２の簡易表示エリアの隣接表示を回避する制御を行うことを特徴とする画像処理システム。
（２）前記画像処理装置は、前記第１の簡易表示エリアの表示内容を前記携帯端末装置に送信すると共に、前記第１の簡易表示エリアを消去したリモート画面表示用データを作成して前記携帯端末装置に送信し、前記携帯端末装置は、前記第１の簡易表示エリアの表示内容を受信して、該内容を第２の簡易表示エリアに表示することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する前項１に記載の画像処理システム。
（３）前記携帯端末装置は、第２の簡易表示エリアの表示内容を前記画像処理装置に送信すると共に、前記第２の簡易表示エリアを非表示とし、前記画像処理装置は、前記第２の簡易表示エリアの表示内容を受信して、該内容を第１の簡易表示エリアに表示するリモート画面表示用データを作成して前記携帯端末装置に送信することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する前項１に記載の画像処理システム。
（４）前記携帯端末装置は、前記第２の簡易表示エリアを非表示とすることにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する前項１に記載の画像処理システム。
（５）前記画像処理装置は、前記第１の簡易表示エリアの位置情報を前記携帯端末装置に送信し、前記携帯端末装置は、前記第１の簡易表示エリアの位置情報を受信して、前記第２の簡易表示エリアを第１の簡易表示エリアから離間する位置に移動させて表示することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する前項１に記載の画像処理システム。
（６）前記携帯端末装置は、前記第２の簡易表示エリアの位置情報を前記画像処理装置に送信し、前記画像処理装置は、前記第２の簡易表示エリアの位置情報を受信して、前記第１の簡易表示エリアを第２の簡易表示エリアから離間する位置に移動させたリモート画面表示用データを作成して前記携帯端末装置に送信することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する前項１に記載の画像処理システム。
（７）前記携帯端末装置または画像処理装置は、前記第１の簡易表示エリアの表示内容を前記第２の簡易表示エリアに表示可能な空き領域の有無を判断する判断手段を備え、前記判断手段により空き領域が存在すると判断された場合は、携帯端末装置は、前記第１の簡易表示エリアの表示内容を受信して、該内容を第２の簡易表示エリアに表示し、空き領域が存在しないと判断された場合は、前記画像処理装置は前記第１の簡易表示エリアを第２の簡易表示エリアから離間する位置に移動させたリモート画面表示用データを作成して前記携帯端末装置に送信することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する前項２に記載の画像処理システム。
（８）前記携帯端末装置または画像処理装置は、前記第２の簡易表示エリアの表示内容を前記第１の簡易表示エリアに表示可能な空き領域の有無を判断する判断手段を備え、前記判断手段により空き領域が存在すると判断された場合は、前記画像処理装置は、前記第２の簡易表示エリアの表示内容を受信して、該内容を自己の第１の簡易表示エリアに表示するリモート画面表示用データを作成して前記携帯端末装置に送信し、空き領域が存在しないと判断された場合は、前記携帯端末装置は前記第２の簡易表示エリアを第１の簡易表示エリアから離間する位置に移動させて表示することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する前項３に記載の画像処理システム。
（９）前項１〜８のいずれかに記載の画像処理システムに用いられる画像処理装置。
（１０）前項１〜８のいずれかに記載の画像処理システムに用いられる携帯端末装置。

前項（１）に記載の発明によれば、携帯端末装置の表示手段に表示されたリモート画面における画像処理装置側の第１の簡易表示エリアと、携帯端末装置側の第２の簡易表示エリアとが隣接するときは、画像処理装置または携帯端末装置は、前記第１の簡易表示エリアと前記第２の簡易表示エリアの隣接表示を回避する制御を行うから、第１の簡易表示エリアと第２の簡易表示エリアの隣接表示が回避される。このため、リモート画面の第１の簡易表示エリアを幅方向に横断してフリック操作等を行うことができるから、狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上できる。しかも、隣接する携帯端末装置側の簡易表示エリアを誤ってフリック操作してしまう不都合も解消できる。

前項（２）に記載の発明によれば、第１の簡易表示エリアの表示内容は携帯端末装置の第２の簡易表示エリアに携帯端末装置の表示内容と合わせて表示され、リモート画面から第１の簡易表示エリアが消去されるから、リモート画面の第１の簡易表示エリアを操作しようとして携帯端末装置側の第２の簡易表示エリアを誤って操作してしまう不都合を解消できる。なお、第１の簡易表示エリアの詳細内容を知りたいユーザーは、第２の簡易表示エリアをフリック操作等すれば良く、この場合、第２の簡易表示エリアを幅方向に横断してフリック操作等を行うことができるから、狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上できる。

前項（３）に記載の発明によれば、携帯端末装置側の第２の簡易表示エリアの表示内容は、リモート画面の第１の簡易表示エリアに画像処理装置の表示内容と合わせて表示され、携帯端末装置側の第２の簡易表示エリアが非表示となるから、リモート画面の第１の簡易表示エリアを操作しようとして携帯端末装置側の第２の簡易表示エリアを誤って操作してしまう不都合を解消できる。なお、携帯端末装置の第２の簡易表示エリアの詳細内容を知りたいユーザーは、リモート画面における第１の簡易表示エリアをフリック操作等すれば良く、この場合、第１の簡易表示エリアを幅方向に横断してフリック操作等を行うことができるから、狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上できる。

前項（４）に記載の発明によれば、携帯端末装置は第２の簡易表示エリアを非表示とするから、リモート画面の第１の簡易表示エリアを操作しようとして携帯端末装置側の第２の簡易表示エリアを誤って操作してしまう不都合を解消できる。

前項（５）に記載の発明によれば、携帯端末装置は、画像処理装置から第１の簡易表示エリアの位置情報を受信して、自己の第２の簡易表示エリアを第１の簡易表示エリアから離間する位置に移動させて表示するから、第１の簡易表示エリアと第２の簡易表示エリアの隣接表示状態が回避される。このため、リモート画面の第１の簡易表示エリアを幅方向に横断してフリック操作等を行うことができるから、狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上できる。しかも、隣接する携帯端末装置側の簡易表示エリアを誤ってフリック操作してしまう不都合も解消できる。

前項（６）に記載の発明によれば、画像処理装置は、携帯端末装置から第２の簡易表示エリアの位置情報を受信して、自己の第１の簡易表示エリアを第２の簡易表示エリアから離間する位置に移動させたリモート画面表示用データを作成して携帯端末装置に送信するから、携帯端末装置にリモート画面が表示された状態では、第１の簡易表示エリアと第２の簡易表示エリアの隣接表示状態が回避される。このため、リモート画面の第１の簡易表示エリアを幅方向に横断してフリック操作等を行うことができるから、狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上できる。しかも、隣接する携帯端末装置側の簡易表示エリアを誤ってフリック操作してしまう不都合も解消できる。

前項（７）に記載の発明によれば、携帯端末装置または画像処理装置により、第１の簡易表示エリアの表示内容を第２の簡易表示エリアに表示可能な空き領域が存在すると判断された場合に、第１の簡易表示エリアの表示内容は第２の簡易表示エリアに表示され、空き領域が存在しないと判断された場合は、画像処理装置は第１の簡易表示エリアを第２の簡易表示エリアから離間する位置に移動させたリモート画面表示用データを作成して前記携帯端末装置に送信する。従って、携帯端末装置にリモート画面が表示された状態では、第１の簡易表示エリアと第２の簡易表示エリアの隣接表示状態が回避され、このため狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上できるとともに、リモート画面の第１の簡易表示エリアを操作しようとして第２の簡易表示エリアを誤って操作してしまう不都合を解消できる。

前項（８）に記載の発明によれば、携帯端末装置または画像処理装置により、第２の簡易表示エリアの表示内容を第１の簡易表示エリアに表示可能な空き領域が存在すると判断された場合に、第２の簡易表示エリアの表示内容は、第１の簡易表示エリアに表示され、空き領域が存在しないと判断された場合は、携帯端末装置は第２の簡易表示エリアを第１の簡易表示エリアから離間する位置に移動させて表示する。従って、携帯端末装置にリモート画面が表示された状態では、第１の簡易表示エリアと第２の簡易表示エリアの隣接表示状態が回避され、このため狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上できるとともに、リモート画面の第１の簡易表示エリアを操作しようとして携帯端末装置の第２の簡易表示エリアを誤って操作してしまう不都合を確実に解消できる。

前項（９）に記載の発明によれば、狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上でき、しかも隣接する携帯端末装置側の簡易表示エリアを誤ってフリック操作してしまう不都合も解消できる画像処理装置となる。

前項（１０）に記載の発明によれば、狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上でき、しかも隣接する携帯端末装置側の簡易表示エリアを誤ってフリック操作してしまう不都合も解消できる携帯端末装置となる。

この発明の一実施形態に係る携帯端末装置が用いられた画像処理連携システムの構成図である。 画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。 画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。 画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。 第１の簡易表示エリアと第２の簡易表示エリアの隣接表示を回避するための制御例１における携帯端末装置の表示部の画面を示す図である。 図５の制御例１の場合の画像処理装置と携帯端末装置の動作を示すシーケンス図である。 図５及び図６に示した画像処理システムの主要動作を示すフローチャートである。 第１の簡易表示エリアと第２の簡易表示エリアの隣接表示を回避するための制御例２における携帯端末装置の表示部の画面を示す図である。 図８の制御例２の場合の画像処理装置と携帯端末装置の動作を示すシーケンス図である。 図８及び図９に示した画像処理システムの主要動作を示すフローチャートである。 第１の簡易表示エリアと第２の簡易表示エリアの隣接表示を回避するための制御例３における携帯端末装置の表示部の画面を示す図である。 図１１の制御例３の場合の画像処理装置と携帯端末装置の動作を示すシーケンス図である。 図１１及び図１２に示した画像処理システムの主要動作を示すフローチャートである。 第１の簡易表示エリアと第２の簡易表示エリアの隣接表示を回避するための制御例４における携帯端末装置の表示部の画面を示す図である。 図１３の制御例４の場合の画像処理装置と携帯端末装置の動作を示すシーケンス図である。 図１４及び図１５に示した画像処理システムの主要動作を示すフローチャートである。 第１の簡易表示エリアと第２の簡易表示エリアの隣接表示を回避するための制御例５における携帯端末装置の表示部の画面を示す図である。 第１の簡易表示エリアと第２の簡易表示エリアの隣接表示を回避するための制御例６における携帯端末装置の表示部の画面を示す図である。 図１８の制御例６の場合の画像処理装置と携帯端末装置の動作を示すシーケンス図である。 図１８及び図１９に示した画像処理システムの主要動作を示すフローチャートである。 第１の簡易表示エリアと第２の簡易表示エリアの隣接表示を回避するための制御例７における携帯端末装置の表示部の画面を示す図である。 図２１の制御例７の場合の画像処理装置と携帯端末装置の動作を示すシーケンス図である。 図２１及び図２２に示した画像処理システムの主要動作を示すフローチャートである。 第１の簡易表示エリアと第２の簡易表示エリアの隣接表示を回避するための制御例８における携帯端末装置の表示部の画面を示す図である。 図２４の制御例８の場合の画像処理装置と携帯端末装置の動作を示すシーケンス図である。 図２４及び図２５に示した画像処理システムの主要動作を示すフローチャートである。 従来の携帯端末装置の表示部の画面を示す図である。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る画像処理システムの構成図である。

この画像処理システムは、画像処理装置１と携帯端末装置２等を備え、これらの画像処理装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像処理装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続も可能であるが、この実施形態では、無線通信により相互に接続されるものとして説明する。

この実施形態では、画像処理装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２からの要求に基づいて、自装置の操作画面を携帯端末２にリモート画面として表示させるためのリモート画面表示用データを携帯端末２に送信したり、携帯端末２側で行われたユーザー操作に応じて、ジョブを実行したり次に表示させるリモート画面表示用データ等を携帯端末２に送信する。

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。

前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データが記憶されており、ユーザーの操作に応じた操作画面の表示用データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルも保存されている。

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、スタートキー、ストップキー、リセットキー、テンキー等の機械的なハードウェアキーを有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。

前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。

前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４ａ、操作部２０４ｂ、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９等を備えている。

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、ＭＦＰ１から送信された第１の簡易表示エリア（後述する）を含むリモート画面表示用データ、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。

前記表示部２０４ａは液晶等のデバイスからなり、操作部２０４ｂは表示部２０４ａに設けられ、タッチ入力操作が可能なタッチパネルからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面を引き出したりスクロール（ページ送りやページ戻し）するためのフリック操作、画像の変倍（拡大または縮小）や回転等を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。

前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。

前記ファイル処理部２０８ａ、２０８ｂは、ファイルの編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される操作画面と同じ操作画面を再生するためのリモート画面表示用データをＭＦＰ１から受信し、前記操作画面をリモート画面として表示部２０４に表示したり、リモート画面に表示された操作ボタン等をユーザーが押下したときに、画面上の操作位置の座標を検出して操作情報としてＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザーの操作指示を特定し、操作指示に応じた動作を実行する。

前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。

パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されるＭＦＰ１側の画面データを作成する。

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行い、携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきたリモート画面表示用データ等をＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ２２４等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。

表示画像生成アプリ２２２は、携帯端末２の表示部２０４にリモート画面として表示されるＭＦＰ１の操作画面と共に、携帯端末２の状態をアイコン等で表示したりメッセージの一部を表示するための帯状の簡易表示エリア（第２の簡易表示エリア）を表示させる。また、リモート画面として表示されるＭＦＰ１の操作画面にＭＦＰ１側の簡易表示エリア（第１の簡易表示エリア）が含まれている場合は、第１の簡易表示エリアと自装置の第２の簡易表示エリアが隣接しているかどうかを判断し、隣接していないと判断された場合はそのまま画面を表示し、隣接していると判断された場合は、隣接表示を回避するための表示制御処理を行う。この処理については後述する。

なお、この実施形態では、隣接しているかどうかの判断は、第１の簡易表示エリアと第２の簡易表示エリアがリモート画面の同一辺側に存在しているかどうかを判断することにより行っている。

前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張されたリモート画面表示用データを用いて、ＭＦＰ１の操作画面をリモート画面として作成し表示部２０４に表示させるものである。

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。

ユーザーが携帯端末２をＭＦＰ１にネットワーク経由にて無線接続し、携帯端末２とＭＦＰ１を連携して操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ＭＦＰ１からのデータの受信及び受信したデータの処理、ユーザーの操作情報や携帯端末２側のリモート画面表示用データの取得等を行うことができ、必要に応じて取得したデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザー操作受付処理、ＭＦＰ１のリモート画面表示用データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザー操作受付処理、携帯端末２へのＭＦＰ側画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。

ユーザーが携帯端末２の表示部２０４に表示された連携操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、リモート画面表示用データの取得を要求する。それにより、連携操作モードが開始され、ＭＦＰ１の表示部１０５ａと携帯端末２の表示部２０４に、ＭＦＰ側の操作画面が表示される。なお、ＭＦＰ１の表示部１０５ａにおける画面表示は行われなくても良い。

次に、図１に示した画像処理連携システムの動作を説明する。

今、携帯端末２の表示部２０４ａに、図２７に示すように、ＭＦＰ１で作成されたＭＦＰ１の操作画面がリモート画面Ｄ１として表示されている。このリモート画面Ｄ１の上部領域には、左右に長く上下幅の小さい帯状の第１の簡易表示エリア３００が表示されている。この第１の簡易表示エリア３００は、例えば用紙切れやエラー等のＭＦＰ１の状態をアイコン等により簡易表示するための領域である。なお、第１の簡易表示エリア３００にはアイコンだけでなく、簡単なメッセージあるいはメッセージの一部等が表示されても良いし、メッセージあるいはメッセージの一部のみが表示されても良い。

前記第１の簡易表示エリア３００は、ユーザーがフリック操作等により第１の簡易表示エリア３００を下方に引き出す操作を行うと、操作の情報が携帯端末２からＭＦＰ１へ送信され、ＭＦＰ１は、第１の簡易表示エリア３００が下方に拡大しＭＦＰ１の状態等を示す詳細な情報を表示したリモート画面表示用データを作成して携帯端末２に送信し、携帯端末２はこれを受信して、第１の簡易表示エリア３００が下方に拡大しＭＦＰ１の状態等を示す詳細な情報を表示したリモート画面を表示するものとなされている。

さらに、携帯端末２の表示部２０４ａには、リモート画面Ｄ１の上方に近接して、左右に長く上下幅の小さい帯状の第２の簡易表示エリア４００が表示されている。この第２の簡易表示エリア４００は、例えば外部装置との無線接続状態等をアイコン等により簡易表示するための領域である。なお、第２の簡易表示エリアにはアイコンだけでなく、簡単なメッセージあるいはメッセージの一部等が表示されても良いし、メッセージあるいはメッセージの一部のみが表示されても良い。また、ユーザーがフリック操作等により第２の簡易表示エリアを下方に引き出す操作を行うと、携帯端末２は、第２の簡易表示エリア４００が下方に拡大しＭＦＰ１の状態等を示す詳細な情報を表示した画面を表示するものとなされている。

このようにリモート画面Ｄ１と携帯端末２の第２の簡易表示エリア４００が表示される結果、リモート画面Ｄ１内の帯状の第１の簡易表示エリア３００と携帯端末２の帯状の第２の簡易表示エリア４００とが上下に隣接して表示された状態となる。このため、ユーザーがリモート画面Ｄ１の第１の簡易表示エリア３００を該エリアの上方から下方にエリアを横断する態様でクリック操作等を行い、前記エリア３００を下方に引き出して詳細情報を表示させるときに、誤って携帯端末２の第２の簡易表示エリア４００を操作してしまうおそれがある。これを防止するためには、第１簡易表示エリア３００の狭い領域を始点としてフリック操作しなければならず、操作性が良くない。

そこで、この実施形態では、ＭＦＰ１または携帯端末２は、第１の簡易表示エリア３００と第２の簡易表示エリア４００の隣接表示を回避するために、以下のような制御を行う。

なお、特に言及しない限り、ユーザーによる携帯端末２の連携アプリの起動後に、ＭＦＰ１からリモート画面に表示される第１の簡易表示エリア３００の位置情報が携帯端末２に送信され、携帯端末２は受信した位置情報で示される第１の簡易表示エリア３００の画面上の位置と、携帯端末２自身の第２の簡易表示エリアの位置４００の位置とを比較し、両者がリモート画面の同じ辺側に位置する場合は両者は隣接して表示されると判断し、第１の簡易表示エリア３００と第２の簡易表示エリア４００の隣接表示を回避するための制御を行うものとなされている。なお、携帯端末２から第２の簡易表示エリア４００の位置情報がＭＦＰ１に送信されることにより、ＭＦＰ１が第１，第２の簡易表示エリア３００、４００の位置を比較し、両エリアが隣接しているかどうかを判断しても良い。

一方、第１の簡易表示エリア３００と第２の簡易表示エリア４００がリモート画面の同じ辺側に位置しない場合は、両者は隣接して表示されないと判断される。この場合は、ＭＦＰ１は従来と同様に、第１の簡易表示エリア３００を含むリモート画面表示用データを携帯端末２に送信する。

ただし、以下の制御例において、第１の簡易表示エリア３００の位置と携帯端末２自身の第２の簡易表示エリア４００の位置の比較について言及している場合は、そのときに比較が行われる。
［制御例１］
この制御例１では、図５に示すように、リモート画面Ｄ１における第１の簡易表示エリア３００を消去し、第１の簡易表示エリア３００の表示内容であるアイコン等を携帯端末２の第２の簡易表示エリア４００に合体して表示するものである。図５の例では、第２の簡易表示エリア４００の左部領域４０１に、携帯端末２の状態等を示すアイコンが、右部領域４０２にＭＦＰ１の状態等を示すアイコンが、それぞれ表示されている。

ＭＦＰ１の状態等を示す詳細な情報を知りたい場合、ユーザーは第２の簡易表示エリア４００に対するフリック操作等により下方に引き出す操作を行うことで、第２の簡易表示エリア４００が下方に拡張しＭＦＰ１の状態等を示す詳細な情報が表示される。

なお、図５以降の図面等において、第１の簡易表示エリアを第１のエリア、第２の簡易表示エリアを第２のエリアと略記される場合もある。

図６は、図５に示したような第１の簡易表示エリア３００のアイコン等を携帯端末２の第２の簡易表示エリア４００に合体して表示する場合のＭＦＰ１と携帯端末２の動作を示すシーケンス図である。

携帯端末２のユーザーが連携アプリを起動すると、ＭＦＰ１から初期画面に対応するリモート画面表示用データが送信される（Ｓ１）。携帯端末２は連携アプリでこれを受信し、携帯端末２の表示部２０４ａにリモート画面Ｄ１として表示する。

ユーザーが表示されたリモート画面Ｄ１に対してタッチ操作を行うと、連携アプリからタッチした座標情報がＭＦＰ１に送信される（Ｓ２）。

ＭＦＰ１は受信した座標情報に対応する次の操作画面データであるリモート画面表示用データに含まれる第１の簡易表示エリア３００に表示されるアイコン等の表示内容（以下「ステータスビュー情報」または単に「ＳＶ情報」ともいう）を携帯端末２に送信する（Ｓ３）。さらに、第１の簡易表示エリア３００を消去したリモート画面表示用データを作成し、携帯端末２に送信する（Ｓ４）。なお、ＳＶ情報は更新される毎に送信される。第１の簡易表示エリア３００を消去したリモート画面表示用データは、変更がなければ送信されない。

携帯端末２の連携アプリは、ＭＦＰ１のＳＶ情報及び第１の簡易表示エリア３００の存在しないリモート画面表示用データを受信すると、リモート画面表示用データに基づいてリモート画面Ｄ１を表示部２０４ａに表示すると共に、ＳＶ情報を携帯端末２のＯＳに送る（Ｓ５）。

携帯端末２のＯＳはＭＦＰ１のＳＶ情報を、自身の第２の簡易表示エリア４００に追加統合して、リモート画面Ｄ１に隣接する態様で表示部２０４ａに表示する。しかし、リモート画面Ｄ１には第１の簡易表示エリア３００は表示されないから、リモート画面Ｄ１の第１の簡易表示エリア３００を操作しようとして携帯端末２の第２の簡易表示エリア４００を誤って操作してしまう不都合を解消できる。

なお、この場合、ＭＦＰ１のＳＶ情報の詳細内容を知りたいユーザーは、図５の矢印Ａで示すように、携帯端末２の第２の簡易表示エリア４００をフリック操作等することになる。

図７は図５及び図６に示した画像処理システムの主要動作を示すフローチャートである。

ステップＳ１１で、ＭＦＰ１は自身のＳＶ情報が更新されたかどうかを判断する。更新されなければ（ステップＳ１１でＮＯ）、更新されるのを待つ。更新されると（ステップＳ１１でＹＥＳ）、ステップＳ１２で、ＭＦＰ１は自身のＳＶ情報を連携アプリへ送信する。

次にステップＳ１３で、連携アプリがＭＦＰ１のＳＶ情報を携帯端末２のＯＳへ送信した後、ステップＳ１４で、携帯端末２のＯＳはＭＦＰ１のＳＶ情報を自身の第２の簡易表示エリア４００に追加し合体して表示する。
［制御例２］
この制御例２では、図８に示すように、携帯端末２の第２の簡易表示エリア４００を非表示とし、第２の簡易表示エリア４００の表示内容であるアイコン等をＭＦＰ１のリモート画面Ｄ１の第１の簡易表示エリア３００に合体して表示するものである。図８の例では、第１の簡易表示エリア３００の左部領域３０１に、携帯端末２の状態等を示すアイコン等が、右部領域３０２にＭＦＰ１の状態等を示すアイコン等が、それぞれ表示されている。

携帯端末２の状態等を示す詳細な情報を知りたい場合、ユーザーは第１の簡易表示エリア３００に対するフリック操作等により下方に引き出す操作を行うことで、第１の簡易表示エリアが下方に拡大し携帯端末２の状態等を示す詳細な情報が表示される。

図９は、図８に示したような第２の簡易表示エリア４００のアイコン等をリモート画面Ｄ１の第１の簡易表示エリア３００に合体して表示する場合のＭＦＰ１と携帯端末２の動作を示すシーケンス図である。

携帯端末２のユーザーが連携アプリを起動すると、ＭＦＰ１から初期画面に対応するリモート画面表示用データが送信される（Ｓ２１）。携帯端末２は連携アプリでこれを受信し、携帯端末２の表示部２０４ａにリモート画面として表示する。

ユーザーが表示されたリモート画面に対してタッチ操作を行うと、連携アプリからタッチした座標情報がＭＦＰ１に送信される（Ｓ２２）。

一方、携帯端末２のＯＳは、自身の第２の簡易表示エリア４００に表示されるアイコン等の表示内容（携帯端末２の「ＳＶ情報」）を連携アプリに送信し（Ｓ２３）、連携アプリはＭＦＰ１にＳＶ情報を送信する（Ｓ２４）。なお、ＳＶ情報は更新される毎に送信される。

ＭＦＰ１は、受信した携帯端末２のＳＶ情報を自身の第１の簡易表示エリア３００に追加したリモート画面表示用データを作成し（Ｓ２５）、携帯端末２に送信する（Ｓ２６）。

携帯端末２の連携アプリは、ＭＦＰ１からリモート画面表示用データを受信すると、リモート画面表示用データに基づいてリモート画面を表示部２０４ａに表示するが、携帯端末２は自身の第２の簡易表示エリア４００を表示部２０４ａに表示しない。

このように、携帯端末２の第２の簡易表示エリア４００は表示されないから、リモート画面Ｄ１の第１の簡易表示エリア３００を操作しようとして携帯端末２の第２の簡易表示エリアを誤って操作してしまう不都合を解消できるとともに、第１の簡易表示エリア３００の狭い領域を始点としてフリック操作を行う必要もなくなる。

なお、この場合、携帯端末２のＳＶ情報の詳細内容を知りたいユーザーは、図８の矢印Ａで示すように、リモート画面Ｄ１の第１の簡易表示エリア３００をフリック操作等することになる。

図１０は図８及び図９に示した画像処理システムの主要動作を示すフローチャートである。

ステップＳ３１で、携帯端末２は自身のＳＶ情報が更新されたかどうかを判断する。更新されなければ（ステップＳ３１でＮＯ）、更新されるのを待つ。更新されると（ステップＳ３１でＹＥＳ）、ステップＳ３２で、携帯端末２のＯＳは自身のＳＶ情報を連携アプリへ送信する。

次にステップＳ３３で、連携アプリが携帯端末２のＳＶ情報をＭＦＰ１へ送信する。ＭＦＰ１はステップＳ３４で、携帯端末２のＳＶ情報を自身の第１の簡易表示エリア３００に追加統合したリモート画面表示用データを作成し、携帯端末２に送信する。携帯端末２は受信したリモート画面表示用データに基づいて、リモート画面Ｄ１を再生し表示する。
［制御例３］
この制御例３では、図１１に示すように、携帯端末２の第２の簡易表示エリア４００を消去して表示しないようにしたものである。

図１２は、図１１に示したような携帯端末２の第２の簡易表示エリア４００を表示しない場合のＭＦＰ１と携帯端末２の動作を示すシーケンス図である。

携帯端末２のユーザーが連携アプリを起動すると、ＭＦＰ１から初期画面に対応するリモート画面表示用データが送信される（Ｓ４１）。携帯端末２は連携アプリでこれを受信し、携帯端末２の表示部２０４ａにリモート画面Ｄ１として表示する。

ユーザーが表示されたリモート画面Ｄ１に対してタッチ操作を行うと、連携アプリからタッチした座標情報がＭＦＰ１に送信される（Ｓ４２）。

ＭＦＰ１に状態表示機能（ＳＶ機能）が備えられている場合、ＭＦＰ１は携帯端末２の第２の簡易表示エリア４００を非表示にするように携帯端末２に要求するとともに（Ｓ４３）、第１の簡易表示エリア３００を有し、座標情報に対応する次の操作画面データであるリモート画面表示用データを携帯端末２に送信する（Ｓ４４）。

携帯端末２の連携アプリは、リモート画面表示用データに基づいてリモート画面Ｄ１を表示すると共に、ＭＦＰ１からの第２の簡易表示エリア非表示要求を携帯端末２のＯＳに送信する（Ｓ４５）。携帯端末２のＯＳは自身の第２の簡易表示エリア４００を非表示にする（Ｓ４６）。

このように、携帯端末２は自身の第２の簡易表示エリア４００の表示を非表示にして消去するから、リモート画面Ｄ１の第１の簡易表示エリア３００を操作しようとして携帯端末２の第２の簡易表示エリアを誤って操作してしまう不都合や、第１の簡易表示エリア３００の狭い領域を始点としてフリック操作を行わなければならない不都合を解消できる。

図１３は図１１及び図１２に示した画像処理システムにおける主要動作を示すフローチャートである。

ステップＳ５１で、ＭＦＰ１はＳＶ機能の有無を確認する。ＳＶ機能があれば（ステップＳ５１でＹＥＳ）、ステップＳ５２で、ＭＦＰ１は携帯端末２の第２の簡易表示エリア４００の非表示要求を携帯端末２の連携アプリへ送信する。

ステップＳ５３では、連携アプリがＭＦＰ１からの第２の簡易表示エリア４００の非表示要求を携帯端末２のＯＳへ送信すると、ステップＳ５４で、携帯端末２のＯＳは携帯端末自身の第２の簡易表示エリア４００を非表示にする。
［制御例４］
この制御例４では、図１４に示すように、携帯端末２の第２の簡易表示エリア４００をリモート画面Ｄ１の上辺部から他の辺部へ移動して表示することで、第１の簡易表示エリア３００と第２の簡易表示エリア４００の隣接表示を回避するものである。

図１５は、図１４に示したような携帯端末２の第２の簡易表示エリアの表示位置を変更する場合のＭＦＰ１と携帯端末２の動作を示すシーケンス図である。

携帯端末２のユーザーが連携アプリを起動すると、ＭＦＰ１から初期画面に対応するリモート画面表示用データが送信される（Ｓ６１）。携帯端末２は連携アプリでこれを受信し、携帯端末２の表示部２０４ａにリモート画面として表示する。

ユーザーが表示されたリモート画面Ｄ１に対してタッチ操作を行うと、連携アプリからタッチした座標情報がＭＦＰ１に送信される（Ｓ６２）。

ＭＦＰ１は、自身の第１の簡易表示エリア３００の位置情報を携帯端末２に送信すると共に（Ｓ６３）、座標情報に対応する次の操作画面データであるリモート画面表示用データを携帯端末２に送信する（Ｓ６４）。なお、第１の簡易表示エリア３００の位置情報として、リモート画面Ｄ１内の座標情報を送信しても良いし、第１の簡易表示エリア３００がリモート画面Ｄ１のどの辺に存在しているかの情報を送信しても良い。

携帯端末２の連携アプリは、ＭＦＰ１から第１の簡易表示エリア３００の位置情報を受信すると、ＭＦＰ１の第１の簡易表示エリア３００と携帯端末２の第２の簡易表示エリア４００が隣接しているかどうか、換言すれば第１の簡易表示エリア３００と第２の簡易表示エリア４００がリモート画面Ｄ１の同一辺側に位置しているかどうかを判断し、隣接していれば第２の簡易表示エリア４００の移動要求を携帯端末２のＯＳに送信する（Ｓ６５）。

携帯端末２のＯＳは自身の第２の簡易表示エリア４００を、図１４のようにリモート画面Ｄ１の他の辺側に移動する（Ｓ６６）。

このように、携帯端末２はＭＦＰ１から第１の簡易表示エリア３００の位置情報を受信して、自己の第２の簡易表示エリア４００を第１の簡易表示エリア３００から離間するようにリモート画面Ｄ１の他の辺側に移動させて表示するから、リモート画面Ｄ１の第１の簡易表示エリア３００を操作しようとして携帯端末２の第２の簡易表示エリアを誤って操作してしまう不都合や、第１の簡易表示エリア３００の狭い領域を始点としてフリック操作を行わなければならない不都合を解消できる。

図１６は図１４及び図１５に示した画像処理システムにおける主要動作を示すフローチャートである。

ステップＳ７１で、ＭＦＰ１はリモート画面Ｄ１に含まれる自身の第１の簡易表示エリア３００の位置情報を携帯端末２の連携アプリに送信する。

ステップＳ７２では、ＭＦＰ１から位置情報を受信した連携アプリが、第１の簡易表示エリア３００の位置と第２の簡易表示エリア４００の位置を比較し、両者がリモート画面Ｄ１の同じ辺側に存在しているかどうかを判断する（Ｓ７２）。同じ辺側に存在している場合は（ステップＳ７２でＹＥＳ）、ステップＳ７３で、連携アプリは第２の簡易表示エリア４００の移動要求を携帯端末２のＯＳに送信する。ステップＳ７４で、携帯端末２のＯＳは連携アプリからの移動要求に応じて第２の簡易表示エリア４００を移動する。ステップＳ７５では連携操作が継続される。

ステップＳ７２で、第１の簡易表示エリア３００と第２の簡易表示エリア４００がリモート画面Ｄ１の同じ辺側に存在していなければ（ステップＳ７２でＮＯ）、そのままステップＳ７５に進む。
［制御例５］
この制御例５では、第１の簡易表示エリアを有するリモート画面Ｄ１を拡大した結果、第１の簡易表示エリアと携帯端末２の第２の簡易表示エリアが隣接して表示される場合の制御例を示すものである。

図１７（Ａ）に示すように、リモート画面Ｄ１内にＭＦＰ１の状態をアイコンで簡易表示する第１の簡易表示エリア３００が表示されるとともに、第１の簡易表示エリア３００の下方にメッセージの一部を簡易表示する帯状の別の第１の簡易表示エリア５００が表示され、リモート画面Ｄ１の上方に隣接して携帯端末２側の第２の簡易表示エリア４００が表示されているものとする。

前記メッセージエリアである第１の簡易表示エリア５００のメッセージ部分を同図（Ａ）及び（Ｂ）に示すように下方にフリック操作すると、エリアが下方に引き出されて拡張され、長い文章が表示される。

ユーザーがリモート画面Ｄ１を拡大すると、同図（Ｃ）に示すように、メッセージエリアである第１の簡易表示エリア５００が拡大され上方に移動して、携帯端末２側の第２の簡易表示エリア４００と隣接されて表示される場合がある。この状態では、第１の簡易表示エリア３００と第２の簡易表示エリア４００とが隣接する場合と同様の問題が発生する。

そこで、この実施形態では、リモート画面Ｄ１が拡大された結果、第１の簡易表示エリア５００と第２の簡易表示エリア４００とが隣接表示される場合は、同図（Ｄ）に示すように、第２の簡易表示エリア４００の位置をリモート画面Ｄ１の他の片側へと移動させて表示する。

この場合の画面拡大後のＭＦＰ１と携帯端末２の動作は、図１５及び図１６に示した動作と同じであるので、説明は省略する。
［制御例６］
この制御例６では、図１８に示すように、ＭＦＰ１の第１の簡易表示エリア３００をリモート画面Ｄ１の上辺部から他の辺部へ移動して表示することで、第１の簡易表示エリア３００と第２の簡易表示エリア４００の隣接表示を回避するものである。

図１９は、図１８に示したようなＭＦＰ１の第１の簡易表示エリア３００の表示位置を変更する場合のＭＦＰ１と携帯端末２の動作を示すシーケンス図である。

携帯端末２のユーザーが連携アプリを起動すると、ＭＦＰ１から初期画面に対応するリモート画面表示用データが送信される（Ｓ８１）。携帯端末２は連携アプリでこれを受信し、携帯端末２の表示部２０４ａにリモート画面として表示する。

ユーザーが表示されたリモート画面Ｄ１に対してタッチ操作を行うと、連携アプリからタッチした座標情報がＭＦＰ１に送信される（Ｓ８２）。

ＭＦＰ１は、自身の第１の簡易表示エリア３００の位置情報を携帯端末２に送信する（Ｓ８３）。携帯端末２の連携アプリは、ＭＦＰ１から第１の簡易表示エリア３００の位置情報を受信すると、携帯端末２のＯＳに携帯端末２側の第２の簡易表示エリア４００の位置情報を要求する（Ｓ８４）。ＯＳは前記第２の簡易表示エリア４００の位置情報を連携アプリに送信する（Ｓ８５）。

携帯端末２の連携アプリは、ＭＦＰ１の第１の簡易表示エリア３００と携帯端末２の第２の簡易表示エリア４００が隣接しているかどうか、換言すれば第１の簡易表示エリア３００と第２の簡易表示エリア４００がリモート画面Ｄ１の同一辺側に位置しているかどうかを判断し、隣接していれば第１の簡易表示エリア３００の移動要求をＭＦＰ１に送信する（Ｓ８６）。

ＭＦＰ１は自身の第１の簡易表示エリア３００を、図１８のようにリモート画面Ｄ１の他の辺側に移動したリモート画面表示用データを作成し（Ｓ８７）、作成したリモート画面表示用データを携帯端末２の連携アプリに送信する（Ｓ８８）。

このように、ＭＦＰ１は自己の第１の簡易表示エリア３００を第２の簡易表示エリア４００から離間するようにリモート画面Ｄ１の他の辺側に移動させてリモート画面表示用データを作成し、携帯端末２の表示部２０４ａに表示されるから、リモート画面Ｄ１の第１の簡易表示エリア３００を操作しようとして携帯端末２の第２の簡易表示エリア４００を誤って操作してしまう不都合や、第１の簡易表示エリア３００の狭い領域を始点としてフリック操作を行わなければならない不都合を解消できる。

この場合、第１の簡易表示エリア３００の詳細情報を知りたいユーザーは、図１８の矢印Ａに示すように、第１の簡易表示エリア３００の幅方向（紙面右方向）へフリック操作すればよい。

図２０は図１８及び図１９に示した画像処理システムにおける主要動作を示すフローチャートである。

ステップＳ９１で、ＭＦＰ１はリモート画面Ｄ１に含まれる自身の第１の簡易表示エリア３００の位置情報を携帯端末２の連携アプリに送信する。

ステップＳ９２では、ＭＦＰ１から位置情報を受信した連携アプリが、第１の簡易表示エリア３００の位置と第２の簡易表示エリア４００の位置を比較し、両者がリモート画面Ｄ１の同じ辺側に存在しているかどうかを判断する（Ｓ７２）。同じ辺側に存在している場合は（ステップＳ９２でＹＥＳ）、ステップＳ９３で、連携アプリは第１の簡易表示エリア３００の移動要求をＭＦＰ１に送信する。ステップＳ９４で、ＭＦＰ１は連携アプリからの移動要求に応じて第１の簡易表示エリア３００を移動したリモート画面表示用データを作成し、携帯端末２に送信する。ステップＳ９５では連携操作が継続される。

ステップＳ９２で、第１の簡易表示エリア３００と第２の簡易表示エリア４００がリモート画面Ｄ１の同じ辺側に存在していなければ（ステップＳ９２でＮＯ）、そのままステップＳ９５に進む。
［制御例７］
この制御例７では、携帯端末２の第２の簡易表示エリア４００に空き領域があるときは第１の簡易表示エリア３００の表示内容であるアイコン等を携帯端末２の第２の簡易表示エリア４００に合体して表示し、空き領域がないときは、図２１（Ａ）から同図（Ｂ）に示すように、第１の簡易表示エリア３００を第２の簡易表示エリア４００から離間する位置に変更して表示するものである。

図２２は、第２の簡易表示エリア４００に空き領域がない場合に、第１の簡易表示エリア３００を第２の簡易表示エリア４００から離間する位置に移動させて表示する場合のＭＦＰ１と携帯端末２の動作を示すシーケンス図である。

携帯端末２のユーザーが連携アプリを起動すると、ＭＦＰ１から初期画面に対応するリモート画面表示用データが送信される（Ｓ１０１）。携帯端末２は連携アプリでこれを受信し、携帯端末２の表示部２０４ａにリモート画面Ｄ１として表示する。

ユーザーが表示されたリモート画面Ｄ１に対してタッチ操作を行うと、連携アプリからタッチした座標情報がＭＦＰ１に送信される（Ｓ１０２）。

ＭＦＰ１は自身のＳＶ情報を携帯端末２に送信する（Ｓ１０３）。携帯端末２の連携アプリは、ＭＦＰ１のＳＶ情報を受信すると、携帯端末２のＯＳに第２の簡易表示エリア４００の空き領域のサイズを要求し（Ｓ１０４）、ＯＳは空き領域のサイズを連携アプリに回答する（Ｓ１０５）。

連携アプリは、ＭＦＰ１のＳＶ情報を携帯端末２の第２の簡易表示エリア４００に表示可能かどうかを判断する（Ｓ１０６）。第２の簡易表示エリア４００に空き領域がなく、ＭＦＰ１のＳＶ情報を表示できない場合、携帯端末２の連携アプリはＭＦＰ１へ第１の簡易表示エリア３００の移動を要求し（Ｓ１０７）、ＭＦＰ１は自身の第１の簡易表示エリア３００を図２１（Ｂ）のようにリモート画面Ｄ１の他の辺側に移動したリモート画面表示用データを作成し（Ｓ１０８）、連携アプリへ送信する（Ｓ１０９）。

このように、携帯端末２により、第１の簡易表示エリア３００の表示内容を第２の簡易表示エリア４００に表示可能な空き領域が存在しないと判断された場合は、ＭＦＰ１は第１の簡易表示エリア３００を第２の簡易表示エリア４００から離間する位置に移動させたリモート画面表示用データを作成して前記携帯端末２に送信する。従って、携帯端末２にリモート画面Ｄ１が表示された状態では、第１の簡易表示エリア３００と第２の簡易表示エリア４００の隣接表示状態が回避され、このため狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上できるとともに、リモート画面の第１の簡易表示エリア３００を操作しようとして携帯端末２の第２の簡易表示エリア４００を誤って操作してしまう不都合を確実に解消できる。

図２３は図２１及び図２２に示した画像処理システムの主要動作を示すフローチャートである。

ステップＳ１１１で、ＭＦＰ１は自身のＳＶ情報を連携アプリへ送信する。ステップＳ１１２で、連携アプリは携帯端末２の第２の簡易表示エリア４００の空き領域のサイズを取得した後、ステップＳ１１３で、ＭＦＰ１のＳＶ情報を携帯端末２の第２の簡易表示エリア４００に表示できるか否かを判断する。

ＭＦＰ１のＳＶ情報を第２の簡易表示エリア４００に表示できない場合（ステップＳ１１３でＮＯ）、ステップＳ１１４で、連携アプリがＭＦＰ１に第１の簡易表示エリア３００の移動を要求し、ＭＦＰ１はステップＳ１１５で、自身の第１の簡易表示エリア３００を移動したリモート画面表示用データを作成して携帯端末２に送信する。そして、ステップＳ１１６で連携操作を継続する。

一方、ステップＳ１１３で、ＭＦＰ１のＳＶ情報を携帯端末２の第２の簡易表示エリア４００に表示できる場合（ステップＳ１１３でＹＥＳ）、ステップ１１７で、ＭＦＰ１が自身のＳＶ情報を携帯端末２の連携アプリへ送信し、ステップＳ１１８で、連携アプリがＭＦＰ１のＳＶ情報を携帯端末２のＯＳへ送信する。ＯＳはステップＳ１１９で、ＭＦＰ１のＳＶ情報を自身の第２の簡易表示エリア４００に追加して表示したのち、ステップＳ１１６に進む。
［制御例８］
この制御例８では、ＭＦＰ１の第１の簡易表示エリア３００に空き領域があるときは、携帯端末２の第２の簡易表示エリア４００の表示内容であるアイコン等をＭＦＰ１の第１の簡易表示エリア３００に合体して表示し、空き領域がないときは、図２４（Ａ）から同図（Ｂ）に示すように、第２の簡易表示エリア４００を第１の簡易表示エリア３００から離間する位置に変更して表示するものである。

図２５は、第１の簡易表示エリア３００に空き領域がない場合に、第２の簡易表示エリア４００を第１の簡易表示エリア３００から離間する位置に移動させて表示する場合のＭＦＰ１と携帯端末２の動作を示すシーケンス図である。

携帯端末２のユーザーが連携アプリを起動すると、ＭＦＰ１から初期画面に対応するリモート画面表示用データが送信される（Ｓ１２１）。携帯端末２は連携アプリでこれを受信し、携帯端末２の表示部２０４ａにリモート画面Ｄ１として表示する。

ユーザーが表示されたリモート画面Ｄ１に対してタッチ操作を行うと、連携アプリからタッチした座標情報がＭＦＰ１に送信される（Ｓ１２２）。

携帯端末２のＯＳは自身のＳＶ情報を連携アプリに送信する（Ｓ１２３）。連携アプリは、ＭＦＰ１に第１の簡易表示エリアの空き領域のサイズを要求し（Ｓ１２４）、ＭＦＰ１は空き領域のサイズを連携アプリに回答する（Ｓ１２５）。

連携アプリは、携帯端末２のＳＶ情報をＭＦＰ１の第１の簡易表示エリア３００に表示可能かどうかを判断する（Ｓ１２６）。第１の簡易表示エリア３００に空き領域がなく、携帯端末２のＳＶ情報を表示できない場合、携帯端末２の連携アプリは携帯端末２のＯＳへ第２の簡易表示エリア４００の移動を要求し（Ｓ１２７）、ＯＳは自身の第２の簡易表示エリア４００を図２４（Ｂ）のようにリモート画面Ｄ１の他の辺側に移動させて表示する。

このように、携帯端末２により、第２の簡易表示エリア４００の表示内容を第１の簡易表示エリア３００に表示可能な空き領域が存在しないと判断された場合は、携帯端末２は第２の簡易表示エリア４００を第１の簡易表示エリア３００から離間する位置に移動させて表示させる。従って、携帯端末２にリモート画面Ｄ１が表示された状態では、第１の簡易表示エリア３００と第２の簡易表示エリア４００の隣接表示状態が回避され、このため狭い領域を始点としてフリック操作を行う必要はなくなり、操作性を向上できるとともに、リモート画面の第１の簡易表示エリア３００を操作しようとして携帯端末２の第２の簡易表示エリア４００を誤って操作してしまう不都合を確実に解消できる。

図２６は図２４及び図２５に示した画像処理システムの主要動作を示すフローチャートである。

ステップＳ１３１で、携帯端末２のＯＳは携帯端末２のＳＶ情報を連携アプリへ送信する。ステップＳ１３２で、連携アプリはＭＦＰ１の第１の簡易表示エリア３００の空き領域のサイズを取得した後、ステップＳ１３３で、携帯端末２のＳＶ情報をＭＦＰ１の第１の簡易表示エリア３００に表示できるか否かを判断する。

携帯端末２のＳＶ情報を第１の簡易表示エリア３００に表示できない場合（ステップＳ１３３でＮＯ）、ステップＳ１３４で、連携アプリが携帯端末２のＯＳへ第２の簡易表示エリア４００の移動を要求し、携帯端末２のＯＳはステップＳ１３５で、自身の第２の簡易表示エリア４００を移動させて表示する。そして、ステップＳ１３６で連携操作を継続する。

一方、ステップＳ１３３で、携帯端末２のＳＶ情報をＭＦＰ１の第１の簡易表示エリア３００に表示できる場合（ステップＳ１３３でＹＥＳ）、ステップ１３７で、携帯端末２のＯＳが自身のＳＶ情報を連携アプリへ送信し、ステップＳ１３８で、連携アプリが携帯端末２のＳＶ情報をＭＦＰ１に送信する。ＭＦＰ１はステップＳ１３９で、携帯端末２のＳＶ情報を自身の第１の簡易表示エリア３００に追加したリモート画面表示用データを作成して携帯端末２の連携アプリに送信した後、ステップＳ１３６に進む。

以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されることはない。例えば、ＭＦＰ１の第１の簡易表示エリア３００と携帯端末２の第２の簡易表示エリア４００が隣接して表示されるか否かの判断や、第１の簡易表示エリア３００や第２の簡易表示エリア４００に空き領域があるか否かの判断を、携帯端末２が行うものとしたが、ＭＦＰ１が行う構成であっても良い。

１ 画像処理装置
２ 携帯端末装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０７ｂ 表示部
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ 記憶部
２０４ａ 表示部
２０４ｂ 操作部
２０９ 連携部
３００、５００ 第１の簡易表示エリア
４００ 第２の簡易表示エリア

Claims (10)

1. 画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理システムであって、
   前記画像処理装置は、
   少なくとも自装置の状態及び／またはメッセージを簡易表示する簡易表示エリアであって、該簡易表示エリアに対してユーザーが引き出し操作を行ったときに前記簡易表示エリアを引き出して詳細情報を表示する第１の簡易表示エリアを有する自装置の操作画面を、前記携帯端末装置にリモート画面として表示させるためのリモート画面表示用データを作成する表示用データ作成手段と、
   前記作成されたリモート画面表示用データを携帯端末装置に送信する送信手段と、
   前記リモート画面表示用データに基づいて携帯端末装置に表示されたリモート画面に対してユーザーが行った操作情報を、携帯端末装置から受信する受信手段と、
   を備え、前記受信手段により前記操作情報を受信したときは、前記表示用データ作成手段は、前記受信した操作情報に応じた前記リモート画面表示用データを作成し、前記送信手段は、作成されたリモート画面表示用データを前記携帯端末装置に送信し、
   前記携帯端末装置は、
   前記画像処理装置からの前記リモート画面表示用データを受信する受信手段と、
   表示手段と、
   前記受信手段により受信したリモート画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、少なくとも自装置の状態及び／またはメッセージを簡易表示する第２の簡易表示エリアを前記リモート画面と共に表示し、かつ前記第２の簡易表示エリアに対してユーザーが引き出し操作を行ったときに前記簡易表示エリアを引き出して詳細情報を前記表示手段に表示させる表示制御手段と、
   前記表示手段に表示された前記リモート画面に対してユーザーが操作を行ったときは、操作に対応する操作情報を前記画像処理装置に送信する送信手段と、
   を備え、
   前記画像処理装置のリモート画面における前記第１の簡易表示エリアと、前記携帯端末装置の表示手段に表示される前記第２の簡易表示エリアとが隣接するときは、前記画像処理装置または携帯端末装置は、前記第１及び第２の簡易表示エリアの隣接表示を回避する制御を行うことを特徴とする画像処理システム。
2. 前記画像処理装置は、前記第１の簡易表示エリアの表示内容を前記携帯端末装置に送信すると共に、前記第１の簡易表示エリアを消去したリモート画面表示用データを作成して前記携帯端末装置に送信し、前記携帯端末装置は、前記第１の簡易表示エリアの表示内容を受信して、該内容を第２の簡易表示エリアに表示することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する請求項１に記載の画像処理システム。
3. 前記携帯端末装置は、第２の簡易表示エリアの表示内容を前記画像処理装置に送信すると共に、前記第２の簡易表示エリアを非表示とし、前記画像処理装置は、前記第２の簡易表示エリアの表示内容を受信して、該内容を第１の簡易表示エリアに表示するリモート画面表示用データを作成して前記携帯端末装置に送信することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する請求項１に記載の画像処理システム。
4. 前記携帯端末装置は、前記第２の簡易表示エリアを非表示とすることにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する請求項１に記載の画像処理システム。
5. 前記画像処理装置は、前記第１の簡易表示エリアの位置情報を前記携帯端末装置に送信し、前記携帯端末装置は、前記第１の簡易表示エリアの位置情報を受信して、前記第２の簡易表示エリアを第１の簡易表示エリアから離間する位置に移動させて表示することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する請求項１に記載の画像処理システム。
6. 前記携帯端末装置は、前記第２の簡易表示エリアの位置情報を前記画像処理装置に送信し、前記画像処理装置は、前記第２の簡易表示エリアの位置情報を受信して、前記第１の簡易表示エリアを第２の簡易表示エリアから離間する位置に移動させたリモート画面表示用データを作成して前記携帯端末装置に送信することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する請求項１に記載の画像処理システム。
7. 前記携帯端末装置または画像処理装置は、前記第１の簡易表示エリアの表示内容を前記第２の簡易表示エリアに表示可能な空き領域の有無を判断する判断手段を備え、
   前記判断手段により空き領域が存在すると判断された場合は、携帯端末装置は、前記第１の簡易表示エリアの表示内容を受信して、該内容を第２の簡易表示エリアに表示し、空き領域が存在しないと判断された場合は、前記画像処理装置は前記第１の簡易表示エリアを第２の簡易表示エリアから離間する位置に移動させたリモート画面表示用データを作成して前記携帯端末装置に送信することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する請求項２に記載の画像処理システム。
8. 前記携帯端末装置または画像処理装置は、前記第２の簡易表示エリアの表示内容を前記第１の簡易表示エリアに表示可能な空き領域の有無を判断する判断手段を備え、
   前記判断手段により空き領域が存在すると判断された場合は、前記画像処理装置は、前記第２の簡易表示エリアの表示内容を受信して、該内容を自己の第１の簡易表示エリアに表示するリモート画面表示用データを作成して前記携帯端末装置に送信し、空き領域が存在しないと判断された場合は、前記携帯端末装置は前記第２の簡易表示エリアを第１の簡易表示エリアから離間する位置に移動させて表示することにより、前記第１及び第２の簡易表示エリアの隣接表示を回避する請求項３に記載の画像処理システム。
9. 請求項１〜８のいずれかに記載の画像処理システムに用いられる画像処理装置。
10. 請求項１〜８のいずれかに記載の画像処理システムに用いられる携帯端末装置。

Images