JP5907002B2

JP5907002B2 - 画像処理連携システム、画像処理装置及び携帯端末装置

Info

Publication number: JP5907002B2
Application number: JP2012190682A
Authority: JP
Inventors: 匡晃坂
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2012-08-30
Filing date: 2012-08-30
Publication date: 2016-04-20
Anticipated expiration: 2032-08-30
Also published as: JP2014049910A

Description

この発明は、多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）等の画像処理装置と、この画像処理装置に接続可能なスマートフォン、タブレット端末等の携帯端末装置とを備えた画像処理連携システム、同システムに好適に用いられる画像処理装置及び携帯端末装置に関する。

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。

しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。

そこで、最近、画像処理装置の機能を使用するための画像処理装置用の操作画面を、携帯端末装置の表示部に表示し、携帯端末装置から画像処理装置を操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。この連携システムでは、携帯端末装置の表示部に表示される画像処理装置の操作画面は、画像処理装置から送信される表示用データに基づいて表示される。

ところで、このような連携システムにおいて、携帯端末装置を画像処理装置に着脱可能に構成し、携帯端末装置が画像処理装置に装着されている状態では両者がＵＳＢ等を介して有線接続され、携帯端末装置が画像処理装置から取り外されると、無線接続に切り替えられるものが提案されている。

また、特許文献１には、通信網に接続された他の装置に実装されている画像形式変換手段を使用することで形式変換処理の負荷と、形式変換手段の実装の通信網的分散を図り、装置１台当りの形式変換処理装備にかかるコストを削減することを目的として、第２の形式の画像データを処理する画像処理装置が第１の形式で画像データを蓄積する画像供給装置へ画像送信要求を出すと、画像供給装置は第１の形式の画像データに画像処理装置に関する情報を付加して第２の形式の画像データに形成変換する画像変換装置に送信し、当該画像データの形式変換と画像処理装置への第２の形式の画像データの送信を依頼する技術が開示されている。

特開平０８−１６６９１５号公報

前述したように、携帯端末装置が画像処理装置に装着されている状態では両者が有線接続され、携帯端末装置が画像処理装置から取り外されると、無線接続に切り替えられるシステムでは、次のような欠点があった。

即ち、有線接続状態では一般に無線接続に較べて通信測度が速いことから、画像処理装置側の操作画面を携帯端末装置に表示させるために、操作画面の構成要素である複数の画面生成用データを画像表示の利便性を向上すべく汎用性の高い携帯端末装置に送信し、送信後に携帯端末装置にて、受信した前記複数の画面生成用データを合成することにより画像処理装置側の画面を再現し表示することが考えられる。

しかし、携帯端末装置が画像処理装置から取り外され無線接続に切り替わると、通信速度が低下する。また、操作画面の構成要素である複数の画面生成用データを携帯端末装置に送信し、携帯端末装置側で前記画面生成用データを合成して画像処理装置側の画面を生成し表示する場合は、画面生成用データの受信が完了しなければ画面を生成できないため、通信速度の低下に伴って、画面生成用データの受信完了までに時間がかかり、このため携帯端末装置に画像処理装置の操作画面が表示されるのが遅くなるという問題がある。

なお、前述した特許文献１に記載の技術は、上記の問題に対して解決策を提供しうるものではなかった。

この発明は、このような実情に鑑みてなされたものであり、携帯端末装置が画像処理装置に装着された状態では両者が有線接続され、携帯端末装置が画像処理装置から取り外されると無線接続に切り替わる場合に、携帯端末装置に画像処理装置側の画面が表示されるまでの時間を短縮できる画像処理連携システムを提供し、さらには前記連携システムに好適に用いられる画像処理装置と携帯端末装置を提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）画像処理装置と該画像処理装置に取り外し可能に装着される携帯端末装置とを備えた画像処理連携システムであって、前記画像処理装置は、前記携帯端末装置が装着された状態で、携帯端末装置と有線にて接続可能な有線接続手段と、前記携帯端末装置が取り外された状態で、携帯端末装置と無線にて接続可能な無線接続手段と、前記携帯端末装置の着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、１個または複数個の画面生成用データを用いて、携帯端末装置に表示される画像処理装置側の画面を生成する画面生成手段と、前記接続切り替え手段により、携帯端末装置との接続が有線接続に切り替えられた状態では、前記画面生成用データを前記携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられた状態では、前記画面生成手段により生成された画面を表示するための画面データを前記携帯端末装置に送信する送信手段と、を備え、前記携帯端末装置は、前記画像処理装置に装着された状態で、画像処理装置と有線にて接続可能な有線接続手段と、前記画像処理装置から取り外された状態で、画像処理装置と無線にて接続可能な無線接続手段と、前記画像処理装置から送信される前記画面生成用データまたは画面データを受信する受信手段と、前記画像処理装置に対する着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、表示手段と、前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画像処理装置側の画面を生成する画面生成手段と、前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態では、前記画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示し、画像処理装置との接続が無線接続に切り替えられた状態では、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示する表示制御手段と、を備えたことを特徴とする画像処理連携システム。
（２）前記携帯端末装置は、前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段と、前記画像処理装置に対し前記画面生成用データまたは画面データの自装置への送信を要求する要求手段と、前記画面生成用データまたは画面データが圧縮データである場合に、該画面生成用データまたは画面データを伸張する伸張手段と、前記画像処理装置に対し前記画面生成用データまたは画面データの受信完了を通知する受信完了通知手段と、を備えている前項１に記載の画像処理連携システム。
（３）前記画面生成用データには、前記画面の一部を構成する複数のパーツデータが含まれ、有線接続時には、前記携帯端末装置の画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成し、無線接続時には、前記画像処理装置の画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成する前項１または２に記載の画像処理連携システム。
（４）前記画面生成用データには、プレビュー画像として表示される画像データが含まれ、有線接続時には、前記携帯端末装置の画面生成手段は、前記画像データを編集して使用することによりプレビュー画面を生成する前項１〜３のいずれかに記載の画像処理連携システム。
（５）前記携帯端末装置は、自装置の前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段を備え、前記画像処理装置は、前記携帯端末装置から通知された前記操作情報を解析する解析手段と、前記解析手段の解析結果に基づいて、画面生成用データを選択する選択手段と、前記選択手段により選択された画面生成用データ、または選択された画面生成用データを用いて画面生成手段により生成された画面を表示するための画面データを、圧縮する圧縮手段と、を備え、前記画像処理装置の送信手段は、前記圧縮手段により圧縮された画面生成用データまたは画面データを前記携帯端末装置に送信する前項１〜４のいずれかに記載の画像処理連携システム。
（６）前記接続切り替え手段により携帯端末装置との接続が無線接続に切り替えられた状態で、前記画像処理装置の送信手段は、前記画面データと並行して画面生成用データをも前記携帯端末装置に送信し、前記携帯端末装置の画面生成手段は、前記受信手段による画面生成用データの受信が終了した時点で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画面を生成し、前記携帯端末装置の表示制御手段は、画面生成手段により画面が生成されるまでは、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示し、画面生成手段により画面が生成された後は、前記携帯端末装置の画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示する前項１〜５のいずれかに記載の画像処理連携システム。
（７）前記携帯端末装置は、前記画像処理装置に対し画面生成用データの受信完了を通知する受信完了通知手段を備え、前記画像処理装置は、携帯端末装置からの受信完了の通知を受信すると、前記画面データの送信を停止する前項６に記載の画像処理連携システム。
（８）前記画像処理装置は、前記無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断する通信速度判断手段を備え、前記通信速度判断手段により、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する前項１〜７のいずれかに記載の画像処理連携システム。
（９）前記画像処理装置は、前記無線接続時に携帯端末装置に送信する画面生成用データのサイズの合計が所定値以下か否かを判断するサイズ判断手段を備え、前記サイズ判断手段により、画面生成用データのサイズの合計が所定値以下と判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する前項１〜７のいずれかに記載の画像処理連携システム。
（１０）前記携帯端末装置の表示手段に表示された画像データに対して、ユーザーが編集操作を行った場合、有線接続時は、前記携帯端末装置の画面生成手段は、画像処理装置から既に受信済みの画像データを用いて前記ユーザーの編集操作に対応する画面を生成し、前記携帯端末装置の表示制御手段は、生成された画面を表示手段に表示し、無線接続時は、画像処理装置は前記ユーザーの編集操作に対応する画面を生成し画面データを携帯端末装置に転送するとともに、画面データと並行して画像データを携帯端末装置に転送し、前記携帯端末装置は、無線接続時は、前記画像処理装置から転送されたユーザーの編集操作に対応する画面データを表示手段に表示し、画面データと並行して転送される前記画像データの転送完了後は、画面生成手段は該画像データを用いてユーザーの編集操作に対応する画面を生成し、表示手段に表示する前項１〜９のいずれかに記載の画像処理連携システム。
（１１）携帯端末装置が取り外し可能に装着される画像処理装置であって、前記携帯端末装置が装着された状態で、携帯端末装置と有線にて接続可能な有線接続手段と、前記携帯端末装置が取り外された状態で、携帯端末装置と無線にて接続可能な無線接続手段と、前記携帯端末装置の着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、１個または複数個の画面生成用データを用いて、携帯端末装置に表示される画像処理装置側の画面を生成する画面生成手段と、前記接続切り替え手段により、携帯端末装置との接続が有線接続に切り替えられた状態では、前記画面生成用データを前記携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられた状態では、前記画面生成手段により生成された画面を表示するための画面データを前記携帯端末装置に送信する送信手段と、を備えたことを特徴とする画像処理装置。
（１２）前記画面生成用データには、前記画面の一部を構成する複数のパーツデータが含まれ、有線接続時には、前記携帯端末装置に前記複数のパーツデータを送信し、無線接続時には、前記画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成する前項１１に記載の画像処理装置。
（１３）前記画面生成用データには、プレビュー画像として表示される画像データが含まれる前項１１または１２に記載の画像処理装置。
（１４）前記携帯端末装置から通知された、携帯端末装置に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を解析する解析手段と、前記解析手段の解析結果に基づいて、画面生成用データを選択する選択手段と、前記選択手段により選択された画面生成用データ、または選択された画面生成用データを用いて画面生成手段により生成された画面を表示するための画面データを、圧縮する圧縮手段と、を備え、前記送信手段は、前記圧縮手段により圧縮された画面生成用データまたは画面データを前記携帯端末装置に送信する前項１１〜１３のいずれかに記載の画像処理装置。
（１５）前記送信手段は、前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、前記画面データと並行して画面生成用データをも前記携帯端末装置に送信する前項１１〜１４のいずれかに記載の画像処理装置。
（１６）前記携帯端末装置からなされる画面生成用データの受信完了の通知を受信すると、前記画面データの送信を停止する前項１５に記載の画像処理装置。
（１７）前記無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断する通信速度判断手段を備え、前記通信速度判断手段により、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合、前記送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する前項１１〜１６のいずれかに記載の画像処理装置。
（１８）前記無線接続時に携帯端末装置に送信する画面生成用データのサイズの合計が所定値以下か否かを判断するサイズ判断手段を備え、前記サイズ判断手段により、画面生成用データのサイズの合計が所定値以下と判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する前項１１〜１６のいずれかに記載の画像処理装置。
（１９）画像処理装置に取り外し可能に装着される携帯端末装置であって、前記画像処理装置に装着された状態で、画像処理装置と有線にて接続可能な有線接続手段と、前記画像処理装置から取り外された状態で、画像処理装置と無線にて接続可能な無線接続手段と、前記画像処理装置との着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、表示手段と、前記画像処理装置から有線接続時に送信される、前記表示手段に表示される画像処理装置側の画面を生成するための１個または複数個の画面生成用データ、または画像処理装置から無線接続時に送信される、前記画面生成用データを用いて画像処理装置が生成した画像処理装置側の画面を表示するための画面データを受信する受信手段と、前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態で、前記受信手段により受信した前記画面生成用データを用いて、前記表示手段に表示される画像処理装置側の画面を生成する画面生成手段と、前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態では、前記画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示し、画像処理装置との接続が無線接続に切り替えられた状態では、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示する表示制御手段と、を備えたことを特徴とする携帯端末装置。
（２０）前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段と、前記画像処理装置に対し前記画面生成用データまたは画面データの自装置への送信を要求する要求手段と、前記画面生成用データまたは画面データが圧縮データである場合に、該画面生成用データまたは画面データを伸張する伸張手段と、前記画像処理装置に対し前記画面生成用データまたは画面データの受信完了を通知する受信完了通知手段と、を備えている前項１９に記載の携帯端末装置。
（２１）前記画面生成用データには、前記画面の一部を構成する複数のパーツデータが含まれ、有線接続時には、前記画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成する前項１９または２０に記載の携帯端末装置。
（２２）前記画面生成用データには、プレビュー画像として表示される画像データが含まれ、有線接続時には、前記画面生成手段は、前記画像データを編集して使用することによりプレビュー画面を生成する前項１９〜２１のいずれかに記載の携帯端末装置。
（２３）前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段を備えている前項１９〜２２のいずれかに記載の携帯端末装置。
（２４）無線接続に切り替えられた状態で、前記受信手段は、前記画像処理装置から前記画面データと並行して送信される画面生成用データをも受信し、前記画面生成手段は、前記受信手段による画面生成用データの受信が終了した時点で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画面を生成し、前記表示制御手段は、前記画面生成手段により画面が生成されるまでは、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示し、画面生成手段により画面が生成された後は、該画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示する前項１９〜２３のいずれかに記載の携帯端末装置。
（２５）前記画像処理装置に対し画面生成用データの受信完了を通知する受信完了通知手段を備えている前項２４に記載の携帯端末装置。
（２６）前記表示手段に表示された画像データに対して、ユーザーが編集操作を行った場合、有線接続時は、前記画面生成手段は、画像処理装置から既に受信済みの画像データを用いて前記ユーザーの編集操作に対応する画面を生成し、前記表示制御手段は、生成された画面を表示手段に表示し、無線接続時は、画像処理装置で生成され転送された前記ユーザーの編集操作に対応する画面データを表示手段に表示し、画面データと並行して画像処理装置から転送される画像データの転送完了後は、画面生成手段は該画像データを用いてユーザーの編集操作に対応する画面を生成し、表示手段に表示する前項１９〜２５のいずれかに記載の携帯端末装置。

この発明に係る画像処理連携システムによれば、画像処理装置と携帯端末装置との接続が有線接続の場合は、画像処理装置は、１個または複数個の画面生成用データを携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられると、画面生成手段により画面生成用データを用いて生成された画面を表示するための画面データを携帯端末装置に送信する。携帯端末装置は、画像処理装置との接続が有線接続であれば、画像処理装置から送信された前記画面生成用データを用いて画面を生成して表示手段に表示し、無線接続に切り替えられた状態では、画像処理装置により画面生成用データを用いて生成され送信されてきた画面データに基づいて、画像処理装置側の画面を表示手段に表示する。

つまり、画像処理装置と携帯端末装置との接続が有線接続か無線接続かに応じて、画像処理装置側の画面を画像処理装置と携帯端末装置のいずれによって生成するかを切り替え、そのために画像処理装置から携帯端末装置に送信されるデータの種類も切り替えられるから、無線接続に切り替わったときに、画像処理装置側の画面が携帯端末装置に表示されるまでの時間を短縮でき、ユーザーにとっては。画像処理装置側の画面が携帯端末装置に表示されるまでの待ち時間が短縮される。

また、この発明に係る画像処理装置によれば、携帯端末装置との接続が有線接続から無線接続に切り替わったときに、画像処理装置側の画面が携帯端末装置に表示されるまでの時間を短縮できる画像処理装置となし得る。

また、この発明に係る携帯端末装置によれば、画像処理装置との接続が有線接続から無線接続に切り替わったときに、画像処理装置側の画面を表示するまでの時間を短縮できる携帯端末装置となし得る。

この発明の一実施形態に係る画像処理連携システムの構成図である。画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。携帯端末が画像処理装置に装着され、両者が有線接続されているときの処理方法を説明するための図である。（Ａ）はパーツデータの一例を示す図であり、（Ｂ）はパーツデータを合成して生成された画面を示す図である。携帯端末装置が画像処理装置から取り外され、両者が無線接続されているときの処理方法を説明するための図である。画像処理装置に携帯端末装置が装着され有線接続されているときの処理の流れを示すフローチャートである。画像処理装置から携帯端末装置が取り外され無線接続されているときの処理の流れを示すフローチャートである。画像処理装置と携帯端末装置の通信中の状態遷移図である。この発明の他の実施形態を示すもので、有線接続時の画像データの処理方法を説明するための図である。同じく、無線接続時の画像データの処理方法を説明するための図である。同じく、画像処理装置と携帯端末装置の通信中の状態遷移図である。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る画像処理連携システムの構成図である。

この画像処理連携システムは、画像処理装置１と、該画像処理装置１に取り外し可能に装着されるスマートフォンやタブレット端末等からなる携帯端末装置２等を備え、携帯端末装置２が画像処理装置１に装着されている状態では、画像処理装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続可能となされており、携帯端末装置２が画像処理装置１から取り外された状態では、画像処理装置１と携帯端末装置２は、ＷＩＦＩモジュール、無線ＬＡＮルータ３、ネットワーク４を介して無線接続可能となされている。

この実施形態では、画像処理装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、メインメモリ１０３、スキャナ部１０４、プリント部１０５、判定部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２のＭＦＰ１への脱着状態を検出し、脱着状態に応じて、携帯端末２との接続を有線接続または無線接続に切り替えたり、携帯端末２からの要求に基づいて、携帯端末２に表示するＭＦＰ１の操作画面の表示用データを携帯端末２に送信したり、携帯端末２との接続が有線接続の場合と無線接続の場合とで、携帯端末２に送信する前記操作画面の表示用データの種類を切り替える等の制御を行うが、詳細な説明は後述する。

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリである。

前記メインメモリ１０３は、ＲＡＭ１０３ａや記憶部１０３ｂを有している。ＲＡＭ１０３ａはＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。記憶部１０３ｂは、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面を生成するための操作画面の構成要素である画面生成用データとして、画面の一部を構成する多数のパーツデータが記憶されている。そして、ユーザーの操作に応じた操作画面を生成するためのパーツデータがＣＰＵ１０１によって記憶部１０３ａから呼び出されるとともに、ＣＰＵ１０１によって合成されることにより操作画面が生成され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルが保存されている。

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。

前記判定部１０６は、無線接続時の通信速度と有線接続時の通信速度を比較し、無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断したり、無線接続時に携帯端末２に送信する画面生成用データのサイズの合計が所定値以下か否かを判断するものである。

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、スタートキー、テンキー等を有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。

前記ＷＩＦＩモジュール１０９は、携帯端末２がＭＦＰ１から取り外されたときに携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。

前記ＵＳＢインターフェース１１１は、携帯端末２がＭＦＰ１に装着されているときに携帯端末２と有線接続するためのインターフェースである。

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９等を備えている。

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。

前記表示部２０４は、タッチパネルを備えた液晶等のデバイスからなる。

前記ＷＩＦＩモジュール２０５は、携帯端末２がＭＦＰ１から取り外されたときにＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末２がＭＦＰ１に装着されているときにＭＦＰ１と有線接続するためのインターフェースである。

前記ファイル処理部２０８ａ、２０８ｂは、ファイルに編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される操作画面と同じ操作画面を再生するための画面表示用データ等を、ＭＦＰ１から受信してリモート画面として表示部２０４に表示したり、表示されたリモート画面をユーザーが操作したときに、画面上の操作位置の座標を検出してＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザーの操作指示を特定し、操作指示に応じた動作を実行する。

ところで、前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。

パネル画面生成部１２３は、携帯端末２とＭＦＰ１が無線接続されている状態で、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されている操作画面のデータである画面データを作成する。

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行う。また、パネル表示画像生成部１２６は、携帯端末２とＭＦＰ１が無線接続されている状態で、操作画面がプレビュー画像等のように、スキャナ部１０４で読み取られた画像データその他の画像データが表示される画面である場合に、表示されるべき画像データを生成するものである。なお、生成された画像データは、携帯端末２に送信される。

携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきた操作画面を表示させるためのデータやファイルをＪＰＥＧ等により圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張（展開）するものである。表示画像生成アプリ２２２は、伸張されたデータに基づいて、表示部２０４に表示されるＭＦＰ２側の操作画面を生成するものである。また、ＭＦＰ２側の操作画面に表示されたデータに対して、携帯端末２側で拡大、縮小、頁めくり等のユーザーの編集操作がなされた場合には、前記ＭＦＰ１から送信されたデータを拡大あるいは縮小し、あるいは頁を変更する。

前記画像表示アプリ２２１は、前記表示画像生成アプリ２２２で生成されたＭＦＰ１側の画面データの描画処理を行う。

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。

ユーザーが携帯端末２をＭＦＰ１に無線あるいは有線にて接続し、携帯端末２とＭＦＰ１を連携して操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ユーザーの操作情報、携帯端末２との送受信データ、携帯端末２側の表示画面データを取得することができ、必要に応じてこれらのデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザー操作受付処理、ＭＦＰ１の操作画面表示用データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザー操作受付処理、携帯端末２へのＭＦＰ用操作画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。

ユーザーが携帯端末２の表示部２０４に表示された操作画面中の連携操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、操作画面の取得を要求する。それにより、連携操作モードが開始され、ＭＦＰ１の表示部１０５ａと携帯端末２の表示部２０４に、ＭＦＰ側の操作画面が表示される。ＭＦＰ側の操作画面が表示されるまでの過程は、携帯端末２とＭＦＰ１が有線接続されているか無線接続されているかによって異なるが、この点については後述する。なお、携帯端末２の表示部２０４に、ＭＦＰ用操作画面と携帯端末用操作画面の両方が並列的に表示されても良い。

ユーザーが携帯端末２に表示されているＭＦＰ側の操作画面であるリモート画面を操作すると、操作の内容を示す操作情報がＭＦＰ１に送信される。ＭＦＰは、それがジョブ等の実行指示であれば対応する動作を行う。一方、操作に応じて次の操作画面を表示させる必要がある場合は、次の操作画面の表示用データを携帯端末２に送信する。

次に、ＭＦＰ１側の操作画面を携帯端末２に表示させる場合の処理方法について説明する。

まず、携帯端末２がＭＦＰ１に装着され、両者が有線接続されているときの処理方法を図５を用いて説明する。

携帯端末２がＭＦＰ１に装着されている場合、ＭＦＰ１と携帯端末２は相互のＵＳＢインターフェース１１１、２０７を介して有線接続されており、ＭＦＰ１のＣＰＵ１０１は、有線接続されていることを認識している。

携帯端末１の画面をユーザーが操作すると、携帯端末２から操作の内容を示す操作情報とパーツデータの取得要求がＭＦＰ１に送信される。操作情報をパーツデータの取得要求として兼用しても良い。

ＭＦＰ１は携帯端末２からの操作情報とパーツデータの取得要求を受信すると、ＣＰＵ１０１が操作情報を解析し、操作に応じた画面を生成するための複数のパーツデータを記憶部１０３ｂから呼び出したのち、これらのパーツデータをその配置情報と共に、図５の太線矢印で示すように、ＵＳＢインターフェース１１１を経由して、携帯端末２に送信する。

携帯端末２は、ＵＳＢインターフェース２０７を介してパーツデータ等の受信完了後に、ＣＰＵ２０１が前記複数のパーツデータを配置情報に従って合成し、ＭＦＰ側の操作画面を生成する。このように、パーツデータを携帯端末２で合成して画面を生成することで、画像表示の利便性を向上できる。

図６（Ａ）にパーツデータの一例を示す。図６（Ａ）の例では、パーツデータはコピーモード等の各モードに応じたベースパーツ３０１と、「文字／写真」「オートカラー」「プログラム」「応用設定」等のモード設定用のキーパーツ３０２〜３０５等からなり、ＣＰＵ２０１はこれらのパーツデータを合成することにより、図６（Ｂ）に示すようなＭＦＰ側の操作画面３００を生成する。

操作画面３００の生成後、ＣＰＵ２０１は表示部２０４に生成された画面を表示する。

次に、ユーザーが携帯端末２をＭＦＰ１から取り外すと、ＭＦＰ１のＣＰＵ１０１は携帯端末２が取り外されたことを検知して、携帯端末２との通信を無線接続に切り替える。これに伴い、携帯端末２のＣＰＵ２０１も、ＭＦＰ１との通信を無線接続に切り替える。

携帯端末２とＭＦＰ１が無線接続されているときのＭＦＰ１側の操作画面の生成処理方法を図７を用いて説明する。

無線接続時の通信速度は、一般的には、有線接続時の通信速度よりも遅い。このため、有線接続時のように、複数のパーツデータを携帯端末２に送信し、パーツデータの送信完了後に携帯端末２が画面を生成すると、パーツデータの送信完了までに時間を要し、ひいては表示部２０４にＭＦＰ１側の操作画面が表示されるのが遅くなり、ユーザーの待ち時間が長くなってしまう。

そこで、この実施形態では、無線接続に切り替えられると、ＭＦＰ１のＣＰＵ１０１は、図７に太実線矢印で示すように、記憶部１０３ｂから呼び出したパーツデータを合成してＭＦＰ１内で画面を生成したのち、生成した画面の表示データ（画面データ）を、ＷＩＦＩモジュール１０９を経由して無線にて携帯端末２に送信する。

携帯端末２は送信された画面データをＷＩＦＩモジュール２０５を介して受信したのち、ＣＰＵ２０１は受信した画面データを描画処理して表示部２０４に表示させる。

このように、無線接続状態では、ＭＦＰ１がパーツデータを合成して画面を生成し、この生成された画面データを送信するから、画面データが生成され携帯端末２で受信され表示されるまでの時間が短くて済み、パーツデータを携帯端末２に無線送信し携帯端末２で画面を作成する場合に較べて、画面が生成され表示されるまでの時間が短縮され、ユーザの待ち時間も短くてすむ。

また、この実施形態では、図７に太破線矢印で示すように、画面データの送信時の通信の空きを利用して、複数のパーツデータそのものをも送信している。そして、携帯端末２は、送信対象の全てのパーツデータの送信完了までは、ＭＦＰ１から送信された画面データに基づいて、ＭＦＰ１側の操作画面を携帯端末２の表示部２０４に表示し、パーツデータの送信完了後は、送信されたパーツデータを携帯端末２で合成して画面を生成し、表示部２０４に表示するものとなされている。これにより、さらに速くＭＦＰ１側の操作画面を携帯端末２に表示することができる。

また、パーツデータの受信が完了すると、携帯端末２は完了通知をＭＦＰ１に送信し、ＭＦＰ１は画面データの送信が完了していなくても、画面データの送信を停止する。

図８は、ＭＦＰ１に携帯端末２が装着され有線接続されているときの処理の流れを示すフローチャートである。

ステップＳ１で、ユーザーが携帯端末２の表示部２０４のタッチパネルを操作すると、携帯端末２はステップＳ２で、タッチパネルドライバからの入力情報を受領し、ステップＳ３でジェスチャー判定と座標変換を行い、タッチ位置を特定する。

次いで、ステップＳ４で、特定したタッチ位置等を含むタッチイベント（操作情報）とパーツデータの取得要求をＭＦＰ１へ送信する。

ＭＦＰ１は、ステップＳ５で、携帯端末２からのタッチイベント等の受信処理を行ったのち、ステップＳ６で、タッチイベントの解析処理を行い、ステップＳ７で、解析結果に基づいて表示すべき操作画面を特定し、操作画面の構成要素である複数のパーツデータとそれらの配置情報等の携帯端末２への転送処理を開始する。即ち、ステップＳ８では、パーツデータ等をＰＮＧ圧縮した後、ステップＳ９で、圧縮したパーツデータ等を携帯端末２に送信する。

携帯端末２は、ステップＳ１０でパーツデータ等を受信したのち、全てのパーツデータの受信が完了すると、受信完了をＭＦＰ１に通知し、ステップＳ１１で、受信したデータを伸張（展開）する。次いで、ステップＳ１２で画面生成処理を実行する。具体的には、複数のパーツデータ（例えばパーツＡ、パーツＢ、パーツＣ）を所定位置に合成してＭＦＰ１側の画面を再生する。

次いで、ステップＳ１３で描画処理を実行し、ステップＳ１４で表示部２０４に表示する。

図９は、ＭＦＰ１から携帯端末２が取り外され、両者が無線接続されているときの処理の流れを示すフローチャートである。

ステップＳ２１で、ユーザーが携帯端末２の表示部２０４のタッチパネルを操作すると、携帯端末２はステップＳ２２で、タッチパネルドライバからの入力情報を受領し、ステップＳ２３でジェスチャー判定と座標変換を行い、タッチ位置を特定する。

次いで、ステップＳ２４で、特定したタッチ位置等を含むタッチイベント（操作情報）と画面取得要求をＭＦＰ１へ送信する。

ＭＦＰ１は、ステップＳ２５で、携帯端末２からのタッチイベント等の受信処理を行ったのち、ステップＳ２６で、タッチイベントの解析処理を行い、ステップＳ２７で、解析結果に基づいて表示すべき操作画面を特定し、画面生成処理を行う。具体的には、操作画面の構成要素である複数のパーツデータ（例えばパーツＡ、パーツＢ、パーツＣ）を所定位置に合成してＭＦＰ１側の画面を再生する。

ステップＳ２８では、生成された画面のデータ（画面データ）をＪＰＥＧ圧縮した後、ステップＳ２９で、圧縮した画面データを携帯端末２に送信する。なお、通信の空きを利用して、パーツデータそのものも送信する。

携帯端末２は、ステップＳ３０で画面データを受信したのち、ステップＳ３１で、受信した画面データを伸張（展開）する。次いで、ステップＳ３２で描画処理を実行し、ステップＳ３３で表示部２０４に表示する。

図１０は、ＭＦＰ１と携帯端末２の通信中の状態遷移図であり、左側に従来の、右側に本実施形態の状態遷移図をそれぞれ示す。当初、携帯端末２はＭＦＰ１に装着されて、両者は有線接続されているものとする。

左側の従来の状態遷移図において、携帯端末２でタッチパネルの操作が検出され携帯端末２からタッチイベント等が送信されると、ＭＦＰ１は、イベントを解析し、対応するパーツデータ（図１０では単に「パーツ」と記す）を圧縮し、転送を開始する。転送が完了すると、携帯端末２は画面生成及び描画処理を実行する。

次に、タイミングＴ１において、携帯端末２がＭＦＰ１から取り外されたものとすると、両者は無線接続に切り替えられる。

この状態で、携帯端末２の表示部２０４のタッチパネルが操作され、携帯端末２からタッチイベント等がＭＦＰ１に送信されても、ＭＦＰ１及び携帯端末２は有線接続の場合と同様の動作を実施する。即ち、ＭＦＰ１はタッチイベントを受信すると、イベントを解析し、対応するパーツデータを圧縮し、転送を開始する。パーツデータの受信が完了すると、携帯端末２は画面生成及び描画処理を実行する。

一方、右側の本実施形態では、携帯端末２がＭＦＰ１から取り外されるまでは、従来と一緒である。タイミングＴ１において、携帯端末２がＭＦＰ１から取り外され、両者は無線接続に切り替えられた状態で、タッチパネルが操作されると、携帯端末２からタッチイベント等がＭＦＰ１に送信される。

ＭＦＰ１はタッチイベントを受信すると、イベントを解析し、対応するパーツデータを記憶部１０３ｂから呼び出し、これらを合成して画面を生成する。そして、生成した画面の画面データを圧縮して転送を開始する。同時にパーツデータそのものの転送も開始する。パーツデータは画面データの転送時の空きを利用して送信される。

画面データの受信が完了すると、携帯端末２は完了通知をＭＦＰ１に送信したのち、描画処理を実行する。複数の画面を遷移する場合、１つの画面毎に、ＭＦＰ１での画面生成、画面データの圧縮・転送、携帯端末２による受信、完了通知の送出、描画処理を実行する。

また、タイミングＴ２で並行して転送されるパーツデータの転送が終了すると、完了通知が携帯端末２からＭＦＰ１へ送出され、ＭＦＰ１は以後の画面生成、転送処理は停止し、携帯端末２は転送されたパーツデータを用いて画面を生成し、表示する。

このように、この実施形態では、携帯端末２がＭＦＰ１から取り外されて両者が無線接続に切り替わると、パーツデータを用いた操作画面の生成が携帯端末２からＭＦＰ１へ切り替えられ、ＭＦＰ１で生成された画面のデータが携帯端末２へ送信され表示されるから、無線接続への切替後も、パーツデータの転送完了後に携帯端末２で画面を生成する場合に比べて、ＭＦＰ１側の操作画面が携帯端末２に表示されるまでの時間を短縮でき、ユーザーの待ち時間を短縮できる。

しかも、無線接続時に、画面データの送信と並行してパーツデータも送信され、パーツデータの送信完了後は、送信されたパーツデータを用いて携帯端末２により画面が生成されるから、ＭＦＰ１側の操作画面が携帯端末２に表示されるまでの時間をさらに短縮できる。

次に、この発明の他の実施形態を説明する。

この実施形態では、例えばスキャナ部１０４で読み取られた原稿の画像データからなるファイルをプレビュー表示するプレビュー画面を、携帯端末２に表示させるものとなされている。

まず、有線接続時のファイルの処理方法を図１１を用いて説明する。

携帯端末１の画面をユーザーが操作してプレビュー表示を指示すると、携帯端末２から操作の内容を示す操作情報と、画面生成用データとしての画像データの取得要求がＭＦＰ１に送信される。

ＭＦＰ１は携帯端末２からの操作情報と画像データの取得要求を受信すると、ＣＰＵ１０１が操作情報を解析し、スキャナ部１０４にセットされた原稿を読み取る。

スキャナ部１０４で読み取られた原稿の画像データからなるファイルは、メインメモリ１０３、ＵＳＢインターフェース１１１を経由して、携帯端末２に送信される。携帯端末２はＵＳＢインターフェース２０７を介してファイルを受信すると、ＣＰＵ２０１は受信したファイルを用いてプレビュー画面を作成し、表示部２０４に表示する。

なお、プレビュー画面にファイル以外のパーツデータの表示が必要な場合は、パーツデータや、該パーツデータとファイルの配置情報も、ＭＦＰ１から携帯端末２へ送信され、ＣＰＵ２０１はパーツデータとファイルを合成してプレビュー画面を生成する。

一方、携帯端末２がＭＦＰ１から取り外されて無線接続に切り替わると、図１２に太実線矢印で示すように、スキャナ部１０４で読み取られた原稿の画像データからなるファイルは、メインメモリ１０３を経由してＣＰＵ１０１へ送信される。ＣＰＵ１０１はファイルを用いたプレビュー画面を生成する。この場合、プレビュー画面にファイル以外のパーツデータの表示が必要な場合は、ＣＰＵ１０１はパーツデータとファイルを合成してプレビュー画面を生成する。

プレビュー画面の生成後、その画面データはＷＩＦＩモジュール１０９を介して携帯端末２に無線送信される。

携帯端末２はプレビュー画面の画面データを受信すると、ＣＰＵ２０１は受信した画面データに基づいてプレビュー画面を表示部２０４に表示する。

ＭＦＰ１はプレビュー画面の画面データを無線通信する際の空きを利用し、図１２に太破線矢印で示すように、画面データと並行して、ファイルそのもの（生データ）あるいはさらに、必要なパーツデータを携帯端末２に無線送信する。そして、ファイルの生データ等の送信送信完了までは、ＭＦＰ１から送信された画面データに基づいて、プレビュー画面を携帯端末２の表示部２０４に表示し、ファイルの生データ等の送信完了後は、送信された生データ等を用いて携帯端末２でプレビュー画面を生成し、表示部２０４に表示するものとなされている。

図１３は、プレビュー画面に関して、ＭＦＰ１と携帯端末２の通信中の状態遷移図であり、左側に従来の、右側に本実施形態の状態遷移図をそれぞれ示す。当初、携帯端末２はＭＦＰ１に装着されて、両者は有線接続されているものとする。

左側の従来の状態遷移図において、携帯端末２でタッチパネルの操作が検出され携帯端末２からタッチイベント（ジョブ開始指示）が送信されると、ＭＦＰ１は、イベントを解析し、スキャナ部１０４による１頁目の原稿読み取りを行う。読み取り後に、画像データからなるファイルを圧縮し、転送を開始する。転送が完了すると、携帯端末２は転送終了をＭＦＰ１に通知したのち、プレビュー画面を生成し表示する。ＭＦＰ１は１頁目の画像データの読み取り後続けて２頁目、さらには３頁目・・・と読み取りを行う。

次に、２頁目の読み取り中のタイミングＴ１において、携帯端末２がＭＦＰ１から取り外されたものとすると、両者は無線接続に切り替えられるが、ＭＦＰ１は２頁目以降も同様の動作を実行する。即ち、２頁目の読み取り後に画像データを圧縮し、転送を開始する。転送が完了すると、携帯端末２は転送終了をＭＦＰ１に通知したのち、プレビュー画面を生成し表示する。ＭＦＰ１は２頁目の画像データの読み取りに続けて３頁目の読み取りを実行する。

一方、本実施形態では、携帯端末２がＭＦＰ１から取り外されるまでは、従来と一緒である。タイミングＴ１において、携帯端末２がＭＦＰ１から取り外され、両者は無線接続に切り替えられた状態では、２頁目の原稿読み取り後は、ＭＦＰ１でプレビュー画面を生成し、生成後にプレビュー画面の画面データを圧縮して携帯端末２に転送する。また、並行して、２頁目の画像データそのもの（生データ）の転送も開始する。

画面データの転送が完了すると、携帯端末２は転送終了をＭＦＰ１に通知したのち、受信したプレビュー画面の画面データを表示部２０４に表示する。

２頁目の読み取り後、ＭＦＰ１は３頁目の読み取りを開始し、読み取り後に３頁目の画面データを生成し、携帯端末２に転送する。並行して、３頁目の画面データそのものも転送する。

ＭＦＰ１は指定された頁の読み取り完了後、携帯端末２からの最終頁の画面データの転送終了通知を待ってジョブ終了通知を携帯端末２に送信する。

このように、この実施形態では、携帯端末２がＭＦＰ１から取り外されて両者が無線接続に切り替わると、画像データを用いたプレビュー画面の生成が携帯端末２からＭＦＰ１へ切り替えられ、ＭＦＰ１で生成されたプレビュー画面のデータが携帯端末２へ送信され表示されるから、無線接続への切替後も、画像データの転送完了後に携帯端末２でプレビュー画面を生成する場合に比べて、ＭＦＰ１側のプレビュー画面が携帯端末２に表示されるまでの時間を短縮でき、ユーザーの待ち時間を短縮できる。

また、無線接続への切替後に、画像データそのものも携帯端末２へ転送されているから、無線接続状態で、携帯端末２にプレビュー表示されている画像データに対して拡大、縮小、頁めくり等の編集操作が指示された時も、送信済みの画像データに対して携帯端末２側で編集を行うことができるから、画像データの編集後の画面データをＭＦＰ１から送信してもらう必要はなくなり、編集操作の指示後に、編集されたプレビュー画面を迅速に表示させることができ、ユーザーの操作性が向上する。

なお、プレビュー表示される画像データ（ファイル）は、スキャナ部１０４で読み取られたものに限定されることはなく、ＭＦＰ１の記憶部１０３ｂに保存されているファイルであっても良い。

以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。

例えば、ＭＦＰ１と携帯端末２とが有線接続から無線接続に切り替わった時に、ＭＦＰ１での画面生成に切り替えたが、判定部１０６により、無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断し、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合は、通信速度の低下はないので、ＭＦＰ１は有線接続時と同様に、パーツデータやプレビュー用のファイル等の画面生成用データを、携帯端末２に送信し、携帯端末２で画面を生成しても良い。

また、判定部１０６により、無線接続時に、携帯端末２に送信するパーツデータやプレビュー用のファイル等の画面生成用データのサイズの合計が所定値以下か否かを判断し、所定値以下と判断された場合は、有線接続から無線接続に切り替えられても、通信時間の大幅な増加はないので、ＭＦＰ１は有線接続時と同様に、画面生成用データを携帯端末２に送信し、携帯端末２で画面を生成しても良い。

また、上記の実施形態では、有線接続から無線接続に切り替えられ場合を説明したが、無線接続状態から有線接続状態に切り替えられ場合も、同様である。

また、コンパクトＰＤＦ（ＣＰＤＦ）によるプレビュー画面が指示された場合、無線接続時には、ＭＦＰ１で生成したＣＰＤＦ画像の背景画像を優先して携帯端末２に送信し、背景画像に続いて文字画像を携帯端末２に送信するのが良い。これにより、ユーザーはプレビュー画像のイメージをより速くつかむことができる。

１画像処理装置
２携帯端末装置
１０１ＣＰＵ
１０２ＲＯＭ
１０３ｂ記憶部
１０４スキャナ部
１０５プリント部
１０６判定部
１０７操作パネル部
１０７ｂ表示部
１０９ＷＩＦＩモジュール
１１１ＵＳＢインターフェース
２０１ＣＰＵ
２０２ＲＡＭ
２０３記憶部
２０４表示部
２０５ＷＩＦＩモジュール
２０７ＵＳＢインターフェース
２０９連携部

Claims

画像処理装置と該画像処理装置に取り外し可能に装着される携帯端末装置とを備えた画像処理連携システムであって、
前記画像処理装置は、
前記携帯端末装置が装着された状態で、携帯端末装置と有線にて接続可能な有線接続手段と、
前記携帯端末装置が取り外された状態で、携帯端末装置と無線にて接続可能な無線接続手段と、
前記携帯端末装置の着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、
前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、１個または複数個の画面生成用データを用いて、携帯端末装置に表示される画像処理装置側の画面を生成する画面生成手段と、
前記接続切り替え手段により、携帯端末装置との接続が有線接続に切り替えられた状態では、前記画面生成用データを前記携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられた状態では、前記画面生成手段により生成された画面を表示するための画面データを前記携帯端末装置に送信する送信手段と、
を備え、
前記携帯端末装置は、
前記画像処理装置に装着された状態で、画像処理装置と有線にて接続可能な有線接続手段と、
前記画像処理装置から取り外された状態で、画像処理装置と無線にて接続可能な無線接続手段と、
前記画像処理装置から送信される前記画面生成用データまたは画面データを受信する受信手段と、
前記画像処理装置に対する着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、
表示手段と、
前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画像処理装置側の画面を生成する画面生成手段と、
前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態では、前記画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示し、画像処理装置との接続が無線接続に切り替えられた状態では、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示する表示制御手段と、
を備えたことを特徴とする画像処理連携システム。
前記携帯端末装置は、
前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段と、
前記画像処理装置に対し前記画面生成用データまたは画面データの自装置への送信を要求する要求手段と、
前記画面生成用データまたは画面データが圧縮データである場合に、該画面生成用データまたは画面データを伸張する伸張手段と、
前記画像処理装置に対し前記画面生成用データまたは画面データの受信完了を通知する受信完了通知手段と、
を備えている請求項１に記載の画像処理連携システム。
前記画面生成用データには、前記画面の一部を構成する複数のパーツデータが含まれ、有線接続時には、前記携帯端末装置の画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成し、無線接続時には、前記画像処理装置の画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成する請求項１または２に記載の画像処理連携システム。
前記画面生成用データには、プレビュー画像として表示される画像データが含まれ、有線接続時には、前記携帯端末装置の画面生成手段は、前記画像データを編集して使用することによりプレビュー画面を生成する請求項１〜３のいずれかに記載の画像処理連携システム。
前記携帯端末装置は、自装置の前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段を備え、
前記画像処理装置は、前記携帯端末装置から通知された前記操作情報を解析する解析手段と、前記解析手段の解析結果に基づいて、画面生成用データを選択する選択手段と、前記選択手段により選択された画面生成用データ、または選択された画面生成用データを用いて画面生成手段により生成された画面を表示するための画面データを、圧縮する圧縮手段と、を備え、
前記画像処理装置の送信手段は、前記圧縮手段により圧縮された画面生成用データまたは画面データを前記携帯端末装置に送信する請求項１〜４のいずれかに記載の画像処理連携システム。
前記接続切り替え手段により携帯端末装置との接続が無線接続に切り替えられた状態で、
前記画像処理装置の送信手段は、前記画面データと並行して画面生成用データをも前記携帯端末装置に送信し、
前記携帯端末装置の画面生成手段は、前記受信手段による画面生成用データの受信が終了した時点で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画面を生成し、
前記携帯端末装置の表示制御手段は、画面生成手段により画面が生成されるまでは、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示し、画面生成手段により画面が生成された後は、前記携帯端末装置の画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示する請求項１〜５のいずれかに記載の画像処理連携システム。
前記携帯端末装置は、前記画像処理装置に対し画面生成用データの受信完了を通知する受信完了通知手段を備え、
前記画像処理装置は、携帯端末装置からの受信完了の通知を受信すると、前記画面データの送信を停止する請求項６に記載の画像処理連携システム。
前記画像処理装置は、前記無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断する通信速度判断手段を備え、
前記通信速度判断手段により、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する請求項１〜７のいずれかに記載の画像処理連携システム。
前記画像処理装置は、前記無線接続時に携帯端末装置に送信する画面生成用データのサイズの合計が所定値以下か否かを判断するサイズ判断手段を備え、
前記サイズ判断手段により、画面生成用データのサイズの合計が所定値以下と判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する請求項１〜７のいずれかに記載の画像処理連携システム。
前記携帯端末装置の表示手段に表示された画像データに対して、ユーザーが編集操作を行った場合、有線接続時は、前記携帯端末装置の画面生成手段は、画像処理装置から既に受信済みの画像データを用いて前記ユーザーの編集操作に対応する画面を生成し、前記携帯端末装置の表示制御手段は、生成された画面を表示手段に表示し、
無線接続時は、画像処理装置は前記ユーザーの編集操作に対応する画面を生成し画面データを携帯端末装置に転送するとともに、画面データと並行して画像データを携帯端末装置に転送し、
前記携帯端末装置は、無線接続時は、前記画像処理装置から転送されたユーザーの編集操作に対応する画面データを表示手段に表示し、画面データと並行して転送される前記画像データの転送完了後は、画面生成手段は該画像データを用いてユーザーの編集操作に対応する画面を生成し、表示手段に表示する請求項１〜９のいずれかに記載の画像処理連携システム。
携帯端末装置が取り外し可能に装着される画像処理装置であって、
前記携帯端末装置が装着された状態で、携帯端末装置と有線にて接続可能な有線接続手段と、
前記携帯端末装置が取り外された状態で、携帯端末装置と無線にて接続可能な無線接続手段と、
前記携帯端末装置の着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、
前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、１個または複数個の画面生成用データを用いて、携帯端末装置に表示される画像処理装置側の画面を生成する画面生成手段と、
前記接続切り替え手段により、携帯端末装置との接続が有線接続に切り替えられた状態では、前記画面生成用データを前記携帯端末装置に送信し、携帯端末装置との接続が無線接続に切り替えられた状態では、前記画面生成手段により生成された画面を表示するための画面データを前記携帯端末装置に送信する送信手段と、
を備えたことを特徴とする画像処理装置。
前記画面生成用データには、前記画面の一部を構成する複数のパーツデータが含まれ、有線接続時には、前記携帯端末装置に前記複数のパーツデータを送信し、無線接続時には、前記画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成する請求項１１に記載の画像処理装置。
前記画面生成用データには、プレビュー画像として表示される画像データが含まれる請求項１１または１２に記載の画像処理装置。
前記携帯端末装置から通知された、携帯端末装置に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を解析する解析手段と、
前記解析手段の解析結果に基づいて、画面生成用データを選択する選択手段と、
前記選択手段により選択された画面生成用データ、または選択された画面生成用データを用いて画面生成手段により生成された画面を表示するための画面データを、圧縮する圧縮手段と、
を備え、
前記送信手段は、前記圧縮手段により圧縮された画面生成用データまたは画面データを前記携帯端末装置に送信する請求項１１〜１３のいずれかに記載の画像処理装置。
前記送信手段は、前記接続切り替え手段により、携帯端末装置との接続が無線接続に切り替えられた状態で、前記画面データと並行して画面生成用データをも前記携帯端末装置に送信する請求項１１〜１４のいずれかに記載の画像処理装置。
前記携帯端末装置からなされる画面生成用データの受信完了の通知を受信すると、前記画面データの送信を停止する請求項１５に記載の画像処理装置。
前記無線接続時の通信速度が有線接続時の通信速度よりも速いか否かを判断する通信速度判断手段を備え、
前記通信速度判断手段により、無線接続時の通信速度が有線接続時の通信速度よりも速いと判断された場合、前記送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する請求項１１〜１６のいずれかに記載の画像処理装置。
前記無線接続時に携帯端末装置に送信する画面生成用データのサイズの合計が所定値以下か否かを判断するサイズ判断手段を備え、
前記サイズ判断手段により、画面生成用データのサイズの合計が所定値以下と判断された場合、前記画像処理装置の送信手段は無線接続状態であっても、画面生成用データを前記携帯端末装置に送信する請求項１１〜１６のいずれかに記載の画像処理装置。
画像処理装置に取り外し可能に装着される携帯端末装置であって、
前記画像処理装置に装着された状態で、画像処理装置と有線にて接続可能な有線接続手段と、
前記画像処理装置から取り外された状態で、画像処理装置と無線にて接続可能な無線接続手段と、
前記画像処理装置との着脱に応じて、有線接続と無線接続を切り替える接続切り替え手段と、
表示手段と、
前記画像処理装置から有線接続時に送信される、前記表示手段に表示される画像処理装置側の画面を生成するための１個または複数個の画面生成用データ、または画像処理装置から無線接続時に送信される、前記画面生成用データを用いて画像処理装置が生成した画像処理装置側の画面を表示するための画面データを受信する受信手段と、
前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態で、前記受信手段により受信した前記画面生成用データを用いて、前記表示手段に表示される画像処理装置側の画面を生成する画面生成手段と、
前記接続切り替え手段により、画像処理装置との接続が有線接続に切り替えられた状態では、前記画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示し、画像処理装置との接続が無線接続に切り替えられた状態では、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示する表示制御手段と、
を備えたことを特徴とする携帯端末装置。
前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段と、
前記画像処理装置に対し前記画面生成用データまたは画面データの自装置への送信を要求する要求手段と、
前記画面生成用データまたは画面データが圧縮データである場合に、該画面生成用データまたは画面データを伸張する伸張手段と、
前記画像処理装置に対し前記画面生成用データまたは画面データの受信完了を通知する受信完了通知手段と、
を備えている請求項１９に記載の携帯端末装置。
前記画面生成用データには、前記画面の一部を構成する複数のパーツデータが含まれ、有線接続時には、前記画面生成手段は、前記複数のパーツデータを合成することにより画像処理装置側の画面を生成する請求項１９または２０に記載の携帯端末装置。
前記画面生成用データには、プレビュー画像として表示される画像データが含まれ、有線接続時には、前記画面生成手段は、前記画像データを編集して使用することによりプレビュー画面を生成する請求項１９〜２１のいずれかに記載の携帯端末装置。
前記表示手段に表示された画像処理装置側の画面に対してなされた操作の内容を示す操作情報を画像処理装置に通知する操作情報通知手段を備えている請求項１９〜２２のいずれかに記載の携帯端末装置。
無線接続に切り替えられた状態で、
前記受信手段は、前記画像処理装置から前記画面データと並行して送信される画面生成用データをも受信し、
前記画面生成手段は、前記受信手段による画面生成用データの受信が終了した時点で、前記受信手段により受信した画面生成用データを用いて、前記表示手段に表示される画面を生成し、
前記表示制御手段は、前記画面生成手段により画面が生成されるまでは、前記受信手段により受信した画面データに基づく画像処理装置側の画面を前記表示手段に表示し、画面生成手段により画面が生成された後は、該画面生成手段により生成された画像処理装置側の画面を前記表示手段に表示する請求項１９〜２３のいずれかに記載の携帯端末装置。
前記画像処理装置に対し画面生成用データの受信完了を通知する受信完了通知手段を備えている請求項２４に記載の携帯端末装置。
前記表示手段に表示された画像データに対して、ユーザーが編集操作を行った場合、有線接続時は、前記画面生成手段は、画像処理装置から既に受信済みの画像データを用いて前記ユーザーの編集操作に対応する画面を生成し、前記表示制御手段は、生成された画面を表示手段に表示し、
無線接続時は、画像処理装置で生成され転送された前記ユーザーの編集操作に対応する画面データを表示手段に表示し、画面データと並行して画像処理装置から転送される画像データの転送完了後は、画面生成手段は該画像データを用いてユーザーの編集操作に対応する画面を生成し、表示手段に表示する請求項１９〜２５のいずれかに記載の携帯端末装置。