JP6809137B2 - プログラム、情報処理装置、および情報処理装置の制御方法 - Google Patents

Description

本明細書に開示されている技術は、スクロール表示を行う場合に、表示画面のコピー画像を適切に情報処理装置に取得させることができるプログラム等に関する。

エラー等のトリガ条件が発生した場合に、トリガ条件の発生時に表示されている画面のスクリーンショット画像を自動的に取得して特定のサーバに送信する技術が知られている。スクリーンショット画像の内容を解析することで、エラー内容等を詳細に調査することができる。

特開２０１０−９９２１１号公報

スマートフォンなどの表示画面領域が小さい装置では、スクロール表示が採用されている場合がある。スクロール表示では、全体画像の一部を表示画像として切り出して表示する。すると、トリガ条件の発生時にスクリーンショット画像を取得する場合には、表示画像のスクリーンショット画像しか取得できない。すなわち、全体画像の全てをコピーした画像を取得することができない。

本明細書に開示されているプログラムは、表示部を備えた情報処理装置のコンピュータが読み取り可能なプログラムであって、コンピュータに、第１画像の少なくとも一部を第２画像として切り出し、切り出された第２画像を表示部に表示させる第１表示処理であって、第２画像の表示枠の第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う第１表示処理と、第１所定条件が成立したか否かを判断する第１所定条件判断処理と、第１所定条件が成立したことが第１所定条件判断処理で判断されたことに応じて、表示部に表示されている第２画像を写したコピー画像を取得する第１取得処理と、第１画像の表示範囲のうち第２画像で切り出されている範囲以外の範囲である非表示範囲を写したコピー画像を取得する第２取得処理と、を実行させることを特徴とする。

上記構成によれば、第１画像の少なくとも一部を第２画像として切り出すスクロール表示が採用されている場合において、第１所定条件が成立したことに応じて、第２画像を写したコピー画像を取得することができる。そして、第１画像の表示範囲のうち第２画像で切り出されている範囲以外の範囲である非表示範囲を写したコピー画像も取得することができる。これにより、第１画像の全体のコピー画像を取得することが可能となる。

通信システムの構成を示す。 印刷アプリ２１ａの動作フロー図を示す。 印刷アプリ２１ａの動作フロー図を示す。 印刷アプリ２１ａの動作フロー図を示す。 印刷アプリ２１ａの動作フロー図を示す。 設定画像の一例を示す図である。 設定画面の表示例を示す。 設定画像の一例を示す図である。 スクリーンショット画像の一例を示す図である。 スクリーンショット画像の一例を示す図である。 スクリーンショット画像の一例を示す図である。 設定画像の一例を示す図である。

（通信システムの構成）
図１に、本願に係る実施形態として例示される通信システム１のブロック図を示す。通信システム１は、携帯電話１０、複合機１１０、アクセスポイント６２、ウェブサーバ１００、基地局６１を備える。アクセスポイント６２は、既知の中継装置である。

ウェブサーバ１００は、インターネット７０および基地局６１を介して携帯電話１０と通信することが可能である。ウェブサーバ１００は、携帯電話１０から送信されてきたスクリーンショットデータの内容を解析するためのサーバである。複合機１１０は、無線通信２０２および２０１を介して、携帯電話１０と通信することが可能である。

携帯電話１０は、ｉＯＳ（Cisco Systems,Inc.の登録商標）のプラットフォームを搭載した携帯電話である。携帯電話１０は、ＣＰＵ１１、記憶部１２、ボタン入力部１７、タッチパネル１８、携帯電話インターフェース２０、無線ＬＡＮインターフェース２２、カメラ部２７、を主に備えている。ＣＰＵ１１は、記憶部１２に記憶されるプログラムや、携帯電話Ｉ／Ｆ２０を介して送受信される各種信号などに従って、各機能の制御を行う。またＣＰＵ１１は、プログラムを読み取ることで、各種の手段として機能する。本明細書では、インターフェースのことを「Ｉ／Ｆ」と記載する場合がある。

携帯電話Ｉ／Ｆ２０は、基地局６１との間で無線通信２１０を行う。無線通信２１０は、３Ｇ、４Ｇ等のセルラー方式の無線通信であってもよい。無線ＬＡＮ＿Ｉ／Ｆ２２は、無線通信２０２を介して、アクセスポイント６２と通信を行う。ボタン入力部１７は、携帯電話１０の各機能を実行するための物理キーである。タッチパネル１８は、携帯電話１０の各種機能情報を表示するとともに、指示体の接触または近接を検出する機能を備える。

記憶部１２は、プログラム２１、印刷アプリケーション記憶領域４３を備える。なお、記憶部１２は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスク、などが組み合わされて構成されているとしてもよい。

プログラム２１は、印刷アプリケーション２１ａ、オペレーティングシステム２１ｇ（以下、ＯＳ２１ｇと記載する）、を備えている。ＯＳ２１ｇは、ｉＯＳプラットフォームのＯＳである。印刷アプリケーション２１ａは、ｉＯＳ用のアプリケーションである。なお、本明細書では、アプリケーションのことを「アプリ」と省略して記載する場合がある。

印刷アプリ２１ａは、複合機１１０に印刷を実行させるためのアプリである。印刷アプリ２１ａは、インターネット７０上のウェブサーバ１００から携帯電話１０にダウンロードされてインストールされてもよい。または、複合機１１０と共に出荷されるメディアに印刷アプリ２１ａが記憶されており、メディアから携帯電話１０にインストールされてもよい。

ＯＳ２１ｇは、印刷アプリ２１ａに利用される基本的な機能を提供するプログラムである。またＯＳ２１ｇは、印刷アプリ２１ａの起動を制御する機能や、各種のデータの受け渡しを管理する機能を備える。またＯＳ２１ｇは、記憶部１２、ボタン入力部１７、タッチパネル１８などの各種の構成要素を制御する機能を備える。

印刷アプリケーション記憶領域４３は、印刷アプリ２１ａによって使用される各種のデータを記憶する領域である。印刷アプリケーション記憶領域４３は、トリガ発生フラグ、画面データ、比較用画面データ、スクリーンショット禁止領域情報、を記憶する。

トリガ発生フラグは、スクリーンショット画像を取得する場合には「ＯＮ」となり、取得しない場合には「ＯＦＦ」になる情報である。画面データは、印刷アプリ２１ａが備えている複数種類の画面を表示するためのデータである。複数種類の画面には、例えば、メイン画面、設定画面、編集結果表示画面、プレビュー画面、などが存在する。メイン画面は、印刷アプリ２１ａを起動したときに最初に表示される画面である。設定画面は、印刷アプリ２１ａの各種の設定の変更を受け付けるための画面である。編集結果表示画面は、トリミングや書込みなどの各種の編集処理が行われた後の画像を表示するための画面である。プレビュー画面は、印刷画像のプレビュー表示を行うための画面である。

比較用画面データは、比較用画面を表示するためのデータである。比較用画面は、複数種類の画面の各々に対して用意されている。比較用画面は、後述するＳ２７０において、エラー発生の有無を判断するために用いられる画面である。

スクリーンショット禁止領域情報は、複数種類の画面の各々において、スクリーンショット画像を取得することが禁止されているスクリーンショット禁止領域を示す情報である。スクリーンショット禁止領域の一例としては、氏名や電話番号などの個人情報が表示されている領域が挙げられる。例えば、図６の設定画像Ｄ１１では、項目画像Ｉ１およびＩ２が、個人情報に該当する。すなわち、項目画像Ｉ１およびＩ２が表示されている領域が、スクリーンショット禁止領域である。従ってスクリーンショット禁止領域情報は、項目画像Ｉ１およびＩ２が表示されている領域が、スクリーンショット禁止領域であることを示している。

（印刷アプリ２１ａの動作）
図２〜図５のフローチャートを用いて、印刷アプリ２１ａの動作を説明する。以降、アプリやＯＳ２１ｇなどのプログラムを実行するＣＰＵ１１のことを、単にプログラム名で記載する場合もある。例えば「印刷アプリ２１ａ」という記載が、「印刷アプリ２１ａを実行するＣＰＵ１１」を意味する場合もある。

Ｓ１１０においてＣＰＵ１１は、複数種類の画面のうちから選択された画面を、タッチパネル１８に表示する。具体例として、図７に示す設定画面ＳＣ１を、タッチパネル１８に表示する場合を説明する。設定画面ＳＣ１には、表示画像Ｄ２１、バックボタンＢ１、アプリ評価ボタンＢ２、上スクロールボタンＢ１１、下スクロールボタンＢ１２、スクロールバーＢ１３が表示されている。

表示画像Ｄ２１は、図６の設定画像Ｄ１１上に配置されている表示枠Ｆ２で切り出された画像である。図６の設定画像Ｄ１１は、項目画像Ｉ１〜Ｉ１１を備えている。項目画像Ｉ１〜Ｉ１１は、印刷アプリ２１ａの各種の設定を示している。具体的には、項目画像Ｉ１〜Ｉ１１の各々は、氏名、電話番号、用紙サイズ、用紙種類、印刷部数、ページ、印刷方向、カラー・モノクロ、印刷品質、フチなし印刷、両面印刷、を示している。また設定画像Ｄ１１は、第１端部Ｐ１および第２端部Ｐ２を備えている。第１端部Ｐ１は、スクロール表示の始点となる位置である。第２端部Ｐ２は、スクロール表示の終点となる位置である。

バックボタンＢ１は、設定画面ＳＣ１の前に表示されていた画面へ表示を切り替える指示を受け付けるためのボタン画像である。アプリ評価ボタンＢ２は、印刷アプリ２１ａに対するユーザの評価を、印刷アプリ２１ａの作成者にフィードバックする指示を受け付けるためのボタン画像である。すなわち、アプリ評価ボタンＢ２が押下されると、ユーザの評価情報をウェブサーバ１００に送信する。上スクロールボタンＢ１１は、上方向Ｔ１へのスクロール表示の実行指示を受け付けるためのボタン画像である。下スクロールボタンＢ１２は、下方向Ｔ２へのスクロール表示の実行指示を受け付けるためのボタン画像である。スクロールバーＢ１３は、表示画像Ｄ２１と設定画像Ｄ１１との対応関係を示す画像である。

以下、図６の設定画像Ｄ１１および図７の設定画面ＳＣ１を用いて説明を続ける。Ｓ１２０においてＣＰＵ１１は、スクロール操作が入力されたか否かを判断する。スクロール操作の一例としては、上スクロールボタンＢ１１または下スクロールボタンＢ１２へのタップ入力や、表示画像Ｄ２１内へのスワイプ入力が挙げられる。肯定判断される場合（Ｓ１２０：ＹＥＳ）には、Ｓ１３０へ進む。Ｓ１３０においてＣＰＵ１１は、入力されたスクロール操作に応じて、表示枠Ｆ２の設定画像Ｄ１１上における位置を移動させる。例えば、上スクロールボタンＢ１１または下スクロールボタンＢ１２がタップされたことに応じて、表示枠Ｆ２を上方向Ｔ１または下方向Ｔ２へ所定距離だけ移動させる。そしてＳ１１０へ戻り、移動後の表示枠Ｆ２で切り出された表示画像Ｄ２１を、設定画面ＳＣ１内に表示する。これにより、スクロール表示が実現される。

一方、Ｓ１２０において否定判断される場合（Ｓ１２０：ＮＯ）には、Ｓ１３２へ進む。Ｓ１３２においてＣＰＵ１１は、印刷指示が入力されたか否かを判断する。印刷指示の入力の一例としては、不図示の印刷ボタンへのタップ入力が挙げられる。肯定判断される場合（Ｓ１３２：ＹＥＳ）には、Ｓ１３４へ進む。Ｓ１３４においてＣＰＵ１１は、印刷データを生成する。そして印刷データを、無線通信２０２および２０１を介して複合機１１０へ送信する。そしてＳ１１０へ戻る。

また、Ｓ１３２において否定判断される場合（Ｓ１３２：ＮＯ）には、Ｓ１４０へ進む。Ｓ１４０においてＣＰＵ１１は、トリガ発生有無の判断処理を実行する。

図５を用いて、トリガ発生有無の判断処理の内容を説明する。Ｓ４１０においてＣＰＵ１１は、画面切り替え操作が入力されたか否かを判断する。画面切り替え操作とは、メイン画面、設定画面、プレビュー画面などの何れかが表示されているときに、画面を別の画面に切り替える操作である。否定判断される場合（Ｓ４１０：ＮＯ）にはＳ４３０へ進み、肯定判断される場合（Ｓ４１０：ＹＥＳ）にはＳ４２０へ進む。Ｓ４２０においてＣＰＵ１１は、設定画面から他の画面へ切り替えられる場合であるか否かを判断する。具体的には、図７に示す設定画面ＳＣ１において、バックボタンＢ１にタップ入力が行われたか否かを判断する。肯定判断される場合（Ｓ４２０：ＹＥＳ）には、スクリーンショット取得条件が成立したと判断され、Ｓ４８０へ進む。Ｓ４８０においてＣＰＵ１１は、トリガ発生フラグを「オン」に設定する。そしてＳ１５０へ進む。

一方、Ｓ４２０において否定判断される場合（Ｓ４２０：ＮＯ）には、Ｓ４３０へ進む。Ｓ４３０においてＣＰＵ１１は、アプリ評価ボタンＢ２がタップされたか否かを判断する。否定判断される場合（Ｓ４３０：ＮＯ）にはＳ４５０へ進み、肯定判断される場合（Ｓ４３０：ＹＥＳ）にはＳ４３５へ進む。Ｓ４３５においてＣＰＵ１１は、印刷アプリ２１ａに対するユーザ評価の入力を受け付ける。Ｓ４４０においてＣＰＵ１１は、入力されたユーザ評価およびログ情報を、ウェブサーバ１００へ送信する。ログ情報は、印刷アプリ２１ａの操作や処理の履歴を示す情報である。そして、スクリーンショット取得条件が成立したと判断し、Ｓ４８０へ進む。Ｓ４８０以降の処理は、説明済みである。

またＳ４５０においてＣＰＵ１１は、印刷アプリ２１ａの実行中にエラーが発生したか否かを判断する。否定判断される場合（Ｓ４５０：ＮＯ）にはＳ１５０へ進み、肯定判断される場合（Ｓ４５０：ＹＥＳ）にはＳ４６０へ進む。Ｓ４６０においてＣＰＵ１１は、発生したエラーが深刻なエラーであるか否かが判断される。深刻なエラーとは、印刷アプリ２１ａがフリーズしてしまい、印刷アプリ２１ａの再起動が必要となるようなエラーである。否定判断される場合（Ｓ４６０：ＮＯ）には、スクリーンショット取得条件が成立したと判断され、Ｓ４８０へ進む。Ｓ４８０以降の処理は、説明済みである。

一方、肯定判断される場合（Ｓ４６０：ＹＥＳ）には、Ｓ４７０へ進む。Ｓ４７０においてＣＰＵ１１は、後述するＳ２００やＳ２４０によってスクリーンショットデータが印刷アプリケーション記憶領域４３に記憶されている場合には、当該スクリーンショットデータをウェブサーバ１００へ送信する。そしてＳ１５０へ戻る。

図２の説明へ戻る。Ｓ１５０においてＣＰＵ１１は、スクリーンショット取得条件が成立しているか否かを判断する。具体的には、記憶部１２に記憶されているトリガ発生フラグが「オン」であるか否かを判断する。否定判断される場合（Ｓ１５０：ＮＯ）にはＳ１１０へ戻り、肯定判断される場合（Ｓ１５０：ＹＥＳ）にはＳ１７０へ進む。

Ｓ１７０においてＣＰＵ１１は、エラー情報の要求情報をウェブサーバ１００へ送信する。エラー情報とは、複数種類の画面のうちから、エラーが発生する確率が高い画面を識別するための情報である。エラーが発生する確率が高い画面の一例としては、処理負担の大きい画面が挙げられる。例えば編集結果表示画面は、各種の編集処理を実行した後に表示される画面であるため、処理負担が大きい。また設定画面は、各種の設定の変更を受け付けるための画面であるため、処理負担が大きい。Ｓ１８０においてＣＰＵ１１は、エラー情報をウェブサーバ１００から受信したか否かを判断する。否定判断される場合（Ｓ１８０：ＮＯ）にはＳ１８０へ戻り、肯定判断される場合（Ｓ１８０：ＹＥＳ）にはＳ１９０へ進む。

Ｓ１９０においてＣＰＵ１１は、現在表示している画面が、エラーが発生する確率が高い画面であるか否かを、エラー情報に基づいて判断する。否定判断される場合（Ｓ１９０：ＮＯ）には、Ｓ１９５へ進む。Ｓ１９５においてＣＰＵ１１は、トリガ発生フラグを「オフ」に設定する。そしてＳ１１０へ戻る。

一方、Ｓ１９０において肯定判断される場合（Ｓ１９０：ＹＥＳ）には、Ｓ２００へ進む。Ｓ２００においてＣＰＵ１１は、スクリーンショット画像を取得する。スクリーンショット画像は、設定画面ＳＣ１内に含まれている表示画像Ｄ２１を写したコピー画像である。スクリーンショット画像の取得は、スクリーンショット取得用のＡＰＩ（Application Program Interface）を呼び出すことによって実行されてもよい。そしてＣＰＵ１１は、取得したスクリーンショット画像を示すスクリーンショットデータを、印刷アプリケーション記憶領域４３に記憶させる。

本実施形態の説明例では、図７に示す設定画面ＳＣ１が表示されている状態で、表示画像Ｄ２１のスクリーンショット画像を取得する場合を説明する。この場合、図９に示すスクリーンショット画像ＳＳ１が取得される。スクリーンショット画像ＳＳ１は、図６の設定画像Ｄ１１において表示枠Ｆ２で切り出された画像に対応する。

Ｓ２１０においてＣＰＵ１１は、設定画像Ｄ１１に非表示範囲が含まれているか否かを判断する。非表示範囲は、設定画像Ｄ１１の表示範囲のうち、表示画像Ｄ２１で切り出されている範囲以外の範囲である。すなわち、タッチパネル１８に表示しきれていない画面である。当該判断は、表示画像Ｄ２１の表示範囲が設定画像Ｄ１１の表示範囲よりも小さいか否かによって判断することができる。否定判断される場合（Ｓ２１０：ＮＯ）にはＳ２６０へ進み、肯定判断される場合（Ｓ２１０：ＹＥＳ）にはＳ２２０へ進む。

本実施形態の説明例では、図６に示すように、表示枠Ｆ２で規定される表示画像Ｄ２１の表示範囲が、設定画像Ｄ１１の表示範囲よりも小さい。そして設定画像Ｄ１１には、非表示範囲Ｒ１およびＲ２が含まれている。従って、Ｓ２１０において肯定判断される。

Ｓ２２０においてＣＰＵ１１は、非表示範囲の画像を含んだ表示画像をタッチパネル１８に表示させることができるように、設定画像Ｄ１１上における表示枠Ｆ２の配置数Ｍおよび配置位置を決定する。配置数Ｍは、１以上の自然数である。

本実施形態の説明例では、図８に示すように、非表示範囲Ｒ１を含む表示枠Ｆ２ａの配置位置と、非表示範囲Ｒ２を含む表示枠Ｆ２ｂの配置位置が決定される。従って、配置数Ｍが「２」に決定する。

Ｓ２２５においてＣＰＵ１１は、カウント値Ｋを「１」にセットする。Ｓ２３０においてＣＰＵ１１は、カウント値Ｋに対応するＫ番目の配置位置に、表示枠を移動させる。これにより、非表示範囲を含んだ表示画像をタッチパネル１８に表示させることができる。そしてＳ２４０へ進み、ＣＰＵ１１は、スクリーンショット画像を取得する。これにより、非表示範囲を含んだスクリーンショット画像を取得することができる。そしてＣＰＵ１１は、取得したスクリーンショット画像を示すスクリーンショットデータを、印刷アプリケーション記憶領域４３に記憶させる。

Ｓ２５０においてＣＰＵ１１は、Ｍ個の表示枠の全てについてスクリーンショット画像を取得したか否かを判断する。当該判断は、カウント値Ｋが配置数Ｍと等しいか否かによって判断することができる。否定判断される場合（Ｓ２５０：ＮＯ）には、Ｓ２５５へ進む。Ｓ２５５においてＣＰＵ１１は、カウント値Ｋを１カウントアップする。そしてＳ２３０へ戻る。

本実施形態の説明例では、カウント値Ｋが「１」である場合に、図８の設定画像Ｄ１１上に表示枠Ｆ２ａが配置される。そして図１０に示すように、表示枠Ｆ２ａで切り出された表示画像Ｄ２１のスクリーンショット画像ＳＳ２が取得される。次に、カウント値Ｋが「２」である場合に、図８の設定画像Ｄ１１上に表示枠Ｆ２ｂが配置される。そして図１１に示すように、表示枠Ｆ２ｂで切り出された表示画像Ｄ２１のスクリーンショット画像ＳＳ３が取得される。スクリーンショット画像ＳＳ２は、非表示範囲Ｒ１を含んでいる。スクリーンショット画像ＳＳ３は、非表示範囲Ｒ２を含んでいる。

一方、Ｓ２５０において肯定判断される場合（Ｓ２５０：ＹＥＳ）には、Ｓ２６０へ進む。Ｓ２６０においてＣＰＵ１１は、比較用画面データを、印刷アプリケーション記憶領域４３から読み出す。Ｓ２７０においてＣＰＵ１１は、エラーが発生している可能性があるか否かを判断する。具体的には、Ｓ２００やＳ２４０で取得されたスクリーンショット画像と、比較用画面データが示す画像とにおいて、互いに対応する部分の内容を比較する。そして、両画像に差異点がある場合には、エラーが発生している可能性があると判断することができる。両画像に差異点がある場合とは、例えば、エラーによって、本来存在しないアイコン画像が出現している場合や、一列に並んでいるボタン画像の配列が乱れている場合や、画像の一部が真っ黒になっている場合などが挙げられる。Ｓ２７０において否定判断される場合（Ｓ２７０：ＮＯ）には、Ｓ２７５へ進む。Ｓ２７５においてＣＰＵ１１は、トリガ発生フラグを「オフ」に設定する。そしてＳ１１０へ戻る。

一方、Ｓ２７０において肯定判断される場合（Ｓ２７０：ＹＥＳ）には、Ｓ２８０へ進む。Ｓ２８０においてＣＰＵ１１は、スクリーンショット禁止領域情報を、印刷アプリケーション記憶領域４３から読み出す。Ｓ２９０においてＣＰＵ１１は、Ｓ２００やＳ２４０で取得されたスクリーンショット画像において、スクリーンショット禁止領域情報が示すスクリーンショット禁止領域を特定する。そして、特定したスクリーンショット禁止領域に対して、内容が認識できないようにモザイク加工を行う。そしてＳ３００へ進む。

本実施形態の説明例では、図６の設定画像Ｄ１１において、項目画像Ｉ１およびＩ２が表示されている領域がスクリーンショット禁止領域である場合を説明している。従って、図１０に示すスクリーンショット画像ＳＳ２において、項目画像Ｉ１およびＩ２が表示されている領域が、スクリーンショット禁止領域として特定される。そして、項目画像Ｉ１およびＩ２にモザイク加工が行われる。

Ｓ３００においてＣＰＵ１１は、Ｓ２００およびＳ２４０で取得されたスクリーンショットデータのサイズが、予め定められた所定サイズよりも大きいか否かを判断する。否定判断される場合（Ｓ３００：ＮＯ）にはＳ３２０へ進み、肯定判断される場合（Ｓ３００：ＹＥＳ）にはＳ３１０へ進む。

Ｓ３１０においてＣＰＵ１１は、スクリーンショット画像の一部をトリミングすることでデータサイズを縮小する。このとき、エラー解析に不要な画像を排除するように、トリミングを行えばよい。エラー解析に不要な画像は、予め設定されている。そしてＳ３２０へ進む。

本実施形態の説明例では、図９〜図１１に示すスクリーンショット画像ＳＳ１〜ＳＳ３において、実際の設定値を表示している右側半分の領域である、領域Ｒ１１〜Ｒ１３がトリミングされる。これにより、設定項目名を表示している左側半分の領域を排除することができる。すなわち、エラー解析に不要な領域の画像を排除できる。

Ｓ３２０においてＣＰＵ１１は、記憶しているスクリーンショットデータを、ウェブサーバ１００へ送信する。ウェブサーバ１００では、送信されてきたスクリーンショットデータを用いて、エラー解析等を行うことができる。Ｓ３３０においてＣＰＵ１１は、トリガ発生フラグを「オフ」に設定する。そしてＳ１１０へ戻る。

（効果）
設定画像Ｄ１１の一部を表示画像Ｄ２１として切り出すスクロール表示が採用されている場合において、スクリーンショット取得条件が成立したことに応じて（Ｓ４２０：ＹＥＳ、Ｓ４３０：ＹＥＳ、Ｓ４６０：ＮＯ）、表示画像Ｄ２１のスクリーンショット画像を取得することができる（Ｓ２００）。そして、設定画像Ｄ１１の表示範囲のうち表示画像Ｄ２１で切り出されている範囲以外の範囲である非表示範囲Ｒ１およびＲ２が存在する場合に、非表示範囲Ｒ１およびＲ２のスクリーンショット画像も取得することができる（Ｓ２４０）。これにより、表示画像Ｄ２１の全体のスクリーンショット画像を取得することが可能となる。

印刷アプリ２１ａは、スクリーンショット画像のデータをウェブサーバ１００へ送信（Ｓ３２０）することができる。これにより、ウェブサーバ１００において、スクリーンショット画像のデータを用いて、エラー解析等を行うことが可能となる。

取得されたスクリーンショット画像と、比較用画面データが示す画像と、に差異点がある場合（２７０：ＹＥＳ）に、エラーが発生している可能性があると判断することができる。そして、スクリーンショット画像のデータをウェブサーバ１００へ送信することができる（Ｓ３２０）。これにより、エラーが発生している可能性がある場合のみにスクリーンショット画像のデータを送信することが可能となる。不要なデータ送信を抑制することができる。

取得されたスクリーンショット画像のデータサイズが所定サイズよりも大きい場合（Ｓ３００：ＹＥＳ）には、スクリーンショット画像の一部をトリミングすることで、データサイズを縮小することができる（Ｓ３１０）。これにより、通信データ量を抑制することが可能となる。

印刷アプリ２１ａの実行中にエラーが発生した場合（Ｓ４５０：ＹＥＳ）に、スクリーンショット画像を取得することができる（Ｓ４８０）。これにより、エラーが発生した画面のスクリーンショット画像を取得することができる。スクリーンショット画像を用いて、エラー内容を解析することが可能となる。

ログ情報をウェブサーバ１００へ送信する場合（Ｓ４３０：ＹＥＳ）に、スクリーンショット画像を取得することができる（Ｓ４８０）。これにより、スクリーンショット画像に基づいてログ情報の内容を解析することが可能となる。

設定画面ＳＣ１から切り出された表示画像Ｄ２１が表示されている状態から、他の画面（例：メイン画面）から切り出された表示画像Ｄ２１が表示されている状態へ移行する場合（Ｓ４２０：ＹＥＳ）に、スクリーンショット画像を取得することができる（Ｓ４８０）。設定画面ＳＣ１には、図７に示すように、各種の設定が表示されている。よって設定画面ＳＣ１は、エラー発生の原因を解析するために有用な画面である。従って、設定画面ＳＣ１から他の画面に切り替えられる場合に、設定画面ＳＣ１のスクリーンショット画面を取得して記憶しておけば、あとで印刷アプリ２１ａに深刻なエラーが発生した場合（Ｓ４６０：ＹＥＳ）などに、記憶しておいたスクリーンショット画面をウェブサーバ１００に送信することができる（Ｓ４７０）。これにより、確実にエラー解析を実行することが可能となる。

エラーが発生する確率が高い画面（例：設定画面、編集結果表示画面）をタッチパネル１８に表示している場合（Ｓ１９０：ＹＥＳ）に、スクリーンショット画像を取得することができる（Ｓ２００）。これにより、エラー解析のために有用な画面のスクリーンショット画像のみを、選択的に取得することが可能となる。不要なスクリーンショット画像が取得されてしまう事態を抑制することができる。

非表示範囲の一部を表示画像として切り出してタッチパネル１８に表示させる処理（Ｓ２３０）と、スクリーンショット画像を取得する処理（Ｓ２４０）とを、非表示範囲が存在しないと判断（Ｓ２５０：ＹＥＳ）されるまで、交互に繰り返すことができる。これにより、非表示範囲のスクリーンショット画像を自動で取得することが可能となる。

取得されたスクリーンショット画像に含まれているスクリーンショット禁止領域に対して、モザイク加工を行うことができる（Ｓ２９０）。これにより、個人情報の流出を防止することができる。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には以上に例示した具体例を様々に変形、変更したものが含まれる。上記の実施例の変形例を以下に列挙する。

（変形例）
Ｓ２００において、スクロール表示の始点を含むスクリーンショット画像を取得するとしてもよい。具体的に説明する。Ｓ２００においてＣＰＵ１１は、図６の第１端部Ｐ１を含む位置に表示枠を移動させ、スクリーンショット画像を取得する。これにより、項目画像Ｉ１〜Ｉ５を含んだスクリーンショット画像が取得される。次にＣＰＵ１１は、項目画像Ｉ６〜Ｉ１０を囲う位置に、表示枠を移動させる（Ｓ２３０）。そして項目画像Ｉ６〜Ｉ１０を含んだスクリーンショット画像を取得する（Ｓ２４０）。最後にＣＰＵ１１は、項目画像Ｉ７〜Ｉ１１を囲う位置に、表示枠を移動させる（Ｓ２３０）。そして項目画像Ｉ７〜Ｉ１１を含んだスクリーンショット画像を取得する（Ｓ２４０）。これにより、スクロール表示の始点から終点まで連続しているスクリーンショット画像を取得することができる。よって、スクリーンショット画像を取得した順番につなぎ合わせることで、設定画像Ｄ１１を再現することが可能となる。

スクリーンショット禁止領域のスクリーンショット画像を取得しないようにすることで、個人情報の流出を防止することも可能である。この場合、図３のフローにおいて、Ｓ２８０をＳ２２０の前に移動させるとともに、Ｓ２９０を消去すればよい。Ｓ２２０では、非表示範囲の画像を含むとともに、スクリーンショット禁止領域を含まないように、表示枠の配置位置を決定すればよい。本変形例の説明例では、図１２に示すように、非表示範囲Ｒ１の一部を含むとともに、スクリーンショット禁止領域である項目画像Ｉ１およびＩ２を含まないように、表示枠Ｆ２ｃの配置位置を決定すればよい。

Ｓ２８０およびＳ２９０のモザイク加工を行う処理は、何れのタイミングで行ってもよい。例えば、Ｓ２６０の実行前のタイミングで行ってもよい。

Ｓ３１０における、スクリーンショットデータのデータサイズを縮小する方法は、トリミングに限らず、様々な方法を用いることができる。例えば、スクリーンショット画像を縮小してもよい。また、スクリーンショット画像が複数ある場合には、間引きをしてもよい。

Ｓ２６０における比較用画面データの取得方法や、Ｓ２８０におけるスクリーンショット禁止領域情報の取得方法は、様々な態様であってよい。例えば、ウェブサーバ１００からこれらの情報を受信してもよい。

本実施形態では、設定画像Ｄ１１に基づく設定画面がタッチパネル１８に表示されている場合について説明したが、この形態に限られない。メイン画像に基づくメイン画面や、編集結果画像に基づく編集結果表示画面がタッチパネル１８に表示されている場合についても、同様である。

携帯電話１０のプラットフォームは、ｉＯＳに限られず、様々なプラットフォームを利用可能である。例えば、Ａｎｄｒｏｉｄ（Google Inc.の登録商標）、Windows phone（Microsoft Corporationの登録商標）などであってもよい。

エラーが発生する確率が高い画面であるか否かを判断する処理（Ｓ１７０〜Ｓ１９５）は、省略することが可能である。非表示範囲が含まれているか否かを判断する処理（Ｓ２１０）は、省略することが可能である。この場合、Ｓ２００からＳ２２０へ進めばよい。エラーが発生している可能性があるか否かを判断する処理（Ｓ２６０〜Ｓ２７５）は、省略することが可能である。スクリーンショット禁止領域に対してモザイク加工を行う処理（Ｓ２８０、Ｓ２９０）は、省略することが可能である。データサイズを縮小する処理（Ｓ３００、Ｓ３１０）は、省略することが可能である。以上より、一般的に言うと、印刷アプリケーション２１ａは、「第１表示処理」と、「第１所定条件判断処理」と、「第１取得処理」と、「第２取得処理」と、を携帯電話１０に実行させれば良い。具体例としては、印刷アプリケーション２１ａは、Ｓ１１０と、Ｓ１４０と、Ｓ１５０と、Ｓ２００と、Ｓ２４０と、を携帯電話１０に少なくとも実行させれば良い。

携帯電話１０は、Ｗｉ−Ｆｉ方式の無線通信を実行して、ウェブサーバ１００と様々な情報の通信を実行してもよい。また、携帯電話１０は、有線でインターネット７０に接続されている場合には、有線通信を実行して、ウェブサーバ１００と通信を実行してもよい。一般的に言うと、携帯電話１０とウェブサーバ１００とが通信可能であればよい。

印刷アプリケーション２１ａが動作する装置は、携帯電話１０でなくてもよく、据え置き型のＰＣであってもよいし、他のデバイス（例えばテレビ等）であってもよい。

上記の各実施例では、携帯電話１０のＣＰＵ１１が記憶部１２内のプログラムを実行することによって、図２〜図５等の各処理が実現される。これに代えて、図２〜図５等の各処理のうちの少なくとも１つの処理は、論理回路等のハードウェアによって実現されてもよい。

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

タッチパネル１８は、表示部の一例である。携帯電話１０は、情報処理装置の一例である。ＣＰＵ１１は、コンピュータの一例である。印刷アプリケーション２１ａは、プログラムの一例である。設定画像Ｄ１１は、第１画像の一例である。表示画像Ｄ２１は、第２画像の一例である。Ｓ１１０を実行するＣＰＵは、第１表示処理の一例である。スクリーンショット取得条件は、第１所定条件の一例である。Ｓ１４０およびＳ１５０を実行するＣＰＵは、第１所定条件判断処理の一例である。スクリーンショット画像は、コピー画像の一例である。Ｓ２００を実行するＣＰＵは、第１取得処理の一例である。Ｓ２１０を実行するＣＰＵは、表示範囲判断処理の一例である。Ｓ２４０を実行するＣＰＵは、第２取得処理の一例である。Ｓ３２０を実行するＣＰＵは、第１送信処理の一例である。Ｓ２６０を実行するＣＰＵは、比較用第１画像取得手段の一例である。Ｓ２７０を実行するＣＰＵは、比較処理の一例である。Ｓ３００を実行するＣＰＵは、サイズ判断処理の一例である。ウェブサーバ１００は、サーバの一例である。携帯電話Ｉ／Ｆ２０、無線ＬＡＮ＿Ｉ／Ｆ２２は、通信インターフェースの一例である。Ｓ４４０を実行するＣＰＵは、第２送信処理の一例である。エラー情報は、識別情報の一例である。Ｓ１８０：Ｙを実行するＣＰＵは、受信手段の一例である。Ｓ１９０を実行するＣＰＵは、画像種類判断手段の一例である。Ｓ２３０を実行するＣＰＵは、非表示範囲表示処理の一例である。Ｓ２４０を実行するＣＰＵは、非表示範囲取得処理の一例である。スクリーンショット禁止領域情報は、配置情報の一例である。Ｓ２８０を実行するＣＰＵは、配置情報取得処理の一例である。Ｓ２９０を実行するＣＰＵは、画像加工処理の一例である。

１：通信システム、１０：携帯電話、１１：ＣＰＵ、２１ａ：印刷アプリケーション、２１ｇ：オペレーティングシステム、Ｄ１１：設定画像、Ｄ２１：表示画像、Ｆ２：表示枠、Ｒ１およびＲ２：非表示範囲

Claims (14)

1. 表示部を備えた情報処理装置のコンピュータが読み取り可能なプログラムであって、
   前記コンピュータに、
   第１画像の少なくとも一部を第２画像として切り出し、切り出された前記第２画像を前記表示部に表示させる第１表示処理であって、前記第２画像の表示枠の前記第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う前記第１表示処理と、
   第１所定条件が成立したか否かを判断する第１所定条件判断処理と、
   前記第１所定条件が成立したことが前記第１所定条件判断処理で判断されたことに応じて、前記表示部に表示されている前記第２画像を写したコピー画像を取得する第１取得処理と、
   前記第２画像の表示範囲が前記第１画像の表示範囲よりも小さいか否かを判断する表示範囲判断処理と、
   前記第２画像の表示領域が前記第１画像の表示領域よりも小さいことが前記表示範囲判断処理で判断された場合に、前記第１画像の表示範囲のうち前記第２画像で切り出されている範囲以外の範囲である非表示範囲を写した前記コピー画像を取得する第２取得処理と、
   を実行させることを特徴とするプログラム。
2. 表示部と、サーバと通信を実行するための通信インターフェースと、を備えた情報処理装置のコンピュータが読み取り可能なプログラムであって、
   前記コンピュータに、
   第１画像の少なくとも一部を第２画像として切り出し、切り出された前記第２画像を前記表示部に表示させる第１表示処理であって、前記第２画像の表示枠の前記第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う前記第１表示処理と、
   第１所定条件が成立したか否かを判断する第１所定条件判断処理と、
   前記第１所定条件が成立したことが前記第１所定条件判断処理で判断されたことに応じて、前記表示部に表示されている前記第２画像を写したコピー画像を取得する第１取得処理と、
   前記第１画像の表示範囲のうち前記第２画像で切り出されている範囲以外の範囲である非表示範囲を写した前記コピー画像を取得する第２取得処理と、
   前記第１取得処理および前記第２取得処理によって取得されたコピー画像を、前記通信インターフェースを介して前記サーバへ送信する第１送信処理と、
   を実行させることを特徴とするプログラム。
3. 比較用第１画像を取得する比較用第１画像取得手段と、
   前記第１取得処理および前記第２取得処理によって取得された前記コピー画像と、前記比較用第１画像において前記コピー画像に対応している領域と、の内容を比較する比較処理と、
   を前記コンピュータにさらに実行させ、
   前記コピー画像と前記比較用第１画像における前記コピー画像に対応している領域との内容が異なることが前記比較処理によって判断された場合に、前記コピー画像を前記サーバへ送信する前記第１送信処理を実行することを特徴とする請求項２に記載のプログラム。
4. 前記第１取得処理および前記第２取得処理によって取得された前記コピー画像のデータサイズが予め定められた所定サイズよりも大きいか否かを判断するサイズ判断処理を、前記コンピュータにさらに実行させ、
   前記コピー画像のデータサイズが前記所定サイズよりも大きいことが前記サイズ判断処理によって判断された場合に、前記コピー画像の一部をトリミングして前記サーバへ送信する前記第１送信処理を実行することを特徴とする請求項２または３に記載のプログラム。
5. 前記第１所定条件判断処理では、前記プログラムの実行中にエラーが発生した場合に前記第１所定条件が成立したと判断されることを特徴とする請求項１〜４の何れか１項に記載のプログラム。
6. 表示部と、サーバと通信を実行するための通信インターフェースと、を備えた情報処理装置のコンピュータが読み取り可能なプログラムであって、
   前記コンピュータに、
   第１画像の少なくとも一部を第２画像として切り出し、切り出された前記第２画像を前記表示部に表示させる第１表示処理であって、前記第２画像の表示枠の前記第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う前記第１表示処理と、
   前記プログラムの各種の履歴を示すログ情報を、前記通信インターフェースを介して前記サーバへ送信する第２送信処理と、
   前記第２送信処理が前記ログ情報を送信する場合に第１所定条件が成立したと判断する第１所定条件判断処理と、
   前記第１所定条件が成立したことが前記第１所定条件判断処理で判断されたことに応じて、前記表示部に表示されている前記第２画像を写したコピー画像を取得する第１取得処理と、
   前記第１画像の表示範囲のうち前記第２画像で切り出されている範囲以外の範囲である非表示範囲を写した前記コピー画像を取得する第２取得処理と、
   を実行させることを特徴とするプログラム。
7. 表示部を備えた情報処理装置のコンピュータが読み取り可能なプログラムであって、
   前記コンピュータに、
   複数種類が存在している第１画像のうちの何れか１の種類の第１画像の少なくとも一部を第２画像として切り出し、切り出された前記第２画像を前記表示部に表示させる第１表示処理であって、前記第２画像の表示枠の前記第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う前記第１表示処理と、
   前記第１表示処理が予め定められた第１特定種類の第１画像から切り出された前記第２画像を前記表示部に表示させる場合に、第１所定条件が成立したと判断する第１所定条件判断処理と、
   前記第１所定条件が成立したことが前記第１所定条件判断処理で判断されたことに応じて、前記表示部に表示されている前記第２画像を写したコピー画像を取得する第１取得処理と、
   前記第１画像の表示範囲のうち前記第２画像で切り出されている範囲以外の範囲である非表示範囲を写した前記コピー画像を取得する第２取得処理と、
   を実行させることを特徴とするプログラム。
8. 前記第１特定種類の第１画像は、前記プログラムの各種の設定の内容を示す設定用の第１画像であり、
   前記第１所定条件判断処理では、前記第１表示処理が前記設定用の第１画像から切り出された前記第２画像を前記表示部に表示させている状態から、他の種類の第１画像から切り出された前記第２画像を前記表示部に表示させる状態に移行する場合に、前記第１所定条件が成立したと判断されることを特徴とする請求項７に記載のプログラム。
9. 表示部と、サーバと通信を実行するための通信インターフェースと、を備えた情報処理装置のコンピュータが読み取り可能なプログラムであって、
   前記コンピュータに、
   複数種類が存在している第１画像の少なくとも一部を第２画像として切り出し、切り出された前記第２画像を前記表示部に表示させる第１表示処理であって、前記第２画像の表示枠の前記第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う前記第１表示処理と、
   特定種類の第１画像を示す識別情報を前記サーバから受信する受信手段と、
   第１所定条件が成立したか否かを判断する第１所定条件判断処理と、
   前記第１所定条件が成立したことが前記第１所定条件判断処理で判断された場合に、前記第２画像の元となる前記第１画像の種類が前記特定種類であるか否かを、前記識別情報に基づいて判断する画像種類判断手段と、
   前記第１所定条件が成立したことが前記第１所定条件判断処理で判断されたことに応じて、前記第２画像の元となる前記第１画像の種類が前記特定種類であることが前記画像種類判断手段で判断されることを条件として、前記表示部に表示されている前記第２画像を写したコピー画像を取得する第１取得処理と、
   前記第２画像の元となる前記第１画像の種類が前記特定種類であることが前記画像種類判断手段で判断されることを条件として、前記第１画像の表示範囲のうち前記第２画像で切り出されている範囲以外の範囲である非表示範囲を写した前記コピー画像を取得する第２取得処理と、
   を実行させることを特徴とするプログラム。
10. 表示部を備えた情報処理装置のコンピュータが読み取り可能なプログラムであって、
    前記コンピュータに、
    第１画像の少なくとも一部を第２画像として切り出し、切り出された前記第２画像を前記表示部に表示させる第１表示処理であって、前記第２画像の表示枠の前記第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う前記第１表示処理と、
    第１所定条件が成立したか否かを判断する第１所定条件判断処理と、
    前記第１所定条件が成立したことが前記第１所定条件判断処理で判断されたことに応じて、前記表示部に表示されている前記第２画像を写したコピー画像を取得する第１取得処理と、
    前記第１画像の表示範囲のうち前記第２画像で切り出されている範囲以外の範囲である非表示範囲を写した前記コピー画像を取得する第２取得処理と、
    を実行させ、
    前記第２取得処理は、
    前記非表示範囲内で前記第２画像の前記表示枠を移動させることで、前記非表示範囲の一部を第２画像として切り出して前記表示部に表示させる非表示範囲表示処理と、
    前記非表示範囲表示処理によって前記表示部に表示されている前記第２画像を写したコピー画像を取得する非表示範囲取得処理と、
    を備えており、
    前記非表示範囲表示処理と前記非表示範囲取得処理とを、前記非表示範囲が存在しなくなるまで交互に繰り返して実行することを特徴とするプログラム。
11. 前記第１画像は前記スクロール表示の始点となる第１端部を備えており、
    前記第１取得処理は、前記表示枠の前記第１画像上における位置が、前記第１画像の前記第１端部を含む位置である前記第２画像について、前記コピー画像を取得することを特徴とする請求項１０に記載のプログラム。
12. 表示部を備えた情報処理装置のコンピュータが読み取り可能なプログラムであって、
    前記コンピュータに、
    第１画像の少なくとも一部を第２画像として切り出し、切り出された前記第２画像を前記表示部に表示させる第１表示処理であって、前記第２画像の表示枠の前記第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う前記第１表示処理と、
    第１所定条件が成立したか否かを判断する第１所定条件判断処理と、
    前記第１所定条件が成立したことが前記第１所定条件判断処理で判断されたことに応じて、前記表示部に表示されている前記第２画像を写したコピー画像を取得する第１取得処理と、
    前記第１画像の表示範囲のうち前記第２画像で切り出されている範囲以外の範囲である非表示範囲を写した前記コピー画像を取得する第２取得処理と、
    前記第１画像の中に含まれているコピー禁止領域の配置位置を示す配置情報を取得する配置情報取得処理と、
    前記第１取得処理および前記第２取得処理が取得した前記コピー画像において、前記配置情報が示す前記コピー禁止領域に対応する領域を、内容が認識できないように加工する画像加工処理と、
    を実行させることを特徴とするプログラム。
13. 表示部を備えた情報処理装置であって、
    第１画像の少なくとも一部を第２画像として切り出し、切り出された前記第２画像を前記表示部に表示させる第１表示手段であって、前記第２画像の表示枠の前記第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う前記第１表示手段と、
    第１所定条件が成立したか否かを判断する第１所定条件判断手段と、
    前記第１所定条件が成立したことが前記第１所定条件判断手段で判断されたことに応じて、前記表示部に表示されている前記第２画像を写したコピー画像を取得する第１取得手段と、
    前記第２画像の表示範囲が前記第１画像の表示範囲よりも小さいか否かを判断する表示範囲判断手段と、
    前記第２画像の表示領域が前記第１画像の表示領域よりも小さいことが前記表示範囲判断手段で判断された場合に、前記第１画像の表示範囲のうち前記第２画像で切り出されている範囲以外の範囲である非表示範囲を写した前記コピー画像を取得する第２取得手段と、
    を備えることを特徴とする情報処理装置。
14. 表示部を備えた情報処理装置の制御方法であって、
    第１画像の少なくとも一部を第２画像として切り出し、切り出された前記第２画像を前記表示部に表示させる第１表示ステップであって、前記第２画像の表示枠の前記第１画像上における位置をユーザ入力に応じて移動させることでスクロール表示を行う前記第１表示ステップと、
    第１所定条件が成立したか否かを判断する第１所定条件判断ステップと、
    前記第１所定条件が成立したことが前記第１所定条件判断ステップで判断されたことに応じて、前記表示部に表示されている前記第２画像を写したコピー画像を取得する第１取得ステップと、
    前記第２画像の表示範囲が前記第１画像の表示範囲よりも小さいか否かを判断する表示範囲判断ステップと、
    前記第２画像の表示領域が前記第１画像の表示領域よりも小さいことが前記表示範囲判断ステップで判断された場合に、前記第１画像の表示範囲のうち前記第２画像で切り出されている範囲以外の範囲である非表示範囲を写した前記コピー画像を取得する第２取得ステップと、
    を備えることを特徴とする情報処理装置の制御方法。

Images