JP7159608B2 - 操作画面の表示装置、画像処理装置及びプログラム - Google Patents

Description

この発明は、画像処理装置等により実行されるジョブの動作条件を設定するための操作画面を表示可能な操作画面の表示装置、この操作画面の表示装置を備えた画像処理装置及びプログラムに関する。

例えば、ＭＦＰ（Multi Function Peripheral）と称される多機能デジタル複合機等の画像処理装置は、従来、多くの機能をサポートしている。このため、これらの機能を使用するために操作パネルの表示部に表示される、ジョブの設定を行う操作画面として、タブ切り替えによる複数の画面や階層構造の複数の画面が用いられており、操作画面の画面構成の効率化が図られていた。

しかし、ユーザーは自分が利用したい機能・項目を設定するためには、複数の画面遷移が必要で操作が煩雑化することもある。

更に各種機能選択ボタンの表示が、画像処理装置の製造メーカーが独自で使用する言葉や記号で表示されているため、ユーザーが使いたい機能を探すことが困難であった。

そこで、一般技術である音声認識技術を用い、ジョブの動作条件の設定と同一又は類似する意味のキーワードをジョブ設定のコマンドとして登録しておくとともに、キーワードに紐付けて設定を登録しておき、ユーザーがキーワードを音声入力すると、キーワードに紐付けられた設定が検索されそのままジョブ設定が行われるように構成することにより、操作パネルから操作ボタンを探すことなく設定を行うことができる画像処理装置も知られている。また、音声入力ではなくテキストデータによりキーワードを入力することも考えられる。

なお、特許文献１には、ユーザーにより「入力」欄に印刷条件を設定するための文字が自然語によって入力されると、入力された文字から印刷条件を特定し、特定した印刷条件で印刷データをプリンタに印刷させる技術が提案されている。

また特許文献２には、音声信号を入力する音声入力手段と上記音声信号を認識する音声認識手段とキーワードと操作パネルの各機能を関連付ける関連付け手段と上記関連付け手段で関連付けられたキーワードが上記音声認識手段で認識された場合に、キーワードに関連付けされている操作パネルの各機能を表示させる技術が提案されている。

特開２００４－２６５１８２号公報 特開２００７－１０２０１２号公報

ところで、ユーザーは音声やテキスト等により入力したキーワードに基づいて設定された内容を、後から操作パネルの操作画面上で見直したいことがある。

しかし、従来では、ユーザーが入力したキーワードと操作画面上の設定に関連する表示が一致しているかどうかを判断しないため、ユーザーが入力後に操作パネルの操作画面上で見直したときに、正しく設定されているか把握しにくいという課題がある。

例えば、「１．２倍にズーム」という音声入力による設定を行った時に、操作画面上では既存の表示態様である「倍率」「１２０％」が表示され、表示上「ズーム」「１．２倍」という表示は存在しないため、正しく設定されているか把握しにくい。

また、英語を母国語とするユーザーが、日本語表示の操作画面のまま「staple upperleft,duplex・・・」という設定を行ったときに、画面上は日本語の設定により「ステープル」「両面」と表示される。このため、ユーザーの入力言語と異なる言語で表示されることになり、ユーザーは正しく設定されたかどうかを把握しにくい。

なお、前述した特許文献１及び２は、このような課題に対して解決策を提供しうるものではなかった。

この発明は、このような技術的背景に鑑みてなされたものであって、音声入力やテキスト入力等により入力されたキーワードを基にジョブの動作条件の設定を行う場合に、設定が正しく行われているかどうかを、ユーザーが操作画面上で容易に把握できる操作画面の表示装置、画像処理装置及びプログラムを提供することを目的とする。

上記目的は、以下の手段によって達成される。
（１）表示手段と、ユーザーによるキーワードを含む入力に基づいて前記キーワードに紐づくジョブの動作条件の設定を検索する検索手段により、前記設定が検索され設定名が抽出された場合、前記設定名に紐付けられている操作画面上の設定値、単位、言語の少なくとも何れかの表示内容を特定し、特定した表示内容と前記キーワードとが異なるかどうかを判断する判断手段と、前記判断手段により、特定した表示内容とキーワードとが異なると判断された場合、操作画面上の設定値、単位、言語の少なくとも何れかの表示を、キーワードに対応する表示に変更する表示制御手段と、を備えたことを特徴とする操作画面の表示装置。
（２）前記表示制御手段は、操作画面上の設定値、単位、言語の少なくとも何れかの表示のみならず、同じ設定値を利用している箇所の表示、同じ単位を利用している箇所の表示、操作画面全体の言語設定、の少なくとも何れかを変更する前項１に記載の操作画面の表示装置。
（３）前記検索手段は、自装置または外部装置に備えられている前項１または２に記載の操作画面の表示装置。
（４）前記キーワードを含む入力は音声入力またはテキスト入力であり、キーワードは前記音声入力またはテキスト入力から抽出される前項１～３の何れかに記載の操作画面の表示装置。
（５）前記テキスト入力は、テキスト入力装置に表示されたヘルプ画面における検索ワードの入力欄に入力されたものである前項４に記載の操作画面の表示装置。
（６）前記キーワードの抽出は、自装置または外部装置に備えられた抽出手段により行われる前項４または５に記載の操作画面の表示装置。
（７）前記操作画面は画像処理装置によるジョブの動作条件を設定するための操作画面であり、前記表示制御手段により前記操作画面上の設定値、単位、言語の少なくとも何れかの表示がキーワードに対応する表示に変更されたときは、変更内容を前記画像処理装置に通知する通知手段を備えている前項１～６の何れかに記載の操作画面の表示装置。
（８）前記表示制御手段は、変更後のキーワードに対応する表示が表示エリアに入りきらないときは、表示エリアのレイアウトを変更する前項１～７の何れかに記載の操作画面の表示装置。
（９）前記表示制御手段は、変更後のキーワードに対応する表示とともに変更前の表示も併存させる前項１～８の何れかに記載の操作画面の表示装置。
（１０）前項１～９の何れかに記載の操作画面の表示装置を備えた画像処理装置。
（１１）表示手段を備えた操作画面の表示装置のコンピュータに、ユーザーによるキーワードを含む入力に基づいて前記キーワードに紐づくジョブの動作条件の設定を検索する検索手段により、前記設定が検索され設定名が抽出された場合、前記設定名に紐付けられている操作画面上の設定値、単位、言語の少なくとも何れかの表示内容を特定し、特定した表示内容と前記キーワードとが異なるかどうかを判断する判断ステップと、前記判断ステップにより、特定した表示内容とキーワードとが異なると判断された場合、操作画面上の設定値、単位、言語の少なくとも何れかの表示を、キーワードに対応する表示に変更する表示制御ステップと、を実行させるためのプログラム。

前項（１）に記載の発明によれば、ユーザーによるキーワードを含む入力に基づいてキーワードに紐づくジョブの動作条件の設定を検索する検索手段により、前記設定が検索され設定名が抽出された場合、設定名に紐付けられている操作画面上の設定値、単位、言語の少なくとも何れかの表示内容を特定し、特定した表示内容とキーワードとが異なるかどうかが判断される。そして、異なると判断された場合、操作画面上の設定値、単位、言語の少なくとも何れかの表示が、キーワードに対応する表示に変更されるから、ユーザーは変更後の操作画面を見て、自身が入力したキーワードに基づいて設定が正しく行われているかどうかを容易に把握することができる。

前項（２）に記載の発明によれば、操作画面上の設定値、単位、言語の少なくとも何れかの表示のみならず、同じ設定値を利用している箇所の表示、同じ単位を利用している箇所の表示、操作画面全体の言語設定、の少なくとも何れかが変更されるから、ユーザーは設定が正しいかどうかの把握だけでなく、操作画面上で更に設定を行う場合等に設定がしやすくなる。

前項（３）に記載の発明によれば、自装置または外部装置に備えられている検索手段により、キーワードに紐づく設定が検索される。

前項（４）に記載の発明によれば、ユーザーによる音声入力またはテキスト入力から抽出されたキーワードを基に、操作画面上の表示をキーワードに対応する表示に変更することができる。

前項（５）に記載の発明によれば、テキスト入力装置に表示されたヘルプ画面における検索ワードの入力欄に入力されたテキストに基づいて、キーワードが抽出される。

前項（６）に記載の発明によれば、自装置または外部装置に備えられた抽出手段により、キーワードの抽出を行うことができる。

前項（７）に記載の発明によれば、画像処理装置によるジョブの動作条件を設定するための操作画面上の設定値、単位、言語の少なくとも何れかの表示が変更されたときは、変更内容が画像処理装置に通知されるから、この通知を受けた画像処理装置は、自身の表示手段に表示された操作画面上の表示をキーワードに対応する表示に変更することができる。これにより、ユーザーは画像処理装置の表示手段に表示される操作画面上でも、自身が入力したキーワードに基づいて設定が正しく行われているかどうかを容易に把握することができる。

前項（８）に記載の発明によれば、変更後のキーワードに対応する表示が表示エリアに入りきらないときは、表示エリアのレイアウトが変更されるから、変更後のキーワードに紐付く表示の全体を途切れることなく表示することができる。

前項（９）に記載の発明によれば、変更後のキーワードに対応する表示とともに変更前の表示も併存されるから、ユーザーは変更前の表示も認識することができる。

前項（１０）に記載の発明によれば、表示変更後の設定画面を見たユーザーは、自身が入力したキーワードに基づく設定が正しく行われているかどうかを容易に把握することができる画像処理装置となる。

前項（１１）に記載の発明によれば、表示手段を備えた操作画面の表示装置のコンピュータに、ユーザーによるキーワードを含む入力に基づいて前記キーワードに紐づくジョブの動作条件の設定を検索する検索手段により、前記設定が検索され設定名が抽出された場合、前記設定名に紐付けられている操作画面上の設定値、単位、言語の少なくとも何れかの表示内容を特定し、特定した表示内容とキーワードとが異なるかどうかを判断する判断ステップと、判断ステップにより、特定した表示内容とキーワードとが異なると判断された場合、操作画面上の設定値、単位、言語の少なくとも何れかの表示を、キーワードに対応する表示に変更する表示制御ステップと、実行させることができる。

この発明の一実施形態に係る操作画面の表示装置を備えた画像処理装置が用いられた画像処理システムの構成を示す図である。 画像処理装置及びサーバーの構成を示すブロック図である。 画像処理装置の記憶装置に記憶されている設定と表示内容の対応関係の一例を示す図である。 画像処理装置の記憶装置に記憶されている設定単位と表示内容の対応関係の一例を示す図である。 この発明の一実施形態を説明するための図で、操作画面の表示変更前後の状態を示す図である。 この発明の他の実施形態を説明するための図で、操作画面の表示変更前後の状態を示す図である。 この発明のさらに他の実施形態を説明するための図で、操作画面の表示変更前後の状態を示す図である。 ユーザーによるキーワードの入力方法の説明図である。 テキスト入力方法の一例を説明するための図である。 この発明の他の実施形態に係る操作画面の表示装置を備えた端末装置が用いられた画像処理システムの構成を示す図である。 図１０の画像処理システムの端末装置に表示される操作画面の表示変更前後の状態を示す図である。 図１０の画像処理システムの端末装置に表示される操作画面の表示の変更を画像処理装置に反映させる場合の説明図である。 この発明のさらに他の実施形態を説明するための図で、操作画面の表示変更前後の状態を示す図である。 この発明のさらに他の実施形態を説明するための図で、操作画面の表示変更前後の状態を示す図である。 画像処理装置の動作を説明するためのフローチャートである。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る操作画面の表示装置を備えた画像処理装置が用いられた画像処理システムの構成を示す図である。この画像処理システムは、画像処理装置としての画像形成装置１の他に、例えばクラウドと称されるサーバー２と、マイク等からなる音声入力デバイス３を備えており、これらの画像形成装置１とサーバー２と音声入力デバイス３がネットワークを介して相互に接続されている。

図１に示した画像処理システムでは、ユーザーが音声入力デバイス３に、ジョブの動作条件の設定に関連するキーワードを含む音声を入力すると、その入力データがサーバー２に送信される（図１の丸数字１）。サーバー２は、受信した音声データを音声解析部２１により解析し、音声に含まれるキーワードを抽出する（図１の丸数字２）。また、サーバー２は、複数のキーワードのそれぞれと画像形成装置１のジョブの動作条件の設定とを紐付けて記憶しており、抽出されたキーワードに紐付く設定を検索して抽出する（図１の丸数字２）。

サーバー２は抽出したキーワードと設定とを画像形成装置１に送信する（図１の丸数字３）。画像形成装置１は、設定受付部１１でこれらのキーワード及び設定を受け付けた後、受け付けた設定に基づいて設定処理部１２で設定を行う。また、操作画面上の設定に関連する表示を、テキスト変換部１３によりキーワードに対応するテキストに変換して表示する。なお、これらの処理の詳細な説明は後述する。

図２は、画像形成装置１及びサーバー２の構成を示すブロック図である。この実施形態では、画像形成装置１として、コピー機能、プリンタ機能、ファクシミリ機能、スキャン機能等を備えた多機能デジタル複合機である前述したＭＦＰが用いられている。以下、画像形成装置をＭＦＰともいう。

図２に示すように、ＭＦＰ１は、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３、画像読取装置１０４、記憶装置１０５、表示部１０６、操作部１０７、電源管理部１０８、表示変換部１０９、認証装置１１０、画像出力装置１１１及びネットワークインターフェイス（ネットワークＩ/Ｆ）１１２等を備え、互いにシステムバスを介して接続されている。

ＣＰＵ１０１は、ＲＯＭ１０３等に格納されている動作プログラムを実行することにより、ＭＦＰ１の全体を統括的に制御する。例えばコピー機能、プリンタ機能、スキャン機能、ファクシミリ機能等を実行可能に制御する。更にこの実施形態では、サーバー２からキーワードと設定についての情報を受信し、設定を行うと共に、表示部１０６に表示されている設定画面上の設定に関連する表示をキーワードに対応する表示に変換する等の処理を行うが、詳細は後述する。

ＲＡＭ１０２は、ＣＰＵ１０１がプログラムを実行する際の作業領域となるものであり、プログラムやプログラムを実行する際のデータ等を一時的に保存する。

ＲＯＭ１０３は、ＣＰＵ１０１が実行する動作プログラムやその他のデータを格納する。

画像読取装置１０４はスキャナ等を備え、プラテンガラス上にセットされた原稿を走査することによって読み取り、読み取った原稿を画像データに変換する。

記憶装置１０５は、ハードディスク装置等からなり、プログラムや各種データ等を保存する。特にこの実施形態では、表示部１０６に表示される各種の操作画面に表示される操作ボタン等の画面構成要素の組み合わせや配置位置の他に、操作ボタン上あるいは操作ボタンの周辺その他の位置に表示される設定名、設定値、単位等の表示位置や表示内容等についての情報を、日本語、英語などの複数の言語毎に保持している。

図３に、記憶装置１０５に記憶されている設定と表示内容の対応関係の一例を示す。図３の設定－テキストテーブルに示されるように、「倍率設定」という設定名については日本語で「倍率」の文字（テキスト）が、英語で「zoom」の文字（テキスト）がそれぞれ紐付けられている。従って、ＭＦＰ１の表示言語が日本語に設定されている状態では、「倍率設定」の設定名に対して「倍率」が操作画面上に表示され、表示言語が英語に設定されている状態では「zoom」が操作画面上に表示されるようになっている。同様に、「ステープル」という設定名については日本語で「ステープル」、英語で「Staple」の各文字が、「コーナー」という設定名については日本語で「コーナー」、英語で「Corner」の各文字が、「２点」という設定名については日本語で「２点」、英語で「2 Position」の各文字が、それぞれ紐付けられている。

図４に、記憶装置１０５に記憶されている設定単位と表示内容の対応関係の一例を示す。図４の設定単位－単位テーブルに示すように、「長さ」の単位については「mm」が、「倍率」の単位については「％」が、それぞれ紐付けて記憶されており、使用言語に拘わらず、「長さ」については「mm」が、「倍率」については「％」が操作画面上でそれぞれ表示されるようになっている。

図３に戻って、表示部１０６は例えば液晶表示装置からなりメッセージや各種の操作画面等を表示するものであり、画面上に図示しないタッチパネルが積層され、ユーザーのタッチ操作を検出するようになっている。

操作部１０７は、ユーザーがＭＦＰ１へジョブ等の指示や各種設定を行う際に用いられるものであり、図示しないリセットキー、スタートキー、ストップキー等を備えている。また、表示部１０６はタッチパネルと共に操作部１０７の一部を構成している。

電源管理部１０８はＭＦＰ１の電源管理を行う。電源管理の一例としては、ＭＦＰ１の操作が所定期間なされない場合にスリープモードに移行する等を挙げることができる。

表示変換部１０９は、サーバー２からキーワードや設定についての情報を受信したときに、表示部１０６に表示される操作画面上の設定に関連する表示を、キーワードに対応する表示に変換するものである。この表示変換部１０９はＣＰＵ１０１の機能の一部として構成されても良い。

認証装置１１０はログインするユーザーの認証用情報を取得し、この認証用情報を予め記憶装置１０５等に保存されている照合用の情報と比較照合して認証を行うものである。なお、ユーザーの認証用情報と照合用の情報との比較照合は、外部の認証サーバーにより行い、認証装置１１０が認証サーバーから認証結果を受信することにより認証が行われても良い。

画像出力装置１１１は、画像読取装置１０４で読み取られた原稿の画像データや、外部装置から送信されたプリントデータから生成された複写画像を用紙上に印字し印刷物として出力するものである。

ネットワークインターフェース１１２は、サーバー２等の外部装置との間でネットワーク４を介してデータの送受信を行う通信手段として機能する。

サーバー２は例えばパーソナルコンピュータによって構成され、図２に示すように、ＣＰＵ２０１、ＲＡＭ２０２、記憶装置２０３、音声テキスト変換部２０４、テキスト解析部２０５及びネットワークインターフェース２０６等を備えている。

ＣＰＵ２０１はサーバー２の全体を統括的に制御するものである。特にこの実施形態では、音声入力デバイス３から入力されたユーザーの音声データを解析して、音声データに含まれるキーワードを抽出したり、キーワードに紐付く設定を抽出する等の処理を行う。

ＲＡＭ２０２は、ＣＰＵが動作する際の作業領域となるメモリである。

記憶装置２０３はハードディスク装置等からなり、プログラムその他のデータが記憶されている。特にこの実施形態では、多数のキーワードと、各キーワードに関連しＭＦＰ１で実行されるジョブの動作条件の設定とが紐付けて記憶されている。例えば、「ズーム」「拡大」「縮小」というキーワードと「倍率設定」という設定とが紐付けて記憶されており、「Ａ４」「Ａ３」「Ｂ４」というキーワードと「用紙設定」という設定とが紐付けて記憶されている。また、日本語以外の言語によるキーワードと設定も紐付けて記憶されている。例えば英語によるキーワード「zoom」と「倍率設定」という設定とが紐付けられている。

なお、操作画面の表示がＭＦＰ１の機種毎に異なる場合は、記憶装置２０５には機種毎にキーワードと設定とが紐付けて記憶されても良い。

音声テキスト変換部２０４は、音声入力デバイス３から入力されたユーザーの音声データをテキストデータに変換するものであり、テキスト解析部２０５は変換されたテキストデータからキーワードを抽出すると共に、抽出したキーワードに紐付く設定を記憶装置２０５から検索し抽出する。これらの音声テキスト変換部２０４及びテキスト解析部２０５により、図１の音声解析部２１が構成される。また、音声テキスト変換部２０４及びテキスト解析部２０５は、ＣＰＵ２０１の機能の一部として構成される。

また、音声テキスト変換部２０４及びテキスト解析部２０５は言語解析機能も有しており、日本語以外の他の言語で入力された音声データから言語を特定し、その言語のテキストデータに変換してキーワードを抽出し、それに紐付けされた設定を抽出できるようになっている。例えば「1.5 times zoom」と音声入力された場合、「1.5」「times」「zoom」という英語のキーワードと、「zoom」に紐付く設定である「倍率設定」が抽出されるようになっている。

ネットワークＩ/Ｆ２０６は、ＭＦＰ１や音声入力デバイス３等の外部装置との間でネットワーク４を介してデータの送受信を行う通信手段として機能する。

次に、図１に示した画像処理システムの動作を説明する。
［第１の実施形態］
ユーザーが音声入力デバイス３に例えば「ズーム１．２倍」という音声入力を行ったものとする。入力された音声データは、サーバー２に送信されて音声テキスト変換部２０４でテキストデータに変換される。サーバー２のテキスト解析部２０５はテキストデータから「ズーム」「１．２」「倍」というキーワードを抽出するとともに、これらのキーワードに紐付く設定が記憶装置２０５に記憶されているかどうかを検索し、設定名「倍率設定」を抽出する。そしてサーバー２は、抽出したキーワード「ズーム」「１．２」「倍」と抽出された設定名「倍率設定」を示す情報をＭＦＰ１に送信する。

これらの情報を受信したＭＦＰ１は、設定名「倍率設定」に紐付けられている操作画面上の表示内容を調べ、表示内容が「倍率」であり、単位の表示が「％」であることを特定したのち、操作画面上の現在の表示内容とキーワードである「ズーム」及び「倍」が異なるかどうかを判断する。この例では異なるから、倍率設定における「倍率」を「ズーム」に変換し、「％」を「倍」に変換し、「１００」を「１．２」に変換した後、表示部１０６に表示されている操作画面上の表示を変更する。

表示の変更前後の操作画面を、変更される操作ボタンを拡大した状態で図５に示す。図５（Ａ）に示すように、倍率設定ボタン５１について音声入力前は「倍率」「１００％」が表示されているが、同図（Ｂ）に示すように、変更後の倍率設定ボタン５１についての表示は「ズーム」「１．２倍」となっており、ユーザーが音声入力したキーワードに対応する表示となっている。従って、変更後の操作画面を見て、ユーザは自身が入力したキーワードに基づいて設定が正しく行われているかどうかを容易に把握することができる。

設定内容を確認したユーザーが、音声入力デバイス３から「実行ＯＫ」を示す音声を入力し、あるいはＭＦＰ１のスタートボタン等を押すことにより、設定が反映され、ジョブが実行される。
［第２の実施形態］
この実施形態は、ＭＦＰ１で現在設定されている表示言語と異なる言語で音声入力が行われた場合に、操作画面上の関連する表示が変更される例を示すものである。

具体的には、例えばユーザーが英語で「1.5 times zoom」と音声入力デバイス３に音声入力した場合に、入力された音声データは、サーバー２に送信されて音声テキスト変換部２０４でテキストデータに変換される。サーバー２のテキスト解析部２０５はテキストデータから「zoom」「1.5」「times」というアルファベットの文字を含む英語のキーワードを抽出するとともに、これらのキーワードに紐付く設定が記憶装置２０５に記憶されているかどうかを調べ、設定名「倍率設定」を抽出する。そしてサーバー２は、抽出したキーワード「zoom」「1.5」「times」と抽出された設定名「倍率設定」を示す情報をＭＦＰ１に送信する。

これらの情報を受信したＭＦＰ１は、設定名「倍率設定」に紐付けられている表示内容を調べ、表示内容が「倍率」であり、単位の表示が「％」であることを特定したのち、現在の操作画面上の倍率設定に関連する表示内容とキーワードである「zoom」「times」が異なるかどうかを判断する。この例では異なるから、倍率設定における「倍率」を「zoom」に変換し、「％」を「times」に変換し、「１００」を「１．５」に変換した後、表示部１０６に表示されている操作画面上の表示を変更する。また、キーワードはアルファベットの文字を含む英語であるから、ＭＦＰ１の表示言語の設定を日本語から英語に変更する。これにより、「zoom」、「times」のみならず、全ての表示が日本語から英語に変更される。英語への設定変更は複数の操作画面の全てについて反映される。

表示の変更前後の操作画面を図６に示す。変更前は図６（Ａ）に示すように、全ての表示は日本語で行われており、倍率設定ボタン５１について「倍率」「１００％」が表示されている。一方、変更後は図６（Ｂ）に示すように、全ての表示は英語で行われており、倍率設定ボタン５１についての表示は、「zoom」「1.5 times」となっており、ユーザーが音声入力したキーワードに対応する表示となっている。従って、変更後の操作画面を見て、ユーザーは自身が入力したキーワードに基づいて設定が正しく行われているかどうかを容易に把握することができる。
［第３の実施形態］
この実施形態では、操作画面上の対応する表示のみならず、同じ設定を利用している箇所及び／または同じ単位を利用している箇所についての表示も、変更するように構成されている。

例えば図７（Ａ）に示すように、操作画面としてシフト量を設定するための操作画面が表示部１０６に表示されている状態で、ユーザーが音声入力デバイス３を介して「３インチ左に画像をシフト」と音声入力を行うと、サーバー２の音声テキスト変換部２０４は音声データをテキストデータに変換し、テキスト解析部２０５はテキストデータから「シフト」「３」「インチ」「左」というキーワードを抽出する。さらに、抽出されたこれらのキーワードに紐付く設定が記憶装置２０５に記憶されているかどうかを調べ、設定名「シフト量」を抽出する。そしてサーバー２は、抽出したキーワード「シフト」「３」「インチ」「左」と抽出された設定名「シフト量」を示す情報をＭＦＰ１に送信する。

これらの情報を受信したＭＦＰ１は、設定名「シフト量」に紐付けられている表示内容を調べ、表示内容が「シフト量」であり、単位の表示が「ｍｍ」であることを特定したのち、操作画面上の現在の表示内容とキーワードが異なるかどうかを判断する。この例では異なるから、「シフト量」を「シフト」に変換し、「ｍｍ」を「インチ」に変換し、数値「２５０．０」を「３」に変換した後、表示部１０６に表示されている操作画面上の表示を変更する。

表示の変更前は図７（Ａ）に示すように、シフト量の入力欄５２について「シフト量」「０．１－２５０．０」「２５０．０ｍｍ」が表示されている。一方、変更後は図６（Ｂ）に示すように、「左へシフト」ボタン５５が選択されるとともに（図６（Ｂ）では選択されたことをハッチングで示している）、シフト量の入力欄５２についての表示は、「シフト」「１／１６－１０」「３インチ」となっており、ユーザーが音声入力したキーワードに対応する表示となっている。なお、数値を「ｍｍ」から「インチ」へ変更するには、０．０３９４倍すれば良い。

さらに、同じ「シフト量」の設定及び／または単位「ｍｍ」を利用している他の表示についても、変更されている。具体的には、上下シフト量の入力欄５３について、図７（Ａ）に示す変更前の状態では、「シフト量」「０．１－２５０．０」「２５０．０ｍｍ」が表示されていたのに対し、図７（Ｂ）に示す変更後では、「シフト」「１／１６－１０」「１０インチ」が表示されている。

さらに、とじしろ量の単位も「ｍｍ」であるので、図７（Ｃ）に示すようにとじしろ設定用の操作画面が表示されたときは、とじしろ量入力欄５４の単位表示も、「ｍｍ」から「インチ」へと変更され、数値も変更される。

変更のタイミングは、キーワードに対応する表示への変更が行われたタイミングであっても良いし、必要な操作画面が表示されるタイミングであっても良い。

このように、操作画面上の対応する表示のみならず、同じ設定を利用している箇所の表示や同じ単位を利用している箇所の表示も変更されるから、ユーザーは設定が正しいかどうかの把握だけでなく、操作画面上で更に設定を行う場合等に設定がしやすくなる。
［第４の実施形態］
この実施形態は、ユーザーは音声入力と同様にテキスト入力も可能に構成されたものである。

即ち、第１～第３の実施形態では図８に示すように、ユーザーが音声入力デバイス３に例えば「Ａ４の印刷用紙に１．３倍に原稿をズームで設定」といった音声入力を行い、サーバー２の音声テキスト変換部２０４が音声データをテキストデータに変換し、テキスト解析部２０５がキーワードをテキストデータとして抽出し、さらにキーワードに紐付く設定を抽出する場合を示した。

しかし、音声入力デバイス３に代えて、ユーザーがテキスト入力デバイス６に「Ａ４の印刷用紙に１．３倍に原稿をズームで設定」というテキストデータを入力し、テキスト入力デバイス６からサーバー２に送信しても良い。この場合、サーバー２は受信したテキストデータをテキスト解析部２０５で解析し、テキストデータからキーワードを抽出し、さらにキーワードに紐付く設定、例えば用紙設定：印刷用紙、用紙サイズ設定：Ａ４、倍率設定：ズーム、倍率：１３０％等の設定を抽出する構成であっても良い。このような構成によりユーザーにとって入力手段の選択肢が増え、使い勝手が良くなる。

なお、テキスト入力デバイス６としては、例えばタブレット端末、スマートフォン、デスクトップ型コンピュータ、ノート型今ピュー等の端末装置を挙げることができる。

また、テキスト入力画面として図９（Ａ）に示すようなヘルプ画面６１を用い、ヘルプ画面６１の検索ワード入力欄６１ａに入力されたテキストデータをサーバー２が解析して、キーワード及び設定を抽出しても良い。図９（Ａ）の例では、ヘルプ画面６１の検索ワード入力欄６１ａに検索ワードとして「印刷紙」が入力され、これに対応して同図（Ｂ）に示すように、ＭＦＰ１の表示部１０６に表示された操作画面上の印刷用紙設定ボタン５５に変更前に表示されている「印刷用紙」が、印刷用紙設定ボタン５５ａに示すように「印刷紙」に変更される。

このようなヘルプ画面６１を利用することで、ユーザーは簡単にテキストデータを入力することができる。
［第５の実施形態］
この実施形態は、操作画面の表示装置をＭＦＰ１ではなく、プリンタドライバその他のアプリケーションにより表示部にＭＦＰ１を操作するための操作画面を表示可能なタブレット端末、スマートフォン、デスクトップ型コンピュータ、ノート型コンピュータ等の端末装置に適用したものである。

図１０に端末装置７を用いた画像処理システムを示す。この画像処理システムは、図１に示した画像処理システムにおけるＭＦＰ１の代わりに端末装置７を置き換えたものであり、図１の画像処理システムと同一の構成要素については同一の符号を付し、詳細な説明は省略する。

端末装置７は、ネットワークを通じてサーバー２及びＭＦＰ１と通信が可能となっている。端末装置７は、図１のＭＦＰ１と同様に、設定受付部７１でサーバー２からキーワード及び設定を受け付けた後、テクスト変換部７２により設定画面の表示をキーワードに対応するテキストに変換して表示する。

ユーザーが例えば「印刷用紙Ａ４で設定」と音声入力デバイス３を介して音声を入力すると、サーバー２は音声データをテキストデータに変換し、テキストデータから「印刷用紙」「Ａ４」というキーワードを抽出し、さらに「印刷用紙」に紐付く「用紙設定」、「Ａ４」に紐付く「用紙サイズ設定」を抽出し、それらの情報を端末装置６に送信する。

端末装置６は、「用紙設定」の表示、「用紙サイズ設定」の表示が、操作画面上の用紙設定等に関連する表示と異なっているかどうかを判断する。

図１１（Ａ）は、端末装置６の表示部６０１に表示されたプリンタドライバ等に基づく表示変更前のＭＦＰ１用の操作画面である。この画面では、用紙設定の表示欄５６には拡大して示すように「用紙サイズ」という表示がなされており、ユーザーの入力キーワード「印刷用紙」とは異なっている。

そこで、端末装置６は図１１（Ｂ）に示すように、「用紙サイズ」の表示をキーワードに対応する「印刷用紙」の表示に変更する。

このように、端末装置６に表示されたＭＦＰ１用の操作画面６０１においても、キーワードに対応する表示に変更されるから、ユーザーは変更後の操作画面を見て、自身が入力したキーワードに基づいて設定が正しく行われているかどうかを容易に把握することができる。

また、端末装置６における操作画面上の表示の変更を、ＭＦＰ１の表示部１０６に表示される操作画面に反映させても良い。反映の仕方としては、端末装置６のプリンタドライバー等が、ジョブ実行時等にＭＦＰ１に対して設定とキーワードを対にして送信したり、ＰＪＬに設定文字列の変更内容を記載して送信する方法を挙げることができる。あるいは、プリンタドライバからＭＦＰ１に対してＡＰＩ（Application Programming Interface）を呼び出しても良い。あるいは更に、設定とキーワードをサーバー２上に格納しておき、ＭＦＰ１がサーバーにアクセスして取得する方法であっても良い。

図１２に、端末装置６における操作画面の表示の変更が、ＭＦＰ１の表示部１０６に表示される操作画面に反映された状態を示している。図１２（Ａ）は、端末装置６における変更前の操作画面を、同図（Ｂ）は端末装置６における変更後の操作画面をそれぞれ示しており、これらは図１１（Ａ）（Ｂ）の各画面と同じである。

図１２（Ｃ）はＭＦＰ１における表示の変更前後の操作画面を示している。この操作画面では、用紙設定ボタン５７の元の表示である「用紙」が、ユーザーが音声入力したキーワードに対応する「印刷用紙」に変更されている。
［第６の実施形態］
この実施形態では、変更後のキーワードに対応する表示が操作画面の表示エリアに入りきらないときは、表示エリアのレイアウトを変更するように構成されている。

即ち、キーワードに対応する変更後のテキスト文字数やテキストサイズが変更前と相違するため、改行しても操作ボタン等における表示エリアに入り切らない場合がある。

この場合、操作ボタンを大きくしても隣の操作ボタンと重ならない場合は、操作ボタンを大きくして表示エリアのレイアウトを変更する。あるいは、隣の操作ボタンと重なっても、隣の操作ボタンを移動できる場合は移動させて、操作ボタンを大きくする。隣の操作ボタンを移動させることができない場合は、文字サイズを小さくして表示する。

図１３に表示エリアのレイアウトを変更した例を示す。図１２（Ａ）に示すように、ＭＦＰ１の表示部１０６に表示される操作画面において、「文字／写真選択」ボタン５８の表示が「文字／写真 印刷写真」である場合に、ユーザーが「テキストとフォトグラフ混合画質で設定」と音声入力する。すると、同図（Ｂ）に示すように、「文字／写真選択」ボタン５８の表示はユーザーの音声入力によるキーワードに対応して、「テキストとフォト混合 フォト画質」という表示に変更される。

しかし、変更前の表示文字数に較べて変更後の文字数が多いため、改行しても表示しきれない。

そこで、図１３（Ｂ）に示すように、表示エリアが大きくなるように「文字／写真選択」ボタン５８の左右方向のサイズを大きくしてレイアウトを変更した上で、「テキストとフォト混合 フォト画質」を表示する。図１３（Ｂ）に符号Ｇで示すボタン群は、フリック操作により左右方向にスクロール可能なボタン群であるため、「文字／写真選択」ボタン５８の隣に続く各ボタンを移動させて、「文字／写真選択」ボタン５８の左右方向のサイズを大きくしている。なお、画面から押し出された端部のボタンは上述のようにフリック操作で移動させて見ることができる。

このように、変更後のキーワードに対応する表示が表示エリアに入りきらないときは、表示エリアのレイアウトが変更されるから、変更後のキーワードに紐付く表示の全体を途切れることなく表示することができる。
［第７の実施形態］
この実施形態では、変更後のキーワードに対応する表示とともに変更前の表示も併存する構成となっている。

例えば、図５で説明した第１の実施形態では、ユーザーが「ズーム１．２倍」という音声入力を行った場合、操作画面の倍率設定ボタン５１の表示が「ズーム」「１．２倍」に変更された。

この実施形態では、図１４（Ｂ）に示すように、操作画面の倍率設定ボタン５１の表示が「ズーム」「１．２倍」に変更されるのに加えて、同図（Ａ）に示す変更前の倍率設定ボタン５１の表示である「倍率」「１２０％」も並記される。

このように、変更後のキーワードに対応する表示とともに変更前の表示も併存されるから、ユーザーは変更前の表示も認識することができる。
［フローチャート］
図１５は、サーバー２からキーワード及びこれに紐付く設定等の情報を受信したＭＦＰ１の動作を示すフローチャートである。この動作は、ＭＦＰ１のＣＰＵ１０１がＲＯＭ１０３等に格納されている動作プログラムに従って動作することにより実行される。

ステップＳ０１で、受信した情報の中にキーワードに紐付く設定が含まれているかどうかを判断する。含まれていなければ（ステップＳ０１でＮＯ）、表示変更はできないので処理を終了する。含まれていれば（ステップＳ０１でＹＥＳ）、ステップＳ０２で、キーワードの言語は現在設定されている言語かどうかを判断する。現在設定されている言語でなければ（ステップＳ０２でＮＯ）、ステップＳ０３で言語設定を変更した後、ステップＳ０４に進む。言語設定の変更により操作画面の表示言語が変更される。現在設定されている言語であれば（ステップＳ０２でＹＥＳ）、そのままステップＳ０４に進む。

ステップＳ０４では、キーワードは設定と紐付けられているテキストと同一かどうかを判断し、同一であれば（ステップＳ０４でＹＥＳ）、表示変更の必要はないので処理を終了する。同一でなければ（ステップＳ０４でＮＯ）、ステップＳ０５で、キーワードは現在の表示エリアのレイアウトで収まるかどうかを判断する。収まらなければ（ステップＳ０５でＮＯ）、ステップＳ０６でレイアウトを変更した後、ステップＳ０７に進む。現在のレイアウトで収まる場合は（ステップＳ０５でＹＥＳ）、そのままステップＳ０７に進む。

ステップＳ０７では設定名をキーワードに変更し、次いでステップＳ０８で、設定値のキーワードは表示されている単位と異なるかどうかを判断する。異ならなければ（ステップＳ０８でＮＯ）、表示を変更する必要はないので処理を終了する。異なる場合（ステップＳ０８でＹＥＳ）、ステップＳ０９で、単位設定をキーワードで入力された単位に変更する。具体的には単位の表示及び数値の表示を変更する。

以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されることはない。例えば、音声入力やテキスト入力を受領したサーバー２が、テキストデータへの変換、キーワードの抽出、キーワードと紐付けられた設定の検索・抽出を行い、抽出されたキーワードや設定を操作画面の表示装置であるＭＦＰ１や端末装置７に送信する場合について説明した。しかし、テキストデータへの変換、キーワードの抽出、キーワードと紐付けられた設定の検索・抽出の少なくとも何れかはＭＦＰ１や端末装置７で行われても良い。

また、音声入力デバイス３やテキスト入力デバイス６は、ＭＦＰ１や端末装置７に備えられていても良い。この場合は、ＭＦＰ１や端末装置６によって音声入力やテキスト入力が受け付けられる。

１ 画像形成装置（画像処理装置、操作画面の表示装置）
２ サーバー
３ 音声入力デバイス
４ ネットワーク
６ テキスト入力デバイス
７ 端末装置
１１、７１ 設定受付部
１２ 設定処理部
１３、７２ テキスト変換部
２１ 音声解析部
１０１ ＣＰＵ
１０３ ＲＯＭ
１０５ 記憶装置
１０６ 表示部
１０７ 操作部
１０９ 表示変換部
１１０ 認証装置
１１２ ネットワークインターフェース
２０１ ＣＰＵ
２０３ 記憶装置
２０４ 音声テキスト変換部
２０５ テキスト解析部

Claims (11)

1. 表示手段と、
   ユーザーによるキーワードを含む入力に基づいて前記キーワードに紐づくジョブの動作条件の設定を検索する検索手段により、前記設定が検索され設定名が抽出された場合、前記設定名に紐付けられている操作画面上の設定値、単位、言語の少なくとも何れかの表示内容を特定し、特定した表示内容と前記キーワードとが異なるかどうかを判断する判断手段と、
   前記判断手段により、特定した表示内容とキーワードとが異なると判断された場合、操作画面上の設定値、単位、言語の少なくとも何れかの表示を、キーワードに対応する表示に変更する表示制御手段と、
   を備えたことを特徴とする操作画面の表示装置。
2. 前記表示制御手段は、操作画面上の設定値、単位、言語の少なくとも何れかの表示のみならず、同じ設定値を利用している箇所の表示、同じ単位を利用している箇所の表示、操作画面全体の言語設定、の少なくとも何れかを変更する請求項１に記載の操作画面の表示装置。
3. 前記検索手段は、自装置または外部装置に備えられている請求項１または２に記載の操作画面の表示装置。
4. 前記キーワードを含む入力は音声入力またはテキスト入力であり、キーワードは前記音声入力またはテキスト入力から抽出される請求項１～３の何れかに記載の操作画面の表示装置。
5. 前記テキスト入力は、テキスト入力装置に表示されたヘルプ画面における検索ワードの入力欄に入力されたものである請求項４に記載の操作画面の表示装置。
6. 前記キーワードの抽出は、自装置または外部装置に備えられた抽出手段により行われる請求項４または５に記載の操作画面の表示装置。
7. 前記操作画面は画像処理装置によるジョブの動作条件を設定するための操作画面であり、
   前記表示制御手段により前記操作画面上の設定値、単位、言語の少なくとも何れかの表示がキーワードに対応する表示に変更されたときは、変更内容を前記画像処理装置に通知する通知手段を備えている請求項１～６の何れかに記載の操作画面の表示装置。
8. 前記表示制御手段は、変更後のキーワードに対応する表示が表示エリアに入りきらないときは、表示エリアのレイアウトを変更する請求項１～７の何れかに記載の操作画面の表示装置。
9. 前記表示制御手段は、変更後のキーワードに対応する表示とともに変更前の表示も併存させる請求項１～８の何れかに記載の操作画面の表示装置。
10. 請求項１～９の何れかに記載の操作画面の表示装置を備えた画像処理装置。
11. 表示手段を備えた操作画面の表示装置のコンピュータに、
    ユーザーによるキーワードを含む入力に基づいて前記キーワードに紐づくジョブの動作条件の設定を検索する検索手段により、前記設定が検索され設定名が抽出された場合、前記設定名に紐付けられている操作画面上の設定値、単位、言語の少なくとも何れかの表示内容を特定し、特定した表示内容と前記キーワードとが異なるかどうかを判断する判断ステップと、
    前記判断ステップにより、特定した表示内容とキーワードとが異なると判断された場合、操作画面上の設定値、単位、言語の少なくとも何れかの表示を、キーワードに対応する表示に変更する表示制御ステップと、
    を実行させるためのプログラム。

Images