JP6647150B2 - 情報表示装置 - Google Patents

Description

本発明は、情報表示装置に関する。

特許文献１は、画面に表示された画像（表示情報）を見ているユーザが眼を見開いているかそれとも目を細めているかといった眼の開き具合に応じて、表示情報を拡大表示または縮小表示する装置を開示する。

特開２０１３−２２８４９０号公報

ユーザが、通常の状態よりも眼を見開いているかそれとも目を細めているかあるいは通常の状態であるかといった眼の開き具合（「瞼開度」等と呼ばれることもあり、以下そのように言う場合もある。）を変えると、ユーザの眼に入射する光量が減少するので、表示情報が暗く見えてしまうという問題がある。このような問題について、特許文献１では何ら検討がなされていない。また、ユーザが瞼開度を変えたからといって、ユーザが表示情報を拡大表示または縮小表示することを要望しているとは限らない。したがって、瞼開度に応じた適切な表示を行うという点で、改善の余地がある。

本発明は、上記課題に鑑みてなされたものであり、瞼開度に応じた適切な表示を行うことが可能な情報表示装置を提供することを目的とする。

本発明の一態様に係る情報表示装置は、表示情報を表示するとともに当該表示情報の表示態様を変更する表示手段と、表示手段によって表示される表示情報を見ているユーザの瞼開度を検出する検出手段と、を備え、表示手段は、検出手段によって検出された瞼開度に応じて、表示情報の輝度およびコントラスト比の少なくとも一方を変更することによって、表示態様を変更する。

上記の情報表示装置では、表示情報を見ているユーザの瞼開度が検出され、検出された瞼開度に応じて、表示情報の輝度およびコントラスト比の少なくとも一方が変更される。たとえば、瞼開度が小さいほど、ユーザの眼に入射する光量が減少するので、表示情報の輝度およびコントラスト比の少なくとも一方を大きくすることで、瞼開度が小さくなったときに表示情報が暗く見えてしまうことを防ぐように表示情報の表示態様を変更することができる。したがって、瞼開度に応じた適切な表示を行うことができる。

表示情報は、複数の画像を重ね合わせた重畳画像であって、複数の画像のうちの一部の画像が、ユーザが見たときに当該一部の画像を通して他の画像を視認できるような透過率を有する画像である当該重畳画像であり、表示手段は、さらに、検出手段によって検出された瞼開度に応じて、重畳画像における一部の画像の透過率を変更することによって、表示態様を変更してもよい。この場合、一部の画像の透過率が低くなるほど一部の画像が他の画像よりも見やすくなり、逆に、一部の画像の透過率が高くなるほど他の画像が一部の画像よりも見やすくなる。したがって、瞼開度に応じて透過率を変えることで、重畳画像に含まれるそれぞれの画像が見やすくなるように表示情報の表示態様を変更することもできる。

重畳画像は、原文および翻訳文を重ね合わせた重畳画像であってよい。これにより、瞼開度に応じて、原文および翻訳文のそれぞれが見やすくなるように表示情報の態様を変更することができる。

重畳画像は、周辺画像および当該周辺画像に関する関連画像を重ね合わせた重畳画像であってよい。たとえば、関連画像は、周辺画像中に示される現実に存在する物に関する、拡張現実（ＡＲ）空間での情報を表示する画像とすることができる。その場合、瞼開度に応じて、周辺画像（つまり現実に存在する物）の表示および関連画像（拡張現実空間での情報）の一方を表示することによって、表示情報の表示態様を変更することもできる。

表示情報は、ユーザが仮想空間を見たときにユーザの前方に映る前方画像であり、表示手段は、さらに、検出手段によって検出された瞼開度に応じて、前方画像における被写界範囲を変更することによって、表示態様を変更してもよい。３次元空間である仮想空間には、異なる位置にさまざまな対象物が存在している。ここで、ユーザが仮想空間を見たときにユーザの前方に映る前方画像として、被写界範囲内に位置する対象物がはっきりと見え、それ以外の対象物はぼやけて見えるような前方画像を表示することで、仮想空間がよりリアルなものとなる。上記構成によれば、そのような仮想空間の前方画像を表示する場合に、瞼開度に応じて被写界範囲、つまり前後方向において対象物がはっきりと見える範囲（被写界深度）およびその中心の位置（焦点位置）を変更することによって、表示情報の表示態様を変更することもできる。

本発明によれば、瞼開度に応じた適切な表示を行うことが可能になる。

実施形態に係る装置の概略構成を示す図である。 装置のハードウェア構成を示す図である。 表示態様の変更の例を示す図である。 表示態様の変更の例を示す図である。 表示態様の変更の例を示す図である。 表示態様の変更の例を示す図である。 表示態様の変更の例を示す図である。 装置において実行される処置の一例を示すフローチャートである。 装置において実行される処置の一例を示すフローチャートである。 装置において実行される処置の一例を示すフローチャートである。 変形例に係る装置の概略構成を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

図１は、実施形態に係る情報表示装置（以下、単に「装置」という場合もある）の概略構成を示す図である。装置１０は、テレビ、モニタ、ＰＣ、スマートフォンおよびウェアラブル機器（スマートグラスおよびＶＲ（Virtual Reality）ゴーグルなど）のようなさまざまな電子機器として実現され得る。装置１０は、そのようなさまざまな電子機器で扱われる表示情報をユーザに提供する。装置１０は、後述の原理により、表示情報の表示態様を、ユーザが手および指などを用いて機器を操作することなく切り替えることを可能とする。

表示情報の例について説明する。表示情報は、たとえば複数の画像を重ね合わせた重畳画像であってよい。重畳画像の例としては、翻訳に関する画像がある。翻訳に関する画像は、原文および翻訳文を重ね合わせて構成される重畳画像であり、たとえば、ＷＥＢ画面に表示されている文を原文とし、当該原文およびその翻訳文を重ね合わせて構成される。翻訳に関する画像以外にも、重畳画像として、たとえば、建物のフロアガイドの画像であって対象フロアの異なる複数の画像（１階〜３階等のそれぞれのフロアガイドの画像）を重ね合わせて構成される重畳画像、レストランのメニューの画像であって説明文が異なる複数の画像を重ね合わせて構成される重畳画像などがある。レストランのメニュー画像における異なる説明文の例としては、「ラーメン 390円 あっさりした美味しいラーメンです」、「熱量:579Kcal たんぱく質:22g 脂質:17.0g 炭水化物:82.6g 食塩：7.4g」、「アレルギー 卵 乳 小麦」」などが考えられる。さらにその他にも、マンガの画像であって絵柄、吹き出し文字の異なる複数の画像を重ね合わせて構成される重畳画像などがある。異なる吹き出し文字の例は、人物が述べているセリフ、それについての追加の情報（たとえばその人物の心情）である。重畳画像のさらに別の例としては、拡張現実（ＡＲ）空間に関する画像がある。ＡＲ空間に関する画像は、装置１０の周辺画像および関連画像を重ね合わせて構成される重畳画像である。関連画像は周辺画像に関連する画像であり、関連画像の例としては、周辺画像中の文（原文）を翻訳文に置き代えた画像がある。また、表示情報は、仮想空間に関する画像であってよい。仮想空間に関する画像としては、ユーザが仮想空間を見たときにユーザの前方に映る画像（前方画像）がある。

ここで、装置１０のハードウェア構成の例を図２を参照して説明する。図２に示されるように、装置１０は、物理的には、１または複数のＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（Random Access Memory）１０２およびＲＯＭ（Read Only Memory)１０３、データ送受信デバイスである通信モジュール１０４、半導体メモリなどの補助記憶装置１０５、ユーザ操作の入力を受け付ける入力装置１０６、ディスプレイといった出力装置１０７などを備えるコンピュータとして構成され得る。後述の装置１０の各機能は、たとえば、ＣＰＵ１０１、ＲＡＭ１０２などのハードウェア上に１または複数の所定のコンピュータソフトウェア（プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７などを動作させるとともに、ＲＡＭ１０２および補助記憶装置１０５におけるデータの読み出しおよび書き込みを行うことで実現することができる。

再び図１に戻り、装置１０は、入力部１１と、作成部１２と、検出部１３と、記憶部１４と、出力部１５とを含む。また、装置１０は上述の種々の画像を表示するための画面を備えている。画面への表示情報の表示は、後述の出力部１５によって行われる。

入力部１１は、上述のさまざまな表示情報の基礎となるデータを入力する部分である。表示情報が翻訳に関する画像である場合には、入力部１１は、原文を含む原文情報を入力する。原文情報はたとえば上述のＷＥＢ画面であり、その場合、原文情報は、ＨＴＭＬ等の形式で取得されてもよいし、画像データとして取得されてもよい。表示情報がＡＲ空間に関する画像である場合には、入力部１１は、装置１０の周辺画像を入力する。周辺画像は、たとえばカメラなどの撮像装置を用いて取得することができる。また、表示情報が仮想空間に関する画像である場合には、入力部１１は、仮想空間の情報を入力する。仮想空間の情報とは、たとえば、仮想空間中に存在するさまざまな対象物の位置（座標）、形状、種類などの情報である。なお、表示情報の基礎となるデータは、装置１０内の記憶部（たとえば後述の記憶部１４）に予め収容されていてもよく、その場合には、記憶部からそのデータを直接取得することもできるし、そのデータを取得するためのＡＰＩ（Application Programming Interface）等を用いて取得することもできる。

作成部１２は、入力部１１によって入力されたデータに基づいて、表示情報を作成する部分である。具体的に、以下、表示情報が翻訳に関する画像、ＡＲ空間に関する画像および仮想空間に関する画像のそれぞれの場合について説明する。

［翻訳に関する画像の作成］
表示情報が翻訳に関する画像の場合、作成部１２は、原文および翻訳文を重ね合わせた重畳画像を表示情報として作成する。具体的に、まず、作成部１２は、入力部１１によって入力された原文情報に含まれる文を、原文として取得する。原文情報が画像データの場合には、作成部１２は、たとえば、ＯＣＲ（Optical Character Recognition）機能を用いることによって、画像データに含まれる文字を認識し、認識した文字で構成される文を原文として取得する。なお、画像情報がＨＴＭＬ等の形式で表される場合には、ＨＴＭＬで記述される文を原文として取得してもよい。

また、作成部１２は、取得した原文の翻訳文を取得する。翻訳には、種々の公知の機械翻訳技術が用いられてよい。機械翻訳にはさまざまな翻訳エンジンが用いられてよい。それらの翻訳エンジンは、作成部１２が利用可能であれば、装置１０内に設けられていてもよいし、装置１０の外部（たとえば外部サーバ）に設けられていてもよい。翻訳文の翻訳言語は、予め定められた言語であってもよいし、ユーザ操作によって指定されてもよい。ユーザ操作によって指定される場合には、たとえば入力部１１がそのユーザ操作の入力を受け付ける。翻訳言語は異なる複数の翻訳言語であってもよく、その場合、作成部１２は、原文について、異なる翻訳言語を用いた複数の翻訳文をそれぞれ取得する。

そして、作成部１２は、取得した原文および翻訳文を重ね合わせた重畳画像を作成する。重畳画像においては、原文の位置に翻訳文が位置するように原文および翻訳文が重ね合されることによって、原文のレイアウトが維持される。ここで、単に原文および翻訳文を重ね合わせただけでは、ユーザが画面を見た時に、原文および翻訳文の一方しか視認することができない。たとえば、ユーザから見たときに原文が翻訳文よりも手前に位置（つまり翻訳文が原文の背後に位置）するように重ね合わせると、ユーザは原文は視認できるが翻訳文は視認できない。

そこで、作成部１２は、原文および翻訳文を用いて、重ね合わせの態様の異なる複数の重畳画像を、表示態様の異なる複数の表示情報として作成する。具体的に、作成部１２は、原文および翻訳文のうちの少なくとも一方に透過率を付与し、そのような透過率を有する原文および／または翻訳文を用いた重畳画像を少なくとも一つ作成する。ここでの透過率は、ユーザが後述の出力部１５によって表示されたその重畳画像を見たときに原文および翻訳文の一方を通して他方を視認できるような透過率である。たとえば、透過率を付与する原文および／または翻訳文を、枠等を用いて区切りボックス化したうえでボックスの背景色を定め、その文および背景色の両方に上述の透過率を付与してもよい。ボックスのサイズは、ボックス化されていない文をその内側に含むサイズとすることで、原文のレイアウトを保持することができる。上述のように原文が翻訳文よりも手前に位置するように両者が重ね合されている場合には、原文が上述の透過率を有するようにするとよい。その場合、原文の透過率が小さいほど原文は視認しやすくなるが、翻訳文は視認しにくくなる。逆に、原文の透過率が大きいほど翻訳文は視認しやすくなるが、原文は視認しにくくなる。原文の透過率を最小（ゼロ）に設定して、原文のみが視認できるようにすることもできる。

先に説明したように作成部１２が複数の翻訳言語のそれぞれについて原文の翻訳文を取得してもよい。その場合、作成部１２は、原文および２つ以上の翻訳文（つまり３つ以上の文）の少なくとも一つに透過率を付与し、それらの文を用いて、重ね合わせの態様の異なる複数の重畳画像を、表示態様の異なる複数の表示情報として作成する。

［ＡＲ空間に関する画像の作成］
表示情報がＡＲ空間に関する画像である場合、作成部１２は、周辺画像および関連画像を重ね合わせた重畳画像を表示情報として作成する。具体的に、まず、作成部１２は、入力部１１によって入力された周辺画像から、関連画像を作成する。たとえば関連画像が周辺画像中の文（原文）を翻訳文に置き代えた画像である場合、作成部１２は、周辺画像に含まれる案内表示および広告などに示される文を原文とした翻訳文を作成する。翻訳文の作成手法については上述のとおりである。そして、作成部１２は、周辺画像および関連画像を重ね合わせた重畳画像を作成する。周辺画像および／または関連画像は、上述のような透過率を有する画像である。作成部１２は、異なる透過率を有する周辺画像および／または関連画像を用いて、重ね合わせの態様の異なる複数の重畳画像を、表示態様の異なる複数の表示情報として作成する。なお、翻訳文は、複数の翻訳言語のそれぞれについての複数の翻訳文であってもよく、その場合には、それぞれの翻訳文を用いた関連画像（つまり複数の関連画像）が作成されてもよい。

［仮想空間に関する画像の作成］
表示情報が仮想空間に関する画像である場合、作成部１２は、仮想空間の前方画像を表示情報として作成する。具体的に、作成部１２は、入力部１１によって入力された仮想空間の情報を用いて、ユーザが仮想空間を見たときにユーザの前方に映る画像を前方画像として作成する。ここで、作成部１２は、前方画像が被写界範囲を有するように、前方画像を作成する。被写界範囲は、仮想空間において対象物がはっきりと見える領域を示している。被写界範囲は、たとえば、ユーザから見た前後方向におけるその領域の長さ（被写界深度）、および、その領域の中心点（焦点）の位置を用いて定められる。前方画像が被写界範囲を有することによって、被写界範囲内に位置する対象物がはっきりと見え、それ以外の対象物はぼやけて見えるような前方画像が表示されるので、仮想空間がよりリアルなものとなる。作成部１２は、異なる被写界範囲について複数の前方画像を作成することによって、被写界範囲の異なる複数の前方画像を、表示態様の異なる複数の表示情報として作成する。

検出部１３は、画面に表示されている表示情報を見ているユーザの瞼開度を検出する部分（検出手段）である。瞼開度の検出手法はとくに限定されず、種々の公知の手法が用いられてよい。たとえば、上述のカメラなどの撮像装置によって撮像されたユーザの顔を含む画像から、瞼開度を検出してよい。他の検出手法として、ヒトの眼球に関する情報（たとえば眼電位等）を測定可能なセンサーを用いてその測定結果から瞼開度を検出する手法なども考えられる。

記憶部１４は、装置１０において実行される処理に必要な種々の情報を記憶する部分である。たとえば、記憶部１４は、上述の作成部１２によって作成された表示情報を記憶してよい。また、出力部１５は、後述する瞼開度と透過率とを対応づけたデータテーブルを記憶してよい。

出力部１５は、作成部１２によって作成された表示情報を表示する部分（表示手段）である。ここで、本実施形態では、出力部１５は、検出部１３によって検出された瞼開度に応じて、表示情報の表示態様を変更する。表示態様の変更としては、表示情報の種類（翻訳に関する画像、ＡＲ空間に関する画像および仮想空間に関する画像）に関わらず行うことができる共通の変更（後述の第１の表示態様の変更）と、表示情報の種類に応じて行われる変更（後述の第２〜第４の表示態様の変更）とがある。第１の表示態様の変更、および、第２〜第４の表示態様の変更のいずれかを、組み合わせて行うこともできる。その場合、第１の表示態様と、第２〜第４の表示態様の変更のいずれかとが、同時に実行される。

［第１の表示態様の変更］
表示情報の種類に関わらず行うことができる共通の変更について説明する。この場合、出力部１５は、検出部１３によって検出された瞼開度に応じて、表示情報の輝度およびコントラスト比の少なくとも一方を変更することによって、表示情報の表示態様を変更する。たとえば、瞼開度と、輝度およびコントラスト比とを対応づけたデータテーブルが記憶部１４に記憶されており、当該データテーブルを参照することによって、出力部１５は、瞼開度に応じた輝度および／またはコントラスト比（以下、単に「輝度等」と言う場合もある）を選択する。そして、出力部１５は、表示情報が表示される画面の輝度等を、選択した輝度等と同じか最も近い輝度等に設定する。輝度およびコントラスト比の設定は、たとえば画面を構成するディスプレイの光量を少なくとも部分的に変更することによって行うことができる。瞼開度と輝度およびコントラスト比との対応づけにおいては、瞼開度が小さくなるにつれて輝度等が大きくなるように定められてよい。瞼開度の変化に対して輝度等がリニアに変化するように定められていてもよい。

上述の表示情報の表示態様の変更の例について、図３を参照して説明する。ここでは、装置１０のユーザがユーザＵとして、表示情報が表示される装置１０の画面が画面Ｄとして図示される。装置１０はＶＲゴーグルであり、表示情報は仮想空間の前方画像である。この例では、ユーザＵが眼を細める（瞼開度が小さくなる）につれて、画面Ｄに表示されている表示情報の輝度が大きくなる。具体的に、図３の（ａ）に示されるようにユーザＵが眼を見開いている（瞼開度が大きい）ときよりも、図３の（ｂ）に示されるようにユーザＵが眼を細めている（瞼開度が小さい）ときの方が、画面Ｄに表示されている表示情報の輝度が大きい。なお、輝度とともにコントラスト比が大きくなってもよいし、輝度に代えてコントラスト比が大きくなってもよい。このように瞼開度に応じて表示情報の輝度および／またはコントラスト比を変える（自動調整する）ことによって、瞼開度が小さくなるほどユーザの眼に入射する光量が減少して表示情報が暗く見えてしまうことを防ぐことができる。

［第２の表示態様の変更］
表示情報が翻訳に関する画像である場合の表示態様の変更について説明する。先に説明したように、翻訳に関する画像は、原文および翻訳文を重ね合わせた重畳画像である。出力部１５は、検出部１３によって検出された瞼開度に応じて、重畳画像における一部の画像の透過率を変更することによって、重畳画像の重ね合わせの態様を変更する。具体的に、出力部１５は、瞼開度に応じて、作成部１２によって作成された異なる透過率を有する原文および／または翻訳文を用いた複数の重畳画像のうちのいずれかの重畳画像を表示する。たとえば、瞼開度と透過率とを対応づけたデータテーブルが記憶部１４に記憶されており、当該データテーブルを参照することによって、出力部１５は、瞼開度に応じた透過率を選択する。そして、出力部１５は、作成部１２によって作成された複数の重畳画像のうちの、選択した透過率と同じか最も近い透過率を有する原文および／または翻訳文を用いた重畳画像を表示する。瞼開度と透過率との対応付けにおいては、たとえば、瞼開度が小さくなるにつれて透過率が大きくなるように定められていてもよいし、瞼開度が小さくなるにつれて透過率が小さくなるように定められていてもよい。瞼開度の変化に対して透過率がリニアに変化するように定められていてもよい。

上述の表示態様の変更の例について、図４を参照して説明する。ここでは、装置１０はスマートフォンであり、表示情報は、原文および翻訳文を重ね合わせた重畳画像である。原文は日本語（以下、「日本語文」という場合もある）であり、翻訳文は、英語での翻訳文（以下、「英語文」と言う場合もある）であるものとする。この例では日本語文は「先週末はお越しいただいて本当に楽しかったです。また近いうちにお訪ねください。」であり、英語文は「We truly enjoyed your company last weekend, and hope you can visit again soon」である。日本語文および英語文は、日本語文が手前に位置するように重ね合されており、日本語文の透過率が変化するようになっている。他の文（ここでは英語文）よりも手前に位置する文（ここでは日本語文）には透過率が同様に変化するボックスも与えられているものとする。この例では、ユーザＵが眼を細める（瞼開度が小さくなる）につれて、日本語文の透過率が大きくなる。具体的に、図４の（ａ）に示されるように、ユーザＵが眼を見開いており瞼開度が大きいときには、日本語文の透過率が小さいので、英語文の手前に位置している日本語文がはっきりと視認できる一方で、日本語文の背後に位置している英語文がほとんど視認できない。

これに対し、図４の（ｂ）に示されるように、ユーザＵが眼を細めて瞼開度が小さくなるにつれて、日本語文の透過率が大きくなるので、英語文の手前に位置している日本語文だけでなく、日本語文の背後に位置している英語文も視認できるようになる。なお、日本語文の透過率がさらに大きくなれば、日本語文はほとんど視認できなくなるが、英語文ははっきりと視認できるようになる。このように瞼開度に応じて透過率を変えることで、原文を見えやすくしたり翻訳文を見えやすくしたりすることができる。なお、先に説明したように、原文および２つ以上の翻訳文を用いて重ね合わせの態様の異なる複数の重畳画像が作成されてもよい。たとえば、原文および２つの翻訳言語の翻訳文の３つの文が、原文が最も手前に位置し、第１の翻訳文が第２の翻訳文よりも手前に位置するように重ね合された重畳画像があるとする。この場合には、原文の透過率を大きくすると、第１の翻訳文がはっきり見えるようになり、そこからさらに第１の翻訳文の透過率を大きくすると、第２の翻訳文がはっきりと見えるようになる。そこで、瞼開度に応じて原文、第１の翻訳文、第２の翻訳文の透過率を順に変えて行くことによって、瞼開度が小さくあるいは大きくなるにつれて原文を通して第１の翻訳文が見えるようになり、さらに瞼開度が小さくあるいは大きくなるにつれて第１の翻訳文を通して第２の翻訳文が見えるようになるようにすることもできる。また、重畳画像が翻訳に関する画像以外、たとえば先に説明したような建物のフロアガイドの画像、レストランのメニューの画像、漫画の画像などを用いた重畳画像である場合も、同様の原理により、重畳画像の重ね合わせの態様を変更することができる。

［第３の表示態様の変更］
表示情報がＡＲ空間に関する画像である場合の表示態様の変更について説明する。ここでは、ＡＲ空間に関する画像は、案内表示を含む周辺画像、および、当該案内表示に示される文を翻訳文に置き代えた関連画像を重ね合わせた重畳画像であるとする。この場合、出力部１５は、検出部１３によって検出された瞼開度に応じて、作成部１２によって作成された異なる透過率を有する周辺画像および／または関連画像を用いた複数の重畳画像のうちのいずれかの重畳画像を表示する。瞼開度と透過率との対応付けについては、先に説明した翻訳に関する画像の例と同様であってよい。

上述の表示態様の変更の例について、図５を参照して説明する。ここでは、装置１０はＶＲゴーグルであり、表示情報は、周辺画像および関連画像を重ね合わせた重畳画像である。関連画像は、周辺画像に含まれる案内表示に示される英語文「WATCH YOUR STEP」を、その英語文を原文とする翻訳文である日本語文「足元に注意」に置き代えた画像である。日本語文および英語文は、日本語文が手前に位置するように重ね合わされており，日本語文の透過率が変化するようになっている。この例では、ユーザＵが眼を細める（瞼開度が小さくなる）につれて、日本語文の透過率が小さくなる。具体的に、図５の（ａ）に示されるようにユーザＵが眼を見開いている（瞼開度が大きい）ときには、日本語の透過率が大きいので、日本語文の背後に位置している英語文がはっきりと視認できる一方で、英語文の手前に位置している日本語文は視認できない。

これに対し，図５の（ｂ）に示されるように、ユーザＵが眼を細めている（瞼開度が小さい）ときには、日本語の透過率が小さいので、英語文の手前に位置している日本語がはっきりと視認できる一方で、日本語文の背後に位置している英語文は視認できない。なお、瞼開度によっては、日本語文および英語文の両方が視認できる透過率とすることもできる。このように瞼開度に応じて透過率を変えることで、ユーザが希望するタイミングで、周辺画像（現実の画像）と関連画像（ＡＲ空間中の画像）とを切り替えて表示することができる。なお、先に説明したように、複数の翻訳文のそれぞれについて複数の関連画像が作成されてもよく、その場合には、瞼開度に応じて各画像の透過率を順に変えて行くことによって、周辺画像および複数の関連画像を切り替えて表示することもできる。

［第４の表示態様の変更の例］
表示情報が仮想空間に関する画像である場合の表示態様の変更について説明する。ここでは、仮想空間に関する画像は、ユーザが仮想空間を見たときの前方画像であるとする。この場合、出力部１５は、瞼開度に応じて、前方画像における被写界範囲を変更することによって、表示情報の表示態様を変更する。具体的に、出力部１５は、瞼開度に応じて、作成部１２によって作成された異なる被写界範囲についての複数の前方画像のうちのいずれかの前方画像を表示する。たとえば、瞼開度と被写界範囲とを対応づけたデータテーブルが記憶部１４に記憶されており、当該データテーブルを参照することによって、出力部１５は、瞼開度に応じた被写界範囲を選択する。そして、出力部１５は、作成部１２によって作成された複数の前方画像のうちの、選択した被写界範囲と同じか最も近い被写界範囲を有する前方画像を表示する。瞼開度と被写界範囲との対応付けにおいては、たとえば、瞼開度が小さくなるにつれて被写界範囲が広くなる（被写界深度が大きくなる）ように定められていてもよい。瞼開度の変化に対して被写界深度がリニアに変化するように定められていてもよい。

上述の表示態様の変更の例について、図６および図７を参照して説明する。図６はユーザが仮想空間を見たときの前方画像であり、図７は、仮想空間を上方から見た状態を概念的に示す。ここでは、装置１０はＶＲゴーグルであり、表示情報は、２つの案内表示および２つの雲が対象物として存在する仮想空間の前方画像である。２つの案内表示は、左側の案内表示「←ＸＸＸ」が右側の案内表示「ＹＹＹ→」よりもユーザＵから見て遠くに位置するように、前後方向（図７の矢印ＡＲ１）の異なる位置に配置されている。２つの雲は、２つの案内表示よりもさらに遠くに位置している。この例では、ユーザが眼を細める（瞼開度が小さくなる）につれて、被写界深度が大きくなるか、あるいは焦点が遠くに移動するように、被写界範囲が変更される。

具体的に、図６の（ａ）に示されるように、ユーザＵが眼を見開いており瞼開度が大きいときには、近くに位置する案内表示「ＹＹＹ→」がはっきりと見え、遠くに位置する案内表示「←ＸＸＸ」および２つの雲がぼやけて見える。これは、図７の（ａ）に示されるように、案内表示「ＹＹＹ→」が仮想空間において対象物がはっきりと見える領域に位置している一方で、案内表示「←ＸＸＸ」および２つの雲は対象物がぼやけて見える領域に位置しているためである。この例では、被写界深度はＰであり、焦点Ｆは矢印ＡＲ２の先端に位置している。矢印ＡＲ２の長さは、ユーザＵを基準とした焦点Ｆの位置を示す。前後方向（矢印ＡＲ１の方向）において、焦点Ｆから±（Ｐ／２）の範囲内の領域に位置する案内表示「ＹＹＹ→」がはっきりと見える。当該領域よりも前または後ろの領域に位置する案内表示「←ＸＸＸ」および２つの雲がぼやけて見える。

これに対し、図６の（ｂ）に示されるように、ユーザＵが眼を細めて瞼開度が小さくなるにつれて、被写界深度が大きくなり、その結果、案内表示「ＹＹＹ→」だけでなく、案内表示「←ＸＸＸ」および２つの雲もはっきりと見えるようになる。これは、図７の（ｂ）に示されるように、被写界深度Ｐが大きくなるので、焦点Ｆから±（Ｐ／２）の範囲内の領域に、案内表示「ＹＹＹ→」だけでなく、案内表示「←ＸＸＸ」および２つの雲も位置するようになったためである。あるいは、図６の（ｃ）に示されるように、ユーザＵが眼を細めて瞼開度が小さくなるにつれて、焦点Ｆが遠くに移動し、案内表示「←ＸＸＸ」および２つの雲がはっきりと見え、案内表示「ＹＹＹ→」がぼやけて見えるようになってもよい。このように瞼開度に応じて被写界範囲（被写界深度、焦点の位置）を変えることで、仮想空間において被写界深度を再現し、よりリアルな仮想空間を提供することができるようになる。また、ユーザが被写界範囲を変えたいタイミングで表示態様を変更することができる。

次に、以上説明した装置１０において実行される処理の例の例を、図８〜図１０を参照して説明する。

［第１の表示態様の変更の例］
図８は、第１の表示態様の変更（輝度・コントラスト比の変更）に際して装置１０において実行される処理の一例を示すフローチャートである。このフローチャートの処理は、たとえば、表示情報を表示するためのアプリケーションが装置１０において起動しているときに実行される。なお、とくに説明がない場合、その処理は、装置１０に含まれるいずれの要素によって実行されてもよい。

ステップＳ１１において、装置１０は、瞼開度の初期値を設定する。具体的に、検出部１３が、表示情報を見ているユーザの瞼開度を検出する。ここで検出された瞼開度は、瞼開度の初期値に設定される。瞼開度の検出結果は、眼の大きさ等の違いによりユーザごとにばらつく可能性があるが、このように瞼開度の初期値を設定することでユーザごとのバラつきを抑えることができる。

ステップＳ１２において、装置１０は、瞼開度を検出する。この処理は、検出部１３によって実行される。このステップＳ１２の処理は、先のステップＳ１１において瞼開度を検出した後、またはこのステップＳ１２の処理が繰り返し実行される場合には前回このステップＳ１２において瞼開度を検出した後に実行されるので、その間にユーザが眼を開いたり細めたりする動作を行なうと、先に検出した瞼開度と異なる瞼開度が、このステップＳ１２において検出されることになる。

ステップＳ１３において、装置１０は、瞼開度に変化が有るか否かを判断する。具体的に、出力部１５が、初めてこのステップＳ１３の処理が実行されるときには、先のステップＳ１１において設定された瞼開度の初期値に対して、先のステップＳ１２において検出された瞼開度が大きくなっているか小さくなっている場合に、瞼開度に変化が有ると判断する。一方、後述のステップＳ１６の処理を経てステップＳ１２およびこのステップＳ１３の処理が実行されるときには、後述のステップＳ１６において更新された瞼開度の初期値に対して、先のステップＳ１２において検出された瞼開度が大きくなっているか小さくなっている場合に、瞼開度に変化が有ると判断する。瞼開度に変化が有る場合（ステップＳ１３：ＹＥＳ）、装置１０はステップＳ１４に処理を進める。そうでない場合（ステップＳ１３：ＮＯ）、装置１０はステップＳ１４をスキップしてステップＳ１５に処理を進める。

ステップＳ１４において、装置１０は、輝度および／またはコントラスト比を変更する。具体的に、出力部１５が、先のステップＳ１２において検出された瞼開度に応じて、先に説明したように、表示情報の輝度および瞼開度の少なくとも一方を変更することによって、表示情報の表示態様を変更する。

ステップＳ１５において、装置１０は、終了操作が行われたか否かを判断する。たとえば、装置１０のユーザが上述のアプリケーションにおいて表示情報を表示するための機能を終了するための操作、あるいはアプリケーション自体を終了するための操作を行なった場合には、終了操作が行われたと判断される。終了操作が行われた場合（ステップＳ１５：ＹＥＳ）、装置１０はフローチャートの処理を終了する。そうでない場合（ステップＳ１５：ＮＯ）、装置１０はステップＳ１６に処理を進める。

ステップＳ１６において、装置１０は、瞼開度の初期値を更新する。具体的に、先のステップＳ１２において検出された瞼開度が、先のステップＳ１１において設定された瞼開度の初期値に代えて、新たな瞼開度の初期値として設定される。ステップＳ１６の処理が完了した後、装置１０は、ステップＳ１２に再び処理を戻す。ステップＳ１２〜Ｓ１６の処理が繰り返し実行されることによって、瞼開度に応じて表示情報の輝度および／またはコントラスト比が切り替わっていく。

［第２および第３の表示態様の変更の例］
図９は、第２の表示態様の変更（翻訳に関する画像（重畳画像）の重ね合わせの態様の変更）および第３の表示態様の変更（ＡＲ空間に関する画像（重畳画像）の重ね合わせの態様の変更）に際して装置１０において実行される処理の一例を示すフローチャートである。ここでは、一例として、作成部１２によって先に説明したように日本語文および英語文の重ね合わせの態様が異なる複数の重畳画像が表示情報として作成され、記憶部１４に記憶されているものとする。表示情報において、日本語文および英語文は、日本語文が英語文よりも手前に位置するように重ね合されている。

ステップＳ２１において、装置１０は、透過率を初期値に設定する。たとえば、日本語文の透過率が１００％に、英語文の透過率が０％にそれぞれ設定され、その透過率での表示情報が表示される。なお、この場合には、翻訳文である英語文がはっきりと視認できることになる。

ステップＳ２２において、装置１０は、瞼開度の初期値を設定する。具体的に、検出部１３が、先のステップＳ１において表示された表示情報を見ているユーザの瞼開度を検出する。ここで検出された瞼開度は、瞼開度の初期値に設定される。

ステップＳ２３において、装置１０は、瞼開度を検出する。この処理は検出部１３によって実行される。このステップＳ２３の処理は、先のステップＳ２２において瞼開度を検出した後、またはこのステップＳ２３の処理が繰り返し実行される場合には前回のこのステップＳ２３において瞼開度を検出した後に実行されるので、その間にユーザが眼を開いたり細めたりする動作を行なうと、先に検出した瞼開度と異なる瞼開度が、このステップＳ２３において検出されることになる。

ステップＳ２４において、装置１０は、瞼開度に変化が有るか否かを判断する。具体的に、出力部１５が、初めてこのステップＳ２４の処理が実行されるときには、先のステップＳ２２において設定された瞼開度の初期値に対して、先のステップＳ２３において検出された瞼開度が大きくなっているか小さくなっている場合に、瞼開度に変化が有ると判断する。一方、後述のステップＳ２７を経てステップＳ２３およびこのステップＳ２４の処理が実行されるときには、後述のステップＳ２７において更新された瞼開度の初期値に対して、先のステップＳ２３において検出された瞼開度が大きくなっているか小さくなっている場合に、瞼開度に変化が有ると判断する。瞼開度に変化が有る場合（ステップＳ２４：ＹＥＳ）、装置１０はステップＳ２５に処理を進める。そうでない場合（ステップＳ２４：ＮＯ）、装置１０はステップＳ２５をスキップしてステップＳ２６に処理を進める。

ステップＳ２５において、装置１０は透過率を変更する。具体的に、出力部１５が、作成部１２によって作成された複数の重畳画像のうちの、先のステップＳ３において検出された瞼開度に応じた透過率を有する原文および／または翻訳文を用いた重畳画像を表示する。

ステップＳ２６において、装置１０は、終了操作が行われたか否かを判断する。この判断は、先に図８を参照して説明したステップＳ１５と同様であってよい。
終了操作が行われた場合（ステップＳ２６：ＹＥＳ）、装置１０はフローチャートの処理を終了する。そうでない場合（ステップＳ２６：ＮＯ）、装置１０はステップＳ２７に処理を進める。

ステップＳ２７において、装置１０は、瞼開度の初期値を更新する。具体的に、先のステップＳ２３において検出された瞼開度が、先のステップＳ２２において設定された瞼開度の初期値に代えて、新たな瞼開度の初期値として設定される。ステップＳ２７の処理が完了した後、装置１０は、ステップＳ２３に再び処理を戻す。ステップＳ２３〜Ｓ２７の処理が繰り返し実行されることによって、瞼開度に応じて重畳画像を構成する原文および／または翻訳文の透過率が切り替わっていく。上述の例では、日本語文および英語文の２つの文を用いた重畳画像について説明したが、原文および２つ以上の翻訳文（つまり３つ以上の文）を用いた重畳画像についても図９のフローチャートの処理が適用できる。その場合には、ステップＳ２３〜Ｓ２７の処理が繰り返し実行されることによって、瞼開度に応じて各文の透過率が順に切り替わっていく。

［第４の表示態様の変更の例］
図１０は、第４の表示態様の変更（仮想空間に関する画像（前方画像）の変更）に際して装置１０において実行される処理の一例を示すフローチャートである。ここでは、作成部１２によって先に説明したように被写界範囲の異なる複数の前方画像が表示情報として作成され、記憶部１４に記憶されているものとする。

ステップＳ３１において、装置１０は、被写界範囲の初期値を設定する。たとえば先に説明した図７の（ａ）に示されるように、仮想空間においてユーザの近くに位置する対象物がはっきりと見え、遠くに位置する対象物がぼやけて見えるような被写界深度および焦点の位置が、被写界範囲の初期値として設定される。

ステップＳ３２〜Ｓ３４の処理は、先に図９を参照して説明したステップＳ２２〜Ｓ２４の処理と同様である。すなわち、装置１０は、瞼開度の初期値を設定し（ステップＳ３２）、瞼開度を検出し（ステップＳ３３）、瞼開度に変化が有るか否かを判断し（ステップＳ３４）、瞼開度に変化が有る場合には（ステップＳ３４：ＹＥＳ）ステップＳ３５に処理を進め、そうでない場合には（ステップＳ３４：ＮＯ）ステップＳ３５をスキップしてステップＳ３６に処理を進める。

ステップＳ３５において、装置１０は、被写界範囲を変更する。具体的に、出力部１５が、作成部１２によって作成された複数の前方画像のうちの、先のステップＳ３３において検出された瞼開度に応じた被写界深度および焦点の位置で定められる被写界範囲を有する前方画像を表示する。

ステップＳ３６およびステップＳ３７の処理は、先に図９を参照して説明したステップＳ２６およびステップＳ２７の処理と同様である。すなわち、装置１０は、終了操作が行われたか否かを判断し（ステップＳ３６）、終了操作が行われた場合（ステップＳ３６：ＹＥＳ）、フローチャートの処理を終了し、そうでない場合（ステップＳ３６：ＮＯ）、瞼開度の初期値を変更し（ステップＳ３７）、ステップＳ３３に再び処理を戻す。ステップＳ３３〜Ｓ３７の処理が繰り返し実行されることによって、瞼開度に応じて前方画像の被写界範囲（被写界深度、焦点の位置）が切り替わっていく。

以上説明した装置１０によれば、表示情報を見ているユーザの瞼開度が検出され（ステップＳ１２）、検出された瞼開度に応じて、表示情報の輝度およびコントラスト比の少なくとも一方が変更される（ステップＳ１４）。たとえば、瞼開度が小さいほど、ユーザの眼に入射する光量が減少するので、表示情報の輝度およびコントラスト比の少なくとも一方を大きくすることで、瞼開度が小さくなったときに表示情報が暗く見えてしまうことを防ぐように表示情報の表示態様を変更することができる。したがって、瞼開度に応じた適切な表示を行うことができる。

先に図４、図５を参照して説明したように、表示情報は、複数の画像を重ね合わせた重畳画像であり、一部の画像が、ユーザが見たときに当該一部の画像を通して他の画像を視認できるような透過率を有する画像である重畳画像であってよい。その場合、瞼開度に応じて、重畳画像における一部の画像の透過率を変更することによって、表示情報の表示態様が変更される（ステップＳ２４：ＹＥＳ、ステップＳ２５）。一部の画像の透過率が低くなるほど一部の画像が他の画像よりも見やすくなり、逆に、一部の画像の透過率が高くなるほど他の画像が一部の画像よりも見やすくなる。したがって、瞼開度に応じて透過率を変えることで、重畳画像に含まれるそれぞれの画像が見やすくなるように表示情報の表示態様を変更することもできる。

具体的に、重畳画像は、原文および翻訳文を重ね合わせた重畳画像であってよい。これにより、瞼開度に応じて、原文および翻訳文のそれぞれが見やすくなるように表示情報の態様を変更することができる。

また、重畳画像は、周辺画像および当該周辺画像に関する関連画像を重ね合わせた重畳画像であってよい。関連画像は、周辺画像中に示される現実に存在する物に関する、拡張現実（ＡＲ）空間での情報を表示する画像とすることができる。その場合、瞼開度に応じて、周辺画像（つまり現実に存在する物）の表示および関連画像（拡張現実空間での情報）の一方を表示することによって、表示情報の表示態様を変更することもできる。

先に図６を参照して説明したように、表示情報は、ユーザが仮想空間を見たときにユーザの前方に映る前方画像であってよい。その場合、瞼開度に応じて、前方画像における被写界範囲を変更することによって、表示態様を変更してもよい（ステップＳ３４：ＹＥＳ，ステップＳ３５）。３次元空間である仮想空間には、前後方向（奥行方向）の異なる位置にさまざまな対象物が存在している。ここで、ユーザが仮想空間を見たときにユーザの前方に映る前方画像として、被写界範囲内に位置する対象物がはっきりと見え、それ以外の対象物はぼやけて見えるような前方画像を表示することで、仮想空間がよりリアルなものとなる。上記構成によれば、そのような仮想空間の前方画像を表示する場合に、瞼開度に応じて被写界範囲（被写界深度および焦点位置）を変更することによって、表示情報の表示態様を変更することもできる。

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではない。

たとえば、装置において実行される処理の一部が、外部サーバにおいて実行されてもよい。図１１はそのような変形例に係る装置１０Ａの概略構成を示す図である。装置１０Ａは、装置１０（図１）と比較して、作成部１２を含まない一方で、通信部１７を含む点で相違する。通信部１７は、サーバ２０と通信をするための部分である。サーバ２０は、作成部２１および通信部２２を含む。作成部２１の機能は、先に説明した作成部１２と同様であるのでここでは説明を省略する。通信部２２は、装置１０Ａの通信部１７と通信を行う部分である。図１１に示される装置１０Ａは、通信部１７を用いてサーバ２０と通信を行うことにより、サーバ２０の作成部２１の機能を利用することができる。このような構成によっても、装置１０Ａは、先に説明した装置１０と同様の処理を実行することができる。この場合、表示情報の作成のための処理がサーバ２０で実行される分だけ、装置１０Ａにおける処理負担を軽減することができる。

１０…装置、１１…入力部、１２、２１…作成部、１３…検出部（検出手段）、１４…記憶部、１５…出力部（表示手段）、１７、２２…通信部。

Claims (4)

1. 表示情報を表示するとともに当該表示情報の表示態様を変更する表示手段と、
   前記表示手段によって表示される前記表示情報を見ているユーザの瞼開度を検出する検出手段と、
   を備え、
   前記表示手段は、前記検出手段によって検出された瞼開度に応じて、前記表示情報の輝度およびコントラスト比の少なくとも一方を変更することによって、前記表示態様を変更し、
   前記表示情報は、複数の画像を重ね合わせた重畳画像であって、前記複数の画像のうちの一部の画像が、前記ユーザが見たときに当該一部の画像を通して他の画像を視認できるような透過率を有する画像である当該重畳画像であり、
   前記表示手段は、さらに、前記検出手段によって検出された瞼開度に応じて、前記重畳画像における前記一部の画像の透過率を変更することによって、前記表示態様を変更する、
   情報表示装置。
2. 前記重畳画像は、原文および翻訳文を重ね合わせた重畳画像である、
   請求項１に記載の情報表示装置。
3. 前記重畳画像は、周辺画像および当該周辺画像に関する関連画像を重ね合わせた重畳画像である、
   請求項１に記載の情報表示装置。
4. 表示情報を表示するとともに当該表示情報の表示態様を変更する表示手段と、
   前記表示手段によって表示される前記表示情報を見ているユーザの瞼開度を検出する検出手段と、
   を備え、
   前記表示手段は、前記検出手段によって検出された瞼開度に応じて、前記表示情報の輝度およびコントラスト比の少なくとも一方を変更することによって、前記表示態様を変更し、
   前記表示情報は、前記ユーザが仮想空間を見たときに前記ユーザの前方に映る前方画像であり、
   前記表示手段は、さらに、前記検出手段によって検出された瞼開度に応じて、前記前方画像における被写界範囲を変更することによって、前記表示態様を変更する、
   情報表示装置。