以下、図面に基づいて、本願の開示する画像表示装置、表示制御方法および表示制御プログラムの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図1は、実施例1の画像表示装置の構成の一例を示すブロック図である。図1に示す画像表示装置100は、表示部に表示された、商品に関する画像を含む第1のメニュー画面に対してユーザから操作を受け付ける。画像表示装置100は、第1のメニュー画面に対するユーザの視線および操作に基づき、第2のメニュー画面の表示内容を決定する。画像表示装置100は、表示部の表示内容を、表示内容が決定された第2のメニュー画面に切り替える。これにより、画像表示装置100は、好適なメニュー画面を提供できる。
図1に示す画像表示装置100は、視線検出部111と、表示部112と、受付部113と、商品データベース(商品DB)120と、制御部130と、を有する。なお、画像表示装置100は、図1に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の通信デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。画像表示装置100の一例としては、飲食店で食券を販売する券売機を採用できる。画像表示装置100には、上記の券売機のみならず、切符の券売機や自動販売機、コンビニエンスストアの店舗内に設置されるマルチメディア端末等の店舗設置型の端末を採用することもできる。また、画像表示装置100は、上記の店舗設置型の端末の他にもパーソナルコンピュータやタブレット端末、スマートフォン等のネットワークに接続しショッピングを行える端末等を採用することもできる。
視線検出部111は、例えば、ユーザを撮像した撮像画像に基づいてユーザの視線を検出する。撮像画像は、例えば、赤外線LED(Light Emitting Diode)から赤外線を照射されたユーザの上半身を赤外線カメラで撮像した画像である。なお、視線検出部111は、図示しない赤外線カメラから撮像画像を取得するようにしてもよく、視線検出部111が図示しない赤外線LEDおよび赤外線カメラを有するようにしてもよい。また、撮像画像は、赤外線カメラで撮像された画像でなくてもよく、例えば、可視光カメラで撮像された画像であってもよい。
また、視線検出部111は、視線に代えて用いることができる他の情報を視線として検出してもよい。例えば、ユーザを撮像した撮像画像に基づいてユーザの顔向きを判別し、顔の正面方向を視線方向として検出してもよい。また、ユーザを撮像した撮像画像に基づいてユーザの体の向きを判別し、胴体の前側正面方向を視線方向として検出してもよい。また、ユーザの顔表面までの距離、すなわち奥行情報を測定可能な装置を用いて計測される、ユーザの顔の立体的な位置情報を用いて、ユーザの顔向きを判別し、顔の正面方向を視線方向として検出してもよい。
視線検出部111は、所定間隔で撮像される撮像画像から、例えば赤外線がユーザの角膜上で反射した位置(角膜反射)およびユーザの瞳孔の位置を検出する。視線検出部111は、角膜反射と瞳孔の位置に基づいて、ユーザの視線を検出する。視線検出部111は、検出した視線を決定部140に出力する。図2は、視線検出の一例を示す図である。図2に示すように、視線検出部111は、時刻t1において視線位置(X1、Y1)を検出する。
時刻t1から時刻t2までの間にユーザの視線が移動した場合、視線検出部111は、時刻t2において、視線位置(X1、Y1)から視線が移動した距離だけ離れた視線位置(X2、Y2)を検出する。この場合、視線位置(X1、Y1)、(X2、Y2)を結ぶ線分が、ユーザの視線が移動した軌跡となる。また、時刻t2から時刻t3までの間にユーザの視線が移動せず停留した場合、視線検出部111は、時刻t3において、時刻t2とおなじ視線位置(X2、Y2)を検出する。ここで、停留の判定は、例えば、所定時間内に複数回同じ位置で視線を検出した場合や、所定回数以上連続して同じ位置で視線を検出した場合、停留していると判断することができる。この場合、視線位置(X2、Y2)は、視線の停留位置となる。なお、視線が停留した場合に検出する視線位置は、前の時刻と同じ視線位置でなくてもよく、前の時刻における視線位置までの距離が所定距離以下であってもよい。この場合、例えば、複数の視線位置の重心を停留位置としてもよい。なお、視線位置は、例えば、表示部112に表示する画面を含むXY座標平面上の位置である。視線検出部111は、例えば、時刻と視線位置とを対応付けて制御部130に出力する。
図1の説明に戻って、表示部112は、各種情報を表示するための表示デバイスである。表示部112は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部112は、制御部130から入力された第1、第2のメニュー画面等の各種画面を表示する。ここで、第1、第2のメニュー画面は、画像表示装置100が設置される店舗で提供される商品を表示するメニュー画面である。第1のメニュー画面は、例えば、ユーザが画像表示装置100の前に立ったときに最初に表示するメニュー画面である。第2のメニュー画面は、第1のメニュー画面の次に表示するメニュー画面である。
受付部113は、ユーザからの各種操作を受け付ける入力デバイスである。受付部113は、例えば、入力デバイスとして、タッチパネル等によって実現される。この場合、表示部112の表示デバイスと、受付部113の入力デバイスとは、一体化されるようにしてもよい。また、受付部113は、例えば、入力デバイスとして、ボタンやキーボード、マウス等によって実現されるようにしてもよい。また、例えば、ジェスチャ認識装置や音声認識装置によって実現されるようにしてもよい。受付部113は、例えば、表示部112に第1のメニュー画面が表示されている場合に、第2のメニュー画面への遷移操作を受け付ける。また、受付部113は、例えば、第1のメニュー画面に含まれる商品の購入等の商品を選択する選択操作を受け付ける。受付部113は、ユーザによって入力された操作を制御部130に出力する。
商品DB120は、画像表示装置100が設置される店舗で提供される商品を管理するデータベースである。商品DB120は、商品の特徴を商品ごとに記憶する。図3は、商品DBの一例を示す図である。図3に示すように、商品DB120は、「商品名」、「値段」といった項目を有する。
商品DB120は、商品の値段や原材料、割引クーポンの有無、商品の販売時期等の商品の特徴を示す情報を商品A、B・・・ごとに記憶する。図3では、商品DB120は、例えば、商品名「商品A」、値段「1200円」、原材料「牛乳、バター」・・・のように、商品の項目ごとに特徴を記憶する。なお、商品DB120が記憶する商品の特徴は、図3に示す例に限られない。例えば、商品DB120が、商品のジャンルや、商品の色や、新製品か否かを示す情報を特徴として記憶するようにしてもよい。
図1の説明に戻って、制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。制御部130は、決定部140と、切替部150とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図1に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
決定部140は、視線検出部111の検出結果に基づいて表示部112に表示する表示内容を決定する。決定部140は、特定部141と、抽出部142と、商品決定部143とを有する。
特定部141は、表示部112に第1のメニュー画面が表示されている場合に、視線検出部111からユーザの視線位置が入力されると、入力された視線位置に基づいてユーザの視線が停留した商品を特定する。ここで、第1のメニュー画面は、例えば、店舗で販売される商品の一覧が表示される画面であって、ユーザが画像表示装置100の表示部112の前に立つことで、視線検出部111がユーザの視線を検出した場合に、表示部112に表示される画面である。
図4は、第1のメニュー画面に対するユーザ動作の一例を示す図である。なお、図4も含め以後の各メニュー画面の例には、商品の画像が表示されている例を示しているが、表示対象をこれに限る必要はない。例えば、表示対象は、商品の静止画だけでなく、アニメーションのある画像や映像であってもよい。なお、商品および商品に対応する画像は、その数が限定されず、それぞれ1つ以上の場合であってもよい。
図4に示すように、第1のメニュー画面10は、例えば、複数の商品A〜Fに関する複数の画像11A〜11Fを含む。画像11A〜11Fは、対応する商品A〜Fの特徴を含む。画像11A〜11Fは、例えば、商品A〜Fの商品名および値段を含む。なお、画像11A〜11Fは、上記の商品名および値段のみならず、商品の外観を示す画像や原材料、商品のサイズ等、商品に関する情報を含むこともできる。また、第1のメニュー画面10は、次のメニュー画面への遷移を受け付けるボタン12を含む。
図4に示す直線は、視線が移動している場合の視線の軌跡を示している。また、丸は、視線が停留している場合の停留位置を示している。なお、丸の大きさは、視線の停留時間を示しており、丸の直径が大きいほど停留時間が長い。図4では、ユーザは、商品Aから順に、商品B、商品C、商品D、商品E、商品Fと視線を停留しながら視線を移動させている。また、ユーザは、商品Fに視線を停留させた後、視線を購入ボタン13Aに移動させ、購入ボタン13Aをタッチすることで商品Aを購入する。ユーザは、商品Aを購入後、画面遷移操作を受け付けるボタン12をタッチする。
特定部141は、視線が停留し、ユーザからの商品選択操作を受け付けなかった商品を特定する。特定部141は、例えば、ユーザが購入しなかった商品B〜Fのなかから、停留時間が最も長い商品Fを特定する。所定時間内に計測された視線の停留時間長の合計に基づいて商品を特定してもよい。なお、特定部141が特定する商品は、停留時間が最も長い商品Fに限られず、例えば、停留時間が指定時間以上である商品であってもよい。特定部141は、特定した商品Fを特定商品として抽出部142に出力する。
抽出部142は、特定部141が特定した特定商品Fの特徴を抽出する。抽出部142は、例えば、商品DB120を参照し、特定商品Fに関する特徴を抽出する。抽出部142は、抽出した特徴を商品決定部143に出力する。
抽出部142が抽出する特徴は、上記の特徴に限られない。抽出部142は、第1のメニュー画面10に対する視線の停留位置、停留回数、停留時間および軌跡のような、視線変化状態から検出できる情報に基づいて特徴を抽出するようにしてもよい。抽出部142は、例えば、図4に示すように、商品名である「商品F」の停留時間が最も長い場合に、抽出部142は、例えば、商品名「商品F」に含まれるキーワードを特徴として抽出するようにしてもよい。
また、図4に示す例では、視線は、商品A、B、Fの商品名および値段上で停留しているが、商品C〜Eの商品名には視線が停留しておらず、値段に視線が停留している。商品A〜Fの値段に視線が停留していることから、ユーザは商品の値段に興味があることがわかる。特に、商品A、B、Fは、値段だけでなく商品名にも視線が停留しているため、商品A、B、Fに共通する特徴の一つである同程度の値段範囲の商品に興味を示していることがわかる。そこで、抽出部142は、商品A、B、Fの値段「1200円」、「1100円」を特徴として抽出するようにしてもよい。
また、抽出部142は、例えば、停留位置が複数あるものの購入品として選択されなかった商品B、Fに共通する特徴を抽出するようにしてもよい。すなわち、ユーザが興味を持っているであろうことが推測される商品であるにもかかわらず、購入対象として選択されなかった商品に共通する特徴を抽出するようにしてもよい。また、抽出部142は、例えば、最終的に購入された商品Aの特徴を除く特徴を抽出するようにしてもよい。なお、抽出部142が抽出する特徴は1つに限られない。抽出部142は、例えば、値段やサイズ等、複数の項目に関する複数の特徴を抽出するようにしてもよい。なお、画面上の各商品に対する視線の停留時間長がほぼ同等であった場合には、第2のメニュー画面として予め決められていた所定の商品を表示商品に決定してもよい。
図1の説明に戻って、商品決定部143は、抽出部142が抽出した特徴に基づいて、第2のメニュー画面に表示する表示商品を決定する。商品決定部143は、例えば、抽出部142が抽出したキーワードを含む商品を商品DB120に問い合わせる。なお、抽出部142は、抽出した特徴を含む範囲の商品を商品DB120に問い合わせるようにしてもよい。抽出部142が特徴として値段「1200円」を抽出した場合、商品決定部143は、例えば値段「1200円」以下の商品を商品DB120に問い合わせるようにしてもよい。
商品決定部143は、商品DB120から問い合わせた特徴を有する商品に関する情報を受け取る。商品決定部143は、例えば、商品DB120に抽出したキーワードを含む商品を問い合わせた場合、商品DB120から商品Gに関する情報を受け取る。商品決定部143は、受け取った商品Gを表示商品に決定する。図4に示すように、ユーザは、特定商品Fを購入していないが、最も長く視線を停留させている。したがって、ユーザは、特定商品Fそのものは購入するつもりがない、もしくは商品Aと迷った末に商品Fを購入対象として選択しなかったが、特定商品Fの特徴には興味があると考えられる。そこで、商品決定部143は、抽出部142が抽出した特定商品Fの特徴を含む商品Gを表示商品に決定する。
なお、商品決定部143は、例えば、商品DB120から受け取った商品数が、第2のメニュー画面に表示可能な商品数より多い場合には、特定商品の特徴により近い特徴を有する商品を表示商品に決定してもよい。また、商品決定部143は、受け取った商品に関する情報に基づき、当該商品の中から季節限定の商品や割引クーポンの利用が可能な商品等、店舗側が販売したい商品を表示商品に決定してもよい。なお、ここでは、商品決定部143は、第1のメニュー画面に含む商品とは異なる商品を表示商品に決定するものとする。
商品決定部143は、視線の動き以外の情報に基づいて表示商品を決定するようにしてもよい。商品決定部143は、例えば、抽出部142が抽出した特徴が含まれていない商品であっても、季節限定の商品や割引クーポンの利用が可能な商品等、店舗側が販売したい商品を表示商品に決定してもよい。
商品決定部143は、第2のメニュー画面に表示すると決定した商品の中から強調表示する商品を決定する。商品決定部143は、例えば、商品DB120から受け取った商品情報に基づき、季節限定の商品や割引クーポンの利用が可能な商品等、店舗側が販売したい商品を強調表示する商品に決定する。また、商品決定部143は、視線停留商品の特徴により近い特徴を有する商品を強調表示する商品に決定してもよい。商品決定部143は、例えば、特徴が視線停留商品の特徴により多く一致する商品を、強調表示する商品に決定する。商品決定部143は、表示商品および強調表示する商品に関する情報を切替部150に出力する。なお、商品決定部143は、第2のメニュー画面の表示対象とする商品を決定し、強調表示は行わないようにしてもよい。
商品決定部143は、例えば、第1のメニュー画面10に表示する商品を決定するようにしてもよい。商品決定部143は、例えば、ユーザが表示部112の前に立つことで視線検出部111が当該ユーザの視線検出を開始した場合に、第1のメニュー画面10に表示する商品を決定する。この場合、商品決定部143は、あらかじめ決められた商品を第1のメニュー画面10に表示する商品に決定する。
図1の説明に戻って、切替部150は、表示部112に表示する画面を切り替える。図4に示す第1のメニュー画面10が表示されている場合に、ユーザが次のメニュー画面への遷移操作を受け付けるボタン12をタッチ操作すると、切替部150は、第1のメニュー画面10から第2のメニュー画面に切り替える。図5は、第2のメニュー画面の一例を示す図である。図5に示すように、切替部150は、商品決定部143が決定した商品G〜Lに関する画像11G〜11Lを含む第2のメニュー画面20を表示部112に表示する。また、第2のメニュー画面20は、第1のメニュー画面への遷移を受け付ける「戻る」ボタンや、次のメニュー画面への遷移を受け付けるボタン12を含んでよい。画面の遷移は、表示中の画面から別の画面へ表示を切り替える指示を受け付けられれば、どのような方法により操作指示を受け付けても構わない。例えば、図示のようなボタン形式でなく、タブにより表示対象とする画面が選択されるものであっても構わない。
切替部150は、商品決定部143が強調表示すると決定した商品を強調表示して表示部112に表示するようにしてもよい。切替部150は、例えば、商品Gに関する画像11Gに枠を付けて表示することで、商品Gを強調表示する。なお、切替部150は、様々な強調表示の態様をとることができ、例えば、商品に関する画像のサイズや色を変えたり、画像を点滅表示させたり、商品に関する画像に付加情報を示す画像を重畳したりすることで、商品を強調表示することもできる。強調表示対象である商品が、画面上の他の商品と比較してユーザの注意を惹きやすくなるような表示の仕方であれば、どのような表示の仕方、表示の変化のさせ方を採用することもできる。
次に、実施例1の画像表示装置100の動作について説明する。図6は、実施例1の画像表示処理の一例を示すフローチャートである。
視線検出部111は、画像表示装置100の前にユーザが立つと、ユーザの視線検出を開始する(ステップS1)。切替部150は、視線検出部111が視線検出を開始すると、第1のメニュー画面10を表示部112に表示する(ステップS2)。視線検出部111は、第1のメニュー画面10に対するユーザの視線位置を検出する(ステップS3)。視線検出部111は、検出した視線位置を決定部140に出力する。
切替部150は、受付部113から入力される操作情報に基づいて、ユーザにより購入対象とする商品が選択されたか否かを判定する(ステップS4)。切替部150は、商品が選択されていない場合には(ステップS4:否定)、視線位置の検出を継続する旨の指示を視線検出部111に出力し、ステップS3に戻る。切替部150は、商品が選択された場合には(ステップS4:肯定)、決定部140に対して特定指示を出力する。決定部140の特定部141は、特定指示が入力されると、視線検出部111が検出した視線位置に基づいて、購入対象として選択されていない商品のなかから視線が停留した商品を特定する(ステップS5)。切替部150は、表示部112が第1のメニュー画面10を表示している間に、受付部113が次のメニュー画面への遷移操作を受け付けたか判定する(ステップS6)。切替部150は、受付部113が遷移操作を受け付けていない場合には(ステップS6:否定)、ユーザによる操作の受付を待機し、ステップS3に戻る。切替部150は、受付部113が遷移操作を受け付けた場合には(ステップS6:肯定)、第2のメニュー画面20に表示する商品を決定部140に問い合わせる。
決定部140の抽出部142は、特定部141が特定した商品の特徴を抽出する(ステップS7)。抽出部142は、抽出した特徴を商品決定部143に出力する。
商品決定部143は、抽出部142が抽出した特徴に基づいて第2のメニュー画面20に表示する商品を決定する(ステップS8)。商品決定部143は、抽出部142が抽出した特徴を含む商品に関する情報を商品DB120から取得する。商品決定部143は、取得した商品に関する情報に基づいて第2のメニュー画面20に表示する商品を決定する。商品決定部143は、決定した商品に関する情報を切替部150に出力する。切替部150は、商品決定部143が決定した商品に関する画像を含む第2のメニュー画面20を表示部112に表示する(ステップS9)。これにより、画像表示装置100は、好適なメニュー画面を提供できる。
このように、画像表示装置100は、表示部112に表示された、商品に関する画像を含む第1のメニュー画面に対してユーザから操作を受け付ける。また、画像表示装置100は、第1のメニュー画面に対するユーザの視線および操作に基づき、第2のメニュー画面の表示内容を決定する。また、画像表示装置100は、表示部112の表示内容を、表示内容が決定された第2のメニュー画面に切り替える。その結果、好適なメニュー画面を提供できる。
また、画像表示装置100は、視線が停留し、ユーザからの商品選択操作を受け付けなかった商品を特定する。また、画像表示装置100は、特定した商品の特徴を抽出する。また、画像表示装置100は、抽出した特徴に基づき、商品を決定する。また、画像表示装置100は、決定した商品に関する画像を含む第2のメニュー画面に切り替える。その結果、好適なメニュー画面を提供できる。
また、画像表示装置100は、視線の停留位置、停留時間および軌跡の少なくとも1つに基づいて商品を決定する。その結果、特徴に応じたメニュー画面を提供できる。上述のように画像表示装置100によれば、好適なメニュー画面を提供できる。これにより、例えば、第1のメニュー画面内でユーザが興味を持ったものの選択しなかった商品と関連のある他商品を第2のメニュー画面の表示に含めることができる。そのため、第2のメニュー画面の表示内容をよりユーザが興味を持つであろう内容にでき、商品Gも購入する行動を見込めるようになる。
上記実施例1では、第1のメニュー画面10に対するユーザの動きに基づいて第2のメニュー画面20の表示内容を決定したが、商品の詳細画面に対するユーザの動きに基づいてメニュー画面の表示内容を決定してもよい。この場合の実施の形態につき、実施例2として説明する。図7は、実施例2の画像表示装置の構成の一例を示すブロック図である。なお、実施例1の画像表示装置100と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。
実施例2の画像表示装置200は、実施例1の画像表示装置100の制御部130に代えて、制御部230を有する。制御部230は、決定部240と切替部250とを有する。
切替部250は、受付部113が、商品の詳細情報を示す詳細画面への遷移操作を受け付けた場合に、メニュー画面を詳細画面に切り替える。図8は、メニュー画面に対するユーザ動作の一例を示す図である。図8に示すように、メニュー画面30は、商品A〜Fに関する画像11A〜11Fを含む。画像11A〜11Fには、値段等の商品の特徴に加え、各商品の詳細画面に遷移する遷移操作を受け付ける詳細ボタンが含まれる。なお、図8の例では、簡略的に、商品画像の中に「詳細」ボタンが表示されている例を示しているが、当然ながら、例えば、購入対象としての選択を受け付ける「購入」ボタンが商品画像の中に含まれてもよい。ユーザは、当該詳細ボタンをタッチすることで、商品を選択する。切替部250は、ユーザが商品Aに含まれる詳細ボタンをタッチすると、表示部112に表示する画面を、メニュー画面30から、当該詳細ボタンに対応する商品Aに関する詳細画面に切り替える。
また、切替部250は、受付部113が、詳細画面からメニュー画面への遷移操作を受け付けた場合に、詳細画面をメニュー画面に切り替える。この場合、切替部250は、決定部240が決定した表示内容のメニュー画面を表示部112に表示する。
図7の説明に戻って、決定部240は、メニュー画面および詳細画面に対するユーザの視線に基づき、メニュー画面の表示内容を決定する。決定部240は、特定部241と、抽出部242と、商品決定部243とを有する。
特定部241は、例えば、メニュー画面に対するユーザの視線に基づき、ユーザが選択せず、かつ、視線が停留した商品を特定する。図9は、メニュー画面に対するユーザ動作の他の一例を示す図である。図9では、ユーザは、商品A〜C、F〜Dの順に画面左上側から時計回りで停留しながら視線を移動させている。また、ユーザは、商品Dに視線を停留させた後、視線を商品Aの詳細ボタンに移動させ、商品Aの詳細ボタンをタッチする。
特定部241は、視線が停留し、ユーザからの商品選択操作を受け付けなかった商品を特定する。特定部241は、例えば、ユーザが詳細ボタンをタッチしなかった商品B〜Fのなかから、停留時間が最も長い商品Fを特定する。なお、特定部241が特定する商品は、実施例1と同様に、停留時間が最も長い商品Fに限られず、例えば、停留時間が指定時間以上である商品であってもよい。特定部241は、特定した商品Fを特定商品として抽出部242に出力する。
図7の説明に戻って、抽出部242は、商品の詳細情報を含む詳細画面に対するユーザの視線に基づき、商品の特徴を抽出する。図10は、詳細画面に対するユーザ動作の一例を示す図である。図10に示すように、詳細画面40は、例えば、商品名である「商品A」や商品Aに含まれるアレルギー物質の情報等を示す画像31を含む。また、詳細画面40は、メニュー画面への遷移操作を受け付ける戻るボタン32と、商品Aの購入操作を受け付ける購入ボタン33とを含む。なお、詳細画面は、第1メニュー画面の上にオーバーレイして表示してもよいし、第1メニュー画面とは別の画面として画面を遷移させて表示してもよい。また、図10の例では、詳細画面40内に購入ボタン33が含まれているが、詳細画面内には購入ボタン33を含めずに、遷移元の第1メニュー画面の商品画像内に設けられた購入ボタンにより購入対象商品の選択を受け付けるようにしてもよい。図10では、ユーザは、詳細画面40に含まれる商品名からアレルギー情報まで順に視線を停留させながら移動させている。その後、ユーザは、アレルギー物質である「牛乳」に視線を停留させ、戻るボタン32をタッチしている。この場合、抽出部242は、例えば、戻るボタン32をタッチする直前の停留位置に基づいて商品Aの特徴を抽出する。図10では、「アレルギー物質:牛乳」を特徴として抽出する。抽出部242は、抽出した特徴を商品決定部243に出力する。
また、抽出部242は、特定部241が特定した特定商品Fの特徴を抽出する。抽出部242は、例えば、商品DB120を参照し、特定商品Fに関する特徴を抽出する。抽出部242は、抽出した特徴を商品決定部243に出力する。なお、抽出部242が抽出する特徴は、これに限られない。抽出部242は、図1に示す抽出部142と同様にして特定商品Fの特徴を抽出するようにしてもよい。
図7の説明に戻って、商品決定部243は、抽出部242が抽出した特徴に基づいてメニュー画面に表示する表示商品を決定する。商品決定部243は、例えば、商品DB120を参照し、詳細画面40対する視線に基づいて抽出した特徴が含まれない商品を表示商品に決定する。図10において、商品Aの詳細画面40を表示している状態で、ユーザが商品Aを購入せずに戻るボタン32をタッチしている。この場合、ユーザは、戻るボタン32をタッチする直前に見ていた特徴が含まれることを理由として商品Aの購入を中止し、メニュー画面に戻っていると考えられる。すなわち、ユーザは、戻るボタン32をタッチする直前に注目した特徴が含まれていない商品には興味を持つと考えられる。そこで、商品決定部243は、商品DB120を参照し、抽出部242が抽出した「牛乳」という特徴を含まない商品をメニュー画面の表示商品に決定する。図11は、メニュー画面の一例を示す図である。図11に示すように、商品決定部243は、「牛乳」という特徴を含まない商品B、C、G、J〜Lを表示商品に決定する。商品決定部243は、決定した表示商品B、C、G、J〜Lを切替部250に出力する。切替部250は、商品決定部243から表示商品B、C、G、J〜Lが入力されると、表示商品B、C、G、J〜Lに関する画像11B、11C、11G、11J〜11Lを含むメニュー画面50を表示部112に表示する。
また、商品決定部243は、例えば、抽出部242がメニュー画面30に対する視線に基づいて抽出した特徴を含む商品を表示商品に決定してもよい。この場合、商品決定部243は、例えば、商品DB120を参照し、詳細画面40に基づいて抽出した特徴を含まず、メニュー画面30に基づいて抽出した特徴を含む商品を表示商品に決定する。
なお、商品決定部243は、視線の動き以外の情報に基づいて表示商品を決定するようにしてもよい。商品決定部243は、例えば、抽出部242が抽出した特徴が含まれていない商品であっても、季節限定の商品や割引クーポンの利用が可能な商品等、店舗側が販売したい商品を表示商品に決定してもよい。
また、商品決定部243は、例えば、メニュー画面30に含まれる商品であって、詳細画面40に基づいて抽出した特徴を含む商品を表示商品から削除したり、他の商品と比べて目立たなくする非強調表示とするようにしてもよい。非強調表示としては、例えば、他の商品画像はカラーであるのに対し非強調表示の商品画像はモノクロにしたり、もしくは明度を落としたりすることが一例として挙げられる。この場合、商品決定部243は、図9に示す商品A〜Fから「牛乳」を含まない商品B〜Eを表示商品に決定する。また、商品決定部243は、例えば、商品DB120を参照し、表示商品から外した商品A、Fの代わりの表示商品を選択する。商品決定部243は、商品A、Fの代わりの表示商品として、詳細画面40に基づいて抽出した特徴を含まず、メニュー画面30に基づいて抽出した特徴を含む商品を表示商品に決定する。
次に、実施例2の画像表示装置200の動作について説明する。図12は、実施例2の画像表示処理の一例を示すフローチャートである。以下の説明では、ステップS1、S3の処理は、実施例1と同様であるので、その説明を省略する。
画像表示装置200は、ステップS1の処理に続いて、次の処理を実行する。切替部250は、メニュー画面を表示部112に表示する(ステップS21)。ステップS3で視線検出を行った後に、特定部241は、メニュー画面に対する視線に基づいて、視線が停留した商品を特定する(ステップS22)。切替部250は、ユーザが商品の詳細画面への遷移操作を受け付けたか否かを判定する(ステップS23)。切替部250は、遷移操作を受け付けていない場合には(ステップS23:否定)、視線位置の検出を継続する旨の指示を視線検出部111に出力し、ステップS3に戻る。切替部250は、遷移操作を受け付けた場合には(ステップS23:肯定)、詳細画面を表示部112に表示する(ステップS24)。視線検出部111は、詳細画面に対するユーザの視線を検出する(ステップS25)。
切替部250は、受付部113から入力される操作情報に基づいて、ユーザにより購入対象とする商品が選択されたか否かを判定する(ステップS26)。切替部250は、商品が選択された場合には(ステップS26:肯定)、処理を終了する。切替部250は、商品が選択されていない場合には(ステップS26:否定)、受付部113においてメニュー画面への遷移操作を受け付けたか否かを判定する(ステップS27)。切替部250は、遷移操作を受け付けていない場合には(ステップS27:否定)、視線位置の検出を継続する旨の指示を視線検出部111に出力し、ステップS25に戻る。切替部250は、遷移操作を受け付けた場合には(ステップS27:肯定)、抽出部242に特徴抽出指示を出力する。抽出部242は、特徴抽出指示が入力されると、詳細画面に対するユーザの視線に基づいて特徴を抽出して、ステップS22で特定した商品の特徴を抽出する(ステップS28)。
商品決定部243は、抽出部242が抽出した特徴に基づき、メニュー画面に表示する表示商品を決定する(ステップS29)。切替部250は、商品決定部243が決定した商品を示す画像を含むメニュー画面を表示部112に表示する(ステップS30)。これにより、画像表示装置200は、好適なメニュー画面を提供できる。
このように、画像表示装置200は、商品の詳細情報を含む詳細画面に対するユーザの視線に基づき、商品の特徴を抽出する。その結果、商品の詳細情報を反映したメニュー画面を提供できる。
また、画像表示装置200は、抽出した特徴を含まない商品を決定する。その結果、ユーザが否定的な反応を示した情報を反映したメニュー画面を提供できる。
なお、上記各実施例では、第1のメニュー画面10またはメニュー画面30に表示される商品画像に対するユーザの視線に基づいて第2のメニュー画面20またはメニュー画面50に表示する商品を決定したが、これに限定されない。例えば、表示部112の周囲におすすめ商品等の広告が掲載されている場合に、当該広告に対する視線に基づいて第2のメニュー画面20またはメニュー画面50に表示する商品を決定するようにしてもよい。すなわち、特定部141、241は、第1のメニュー画像10またはメニュー画面30に表示される複数の商品、または広告に掲載される商品のうち、視線が停留した商品を特定するようにしてもよい。なお、広告は、必ずしも表示部112の周囲に掲載される必要はない。ユーザの視線が向きやすく、また、ユーザの視線を検出できる範囲に掲載されていればよい。すなわち、広告は、例えば、幟やポスター等の画像表示装置100、200の周囲に掲載されていてもよい。
このように、画像表示装置100、200は、第1のメニュー画面10またはメニュー画面30に表示される商品、および、表示部112の周囲に表示される商品の中から視線が停留した商品を特定する。また、画像表示装置100、200は、視線が停留した商品に基づいて特徴を抽出する。その結果、好適なメニュー画面を提供できる。
なお、上記各実施例では、第1のメニュー画面10またはメニュー画面30に表示する商品は、あらかじめ決められた商品としたが、これに限定されない。例えば、ユーザが過去に購入した商品履歴や過去に抽出した特徴等に基づいて商品を決定するようにしてもよい。
このように、画像表示装置100、200は、視線検出部111が有するカメラを用いた画像認識処理を行うことでユーザを特定する。なお、ユーザの特定は、例えば、ユーザが所持するスマートフォン等の携帯端末にダウンロードされたアプリケーションと通信を行うことで実現することもできる。また、ユーザの特定は、例えば、ポイントカード等の店舗が発行するカードを読み取ることで実現することもできる。
また、画像表示装置100、200は、例えば、特定したユーザの過去の商品履歴を図示しない履歴DBに問い合わせて取得する。また、画像表示装置100、200は、取得した商品履歴に含まれる商品の特徴を抽出する。また、画像表示装置100、200は、抽出した特徴に基づいて第1のメニュー画面10またはメニュー画面30に表示する商品を決定する。また、画像表示装置100、200は、決定した商品に関する画像を含む第1のメニュー画面10またはメニュー画面30を表示する。その結果、好適なメニュー画面を提供できる。
また、画像表示装置100、200は、特定したユーザに対して商品を表示する場合に、商品決定に用いた特徴履歴を取得し、取得した特徴履歴に基づいて第1のメニュー画面10またはメニュー画面30に表示する商品を決定する。その結果、好適なメニュー画面を提供できる。
なお、上記実施例2では、抽出部242は、特定部241が特定した商品の特徴および詳細画面40に対する視線に基づいた特徴を抽出し、商品決定部243は、当該特徴に基づいてメニュー画面50の表示内容を決定するとしたが、これに限定されない。例えば、抽出部242が詳細画面40に対する視線に基づいた特徴を抽出するようにしてもよい。この場合、画像表示装置200は、特定部241の機能を省略することもできる。
なお、上記各実施例では、第1のメニュー画面10またはメニュー画面30は、ユーザが画像表示装置100、200の前に立ったときに最初に表示する画面としたが、これに限定されない。例えば、ユーザからの遷移操作に応じて表示するメニュー画面であってもよい。また、この場合、画像表示装置100、200は、第1のメニュー画面10またはメニュー画面30へ遷移する前に表示したメニュー画面に対するユーザの視線に基づいて、第1のメニュー画面10またはメニュー画面30の表示内容を決定してもよい。
このように、画像表示装置100、200は、所定のメニュー画面から第1のメニュー画面10またはメニュー画面30に切り替える指示を受け付ける。また、画像表示装置100、200は、所定のメニュー画面に対するユーザの視線に基づき、第1のメニュー画面10またはメニュー画面30の表示内容を決定する。また、100、200は、所定のメニュー画面から、表示内容が決定された第1のメニュー画面10またはメニュー画面30に切り替える。その結果、好適なメニュー画面を提供できる。
また、画像表示装置100、200は、第2のメニュー画面20またはメニュー画面50の表示内容を、所定のメニュー画面および第1のメニュー画面10またはメニュー画面30に対するユーザの視線に基づいて決定する。その結果、好適なメニュー画面を提供できる。
また、上記の説明においては、各メニュー画面に、それぞれ商品についての画像を表示する例と挙げて説明したが、表示対象とする内容を商品に限る必要はない。例えば、本や記事のような文書の一覧を各メニュー画面の表示内容としてもよい。また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、特定部141と抽出部142とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、CPU(またはMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図13は、表示制御プログラムを実行するコンピュータの一例を示す図である。
図13に示すように、コンピュータ300は、各種演算処理を実行するCPU301と、データ入力を受け付ける入力装置302と、モニタ303とを有する。また、コンピュータ300は、記憶媒体からプログラム等を読み取る媒体読取装置304と、各種装置と接続するためのインタフェース装置305と、他の情報処理装置等と有線または無線により接続するための通信装置306とを有する。また、コンピュータ300は、各種情報を一時記憶するRAM307と、ハードディスク装置308とを有する。また、各装置301〜308は、バス309に接続される。
ハードディスク装置308には、図1または図7に示した視線検出部111、決定部140または決定部240、および、切替部150または切替部250の各処理部と同様の機能を有する表示制御プログラムが記憶される。また、ハードディスク装置308には、商品DB120および表示制御プログラムを実現するための各種データが記憶される。入力装置302は、例えば、コンピュータ300のユーザから操作情報等の各種情報の入力を受け付ける。モニタ303は、例えば、コンピュータ300のユーザに対して出力画面等の各種画面を表示する。媒体読取装置304は、記憶媒体から各種データを読み取る。インタフェース装置305は、例えば印刷装置等が接続される。通信装置306は、例えば、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。
CPU301は、ハードディスク装置308に記憶された各プログラムを読み出して、RAM307に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ300を図1または図7に示した視線検出部111、決定部140または決定部240、および、切替部150または切替部250として機能させることができる。
なお、上記の表示制御プログラムは、必ずしもハードディスク装置308に記憶されている必要はない。例えば、コンピュータ300が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ300が読み出して実行するようにしてもよい。コンピュータ300が読み取り可能な記憶媒体は、例えば、CD−ROMやDVDディスク、USBメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にこの表示制御プログラムを記憶させておき、コンピュータ300がこれらから表示制御プログラムを読み出して実行するようにしてもよい。
以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。
(付記1)表示部に表示された、商品に関する画像を含む第1のメニュー画面に対してユーザから操作を受け付ける受付部と、
前記第1のメニュー画面に対するユーザの視線および操作に基づき、第2のメニュー画面の表示内容を決定する決定部と、
前記表示部の表示内容を、前記表示内容が決定された前記第2のメニュー画面に切り替える切替部と
を有することを特徴とする画像表示装置。
(付記2)前記決定部は、
前記視線が停留し、前記ユーザからの商品選択操作を受け付けなかった商品を特定する特定部と、
前記特定部が特定した前記商品の特徴を抽出する抽出部と、
前記抽出部が抽出した前記特徴に基づき、商品を決定する商品決定部と、を有し、
前記切替部は、
前記商品決定部が決定した前記商品に関する画像を含む前記第2のメニュー画面に切り替える、
ことを特徴とする付記1に記載の画像表示装置。
(付記3)前記抽出部は、前記商品の詳細情報を含む詳細画面に対するユーザの視線に基づき、前記商品の特徴を抽出する、
ことを特徴とする付記2に記載の画像表示装置。
(付記4)前記商品決定部は、前記抽出部が抽出した前記特徴を含まない商品を決定する、
ことを特徴とする付記2または3に記載の画像表示装置。
(付記5)前記商品決定部は、前記視線の停留位置、停留時間および軌跡の少なくとも1つに基づいて前記商品を決定する、
ことを特徴とする付記2〜4のいずれか1つに記載の画像表示装置。
(付記6)表示部に表示された、商品に関する画像を含む第1のメニュー画面に対してユーザから操作を受け付け、
前記第1のメニュー画面に対するユーザの視線および操作に基づき、第2のメニュー画面の表示内容を決定し、
前記表示部の表示内容を、前記表示内容が決定された前記第2のメニュー画面に切り替える、
処理をコンピュータが実行することを特徴とする表示制御方法。
(付記7)前記視線が停留し、前記ユーザからの商品選択操作を受け付けなかった商品を特定し、
特定した前記商品の特徴を抽出し、
抽出した前記特徴に基づき、商品を決定し、
決定した前記商品に関する画像を含む前記第2のメニュー画面に切り替える、
ことを特徴とする付記6に記載の表示制御方法。
(付記8)前記商品の詳細情報を含む詳細画面に対するユーザの視線に基づき、前記商品の特徴を抽出する、
ことを特徴とする付記7に記載の表示制御方法。
(付記9)抽出した前記特徴を含まない商品を決定する、
ことを特徴とする付記7または8に記載の表示制御方法。
(付記10)前記視線の停留位置、停留時間および軌跡の少なくとも1つに基づいて前記商品を決定する、
ことを特徴とする付記7〜9のいずれか1つに記載の表示制御方法。
(付記11)表示部に表示された、商品に関する画像を含む第1のメニュー画面に対してユーザから操作を受け付け、
前記第1のメニュー画面に対するユーザの視線および操作に基づき、第2のメニュー画面の表示内容を決定し、
前記表示部の表示内容を、前記表示内容が決定された前記第2のメニュー画面に切り替える、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
(付記12)前記視線が停留し、前記ユーザからの商品選択操作を受け付けなかった商品を特定し、
特定した前記商品の特徴を抽出し、
抽出した前記特徴に基づき、商品を決定し、
決定した前記商品に関する画像を含む前記第2のメニュー画面に切り替える、
ことを特徴とする付記11に記載の表示制御プログラム。
(付記13)前記商品の詳細情報を含む詳細画面に対するユーザの視線に基づき、前記商品の特徴を抽出する、
ことを特徴とする付記12に記載の表示制御プログラム。
(付記14)抽出した前記特徴を含まない商品を決定する、
ことを特徴とする付記12または13に記載の表示制御プログラム。
(付記15)前記視線の停留位置、停留時間および軌跡の少なくとも1つに基づいて前記商品を決定する、
ことを特徴とする付記12〜14のいずれか1つに記載の表示制御プログラム。