JP6828974B2 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

Description

本発明は、画像情報の表示制御を行う表示制御装置、表示制御方法および表示制御プログラムに関する。

携帯機器、例えば、スマートフォンを無線によりプロジェクタやＴＶ等の外部ディスプレイに無線接続することで、スマートフォンの画面をより大型の外部ディスプレイにミラーリングもしくは、マルチディスプレイの形で、リアルタイムに表示させることができる。無線接続にはＷｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）や無線ＬＡＮを利用する。

例えば、キャストデバイスと称される無線接続機器をＴＶなどの外部ディスプレイのＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、登録商標）端子に差し込む。そして、スマートフォンでキャストデバイスの検索および接続操作を行うことで、スマートフォンの画面を表示させる。これにより、写真や動画、ブラウジングなどを大画面で共有することができる。例えば、スマートフォンは、画面をミラーリングで外部ディスプレイに出力し、一部の動画再生時等にはマルチディスプレイにより、スマートフォン上に操作画面を表示し、外部ディスプレイにはコンテンツを表示させる。スマートフォンを外部ディスプレイに接続中は、外部ディスプレイに接続中であるアイコンが画面上に小さく表示されている。

キャストデバイス等を介してスマートフォンを外部ディスプレイに接続した後、接続を解除するためには、以下の操作を実施する必要がある。
１．スマートフォンで接続解除操作を行う。
２．外部ディスプレイ（キャストデバイス）、もしくはスマートフォンの電源を切る。例えば、スマートフォンがＷｉ−Ｆｉ Ｄｉｒｅｃｔ、あるいは無線ＬＡＮの接続可能範囲外に移動したときも含まれる。

従来、例えば、携帯端末装置を外部のプロジェクタに接続し、表示内容をスクリーンに投影させる技術がある（例えば、下記特許文献１参照。）。また、携帯端末装置のインカメラにより撮像したユーザの視線が画面のオブジェクトを注視したとき、コメントを含むヘルプ表示をページ画面に重畳表示させる技術がある（例えば、下記特許文献２参照。）。また、情報端末装置のインカメラによりユーザの視線がディスプレイを注視しているかを判断し、注視していない場合はタッチパネルへの入力操作を受け付けない技術がある（例えば、下記特許文献３参照。）。また、タッチパネルのスリープ状態が解除された後、タッチ操作の検出で表示ドライバを停止から動作可能状態に復帰させる技術がある（例えば、下記特許文献４参照。）。

特開２０１４−０２６６０２号公報 特開２０１５−１５３０７３号公報 国際公開第２０１３／１４１１６１号 特開２０１４−１０６８６６号公報

上述したように、スマートフォンを無線接続で外部ディスプレイに接続した後は、接続を解除しない限り、スマートフォンの画面は外部ディスプレイに表示され続ける。この際、スマートフォンがスリープ状態やロック画面の状態でも無線接続は維持され、スリープ状態からの復帰時等に再び外部ディスプレイに表示される。本発明では、スリープ状態とは、例えば、スマートフォンの省電力状態への移行を呼ぶこととする。

このため、スマートフォンを無線接続で外部ディスプレイに接続したユーザが接続解除を忘れる等して接続解除を実施しなかった場合、ユーザの意図に反して外部ディスプレイにスマートフォンの画面が表示され続けてしまう。

近年、無線ＬＡＮ技術の発達により、無線の接続可能範囲は十数メートルまで伸びている。また、ある程度の壁でも無線減衰はするが、電波を通す。ここで、ユーザが外部ディスプレイ接続中であるアイコンに気付かず、あるいはアイコンの意味を把握していない場合があったとする。そして、外部ディスプレイが設置された部屋と別の部屋でスマートフォンの操作を続けるなどすると、スマートフォン上に表示したメールやブラウザの操作、電話帳閲覧の画面が外部ディスプレイに表示され、ユーザの意図に反して第３者にも閲覧されることが考えられる。

なお、従来技術のようなディスプレイ注視の判断を行っただけでは、ユーザはスマートフォンの表示内容が外部ディスプレイへ表示されている状態であることを知ることができず、ユーザが意図しない外部ディスプレイへの表示を抑制できない。

一つの側面では、本発明は、ユーザの意図しない情報漏洩を防止できることを目的とする。

一つの案では、表示制御装置は、外部ディスプレイと無線接続し、自装置の情報を前記外部ディスプレイに表示させる表示制御装置において、自装置がスリープ状態となる以前に、前記外部ディスプレイと無線接続されていた場合、前記スリープ状態からの復帰時に、ユーザが意図せずに自装置が前記外部ディスプレイに接続されている状態であるかを判定する制御部を備えたことを要件とする。

一つの実施形態によれば、ユーザの意図しない情報漏洩を防止できるという効果を奏する。

図１は、実施の形態にかかる表示制御装置の内部構成を示すブロック図である。 図２は、実施の形態にかかる端末を含む表示制御のシステム構成例を示す図である。 図３は、実施の形態にかかる表示制御装置の表示制御例を示すフローチャートである。 図４は、実施の形態にかかる表示制御装置による蓄積データの遷移を説明するフローチャートである。 図５は、実施の形態にかかる表示制御装置による蓄積データの遷移例を示す図表である。 図６は、実施の形態にかかる表示制御装置によるポップアップの表示例を示す図である。 図７は、実施の形態にかかる表示制御装置によるポップアップの表示に基づき、アプリケーション毎の接続解除の状態を説明するフローチャートである。 図８は、実施の形態にかかる表示制御装置によるアプリケーション毎の接続解除時の監視時間の遷移例を示す図表である。

（実施の形態）
図１は、実施の形態にかかる表示制御装置の内部構成を示すブロック図である。表示制御装置は、例えば、ユーザが携帯する携帯機器であり、スマートフォンや、タブレット等の端末である。

端末１００は、上述したように、通信部１０５を介してＴＶ等の外部ディスプレイに装着されたキャストデバイスとの間の無線通信を行い、端末１００の表示部に表示された画像情報を外部ディスプレイに表示させる。

そして、実施の形態の端末１００は、外部ディスプレイに無線接続された状態であることを適切な時期、例えば、端末１００の復帰後の操作時にユーザに通知する。これにより、端末１００上の画像情報がユーザの意図に反して外部ディスプレイに表示されることを防ぐ。上述したように、端末１００を外部ディスプレイに接続後、所定時間が経過して端末１００がスリープ状態になったとする。このような時間経過により、ユーザは端末１００が外部ディスプレイに対する無線接続が維持されていることを失念等する場合があり、このような場合における外部ディスプレイを介したユーザ情報の漏洩を防止する。

図１には、例えば、スマートフォン等の端末１００の表示制御機能にかかる構成を主に記載してある。端末１００は、制御部１０１、撮影部１０２、記憶部１０３、表示部１０４、通信部１０５、を含む。このほか、端末１００は、操作部等を含み、例えば、操作部は表示部１０４に重ねて設けられる透明なタッチパネルである。

撮影部１０２は、例えば、端末１００が有するカメラであり、制御部１０１の制御に基づき、カメラが撮影した画像情報を撮影し、撮影した画像情報を制御部１０１に出力する。表示部１０４は、例えば、端末１００が有するＬＣＤ等のディスプレイであり、制御部１０１の制御に基づき、各種アプリケーション実行時等の内容を画面表示する。撮影部１０２は、例えば、端末１００の表示部１０４を見ながら操作するユーザの顔（視線）を撮影するインカメラである。

制御部１０１は、端末１００の各部の制御を統括するとともに、実施の形態の表示制御を行う。制御部１０１は、画像取得部１１１、監視時間制御部１１２、判定部１１３を含む。

画像取得部１１１は、所定のタイミングで所定の監視時間の間、撮影部１０２が撮影した画像情報を取得し、判定部１１３に出力する。監視時間制御部１１２は、監視時間読込部１２１、監視時間書込部１２２を含む。監視時間読込部１２１は、記憶部１０３（ＲＯＭ１３１）に記憶されている監視時間を読み込む。監視時間書込部１２２は、記憶部（ＲＯＭ１３１）に新たな監視時間を書き込む。

判定部１１３は、画像取得部１１１が取得したユーザの顔の画像情報を画像解析し、端末１００の画面にユーザが注視しているか否かを判定する。そして、判定部１１３は、判定結果を監視時間制御部１１２と表示部１０４に出力する。例えば、判定部１１３の判定結果が、ユーザが画面を「注視している」場合、監視時間書込部１２２は監視時間を更新し、表示部１０４は、端末１００が外部ディスプレイに接続された状態である旨をユーザに通知する表示を行う。

記憶部１０３は、例えば、読み書き可能なＲＯＭ１３１と、ＲＡＭ１３２とを含み、実施の形態の表示制御にかかる情報を格納する。ＲＯＭ１３１，ＲＡＭ１３２は、それぞれ制御部１０１の制御に基づき、情報の読み書きを実行する。

ＲＯＭ１３１は、ユーザが操作可能なアプリケーション毎の監視時間を蓄積データＤとして保持する。監視時間は、アプリケーション毎に予め設定される時間である。アプリケーションは、例えばユーザ操作により端末１００にインストールされ、記憶部１０３（ＲＯＭ１３１）に格納保持されている。

ＲＯＭ１３１には、監視時間制御部１１２により読み書きされる監視時間を蓄積データＤとして格納保持する。蓄積データＤとしては、他に端末１００で起動しているアプリケーションの情報を含み、アプリケーション毎の監視時間が設定される。アプリケーション毎に監視時間は、制御部１０１（判定部１１３）による判定処理毎に短くあるいは長くなるように更新記憶される。ＲＡＭ１３２は、制御部１０１の制御実行時の作業データを格納する。

通信部１０５は、制御部１０１の制御により、外部ディスプレイに装着されたキャストデバイスとの間の無線通信を行う無線送受信機とアンテナ等により構成される。通信部１０５は、表示部１０４に表示される画像情報をキャストデバイスに送信し、外部ディスプレイの画面に表示させる。通信部１０５は、例えば、無線インタフェース（ＩＦ）であり、キャストデバイスとの間を無線接続する。このほか、携帯電話網を介して基地局と無線接続する機能を有する。

上記の制御部１０１は、例えば、ＣＰＵからなり、記憶部１０３のＲＯＭ１３１に格納された制御プログラムを実行することにより、端末１００の各部を動作制御する。また、制御部１０１は、端末１００にインストールされ、ＲＯＭ１３１等に記憶された各種アプリケーションをプログラム実行する。プログラム実行の際、ＣＰＵは、ＲＡＭ１３２を作業データの格納領域として用いる。

図２は、実施の形態にかかる端末を含む表示制御のシステム構成例を示す図である。図２に示す表示制御のシステム２００は、端末１００がキャストデバイス（通信機器）２０１に無線接続し、端末１００に表示する画像情報を、キャストデバイス２０１を介してＴＶ等の外部ディスプレイ２１０に表示させる構成例である。

端末１００は、図１に示した各機能を有する。キャストデバイス２０１は、制御部２０２、通信部２０３、出力部２０４を含む。制御部２０２は、キャストデバイス２０１の制御を行う。通信部２０３は、端末１００の通信部１０５との間で無線通信を行う無線送受信機とアンテナ等により構成される。通信部２０３は、端末１００から送信された画像情報を受信し、制御部２０２に出力する。制御部２０２は、画像情報を、出力部２０４を介して外部ディスプレイ２１０に出力する。出力部２０４は、例えば、ＨＤＭＩ等のインタフェースにより画像情報を出力する。

外部ディスプレイ２１０は、制御部２１１、入力部２１２、表示部２１３を含む。制御部２１１は、外部ディスプレイの制御を行う。入力部２１２は、キャストデバイス２０１から入力された画像情報を制御部２１１に出力する。入力部２１２は、例えば、ＨＤＭＩ等のインタフェースにより画像情報が入力される。表示部２１３は、制御部２１１が出力する画像情報を画面表示するＬＣＤ等のディスプレイである。端末１００と外部ディスプレイ２１０は、上述同様にミラーリングやマルチディスプレイにより画像情報を表示する。

また、外部ディスプレイ２１０は、通信部２１４を含んでもよい。外部ディスプレイ２１０が通信部２１４を有する場合、通信部２１４は、端末１００が送信する画像情報を直接受信することができる。すなわち、通信部２１４を設ける場合、キャストデバイス２０１の機能を有することとなり、キャストデバイス２０１を不要にできる。通信部２１４は、端末１００から送信される画像情報を受信し、制御部２１１を介して表示部２１３に表示させる。

図２に示したキャストデバイス２０１、および外部ディスプレイ２１０についても、それぞれの制御部２０２、２１１がＣＰＵ等のハードウェアを用いて構成できる。これらＣＰＵが図示しない記憶部（例えばＲＯＭ）に格納された制御プログラムを実行することにより、図２に示すキャストデバイス２０１、外部ディスプレイ２１０それぞれの機能を実現できる。この際、ＣＰＵは、図示しない記憶部（例えばＲＡＭ）を作業データの格納領域として用いる。

（端末の表示制御例）
次に、端末１００の制御部１０１が行う表示制御例について説明する。端末１００が外部ディスプレイ２１０に接続中に、端末１００がスリープ状態になった場合、端末１００は外部ディスプレイ２１０への接続を維持し、外部ディスプレイ２１０には黒画面やロック画面などが表示される。ユーザ操作によって端末１００がスリープ状態から復帰し、ロック解除の操作を行うと、再び外部ディスプレイ２１０にスマートフォンの画面が表示される。その後は、ユーザが接続を解除しない限りは接続を維持する。

端末１００の制御部１０１は、外部ディスプレイ２１０に接続中の端末１００がスリープ状態から復帰し、ロック解除の操作後、ユーザによる端末１００の操作を検出する。制御部１０１は、これらの操作を検出した場合、記憶部１０３（ＲＯＭ１３１）の蓄積データＤからそのとき起動しているフォアグラウンドのアプリケーションの情報と、このアプリケーションに対応する監視時間を取得する。

そして、制御部１０１は、撮影部１０２を起動させ、インカメラでユーザの顔検出を開始し判定部１１３により視線検出の画像処理を行い、監視時間の間、ユーザが端末１００の表示部１０４の画面を見ているか（注視）を判定する。制御部１０１（判定部１１３）は、ユーザが表示部１０４を見ていると判定した場合には、表示部１０４にポップアップ表示の画面などで外部ディスプレイ２１０に対する端末１００の接続解除を通知する。

これにより、端末１００のユーザは、接続解除の通知により、端末１００が外部ディスプレイ２１０に接続状態であることを把握することができ、ユーザは、端末１００の外部ディスプレイ２１０への接続解除の有無を必要に応じて実行できる。

例えば、端末１００の外部ディスプレイ２１０への接続状態であることをユーザが失念していた場合、これをユーザに気付かせることができるようになる。そして、ユーザの意図に反して端末１００の表示中の画像情報が外部ディスプレイ２１０の表示部２１３に表示され続けることを防ぐことができる。

また、端末１００のユーザ以外の第３者がユーザの端末１００と外部ディスプレイ２１０との接続操作を行っていた場合、ユーザは接続状態であることを知らないため、意図せずに端末１００の画像情報が外部ディスプレイに表示され続けることになる。このような場合でも、端末１００は、ユーザの操作時に端末１００が外部ディスプレイ２１０に接続状態であることを通知でき、解除操作できるようになる。

上述したように、無線の接続可能範囲は十数メートルまで伸びており、外部ディスプレイ２１０が設置された部屋と別室に端末１００が移動した状態でも電波が通り、互いに無線接続は維持されている場合がある。この際、ユーザは端末１００が外部ディスプレイ２１０に表示された接続中であるアイコンに気付かない場合がある。また、アイコンの意味を把握していない場合や、接続中であること自体を失念している場合がある。このような状態において、外部ディスプレイ２１０が設置された部屋と別の部屋でユーザが端末１００の操作を続けるなどした場合、端末１００上に表示したメールやブラウザの操作、電話帳閲覧の画面が別室の外部ディスプレイ２１０に表示され、ユーザの意図に反して第３者にも閲覧されることが考えられる。

さらには、外部ディスプレイ２１０が設置された部屋にユーザが居たとしても、例えば、ユーザが外部ディスプレイ２１０に背を向けていたとする。この場合においても同様に、ユーザが接続中であることを失念している等により、ユーザの意図に反して端末１００の表示中の画像情報が外部ディスプレイ２１０の表示部２１３に表示され、第３者に閲覧されることが考えられる。

上記のような事例のように、端末１００と外部ディスプレイ２１０との接続状態をユーザが失念し、別部屋に移動した場合等でも、端末１００は、ユーザの操作時に端末１００が外部ディスプレイ２１０に接続状態であることをユーザに通知する。そして、ユーザは外部ディスプレイ２１０に対する端末１００の接続状態を適切に解除操作できるようになる。

図３は、実施の形態にかかる表示制御装置の表示制御例を示すフローチャートである。端末１００の制御部１０１が実行する制御内容について説明する。

はじめに、端末１００は、端末１００で表示中の画像情報を外部ディスプレイ２１０に出力中であるかを判定する（ステップＳ３０１）。画像情報を外部ディスプレイに出力中であれば（ステップＳ３０１：Ｙｅｓ）、次に、端末１００は、自端末１００がスリープ状態から復帰した状態であるかを判定する（ステップＳ３０２）。一方、画像情報を外部ディスプレイに出力中でない場合（ステップＳ３０１：Ｎｏ）、および自端末１００がスリープ状態から復帰した状態でない場合（ステップＳ３０２：Ｎｏ）には、いずれも処理を終了する。

ステップＳ３０２において、自端末１００がスリープ状態から復帰した状態であれば（ステップＳ３０２：Ｙｅｓ）、端末１００は、ユーザによるロック解除操作を受け付ける（ステップＳ３０３）。例えば、ユーザによる所定のロック解除操作（例えば、パスワード入力等）により、スリープ状態によりロック画面や黒画面となっているロック状態を解除し、端末１００を操作可能にする。

ロック解除操作後、次に、端末１００は、ユーザによる端末１００の操作内容を検出する（ステップＳ３０４）。例えば、ユーザの操作として特定のフリック操作やスワイプ操作を検出する。ユーザの操作を検出した場合（ステップＳ３０４：Ｙｅｓ）、端末１００は、そのとき起動しているフォアグラウンドのアプリケーションの情報を取得する（ステップＳ３０５）。記憶部１０３（ＲＯＭ１３１）には、以前の蓄積データＤとしてアプリケーションの情報とアプリケーション毎の監視時間が記憶されている。ユーザの操作を検出しない場合（ステップＳ３０４：Ｎｏ）、以上の処理を終了する。

端末１００（制御部１０１）は、記憶部１０３を参照し、フォアグラウンドのアプリケーションに対応した監視時間を読み出し、現在の監視時間として設定する（ステップＳ３０６）。この後、端末１００は、撮影部１０２のインカメラを起動する（ステップＳ３０７）。

次に、端末１００（制御部１０１）は、撮影部１０２（インカメラ）でユーザの顔の撮影を開始し（ステップＳ３０８）、判定部１１３により画像処理を行い、ユーザの顔検出判定処理を行う（ステップＳ３０９）。この顔検出は、監視時間分継続して行い、監視時間経過後に判定部１１３による顔検出判定処理を終了し（ステップＳ３１０）、撮影部１０２（インカメラ）を停止する（ステップＳ３１１）。

そして、端末１００（判定部１１３）は、顔検出判定処理として、監視時間の間、ユーザが継続して端末１００（表示部１０４）を見ていたか否かを判定する（ステップＳ３１２）。例えば、監視時間の間、継続してユーザが端末１００（表示部１０４）を見ていたと判定したとする（ステップＳ３１２：Ｙｅｓ）。この場合、制御部１０１は、表示部１０４上にポップアップ表示などで外部ディスプレイ２１０との無線接続を接続解除する通知を行う（ステップＳ３１３）。一方、監視時間の間、ユーザが端末１００（表示部１０４）を見ていないと判定した場合（ステップＳ３１２：Ｎｏ）、端末１００は、以上の処理を終了する。

この後、端末１００は、ユーザにより端末１００に対して外部ディスプレイ２１０との接続解除が選択されれば無線接続を解除し、接続解除が選択されない場合には、無線接続を解除せず維持する。そして、端末１００は、ポップアップ表示に基づき、ユーザによる接続解除が選択された場合には、そのとき端末１００上で起動していたアプリケーションの情報と、外部ディスプレイ２１０との無線接続の状況を記録する（ステップＳ３１４）。この際、起動していたアプリケーションに対応する監視時間を所定の判断に基づき記憶部１０３（ＲＯＭ１３１）に蓄積データＤとして記録する。既に蓄積データＤとして記録されているアプリケーションであれば、監視時間を更新し、以上の処理を終了する。

後述するが、端末１００は、上記の処理毎に監視時間を短く設定し、接続解除が選ばれなかった場合、そのとき利用していたフォアグラウンドのアプリケーションを、蓄積データＤに設定し、今回よりも監視時間を長く設定する。

また、ユーザが端末１００の表示部１０４の画面を見ているかを判定する監視時間は、初期設定として固定時間（１分など）を設定しておく。そして、ユーザが意図しない外部ディスプレイ２１０への出力と判断して接続解除操作を行った場合、端末１００は、そのとき起動していたアプリケーションを新たに記録していく。次回以降の処理では、端末１００は、同様のアプリケーションの起動中に外部ディスプレイ２１０へ出力していた場合、前回処理時よりも短い監視時間でユーザに対する接続解除を促す通知を行う。

一方、ユーザに接続解除を促したが、接続が解除操作されない場合には、端末１００は、意図しない外部ディスプレイ２１０へ画像情報が出力されている状態ではないと判定し、そのとき、起動していたアプリケーションを記録する。次回の処理以降も同様のアプリケーションを起動中に外部ディスプレイ２１０へ出力していた場合、前回より監視時間を長く設定する。また、監視時間の設定は、上述したユーザによるロック解除操作（ステップＳ３０３）の後、ステップＳ３０４のフリックまたはスワイプ操作を初めて検出したときに行う。撮影部１０２（インカメラ）を起動（ステップＳ３０７）してからは、ユーザの操作により起動しているフォアグラウンドのアプリケーションが変わったとしても監視時間の変更は行わない。

上述した説明において、ユーザが端末１００の表示部１０４の画面を見て行う操作は、細かいタッチ操作（ロック解除、アプリケーションの選択、ブラウザのページ遷移、写真や動画の選択）である。これら細かいタッチ操作後に、外部ディスプレイ２１０を見ながらフリック操作やスワイプ操作等を行う。この傾向に基づき、ステップＳ３０４では、外部ディスプレイ２１０を見ながら行うユーザの操作としてフリックまたはスワイプ操作を例としている。これにより、視線注視の判定処理に用いる監視時間をユーザの操作にかかる時間に対応した適切な時間に設定できる。

また、実施の形態では、端末１００が外部ディスプレイ２１０との無線接続中にユーザが外部ディスプレイ２１０から離れている、もしくは、外部ディスプレイ２１０の画面が見えない場所にいる状態で端末１００を利用するケースを想定している。これに対応して、端末１００は、ユーザのフリック操作やスワイプ操作を検出した後においても、ユーザが端末１００の画面を見続けている場合は、意図しない外部ディスプレイ２１０への画像情報の出力と判断することとしている。

上述した蓄積データＤは、（１）監視時間の設定のために記憶部１０３（ＲＯＭ１３１）から読み出され、（２）顔検出判定結果に基づき記憶部１０３（ＲＯＭ１３１）に更新して書き込まれる。

（１）蓄積データＤの読み出しについて
図４は、実施の形態にかかる表示制御装置による蓄積データの遷移を説明するフローチャート、図５は、実施の形態にかかる表示制御装置による蓄積データの遷移例を示す図表である。図４および図５を用いて記憶部１０３（ＲＯＭ１３１）に記憶する蓄積データＤの遷移例について説明する。図４に示す処理は、図３のステップＳ３０５，ステップＳ３０６の処理内容に相当する。

はじめに、図４に示すように、端末１００（制御部１０１）は、端末１００上で起動しているアプリケーションの情報を取得する（ステップＳ４０１）。例えば、「アプリＢ」というアプリケーションが起動していた場合、端末１００は、記憶部１０３（ＲＯＭ１３１）の蓄積データＤに該当するアプリケーションの情報が存在するか確認する（ステップＳ４０２）。

ここで、「アプリＢ」が新規のアプリケーションであれば、図５（ａ）に示すように、蓄積データＤには、「アプリＢ」の情報が蓄積されていないため（ステップＳ４０２：Ｎｏ）、新規に蓄積データＤに初期の監視時間を設定する（ステップＳ４０３）。例えば、図５（ｂ）に示すように、初期値として「６０秒」を「アプリＢ（ｃｏｍ．ａｐｐｌｉｃａｉｏｎ．ａｐｐＢ）」の監視時間として設定し、記憶部１０３に新たな蓄積データとして記録する。この後、端末１００は、初期設定した蓄積データＤに基づき、今回の処理（顔検出判定処理）で用いる監視時間を「６０秒」に設定し（ステップＳ４０４）、図３のステップＳ３０７に移行する。

なお、ステップＳ４０２において、起動しているアプリケーションの情報が蓄積データＤに存在する場合（ステップＳ４０２：Ｙｅｓ）、記憶されている蓄積データＤを読み出し、ステップＳ４０４で監視時間を設定する。

（２）ポップアップの表示と蓄積データＤの書き込みについて
図６は、実施の形態にかかる表示制御装置によるポップアップの表示例を示す図である。図６に示すように、端末１００は、図３のステップＳ３１３の処理で表示部１０４にポップアップ表示６００を行う。例えば、図示のように、「現在、外部のディスプレイと接続中です。接続を解除しますか？」とユーザに通知する。ポップアップ表示６００には、端末１００の外部ディスプレイ２１０との無線接続の接続解除を選択する「はい／いいえ」の選択ボタン６０１が表示され、ユーザ操作により接続解除が選択可能である。

図６に示したポップアップ表示６００は、例えば、図３の処理例に示したように、端末１００がスリープ状態からの復帰時、すなわち、端末１００がスリープ状態に入る前に表示部１０４に表示していた表示画像が表示される前にポップアップで表示する。これにより、ユーザは、ポップアップ表示６００によって、外部ディスプレイ２１０との無線接続を接続解除できるようになる。例えば、端末１００は、スリープ状態からの復帰時、端末１００が外部ディスプレイ２１０に無線接続されていれば、端末１００の表示画像を一旦外部ディスプレイ２１０に出力しない制御を行い、選択ボタン６０１のユーザ選択に基づき、外部ディスプレイ２１０に対する表示画像の出力の有無を切り替える構成としてもよい。

図７は、実施の形態にかかる表示制御装置によるポップアップの表示に基づき、アプリケーション毎の接続解除の状態を説明するフローチャートである。図８は、実施の形態にかかる表示制御装置によるアプリケーション毎の接続解除時の監視時間の遷移例を示す図表である。

ポップアップ表示により、ユーザがポップアップ表示６００の選択ボタン６０１で「はい」を選択し、端末１００の外部ディスプレイ２１０との無線接続を解除操作した場合の蓄積データＤの遷移例について説明する。図７に示す処理は、図３のステップＳ３１３，ステップＳ３１４の処理内容に相当する。

はじめに、端末１００は、ポップアップ表示６００を行い（ステップＳ７０１）、図６の内容をユーザに通知する。そして、ユーザが「はい」の選択ボタン６０１を押した場合、端末１００は、起動しユーザが利用していたアプリケーションの情報を取得し、外部ディスプレイ２１０との接続解除の処理を行う（ステップＳ７０２）。

ここで、ポップアップ表示６００の際に、ユーザが利用していたアプリケーション（図４，図５で説明した蓄積データＤを読み込んだ際に利用していたアプリケーション）が「アプリＢ」だったとする（ステップＳ７０３）。この「アプリＢ」の場合、端末１００は、「アプリＢ」について監視時間を記録値から１０秒減少させる。すなわち、図５（ｂ）では「アプリＢ」は、監視時間が「６０秒」であったが、図８（ａ）に示すように、端末１００は、読み出した監視時間を「５０秒」に変更して記憶部１０３（ＲＯＭ１３１）に書き込む更新処理を行う（ステップＳ７０４）。

また、ポップアップを表示していたときに利用していたアプリケーションが「アプリＣ」だったとする（ステップＳ７０５）。この「アプリＣ」は、蓄積データＤとして格納済みであり、この「アプリＣ」についても監視時間を記録値から１０秒減少させる。すなわち、図５（ｂ）では「アプリＣ」は、監視時間が「４０秒」であったが、図８（ｂ）に示すように、端末１００は、監視時間を「３０秒」に変更して記憶部１０３（ＲＯＭ１３１）に書き込む更新処理を行う（ステップＳ７０４）。

また、ポップアップを表示していたときに利用していたアプリケーションが「アプリＤ」だったとする（ステップＳ７０６）。この「アプリＤ」は、蓄積データＤとして格納されていない。このため、端末１００は、「アプリＤ」が新規のアプリケーションであると判定する。ここで、新規のアプリケーションであっても、ポップアップ表示後においては、監視時間を初期値から１０秒減少させる。すなわち、初期値の監視時間は「６０秒」であるが、図８（ｃ）に示すように、端末１００は、監視時間を「５０秒」に変更し、新規のアプリケーション「アプリＤ」の情報とともに記憶部１０３（ＲＯＭ１３１）に書き込む更新処理を行う（ステップＳ７０４）。

なお、端末１００は、ステップＳ７０１のポップアップ表示６００で「いいえ」の選択ボタン６０１が押された場合、監視時間の更新処理（ステップＳ７０４）では、各アプリケーションに監視時間をそれぞれ「１０秒」増加させる処理を行う。

上記によれば、端末１００は、ユーザが頻繁に使用するアプリケーションほど、ポップアップ表示６００の処理後、ユーザが接続解除を行う毎に、監視時間を短く更新する。逆に、ポップアップ表示６００の処理後、ユーザが接続解除を実施しない毎にアプリケーションの監視時間を長く更新する。これにより、ユーザのアプリケーション毎の使用状態に応じて、顔検出判定処理として継続する監視時間を適切に設定でき、ユーザの使用状態に適合した監視時間によりユーザの顔検出（画面の注視判定）を正確に行えるようになる。

以上説明した実施の形態によれば、端末は、ユーザの意図していない状態にある端末の外部ディスプレイへの接続を判断し、端末の表示中の画像情報が外部ディスプレイに表示される状態であることをユーザに通知する。これにより、ユーザは、意図に反して画像情報が外部ディスプレイに表示されてしまう状態を容易に把握でき、必要時には、簡単かつ適切に端末を外部ディスプレイから接続解除できるようになる。

また、ユーザへの通知は、ユーザが端末を操作した際に行うことで、ユーザによる接続解除を適切な時期に通知できるようになる。そして、端末が外部ディスプレイに接続した際にユーザが行う特有の操作、例えば、フリックやスワイプ操作であるかに基づき、外部ディスプレイを見ているときの操作であれば、視線注視の判定用の監視時間を設定する。これにより、監視時間を用いたユーザの視線注視に用いる監視時間を適切な時間に設定できる。

また、ユーザが端末を操作しているに相当する時間を監視時間として設定し、監視時間の間継続してユーザが端末を注視しているか否かを精度よく判定できるようになる。さらに、注視の判定時に利用していたフォアグラウンドのアプリケーションと、ユーザ操作による接続解除や接続継続の結果を蓄積データとして記録していき、次回の処理毎に監視時間を更新する。これにより、学習効果により監視時間を用いた注視の判定精度を向上できるようになる。例えば、ユーザが新規に利用したアプリケーションは初期値の監視時間とし、ユーザが頻繁に使用するアプリケーションほど、判定毎に監視時間を短くすることで、判定精度を維持しつつ判定時間を短縮化でき、上述したユーザへの通知を迅速に行えるようになる。

また、実施の形態では、端末から外部ディスプレイに何らかの文字やイメージを表示している状態に対する情報漏洩を例に説明した。これに限らず、現在の状態で端末から外部ディスプレイに何らかの文字やイメージが表示されていない状態であるものの、端末の操作を続けることによって何らかの文字やイメージが表示されてしまう場合の端末の情報漏洩を防ぐこともできる。例えば、端末が外部ディスプレイに無線接続中である際に外部ディスプレイに文字やイメージが表示されていない状態であり、端末が外部ディスプレイに無線接続中であることをユーザが気付かなかったとする。そして、外部ディスプレイが設置された部屋と別の部屋でユーザがスマートフォンの操作を続けるなどした際に、スマートフォン上に表示した画面を外部ディスプレイに表示されてしまうことを防ぐことができ、ユーザの意図に反した第３者等への情報漏洩を防ぐことができる。

なお、本実施の形態で説明した表示制御方法は、予め用意された制御プログラムを対象となる機器のコンピュータ（表示制御装置のＣＰＵ等）で実行することにより実現することができる。本制御プログラムは、磁気ディスク、光ディスク、フラッシュメモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、制御プログラムは、インターネット等のネットワークを介して配布してもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）外部ディスプレイと無線接続し、自装置の情報を前記外部ディスプレイに表示させる表示制御装置において、
自装置がスリープ状態となる以前に、前記外部ディスプレイと無線接続されていた場合、前記スリープ状態からの復帰時に、ユーザが意図せずに自装置が前記外部ディスプレイに接続されている状態であるかを判定する制御部を備えたことを特徴とする表示制御装置。

（付記２）自装置を操作するユーザの顔を撮影する撮影部を有し、
前記制御部は、
前記スリープ状態からの復帰後のユーザ操作時に前記撮影部を起動させ、所定の監視時間の間継続して、前記撮影部が撮影したユーザが自装置を注視しているかを判定し、当該判定結果に基づき、自装置の情報が前記外部ディスプレイに表示される状態である通知を行うことを特徴とする付記１に記載の表示制御装置。

（付記３）自装置の各種情報を表示する表示部を有し、
前記制御部は、ユーザが自装置を注視している判定時には、自装置の情報が前記外部ディスプレイに表示される状態である通知を前記表示部に表示することを特徴とする付記２に記載の表示制御装置。

（付記４）前記監視時間を記憶する記憶部を有し、
前記制御部は、
自装置が前記外部ディスプレイに無線接続した状態時のユーザの特有な操作を検出した場合、当該操作を行った際に自装置上で前記ユーザが利用しているアプリケーションの種別毎に、前記監視時間を前記記憶部に設定することを特徴とする付記２または３に記載の表示制御装置。

（付記５）前記制御部は、
自装置が前記外部ディスプレイに無線接続した状態時のユーザの特有な操作を検出し、当該操作を行った際に自装置上で前記ユーザが利用しているアプリケーションが前記記憶部に設定されていない場合、新規なアプリケーションであると判定し、前記監視時間として所定の初期値を設定することを特徴とする付記４に記載の表示制御装置。

（付記６）前記制御部は、
自装置が前記外部ディスプレイに無線接続した状態時のユーザの特有な操作として、ユーザが前記外部ディスプレイを見ながら行うフリック、スワイプ操作を検出することを特徴とする付記４または５に記載の表示制御装置。

（付記７）前記制御部は、
前記ユーザに対する前記通知による前記外部ディスプレイとの無線接続の解除操作時には、前記ユーザが利用していたアプリケーションの監視時間を短くして更新設定することを特徴とする付記２〜６のいずれか一つに記載の表示制御装置。

（付記８）前記制御部は、
前記ユーザに対する前記通知による前記外部ディスプレイとの無線接続が解除操作されなかった時には、前記ユーザが利用していたアプリケーションの監視時間を長くして更新設定することを特徴とする付記２〜７のいずれか一つに記載の表示制御装置。

（付記９）前記制御部は、
前記外部ディスプレイに装着される通信機器を介して自装置の画像情報を前記外部ディスプレイに表示することを特徴とする付記１〜８のいずれか一つに記載の表示制御装置。

（付記１０）外部ディスプレイと無線接続し、自装置の情報を前記外部ディスプレイに表示させる表示制御装置の表示制御方法において、
自装置がスリープ状態となる以前に、前記外部ディスプレイと無線接続されていた場合、前記スリープ状態からの復帰時に、ユーザが意図せずに自装置が前記外部ディスプレイに接続されている状態であるかを判定することを特徴とする表示制御方法。

（付記１１）外部ディスプレイと無線接続し、自装置の情報を前記外部ディスプレイに表示させる表示制御装置のコンピュータが実行する表示制御プログラムにおいて、
自装置がスリープ状態となる以前に、前記外部ディスプレイと無線接続されていた場合、前記スリープ状態からの復帰時に、ユーザが意図せずに自装置が前記外部ディスプレイに接続されている状態であるかを判定する、
処理を前記コンピュータに実行させることを特徴とする表示制御プログラム。

１００ 表示制御装置（端末）
１０１，２０２，２１１ 制御部（ＣＰＵ）
１０２ 撮影部
１０３ 記憶部
１０４，２１３ 表示部
１０５，２０３，２１４ 通信部
１１１ 画像取得部
１１２ 監視時間制御部
１１３ 判定部
１２１ 監視時間読込部
１２２ 監視時間書込部
１３１ ＲＯＭ
１３２ ＲＡＭ
２００ システム
２０１ キャストデバイス
２０４ 出力部
２１０ 外部ディスプレイ
２１２ 入力部
６００ ポップアップ表示
６０１ 選択ボタン
Ｄ 蓄積データ

Claims (9)

1. 外部ディスプレイと無線接続し、自装置の情報を前記外部ディスプレイに表示させる表示制御装置において、
   自装置を操作するユーザの顔を撮影する撮影部と、
   自装置がスリープ状態となる以前に、前記外部ディスプレイと無線接続されていた場合、前記スリープ状態からの復帰後のユーザ操作時に前記撮影部を起動させ、所定の監視時間の間継続して、前記撮影部が撮影したユーザが自装置を注視しているかを判定し、当該判定結果に基づき、自装置の情報が前記外部ディスプレイに表示される状態である通知を行う制御部を備えたことを特徴とする表示制御装置。
2. 自装置の各種情報を表示する表示部を有し、
   前記制御部は、ユーザが自装置を注視している判定時には、自装置の情報が前記外部ディスプレイに表示される状態である通知を前記表示部に表示することを特徴とする請求項１に記載の表示制御装置。
3. 前記監視時間を記憶する記憶部を有し、
   前記制御部は、
   自装置が前記外部ディスプレイに無線接続した状態時のユーザの特有な操作を検出した場合、当該操作を行った際に自装置上で前記ユーザが利用しているアプリケーションの種別毎に、前記監視時間を前記記憶部に設定することを特徴とする請求項１または２に記載の表示制御装置。
4. 前記制御部は、
   自装置が前記外部ディスプレイに無線接続した状態時のユーザの特有な操作を検出し、当該操作を行った際に自装置上で前記ユーザが利用しているアプリケーションが前記記憶部に設定されていない場合、新規なアプリケーションであると判定し、前記監視時間として所定の初期値を設定することを特徴とする請求項３に記載の表示制御装置。
5. 前記制御部は、
   自装置が前記外部ディスプレイに無線接続した状態時のユーザの特有な操作として、ユ
   ーザが前記外部ディスプレイを見ながら行うフリック、スワイプ操作を検出することを特徴とする請求項３または４に記載の表示制御装置。
6. 前記制御部は、
   前記ユーザに対する前記通知による前記外部ディスプレイとの無線接続の解除操作時には、前記ユーザが利用していたアプリケーションの監視時間を短くして更新設定することを特徴とする請求項１〜５のいずれか一つに記載の表示制御装置。
7. 前記制御部は、
   前記ユーザに対する前記通知による前記外部ディスプレイとの無線接続が解除操作されなかった時には、前記ユーザが利用していたアプリケーションの監視時間を長くして更新設定することを特徴とする請求項１〜６のいずれか一つに記載の表示制御装置。
8. 外部ディスプレイと無線接続し、自装置の情報を前記外部ディスプレイに表示させ、自装置を操作するユーザの顔を撮影する撮影部を備える表示制御装置の表示制御方法において、
   自装置がスリープ状態となる以前に、前記外部ディスプレイと無線接続されていた場合、前記スリープ状態からの復帰後のユーザ操作時に前記撮影部を起動させ、所定の監視時間の間継続して、前記撮影部が撮影したユーザが自装置を注視しているかを判定し、当該判定結果に基づき、自装置の情報が前記外部ディスプレイに表示される状態である通知を行うことを特徴とする表示制御方法。
9. 外部ディスプレイと無線接続し、自装置の情報を前記外部ディスプレイに表示させ、自装置を操作するユーザの顔を撮影する撮影部を備える表示制御装置のコンピュータが実行する表示制御プログラムにおいて、
   自装置がスリープ状態となる以前に、前記外部ディスプレイと無線接続されていた場合、前記スリープ状態からの復帰後のユーザ操作時に前記撮影部を起動させ、所定の監視時間の間継続して、前記撮影部が撮影したユーザが自装置を注視しているかを判定し、当該判定結果に基づき、自装置の情報が前記外部ディスプレイに表示される状態である通知を行う、
   処理を前記コンピュータに実行させることを特徴とする表示制御プログラム。

Images