JP7009066B2 - Display device, its control method, and control program - Google Patents
Display device, its control method, and control program Download PDFInfo
- Publication number
- JP7009066B2 JP7009066B2 JP2017026761A JP2017026761A JP7009066B2 JP 7009066 B2 JP7009066 B2 JP 7009066B2 JP 2017026761 A JP2017026761 A JP 2017026761A JP 2017026761 A JP2017026761 A JP 2017026761A JP 7009066 B2 JP7009066 B2 JP 7009066B2
- Authority
- JP
- Japan
- Prior art keywords
- display device
- touch panel
- icon
- displayed
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
Description
本発明は、撮像装置を備える表示装置に関し、特に、テレビ会議などリアルタイムで双方向通信を行うための表示装置に関する。 The present invention relates to a display device including an image pickup device, and more particularly to a display device for performing two-way communication in real time such as a video conference.
一般に、テレビ会議などのようにリアルタイムで双方向通信を行う際には、被写体を撮像して画像信号に変換して相手側に送信し、相手側から受けた画像信号に応じた画像を表示する必要がある。例えば、テレビ会議においては、表示装置に映し出された相手側の顔を見つつ会話を行い、同時に利用者の顔が撮像装置によって撮影されて画像信号として相手側に送られる。 Generally, when performing two-way communication in real time such as in a video conference, the subject is imaged, converted into an image signal and transmitted to the other party, and an image corresponding to the image signal received from the other party is displayed. There is a need. For example, in a video conference, a conversation is held while looking at the face of the other party displayed on the display device, and at the same time, the face of the user is photographed by the image pickup device and sent to the other party as an image signal.
ところで、従来のテレビ会議システムなどにおいては、撮像装置は表示装置と独立してその周辺に配置されており、このため、表示装置の画面を目視している人物は、例えば、斜め方向から撮影されることになる。従って、表示装置に映し出された相手側の顔は視線が正面からずれて別の方向を向いてしまう。この結果、相互の会話がぎこちない状態となるばかりでなく、面と向かって会話する場合と比較して違和感がある。 By the way, in a conventional video conference system or the like, the image pickup device is arranged in the vicinity thereof independently of the display device. Therefore, a person who is visually observing the screen of the display device is photographed from an oblique direction, for example. Will be. Therefore, the line of sight of the face of the other party projected on the display device deviates from the front and faces in a different direction. As a result, not only is the mutual conversation awkward, but there is also a sense of discomfort compared to the case of face-to-face conversation.
さらに、撮像装置と表示装置とが別体であるので不可避的に製造コストが増大し、個別の装置として取り扱わなければならないので、システム構築が煩雑になる。 Further, since the image pickup device and the display device are separate bodies, the manufacturing cost inevitably increases, and the system must be handled as individual devices, which complicates the system construction.
このような状況に対処するため、複数の表示画素の間に遮光部材を配置して、表示装置の背部に撮像装置を配置するようにしたものがある（特許文献１参照）。ここでは、遮光部材には撮像装置に光を導くための開口部が形成され、撮像装置は開口部に対応した位置に結像光学系を有している。 In order to deal with such a situation, there is a method in which a light-shielding member is arranged between a plurality of display pixels and an image pickup device is arranged on the back of the display device (see Patent Document 1). Here, the light-shielding member is formed with an opening for guiding light to the image pickup device, and the image pickup device has an imaging optical system at a position corresponding to the opening.
特許文献１に記載の表示装置では、表示装置を目視する人物を正面から撮像することができ、これによって、利用者は表示装置に表示される相手と視線を一致させること、つまり、アイコンタクトをとることが可能となる。その結果、テレビ会議などにおいては、相手を正面から目視して、つまり、相手と目を合わせて対話することができ、コミュニケーションが向上する。
In the display device described in
なお、特許文献１においては、アイコンタクト状態とするため、利用者などが撮像装置を見るように、撮像装置が配置された位置において、表示装置に相手の顔を重畳して表示する。
In
さらに、相手側の右目の位置がカメラの取付位置と一致するように、相手側の画像の座標変換を行い、相手側の顔の傾きに応じてディスプレイを回転させるようにしたテレビ装置がある（特許文献２参照）。 In addition, there is a television device that transforms the coordinates of the image of the other party so that the position of the right eye of the other party matches the mounting position of the camera, and rotates the display according to the tilt of the face of the other party ( See Patent Document 2).
特許文献２に記載のテレビ装置では、相手側の顔とカメラとが重畳するように表示制御するので、相手側が動くか又は顔を傾けた場合でも、相手側の顔は画面中央にほぼ正立した状態で表示される。この結果、対話者間におけるアイコンタクト状態を保持することができる。
In the television device described in
加えて、ディスプレイの表示面に透明タッチパネルを配置して、ディスプレイに機器操作に係るアイコンを表示することが多い。このような表示装置では、利用者によってアイコンがタッチ操作されると、透明タッチパネルによってその操作が感知される。そして、表示装置に備えられたＣＰＵはいずれのアイコンがタッチ操作されたかを検知する。これにより、表示装置に備えられる操作用スイッチ類を削減することができる。 In addition, a transparent touch panel is often placed on the display surface of the display to display an icon related to device operation on the display. In such a display device, when the icon is touch-operated by the user, the operation is sensed by the transparent touch panel. Then, the CPU provided in the display device detects which icon is touch-operated. As a result, the number of operation switches provided in the display device can be reduced.
ところが、特許文献２に記載のテレビ装置（表示装置）において、ディスプレイに透明タッチパネルを配置すると、次のような問題点がある。
However, in the television device (display device) described in
図１４は、従来の表示装置の一例を説明するための図である。 FIG. 14 is a diagram for explaining an example of a conventional display device.
図１４において、表示装置１０００に備えられた表示パネル２０００の表面には透明タッチパネル３０００が配置されている。利用者が表示パネル２０００に表示されたアイコンをタッチ操作した際、指４０００が撮像装置１１００の撮影範囲１１１０に入った場合、指４０００は相手側の表示装置に表示される。この際、指４０００が相手側に向かってくるように表示されると、相手側は不快感を抱いてしまうことになる。
In FIG. 14, a
従って、本発明の目的は、相手側がタッチ操作による不快感を抱くことのない表示装置、その制御方法、および制御プログラムを提供することにある。 Therefore, an object of the present invention is to provide a display device, a control method thereof, and a control program so that the other party does not feel uncomfortable due to a touch operation.
上記の目的を達成するため、本発明による表示装置は、操作用のアイコンおよび画像が表示され、且つ、タッチ操作を受け付け可能なタッチパネルと、前記タッチパネルの背面側に配置され撮像を行う撮像手段とを有する表示装置であって、複数のモードから１つのモードを設定モードとして設定する設定手段と、前記設定手段によって前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記タッチパネルに表示し、且つ、前記アイコンの操作方向を変更する制御手段と、を有し、前記アイコンは、ユーザのタッチ操作によって移動するカーソルを有し、前記制御手段は、前記予め定められたモードが設定されると、前記カーソルの操作範囲と前記撮像手段の撮影光路との距離が変更前よりも長くなるように前記アイコンの操作方向を変更することを特徴とする。 In order to achieve the above object, the display device according to the present invention includes a touch panel on which icons and images for operation are displayed and capable of accepting touch operations, and an imaging means arranged on the back side of the touch panel to perform imaging. When a setting means for setting one mode from a plurality of modes as a setting mode and a mode predetermined as the setting mode are set by the setting means, the display position of the icon is changed. It has a control means for changing and displaying on the touch panel outside the image angle of the image pickup means and changing the operation direction of the icon, and the icon has a cursor moved by a user's touch operation. The control means has the operation direction of the icon so that when the predetermined mode is set, the distance between the operation range of the cursor and the shooting optical path of the image pickup means becomes longer than before the change. It is characterized by changing .
本発明によれば、利用者が画像を見つつ相手側と対話を行う際、相手側がタッチ操作による不快感を抱くことがない。 According to the present invention, when the user interacts with the other party while viewing the image, the other party does not feel uncomfortable due to the touch operation.
以下に、本発明の実施の形態による表示装置の一例について図面を参照して説明する。 Hereinafter, an example of the display device according to the embodiment of the present invention will be described with reference to the drawings.
なお、この表示装置は撮像装置を備えており、双方向通信を用いたテレビ会議などに用いられる。また、ここでは、空間１において利用者βがテレビ会議を利用し、空間１と異なる空間２において利用者αがテレビ会議を利用するものとする。つまり、空間１に配置された表示装置と空間２に配置された表示装置とは通信回線によって接続されている。
This display device is equipped with an image pickup device and is used for a video conference or the like using two-way communication. Further, here, it is assumed that the user β uses the video conference in the
図１は、本発明の実施の形態による表示装置の一例を説明するための図である。そして、図１（ａ）は表示装置を正面側から示す図であり、図１（ｂ）は表示装置を上面側から示す図である。また、図１（ｃ）は表示装置を側面側から示す図である。 FIG. 1 is a diagram for explaining an example of a display device according to an embodiment of the present invention. 1 (a) is a view showing the display device from the front side, and FIG. 1 (b) is a view showing the display device from the upper surface side. Further, FIG. 1 (c) is a view showing the display device from the side surface side.
図１（ａ）に示す表示装置１は、テレビ会議システムなどで用いられる表示装置であり、後述する撮像装置を備えている。そして、表示装置１は空間１において利用者βが使用し、表示装置１には空間２にいる利用者αの画像が表示される。また、図１（ｂ）においては、空間１において表示装置１を観察する利用者βと表示装置１との位置関係が示されている。
The
表示装置１は光を透過可能な表示パネル（表示部）２を備えており、表示パネル２の表面には透明タッチパネル３が配置されている。表示パネル２の背面側（図中＋ｚ方向）には、表示パネル２を目視する利用者βを撮影するための撮像装置（以下カメラと呼ぶ）１１が配設されている。このカメラ１１は、表示パネル２の画面中央より上方（図中＋ｙ方向）側に配設され、表示パネル２に備えられた表示画素部の一部を介して利用者βを撮影する。
The
なお、カメラ１１は撮影レンズ、撮像素子、および撮像素子駆動回路を備えている。また、以下の説明では、カメラ１１の撮影画角１２において表示パネル２および透明タッチパネル３を通過する領域を撮影光路とする。
The
前述の表示パネル２は、例えば、有機ＥＬで構成されており、カメラ１１の撮影光路に光を透過する。表示パネル２の周囲には、利用者βの音声を集音するマイク２１、２２、２３、および２４が配設されるとともに、利用者αの音声を出力するスピーカー３１および３２が配設されている。また、表示パネル２の上面には操作スイッチ４０が配設されている。
The
なお、空間２で用いられる表示装置も図１に示す表示装置１と同様の構成を有している。また、図示の透明タッチパネル３は、接触式のタッチパネルであるが、例えば、静電容量方式などの非接触式のタッチパネルであってもよい。
The display device used in the
図２は、図１に示す表示装置の構成についてその一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the configuration of the display device shown in FIG.
前述のように、カメラ１１は、撮像素子１０および撮像素子駆動回路５１を備えている。システム制御回路５０は、撮像素子駆動回路５１を制御して撮像素子１０を駆動する。撮像素子駆動回路５１は撮像素子１０の出力である画像信号に所定の画像処理を施して画像データとしてシステム制御回路５０に送る。
As described above, the
システム制御回路５０は、表示処理回路５２によって表示パネル２に相手側の顔画像などの画像を表示する。音声処理回路５３はシステム制御回路５０の制御下でマイク２１～２４で集音された音声を処理して音声データとしてシステム制御回路５０に送る。システム制御回路５０は、相手側から受信した音声データに応じて駆動回路５４を駆動してスピーカー３１および３２から音声を出力する。
The
図示のように、システム制御回路５０には、操作スイッチ４０、設定スイッチ４１、リモコン回路５５、送受信回路５６、演算回路５７、および記憶回路５８が接続されており、演算回路５７には視線検出回路５７ａが備えられている。
As shown in the figure, an
なお、リモコン回路５５は表示装置１をリモコン操作する際に用いられる回路であり、送受信回路５６は相手側と画像データおよび音声データを送受する際に用いられる回路である。また、設定スイッチ４１は、各種設定を行う際に用いられる。
The
図３は、図１（ａ）に示す状態と異なる状態で表示装置を正面側から示す図である。さらに、図４Ａおよび図４Ｂは、図１に示す表示装置の動作を説明するためのフローチャートである。 FIG. 3 is a view showing the display device from the front side in a state different from the state shown in FIG. 1 (a). Further, FIGS. 4A and 4B are flowcharts for explaining the operation of the display device shown in FIG.
図５は、図１に示す表示装置に表示されるアイコンの一例を説明するための図であり、図５（ａ）は画像表示モードおよび音声通話モードの際に表示パネルに表示されるアイコンを示す図である。また、図５（ｂ）はテレビ電話モードの際に表示パネルに表示されるアイコンを示す図であり、図５（ｃ）は指などの映り込みを示す図である。そして、図６は、図１に示す表示装置における相手側利用者の視線検出を説明するための図である。 FIG. 5 is a diagram for explaining an example of an icon displayed on the display device shown in FIG. 1, and FIG. 5A shows an icon displayed on the display panel in the image display mode and the voice call mode. It is a figure which shows. Further, FIG. 5B is a diagram showing an icon displayed on the display panel in the videophone mode, and FIG. 5C is a diagram showing reflection of a finger or the like. FIG. 6 is a diagram for explaining the line-of-sight detection of the other user in the display device shown in FIG.
図１乃至図６を参照して、いま、空間１にいる利用者βがテレビ会議システムを構成する表示装置１に備えられた操作スイッチ４０を操作すると、表示装置１が起動する。表示装置１が起動すると、システム制御回路５０は、設定スイッチ４１の操作によって設定された動作モード（設定モード）を確認する（ステップＳ１０１）。そして、システム制御回路５０は、確認の結果に基づいて表示装置１がテレビ電話モードであるか否かを判定する（ステップＳ１０２）。
With reference to FIGS. 1 to 6, when the user β currently in the
表示装置１がテレビ電話モードでないと（ステップＳ１０２において、ＮＯ）、システム制御回路５０は通常表示を行う（ステップＳ１４０）。ここで、テレビ電話モードでない場合は、画像表示モード又は音声通話モードであり、画像表示モードは、例えば、表示パネル２に記憶回路５８に記憶した画像を表示するモードである。また、音声通話モードは、相手側と音声通話を行うためのモードである。いずれのモードにおいても、表示パネル２に操作用アイコンなどが表示される。
If the
図５（ａ）には、画像表示モード又は音声通話モードである場合に表示パネル２に表示される操作用アイコンなどが示されている。ここでは、表示パネル２には、現在時刻２０１、現在の天候２０２、通話用操作アイコン２０３、および連絡先確認用操作アイコン２０４が表示される。さらに、表示パネル２には、Ｅメール作成および確認を行うための操作アイコン２０５およびインターネットのアクセスを行うための操作アイコン２０６が表示される。そして、システム制御回路５０は、利用者βの操作に応じて画像表示又は音声通話を行い、画像表示又は音声通話が終了すると、表示装置動作を終了する。
FIG. 5A shows an operation icon and the like displayed on the
表示装置１がテレビ電話モードであると（ステップＳ１０２において、ＹＥＳ）、システム制御回路５０はカメラ１１を撮影モードに設定し、表示処理回路５２によって表示パネル２に表示する各種表示および操作用アイコンを変更する（ステップＳ１０３）。
When the
図５（ｂ）には、テレビ電話モードの際の表示例が示されており、範囲２１１は、透明タッチパネル３上におけるカメラ１１の撮影光路の範囲を示す。なお、図示の例では、相手側である利用者αの顔画像が表示されているが、ステップＳ１０３の段階では、未だ利用者αとの通信状態が設定されていないので、この段階では利用者αの顔画像は表示されない。つまり、後述するステップＳ１１２の段階で利用者αの顔画像が表示されるが、ここでは、説明の便宜上、利用者αの顔画像が示されている。
FIG. 5B shows a display example in the videophone mode, and the
範囲２１１の外側には、カメラ１１の撮影画角を規定する枠２１２が表示される。この枠２１２は利用者βの指１４などがカメラ１１で得られた撮影画像に映り込み、利用者αが用いる表示装置に表示される範囲である。さらに、枠２１２内には注意喚起のためのメッセージ「この枠内は指が映り込みます」が表示される。つまり、利用者βに対して、指１４が撮影画角１２に入ると撮影画像に映り込み、利用者αに対して表示されることを注意するためのメッセージが表示される。なお、枠２１２内には現在時刻２０１および通話時間２０７が表示される。
A
また、枠２１２の外側には、テレビ電話モードに操作される操作アイコン２０４、２０５、および２０６が表示される。なお、操作アイコン２０４は、図５（ａ）に示す例と比べて異なる位置に表示される。図５（ｂ）に示す例では、操作アイコン２０４の操作による指１４の映り込みを防止するため、操作アイコン２０４の表示位置が枠２１２の外側に変更される。
Further, on the outside of the
このように、指１４などが映り込む範囲を示す枠２１２、注意喚起のメッセージ２１３を表示パネル２に表示するとともに、テレビ電話モードにおいて操作される操作アイコンを枠２１２の外側に表示する。これによって、指１４などが撮影画像に映り込み、利用者αに対して表示される可能性を低減することができ、利用者αが不快感を抱くことを抑制できる。
In this way, the
図５（ｃ）に示すように、例えば、利用者βの指１４が位置１４ｂにある場合、指１４は範囲２１１の外にあるので、透明タッチパネル３を操作しても、指１４が撮影画像に映り込むことがない。操作アイコン２０４～２０６が枠２１２の下側に配列されていることを考慮すると、枠２１２を画面の上側領域に設定すれば、タッチパネル３を操作する際にカメラ１１の撮影画角１２に指１４が入ることが少なくなる。
As shown in FIG. 5 (c), for example, when the
続いて、システム制御回路５０は、送受信回路５６を介して空間２に配置された表示装置との通信状態を設定する（ステップＳ１０４）。そして、システム制御回路５０は空間２に配置された表示装置（システム）を確認する（ステップＳ１０５）。ここでは、システム制御回路５０は、表示装置に備えられたカメラの数、カメラの焦点距離、カメラの位置情報、および送信される信号の形態などをシステム情報として得る。なお、送信される信号の形態とは、例えば、送信される画像信号のフレーム周期である。
Subsequently, the
次に、システム制御回路５０は、空間１に配置された表示装置１の利用者情報を初期設定する（ステップＳ１０６）。なお、利用者情報には、利用者の人数、会話を行っている話者の目の位置、および話者以外の利用者の目の位置を示す情報が含まれており、記憶回路５８に記憶される。
Next, the
続いて、システム制御回路５０はカメラ１１によって、空間１、つまり、利用者βを撮影する（ステップＳ１０７）。ここでは、システム制御回路５０は撮像素子駆動回路５１を制御して撮像素子１０を駆動、つまり、読み出し制御する。これによって、撮影レンズ（図示せず）を介して撮像素子１０に結像した光学像に応じた画像信号が撮像素子１０から読み出される。そして、システム制御回路５０は、音声処理回路５３を制御してマイク２１、２２、２３および２４によって集音された音声を空間２に送信可能な所定の信号形態の音声信号に処理する。
Subsequently, the
次に、システム制御回路５０は送受信回路５６によって画像信号、音声信号、および記憶回路５８に記憶された利用者情報を、空間２に配置された表示装置に送信する（ステップＳ１０８）。この際、システム制御回路５０は、カメラ１１で得られた画像信号を順次、つまり、連続的に送信する。そして、システム制御回路５０は、撮影によって得られた画像を用いて、演算回路５７によって利用者βの顔領域を認識する（ステップＳ１０９）。そして、システム制御回路５０は、演算回路５７によって当該顔領域における目の位置を検出し、演算回路５７に備えられた視線検出回路５７ａによって利用者βの視線を検出する（ステップＳ１１０）。
Next, the
視線を検出する際には、例えば、図６に示すように、視線検出回路５７ａは、利用者βの目１５の領域を、上下左右方向にそれぞれ３分割して９つの領域（領域ａ～ｉ）を得る。そして、視線検出回路５７ａは利用者βの目１５における瞳１６の領域が、領域ａ～ｉのいずれかに存在するかを判別して、水平および垂直方向における視線方向を検出する。なお、利用者の顔領域を認識する手法については、例えば、特開２０００－４８１８４号公報に記載されているので、ここでは説明を省略する。
When detecting the line of sight, for example, as shown in FIG. 6, the line-of-sight detection circuit 57a divides the region of the
続いて、システム制御回路５０は、カメラ１１の撮影光軸に対する利用者βの顔の中心位置の変位量Ｉｘβを求めて、当該変位量Ｉｘβを利用者情報として記憶回路５８に記憶する（ステップＳ１１１）。さらに、ここでは、システム制御回路５０は演算回路５７によって利用者βの顔画像における目の間隔に基づいて、利用者βと表示装置１との間隔である距離Ｚβを求める（図１（ｂ）参照）。そして、システム制御回路５０は当該距離Ｚβを利用者情報として記憶回路５８に記憶する。なお、成人の目の間隔はおおよそ６５ｍｍであり、カメラ１１の撮影倍率を用いて距離Ｚβを算出することができる。
Subsequently, the
次に、システム制御回路５０は、送受信回路５６によってテレビ会議システムの相手側の表示装置（空間２）から送信された画像信号、音声信号、および利用者情報を受信する（ステップＳ１１２）。ここでは、空間２における利用者情報、つまり、空間２の利用者αの顔の位置Ｉｘαが空間１に配置された表示装置の表示パネル２の画面サイズを考慮して記憶回路５８に記憶される。
Next, the
システム制御回路５０は、空間２における利用者情報を用いて利用者αの目の位置に基づいて顔の中心位置を認識する。そして、システム制御回路５０は利用者αの顔の中心位置と表示画面の中心との距離Ｉｘαを確認する（ステップＳ１１３）。さらに、ここでは、システム制御回路５０は、ステップＳ１１０の処理と同様に、視線検出回路５７ａによって利用者αの視線方向を検出する。
The
なお、図１（ａ）には、空間２から送られた画像を表示装置１にそのまま表示した例が示されている。図１（ａ）においては、利用者αの顔の中心位置と表示画面の中心との距離Ｉｘαは、表示パネル２に表示された利用者αの顔の表示位置Ｄｘαと一致している。
Note that FIG. 1A shows an example in which the image sent from the
続いて、システム制御回路５０は利用者βの視線方向と利用者αの視線方向（つまり、検出結果）とに基づいて、利用者αおよび利用者βの視線が一致している両者アイコンタクト状態であるか否かを判定して判定結果を得る（ステップＳ１１４）。判定結果が両者アイコンタクト状態であると（ステップＳ１１４において、ＹＥＳ）、システム制御回路５０は相手側の利用者αが顔の位置を動かしても違和感を抱くことなく視線合致の効果が得られるように利用者αの画像を更新する。そして、システム制御回路５０は利用者αの目の位置と空間２に配置された表示装置のシステム情報とに基づいて、受信した画像信号の特性を判定する（ステップＳ１１５）。ここでは、システム制御回路５０は演算回路５７によって利用者αの顔の中心位置Ｉｘαと受信画像のフレーム周期Δｔとに基づいて利用者αの顔の位置の時間変位量ΔＩｘαを求める。
Subsequently, the
いま、直前の利用者αの顔の位置をＩｘα０、今回の利用者αの顔の位置をＩｘα１とすると、利用者αの顔の位置の時間変位量ΔＩｘαは、次の式（１）で表すことができる。 Assuming that the position of the face of the user α immediately before is Ixα0 and the position of the face of the user α this time is Ixα1, the time displacement amount ΔIxα of the position of the face of the user α is expressed by the following equation (1). be able to.
ΔＩｘα＝（Ｉｘα１－Ｉｘα０）／Δｔ （１）
続いて、システム制御回路５０は、記憶回路５８に記憶された利用者βの位置情報Ｚβを確認する（ステップＳ１１６）。そして、システム制御回路５０は、時間変位量ΔＩｘαに基づいて利用者αの顔の位置が変化しているか否かを判定する（ステップＳ１１７）。
ΔIxα = (Ixα1-Ixα0) / Δt (1)
Subsequently, the
利用者αの顔の位置が変化していると（ステップＳ１１７において、ＹＥＳ）、システム制御回路５０は演算回路５７によって表示パネル２における利用者αの顔の表示位置Ｄｘαを求める（ステップＳ１１８）。ここでは、利用者αの顔の位置が動いた場合でも、利用者間の視線が合致可能であり、かつ顔および背景が滑らかに動いて違和感のないように表示制御が行われる。よって、システム制御回路５０は利用者αの顔の位置の時間変位量ΔＩｘαに応じて、利用者αの表示位置Ｄｘαを決定する。
When the position of the face of the user α is changed (YES in step S117), the
図１（ｂ）には、利用者αの画像を表示装置１にそのまま表示した際における利用者βの注視位置とカメラ１１とのなす視線振れ角θβが示されている。ここでは、利用者βは利用者αの顔の表示位置Ｄｘαを注視するので、視線振れ角θβは、次の式（２）の関係を満たす。
FIG. 1B shows the line-of-sight deflection angle θβ formed by the gaze position of the user β and the
ｔａｎ（θβ）≒Ｄｘα／Ｚβ （２）
さらに、利用者βの注視位置とカメラ１１とのなす角度θβは、視線が合致していると認識可能な角度の限界（限界角度）θβｔｈに入るように制御される。ここでは、限界角度θβｔｈは２°に設定される。
tan (θβ) ≒ Dxα / Zβ (2)
Further, the angle θβ formed by the gaze position of the user β and the
ここで、直前の利用者αの顔の表示パネル２における表示位置をＤｘα０とし、利用者αの顔の表示位置Ｄｘα０とカメラ１１とのなす角度をθβ０とする。さらに、今回の受信画像における利用者αの顔の表示位置Ｄｘα１とカメラ１１とのなす角度θβ１との時間変化量をΔθβとすると、視線振れ角θβ１は、次の式（３）を満たす。
Here, the display position on the
θβ１＝θβ０＋Δθβ＜θβｔｈ （３）
一方、判定結果が両者アイコンタクト状態でないと（ステップＳ１１４において、ＮＯ）、システム制御回路５０は演算回路５７による利用者αの顔の表示位置Ｄｘαの算出を停止する（ステップＳ１３０）。
θβ1 = θβ0 + Δθβ <θβth (3)
On the other hand, if the determination result is not in the eye contact state (NO in step S114), the
図７は、図１に示す表示装置において両者アイコンタクト状態ではない場合を示す図である。 FIG. 7 is a diagram showing a case where the display device shown in FIG. 1 is not in an eye contact state.
図７においては、利用者βは表示パネル２に表示された利用者αとアイコンタクトがとれていない。ここでは、利用者αは利用者βの顔の方向に視線を向けているものの、利用者βは利用者αの顔よりも下方を見ている状態である。
In FIG. 7, the user β is not in eye contact with the user α displayed on the
両者アイコンタクト状態でない場合において、図７に示すように、利用者βが利用者αの顔よりも下方に視線を向けている状態である状態では、利用者β利用者αの顔以外のものを注視していることになる。 When both are not in eye contact state, as shown in FIG. 7, when the user β is in a state where the line of sight is directed below the face of the user α, something other than the face of the user β user α is used. Will be watching.
このような場合には、後述するように、システム制御回路５０は表示パネル２の表示状態に変化がないように制御を行う。つまり、システム制御回路５０は表示パネル２に表示された画像の更新をしないと決定する。これによって、利用者βが注視しているものが利用者αの顔でない場合であっても、利用者βが違和感を抱かないようにすることができる。
In such a case, as will be described later, the
図８は、図１に示す表示装置に表示される顔画像の表示位置の制御を説明するための図である。そして、図８（ａ）は直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１とのなす角度θβ０が零の場合の制御を示す図である。また、図８（ｂ）は直前の利用者αの顔がカメラ１１の光軸上にない場合の制御を示す図である。
FIG. 8 is a diagram for explaining control of a display position of a face image displayed on the display device shown in FIG. 1. FIG. 8A is a diagram showing control when the angle θβ0 formed by the display position Dxα0 of the face of the user α immediately before and the
図８（ａ）においては、直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１の光軸とのなす角度θβ０が零、つまり、直前の受信画像においてカメラ１１の光軸上に利用者αの顔が存在する場合の制御が示されている。図示のように、利用者αの顔の位置の時間変位量ΔＩｘαが所定値以下の場合（例えば、制御量である時間変化量Δθβ≦１°である場合）、時間変位量ΔＩｘαに対して線形となるように制御量Δθβを設定する（図８（ａ）において破線で示す）。
In FIG. 8A, the angle θβ0 formed by the display position Dxα0 of the face of the immediately preceding user α and the optical axis of the
また、利用者αの顔の位置の時間変位量ΔＩｘαが大きい場合には、受信画像をそのまま表示せず、表示位置が大きく変化しないように補正して表示を行う（図８（ａ）に実線で示す）。この際、制御量Δθβは、視線が合致していると認識可能な限界角度θβｔｈに入るように設定される。 Further, when the time displacement amount ΔIxα of the position of the face of the user α is large, the received image is not displayed as it is, but is corrected so that the display position does not change significantly (solid line in FIG. 8A). (Indicated by). At this time, the control amount Δθβ is set so as to be within the limit angle θβth that can be recognized that the lines of sight match.
このように、利用者αの顔の位置の時間変位量ΔＩｘαに応じて、表示装置１に表示される利用者αの顔の位置とカメラ１１とのなす角度との制御量Δθβが決定される。この際、制御量Δθβは表示の際の変化量が大きくならないように所定値以下に決定される。
In this way, the control amount Δθβ between the position of the face of the user α displayed on the
上述のようにして、制御量Δθβを決定すると、システム制御回路５０は、演算回路５７によって上述の式（２）および式（３）を用いて利用者αの表示パネル２における顔の表示位置Ｄｘα１を求める。そして、システム制御回路５０は表示位置Ｄｘα１に応じて顔の表示位置を決定する（ステップＳ１１９）。
When the control amount Δθβ is determined as described above, the
なお、利用者αの顔の位置が変化していないと（ステップＳ１１７において、ＮＯ）、システム制御回路５０はステップＳ１１９の処理に進み、直前の受信画像における顔の位置と同様の位置に顔の表示位置を決定する。
If the position of the face of the user α has not changed (NO in step S117), the
続いて、システム制御回路５０は表示処理回路５２を制御して表示パネル２に利用者αの画像を表示する（ステップＳ１２０）。図３においては、表示パネル２に表示された利用者αの画像が示されている。ここでは、あたかもカメラ１１を小さくパンニングしたように顔および背景が滑らかな動きで表示されるので、利用者βは利用者αと視線が合致してコミュニケーションが良好となり、かつ表示の変化に関して違和感を抱くことがない。
Subsequently, the
次に、システム制御回路５０は、音声処理回路５３によってマイク２１、２２、２３、および２４によって検出された音声信号に基づいて、空間１において会話を行っている話者の位置を検出する（ステップＳ１２１）。
Next, the
なお、複数の音声信号から話者を検出する手法として、例えば、遅延和方式がある。そして、システム制御回路５０は、記憶回路５８に格納された利用者情報である利用者の目の位置を話者の目の位置として更新する（ステップＳ１２２）。
As a method of detecting a speaker from a plurality of audio signals, for example, there is a delay sum method. Then, the
続いて、システム制御回路５０は操作スイッチ１４０の状態を確認して、通信が終了したか否かを判定する（ステップＳ１２３）。通信が終了していないと、つまり、テレビ会議システムが使用中であると（ステップＳ１２３において、ＮＯ）、システム制御回路５０はステップＳ１０７の処理に戻る。
Subsequently, the
一方、通信が終了すると（ステップＳ１２３において、ＹＥＳ）、システム制御回路５０は送受信を終了する（ステップＳ１２４）。そして、システム制御回路５０はカメラ１１による利用者の撮影を終了して、表示パネル２の表示を図５（ａ）に示す状態に戻す（ステップＳ１２５）。その後、システム制御回路５０は、表示装置の動作、ここでは、テレビ電話モードを終了する。
On the other hand, when the communication ends (YES in step S123), the
前述のように、判定結果が両者アイコンタクト状態でないと（ステップＳ１１４において、ＮＯ）、システム制御回路５０はステップＳ１３０の処理を行う。そして、システム制御回路５０は、表示処理回路５２を制御して直前の利用者αの顔の表示位置Ｄｘαを保持する（ステップＳ１３１）。その後、システム制御回路５０は、ステップＳ１２０の処理に進み、上記の表示位置Ｄｘαに利用者αの画像を表示する。
As described above, if the determination result is not in the eye contact state of both (NO in step S114), the
なお、ステップＳ１１４の処理において、両者アイコンタクト状態でないと判定した直前の状態が両者アイコンタクト状態であったとする。この場合、システム制御回路５０は両者アイコンタクト状態であった際に表示パネル２に表示された利用者αの顔の表示位置Ｄｘαで表示パネル２に利用者αの表示を継続する。
In the process of step S114, it is assumed that the state immediately before determining that the two are not in the eye contact state is the both eye contact state. In this case, the
一方、Ｓ１１４の処理において、両者アイコンタクト状態でないと判定した直前の状態も両者アイコンタクト状態でなかったとする。この場合、システム制御回路５０は直前に表示パネル２に表示された利用者αの顔の位置Ｄｘαで表示パネル２に利用者αの表示を継続する。
On the other hand, in the process of S114, it is assumed that the state immediately before determining that the two are not in the eye contact state is also not in the both eye contact states. In this case, the
これによって、表示パネル２の表示状態は変化しないので、利用者βは視線を向けている方向（図７に示す例では、利用者αの顔よりも下方）に表示されているものは画面において動かない。よって、利用者βが注視しているものが利用者αの顔でない場合であっても、利用者βが違和感を抱くことはない。
As a result, the display state of the
前述のように、ステップＳ１３１の処理の後、ステップＳ１２０の処理に進む。そして、利用者βが利用者αとの会話を継続して、図７に示す両者アイコンタクト状態でない場合から利用者βが利用者αの顔の方向に視線を向けたとする。この場合には、ステップＳ１１４の処理において、システム制御回路５０は両者アイコンタクト状態になったと判定する。これよって、対話を行う相手側利用者が顔の位置を動かした場合であっても、違和感を抱くことなく視線合致の効果を得ることができる。
As described above, after the process of step S131, the process proceeds to the process of step S120. Then, it is assumed that the user β continues the conversation with the user α and the user β turns his / her gaze toward the face of the user α from the case where the two are not in the eye contact state shown in FIG. In this case, in the process of step S114, the
ここで、図８（ｂ）を参照すると、図示の例では、直前の受信画像において利用者αの顔がカメラ１１の撮影光軸上にない。ここでは、直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１の光軸とのなす角度θβ０が所定値を超える場合（例えば、１°を超える場合）における顔画像の表示位置制御が示されている。
Here, referring to FIG. 8B, in the illustrated example, the face of the user α is not on the shooting optical axis of the
直前の利用者αの顔の表示位置Ｄｘα０とカメラ１１の光軸とのなす角度θβ０が所定値を超える場合には、利用者αの顔の位置の時間変位量ΔＩｘαが小さい場合でも受信画像をそのまま表示しない。そして、表示位置が大きく変化しないように補正して表示を行う（図８（ｂ）に実線で示す）。この際、制御量Δθβは、視線が合致していると認識可能な角度限界θβｔｈに入るように設定される。なお、図８（ｂ）において、破線は時間変位量ΔＩｘαと制御量Δθβとが線形関係の状態を示す。
When the angle θβ0 between the display position Dxα0 of the face of the user α immediately before and the optical axis of the
上述の例では、受信画像から利用者αの顔の位置Ｉｘαの情報を得て、表示パネル２における利用者αの顔の表示位置Ｄｘαを決定するようにした。一方、顔の動きを予測するようにすれば、遅延することなく画像を滑らかに表示することが可能となる。
In the above example, the information on the face position Ixα of the user α is obtained from the received image, and the display position Dxα of the face of the user α on the
図９は、図１に示す表示装置で行われる顔の追尾を説明するための図である。 FIG. 9 is a diagram for explaining face tracking performed by the display device shown in FIG. 1.
システム制御回路５０の制御下で、演算回路５７は顔の位置の時間的変化（図中実線で示す範囲）に基づいて将来的な顔の位置を予測（図中点線で示す範囲）して顔画像の表示位置を決定する。これによって、遅延することなく顔画像を滑らかに表示することが可能となる。
Under the control of the
図１０は、図１に示す表示装置と通信を行う表示装置を説明するための図である。そして、図１０（ａ）はその正面図であり、図１０（ｂ）は上側から見た図である。 FIG. 10 is a diagram for explaining a display device that communicates with the display device shown in FIG. 10 (a) is a front view thereof, and FIG. 10 (b) is a view seen from above.
図１０（ａ）に示すように、図示の表示装置３０１は表示装置１と同様の構成を有している。つまり、表示装置３０１は表示パネル３０２、透明タッチパネル３０３、カメラ３１１、マイク３２１、３２２、３２３、および３２４、スピーカー３３１および３３２、および操作部３４０を有している。そして、表示装置３０１には空間１の利用者βの顔が表示される。なお、図１０（ｂ）には、利用者αと表示装置３０１との位置関係が示されている。
As shown in FIG. 10A, the illustrated
図１０（ａ）に示すように、表示パネル３０２には非表示領域３０４が設定されている。図１０（ｂ）において、利用者αはカメラ３１１の光軸から離れた位置Ｘαから表示パネル３０２を注視しており、利用者αの観察位置をカメラ３１１の光軸寄りに誘導するため表示パネル３０２に非表示領域３０４が設定される。
As shown in FIG. 10A, a
表示パネル３０２に非表示領域３０４を設定するか否かについて次のようにして、システム制御回路５０が判定する。
The
システム制御回路５０はカメラ３１１で利用者αを撮影する。システム制御回路５０の制御下で、演算回路５７はカメラ３１１で得られた画像から利用者αの顔を認識する。この際、演算回路５７は利用者αの顔領域において目の位置を検出し、カメラ３１１の光軸に対する利用者αの顔の中心位置の変位量Ｉｘαを求める。なお、カメラ３１１の光軸に対する利用者αの顔の中心位置の変位量Ｘαは、カメラ３１１の撮影倍率に応じて求められる。
The
上記の変位量Ｘαが所定値（所定量）を超えていると、システム制御回路５０は、演算回路５７によって利用者αをカメラ３１１の光軸寄りに誘導するため、表示パネル３０２に非表示領域３０４を設定する。つまり、システム制御回路５０は、顔の中心位置を検出して、当該中心位置とカメラ３１１の光軸とのずれが所定量を超えると、中央位置と光軸との位置関係に応じて非表示領域３０４を設定する。
When the displacement amount Xα exceeds a predetermined value (predetermined amount), the
非表示領域３０４が設定されると、システム制御回路５０は表示処理回路５２を制御して表示パネル３０２に利用者βの顔画像を非表示領域３０４とともに表示する。
When the
上述の例では、表示装置１を目視する利用者βの観察距離Ｚβを、利用者βの目の間隔に基づいて算出した。一方、表示パネル２の大きさによって概ね観察距離は決定されるので、表示パネル２の大きさに基づいて観察距離Ｚβを設定するようにしてもよい。
In the above example, the observation distance Zβ of the user β who visually observes the
図１１は、図１に示す表示装置に表示されるアイコンの一例を説明するための図であり、図１１（ａ）は画像表示モードおよび音声通話モードの際に表示パネルに表示されるアイコンを示す図である。また、図１１（ｂ）はテレビ電話モードの際に表示パネルに表示されるアイコンを示す図である。なお、図１１において、図５に示す構成要素と同一の構成要素については同一の参照番号を付して説明を省略する。 11 is a diagram for explaining an example of an icon displayed on the display device shown in FIG. 1, and FIG. 11A shows an icon displayed on the display panel in the image display mode and the voice call mode. It is a figure which shows. Further, FIG. 11B is a diagram showing an icon displayed on the display panel in the videophone mode. In FIG. 11, the same components as those shown in FIG. 5 are designated by the same reference numbers, and the description thereof will be omitted.
図１１（ａ）および図１１（ｂ）には、カーソルを有する操作アイコン２２０が画面に表示されている。図１１（ａ）においては、操作アイコン２２０は画面において右側に配置され、その操作方向は上下方向（ｙ軸方向）に延びている。一方、図１１（ｂ）においては、操作アイコン２２０は画面において下側に配置され、その操作方向は左右方向（ｘ軸方向）に延びている。これによって、テレビモードにおいては、カーソルを操作する際に、指が撮影画角１２に入り込むことを防止することができる。
In FIGS. 11A and 11B, an
さらには、テレビ電話モードの際には、注意喚起のメッセージ２１３を表示するようにしたが、後述するように、利用者βが利用者αとのアイコンタクト状態を止めた際に表示パネル２に注意喚起のメッセージ２１３を表示するようにしてもよい。また、操作アイコンを操作する利用者βが利用者αとのアイコンタクト状態を止めた際に操作アイコン２０２の操作方向を変更するようにしてもよい。
Furthermore, in the videophone mode, the
図１２Ａおよび図１２Ｂは、図１に示す表示装置の動作の他の例を説明するためのフローチャートである。なお、図１２Ａおよび図１２Ｂにおいて、図４Ａおよび図４Ｂに示すステップと同一のステップについては同一の参照符号を付して説明を省略する。 12A and 12B are flowcharts for explaining another example of the operation of the display device shown in FIG. In FIGS. 12A and 12B, the same steps as those shown in FIGS. 4A and 4B are designated by the same reference numerals and the description thereof will be omitted.
表示装置１がテレビ電話モードであると（ステップＳ１０２において、ＹＥＳ）、システム制御回路５０はカメラ１１を撮影モードに設定し、表示処理回路５２によって表示パネル２に表示する各種表示および操作用アイコンを変更する（ステップＳ２０３）。その後、システム制御回路５０はステップＳ１０４の処理に進む。
When the
図１３は、図１に示す表示装置による表示変更を説明するための図である。そして、図１３（ａ）は表示変更前の画面を示す図であり、図１３（ｂ）は表示変更後の画面を示す図である。また、図１３（ｃ）は画面に表示された注意喚起マークを示す図である。なお、図１３において、図１１に示す構成要素と同一の構成要素については同一の参照番号付す。 FIG. 13 is a diagram for explaining a display change by the display device shown in FIG. 13 (a) is a diagram showing a screen before the display change, and FIG. 13 (b) is a diagram showing a screen after the display change. Further, FIG. 13C is a diagram showing a caution mark displayed on the screen. In FIG. 13, the same reference numbers are assigned to the same components as those shown in FIG.
図１３（ａ）には、ステップＳ２０３の処理で変更される前に表示パネル２に表示された各種表示および操作用アイコンが示されている。そして、図１３（ｂ）には、ステップＳ２０３の処理で変更された後の表示パネル２に表示される各種表示および操作用アイコンが示されている。
FIG. 13A shows various display and operation icons displayed on the
表示変更後において、つまり、テレビ電話モードにおける画面表示では、枠２１２および注意喚起のメッセージ２１３は表示されず、ここでは、画面の右側に上下方向に延びる操作アイコン２２０が表示される。
After the display is changed, that is, in the screen display in the videophone mode, the
再び図１２Ａおよび図１２Ｂを参照して、ステップＳ１３０の処理の後、システム制御回路５０は、視線検出回路５７ａを用いて利用者βが利用者αとのアイコンタクト状態を止めたか否かを判定する（ステップＳ２３２）。アイコンタクト状態を止めていないと（ステップＳ２３２において、ＮＯ）、システム制御回路５０はステップＳ１２０の処理に進む。
With reference to FIGS. 12A and 12B again, after the processing of step S130, the
利用者βがアイコンタクト状態を止めた場合には、表示装置１に備えられた操作スイッチ４０、設定スイッチ４１、又は表示パネル２に表示された各種操作アイコンを操作する可能性が高い。よって、操作の際に利用者βの指１４が撮影画像に映り込み利用者αに対して表示される可能性が高い。
When the user β stops the eye contact state, there is a high possibility that the
従って、アイコンタクト状態を止めると（ステップＳ２３２において、ＹＥＳ）、システム制御回路５０は、表示パネル２の画面表示を変更する（ステップＳ２３３）。そして、システム制御回路５０はステップＳ１２０の処理に進む。
Therefore, when the eye contact state is stopped (YES in step S232), the
ステップＳ２３３の処理では、例えば、図１３（ｃ）に示す画面が表示パネル２に表示される。ここでは、枠２１２および注意喚起のマーク２２３が表示されるとともに、操作アイコン２２０の操作方向が左右方向に変更される。
In the process of step S233, for example, the screen shown in FIG. 13C is displayed on the
これによって、利用者βの指１４が撮影画像に映り込んで、利用者αに対して表示される可能性を低減して、利用者αが不快感を抱くことを抑制することができる。
As a result, the possibility that the
なお、上述の実施の形態では、テレビ電話モードを選択した際の表示制御について説明したが、テレビ電話モードには限定されない。例えば、利用者βの画像を表示パネル２に表示する自分撮りモードにおいても、利用者βの指１４が撮影画像に映り込むことを防止するようにしてもよい。
In the above-described embodiment, the display control when the videophone mode is selected has been described, but the display control is not limited to the videophone mode. For example, even in the self-shooting mode in which the image of the user β is displayed on the
このように、本発明の実施の形態では、タッチ操作が行われる場面においては、表示パネルに表示される画面を変更するようにしたので、通話の相手側がタッチ操作による不快感を抱くことを防止することができる。 As described above, in the embodiment of the present invention, the screen displayed on the display panel is changed in the scene where the touch operation is performed, so that the other party of the call is prevented from feeling uncomfortable due to the touch operation. can do.
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 Although the present invention has been described above based on the embodiments, the present invention is not limited to these embodiments, and various embodiments within the range not deviating from the gist of the present invention are also included in the present invention. ..
例えば、上記の実施の形態の機能を制御方法として、この制御方法を表示装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを表示装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。 For example, the function of the above embodiment may be used as a control method, and the display device may be made to execute this control method. Further, a program having the functions of the above-described embodiment may be used as a control program, and the control program may be executed by a computer provided in the display device. The control program is recorded on, for example, a computer-readable recording medium.
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[Other embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１ 表示装置
２ 表示パネル
３ 透明タッチパネル
１０ 撮像素子
１１ カメラ
２１～２４ マイク
３１，３２ スピーカー
５０ システム制御回路
５７ 演算回路
５７ａ 視線検出回路
1
Claims (18)
複数のモードから１つのモードを設定モードとして設定する設定手段と、
前記設定手段によって前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記タッチパネルに表示し、且つ、前記アイコンの操作方向を変更する制御手段と、
を有し、
前記アイコンは、ユーザのタッチ操作によって移動するカーソルを有し、
前記制御手段は、前記予め定められたモードが設定されると、前記カーソルの操作範囲と前記撮像手段の撮影光路との距離が変更前よりも長くなるように前記アイコンの操作方向を変更することを特徴とする表示装置。 A display device having a touch panel on which operation icons and images are displayed and capable of accepting touch operations, and an image pickup means arranged on the back side of the touch panel and performing image pickup.
Setting means to set one mode as setting mode from multiple modes,
When a predetermined mode is set as the setting mode by the setting means, the display position of the icon is changed to be displayed on the touch panel outside the angle of view of the image pickup means, and the operation of the icon is performed. Control means to change the direction and
Have,
The icon has a cursor that is moved by a user's touch operation.
When the predetermined mode is set, the control means changes the operation direction of the icon so that the distance between the operation range of the cursor and the shooting optical path of the image pickup means becomes longer than before the change . A display device characterized by.
複数のモードから１つのモードを設定モードとして設定する設定手段と、
前記設定手段によって前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記タッチパネルに表示し、且つ、前記アイコンの操作方向を変更する制御手段と、
を有し、
前記アイコンは、ユーザのタッチ操作により移動するカーソルを有し、
前記制御手段は、前記予め定められたモードが設定されると、前記カーソルの操作方向を前記タッチパネルの上下方向から左右方向へ変更することを特徴とする表示装置。 A display device having a touch panel on which operation icons and images are displayed and capable of accepting touch operations, and an image pickup means arranged on the back side of the touch panel and performing image pickup.
Setting means to set one mode as setting mode from multiple modes,
When a predetermined mode is set as the setting mode by the setting means, the display position of the icon is changed to be displayed on the touch panel outside the angle of view of the image pickup means, and the operation of the icon is performed. Control means to change the direction and
Have,
The icon has a cursor that is moved by a user's touch operation.
The control means is a display device characterized in that when a predetermined mode is set, the operation direction of the cursor is changed from the vertical direction to the horizontal direction of the touch panel .
複数のモードから１つのモードを設定モードとして設定する設定手段と、
前記設定手段によって前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記タッチパネルに表示し、且つ、前記アイコンの操作方向を変更する制御手段と、
を有し、
前記制御手段は、前記予め定められたモードが設定された際、前記画角を規定する範囲である枠を前記タッチパネルに表示して、前記枠の外側に前記アイコンを表示し、さらに、前記アイコンのタッチ操作が撮像される可能性を注意するためのメッセージを前記タッチパネルに表示することを特徴とする請求項1に記載の表示装置。 A display device having a touch panel on which operation icons and images are displayed and capable of accepting touch operations, and an image pickup means arranged on the back side of the touch panel and performing image pickup.
Setting means to set one mode as setting mode from multiple modes,
When a predetermined mode is set as the setting mode by the setting means, the display position of the icon is changed to be displayed on the touch panel outside the angle of view of the image pickup means, and the operation of the icon is performed. Control means to change the direction and
Have,
When the predetermined mode is set, the control means displays a frame within a range defining the angle of view on the touch panel, displays the icon on the outside of the frame, and further displays the icon. The display device according to claim 1, wherein a message for paying attention to the possibility that the touch operation of the above is imaged is displayed on the touch panel.
複数のモードから１つのモードを設定モードとして設定する設定手段と、
前記設定手段によって前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記タッチパネルに表示する制御手段と、を有し、
前記予め定められたモードでは、前記制御手段は、前記撮像手段によって第１の空間を撮像して得られた第１の画像を相手側に送信するとともに、第２の空間を撮像して得られた第２の画像を前記相手側から受けて前記第２の画像を前記タッチパネルに表示し、
前記第１の画像に存在する第１の話者の視線と前記第２の画像に存在する第２の話者との視線とを検出して、当該検出結果に応じて両者がアイコンタクト状態であるか否かを判定する判定手段を、さらに有し、
前記制御手段は、前記判定手段による判定結果に基づいて前記アイコンの表示位置を変更することを特徴とする表示装置。 A display device having a touch panel on which operation icons and images are displayed and capable of accepting touch operations, and an image pickup means arranged on the back side of the touch panel and performing image pickup.
Setting means to set one mode as setting mode from multiple modes,
When a predetermined mode is set as the setting mode by the setting means, the control means has a control means for changing the display position of the icon and displaying it on the touch panel outside the angle of view of the image pickup means. ,
In the predetermined mode, the control means is obtained by imaging the first space by the imaging means, transmitting the first image obtained by imaging the first space to the other party, and imaging the second space. The second image is received from the other party, and the second image is displayed on the touch panel.
The line of sight of the first speaker present in the first image and the line of sight of the second speaker present in the second image are detected, and both are in eye contact state according to the detection result. Further having a determination means for determining whether or not there is,
The control means is a display device characterized in that the display position of the icon is changed based on the determination result by the determination means.
前記相手側から送られた音声信号に応じた音声を出力するスピーカー手段と、を有し、
前記制御手段は前記マイク手段で得られた音声信号を前記相手側に通信回線を介して送信することを特徴とする請求項９に記載の表示装置。 A microphone means that collects the voice of the first speaker and outputs a voice signal,
It has a speaker means for outputting a voice corresponding to a voice signal sent from the other party.
The display device according to claim 9, wherein the control means transmits an audio signal obtained by the microphone means to the other party via a communication line.
複数のモードから１つのモードを設定モードとして設定する設定ステップと、
前記設定ステップで前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記タッチパネルに表示し、且つ、前記アイコンの操作方向を変更する制御ステップと、
を有し、
前記アイコンは、ユーザのタッチ操作によって移動するカーソルを有し、
前記制御ステップでは、前記予め定められたモードが設定されると、前記カーソルの操作範囲と前記撮像手段の撮影光路との距離が変更前よりも長くなるように前記アイコンの操作方向が変更されることを特徴とする表示装置の制御方法。 A control method for a display device having a touch panel on which operation icons and images are displayed and capable of accepting touch operations, and an imaging means arranged on the back side of the touch panel for performing imaging.
A setting step to set one mode as a setting mode from multiple modes,
When a predetermined mode is set as the setting mode in the setting step, the display position of the icon is changed to be displayed on the touch panel outside the angle of view of the image pickup means, and the operation of the icon is performed. Control steps to change direction and
Have,
The icon has a cursor that is moved by a user's touch operation.
In the control step, when the predetermined mode is set, the operation direction of the icon is changed so that the distance between the operation range of the cursor and the shooting optical path of the image pickup means is longer than before the change. A method of controlling a display device , characterized in that.
複数のモードから１つのモードを設定モードとして設定する設定ステップと、A setting step to set one mode as a setting mode from multiple modes,
前記設定ステップで前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記タッチパネルに表示し、且つ、前記アイコンの操作方向を変更する制御ステップと、When a predetermined mode is set as the setting mode in the setting step, the display position of the icon is changed to be displayed on the touch panel outside the angle of view of the image pickup means, and the operation of the icon is performed. Control steps to change direction and
を有し、Have,
前記アイコンは、ユーザのタッチ操作により移動するカーソルを有し、The icon has a cursor that is moved by a user's touch operation.
前記制御ステップでは、前記予め定められたモードが設定されると、前記カーソルの操作方向が前記タッチパネルの上下方向から左右方向へ変更されることを特徴とする表示装置の制御方法。A control method for a display device, wherein in the control step, when the predetermined mode is set, the operation direction of the cursor is changed from the vertical direction to the horizontal direction of the touch panel.
複数のモードから１つのモードを設定モードとして設定する設定ステップと、A setting step to set one mode as a setting mode from multiple modes,
前記設定ステップで前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記タッチパネルに表示し、且つ、前記アイコンの操作方向を変更する制御ステップと、When a predetermined mode is set as the setting mode in the setting step, the display position of the icon is changed to be displayed on the touch panel outside the angle of view of the image pickup means, and the operation of the icon is performed. Control steps to change direction and
を有し、Have,
前記制御ステップでは、前記予め定められたモードが設定された際、前記画角を規定する範囲である枠が前記タッチパネルに表示され、前記枠の外側に前記アイコンが表示され、さらに、前記アイコンのタッチ操作が撮像される可能性を注意するためのメッセージが前記タッチパネルに表示されることを特徴とする表示装置の制御方法。In the control step, when the predetermined mode is set, a frame within a range defining the angle of view is displayed on the touch panel, the icon is displayed on the outside of the frame, and the icon is further displayed. A control method for a display device, characterized in that a message for noting the possibility that a touch operation is imaged is displayed on the touch panel.
複数のモードから１つのモードを設定モードとして設定する設定ステップと、
前記設定ステップで前記設定モードとして予め定められたモードが設定されると、前記アイコンの表示位置を変更して前記撮像手段の画角よりも外側で前記タッチパネルに表示する制御ステップと、を有し、
前記予め定められたモードにおいて、前記制御ステップでは、前記撮像手段によって第１の空間を撮像して得られた第１の画像を相手側に送信するとともに、第２の空間を撮像して得られた第２の画像を前記相手側から受けて前記第２の画像を前記タッチパネルに表示し、
前記第１の画像に存在する第１の話者の視線と前記第２の画像に存在する第２の話者との視線とを検出して、当該検出結果に応じて両者がアイコンタクト状態であるか否かを判定する判定ステップを、さらに有し、
前記制御ステップでは、前記判定ステップによる判定結果に基づいて前記アイコンの表示位置を変更することを特徴とする表示装置の制御方法。 A control method for a display device having a touch panel on which operation icons and images are displayed and capable of accepting touch operations, and an imaging means arranged on the back side of the touch panel for performing imaging.
A setting step to set one mode as a setting mode from multiple modes,
When a predetermined mode is set as the setting mode in the setting step, it has a control step of changing the display position of the icon and displaying it on the touch panel outside the angle of view of the image pickup means. ,
In the predetermined mode, in the control step, the first image obtained by imaging the first space by the imaging means is transmitted to the other party, and the second space is imaged and obtained. The second image is received from the other party, and the second image is displayed on the touch panel.
The line of sight of the first speaker present in the first image and the line of sight of the second speaker present in the second image are detected, and both are in eye contact state according to the detection result. Further having a determination step for determining whether or not there is,
The control step is a control method for a display device, wherein the display position of the icon is changed based on the determination result of the determination step.
前記表示装置が備えるコンピュータに、請求項１４乃至１７のいずれか１項に記載の各ステップを実行させることを特徴とする制御プログラム。 A control program used in a display device having a touch panel on which operation icons and images are displayed and capable of accepting touch operations, and an imaging means arranged on the back side of the touch panel for performing imaging.
A control program comprising a computer included in the display device to execute each step according to any one of claims 14 to 17 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017026761A JP7009066B2 (en) | 2017-02-16 | 2017-02-16 | Display device, its control method, and control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017026761A JP7009066B2 (en) | 2017-02-16 | 2017-02-16 | Display device, its control method, and control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018133723A JP2018133723A (en) | 2018-08-23 |
| JP7009066B2 true JP7009066B2 (en) | 2022-01-25 |
Family
ID=63248995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017026761A Expired - Fee Related JP7009066B2 (en) | 2017-02-16 | 2017-02-16 | Display device, its control method, and control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7009066B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120127357A1 (en) | 2010-11-19 | 2012-05-24 | Samsung Electronics Co., Ltd. | Digital image processing apparatus and method of controlling the same |
| JP2014197334A (en) | 2013-03-29 | 2014-10-16 | キヤノン株式会社 | Display control device, control method of the same, and control program |
-
2017
- 2017-02-16 JP JP2017026761A patent/JP7009066B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120127357A1 (en) | 2010-11-19 | 2012-05-24 | Samsung Electronics Co., Ltd. | Digital image processing apparatus and method of controlling the same |
| JP2014197334A (en) | 2013-03-29 | 2014-10-16 | キヤノン株式会社 | Display control device, control method of the same, and control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018133723A (en) | 2018-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11868517B2 (en) | Information processing apparatus and information processing method | |
| US8120640B2 (en) | Videophone apparatus | |
| US20060044399A1 (en) | Control system for an image capture device | |
| JPH086708A (en) | Display device | |
| WO2018003859A1 (en) | Display device, program, display method, and control device | |
| JP2011061770A (en) | Mobile terminal having photographing control function based on image recognition technique and photographing control system employing image recognition technique | |
| JP6339887B2 (en) | Image display device | |
| KR20160133414A (en) | Information processing apparatus, control method and program | |
| JP2019047357A (en) | Display unit with imaging apparatus | |
| CN109417599B (en) | Portable terminal | |
| JP5294889B2 (en) | Imaging apparatus and imaging method | |
| JP2006270380A (en) | Image information transmitter | |
| JP2014049797A (en) | Display device with camera | |
| US8890979B2 (en) | Methods for processing a composite video image with feature indication | |
| KR20210100020A (en) | Voice input apparatus, control method thereof, and storage medium for executing processing corresponding to voice instruction | |
| JP7009066B2 (en) | Display device, its control method, and control program | |
| EP3599763B1 (en) | Method and apparatus for controlling image display | |
| US9325975B2 (en) | Image display apparatus, parallax adjustment display method thereof, and image capturing apparatus | |
| JP5845079B2 (en) | Display device and OSD display method | |
| JP2018133722A (en) | Display device, control method of the same, and control program | |
| JP6478454B2 (en) | Display device including imaging unit and control method thereof | |
| JP6700770B2 (en) | Display device, control method thereof, and control program | |
| JP2010283550A (en) | Communication system, communication device | |
| JP2023006630A (en) | Detection device and control method therefor | |
| JP6080991B1 (en) | Optical equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210726 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220112 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7009066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |