JP5596313B2 - 画像処理装置及び、画像処理方法 - Google Patents

Description

本技術は、映像と音声によるコミュニケーション手段であるテレビ電話装置に間するもので、特に大画面ディスプレイ表示の適用に好適な表示制御技術に関するものである。

近年、ネットワークの普及、広帯域化と、デジタル放送を始めとするデジタル映像、音声技術の発展により、映像と音声によるコミュニケーション手段であるテレビ電話装置が一般家庭にも普及するものと思われる。

これに関連して、視聴者との距離に応じて画面の表示サイズを制御する表示装置が提案されている。

特開２００６−２３５３０７公報 表示装置および同装置の表示制御方法

一般にテレビ電話装置、特に大画面ディスプレイ表示を用いた場合、視聴者が至近距離で大画面ディスプレイを凝視する事で、映像酔いを起す恐れがある事が指摘されている。

しかし、テレビ電話の相手側の映像の表示サイズを小さくすると、映像酔いは軽減可能であるが、一方で、相手側の映像の表示サイズが小さ過ぎると、臨場感が失われてしまう問題がある。

更に、テレビ電話の場合、視聴者自身の映像が、相手側にどう映像表示されているか、視聴者自身が確認する手段についても考慮する必要がある。

上記目的を解決するために、例えば特許請求の範囲に記載の構成を採用する。

これにより、テレビ電話装置において、ディスプレイ上に表示されるテレビ電話の相手側の映像及び、視聴者の映像の表示サイズを適切に制御でき、映像酔いの軽減と、臨場感を確保すると共に、視聴者自身の映像の確認を行う手段を提供し、ユーザの利便性を高めることができる。

実施例１における画像処理装置のブロック図の例である。 実施例１における画像処理装置の外観図である。 実施例１における基本原理を示す観念図である。 実施例１における距離計算処理Ａのフローチャートの例である。 実施例２における画像処理装置のブロック図の例である。 実施例２における距離計算処理Ｂのフローチャートの例である。 実施例３における画像処理装置のブロック図の例である。 実施例３における基本原理を示す為の観念図である。 実施例３における距離計算処理Ｃのフローチャートの例である。

以下、実施の形態を図面に基づいて詳細に説明する。

最初に、本実施例の画像処理装置について説明する。
図１は実施例１における画像処理装置のブロック図の例である。マイク１０１、カメラ１０２、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５、映像エンコード処理部１０６、ＡＶパケット合成処理部１０７、ネットワーク処理部１０８、ネットワーク１０９、ＡＶパケット分離処理部１１０、映像デコード処理部１１１、音声デコード処理部１１２、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ１１５、距離計算処理部Ａ１１６、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９、スピーカ１２０から構成されている。

これらの構成は、それぞれプログラムで実装され、各種プログラムを図示しないプロセッサが実行することで、各処理を実現してもよいし、それぞれ集積回路化するなどしてハードウェアで実現することもできる。

まず、視聴者側の映像・音声の処理について説明する。視聴者側の映像・音声の処理の場合は、マイク１０１、音声信号処理部１０３、音声エンコード処理部１０５の音声出力データと、カメラ１０２、映像信号処理部１０４、映像エンコード処理部１０６の映像出力データを、ＡＶパケット合成処理部１０７で多重化処理し、ネットワーク処理部１０８を介して、ネットワーク１０９に出力することで、相手側に多重化した映像・音声データを送信する。

次に、相手側の映像・音声の処理について説明する。相手側の映像・音声の処理の場合は、相手側で多重化された映像・音声データをネットワーク１０９からネットワーク処理部１０８で受信し、ＡＶパケット分離処理部１１０で映像・音声データを分離し、映像デコード処理部１１１、スケーリング処理部Ａ１１３、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９で映像を出力し、音声デコード処理部１１２、音声ドライバ１１５、スピーカ１２０で音声を出力する。

この際、映像信号処理部１０４の映像出力を、スケーリング処理部Ｂ１１４と、距離計算部Ａ１１６に入力し、距離計算処理部Ａ１１６にて、画像を解析することで、視聴者とカメラ１０２間の距離を計算し、その計算結果で、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４をそれぞれ制御し、相手側の映像がスケーリング処理部Ａ１１３で、視聴者側の映像がスケーリング処理部Ｂ１１４で、それぞれスケーリングし、合成処理部１１７で映像のかなね合わせを行う。これにより、ディスプレイ１１９上に、視聴者の映像と相手側の映像を合成表示することができる。

また、距離計算処理部Ａ１１６において行われる、視聴者とカメラ１０２間の距離を計算方法については、ここでは、映像信号処理部１０４の出力を利用し、例えば、人物の特徴点（顔の輪郭や、目や鼻、口といった共通性のある情報）を用いた方法や、カメラ１０２に焦点情報を用いた方法、または、別のセンサーを利用したものなど、視聴者との距離を求めるための種々の手法が適用可能である。

次に、実施例における画像処理装置の概要ついて図１と合せて説明する。
図２は実施例１における画像処理装置の外観図である。図１と同じ機能のものには同じ番号を付加している。マイク１０１、カメラ１０２、テレビ電話装置１２３から構成されており、ディスプレイ上には、相手側の映像１２１、視聴者の映像１２２が表示されている例である。相手側の映像１２１は、図１のスケーリング処理部Ａ１１３で、視聴者の映像１２２は、図１のスケーリング処理部Ｂ１１４で処理されるが、図１の距離計算部Ａ１１６により表示サイズのための制御パラメータが与えられる。制御パラメータは、図１の例えば、映像デコード処理部１１１、映像信号処理部１０４、それぞれ映像データに対して、スケーリング処理部Ａ１１３では、５０〜２００％（面積比）、スケーリング処理部Ｂ１１４では、０〜２５％（面積比）という値を制御範囲とする。

図２では、最も標準的なパラメータの例として、相手側の映像１２１は、１００％（面積比）、視聴者の映像１２２は、１２％（面積比）として制御された場合の例である。また、図２から判るように、相手側の映像１２１、視聴者の映像１２２の表示パラメータは、表示位置の座標パラメータも含んでおり、一般的な例としては、相手側の映像１２１のような映像においては、画面中央の最下部を原点しており、視聴者の映像１２２は、画面右上の端を原点して、制御し、スケーリングの値が変化しても、原点の表示の位置が動かないように制御されるのが普通である。

また、視聴者の映像１２２は、視聴者から見た場合に鏡像となるように、図１のスケーリング処理Ｂ１１４において、左右を反転した画像になるよう処理しても良い。これは、一般的には、視聴者が自分の映像を見た場合、直感的には鏡像の方が、体の左右の動きに対して、鏡を想定しやすいからである。

次に、実施例における実際の画面表示について説明する。
図３は実施例１における基本原理を示す観念図である。ここでは、本発明により、視聴者とカメラとの距離により、それぞれ、相手側の映像と、視聴者の映像がどのように表示されるかの例を示したものである。

(a)は、視聴者とカメラとの距離計算不能な場合（初期値の場合も含む）であり、(b)は、視聴者とカメラとの距離が遠い場合、(c)は、視聴者とカメラとの距離が適正な場合、(d)は、視聴者とカメラとの距離が近い場合をそれぞれ示している。(a)の視聴者とカメラとの距離計算不能な場合（初期値の場合も含む）は、相手側の映像の表示は、初期値である１００％（面積比）で制御し、視聴者の映像は、０％（つまり表示しない）で制御したものである。

(b)の視聴者とカメラとの距離が遠い場合は、相手側の映像の表示は、１０１〜２００％（面積比）の範囲で制御され、１２０％（面積比）で制御し、視聴者の映像は、１３〜２５％（面積比）の範囲で制御され、２０％（面積比）で制御したものの例である。

(c)の視聴者とカメラとの距離が適正な場合は、例えば、相手側の映像の表示は、１００％（面積比）で制御し、視聴者の映像は、１２％（面積比）で制御したものの例である。(d)の視聴者とカメラとの距離が近い場合は、相手側の映像の表示は、５０〜９９％（面積比）の範囲で制御され、６０％（面積比）で制御し、視聴者の映像は、０〜１１％（面積比）の範囲で制御され、８％（面積比）で制御したものの例である。

さらに、上記(b)(c)(d)では、視聴者の映像に枠を表示するようにしており、視聴者の映像の０〜２５％（面積比）という値を制御範囲の内、１５〜２５％（面積比）の場合は、緑枠表示を、１４〜１０％（面積比）の場合は、青枠表示を、１〜９％（面積比）の場合は、赤枠表示をそれぞれ行うようにしたものの例である。

ただし、計算上得られた１５〜２５％（面積比）や１〜９（面積比）の場合、表示映像が大きすぎたり、小さすぎたりする場合があるので、実際の制御データとしては、最大値や最小値の制限を設け、例えば、最大値を２０％とした場合は、１５〜２０％（面積比）となり、最小値を５％とした場合には、５〜９％（面積比）となるようにしても良い。

この視聴者の映像に枠を表示することで、視聴者はカメラとの距離についての視覚による直感的な判断が行えるという効果が期待できる。

次に、実施例における距離計算処理部Ａ１１６の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
図４は、実施例１における距離計算処理部Ａのフローチャートの例である。図４は、図１の距離計算処理部Ａ１１６において、視聴者の映像と相手側の映像の表示に関してのスケーリング処理のためのそれぞれのパラメータ計算、設定方法を示すフローチャートであり、当該処理は、距離計算処理部Ａ１１６の計算処理結果を用い、スケーリング処理部Ａ１１３及び、スケーリング処理部Ｂ１１４を制御することで実現される。

距離計算処理部Ａは、起動されると、処理を開始し（Ｓ５０１）、スケーリング処理部Ａ及び、スケーリング処理部Ｂに対して、初期値設定を行い（Ｓ５０２）、視聴者との距離計算を行う（Ｓ５０３）。視聴者との距離が計算可能かどうかを判定し（Ｓ５０４）、不可能な場合は、再度、距離計算を実行し（Ｓ５０３）、可能な場合は、スケーリングＡ用パラメータ計算を行う（Ｓ５０５）。図３の例と合わせ説明すると、相手側の映像の表示は、５０〜２００％（面積比）の範囲となり、その値を、スケーリングＡ用パラメータ設定する処理を実行する（Ｓ５０６）。

更に、同様に、スケーリングＢ用パラメータ計算を行い（Ｓ５０７）、その計算結果の値を、スケーリングＢ用パラメータ判定で処理する（Ｓ５０８）。図３の例とパラメータ判定の条件を合わせ説明すると、視聴者の映像の値がそれぞれ、１５〜２５％（面積比）の場合は、緑枠表示を選択し（Ｓ５０９）、１０〜１４％（面積比）の場合は、青枠表示を選択し（Ｓ５１０）、１〜９％（面積比）の場合は、赤枠表示を選択し（Ｓ５１１）、０％（面積比）の場合は、枠なしを選択し（Ｓ５１２）、その計算結果の値をスケーリングＢ用パラメータ設定する処理を実行し（Ｓ５１３）、距離計算処理Ａを終了する（Ｓ５１４）。

スケーリング処理部Ａ１１３は、設定されたスケーリングＡ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。またスケーリング処理部Ｂ１１４は、設定されたスケーリングＢ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。
実施例１の効果として、視聴者とテレビ電話装置との距離を計算し、計算結果により、ディスプレイ上に表示されるテレビ電話の相手側の映像及び、視聴者の映像の表示サイズをそれぞれ適切に制御することで、映像酔いの軽減と、臨場感を確保すると共に、視聴者自身の映像の確認を行うことができ、使い勝手の良いテレビ電話装置が実現できる。

また、この発明は、視聴者の使用環境と視聴者のテレビ電話装置のみで実現可能であるため、相手側のテレビ電話装置は、本発明の仕組みの無い、従来のテレビ電話装置においても正しく動作することができる。

更に、図３で説明したように、視聴者の映像に枠を表示することで、視聴者はカメラとの距離についての視覚による直感的な判断が行えるので、視聴者に注意が促され、結果として、相手側のテレビ電話装置において、視聴者自身の映像が極端に大きくなったり、小さくなったりすることを防止する効果が期待できる。

図５は実施例２における画像処理装置のブロック図の例である。
実施例１の図１と同じ機能のものには同じ番号を付加している。マイク１０１、カメラ１０２、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５、映像エンコード処理部１０６、ＡＶパケット合成処理部１０７、ネットワーク処理部１０８、ネットワーク１０９、ＡＶパケット分離処理部１１０、映像デコード処理部１１１、音声デコード処理部１１２、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ部１２４、距離計算処理部Ｂ１２５、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９、スピーカ１２０から構成されている。

まず、視聴者側の映像・音声の処理について説明する。視聴者側の映像・音声の処理の場合は、マイク１０１、音声信号処理部１０３、音声エンコード処理部１０５の音声出力データと、カメラ１０２、映像信号処理部１０４、映像エンコード処理部１０６の映像出力データを、ＡＶパケット合成処理部１０７で多重化処理し、ネットワーク処理１０８を介して、ネットワーク１０９に出力することで、相手側に多重化した映像・音声データを送信する。

次に、相手側の映像・音声の処理について説明する。相手側の映像・音声の処理の場合は、相手側で多重化された映像・音声データをネットワーク１０９からネットワーク処理部１０８で受信し、ＡＶパケット分離処理部１１０で映像・音声データを分離し、映像デコード処理部１１１、スケーリング処理部Ａ１１３、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９で映像を出力し、音声デコード処理部１１２、音声ドライバ１２４、スピーカ１２０で音声を出力する。

この際、映像信号処理部１０４の映像出力を、スケーリング処理部Ｂ１１４と、距離計算処理部Ｂ１２５に入力し、距離計算処理部Ｂ１２５にて、画像を解析することで、視聴者とカメラ１０２間の距離を計算し、その計算結果で、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ１２４をそれぞれ制御し、相手側の映像がスケーリング処理部Ａ１１３で、視聴者側の映像がスケーリング処理部Ｂ１１４で、それぞれスケーリングし、合成処理１１７で映像のかさね合わせを行うと共に、音声ドライバ１２４で出力制御を行う。これにより、ディスプレイ１１９上に、視聴者の映像と相手側の映像を合成表示することができると共に、スピーカ１２０で音量制御された音声が出力できる。

また、距離計算処理Ｂ１２５において行われる、視聴者とカメラ１０２間の距離を計算方法については、実施例１の場合と同様、種々の手法が適用可能である。
次に、実施例における距離計算処理Ｂ１２５の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。

図６は、実施例２における距離計算処理Ｂのフローチャートの例である。図６は、図５の距離計算処理部Ｂ１２５において、視聴者の映像と相手側の映像の表示に関してのスケーリング処理のためのそれぞれのパラメータ計算、設定方法を示すフローチャートであり、当該処理は、距離計算処理部Ｂ１２５の計算処理結果を用い、スケーリング処理部Ａ１１３及び、スケーリング処理部Ｂ１１４、音声ドライバ１２４を制御することで実現される。

距離計算処理部Ｂは、起動されると、処理を開始し（Ｓ５０１）、スケーリング処理部Ａ及び、スケーリング処理部Ｂに対して、初期値設定を行い（Ｓ５０２）、視聴者との距離計算を行う（Ｓ５０３）。視聴者との距離が計算可能かどうかを判定し（Ｓ５０４）、不可能な場合は、再度、距離計算を実行し（Ｓ５０３）、可能な場合は、スケーリングＡ用パラメータ計算を行い（Ｓ５０５）、図３の例と合わせ説明すると、相手側の映像の表示は、５０〜２００％（面積比）の範囲となり、その値を、スケーリングＡ用パラメータ設定する処理を実行する（Ｓ５０６）。

更に、同様に、スケーリングＢ用パラメータ計算を行い（Ｓ５０７）、その計算結果の値を、スケーリングＢ用パラメータ判定で処理し（Ｓ５０８）、図３の例とパラメータ判定の条件を合わせ説明すると、視聴者の映像の値がそれぞれ、１５〜２５％（面積比）の場合は、緑枠表示を選択し（Ｓ５０９）、１０〜１４％（面積比）の場合は、青枠表示を選択し（Ｓ５１０）、１〜９％（面積比）の場合は、赤枠表示を選択し（Ｓ５１１）、０％（面積比）の場合は、枠なしを選択し（Ｓ５１２）、その計算結果の値をスケーリングＢ用パラメータ設定する処理を実行し（Ｓ５１３）、更に、距離計算を用いて、音声ドライバ用パラメータ計算を行い（Ｓ５１５）、その計算結果の値を、音声ドライバパラメータ設定する処理を実行し（Ｓ５１６）、計算距離計算処理Ｂを終了する（Ｓ５１４）。

一般に、音の大きさは距離の二乗に反比例するので、音声ドライバ用パラメータ計算（Ｓ５１５）では、これを補正するようパラメータの算出を行い、音声ドライバパラメータ設定（Ｓ５１６）を実行するようにすれば良い。

スケーリング処理部Ａ１１３は、設定されたスケーリングＡ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。またスケーリング処理部Ｂ１１４は、設定されたスケーリングＢ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。また、音声ドライバは、設定された音声ドライバ用パラメータに応じて、パラメータで指定された大きさで音声の出力を行う。なお、音声ドライバは独立したハードウェアとして音声ドライバ部として実現してもよい。

実施例２の効果として、実施例１の効果に加え、視聴者のテレビ電話装置から音声出力を制御することで、音声レベルを適正に制御することができるようになる。

図７は実施例３における画像処理装置のブロック図の例である。
実施例１の図１と同じ機能のものには同じ番号を付加している。マイク１０１、カメラ１０２、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５、映像エンコード処理部１０６、ＡＶパケット合成処理部１０７、ネットワーク処理部１０８、ネットワーク１０９、ＡＶパケット分離処理部１１０、映像デコード処理部１１１、音声デコード処理部１１２、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ１２４、距離計算処理部Ｃ１２６、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９、スピーカ１２０から構成されている。

まず、視聴者側の映像・音声の処理について説明する。視聴者側の映像・音声の処理の場合は、マイク１０１、音声信号処理部１０３、音声エンコード処理部１０５の音声出力データと、カメラ１０２、映像信号処理部１０４、映像エンコード処理部１０６の映像出力データを、ＡＶパケット合成処理部１０７で多重化処理し、ネットワーク処理部１０８を介して、ネットワーク１０９に出力することで、相手側に多重化した映像・音声データを送信する。

次に、相手側の映像・音声の処理について説明する。相手側の映像・音声の処理の場合は、相手側で多重化された映像・音声データをネットワーク１０９からネットワーク処理部１０８で受信し、ＡＶパケット分離処理部１１０で映像・音声データを分離し、映像デコード処理部１１１、スケーリング処理部Ａ１１３、合成処理部１１７、ディスプレイドライバ１１８、ディスプレイ１１９で映像を出力し、音声デコード処理部１１２、音声ドライバ１２４、スピーカ１２０で音声を出力する。

この際、映像信号処理部１０４の映像出力を、スケーリング処理部Ｂ１１４と、距離計算処理部Ｃ１２６に入力すると共に、ディスプレイ１１９からのディスプレイ情報を距離計算処理部Ｃ１２６に入力し、距離計算処理部Ｃ１２６にて、画像を解析することで、視聴者とカメラ１０２間の距離を計算し、その計算結果とディスプレイ情報とを用い、スケーリング処理部Ａ１１３、スケーリング処理部Ｂ１１４、音声ドライバ１２４をそれぞれ制御し、相手側の映像がスケーリング処理部Ａ１１３で、視聴者側の映像がスケーリング処理部Ｂ１１４で、それぞれスケーリングし、合成処理部１１７で映像のかなね合わせを行うと共に、音声ドライバ１２４で出力制御を行う。これにより、ディスプレイ１１９上に、視聴者の映像と相手側の映像を合成表示することができると共に、スピーカ１２０で音量制御された音声が出力できる。

また、距離計算処理Ｃ１２６において行われる、視聴者とカメラ１０２間の距離を計算方法については、実施例１の場合と同様、種々の手法が適用可能である。

図８実施例３における原理を示す観念図である。
ここでは、本発明により、視聴者とカメラとの距離を一定とした条件において、ディスプレイのサイズが異なる場合にそれぞれ、相手側の映像と、視聴者の映像がどのように表示されるかの例を示したものである。(a)(b)とも、視聴者とカメラとの距離は同じで、ある適正値にあるものとし、図７におけるディスプレイ１１９のサイズが、異なる場合、例えば(a)を基準にした場合、(ｂ)は、ディスプレイ小さいので、視聴者とカメラとの距離が同じ条件でも、ディスプレイに表示される視聴者と相手側の映像は、相対的に小さく表示される。

この為、例えば、(a)においては、相手側の映像の表示は、５０〜２００％（面積比）の範囲で、視聴者とカメラとの距離が適正な場合、１００％（面積比）とした場合と比較して、(b)においては、相手側の映像の表示は、５０〜２００％（面積比）の範囲で、視聴者とカメラとの距離が適正な場合、１２０％（面積比）となるようオフセットを持つようにパラメータを設定すれば良い。

同様に、例えば、(a)においては、視聴者の映像の表示は、０〜２５％（面積比）の範囲で、視聴者とカメラとの距離が適正な場合、１２％（面積比）とした場合と比較して、(b)においては、相手側の映像の表示は、０〜２５％（面積比）の範囲で、視聴者とカメラとの距離が適正な場合、１５％（面積比）となるようオフセットを持つようにパラメータを設定すれば良い。

更に、視聴者の映像の表示の場合には、映像の表示の面積だけではなく、映像の中に映っている視聴者の映像の拡大処理することにより、同じディスプレイに表示される視聴者の顔部分を拡大し、ディスプレイが小さいことによる視聴者映像の認識性が低下しないように工夫しても良い。

次に、実施例における距離計算処理Ｃ１２６の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。

図９は、実施例３における距離計算処理Ｂのフローチャートの例である。図９は、図７の距離計算処理部Ｃ１２６において、視聴者の映像と相手側の映像の表示に関してのスケーリング処理のためのそれぞれのパラメータ計算、設定方法を示すフローチャートであり、当該処理は、距離計算処理部Ｃ１２６の計算処理結果を用い、スケーリング処理部Ａ１１３及び、スケーリング処理部Ｂ１１４、音声ドライバ１２４を制御することで実現される。

距離計算処理部Ｃは、起動されると、処理を開始し（Ｓ５０１）、スケーリング処理部Ａ及び、スケーリング処理部Ｂに対して、初期値設定を行い（Ｓ５０２）、視聴者との距離計算を行った（Ｓ５０３）後、ディスプレイ情報取得にてディスプレイの情報を取得する（Ｓ５１７）。

次に、視聴者との距離が計算可能かどうかを判定し（Ｓ５０４）、不可能な場合は、再度、距離計算を実行し（Ｓ５０３）、可能な場合は、スケーリングＡ用パラメータ計算を行い（Ｓ５０５）、図６の例と合わせ説明すると、相手側の映像の表示は、５０〜２００％（面積比）の範囲となり、その値をディスプレイ情報と合わせ、補正した値をスケーリングＡ用パラメータ設定する処理を実行する（Ｓ５０６）。

更に、同様に、スケーリングＢ用パラメータ計算を行い（Ｓ５０７）、その計算結果の値を、スケーリングＢ用パラメータ判定で処理し（Ｓ５０８）、図６の例とパラメータ判定の条件を合わせ説明すると、視聴者の映像の値がそれぞれ、１５〜２５％（面積比）の場合は、緑枠表示を選択し（Ｓ５０９）、１０〜１４％（面積比）の場合は、青枠表示を選択し（Ｓ５１０）、１〜９％（面積比）の場合は、赤枠表示を選択し（Ｓ５１１）、０％（面積比）の場合は、枠なしを選択し（Ｓ５１２）、その計算結果の値をディスプレイ情報と合わせ、補正した値をスケーリングＢ用パラメータ設定する処理を実行し（Ｓ５１３）、更に、距離計算を用いて、音声ドライバ用パラメータ計算を行い（Ｓ５１５）、その計算結果の値を、音声ドライバパラメータ設定する処理を実行し（Ｓ５１６）、計算距離計算処理Ｂを終了する（Ｓ５１４）。

スケーリング処理部Ａ１１３は、設定されたスケーリングＡ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。またスケーリング処理部Ｂ１１４は、設定されたスケーリングＢ用パラメータに応じて、パラメータで指定された大きさの画像を表示する。また、音声ドライバは、設定された音声ドライバ用パラメータに応じて、パラメータで指定された大きさで音声の出力を行う。なお、音声ドライバは独立したハードウェアとして音声ドライバ部として実現してもよい。

また、一般的なテレビ電話装置では、スピーカの出力が、マイクに回り込んで、ハウリングを起さない様に、エコーキャンセラーと言われる装置が導入される場合があるが、蒸気の音声ドライバパラメータ設定する処理を実行と同様に、エコーキャンセラー処理の制御パラメータを制御するような処理を追加しても良い。

実施例３の効果として、実施例２の効果に加え、視聴者のテレビ電話装置のディプレイの大きさが異なった場合においても、視聴者及び、相手側の映像の表示サイズを適正に制御することができるようになり、映像酔いの抑制や臨場感の向上が期待できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１ マイク
１０２ カメラ
１０３ 音声信号処理
１０４ 映像信号処理
１０５ 音声エンコード処理
１０６ 映像エンコード処理
１０７ ＡＶパケット合成処理
１０８ ネットワーク処理
１０９ ネットワーク
１１０ ＡＶパケット分離処理
１１１ 映像デコード処理
１１２ 音声デコード処理
１１３ スケーリング処理Ａ
１１４ スケーリング処理Ｂ
１１５ 音声ドライバ
１１６ 距離計算処理Ａ
１１７ 合成処理
１１８ ディスプレイドライバ
１１９ ディスプレイ
１２０ スピーカ
１２１ 相手側の映像
１２２ 視聴者の映像
１２３ テレビ電話装置
１２４ 音声ドライバ
１２５ 距離計算処理Ｂ
１２６ 距離計算処理Ｃ

Claims (4)

1. 第１の映像データを生成する撮像ユニットと、
   前記第１の映像データと、第２の映像データをそれぞれ任意の表示サイズに変換する映像処理ユニットと、
   前記第１の映像データに基づき、前記撮像ユニットから被写体までの距離を測定する距離測定ユニットとを備え、
   前記映像処理ユニットは、前記距離測定ユニットにより測定された前記撮像ユニットから被写体までの距離に応じて前記第２の映像データを任意の表示サイズに変換し、前記撮像ユニットから被写体までの距離が所定の距離以上である場合に、前記第２の映像データの表示サイズを第１の最小値以上かつ第１の最大値以下に変換すること
   を特徴とする画像処理装置。
2. 第１の映像データを生成する撮像ユニットと、
   前記第１の映像データと、第２の映像データをそれぞれ任意の表示サイズに変換し、表示サイズに合わせ任意の色の枠を付加する映像処理ユニットと、
   前記第１の映像データに基づき、前記撮像ユニットから被写体までの距離を測定する距離測定ユニットとを備え、
   前記映像処理ユニットは、前記距離測定ユニットにより測定された前記撮像ユニットから被写体までの距離に応じて前記第１の映像データおよび前記第２の映像データを任意の表示サイズに変換し、変換された表示サイズで前記第１の映像データを表示する表示領域に対して任意の色の枠を付加し、前記撮像ユニットから被写体までの距離が所定の距離以上である場合に、前記第２の映像データの表示サイズを第１の最小値以上かつ第１の最大値以下に変換すること
   を特徴とする画像処理装置。
3. 撮像ユニットで第１の映像データを生成し、
   前記第１の映像データに基づき、前記撮像ユニットから被写体までの距離を測定し、
   測定された前記撮像ユニットから被写体までの距離に応じて、第２の映像データを任意の表示サイズに変換し、前記撮像ユニットから被写体までの距離が所定の距離以上である場合に、前記第２の映像データの表示サイズを第１の最小値以上かつ第１の最大値以下に変換すること
   を特徴とする画像処理方法。
4. 撮像ユニットで第１の映像データを取得し、
   前記第１の映像データに基づき、前記撮像ユニットから被写体までの距離を測定し、
   測定された前記撮像ユニットから被写体までの距離に応じて、前記第１の映像データおよび第２の映像データを任意の表示サイズに変換し、変換された表示サイズで前記第１の映像データを表示する表示領域に対して任意の色の枠を付加し、前記撮像ユニットから被写体までの距離が所定の距離以上である場合に、前記第２の映像データの表示サイズを第１の最小値以上かつ第１の最大値以下に変換すること
   を特徴とする画像処理方法。

Images