JP7520507B2

JP7520507B2 - 画像処理装置、画像処理装置の制御方法

Info

Publication number: JP7520507B2
Application number: JP2019238005A
Authority: JP
Inventors: 正明松岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-12-28
Filing date: 2019-12-27
Publication date: 2024-07-23
Anticipated expiration: 2039-12-27
Also published as: JP2020109512A

Description

本発明は、カメラで撮像された画像をモニタに表示する画像処理装置、撮像装置、画像処理方法および撮像方法に関する。

従来から、正面の光学ミラーでは見ることができない方向からの画像を、複数カメラで撮像して得られる画像で生成し利用者の正面に設置したモニタに表示することで利便性を高めるデジタルミラー技術が開示されている（特許文献１）。

特開２００２－２９０９６４号公報

しかしながら、特許文献１に開示された従来技術では、モニタとカメラの位置が異なるため、利用者が前後に移動してモニタに映る大きさを調整すると、光学ミラーと同じように像（被写体）が変化しないので、違和感がある。

そこで、本発明の目的は、光学ミラーを使用している感覚に近い感覚で利用することを可能にしたモニタに画像を出力する画像処理装置、撮像装置、画像処理方法および撮像方法を提供することである。

上記課題を解決するために、本発明の画像処理装置は、利用者に向けて互いに異なる視点で撮像する複数の撮像部を有する撮像手段で撮像された該利用者を含む画像を表示する表示部に該画像を出力する画像処理装置であって、前記利用者を前記表示部とは異なる方向から見た画像を前記撮像手段より取得する画像取得手段と、前記利用者と前記表示部との距離情報を取得する距離取得手段と、前記画像における前記利用者の表示サイズを設定する設定手段と、前記距離情報の変化によって前記画像における前記利用者の表示サイズが前記設定手段により設定された表示サイズから変化することを抑制するように前記画像取得手段から取得される画像を拡大あるいは縮小して前記画像を前記表示部に表示する制御手段と、を有し、前記制御手段により前記撮像手段から取得された画像は、前記複数の撮像部から出力される画像を合成して得られる合成画像であり、前記制御手段は、前記合成画像を生成するのに用いられない視点の画像を撮像する前記複数の撮像部のうちの一部の撮像部を、消費電力を抑制するモードに変更することを特徴とする。

本発明によれば光学ミラーを使用している感覚に近い感覚でモニタを利用することができる。

本発明に係るデジタルミラーの構成を説明するための鳥瞰図。本発明に係るデジタルカメラの構成を説明するためのブロック図。本発明に係るデジタルモニタの構成を説明するためのブロック図。第１の実施形態に係るデジタルモニタの動作を説明するためのフローチャート。第１の実施形態に係るデジタルカメラの動作を説明するためのフローチャート。第２の実施形態に係るデジタルモニタの動作を説明するためのフローチャート。第２の実施形態に係るデジタルモニタの動作を説明するためのフローチャート。第２の実施形態に係るデジタルカメラの動作を説明するためのフローチャート。

［第１の実施形態］
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置と画像処理装置から成る画像処理システムである。以下に、撮像装置の一例としてのデジタルカメラと、画像処理装置の一例としてのデジタルモニタと、それらを用いた画像処理システムの一例としてのデジタルミラーに、本発明を適用した実施形態を説明する。

図１は、第１の実施形態に係るデジタルミラーの構成を説明するための鳥瞰図である。

デジタルモニタ１０５は例えば液晶などのモニタ（表示装置）と該表示装置に画像を出力する画像処理装置を有する。

デジタルカメラ１０１、１０２、１０３、１０４は異なる画角を撮像するよう配置されたデジタルカメラである。デジタルカメラ１０１～１０４は、利用者であるモニタ対象１０６が利用する際に存在する空間を含む所定の３次元空間の少なくとも一部を画角に含むことができるようにそれぞれ配置されている。本実施形態では、デジタルカメラ１０１とデジタルカメラ１０４の光軸が図１に示すｘｙ平面上で略直交するような初期位置で配置される。さらにデジタルカメラ１０４よりデジタルカメラ１０１側に近い方からデジタルカメラ１０２、１０３が角度範囲１０７，１０８の角度を付けて配置されている。

デジタルカメラの数や位置関係は上記の形態に限らず、より広い角度範囲でモニタ対象１０６を捉えられるように（例えば３６０度全ての角度範囲で視点画像が生成可能なように）カメラの設置角度範囲を広げたり、数を増やしたりしてもよい。一方、より広角で撮影可能なカメラにすることで配置するカメラの数を少なくしたりしていてもよい。

デジタルモニタ１０５は有線あるいは無線でデジタルカメラ１０１～１０４と通信することにより、各デジタルカメラで撮像された画像をモニタに表示することができる。利用者１０６はデジタルカメラ１０１～１０４の画像の一部あるいは全部を用いて生成される視点画像を、デジタルモニタ１０５で確認することで、自身の顔向きや目線を変えることなく、利用者の姿、姿勢を複数の方向から確認できる。例えば、利用者は野球や弓道などスポーツのフォームをデジタルモニタ１０５によって任意の方向から確認することができる。

また、本実施形態ではモニタ対象１０６は利用者という人であったが、例えば工場などで検品の対象となる製品をモニタ対象とする場合も考えられる。この場合、検品を行う工程を行う場に本デジタルミラーが設置され、検品者が製品であるモニタ対象１０６をデジタルモニタ１０５のモニタに対して移動させながら検品を行う。検品者は検品対象であるモニタ対象１０５の向きを変えることなく、あるいは最小限の向きの変更で任意の方向からの画像をデジタルモニタ１０５で確認することができる。

図２は、本発明の実施形態に係るデジタルカメラ２００（図１のデジタルカメラ１０１～１０４）の機能構成を示すブロック図である。制御部２０１は、例えばＣＰＵであり、デジタルカメラ２００が備える各ブロックの動作プログラムをＲＯＭ２０２より読み出し、ＲＡＭ２０３に展開して実行することによりデジタルカメラ２００が備える各ブロックの動作を制御する。ＲＯＭ２０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ２００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ２０３は、書き換え可能な揮発性メモリであり、デジタルカメラ２００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系２０５は、ズームレンズ、フォーカスレンズ及びこれらのレンズを駆動するレンズ駆動部を備え、被写体像を撮像部２０６に結像する。撮像部２０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系２０５により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部２０７に出力する。Ａ／Ｄ変換部２０７は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ２０３に出力して記憶させる。制御部２０１はＲＡＭ２０３に記憶された画像データに基づいて光学系２０５を制御し、ＡＦ（自動焦点調節）、ＡＥ（自動露出制御）等の撮像制御を行う。

ＲＡＭ２０３に記憶されている画像データは画像処理部２０８に入力され、色変換、ホワイトバランス、ガンマ補正等処理を施されてＹＣｒＣｂの輝度と色差信号に変換され、通信部２０４に出力、あるいはＲＯＭ２０２に記録される。

通信部２０４は、無線ＬＡＮなどを用いて画像データなどをデジタルモニタ１０５に送信したり、デジタルモニタ１０５あるいはリモートコントロール端末から光学系２０５の制御に係るコマンドなどを受信したりする。

図３は、本発明の実施形態に係るデジタルモニタ３００（図１の１０５）の機能構成を示すブロック図である。制御部３０１は、例えばＣＰＵであり、デジタルモニタ１０５が備える各ブロックの動作プログラムをＲＯＭ３０２より読み出し、ＲＡＭ３０３に展開して実行することによりデジタルモニタ１０５が備える各ブロックの動作を制御する。

ＲＯＭ３０２は、書き換え可能な不揮発性メモリであり、デジタルモニタ１０５が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ３０３は、書き換え可能な揮発性メモリであり、デジタルモニタ１０５が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

通信部３０４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部３０４は無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部３０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙでも外部機器と通信可能である。また、通信部３０４は画像データなどをデジタルカメラ２００から受信したり、デジタルカメラ２００の制御に係るコマンドなどを送信したりする。また、通信部３０４は、リモートコントロール端末などからデジタルモニタ３００またはデジタルカメラ２００の各種制御に係るコマンドを受信する。

画像処理部３０５は、図１のデジタルカメラ１０１～１０４の画像の少なくとも一部を用いて任意視点の視点画像を生成する。視点画像を生成する手法については既知の手法を用いればよい。例えば特許文献１では、複数方向画像から３次元形状データを計算し、得られた３次元モデルにテクスチャマッピングしたデータに対して特定の視点を設定して、その視点に基づく画像データを得る技術について開示されている。また方向の指示は、タッチパネルによる指示や、利用者の声、指や視線の動きを検出することで行われる。

表示部３０６は、例えば液晶や有機ＥＬ等の表示素子であり、画像処理部３０５で生成された視点画像や操作画面、画像に関する情報などを制御部３０１の指示に従って表示する。

操作部３０７は、ボタンやホイールなどの各種操作部材を含み、予め機能が割り当てられていたり、例えば表示部３０６に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用したりする。また、操作部３０７の一つとして、表示部３０６に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部３０６とは一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部３０６の表示を妨げないように構成し、表示部３０６の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部３０６上の表示座標とを対応付ける。これにより、恰もユーザが表示部３０６上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を構成することができる。

また操作部３０７は、音声入力や視線入力を受け付けるマイクや赤外線センサなどの受信機器も含まれる。視線入力（視線検知）はデジタルモニタ１０５が備える赤外光源で利用者の眼球に赤外光を照射して得られる反射光を例えばモニタの表示方向と同一の撮影方向であるデジタルカメラ１０１あるいは別添えのセンサで受光する。制御部３０１は受光した光学像から利用者の視線を検知し、視線（眼）の挙動や表示部３０６に表示されたメニュー画面の位置と視線の位置を対応付けて操作指示を受け付ける。このように操作部３０７は種々の形態を含み、いずれの操作形態からも各種操作指示が可能な構成としてよい。しかし、操作部３０７としてデジタルモニタ１０５が有する操作部をタッチパネル、音声入力あるいは視線入力のみにすることにより、各種物理的な操作部材が露見する形態とならず、より光学ミラーと同様の外観で利用することが出来る。さらに音声入力あるいは視線入力では、利用者が体である姿勢を保っていたり手で何らかの作業をしたりしているときでも操作指示が可能であるという利点もある。

図４は、図３の制御部３０１の動作を説明するためのフローチャートである。本フローチャートの各ステップは、制御部３０１あるいは制御部３０１の指示により各部が実行する。本フローは例えばユーザがデジタルモニタ１０５の電源をＯＮすることでデジタルカメラ１０１～１０４も連動して電源がＯＮになった状態で開始されるものとする。

まず図１のカメラ１０１の画像から利用者とモニタの距離変化を検出する（Ｓ４００）。ここでカメラ１０１の画像は通信部３０４を介して画像処理部３０５に入力され画像取得されるものとする。利用者とデジタルモニタ１０５との距離変化は、図１のデジタルカメラ１０１で撮像される利用者の顔サイズを距離情報として、その変化を監視することで検出する。なお、顔サイズ検出手法については、既知の手法を用いることができる。例えば、公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。具体的な例としては特開２００２－２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。上記に挙げた顔検出技術を用いて各画像から顔領域を検出し、制御部３０１は検出された顔領域のサイズの変化をさらに検出することで相対的な距離の変化を検出する。

また、利用者とモニタの距離変化を検出する方法としては、上記に限られない。カメラ１０１が複数の視点から撮像可能なように複数の撮像素子を有し、視差（位相差）検出方式により視差を算出することで、少なくとも相対的な距離情報（デフォーカス量）を取得し、その変化を検出可能に構成されていてもよい。また１つの画素部がマイクロレンズと複数の光電変換部とから構成され、撮像光学系の異なる瞳領域を通過する一対の光束を光学像としてそれぞれ結像させて、対をなす画像データを複数の光電変換部から出力することができる撮像素子が用いられてもよい。この撮像素子からの出力もまた各画素の光電変換部からの出力が互いに視差を有するので、視差検出方式により距離取得が可能となる。また、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離情報の計測を行うＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）法を用いて画像内における撮像装置から被写体までの被写体距離を直接的に取得してもよい。ＴＯＦ法では、投光手段により被写体（対象物）にパルス光を投射して、その反射光を撮像部で受光し、このパルス光の飛行時間（遅れ時間）を測定することで被写体距離（対象物までの距離）を測り、深度情報を取得する。また、被写体を撮像した画像のコントラスト評価値をモニタリングすることで距離を測定するコントラスト評価方式を用いてもよい。

次に、利用者とデジタルモニタ１０５の距離が変化している最中かを判定する（Ｓ４０１）。これは、前述した距離変化が所定フレーム数に渡って所定量以上の変化量で発生しているか否かを判定することで行われる。制御部３０１は、利用者とデジタルモニタ１０５の距離が変化している最中であると判定した場合、デジタルカメラ１０１～１０４の光学系によるズーム制御よりも主として画像処理部３０５による切出し処理によって表示サイズを制御する。すなわち、制御部３０１は、距離情報の変化によって画像における利用者の表示サイズが変化することを抑制するように切出し処理の切出しサイズを変更することで表示サイズを制御する。例えば、画像処理部３０５が利用者とデジタルモニタ１０５の距離に応じた視角になるように拡大あるいは縮小画像を生成し表示する（Ｓ４０２）。表示サイズは、あたかも光学ミラーがデジタルモニタ１０５の位置にあるかの如く、利用者とデジタルモニタ１０５の距離に応じた視角となるように画像処理部３０５で調整する。本実施形態では、予め測距結果と対応する視角（画像サイズ、画素数）がＲＯＭ３０２に記憶されており、調整に用いられる。このように距離変化に応じた視角の調整により、利用者とデジタルモニタ１０５の距離が近づけば大きく表示し、遠ざかれば小さく表示する。具体的には、デジタルモニタ１０５が存在する方向から撮像されたような視点画像をデジタルモニタ１０５に表示している場合は、光学ミラーと同様の使用感となるように表示サイズが調整される。またデジタルモニタ１０５に表示される、デジタルモニタ１０５とは異なる方向からの画像の場合は、例えばデジタルカメラ１０１の方向からの画像と比較して利用者１０６（の顔）の大きさが変化しないように表示サイズを調整する。デジタルカメラ１０１から取得される画像のように、デジタルカメラ１０２～１０４についても予め測距結果と対応する視角（画像サイズ、画素数）のテーブルをＲＯＭ３０２に記憶しておき、本テーブルを表示サイズの調整に用いるようにしてもよい。

利用者とデジタルモニタ１０５の距離変化が所定量より少ないと判定される場合、利用者の移動が安定したとして、ステップＳ４００で検出された、変化が始まってから安定するまでの距離変化の分、今度はデジタルカメラ１０１～１０４の光学ズームを変更する。具体的には、制御部３０１が利用者とデジタルモニタ１０５の距離変化が所定量以上だと判定されたタイミングから次に所定量より小さいと判定されるまでのタイミングまでの距離変化の合計を算出する。算出された距離の総変化量に基づいて、制御部３０１は距離変化に対応する各デジタルカメラの焦点距離を特定し、焦点距離変更の指示を含む指示信号として各デジタルカメラにコマンドを送信する（Ｓ４０３）。デジタルカメラ１０２～１０４は通信部２０４を介して指示信号を受信して、制御部２０１は対応する焦点距離に各光学系２０５を制御する。ステップＳ４０３にかかる動作により、デジタルモニタ１０５に表示される画像の表示サイズは、上記同様、利用者とデジタルモニタ１０５の距離に応じた視角となる。各デジタルカメラの視角の調整方法としてはこれに限らない。利用者（被写体、顔）のサイズを検出し、距離変化が始まったときと安定した後で利用者のサイズが略同一になるように、各デジタルカメラから出力される画像データを制御部３０１あるいは制御部２０１がモニタリングしながら光学系２０５を制御してもよい。

ここでデジタルカメラ１０１は、利用者の移動に合わせてデジタルモニタ１０５と同じように利用者との距離が変化するので、ステップＳ４００の距離変化に応じて光学ズームは変化させない。

また、デジタルカメラ１０２～１０４は、上述したように利用者とデジタルモニタ１０５の距離が近づけばズームインして、遠ざかればズームアウトする。

利用者から外部装置あるいは不図示の操作Ｉ／Ｆを介して表示終了が指示されたら、制御部３０１は表示部３０６での画像表示を終了する（Ｓ４０４）。

また、フローとして図示していないが、ステップＳ４００からステップＳ４０４までの間で、利用者は任意のタイミングでデジタルカメラ１０１～１０４に撮像指示を行えるものとする。具体的には、利用者はリモートコントロール端末やそれに類する機能を有するデバイスから各種の指示を各デジタルカメラの通信部２０４あるいはデジタルモニタ１０５の通信部３０４に無線で送信可能である。通信部２０４が上記の様な外部装置から撮像指示信号を受信すると、それに応じて制御部２０１は撮像部２０６に撮像を行わせる。これらの構成を利用して、撮像指示も利用者がデジタルモニタ１０５の起動中の任意のタイミングで行える。また、デジタルモニタ１０５がクリーンキャプチャの機能を有していてもよく、スクリーンキャプチャ実行の指示信号の送信も任意のタイミングで外部装置を介してユーザが指示することができる。

また図５は、図２のデジタルカメラ１０１～１０４の動作を説明するためのフローチャートである。本フローチャートの各ステップは、制御部２０１あるいは制御部２０１の指示により各部が実行する。本フローは、例えばユーザがデジタルモニタ１０５の電源をＯＮすることでデジタルカメラ１０１～１０４も連動して電源がＯＮになった状態で開始される。このとき、デジタルカメラ１０１～１０４の少なくとも一部のカメラから撮像した画像データがデジタルモニタ１０５に送信されている。

デジタルカメラデジタルモニタ１０５から光学ズーム変更コマンドを受信したかを確認する（Ｓ５０１）。受信していなければ焦点距離にかかる光学系は動かさず、現在の視角で被写体（利用者）をそのまま順次撮像して、撮像し、処理された画像データを順次デジタルモニタ１０５に出力する（Ｓ５０２）。光学ズーム変更コマンドを受信した場合には、変更コマンドに応じて光学系のズーム位置を変更する（Ｓ５０３）。利用者から撮像終了が指示されたら、撮像部２０６による撮像を終了する（Ｓ５０４）。このように制御することで、利用者が移動している最中はデジタルモニタ１０５の画像処理のみで滑らかに表示サイズを変化させる。さらに、利用者が静止すれば図１のデジタルカメラの光学ズームにより高精細画像を表示させることができるので、利用者の視認性を高めることができる。

本実施の形態においては、複数方向の画像を合成することで任意方向からの画像を生成し表示するが、本発明はこれに限定されるものではなく、角度方向によっては画像合成なしで画像を表示してもよい。例えば、図１で、角度範囲１０７においてはデジタルカメラ１０１とデジタルカメラ１０２からの画像を合成し、角度範囲１０８においてはデジタルカメラ１０２とデジタルカメラ１０３からの画像を合成する。しかし、デジタルカメラ１０２の近傍の角度範囲１０９においてはデジタルカメラ１０２の画像を画像合成することなく表示するようにしても良い。その際、指定した方向からずれた分は、デジタルカメラ１０２を光学的にパンするようにして方向を調整するようにしても良い。

このように制御することで、デジタルカメラが配置されている方向の近傍では、画像合成による劣化のない高精細画像を表示することができる。

本実施の形態においては、図１のデジタルカメラ１０１～１０４は同じものを利用するが、本発明はこれに限定されるものではなく、方向によってカメラ仕様として、異なる光学特性を有するようにしても良い。例えば、カメラ設置場所の制約により利用者とカメラとの距離が十分取れない方向のデジタルカメラについては、より広角なズームレンズを搭載するようにしても良い。また例えば、デジタルモニタ１０５から角度的に最も遠いデジタルカメラ１０４は、利用者１０６がデジタルモニタ１０５に近づいたときに画像にパースがついてしまうので、それを補正するためにシフトレンズを搭載するデジタルカメラにしてもよい。

このように構成することで、方向によって表示画質が劣化することを低減させることができる。

本実施の形態においては、表示サイズは、光学ミラー同様、利用者とデジタルモニタ１０５の距離に応じた視角となるように表示する。しかし、本発明はこれに限定されるものではなく、利用者とデジタルモニタ１０５の距離に応じた視角よりも小さく表示したり大きく表示したり、デジタルモニタ１０５上での大きさが変化しないように拡大縮小しても良い。例えば、図１のデジタルモニタ１０５と利用者１０６の距離が十分取れないがスポーツのフォーム確認の目的で利用者１０６の全身画像を確認したい場合は、利用者１０６の指示により光学ミラーの視角よりも小さく表示するようにしても良い。また例えば、利用者が化粧の目的で顔の一部をクローズアップして確認したい場合などは、光学ミラーの視角よりも大きく表示するようにしても良い。また例えば、利用者が前回と同じ大きさでスポーツのフォーム確認などを実施したい場合を想定して、使用時に手動又は自動で制御部３０１がデジタルモニタ３００と利用者１０６との距離をＲＯＭ３０２に記録しておいてもよい。制御部３０１は、デジタルモニタ１０５にデジタルカメラ２００からの画像を表示する際に、ＲＯＭ３０２に上記被写体サイズに関するモニタ利用者間の距離の情報が記録されているか否かを判定する。距離の情報が記録されていた場合、制御部３０１は、被写体サイズが前回から変化しないように、その時の利用者とデジタルモニタ１０５との距離に応じて記録した距離と比較して拡大縮小して表示することで前回の表示サイズを再現する。また、制御部３０１は、表示部３０６に映る各デジタルカメラからの画像における被写体のサイズを記録しておき、当該サイズになるように各デジタルカメラの光学ズームを制御あるいは画像を拡大縮小表示してもよい。このように構成することで、利用者の目的に合わせた表示サイズで表示することができる。

さらに制御部３０１は通信部３０４あるいはＲＯＭ３０２にデジタルカメラ２００からの動画を出力あるいは記録する機能と、記録した動画や外部装置から通信部３０４を介して受信した静止画、動画像を表示部３０６に表示する機能を有してもよい。これにより、前回のスポーツのフォームなどを録画しておいて、前回との差を自身で確認したり、インターネットに接続してデジタルカメラ２００で撮像した動画を遠隔地のインストラクタと共有して通信指導が受けられたりするようになる。

本実施形態においては、利用者が指示した方向（カメラ）からの画像をデジタルモニタ１０５に表示する構成としたが、本発明はこれに限定されるものではない。例えば、デジタルモニタ１０５の方向からの画像は常に表示するようにしてもよい。例えば、デジタルモニタ１０５方向の画像を全面に表示させたうえで、利用者が指示した方向の画像は小さくワイプ状に表示させてもよいし、その逆でもよい。これにより利用者はデジタルモニタ１０５を映し鏡のように利用することができ、かつ視線を大きく移すことなく他方からの利用者の画像も確認することが出来る。また、全面とワイプに表示させる画像を操作部３０７などを介した利用者の指示に応じて切り替えるようにしてもよい。さらに、デジタルモニタ１０５を液晶などの複数のパネルで構成して、デジタルモニタ１０５方向の画像とユーザ指示方向の画像を別々のパネルに表示させるようにしてもよい。

また本実施形態においてはデジタルカメラ２００はＡＥ制御を行い撮像画像の明るさを制御しているが、さらに各カメラの少なくとも一部のカメラが補助光源を有し、手動あるいは被写体の明るさに合わせて光量を調節する構成にしてもよい。また補助光源の色（色温度）も、用途に応じて操作部３０７を介した指示等に応じて切り替えられるようにしてもよい。

このように構成することで、従来の光学ミラーの使い勝手とデジタルミラーの利便性の双方を兼ね備えたデジタルミラーを提供することができる。また、デジタルモニタ１０５の表示部３０６は、実物の光学ミラーと一体構成されていてもよい。この場合、デジタルモニタ１０５の表示方向の画角を撮像するデジタルカメラ１０１は省略してもよい。

［第２の実施形態］
以下、本発明の第２の実施形態による、画像処理システムについて説明する。なお本実施の形態における撮像装置の一例としてのデジタルカメラ、画像処理装置の一例としてのデジタルモニタ、および画像処理システムの一例としてのデジタルミラーは、実施例１で図１および図２を用いて説明されている各構成と同様である。

図６は、本実施の形態における図３の制御部３０１の動作を説明するためのフローチャートである。

まず利用者とデジタルモニタ１０５の距離が変化している最中かを判定する（Ｓ６０１）。利用者とデジタルモニタ１０５の距離変化は、図１のデジタルカメラ１０１で撮像される利用者の顔サイズの変化を監視することで検出する。なお、顔サイズ検出手法については、既知の手法を用いればよい。

利用者とデジタルモニタ１０５の距離が変化している最中であれば、図１のデジタルカメラ１０１～１０４すべての電源をＯＮする（Ｓ６０２）。

利用者とデジタルモニタ１０５の距離が安定して利用者が静止したと判断されれば、方向カバー範囲の０°～９０°の外側になるカメラの電源をＯＦＦし、電力供給を断つ（Ｓ６０３）。利用者から表示終了が指示されたら、終了する（Ｓ６０４）。

図７は、本実施の形態における図３の制御部３０１の動作を説明するためのフローチャートである。まず方向が変化している状態かを判定する（Ｓ７０１）。方向が変化している最中であれば、図１のデジタルカメラ１０１～１０４すべての電源をＯＮする（Ｓ７０２）。方向が安定したと判断されれば、その方向の合成画像を作るのに参照されないデジタルカメラの電源をＯＦＦすることで電力消費を低減することができる（Ｓ７０３）。利用者から表示終了が指示されたら、終了する（Ｓ７０４）。

本実施の形態においては、消費電力（供給電力）を抑制するために選択したカメラの電源をＯＦＦする構成としたが、本発明はこれに限定されるものではなく、選択したカメラを省電モードに移行させるようにしても良い。このように構成することで、選択したカメラの復帰時間を短縮することができるので、デジタルミラーがフリーズすることなく利用者に快適な操作感を提供することができる。

また図８は、デジタルカメラ１０１～１０４がデジタルモニタ１０５からの電源ＯＮ、ＯＦＦの指示信号を受信したことに応じて動作するときの別の動作を説明するためのフローチャートである。本フローチャートは第１の実施形態の図５のフローチャートと並行して動作される。

デジタルモニタ１０５から電源ＯＦＦコマンドを受信したかを確認する（Ｓ８０１）。電源ＯＦＦコマンドを受信していたら撮像に係る図２の光学系２０５、撮像部２０６、Ａ／Ｄ変換部２０７および画像処理部２０８の電源供給をＯＦＦする（Ｓ８０４）。また、図１のデジタルモニタ１０５から電源ＯＮコマンドを受信したかを確認する（Ｓ８０２）。電源ＯＮコマンドを受信していたら撮像に係る図２の光学系２０５、撮像部２０６、Ａ／Ｄ変換部２０７および画像処理部２０８の電源供給をＯＮする（Ｓ８０３）。利用者から撮像終了が指示されたら、終了する（Ｓ８０５）。

本実施形態では、利用者とデジタルモニタ１０５の位置関係に応じてＯＦＦできるカメラを選択することで電力消費を抑制する構成としたが、本発明はこれに限定されるものではなく、指定された任意方向に応じてＯＦＦするカメラを選択するようにしても良い。また、不要なデジタルカメラ１０１～１０４に対して行う設定動作としては、電源ＯＦＦとまではいかず、動作する機能を制限して電力消費を抑える省電力モードのようなモードにモードを切替えることで電力消費を抑制する構成としてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０１デジタルカメラ
１０２デジタルカメラ
１０３デジタルカメラ
１０４デジタルカメラ
１０５デジタルモニタ
１０６利用者
１０７角度範囲
１０８角度範囲
１０９角度範囲

Claims

利用者に向けて互いに異なる視点で撮像する複数の撮像部を有する撮像手段で撮像された該利用者を含む画像を表示する表示部に該画像を出力する画像処理装置であって、
前記利用者を前記表示部とは異なる方向から見た画像を前記撮像手段より取得する画像取得手段と、
前記利用者と前記表示部との距離情報を取得する距離取得手段と、
前記画像における前記利用者の表示サイズを設定する設定手段と、
前記距離情報の変化によって前記画像における前記利用者の表示サイズが前記設定手段により設定された表示サイズから変化することを抑制するように前記画像取得手段から取得される画像を拡大あるいは縮小して前記画像を前記表示部に表示する制御手段と、を有し、
前記制御手段により前記撮像手段から取得された画像は、前記複数の撮像部から出力される画像を合成して得られる合成画像であり、
前記制御手段は、前記合成画像を生成するのに用いられない視点の画像を撮像する前記複数の撮像部のうちの一部の撮像部を、消費電力を抑制するモードに変更することを特徴とする画像処理装置。
前記設定手段は、前記利用者の表示サイズを前記利用者と前記表示部との距離に応じた視角となるように設定し、
前記制御手段は、前記距離情報に基づいて、前記表示部に表示する画像が前記利用者と前記表示部との距離に応じた視角となるように前記撮像手段の光学系を制御することを特徴とする請求項１に記載の画像処理装置。
前記制御手段は、
前記距離情報に基づいて前記利用者と前記表示部の距離が変化していると判定される場合は、前記利用者の表示サイズが変化することを抑制するように前記画像取得手段から取得される画像を拡大あるいは縮小し、
前記距離情報に基づいて前記利用者と前記表示部の距離が変化していると判定された後、前記距離が安定したと判定された場合は、前記撮像手段の光学系を制御することにより前記利用者の表示サイズが変化することを抑制することを特徴とする請求項２に記載の画像処理装置。
前記撮像手段の有する前記複数の撮像部は、互いにズームに係る光学特性が異なることを特徴とする請求項１に記載の画像処理装置。
前記制御手段は、前記距離情報に応じて、前記撮像手段の前記複数の撮像部の一部を消費電力を抑制するモードに変更することを特徴とする請求項１に記載の画像処理装置。
前記複数の撮像部のうちの一部の撮像部を消費電力を抑制するモードに変更するとは、供給電力を低減させることであることを特徴とする請求項１に記載の撮像装置。
前記複数の撮像部のうちの一部の撮像部を消費電力を抑制するモードに変更するとは、撮像部の電源をＯＦＦにし電力供給を断つことであることを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記利用者が前記表示部に近づけば、前記表示部に表示する画像の利用者のサイズが大きくなり、前記利用者が前記表示部から遠ざかれば、前記表示部に表示する画像の利用者のサイズが小さくなることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記距離情報は、前記表示部に表示する画像における前記利用者の顔サイズであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記距離情報は、ＴｉｍｅＯｆＦｌｉｇｈｔの方式で取得されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記距離情報は、前記撮像手段により取得された画像を用いた視差検出方式により得られることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記距離情報は、前記撮像手段により取得された画像を用いたコントラスト評価方式により得られることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記表示部に、前記表示部の方向からの画像と、前記表示部の方向とは異なる方向からの画像の少なくとも２つの画像を表示することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
前記設定手段は、ユーザー操作に基づいて手動で前記表示サイズを設定可能であることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
前記撮像手段と、
請求項１乃至１４のいずれか１項に記載の画像処理装置と、を有することを特徴とする画像処理システム。
コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として実行させるためのプログラム。
コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
利用者に向けて互いに異なる視点で撮像する複数の撮像部を有する撮像手段で撮像された該利用者を含む画像を表示する表示部に該画像を出力する画像処理装置の制御方法であって、
前記利用者を前記表示部とは異なる方向から見た画像を前記撮像手段より取得する画像取得ステップと、
前記利用者と前記表示部との距離情報を取得する距離取得ステップと、
前記画像における前記利用者の表示サイズを設定する設定ステップと、
前記距離情報の変化によって前記画像における前記利用者の表示サイズが前記設定ステップにて設定された表示サイズから変化することを抑制するように前記画像取得ステップにて取得される画像を拡大あるいは縮小して前記画像を前記表示部に表示する制御ステップと、を有し、
前記制御手段により前記撮像手段から取得される画像は、前記複数の撮像部から出力される画像を合成して得られる合成画像であり、
前記制御ステップでは、前記合成画像を生成するのに用いられない視点の画像を撮像する前記複数の撮像部のうちの一部の撮像部を、消費電力を抑制するモードに変更することを特徴とする画像処理装置の制御方法。