JP4259960B2

JP4259960B2 - 撮像装置および情報伝達システム

Info

Publication number: JP4259960B2
Application number: JP2003310569A
Authority: JP
Inventors: 金城　　直人
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-09-02
Filing date: 2003-09-02
Publication date: 2009-04-30
Anticipated expiration: 2023-09-02
Also published as: JP2005080116A

Description

本発明は、特定の被写体に対して情報を割り当てる機能を有する撮像装置、情報が割り当てられた被写体を撮影することにより、情報を取得する機能を有する撮像装置、およびこれらの撮像装置を用いて情報の伝達を行う情報伝達システムに関する。

撮影者が入力する被写体情報などの情報を、特定の被写体に対して割り当てる機能を有する撮像装置や、この撮像装置を用い、写真撮影を介して任意のメンバー間で情報の伝達を行うことが可能な情報伝達システムが提案されている。

上記のような撮像装置として、特定の被写体に装着された赤外光発信器から発せられる赤外光を検出して被写体位置を特定し、この特定の被写体に対して、位置や名前などの情報を割り当ててディスプレイに表示するもの（特許文献１参照）や、被写体情報を変調して発光信号として出力する発光器を特定の被写体に取り付け、発光器からの光信号と被写体画像の光信号とを同時に撮像し、これら２つの信号を分離して、画像信号と情報を表す信号とを取得するもの（特許文献２参照）が提案されている。

また、上記のような情報伝達システムとして、ＧＰＳ（Global Positioning System ）を備えた撮像装置から、被写体の位置情報をサーバに送信し、サーバ内のデータベースを検索して被写体を特定するとともに、被写体に割り当てられた情報を撮像装置に伝達するものが提案されている（特許文献３参照）。

特開平９−７４５０４号公報特開平１１−２９８７７５号公報特開２００２−３４４７９２号公報

特許文献１および２に記載の撮像装置には、被写体に発光器を装着させなければならないため、情報を割り当てる対象が限定されてしまい、汎用性に乏しいという問題があった。また、特許文献３に記載のシステムでは、被写体を特定する精度がＧＰＳの性能に依存するため、衛星電波信号の受信状態によっては、被写体を特定することができなくなるなどの不具合が生じるおそれがあった。

本発明は、上記課題を鑑みてなされたものであり、正確且つ簡単に撮影範囲内の任意の被写体に対して情報を割り当てることができる撮像装置および情報伝達システムを提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、特定の被写体を含むシーンを撮像して第１の画像を出力する第１の撮像手段と、前記被写体に付属した被写体情報を含む光信号を発信する光信号発生器と、前記光信号の反射光を撮像して第２の画像を出力する第２の撮像手段と、前記第１の画像と第２の画像とを比較して、前記第１の画像内における前記光信号の照射位置を検出する照射位置検出手段と、前記被写体に前記光信号が照射されるように、前記照射位置を変化させる照射位置調整手段とを備えたことを特徴とする。

なお、前記照射位置を表す指標と、前記第１の画像とを合成表示する表示手段を備えることが好ましく、この表示手段は、前記照射位置が前記被写体と一致したときに、前記被写体情報と前記第１の画像とを合成表示することが好ましい。また、前記被写体情報を符号化する符号化手段を備えることが好ましい。

また、本発明の撮像装置は、特定の被写体を含むシーンを撮像して第１の画像を出力する第１の撮像手段と、前記被写体に付属した被写体情報が符号化された光信号を撮像して第２の画像を出力する第２の撮像手段と、前記第１の画像と第２の画像とを比較して、前記第１の画像内における前記光信号の照射位置を検出する照射位置検出手段と、前記光信号を前記被写体情報に復号化する復号化手段と、前記照射位置を表す指標、および前記被写体情報を、前記第１の画像と合成表示する表示手段とを備えたことを特徴とする。なお、前記光信号は、赤外光の点滅パターンであることが好ましい。

また、本発明は、特定の被写体に付属した被写体情報を発信する情報発信用撮像装置と、前記被写体情報を受信する情報受信用撮像装置とから構成される情報伝達システムにおいて、前記情報発信用撮像装置は、前記被写体情報を含む光信号を被写体に照射する光信号発生器を備え、前記情報受信用撮像装置は、特定の被写体を含むシーンを撮像して第１の画像を出力する第１の撮像手段と、前記光信号を撮像して第２の画像を出力する第２の撮像手段と、前記第１の画像と第２の画像とを比較して、前記第１の画像内における前記光信号の照射位置を検出する照射位置検出手段と、前記光信号を前記被写体情報に復号化する復号化手段と、前記照射位置を表す指標、および前記被写体情報を、前記第１の画像と合成表示する第１の表示手段とを備えたことを特徴とする。

なお、前記情報発信用撮像装置は、前記特定の被写体を含むシーンを撮像する第３の撮像手段と、前記光信号の反射光を撮像する第４の撮像手段と、前記第３および第４の撮像手段で撮像された画像を比較して、前記光信号の照射位置を検出する照射位置検出手段と、前記被写体に前記光信号が照射されるように、前記照射位置を変化させる照射位置調整手段とを備えることが好ましい。さらに、前記情報発信用撮像装置は、前記照射位置を表す指標と、前記第３の撮像手段で得られた画像とを合成表示する第２の表示手段を備えることが好ましい。

本発明の撮像装置および情報伝達システムによれば、特定の被写体を含むシーンを撮像して第１の画像を出力する第１の撮像手段と、被写体に付属した被写体情報を含む光信号を発信する光信号発生器と、光信号の反射光を撮像して第２の画像を出力する第２の撮像手段と、第１の画像と第２の画像とを比較して、第１の画像内における光信号の照射位置を検出する照射位置検出手段と、被写体に光信号が照射されるように、照射位置を変化させる照射位置調整手段とを備え、光信号を被写体に照射することで、被写体に対して情報を割り当てるとともに、特定の被写体を含むシーンを撮像して第１の画像を出力する第１の撮像手段と、被写体に付属した被写体情報が符号化された光信号を撮像して第２の画像を出力する第２の撮像手段と、第１の画像と第２の画像とを比較して、第１の画像内における光信号の照射位置を検出する照射位置検出手段と、光信号を被写体情報に復号化する復号化手段と、照射位置を表す指標、および被写体情報を、第１の画像と合成表示する表示手段とを備え、光信号が照射された被写体を撮影することにより、情報を取得するので、正確且つ簡単に撮影範囲内の任意の被写体に対して情報を割り当てることができる。

図１において、本発明を適用した情報伝達システム２は、被写体１０と、情報発信用カメラ１１と、情報受信用カメラ１２とから構成される。この情報伝達システム２は、例えばアミューズメントパークのアトラクションや観光名所の建造物などの特定の被写体１０に対して、サービス業者が所有する情報発信用カメラ１１により情報（情報発信用カメラ１１や被写体１０の固有ＩＤ情報、被写体１０に関連する被写体情報など、図６参照）を割り当て、この被写体１０を一般ユーザーが所有する情報受信用カメラ１２で撮影することにより、情報受信用カメラ１２に情報を伝達するものである。

図２および図３に示すように、情報発信用カメラ１１には、撮像レンズ２０が組み込まれたレンズ鏡胴２１、光学ファインダを構成するファインダ対物窓２２とファインダ接眼窓２３、およびストロボ発光部２４が設けられている。側面および上面には、グリップ部２５、モードダイヤル２６、レリーズボタン２７、他方の側面には、メモリカード２８が着脱自在に装填されるメモリカードスロット２９が設けられている。また、ファインダ対物窓２２の下部には、赤外光を発する赤外光発生器３０、および赤外光の反射光を撮像する赤外光撮像センサ３１が組み込まれている。

撮像レンズ２０の背後には、図示しないＣＣＤイメージセンサ（ＣＣＤ）が配置されており、これらとレンズ鏡胴２１とで撮像部４２（図４参照）を構成している。ＣＣＤからの撮像信号は、Ａ／Ｄ変換器４３（図４参照）によりデジタルの画像データに変換される。この画像データは、情報発信用カメラ１１の背面に設けられた液晶表示器（ＬＣＤ）３２で、いわゆるスルー画像として表示される。また、このＬＣＤ３２、あるいは光学ファインダを通して被写体画像のフレーミングが行われる。

レリーズボタン２７は、２段階押しのスイッチとなっており、ＬＣＤ３２または光学ファインダによるフレーミングの後にレリーズボタン２７を軽く押圧（半押し）すると、露光調整（ＡＥ）、撮像レンズ２０の焦点調整（ＡＦ）などの各種撮影準備処理が施される。レリーズボタン２７をもう１度強く押圧（全押し）すると、撮影準備処理が施された１画面分の撮像信号が画像データに変換された後、フレームメモリ４７（図４参照）や、メモリカード２８に記録される。

情報発信用カメラ１１の背面には、ＬＣＤ３２のほかに、電源のオン／オフ切替えを行う電源ボタンや、撮像レンズ２０のズームレンズをワイド側、テレ側に変倍するズーム操作ボタン、ＬＣＤ３２に表示されるメニュー画面内でカーソルを移動させるカーソル操作キーや、被写体１０に割り当てる情報を入力する入力ボタンなどからなる操作部３３が設けられている。

情報発信用カメラ１１では、静止画撮影を行う静止画撮影モード、動画撮影を行う動画撮影モード、撮影した画像をＬＣＤ３２に表示する再生モード、および各種設定を行うセットアップモードが選択可能となっている。これらのモードの切り替えは、モードダイヤル２６を回動操作させることで行われる。

情報発信用カメラ１１の電気的構成を示す図４において、ＣＰＵ４０は、バス４１を介して情報発信用カメラ１１の各部を制御する。撮像部４２は、撮像レンズ２０からの光学的な被写体画像をＣＣＤで電気的な撮像信号に変換する。撮像部４２で出力された撮像信号は、Ａ／Ｄ変換器４３でデジタルの画像データに変換され、信号処理部４４により輪郭強調、ガンマ補正、ホワイトバランス調整などの各種信号処理を施される。

システムメモリ４５は、撮影シーケンスを行うための各種プログラムが記憶されるＲＯＭや、プログラムの実行に必要な各種データが一時記憶されるＲＡＭから構成される。ＣＰＵ４０は、バス４１を介してシステムメモリ４５に記憶されたプログラムやデータを読み出し、これらに基づいて情報発信用カメラ１１の各部を制御する。また、このシステムメモリ４５には、操作部３３で入力された情報がテキストデータとして記録される。

不揮発性メモリ４６は、ＥＥＰＲＯＭなどの書き換え可能な記憶媒体からなり、情報発信用カメラ１１を動作させるために必要な各種設定情報が記録される。この各種設定情報は、新機能を追加する際などに新しい情報に書き換えられる。フレームメモリ４７には、画像処理が施された１フレーム分の画像データが書き込まれる。

画像圧縮・伸張回路４８は、フレームメモリ４７に書き込まれた画像データに対して、例えばＪＰＥＧ形式で圧縮処理を施す。圧縮処理後の画像データは、カードＩ／Ｆ４９を介してメモリカード２８に記録される。

ストロボ装置５０は、ストロボ制御回路５１により動作制御される。情報発信用カメラ１１には、上記の他にも、タイマ５２、撮影日時を記録するためのカレンダー・時計回路５３、操作部３３と入出力信号の授受を行うＩ／Ｏポート５４、各部に電源を供給する電源供給部５５、ＬＣＤ３２の駆動制御を行うＬＣＤドライバ５６などが設けられている。

操作部３３で入力された情報は、符号化回路５７により予め定められたアルゴリズムにしたがって符号化され、この符号化された情報が赤外光発光器３０で点滅パターンの光信号として発信される。赤外光発生器３０には、照射位置調整回路５８が接続されている。照射位置調整回路５８は、後述する照射位置検出回路５９による赤外光の照射位置の検出結果に応じて、被写体１０上の指定された位置に赤外光が照射されるように、照射位置を調整する。なお、赤外光の照射位置を被写体１０上に指定する方法としては、ＬＣＤ３２をタッチパネル式として、ユーザーの指入力により行ってもよいし、レリーズボタン２７の半押し時のＡＦ合焦位置に連動させてもよい。

赤外光撮像センサ３１は、赤外光発生器３０から発せられ、被写体１０で反射した赤外光を撮像し、撮像信号を照射位置検出回路５９に送信する。後述するように、この赤外光撮像センサ３１は、赤外光が撮影範囲内のどの部分に照射されたかを検出するためのものであるので、その解像度は撮像部４２のＣＣＤと同等か、低くてもよい。また、赤外光の点滅パターンが検出可能な限り、赤外光撮像センサ３１のフレームレートを、ＣＣＤのそれよりも低くしてもよい。

照射位置検出回路５９は、撮影範囲内における赤外光の照射位置を検出し、この検出結果をＣＰＵ４０に送信する。ＣＰＵ４０は、この検出結果に応じて照射位置調整回路５８を制御し、赤外光の照射位置が被写体１０上の指定された位置と一致するように調整する。また、図５に示すように、ＬＣＤドライバ５６を制御して、照射位置を表すポインタ７０、および被写体１０上に指定された位置を表す枠７１（点線で囲む部分）を、被写体１０とともにＬＣＤ３２に合成表示する。なお、赤外光の照射位置は、初期動作時には撮影範囲の中心となっている。

情報発信用カメラ１１では、照射位置調整回路５８を作動させて自動的に照射位置を合わせる自動調整モードと、照射位置調整回路５８を無効にしてマニュアルで照射位置を合わせるマニュアル調整モードとを選択することが可能となっている。

照射位置調整回路５８を制御して赤外光の照射位置を被写体１０上の指定された位置に合わせ、レリーズボタン２７を全押しするなどして照射位置の調整が終了すると、図６に示すように、ＣＰＵ４０は再びＬＣＤドライバ５６を制御して、割り当てられた情報の内容を表すウィンドウ７２（２点鎖線で囲む部分）を、被写体１０とともにＬＣＤ３２に合成表示する。これにより、被写体１０に割り当てた情報の内容を確認することができる。

図７に示すように、情報受信用カメラ１２は、情報発信用カメラ１１から赤外光発生器３０および照射位置調整回路５８を除いた構成となっている。情報受信用カメラ１２では、撮像部４２のＣＣＤから得られた画像と、赤外光撮像センサ３１より出力された画像とを比較して、赤外光が照射された被写体を特定する。そして、赤外光撮像センサ３１で検出された赤外光の点滅パターンを復号化回路８０によりデコードして被写体情報を取得し、この被写体情報と撮影した画像とを関連付けて、図６に示す合成画像をＬＣＤ３２に表示する。この状態でレリーズボタン２７が全押しされると、合成画像がメモリカード２８に記録される。

次に、上記実施形態による作用について、図８および図９のフローチャートを参照して説明する。まず、情報発信用カメラ１１の操作部３３を操作して、被写体１０に割り当てる情報を入力した後、撮影範囲を決定し、情報を割り当てる被写体１０上の位置を指定する。

符号化回路５７で、操作部３３で入力された情報が赤外光の光信号に符号化され、この符号化した光信号が赤外光発生器３０から点滅パターンとして発信される。そして、赤外光撮像センサ３１により光信号の反射光が撮像され、この撮像信号に基づいて、照射位置検出回路５９により赤外光の照射位置が検出される。

このとき、ＣＰＵ４０によりＬＣＤドライバ５６が制御され、照射位置を表すポインタ７０、および被写体１０上に指定された位置を表す枠７１が、被写体１０とともにＬＣＤ３２に合成表示される。また、照射位置調整回路５８が制御され、あるいはマニュアル操作により、赤外光の照射位置が被写体１０上の指定された位置と一致するように調整される。

赤外光の照射位置と被写体１０上の指定された位置とが合致し、レリーズボタン２７が全押しされるなどして照射位置の調整が終了すると、ＣＰＵ４０により再びＬＣＤドライバ５６が制御され、割り当てられた情報の内容を表すウィンドウ７２が、被写体１０とともにＬＣＤ３２に合成表示される。これにより、被写体１０に情報が割り当てられる。

図９において、情報受信用カメラ１２側では、情報発信用カメラ１１の赤外光発生器３０から発せられ、被写体１０で反射した赤外光が赤外光撮像センサ３１で検出される。この赤外光撮像センサ３１で撮像された画像とＣＣＤで得られた画像とが比較され、赤外光が照射された被写体１０が特定される。そして、赤外光の点滅パターンが復号化回路８０で被写体情報にデコードされ、図６に示す合成画像がＬＣＤ３２に表示される。このような構成であると、被写体１０上の指定された位置に、ピンポイントで情報を割り当てることができる。

上記実施形態では、操作部３３により情報を入力しているが、情報発信用カメラ１１にマイクを内蔵させ、音声により情報を入力するようにしてもよい。また、赤外光の照射位置を調整する機構としては、赤外光発生器３０を首振り自在な構成とし、機械的に赤外光発生器３０を移動させてもよいし、ミラーなどの光学的な手法を用いてもよい。

赤外光発生器３０が照射する照射位置は、１シーン中において１箇所に限らず、複数箇所設けてもよい。この場合、撮影範囲内の複数の被写体や、同一被写体中の複数の箇所に対して情報を割り当てることが可能となる。さらに、赤外光発生器３０を、情報発信用カメラ１１と切り離して別体にしてもよい。このようにすると、照射位置の調整をマニュアルで行わなければならないが、照射位置調整回路５８を省略することができ、情報受信用カメラ１２と略同一の構成とすることができる。

なお、赤外光撮像センサ３１から出力された撮像信号を解析して、図６に示す合成画像を作成する機能を有するサーバを用意しておき、ユーザーがこのサーバに撮影した画像と赤外光撮像センサ３１から出力された撮像信号とを転送して、サーバで合成画像を作成し、サーバからカメラに合成画像を返信させるようにしてもよい。この場合、情報を復号化させる機能を持たせる必要がなくなり、ハード設計の負担を軽減させることができる。

また、赤外光の点滅パターンに含ませる情報を、情報発信用カメラ１１や被写体１０に固有のＩＤ情報のみとし、被写体情報をＩＤ情報と対応付けて、無線通信、あるいはサーバ経由で情報発信用カメラ１１から情報受信用カメラ１２へ伝達させてもよい。情報受信用カメラ１２では、赤外光に含まれる情報より被写体１０のＩＤ情報がデコードされ、このＩＤ情報と対応付けられた被写体情報が取得される。このようにすると、被写体毎に関連する被写体情報を、発信側、受信側双方で自由に追加・更新することが可能となる。

情報を割り当てる被写体として移動体を対象とする場合は、例えばマニュアルで赤外光の照射位置を被写体上の指定された位置に合わせてデータを確定させた後、指定された位置の画像を切り出してフレームメモリ４７に一時記憶し、公知の局所パターンマッチング技術を用いて、動画フレーム毎に移動体の動きを自動追尾することにより、情報の割り当てを行う。

さらに、取得した情報、例えば上記ＩＤ情報や被写体情報内のキーワードを利用して、情報受信用カメラ１２内のメモリカード２８に記憶された画像の検索を行えるようにしてもよい。また、ステレオ撮影やパノラマ撮影などの特殊撮影に本発明の情報伝達システムを応用してもよい。この場合、１台のカメラを情報発信用カメラとして機能させ、このカメラで赤外光の照射位置を設定し、ＡＥ、ＡＦや撮影範囲を決定する。そして、ＡＥ、ＡＦ、撮影範囲のパラメータを他のカメラに赤外光の情報として伝達する。これらの情報が伝達されたカメラのＬＣＤ３２に、被写体とともに情報を合成表示させる。ユーザーは、この情報に合致するようにマニュアルで撮影範囲などを調整し、撮影を行う。このようにすると、正確に赤外光の照射位置が分かり、撮影範囲などの調整もスムーズに行えるので、より高度な特殊撮影を簡単に行うことが可能となる。

なお、被写体情報を含む光信号として、上記実施形態の点滅パターン以外に、光の強度を複数段階に分けて発光させてもよい。この場合、例えば強度を４段階に分けて発光させれば、１つのタイミングで４ｂｉｔ分の情報を伝達することができる。この他にも、複数の波長光を同時に発光させてもよい。

本発明を適用した情報伝達システムの概略構成を示す図である。情報発信用カメラの正面外観斜視図である。情報発信用カメラの背面外観斜視図である。情報発信用カメラの電気的構成を示すブロック図である。照射位置を表すポインタ、および被写体上に指定された位置を表す枠を被写体とともにＬＣＤに合成表示した様子を示す説明図である。情報の内容を表すウィンドウを被写体とともにＬＣＤに合成表示した様子を示す説明図である。情報受信用カメラの電気的構成を示すブロック図である。情報発信用カメラの動作を示すフローチャートである。情報受信用カメラの動作を示すフローチャートである。

符号の説明

２情報伝達システム
１０被写体
１１情報発信用カメラ
１２情報受信用カメラ
２０撮像レンズ
２７レリーズボタン
２８メモリカード
３０赤外光発生器
３１赤外光撮像センサ
３２液晶表示器（ＬＣＤ）
３３操作部
４０ＣＰＵ
４２撮像部
４４信号処理部
５７符号化回路
５８照射位置調整回路
５９照射位置検出回路
７０ポインタ
７１枠
７２ウィンドウ
８０復号化回路

Claims

特定の被写体を含むシーンを撮像して第１の画像を出力する第１の撮像手段と、
前記被写体に付属した被写体情報を含む光信号を発信する光信号発生器と、
前記光信号の反射光を撮像して第２の画像を出力する第２の撮像手段と、
前記第１の画像と第２の画像とを比較して、前記第１の画像内における前記光信号の照射位置を検出する照射位置検出手段と、
前記被写体に前記光信号が照射されるように、前記照射位置を変化させる照射位置調整手段とを備えたことを特徴とする撮像装置。
前記照射位置を表す指標と、前記第１の画像とを合成表示する表示手段を備えたことを特徴とする請求項１に記載の撮像装置。
前記表示手段は、前記照射位置が前記被写体と一致したときに、前記被写体情報と前記第１の画像とを合成表示することを特徴とする請求項２に記載の撮像装置。
前記被写体情報を符号化する符号化手段を備えたことを特徴とする請求項１ないし３のいずれかに記載の撮像装置。
特定の被写体を含むシーンを撮像して第１の画像を出力する第１の撮像手段と、
前記被写体に付属した被写体情報が符号化された光信号を撮像して第２の画像を出力する第２の撮像手段と、
前記第１の画像と第２の画像とを比較して、前記第１の画像内における前記光信号の照射位置を検出する照射位置検出手段と、
前記光信号を前記被写体情報に復号化する復号化手段と、
前記照射位置を表す指標、および前記被写体情報を、前記第１の画像と合成表示する表示手段とを備えたことを特徴とする撮像装置。
前記光信号は、赤外光の点滅パターンであることを特徴とする請求項１ないし５のいずれかに記載の撮像装置。
特定の被写体に付属した被写体情報を発信する情報発信用撮像装置と、前記被写体情報を受信する情報受信用撮像装置とから構成される情報伝達システムにおいて、
前記情報発信用撮像装置は、前記被写体情報を含む光信号を被写体に照射する光信号発生器を備え、
前記情報受信用撮像装置は、特定の被写体を含むシーンを撮像して第１の画像を出力する第１の撮像手段と、
前記光信号を撮像して第２の画像を出力する第２の撮像手段と、
前記第１の画像と第２の画像とを比較して、前記第１の画像内における前記光信号の照射位置を検出する照射位置検出手段と、
前記光信号を前記被写体情報に復号化する復号化手段と、
前記照射位置を表す指標、および前記被写体情報を、前記第１の画像と合成表示する第１の表示手段とを備えたことを特徴とする情報伝達システム。
前記情報発信用撮像装置は、前記特定の被写体を含むシーンを撮像する第３の撮像手段と、
前記光信号の反射光を撮像する第４の撮像手段と、
前記第３および第４の撮像手段で撮像された画像を比較して、前記光信号の照射位置を検出する照射位置検出手段と、
前記被写体に前記光信号が照射されるように、前記照射位置を変化させる照射位置調整手段とを備えたことを特徴とする請求項７に記載の情報伝達システム。
前記情報発信用撮像装置は、前記照射位置を表す指標と、前記第３の撮像手段で得られた画像とを合成表示する第２の表示手段を備えたことを特徴とする請求項８に記載の情報伝達システム。