JP6314564B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、撮影装置で撮影される被写体が、容易に、画像を変化させることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。

画像を撮影する撮影装置（カメラ）の被写体となっている人物が、機器を制御する方法としては、例えば、特許文献１や２，３に記載された技術がある。

特許文献１及び２に記載の技術では、撮影装置で撮影された撮影画像における被写体のジェスチャが認識され、そのジェスチャに応じて、機器が制御される。

特許文献３に記載の技術では、撮影装置で撮影される被写体が持つ制御用端末に表示される色が認識され、その色の動きに応じて、機器が制御される。

特許文献１ないし３に記載の技術によれば、撮影装置で撮影される被写体自身が、機器を操作することができるので、被写体となった人物は、機器の制御を、好みのタイミングで行うことができる。さらに、被写体となった人物とは別に、機器を操作する人員を用意する必要がないので、機器を操作する人員を削減することができる。

特開平9-185456号公報 特開2013-187907号公報 特開2013-192151号公報

例えば、特許文献１及び２に記載の技術のような、ジェスチャを利用して機器を制御する技術では、ジェスチャを行う被写体そのものと、その被写体のジェスチャ（動き）とを認識する必要がある。したがって、ジェスチャを利用して機器を制御する技術では、個体差がある被写体の姿及び動きを認識する必要があり、そのため、認識精度を高めることが困難で、機器制御を確実に行うことが難しい場合がある。

また、例えば、特許文献３に記載の技術のような、制御用端末を用いて機器を制御する技術では、特殊な制御用端末を用意する必要がある。

本技術は、このような状況に鑑みてなされたものであり、撮影装置で撮影される被写体が、容易に、機器を制御することができるようにし、これにより、容易に、画像を変化させることができるようにするものである。

本技術の画像処理装置、又は、プログラムは、撮影装置で撮影された撮影画像から、マーカ表示部材に表され、画像を貼り付ける目印となるマーカを検出する検出部と、前記マーカの状態の変化を判定する判定部と、前記撮影画像におけるマーカの位置に、前記マーカに対応するマーカ対応画像を貼り付けた第１の画像を生成し、前記マーカ表示部材を持っている被写体となる人物の動作によって、前記マーカの位置若しくは姿勢が変化するか、又は前記マーカが隠れる状態変化が生じた場合に、前記状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を、前記マーカ対応画像にエフェクトを施して得られる画像又は前記マーカ対応画像とは異なる画像に変化させた第２の画像を生成する画像処理部とを備える画像処理装置、又は、そのような画像処理装置としてコンピュータを機能させるためのプログラムである。

本技術の画像処理方法は、撮影装置で撮影された撮影画像から、マーカ表示部材に表され、画像を貼り付ける目印となるマーカを検出し、前記マーカの状態の変化を判定し、前記撮影画像におけるマーカの位置に、前記マーカに対応するマーカ対応画像を貼り付けた第１の画像を生成し、前記マーカ表示部材を持っている被写体となる人物の動作によって、前記マーカの位置若しくは姿勢が変化するか、又は前記マーカが隠れる状態変化が生じた場合に、前記状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を、前記マーカ対応画像にエフェクトを施して得られる画像又は前記マーカ対応画像とは異なる画像に変化させた第２の画像を生成するステップを含む画像処理方法である。

本技術においては、撮影装置で撮影された撮影画像から、マーカ表示部材に表され、画像を貼り付ける目印となるマーカが検出され、前記マーカの状態の変化が判定される。そして、前記撮影画像におけるマーカの位置に、前記マーカに対応するマーカ対応画像を貼り付けた第１の画像が生成され、前記マーカ表示部材を持っている被写体となる人物の動作によって、前記マーカの位置若しくは姿勢が変化するか、又は前記マーカが隠れる状態変化が生じた場合に、前記状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像が、前記マーカ対応画像にエフェクトを施して得られる画像又は前記マーカ対応画像とは異なる画像に変化させられて第２の画像が生成される。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

また、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術によれば、撮影装置で撮影される被写体が、容易に、画像を変化させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 マーカの例を示す図である。 撮影画像と、その撮影画像におけるマーカの位置に、マーカ対応画像が貼り付けられた第１の画像の例を示す図である。 画像処理システムの処理の例を説明するフローチャートである。 マーカの状態変化と、マーカの状態変化に応じて行われるエフェクトの第１の例を示す図である。 マーカの状態変化と、マーカの状態変化に応じて行われるエフェクトの第２の例を示す図である。 マーカの状態変化の第３の例を示す図である。 マーカの、隠れている部分が変化する状態変化の例を示す図である。 マーカの一部が隠れる状態変化の第１の例を示す図である。 マーカの一部が隠れる状態変化の第２の例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜本技術を適用した画像処理システムの一実施の形態＞

図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。

図１において、画像処理システムは、撮影装置１１、画像処理装置１２、及び、表示装置１３を有し、例えば、撮影装置１１で撮影された撮影画像を編集して、いわゆる完全パッケージと呼ばれる番組（コンテンツ）を制作する編集システムを構成している。

撮影装置１１は、例えば、画像（動画）を撮影するビデオカメラであり、被写体等を撮影し、その撮影によって得られる撮影画像を、画像処理装置１２に供給する。

ここで、図１では、被写体となっている人物が、マーカ表示部材を持っており、したがって、撮影装置１１では、被写体（人物）とマーカ表示部材とが映った撮影画像が撮影される。

マーカ表示部材は、マーカが表された部材であり、マーカは、画像を貼り付ける目印となる静止画である。

マーカ表示部材としては、例えば、マーカ（となる画像）が印刷又は手書きされたフリップボードを採用することができる。また、マーカ表示部材としては、例えば、マーカを表示することができるタブレット端末その他の、画像の提示（撮影装置１１で撮影可能な形での提示）が可能な任意の提示手段を採用することができる。

マーカ表示部材として採用する提示手段は、例えば、タブレット端末や、液晶パネル等のように、平板形状の提示手段であっても良いし、例えば、有機EL(Electro Luminescence)パネルを湾曲させたような、曲面形状の提示手段であっても良い。

また、マーカ表示部材として、動画の表示が可能なタブレット端末等を採用する場合には、マーカとして、静止画ではなく、動画を採用することができる。但し、マーカとして、動画を採用する場合には、マーカの検出に時間を要することがあるので、マーカの検出を迅速に行う観点からは、マーカとしては、静止画を採用することが望ましい。

画像処理装置１２は、例えば、図１の画像処理システムとしての編集システムにおけるスイッチャであり、撮影装置１１から供給される撮影画像に各種の画像処理を施す。

すなわち、画像処理装置１２は、撮影装置１１から供給される撮影画像におけるマーカの位置に、そのマーカに対応するマーカ対応画像を貼り付けた（合成した）第１の画像を生成し、表示装置１３に供給する。

また、画像処理装置１２は、撮影装置１１から供給される撮影画像におけるマーカの状態の変化（状態変化）に応じて、第１の画像を、第２の画像に変化させ、表示装置１３に供給する。

具体的には、画像処理装置１２は、検出部２１、画像処理部２２、判定部２３、及び、制御部２４を有する。

検出部２１には、撮影装置１１からの撮影画像が供給される。

検出部２１は、撮影装置１１からの撮影画像を１以上のフレームごとに解析し、その撮影画像から、マーカ表示部材に表示されたマーカを検出し、そのマーカの位置や姿勢等に関するマーカ情報を、画像処理部２２、及び、判定部２３に供給する。

すなわち、検出部２１は、マーカ記憶部２１Ａを内蔵しており、マーカ記憶部２１Ａには、マーカとなる画像を表すマーカ画像情報（例えば、画像の特徴量等）が記憶されている。

検出部２１は、撮影装置１１からの撮影画像から、マーカ記憶部２１Ａに記憶されたマーカ画像情報が表す画像とマッチングする領域（の画像）を、マーカとして検出し、そのマーカに関するマーカ情報を、画像処理部２２、及び、判定部２３に供給する。

画像処理部２２には、検出部２１からマーカ情報が供給される他、撮影装置１１から撮影画像が供給される。

画像処理部２２は、検出部２１からのマーカ情報に基づいて、撮影装置１１からの撮影画像上のマーカを特定し、撮影画像におけるマーカの位置に、そのマーカに対応するマーカ対応画像を貼り付けた第１の画像を生成して、表示装置１３に供給する。

ここで、マーカ対応画像としては、例えば、CG(Computer Graphics)や、他の撮影装置で撮影された撮影画像（動画又は静止画）を採用することができる。画像処理部２２では、例えば、マーカとマーカ対応画像とが対応付けられており、撮影画像におけるマーカの位置に、そのマーカに対応するマーカ対応画像が貼り付けられることで、第１の画像が生成される。

また、画像処理部２２は、制御部２４からのコマンドに従い、例えば、第１の画像にエフェクトを施すことで、第１の画像を、第２の画像に変化させ、表示装置１３に供給する。

ここで、第１の画像に施すエフェクトとしては、例えば、第１の画像におけるマーカ対応画像を、他の画像に切り替えるエフェクトや、第１の画像におけるマーカ対応画像を全画面表示にするエフェクト等がある。

なお、第２の画像としては、第１の画像にエフェクトを施して得られる画像の他、第１の画像とは全く別の画像や、その画像にエフェクトを施した画像等を採用することができる。

判定部２３は、状態変化記憶部２３Ａを内蔵し、状態変化記憶部２３Ａには、マーカの状態変化、すなわち、例えば、マーカの位置又は姿勢が変化する状態変化や、マーカの一部が隠れる状態変化、マーカの、隠れている部分が変化する状態変化等のうちの１以上の状態変化を表す状態変化情報が記憶されている。

判定部２３は、検出部２１からの一定期間のマーカ情報と、状態変化記憶部２３Ａに記憶された状態変化情報とを用いて、マーカの状態変化を判定し、マーカに、状態変化記憶部２３Ａに記憶された状態変化情報が表す状態変化が生じた場合には、そのマーカの状態変化を表す状態変化情報を、制御部２４に供給する。

制御部２４は、コマンドリスト記憶部２４Ａを内蔵し、コマンドリスト記憶部２４Ａには、状態変化情報と、その状態変化情報が表すマーカの状態変化が生じた場合に実行すべきエフェクトを表すコマンドとが対応付けられて登録されたコマンドリストが記憶されている。

制御部２４は、コマンドリスト記憶部２４Ａに記憶されたコマンドリストから、判定部２３からの状態変化情報に対応付けられたコマンドを選択し、画像処理部２２に供給することで、そのコマンドが表すエフェクトを、画像処理部２２に実行させる。

ここで、画像処理部２２は、上述したように、制御部２４からのコマンドに従い、第１の画像にエフェクトを施すことで、第１の画像を、第２の画像に変化させるが、そのコマンドは、判定部２３で得られる状態変化情報に対応付けられたコマンドである。したがって、結局、画像処理部２２では、判定部２３で判定された、撮影画像上のマーカの状態変化に応じて、第１の画像にエフェクトが施され、これにより、第１の画像が、第２の画像に変化される。

表示装置１３は、図１の画像処理システムとしての編集システムで得られた撮影画像の編集結果（完全パッケージ）を確認するためのモニタである。表示装置１３は、例えば、液晶パネル等で構成され、画像処理装置１２（の画像処理部２２）から供給される第１の画像や第２の画像を表示する。

以上のように構成される画像処理システムとしての編集システムでは、撮影装置１１において、マーカ表示部材を持っている被写体としての人物が映った撮影画像が撮影され、画像処理装置１２の検出部２１、及び、画像処理部２２に供給される。

検出部２１では、撮影装置１１からの撮影画像から、マーカ表示部材に表示されたマーカを検出され、そのマーカに関するマーカ情報が、画像処理部２２、及び、判定部２３に供給される。

画像処理部２２では、検出部２１からのマーカ情報に基づいて、撮影装置１１からの撮影画像におけるマーカの位置に、そのマーカに対応するマーカ対応画像を貼り付けた第１の画像が生成され、表示装置１３に供給される。

図１では、表示装置１３において、以上のようにして、画像処理部２２で生成された、撮影画像におけるマーカの位置に、そのマーカに対応するマーカ対応画像としての、例えば、CGが貼り付けられた第１の画像が表示されている。

一方、判定部２３は、検出部２１からのマーカ情報を用いて、マーカの状態変化を判定し、マーカに、状態変化記憶部２３Ａに記憶された状態変化情報が表す状態変化が生じた場合には、そのマーカの状態変化を表す状態変化情報を、制御部２４に供給する。

制御部２４は、判定部２３から状態変化情報が供給されると、コマンドリスト記憶部２４Ａに記憶されたコマンドリストから、判定部２３からの状態変化情報に対応付けられたコマンドを選択し、画像処理部２２に供給する。

画像処理部２２は、制御部２４からのコマンドに従い、第１の画像にエフェクトを施すことで、第１の画像を、第２の画像に変化させ、表示装置１３に供給する。

表示装置１３では、第１の画像に代えて、第２の画像が表示される。

＜マーカの例＞

図２は、マーカの例を示す図である。

図２では、マーカ表示部材として、例えば、長方形状の厚紙等で構成されるフリップボードが採用されている。

図２Ａは、マーカとしての２次元コード（を含む静止画）の例を示している。

図２Ａでは、マーカとしての２次元コードが、長方形状のフリップボードの四隅に印刷されている。

図２Ａのマーカとしての２次元コードについては、検出部２１において、フリップボードの四隅に印刷されている２次元コードで囲まれる長方形状の領域が、マーカとして検出される。

図２Ｂは、マーカとしての自然画（の静止画）の例を示している。

図２Ｂでは、マーカとしての自然画が、長方形状のフリップボードの全面に印刷されている。

図２Ｂのマーカとしての自然画については、検出部２１において、フリップボードの全面に印刷されている自然画の長方形状の領域が、マーカとして検出される。

マーカとしては、以上のような２次元コードや自然画の他、２次元コードと自然画との組み合わせ、CG、その他の任意の静止画を採用することができる。

但し、マーカは、撮影画像の中から検出しやすいように、撮影画像に現れないことが予測される、ある程度複雑な模様の静止画であることが望ましい。マーカとして、ある程度複雑な模様の静止画を採用することで、検出部２１において、撮影画像から、マーカ（の位置や姿勢等）を高精度に検出することが可能になる。さらに、判定部２３において、マーカの細かい状態変化を判定することが可能になる。

＜撮影画像と第１の画像の例＞

図３は、撮影画像と、その撮影画像におけるマーカの位置に、マーカ対応画像が貼り付けられた第１の画像の例を示す図である。

図３の撮影画像には、マーカ表示部材と、そのマーカ表示部材を胸の前に掲げている被写体としての人物とが映っている。

図３のマーカ表示部材には、小サイズの矩形の画像がモザイク状に配置された画像と、２次元コードとを組み合わせた静止画が、マーカとして印刷されている。また、図３において、２次元コードは、長方形状のマーカ表示部材の四隅に印刷されており、かかるマーカとしての２次元コードによれば、主として、マーカの四隅（ひいては、撮影画像上のマーカが存在する範囲）を、精度良く検出することができる。

図３では、以上のような撮影画像におけるマーカの位置に、そのマーカに対応するマーカ対応画像としての所定の画像が貼り付けられ、第１の画像が生成されている。

したがって、第１の画像では、マーカ表示部材に表されたマーカの部分が、マーカ対応画像になっており、その点で、第１の画像は、撮影画像とは異なる画像になっている。

＜画像処理システムの処理＞

図４は、図１の画像処理システムの処理の例を説明するフローチャートである。

ステップＳ１１において、撮影装置１１は、例えば、マーカ表示部材を持っている被写体としての人物が映った撮影画像を撮影し、画像処理装置１２の検出部２１、及び、画像処理部２２に供給して、処理は、ステップＳ１２に進む。

ステップＳ１２では、検出部２１は、撮影装置１１からの撮影画像からマーカを検出し、そのマーカに関するマーカ情報を、画像処理部２２、及び、判定部２３に供給して、処理は、ステップＳ１３に進む。

ステップＳ１３では、画像処理部２２は、検出部２１からのマーカ情報に基づいて、撮影装置１１からの撮影画像におけるマーカ（の領域）を認識する。そして、画像処理部２２は、撮影画像におけるマーカの位置に、そのマーカに対応するマーカ対応画像を貼り付けることで、第１の画像を生成し、表示装置１３に供給して、処理は、ステップＳ１４に進む。

以上により、表示装置１３では、撮影画像におけるマーカの位置に、そのマーカに対応するマーカ対応画像が貼り付けられた第１の画像が表示される。

ステップＳ１４では、判定部２３は、検出部２１からのマーカ情報、及び、状態変化記憶部２３Ａに記憶された状態変化情報を用いて、マーカの状態変化を判定する。

すなわち、ステップＳ１４では、判定部２３は、マーカに、状態変化記憶部２３Ａに記憶された状態変化情報が表す状態変化が生じたかどうかを判定する。

ステップＳ１４において、マーカに、状態変化情報が表す状態変化が生じていないと判定された場合、処理は、ステップＳ１５及びＳ１６をスキップして終了する。

この場合、表示装置１３では、第１の画像が表示されたままになる。

一方、ステップＳ１４において、マーカに、状態変化情報が表す状態変化が生じたと判定された場合、すなわち、マーカ表示部材を持っている被写体が、そのマーカ表示部材を振る等の、マーカ表示部材の状態を変化させる行為を行うことで、マーカ表示部材に表されたマーカの状態が変化する状態変化が生じ、その状態変化が、状態変化記憶部２３Ａに記憶された状態変化情報が表す状態変化である場合、判定部２３は、マーカの状態変化を表す状態変化情報を、制御部２４に供給して、処理は、ステップＳ１５に進む。

ステップＳ１５では、制御部２４は、コマンドリスト記憶部２４Ａに記憶されたコマンドリストから、判定部２３からの状態変化情報に対応付けられたコマンド、すなわち、マーカの状態変化に応じたコマンドを、画像処理部２２が行うべき画像処理を指示するコマンドに決定（選択）し、画像処理部２２に供給して、処理は、ステップＳ１６に進む。

ステップＳ１６では、画像処理部２２は、制御部２４からのコマンドに従い、第１の画像にエフェクトを施すことで、第１の画像を、第２の画像に変化させ、表示装置１３に供給して、処理は終了する。

この場合、表示装置１３では、第１の画像に代えて、第２の画像が表示される。

したがって、図１の画像処理システムによれば、マーカ表示部材を持っている被写体が、マーカに、状態変化情報が表す状態変化を生じさせるような行為を、マーカ表示部材に対して行うだけで、そのマーカの状態変化に応じて、画像処理部２２（で行われるエフェクト）が制御され、これにより、表示装置１３に表示される画像が、第１の画像から、画像処理部２２で行われるエフェクトによって得られる第２の画像に変化される。

したがって、マーカ表示部材を持っている被写体は、表示装置１３に表示される画像を、第１の画像から第２の画像に、容易に変化させることができる。

＜マーカの状態変化と、マーカの状態変化に応じて行われるエフェクトの例＞

図５は、マーカの状態変化と、マーカの状態変化に応じて行われるエフェクトの第１の例を示す図である。

図５では、マーカが表されたマーカ表示部材としての長方形状のフリップボードを、右下隅付近の位置を中心として傾けるように振る行為が行われており、これにより、マーカが奥行き方向と直交する平面内で傾く状態変化が生じている。

そして、図５では、マーカが奥行き方向と直交する平面内で傾く状態変化に応じて、第１の画像におけるマーカ対応画像を、他の画像に切り替えるエフェクトが施され、これにより、第１の画像におけるマーカ対応画像が他の画像に切り替えられた第２の画像が生成されている。

図５によれば、マーカ表示部材を持っている被写体は、そのマーカ表示部材を振るだけで、マーカ対応画像を他の画像に切り替えることができる。

図６は、マーカの状態変化と、マーカの状態変化に応じて行われるエフェクトの第２の例を示す図である。

図６では、マーカが表されたマーカ表示部材としての長方形状のフリップボードを、奥行き方向（奥方向又は手前方向）に傾ける行為が行われており、これにより、マーカが奥行き方向に傾く状態変化（図６では、マーカの上部が奥側に傾く状態変化）が生じている。

そして、図６では、マーカが奥行き方向に傾く状態変化に応じて、第１の画像におけるマーカ対応画像を全画面表示するエフェクトが施され、これにより、第１の画像におけるマーカ対応画像が表示装置１３に全画面表示される第２の画像が生成されている。

図６によれば、マーカ表示部材を持っている被写体は、そのマーカ表示部材を奥行き方向に傾けるだけで、マーカ表示部材に表示されたマーカ対応画像を全画面表示に切り替えることができる。

図７は、マーカの状態変化の第３の例を示す図である。

図７では、マーカが表されたマーカ表示部材としての長方形状のフリップボードを、奥行き方向と直交する平面内で半回転する行為が行われており、これにより、マーカが奥行き方向と直交する平面内で半回転して逆さまになる状態変化が生じている。

画像処理部２２では、以上のような、マーカが奥行き方向と直交する平面内で半回転して逆さまになる状態変化に応じて、第１の画像を、第２の画像に変化させることができる。

ここで、図７では、マーカとして、２次元コードが採用されたマーカ表示部材と、自然画が採用されたマーカ表示部材とのそれぞれについて、マーカが逆さまになる状態変化の例が示されている。

画像処理部２２では、以上のような、マーカが奥行き方向に傾く状態変化や、マーカが奥行き方向と直交する平面内で傾く状態変化、マーカが（上下）逆さまになる状態変化等の、マーカの位置又は姿勢が変化する状態変化に応じて、第１の画像を、第２の画像に変化させる他、マーカの一部が隠れる状態変化や、マーカの、隠れている部分が変化する状態変化に応じて、第１の画像を、第２の画像に変化させることができる。

図８は、マーカの、隠れている部分が変化する状態変化の例を示す図である。

図８では、マーカ表示部材を持っている被写体が、そのマーカ表示部材に表されたマーカの前で、手をスワイプする行為を行っており、これにより、マーカの、手で隠れている部分が変化（移動）する状態変化が生じている。

画像処理部２２では、以上のような、マーカの、隠れている部分が変化する状態変化に応じて、第１の画像を、第２の画像に変化させることができる。

この場合、マーカ表示部材を持っている被写体は、そのマーカ表示部材に表されたマーカの前で、手をスワイプするだけで、第１の画像を、第２の画像に、容易に変化させることができる。

なお、マーカの、隠れている部分が変化する状態変化を生じさせるために、マーカの一部を隠す手段としては、（被写体の）手の他、指示棒等の道具を採用することができる。

図９は、マーカの一部が隠れる状態変化の第１の例を示す図である。

図９では、マーカ表示部材を持っている被写体が、そのマーカ表示部材に表されたマーカの一部を、手で隠す行為を行っており、これにより、マーカの一部が隠れる状態変化が生じている。

画像処理部２２では、以上のような、マーカの一部が隠れる状態変化に応じて、第１の画像を、第２の画像に変化させることができる。

この場合、マーカ表示部材を持っている被写体は、そのマーカ表示部材に表されたマーカの一部を、手で隠すだけで、第１の画像を、第２の画像に、容易に変化させることができる。

図１０は、マーカの一部が隠れる状態変化の第２の例を示す図である。

図１０では、マーカ表示部材を持っている被写体が、そのマーカ表示部材に表されたマーカの一部に手でタッチする行為を行っており、これにより、マーカの一部が手で隠れる状態変化が生じている。

画像処理部２２では、以上のような、マーカの一部が隠れる状態変化に応じて、第１の画像を、第２の画像に変化させることができる。

この場合、マーカ表示部材を持っている被写体は、そのマーカ表示部材に表されたマーカの一部を、手でタッチだけで、第１の画像を、第２の画像に、容易に変化させることができる。

ここで、図１０Ａは、マーカとしての自然画が印刷されたマーカ表示部材の例を示しており、図１０Ｂは、図１０Ａのマーカにマーカ対応画像が貼り付けられた（合成された）マーカ表示部材の例を示している。

図１０Ｂのマーカ対応画像は、"BACK"や"NEXT"の文字が表示されたボタンのCGになっており、図１の画像処理システムとしての編集システムの編集結果としては、図１０Ｂのマーカ対応画像が貼り付けられた第１の画像が、表示装置１３に表示される。

したがって、視聴者が視聴する画像（第１の画像）には、ボタンのCGであるマーカ対応画像が映っており、マーカ対応画像のボタンに対応するマーカの部分が隠れる状態変化に応じて、第１の画像を、第２の画像に変化させることにより、マーカ表示部材を持っている被写体が、マーカ対応画像のボタン（に対応するマーカの部分）にタッチしたときに、第１の画像を、第２の画像に変化させる演出を実現することができる。

なお、マーカの一部を隠す手段（マーカの一部にタッチする手段）としては、（被写体の）手の他、指示棒等の道具を採用することができる。

以上のように、図１の画像処理システムでは、画像処理装置１２において、撮影装置１１で撮影された撮影画像から、マーカが検出され、そのマーカの状態の変化が判定される。そして、画像処理装置１２では、撮影画像におけるマーカの位置に、マーカに対応するマーカ対応画像を貼り付けた第１の画像が生成され、マーカの状態変化に応じて、例えば、第１の画像にエフェクトが施されることで、第２の画像が生成され、第１の画像が、第２の画像に変化される。

したがって、撮影画像に映る被写体は、容易に、エフェクトを施す画像処理装置１２の画像処理部２２を制御し、表示装置１３に表示される画像（編集結果として得られる画像）を、第１の画像から第２の画像に、容易に変化させることができる。

なお、図１の画像処理システムでは、撮影画像を利用して、画像処理部２２を制御するので、すなわち、撮影画像に映るマーカの状態変化に応じて、画像処理部２２を、第１の画像にエフェクトを施すように制御するので、被写体としての人物に、画像処理部２２を制御するための特殊な制御用端末を操作してもらう必要はない。

すなわち、撮影画像を利用せずに、画像処理部２２を制御する場合には、例えば、画像処理部２２を制御する無線信号等の信号を送信する特殊な制御用端末を用意し、被写体としての人物に、その特殊な制御用端末を操作してもらう必要がある。

図１の画像処理システムについては、そのような特殊な制御用端末を用意する必要がない。

また、前述の特許文献１及び２に記載の技術のような、ジェスチャを利用して機器を制御する技術では、被写体となっている人物が、機器を制御するための特殊（特別）なジェスチャをする必要があるが、そのような特殊なジェスチャを、被写体が行うことは、視聴者に、不自然さを感じさせることがある。

すなわち、例えば、被写体となっている人物が、フリップボードを手に持って、そのフリップボードに表示されている内容（マーカ対応画像の内容）を説明している場合に、被写体が、フリップボードに表示されている内容に無関係なジェスチャを行うことは、視聴者に、不自然さを感じさせる。したがって、番組制作等にあたっては、そのようなジェスチャを行うことは避けることが望ましい。

さらに、例えば、特許文献３に記載の技術のような、制御用端末を用いて機器を制御する技術では、被写体となっている人物が特殊な制御用端末を持った状態で、撮影画像、ひいては、第１の画像に映るが、そのような特殊な制御用端末を被写体が持っていることは、やはり、視聴者に、不自然さを感じさせる。

図１の画像処理システムでは、被写体となっている人物が、マーカ表示部材としてのフリップボードを振ることや、傾けること、一部を隠すこと、隠した部分を変化（移動）させること等の、マーカの状態を変化させるフリップボードの取り扱いを行うことで、画像処理部２２を制御し、第１の画像を第２の画像に変化させることができるので、被写体が、フリップボードに表示されている内容に無関係なジェスチャ（番組の進行と大きく乖離したジェスチャ）を行うことなく、かつ、特殊な制御用端末を操作することなく、第１の画像を第２の画像に変化させることができる。

したがって、被写体となっている人物は、第１の画像において、マーカ対応画像が表示されフリップボードに、視聴者を注目させたまま、第１の画像を第２の画像に変化させること、すなわち、例えば、フリップボードに表示された画像を、マーカ対応画像から、他の画像に切り替えることができ、番組の内容に合った自然な演出が可能になる。

また、図１の画像処理システムでは、被写体となっている人物によるフリップボードの取り扱い方で、第１の画像を第２の画像に変化させることができるので、被写体は、自身の都合の良いタイミングで、第１の画像を第２の画像に変化させることができる。また、第１の画像を第２の画像に変化させるのに、画像処理装置１２を操作する必要はなく、したがって、画像処理装置１２を操作するオペレータなしで、第１の画像を第２の画像に変化させることができる。

＜本技術を適用したコンピュータの説明＞

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下のような構成をとることができる。

＜１＞
撮影装置で撮影された撮影画像から、画像を貼り付ける目印となるマーカを検出する検出部と、
前記マーカの状態の変化を判定する判定部と、
前記撮影画像におけるマーカの位置に、前記マーカに対応するマーカ対応画像を貼り付けた第１の画像を生成し、前記マーカの状態の変化に応じて、前記第１の画像を、第２の画像に変化させる画像処理部と
を備える画像処理装置。
＜２＞
前記画像処理部は、前記マーカの位置又は姿勢が変化する状態変化に応じて、前記第１の画像を、前記第２の画像に変化させる
＜１＞に記載の画像処理装置。
＜３＞
前記画像処理部は、前記マーカが奥行き方向と直交する平面内で傾く状態変化、又は、マーカが奥行き方向に傾く状態変化に応じて、前記第１の画像を、前記第２の画像に変化させる
＜１＞又は＜２＞に記載の画像処理装置。
＜４＞
前記画像処理部は、前記マーカが奥行き方向と直交する平面内で半回転して逆さまになる状態変化に応じて、前記第１の画像を、前記第２の画像に変化させる
＜１＞ないし＜３＞のいずれかに記載の画像処理装置。
＜５＞
前記画像処理部は、前記マーカの一部が隠れる状態変化に応じて、前記第１の画像を、前記第２の画像に変化させる
＜１＞に記載の画像処理装置。
＜６＞
前記画像処理部は、前記マーカの、隠れている部分が変化する状態変化に応じて、前記第１の画像を、前記第２の画像に変化させる
＜１＞に記載の画像処理装置。
＜７＞
前記画像処理部は、前記第１の画像にエフェクトを施すことで、前記第１の画像を、前記第２の画像に変化させる
＜１＞ないし＜６＞のいずれかに記載の画像処理装置。
＜８＞
前記画像処理部は、前記第１の画像における前記マーカ対応画像を、他の画像に切り替える前記エフェクト、又は、前記第１の画像における前記マーカ対応画像を全画面表示する前記エフェクトを施す
＜７＞に記載の画像処理装置。
＜９＞
前記マーカは、静止画である
＜１＞ないし＜８＞のいずれかに記載の画像処理装置。
＜１０＞
前記マーカは、２次元コード、又は、自然画である
＜１＞ないし＜９＞のいずれかに記載の画像処理装置。
＜１１＞
前記マーカは、フリップボードに表された画像である
＜１＞ないし＜１０＞のいずれかに記載の画像処理装置。
＜１２＞
撮影装置で撮影された撮影画像から、画像を貼り付ける目印となるマーカを検出し、
前記マーカの状態の変化を判定し、
前記撮影画像におけるマーカの位置に、前記マーカに対応するマーカ対応画像を貼り付けた第１の画像を生成し、前記マーカの状態の変化に応じて、前記第１の画像を、第２の画像に変化させる
ステップを含む画像処理方法。
＜１３＞
撮影装置で撮影された撮影画像から、画像を貼り付ける目印となるマーカを検出する検出部と、
前記マーカの状態の変化を判定する判定部と、
前記撮影画像におけるマーカの位置に、前記マーカに対応するマーカ対応画像を貼り付けた第１の画像を生成し、前記マーカの状態の変化に応じて、前記第１の画像を、第２の画像に変化させる画像処理部と
して、コンピュータを機能させるためのプログラム。

１１ 撮影装置， １２ 画像処理装置， １３ 表示装置， ２１ 検出部， ２１Ａ， マーカ記憶部， ２２ 画像処理部， ２３ 判定部， ２３Ａ 状態変化記憶部， ２４ 制御部， ２４Ａ コマンドリスト記憶部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (12)

1. 撮影装置で撮影された撮影画像から、マーカ表示部材に表され、画像を貼り付ける目印となるマーカを検出する検出部と、
   前記マーカの状態の変化を判定する判定部と、
   前記撮影画像におけるマーカの位置に、前記マーカに対応するマーカ対応画像を貼り付けた第１の画像を生成し、前記マーカ表示部材を持っている被写体となる人物の動作によって、前記マーカの位置若しくは姿勢が変化するか、又は前記マーカが隠れる状態変化が生じた場合に、前記状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を、前記マーカ対応画像にエフェクトを施して得られる画像又は前記マーカ対応画像とは異なる画像に変化させた第２の画像を生成する画像処理部と
   を備える画像処理装置。
2. 前記画像処理部は、前記マーカが奥行き方向と直交する平面内で傾く状態変化、又は、マーカが奥行き方向に傾く状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を変化させる
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記マーカが奥行き方向と直交する平面内で半回転して逆さまになる状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を変化させる
   請求項１又は２に記載の画像処理装置。
4. 前記画像処理部は、前記マーカの一部が隠れる状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を変化させる
   請求項１に記載の画像処理装置。
5. 前記画像処理部は、前記マーカの、隠れている部分が変化する状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を変化させる
   請求項１に記載の画像処理装置。
6. 前記画像処理部は、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を、他の画像に切り替える前記エフェクト、又は、前記第１の画像における前記マーカ対応画像を全画面表示する前記エフェクトを施す
   請求項１に記載の画像処理装置。
7. 前記マーカは、静止画である
   請求項１ないし６のいずれかに記載の画像処理装置。
8. 前記マーカは、２次元コード、又は、自然画である
   請求項１ないし７のいずれかに記載の画像処理装置。
9. 前記マーカ表示部材は、フリップボードである
   請求項１ないし８のいずれかに記載の画像処理装置。
10. 前記画像処理部に実行させるコマンドを発行する制御部をさらに備え、
    前記制御部は、前記マーカの状態変化を表す状態変化情報と、その状態変化情報が表す前記マーカの状態変化が生じた場合に実行すべきエフェクトを表すコマンドとが対応付けられて登録されたコマンドリストに基づいて、前記判定部による判定結果に応じたコマンドを選択し、そのコマンドが表すエフェクトを、前記画像処理部に実行させる
    請求項１に記載の画像処理装置。
11. 撮影装置で撮影された撮影画像から、マーカ表示部材に表され、画像を貼り付ける目印となるマーカを検出し、
    前記マーカの状態の変化を判定し、
    前記撮影画像におけるマーカの位置に、前記マーカに対応するマーカ対応画像を貼り付けた第１の画像を生成し、前記マーカ表示部材を持っている被写体となる人物の動作によって、前記マーカの位置若しくは姿勢が変化するか、又は前記マーカが隠れる状態変化が生じた場合に、前記状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を、前記マーカ対応画像にエフェクトを施して得られる画像又は前記マーカ対応画像とは異なる画像に変化させた第２の画像を生成する
    ステップを含む画像処理方法。
12. 撮影装置で撮影された撮影画像から、マーカ表示部材に表され、画像を貼り付ける目印となるマーカを検出する検出部と、
    前記マーカの状態の変化を判定する判定部と、
    前記撮影画像におけるマーカの位置に、前記マーカに対応するマーカ対応画像を貼り付けた第１の画像を生成し、前記マーカ表示部材を持っている被写体となる人物の動作によって、前記マーカの位置若しくは姿勢が変化するか、又は前記マーカが隠れる状態変化が生じた場合に、前記状態変化に応じて、前記第１の画像における前記マーカ表示部材に貼り付けられた前記マーカ対応画像を、前記マーカ対応画像にエフェクトを施して得られる画像又は前記マーカ対応画像とは異なる画像に変化させた第２の画像を生成する画像処理部と
    して、コンピュータを機能させるためのプログラム。

Images