JP6016985B2 - 画像処置装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

最近、動画を撮像するための撮影装置は、デジタル記録方式になってより小型軽量化も進んでいる。これにより、誰でも手軽に動画撮影が楽しめるようになっている。又、デジタルカメラでも静止画を連続して撮影することが容易になっている。このように得られた静止画の連続の技術の応用と圧縮技術やメモリ技術等との利用によって動画を撮影することは、極めて容易になっている。

ところで、静止画を撮影する場合は、ある瞬間を狙って撮影動作をすればよかった。これに対して動画を撮影する場合は、常に変化する被写体の状況をそのままに記録するしかない。このため、例えば動画を撮影する素人等の一般のユーザは、被写体に何が起こるか分からないにために、面白い作品を作成することが難しい。プロは、同時に複数の撮影装置を駆使し、これら撮影装置の撮影により取得した複数の動画像データを編集して例えず繋ぎ合わせて１つの作品を作成できる。

このような事から一般のユーザでも複数の動画像データを簡単に取得可能とするための技術が例えば特許文献１に開示されている。この特許文献１は、撮影により取得された撮影画像データの全体と当該撮影画像データの一部を切出した画像データとを交互に記録媒体に記録し、ズーム変化をさせずに、通常画像データと拡大画像データとの複数画像データを同時に記録する撮像装置について開示する。

特開２００６−４２３９９号公報

鑑賞に堪えるような撮影をしようとすると動画撮影は、以外に難しいものである。この大きな原因としては、例えば動画撮影において撮影を開始してからも狙った出来事がなかなか起こらないことが少なく、かつ単調な場面が延々と続くような状況になることが多いからである。このため、単調な場面が延々と続く動画が出来上がってしまうことが多い。
しかるに、単調な場面が延々と続く動画像データから冗長で不要な画像データの部分を撮影後に編集して削除すればよいが、編集に係る手間が煩わしい。このため、普通のユーザは、動画の再生時に単につまらない部分を早送りして済ませてしまい、編集することまでしないことが多い。

しかしながら、動画の鑑賞中に早送り再生されると、鑑賞者の気分は中断されてしまう。又、折角動画像を撮影した甲斐もなくなり、動画を見る楽しみが半減してしまう。かといって動画を早送りすることによってつまらない動画が鑑賞に堪える画像になることもない。

本発明は、画像に適切な変化を持たせることによって単調にならずに動画の鑑賞を楽しむことを可能とする画像処理装置及び画像処理方法を提供することにある。

本発明の主要な局面に係る画像処理装置は、動画像データの中で一定期間に亘って補助画像データを合成可能な単調な部分と前記補助画像データを合成するタイミングとを判定する単調判定部と、前記動画像データにおける前記単調な部分に代えられて合成される補助画像データを前記動画像データから判定する補助画像判定部と、前記単調な部分に前記補助画像データを合成する画像合成部とを具備する。

本発明の主要な局面に係る画像処理方法は、動画像データの中で一定期間に亘って補助画像データを合成可能な単調な部分と前記補助画像データを合成するタイミングとを判定し、前記動画像データにおける前記単調な部分に代えられて合成される補助画像データを前記動画像データから判定し、前記単調な部分に前記補助画像データを合成する。

本発明は、画像に適切な変化を持たせることによって単調にならずに動画の鑑賞を楽しむことを可能とする画像処理装置及び画像処理方法を提供できる。

本発明に係る撮像装置としてのカメラの一実施の形態を示すブロック構成図。 同装置により再生される単調シーンの代わりに補助画像を合成した画像の表示例を示す図。 同装置により再生される主被写体の顔部分を拡大して動画像データ中の背景部分の一部に挿入した表示例を示す図。 同装置により再生される人物が近づいて来るようなシーンのみならず走っている人物を追って撮影されたときの表示例を示す図。 同装置におけるカメラのメイン制御動作フローチャート。 同装置における補助画像決定のサブルーチン処理を示すフローチャート。 同装置における補助画像判定部による顔の検出について顔の位置やサイズに応じた補助画像の決定の画像例を示す模式図。 同装置における変化判定部による単調シーンとその位置の判定のサブルーチンのフローチャートを示す。 同装置における単調シーンの判定及び補助画像データの表示タイミングの具体的な例を示す図。

以下、本発明の一実施の形態について図面を参照して説明する。
図１は撮像装置としてのカメラ１のブロック構成図を示す。このカメラ１は、ＣＰＵ等を有するコンピュータから成る制御部１１を搭載する。この制御部１１には、バスライン１２を介してＲＯＭ１３と、撮像部１４と、ＲＡＭ１５と、画像記録再生制御部１６と、記憶部１７と、表示制御部１８と、表示部１９と、画像判定部２０とが接続されている。このうちＲＯＭ１３には、例えば制御プログラムや各種データ等が記憶されている。このＲＯＭ１３は、例えば不揮発性のメモリから成る。バスライン１２は、ＲＯＭ１３と、撮像部１４と、ＲＡＭ１５と、画像記録再生制御部１６と、記憶部１７と、表示制御部１８と、表示部１９と、画像判定部２０との間で画像データやコマンドデータ等を通信するためのラインである。

制御部１１は、ＲＯＭ１３に記憶されている制御プログラムを実行してカメラ１の全体の動作を統括的に制御する。この制御プログラムは、撮影プログラムと画像再生プログラムとを有する。撮影プログラムは、カメラ１に搭載されている制御部１１のコンピュータに撮影処理を実行させるもので、撮像部１４の撮影により取得された動画像データ中で一定期間に亘って単調な部分を判定させるステップと、この動画像データの再生時に、動画像データ中から単調部分に代わることを可能とする補助画像データを判定させるステップと、動画像データを記憶すると共に、単調部分の画像データに関する情報及び補助画像データに関する情報を記憶部１７に記憶させるステップとを有する。

画像再生プログラムは、カメラ１に搭載されている制御部１１のコンピュータに再生処理を実行させるもので、動画像データ中で一定期間に亘って単調な部分を判定させるステップと、動画像データ中から単調部分に代わることを可能とする補助画像データを判定させるステップと、単調部分に代えて補助画像データを動画像データに合成させ、当該合成した動画像データを表示部１９に表示させるステップとを有する。

又、制御部１１には、操作部２１が接続されている。この操作部２１は、カメラ１のユーザによる操作者を受けるもので、例えばシャッターや静止画の撮影モード、動画の撮影モード、明るさの調整、ズームの調整等の各種操作スイッチ等を備える。制御部１１は、操作部２１に対する操作内容を判定する操作判定部１１ａを有する。

撮像部１４は、撮影用レンズやこの撮影用レンズを駆動するレンズ駆動部を有する光学部と、この光学部によって結像される被写体像を光電変換する撮像素子と、この撮像素子から出力される画像信号に対して各種信号処理を行って静止画又は動画の画像データを作成する画像回路等を有する。

ＲＡＭ１５は、撮影時に撮像部１４から出力される画像データを格納し、かつ当該画像データに対するデジタル処理を行うときの作業用メモリとして用いられる。このＲＡＭ１５は、例えばＤＲＡＭから成る。

画像記録再生制御部１６は、撮影時にＲＡＭ１５に格納されている画像データに対して例えばＪＰＥＧ、ＭＰＥＧ等の圧縮処理を行う圧縮部と、この圧縮部により圧縮された画像データを記憶部１７に記憶する記録部と、再生時に記憶部１７に記憶されている画像データを読み出す再生部と、圧縮部により圧縮された画像データを伸長する伸長部とを有する。

又、画像記録再生制御部１６は、撮影時に動画像データと共に、補助画像として例えば動画像データ中に含まれる被写体としての人物の顔部分の画像データや、再生時に補助画像データを動画像データに合成するに関する補助画像管理情報を記録する。又、後述するように画像記録再生制御部１６は、例えば単調な場面が延々と続く単調なシーンを含む動画像データの再生時に、補助画像管理情報に基づいて動画像データ中の所定の位置に所定の挿入タイミングで補助画像データを合成するための再生処理の制御を行う。

記憶部１７は、例えば圧縮された画像データ等を記憶するもので、メイン画像記憶部１７ａと、補助画像管理情報記憶部１７ｂとを有する。このうちメイン画像記憶部１７ａには、撮影により取得され圧縮処理された静止画像データや動画像データが記憶される。補助画像管理情報記憶部１７ｂには、画像判定部２０により判定された補助画像データや当該補助画像データを例えば動画像データ中に合成するために必要な補助画像管理情報が記憶される。この記憶部１７は、例えばハードディスク又はフラッシュメモリ等の不揮発性メモリから成る。

表示制御部１８は、撮影時に取得された画像データ等をモニタ画像として表示部１９に表示するもので、このときに画像データ等を表示部１９に合わせたリサイズ処理やγ等の画像処理を行う。又、表示制御部１８は、画像データ等の再生時に、記録されている画像データ等を上記同様に、リサイズ処理や画像処理して表示部１９に表示する。
又、表示制御部１８は、画像合成部１８ａを有する。この画像合成部１８ａは、例えば動画像データ中に例えば単調な場面が延々と続く単調シーンの画像データ部分を含むと、この画像データ部分を動画像データ中から削除し、かつ当該削除した部分に補助画像データを挿入して合成画像データを作成する。

画像判定部２０は、ＲＯＭ１３に記憶されている撮影プログラムを実行することにより、例えば動画像データ中における単調な画像データ部分の判定と、動画像データ中における例えば被写体としての人物の顔部分の画像データ部分の判定とを行うもので、単調判定部としての変化判定部２２と、補助画像判定部２３とを有する。

このうち変化判定部２２は、例えば動画像データ中における単調な画像データを判定するもので、単調場面判定部２２ａと単調位置判定部２２ｂを有する。このうち単調場面判定部２２ａは、動画像データを複数の領域に分割し、これら領域毎に画像データのコントラストの時間的変化を検出し、この検出の結果、コントラスト値が所定のコントラスト値以下になる領域が存在すると判定すると、当該領域を単調シーン（又は単調場面）であると判定する。

又、単調場面判定部２２ａは、動画像データを複数の領域に分割し、これら領域毎に画像データ中において例えば被写体としての人物の顔部分の画像データの領域のサイズを検出し、この領域サイズの変化が時間経過と共に所定の変化量以内で変化が少ないか否かを判断し、この判断の結果、領域サイズの変化が時間経過と共に所定の変化量以内で変化が少なければ、当該領域を単調シーン（又は単調場面）であると判定する。

単調位置判定部２２ｂは、単調場面判定部２１ａにより単調場面であると判定した場合、当該コントラスト値が所定のコントラスト値以下である領域を単調部分（又は単調位置）である判定する。
補助画像判定部２３は、例えば動画像データ中における例えば被写体としての人物の顔部分の画像データ部分を判定するもので、動き判定部２３ａと顔検出部２３ｂとを有する。このうち動き判定部２３ａは、例えば動画像データにおけるコントラストの変化から例えば人物等の被写体の動きを検出してその領域を判定する。

顔検出部２３ｂは、人物等の被写体における例えば目や鼻等の顔パターンのパターン画像データを予め登録し、この登録パターン画像データと一致する画像データ部分を例えば動画像データ中から検索し、当該動画像データ中から被写体における顔等の画像データを検出する。

次に、上記の如く構成されたカメラ１における動作について説明する。
動画撮影中、画像記録再生制御部１６は、撮像部１４から出力される動画像データをメイン画像記憶部１７ａに記憶すると共に、補助画像データとして例えば動画像データ中に含まれる被写体としての人物の顔部分の画像データや、再生時に補助画像データを動画像データに合成するに関する補助画像管理情報等を補助画像管理情報記憶部１７ａに記憶する。

すなわち、単調場面判定部２２ａは、動画撮影により取得される動画像データ中に単調な画像データ部分すなわち単調シーンが存在するか否かを判定する。この判定の結果、単調シーンが存在すると、単調位置判定部２２ｂは、動画像データを構成する複数の画像データから単調シーンとされる画像データ部分を判断し、この画像データ部分を含む画像データのフレーム番号と、当該画像データ中における単調シーンの位置を示す単調位置情報とを求める。

次に、補助画像判定部２３は、動画像データ中に含む単調シーンとされる画像データ部分に代わって挿入すべき補助画像データとなる例えば被写体における顔等の画像データを判定する。すなわち、動き判定部２３ａは、例えば動画像データにおけるコントラストの変化から例えば人物等の被写体の動きを検出してその領域を判定する。顔検出部２３ｂは、人物等の被写体における例えば目や鼻等の顔パターンのパターン画像データを予め登録し、この登録パターン画像データと一致する画像データを例えば動画像データ中から検索し、当該動画像データ中から被写体における顔等の画像データを検出する。

次に、画像記録再生制御部１６は、単調位置判定部２２ｂにより求められた単調シーンを含む画像データのフレーム番号とその単調シーンの位置を示す単調位置情報とを受け取り、これらフレーム番号及び単調位置情報と、動画像データ中に含む単調シーンの画像データ部分に補助画像データを合成するための合成情報とを含む補助画像管理情報を補助画像管理情報記憶部１７ｂに記録すると共に、顔検出部２３ｂにより検出された被写体における顔等の補助画像データなどを補助画像管理情報記憶部１７ｂに記録する。

このように画像記録再生制御部１６は、動画像データをメイン画像記憶部１７ａに記録する際に、動画像データ中に補助画像データを合成するための補助画像管理情報と補助画像データとが存在する旨の情報を補助画像管理情報記憶部１７ｂに記録する。
一方、再生時、画像記録再生制御部１６は、再生すべき動画像データの指定を受けると、当該指定された動画像データをメイン画像記憶部１７ａから読み出し、この動画像データを表示制御部１９に送ることにより表示部１９に再生する。この動画像の再生時、画像記録再生制御部１６は、補助画像管理情報記憶部１７ｂに記憶されている情報から再生する動画像データに対応する補助画像管理情報があるか否かを判断する。

この判断の結果、再生する動画像データに対応する補助画像管理情報が存在することを判断すると、画像記録再生制御部１６は、補助画像管理情報記憶部１７ｂから当該補助画像管理情報を読み出し、補助画像再生を設定する。
そして、画像記録再生制御部１６は、動画像データを再生中、補助画像管理情報に基づいて単調シーンを含むフレーム番号の画像データの再生時になると、補助画像記憶部１７ｂから補助画像データを読み出し、この補助画像データと単調シーンの位置を示す単調位置情報とを表示制御部１８に送る。これにより、表示制御部１８の画像合成部１８ａは、動画像データ中における単調な場面が延々と続く単調シーンの画像データ部分を動画像データ中から削除し、かつ当該削除した部分に補助画像データを挿入して合成画像データを作成する。この結果、表示部１９には、動画像データ中に補助画像データを挿入して合成画像が表示される。

次に、上記の如く動画像データ中の単調な場面が延々と続く単調シーンの画像データ部分を動画像データ中から削除し、当該削除された部分に補助画像データを挿入して合成画像データを作成する具体例について説明する。
図２（ａ）〜（ｃ）は単調シーンの代わりに補助画像を合成した画像を再生する具体例であって、例えば運動会等で走って来る子供とこの子供を声援する家族とを一緒に撮影したシーンで、子供である主被写体以外の顔、例えば家族を合成した画像の再生例を示す。なお、図２（ａ）〜（ｂ）に示す各画像は、撮影により取得された動画像データの各画像データを一定時間間隔、例えば３秒間隔の時間経過順に並べたものである。

従来、かかるシーンでは、一般的に、撮影者であるユーザは、走って来る子供を追うのに精一杯であり、子供の背景の状況が単調であるか、さらには子供以外の人物までに注意を払うことが少ない。このような事からユーザにより撮影された画像には、図２（ａ）（ｂ）に示すように動画像データ中の上方域に単調な場面が延々と続く単調シーンの画像部分Ｍが生じる。

このような単調シーンの画像部分Ｍ、例えば子供の背景部分に変化がなく、かつ背景部分においてコントラストの低い部分が一定時間、例えば５秒続くと、変化判定部２２は、例えば動画像データ中における単調シーンの画像部分Ｍの画像データがあることを判定する。又、補助画像判定部２３は、動画像データ中において主被写体である子供以外の人物、例えば家族の顔部分等の画像データを判定し、補助画像データとする。

しかるに、画像合成部１８ａは、動画像データ中における単調シーンの画像部分Ｍの画像データを動画像データ中から削除し、かつ当該削除した部分に例えば家族の顔部分等の画像データの補助画像データを挿入して合成画像データを作成する。この場合、画像合成部１８ａは、例えば家族の顔部分等の補助画像データを拡大して挿入する。この結果、表示部１９には、図２（ｃ）に示すように単調シーンの画像部分Ｍに主被写体である子供以外の人物の拡大された補助画像データが挿入されて再生される。

図３（ａ）〜（ｃ）は、主被写体の顔部分を拡大して動画像データ中の背景部分の一部に挿入した表示例を示す。同図（ａ）〜（ｃ）に示す各画像は、撮影により取得された動画像データの各画像データを一定時間間隔、例えば３秒間隔の時間経過順に並べたもので、カメラ１に向かって人等の主被写体がゆっくり移動してくるシーンを示す。
このシーンは、主被写体の背景においてコントラストや色の変化があって単調シーンがない。このように単調シーンはないが、主被写体の向かって来るスピードが遅すぎて動画像の全体から見た変化は少ない。このような場合でも単調シーンと判断して補助画像を表示する。すなわち、背景に単調シーンがない場合であっても、同一シーンが続くと見ていてだんだん飽きてくるので、補助画像を表示する。

具体的に変化判定部２２は、動画像データを複数の領域に分割し、これら領域毎に画像データ中において例えば主被写体としての人物の顔部分の画像データの領域のサイズすなわち顔サイズを検出し、この顔サイズの変化が時間経過、例えば５秒の時間経過と共に所定の変化量以内で変化が少ないか否かを判断する。この判断の結果、顔サイズの変化が時間経過と共に所定の変化量以内で変化が少なければ、単調場面判定部２２ａは、当該顔サイズを単調シーンであると判定する。又、補助画像判定部２３は、動画像データ中において主被写体としての人物の顔部分の画像データ部分を判定し、補助画像データとする。

しかるに、画像合成部１８ａは、主被写体の背景部分の画像データ部分を動画像データ中から削除し、かつ当該削除した部分に例えば主被写体の顔部分を示す補助画像データを挿入して合成画像データを作成する。この場合、画像合成部１８ａは、例えば主被写体の顔部分の補助画像データを拡大して挿入する。この結果、表示部１９には、図３（ｃ）に示すように主被写体の背景部分に主被写体の顔部分の補助画像データが挿入されて再生される。

なお、単調シーンであると判断する時間は、図２に示す子供の背景の状況の場合よりも長めに設定するのがよい。又、動画像データの中央部に映っている人物等の被写体のサイズが未だ小さいうちに、被写体の顔等を拡大表示して動画の推移に変化を付けるのもよい。
図４（ａ）〜（ｃ）は補助画像データを切り替える例を示すもので、撮影により取得された動画像データの各画像データを一定時間間隔の時間経過順に並べている。同図（ａ）〜（ｃ）は動画像データの中央部に人物が近づいて来るようなシーンのみならず、走っている人物を同動画像データの中央部に撮影されるように人物を追ってカメラ１を動かして撮影された各画像データを示す。このようなシーンは、走っている人物の背景となる風景が変わっていくが、この風景が空になると、この空だけが単調シーンになる。

このようなシーンを撮影すると、変化判定部２２は、例えば空等の背景部分に変化がなく、かつ背景部分においてコントラストの低い部分が一定時間、例えば５秒続くと、当該空等の背景部分を単調シーンと判定する。又、補助画像判定部２３は、被写体である走っている人物のうちいずれか一人の人物の画像データ部分を判定し、これを補助画像データとする。

しかるに、画像合成部１８ａは、動画像データ中における単調シーンの画像部分を動画像データ中から削除し、かつ当該削除した部分に例えば走っている人物の顔部分等の補助画像データを挿入して合成画像データを作成する。この場合も画像合成部１８ａは、例えば走っている人物の顔部分の補助画像データを拡大して挿入する。この結果、表示部１９には、図４（ａ）に示すように空等の単調シーンに人物の顔部分等の補助画像データが挿入されて再生される。

さらに、変化判定部２２は、例えば空等の背景部分に変化がなく、かつ背景部分においてコントラストの低い部分が一定時間、例えば３秒続いているか否かを判定する。この判定の結果、引き続き空等の背景部分を単調シーンであると判定すると、画像合成部１８ａは、引き続き、上記同様に、動画像データ中における単調シーンの画像部分を動画像データ中から削除し、かつ当該削除した部分に例えば走っている人物の顔部分等の補助画像データを挿入して合成画像データを作成する。この結果、表示部１９には、図４（ｂ）に示すように空等の単調シーンに人物の顔部分等の補助画像データが挿入されて再生される。

さらに、変化判定部２２は、例えば空等の背景部分に変化がなく、かつ背景部分においてコントラストの低い部分が一定時間、例えば３秒続いているか否かを判定する。ここで、動画像データ中には、図４（ｃ）に示すように例えば空等の背景部分がなくなり、かつ走っている人物の他に新たに人物が撮影されている。このようなシーンになると、変化判定部２２は、動画像データ中の単調シーンが終了したと判定し、この判定結果を画像合成部１８ａに送る。これにより、画像合成部１８ａは、動画像データ中に補助画像データを挿入することを中止する。この結果、表示部１９には、図４（ｃ）に示すように走っている人物と他に新たな人物とが撮影された画像データが再生される。

このようなシーンは、走っている人物の顔等の拡大画像を表示するが、いずれか一人の顔だけを拡大すると、ユーザが見たい人物の顔ではない可能性もある。このような事から複数の人物の顔画像を補助画像データとして予め記録し、各人物の各顔画像の補助画像データを順次切換えて表示することにより変化をつけてもよい。すなわち、単調シーンと判断されると、表示画面上の顔画像を検出するが、この検出された顔画像が複数あると判断されると、これら顔画像データを補助画像データとして予め複数登録しておくわけである。

次に、上記の如く構成されたカメラ１における補助画像データの表示動作の具体的手順について図５に示すカメラ１のメイン制御動作フローチャートに従って説明する。
カメラ１は、電源がオン状態になっているとする。先ず、制御部１１は、ステップＳ１１において、ユーザによって設定されている現在のカメラ１のモードすなわち撮影モード又は再生モードのいずれかに設定されるのかを判定する。この判定の結果、撮影モードに設定されていると、制御部１１は、ステップＳ１２に移り、動画撮影又は静止画撮影のいずれかに設定されるのかを判定する。この判定の結果、動画撮影に設定されていると、制御部１１は、ステップＳ１４に移って動画撮影を開始する。

なお、制御部１１は、上記ステップＳ１２での判定の結果、静止画撮影に設定されると判定すると、ステップＳ１３に移って静止画の記録処理を実行する。この静止画撮影は、本実施の形態の特徴部分ではないのでその説明を省く。
制御部１１は、ステップＳ１４に移って動画撮影を開始すると、この動画撮影を行いながらステップＳ１５において補助画像の決定処理を行う。

ここで、補助画像の決定の具体的な処理について図６に示す補助画像決定のサブルーチン処理のフローチャートを参照して説明する。
この補助画像の決定処理は、主に補助画像判定部２３における動き判定部２３ａ及び顔検出部２３ｂによって行われる。これら動き判定部２３ａ及び顔検出部２３ｂは、撮像部１４から連続的に出力されてＲＡＭ１５に格納される動画像データに対して解析を行うことにより補助画像データを決定する。動画像の解析は、動画像データの全フレームについて行う必要はなく、例えば動画像データのフレームレートが６０フレーム／秒であれば、１０フレーム／秒程度の頻度でもよい。

動き判定部２３ａは、ステップＳ５１において、動画像データにおける時間的に前後する各フレームの画像データ同士を比較し、表示部１９に表示される画像領域中で動きのある部分を判定する。この判定の結果、動きのある部分があると、動き判定部２３ａは、動きのある部分がある旨を顔検出部２３ｂに送る。
顔検出部２３ｂは、動き判定部２３ａから動きのある部分がある旨を受けると、ステップＳ５２において、顔部分の検出を行う。すなわち、顔検出部２３ｂは、人物等の被写体における例えば目や鼻等の顔パターンのパターン画像データを予め登録し、この登録パターン画像データと一致する画像データを例えば動画像データ中から検索し、当該動画像データ中から被写体における顔等の画像データを検出する。

ここで、図８（ａ）〜（ｂ）に示す顔の位置やサイズに応じた補助画像の決定の画像例を参照して顔の検出について説明する。同図（ａ）〜（ｂ）において斜線部分が顔部分の画像データ１０１を示す。
次に、顔検出部２３ｂは、ステップＳ５３において、顔検出の結果に基づいて画像データの中心部に顔部分の画像データ１０１があるか否かを判定する。この判定の結果、図８（ａ）に示すように画像データの中心部に顔部分の画像データ１０１があると、顔検出部２３ｂは、ステップＳ５４において、当該顔部分の画像データ１０１のサイズが時間経過と共に拡大しているか否かを判定する。

この判定の結果、顔部分の画像データ１０１のサイズが時間経過と共に拡大していない、又は時間経過と共にその拡大率の割合が小さい場合、顔検出部２３ｂは、ステップＳ５５に移り、画像データの中心部にある顔部分の画像データ１０１を基準の顔画像データとする。図８（ａ）に示す画像データの例では、顔部分の画像データ１０１が基準顔画像データになる。顔の大きさの拡大が小さい場合は、例えば図３に示す動画像データである。なお、顔の大きさの拡大率を小さいと判定するのは、予め小さいと判定する基準拡大率を設定しておけばよい。

次に、顔検出部２３ｂは、ステップＳ５６において、基準顔画像データ１０１以外に顔画像データがあるか否かを判定する。この判定の結果、基準顔画像データ１０１以外に顔画像データがあると判定すると、顔検出部２３ｂは、ステップＳ５７に移り、当該基準顔画像データ１０１以外に顔画像データが基準顔画像データ１０１に隣接し、かつ基準顔画像データ１０１よりも小さいサイズの顔部分の画像データであれば、当該基準顔画像データ１０１以外に顔画像データを補助画像データ１０２とする。例えば図８（ｂ）は補助画像データ１０２を示す。

次に、顔検出部２３ｂは、ステップＳ５８において、補助画像データ１０２に隣接する顔部分の画像データで、かつ例えば基準顔画像データ１０１よりも小さい顔部分の画像データがあるか否かを検出し、当該顔部分の画像データがあれば、これら顔部分の画像データを第２の補助画像データとする。すなわち、例えば基準顔画像データ１０１の周辺にも小さな顔部分の画像データがあれば、これらも単調画像を解消できる画像データとなりうるので、これら顔部分の画像データを纏めて補助画像データとする。図８（ｂ）は、顔部分の画像データ１０３が補助画像データ１０２に隣接しかつ小さい顔部分の画像データに該当するので、当該顔部分の画像データ１０３が第２の補助画像データになる。

なお、顔検出部２３ｂは、ステップＳ５６の判定の結果、基準顔画像データ１０１以外に顔画像データがなければ、ステップＳ５９に移り、上記ステップＳ５５で設定した顔部分の基準顔画像データ１０１を補助画像データとする。なお、図８（ａ）に示す画像データでは、基準顔画像データ１０１以外に顔部分の画像データが無いので、基準顔画像データ１０１を補助画像データとする。

一方、顔検出部２３ｂは、ステップＳ５３の判定の結果、画像データの中心部に顔部分の画像データ１０１が無い場合、又はステップＳ５４の判定の結果、顔部分の画像データ１０１のサイズが時間経過と共に拡大していない場合、ステップＳ６１に移り、画像データ中心部以外の顔部分の画像データを検出し、この画像データ中心部以外の顔部分の画像データにおける顔部分のサイズが画像データ全体のサイズの一定比率以下であるか否かを判定する。例えば、顔検出部２３ｂは、顔部分の面積が画像データ全体の面積の約１０分の１（１／１０）以下であるか否かを判定する。

画像データ中に顔部分の画像データがない場合、又は顔部分の面積が画像データ全体の面積の約１／１０以上であれば、顔検出部２３ｂは、補助画像データ無しとして図５に示すステップＳ１６に進む。これは、画像データ中心部以外に顔部分の画像データがあっても、顔部分の画像データのサイズがある程度以上大きいと、補助画像データに適さないからである。例えば図８（ｃ）に示すように中心部以外に顔部分の画像データ１０５があっても、この画像データ１０５の面積が画像データ全体の面積の約１／１０以上であれば補助画像に適さない。なお、一定比率１／１０は、当然に一例である。

顔検出部２３ｂは、上記ステップＳ６１の判定の結果、顔部分の画像データの面積が画像データ全体の面積の約１／１０以下の顔部分の画像データが有ると判定すると、ステップＳ６２に移り、その顔部分の画像データを補助画像データとする。なお、かかる顔部分の画像データが複数有ると、顔検出部２３ｂは、例えば複数の顔部分の画像データのうち画像データの中心部分に最も近い顔部分の画像データを補助画像データとする。図８（ｄ）は、複数の顔部分の画像データ１０１〜１０４のうち画像データ１０２を補助画像データとする。
なお、補助画像データは、２つ限ることなく、３以上であっても良い。
以上により補助画像の決定が終了する。

次に、制御部１１は、ステップＳ１６に移り、単調シーンとその位置の判定を行う。図８は単調シーンとその位置の判定のサブルーチンのフローチャートを示す。この単調シーンとその位置の判定の処理は、主に変化判定部２２における単調場面判定部２２ａ及び単調位置判定部２２ｂにより行われる。これら単調場面判定部２２ａ及び単調位置判定部２２ｂは、撮像部１４から連続的に出力されてＲＡＭ１５に格納される動画像データを解析することにより単調シーンとその位置の判定の処理を行う。このときの動画像の解析は、上記同様に、動画像データの全フレームについて行う必要はなく、例えば動画像データのフレームレートが６０フレーム／秒であれば、１０フレーム／秒程度の頻度でもよい。

先ず、単調場面判定部２２ａは、ステップＳ７１において、動画像データを複数の領域に分割し、これら領域毎に画像データのコントラストの時間的変化を検出し、例えば画像データの周辺部分においてコントラスト値が所定のコントラスト値以下になる部分、すなわち低コントラストの部分を判定する。

次に、単調場面判定部２２ａは、ステップＳ７２において、画像データの周辺部分において色の分布を判定する。
次に、単調場面判定部２２ａは、ステップＳ７３において、画像データの周辺部分において低コントラストの部分が有るか否かを判定し、上記ステップＳ７１での判定の結果、低コントラスト部分が有れば、ステップＳ７４に移り、画像データの周辺部分の色分布に応じて切換える判定時間で、継続してコントラストが低いか否かを判定する。

この判定の結果、色分布が少ない場合又は色分布が無ければ、単調場面判定部２２ａは、ステップＳ７５に移り、判定時間ｔをｔ１（例えば５秒）に設定する。一方、画像データの周辺部分の色分布がある程度以上あると、単調場面判定部２２ａは、判定時間ｔをｔ２（例えば１０秒）に設定する。そして、単調場面判定部２２ａは、ステップＳ７７において、判定時間ｔ１又はｔ２の判定時間に達するまで経時する。

次に、単調場面判定部２２ａは、ステップＳ７８において、判定時間ｔ１又はｔ２の判定時間に達したか否かを判定し、これら判定時間に達していなければ、上記図５に示す次のステップＳ１７に進む。
判定時間ｔ１又はｔ２の判定時間に達すると、単調場面判定部２２ａは、ステップＳ７９に移り、判定時間ｔ１又はｔ２の判定時間の間の動画像データを単調シーンであると判定する。
そして、単調位置判定部２２ｂは、ステップＳ８０において、画像データの周辺部分においてコントラストを低いと判定した部分の位置を単調シーンと判定する。この後、上記図５に示す次のステップＳ１７に進む。

一方、単調場面判定部２２ａは、上記ステップＳ７３の判定の結果、画像データの周辺部分にコントラストの低い部分を検出しない場合、その前の状態によって処理を分岐する。
先ず、単調場面判定部２２ａは、ステップＳ８２において、上記ステップＳ７９でそれまでの動画像データ中に既に単調シーンが有ると判定されていたか否かを判定する。この判定の結果、既に単調シーンが有ると判定されていると、単調場面判定部２２ａは、ステップＳ８３に移り、これまでの単調シーンが終了したと判断し、次のステップＳ８４において、単調シーンのこれまでの時間を計測する。

上記ステップＳ８２の判定の結果、単調シーンが無いと判定されていると、単調場面判定部２２ａは、ステップＳ８５に移り、上記ステップＳ７８での判定時間ｔ１又はｔ２の経時中に画像データの周辺部分にコントラストが高くなったか否かを判定する。
この判定の結果、判定時間ｔ１又はｔ２の経時中に画像データの周辺部分にコントラストが高くなると、単調場面判定部２２ａは、ステップＳ８６に移り、判定時間ｔ１又はｔ２の経時をリセットする。低コントラスト部分が無く単調シーンの経時も開始されていなければ、単調場面判定部２２ａは、単調シーンとその位置の判定を終了し、上記図５に示す次のステップＳ１７に進む。

なお、今回の単調シーンの判定は、画像データにおける周辺の低コントラスト部分の有無を判定した。この判定方法は、比較的単純な方法であって、他の判定方法と組み合わせてもよい。例えば、低コントラストに加えて色分布も継続して低い場合に単調シーンと判定する方法でもよい。コントラスト値の大小だけではなく、コントラスト値の変化も加味して単調シーンと判定するようにしてもよい。又、判定部分としても、画像データの周辺部分ではなく、背景部分を抽出して背景部分のコントラストの低い部分で判定するようにしてもよい。

次に、制御部１１は、図５に示すメイン制御動作フローチャートのステップＳ１７に移る。すなわち、制御部１１は、上記ステップＳ１５の補助画像判定の結果と上記ステップＳ１６の単調シーンの判定結果とを受け取り、ステップＳ１７において、補助画像データが有るか否かを判定する。次に、制御部１１は、ステップＳ１８において、単調シーンが有るか否かを判定する。次に、制御部１１は、ステップＳ１９において、単調位置が有るか否かを判定する。

これらの判定の結果、補助画像データが有り、単調シーンが有り、かつ単調シーンの位置の各情報が有ると判定すると、画像記録再生制御部１６は、ステップＳ２０において、画像データ全体から補助画像データ、例えば図８（ｂ）に示す補助画像データ１０２等の部分を抽出し、この補助画像データ１０２を圧縮してメイン画像記憶部１７ａに記憶する。これと共に画像記録再生制御部１６は、単調シーンである旨のデータや単調位置を示す情報、或いは単調シーンの時間を示す情報等の補助画像管理情報を補助画像管理情報記憶部１７ｂに記憶する。

一方、補助画像データが存在しない、単調シーンが無い、又は単調シーンの位置が無いのうちいずれか１つが判定されると、画像記録再生制御部１６は、ステップＳ２１に移り、通常通り画像データの全体をメイン画像記憶部１７ａに記憶する。
次に、制御部１１は、ステップＳ２２において、撮影モード中に、操作部２１に対してユーザが例えば停止指示の操作を行ってその割り込みが入ったか否かを判定する。停止指示の割り込みが入ると、制御部１１は、撮影を停止する。停止指示の割り込みが無ければ、ステップＳ１１に戻って、上記の撮影処理を繰り返す。

次に、再生モードについて説明する。
制御部１１は、ステップＳ１１において、ユーザによって設定されている現在のカメラ１のモードすなわち撮影モード又は再生モードのいずれかに設定されるのかを判定する。この判定の結果、再生モードに設定されていると、画像記録再生制御部１６は、ステップＳ３１に移り、再生モードの処理を実行する。
先ず、画像記録再生制御部１６は、ステップＳ３２において、ユーザによる操作部２１に対する再生画像の選択の操作を待つ。ユーザによって再生画像の選択の指示がなされると、画像記録再生制御部１６は、ステップＳ３３において、選択された再生画像が動画像データであるか否かを判定する。この判定の結果、再生画像が動画像データでなく、静止画の再生であれば、画像記録再生制御部１６は、ステップＳ３４に移り、静止画の画像データの再生処理を行う。

選択された再生画像が動画像データであれば、画像記録再生制御部１６は、ステップＳ３５に移り、ユーザによる操作部２１に対する再生スタートの操作指示を待つ。再生スタートの操作指示を受けると、画像記録再生制御部１６は、ステップＳ３６に移り、選択された動画像データをメイン画像記憶部１７ａから読み出す。この動画像データの読み出しの単位は、例えばＲＡＭ１５のメモリ容量によって制限されるが、適当なパケット単位で順次読み出される。

動画像データの全体をメイン画像記憶部１７ａから読み出すとき、画像記録再生制御部１６は、当該動画像データの全体に関連する補助画像管理情報が補助画像管理情報記憶部１７ｂに記憶されているか否かを判定し、当該補助画像管理情報が記憶されていれば、補助画像管理情報記憶部１７ｂから対応する補助画像管理情報を併せて読み出す。そして、画像記録再生制御部１６は、補助画像データの付帯された動画像データについて補助画像管理情報を参照しながら再生を開始する。すなわち、画像記録再生制御部１６は、ステップＳ４２に移り、指定された動画像データをメイン画像記憶部１７ａから読み出し、この動画像データを表示制御部１９に送る。これにより、表示部１９には、指定された動画像データが再生される。

次に、画像記録再生制御部１６は、ステップＳ３７において、動画像データの再生中、補助画像管理情報を参照して単調シーンの開始タイミングを判定する。この判定の結果、単調シーンの開始タイミングになるまでは、画像記録再生制御部１６は、ステップＳ４２に移って動画像データの再生すなわち通常の再生を続ける。

単調シーンの開始タイミングの判定の結果、単調シーンの開始タイミングになると、画像記録再生制御部１６は、ステップＳ３８に移り、補助画像管理情報から当該単調シーンに合成すべき補助画像データがあるか否かを判定する。この判定は、単調シーンの開始タイミングであると単調シーンと判定しても、単調シーンによっては適当な補助画像データが決定されていない場合もあるので行う。しかるに、画像記録再生制御部１６は、対応する補助画像データが補助画像管理情報記憶部１７ｂに記憶されていなければ、ステップＳ４２に移り、補助画像合成を行わない通常の再生を行う。

一方、単調シーンの開始タイミングで、かつ対応する補助画像データが記憶されていると、画像記録再生制御部１６は、ステップＳ３９に移り、補助画像管理情報記憶部１７ｂに記憶されている補助画像データの数、例えば図８（ｂ）に示すように３つの補助画像データ１０１、１０２、１０３等に基づいて補助画像データの表示時間を決定する。なお、補助画像データの枚数が多ければ、画像記録再生制御部１６は、第１乃至第２の補助画像データ等の各表示時間を短時間とする。補助画像データが１つのみの場合、画像記録再生制御部１６は、単調シーンの全時間に補助画像データを合成するようにする。

すなわち、画像記録再生制御部１６は、例えば単調な場面が延々と続く単調なシーンを含む動画像データの再生時になると、補助画像管理情報記憶部１７ｂに記憶されている補助画像管理情報に基づいてメイン画像記憶部１７ａに記憶されている動画像データ中の所定の位置に例えば補助画像データ１０１、１０２、１０３等を合成するための再生処理の制御を行う。

画像合成部１８ａは、例えば動画像データ中に例えば単調な場面が延々と続く単調シーンの画像データ部分を含むと、この画像データ部分を動画像データ中から削除し、かつ当該削除した部分に例えば補助画像データ１０１、１０２、１０３等を挿入して合成画像データを作成する。これにより、表示制御部１８は、ステップＳ４０において、合成画像データを表示部１９に表示する。

具体的に画像記録再生制御部１６は、圧縮部や記録部、再生部、伸長部を有するので、これら圧縮部や記録部、再生部、伸長部によって補助画像管理情報記憶部１７ｂから対応する補助画像データを読み出し、当該補助画像データを伸長処理する。画像合成部１８ａは、伸長処理された補助画像データを単調部分のサイズに合わせたサイズに拡大又は縮小するリサイズ処理を行い、単調位置と判定された画像データの部分を削除し、この削除した部分にリサイズ処理した補助画像データを合成する。

画像記録再生制御部１６は、ステップＳ４１において、単調シーンが終了したか否かを判定する。この判定の結果、単調シーンが終了していなければ、画像記録再生制御部１６は、ステップＳ４０に戻って合成画像データの再生を継続する。単調シーンが終了すると、画像記録再生制御部１６は、ステップＳ４１に移り、再生モード中に、操作部２１に対してユーザが例えば停止指示の操作を行ってその割り込みが入ったか否かを判定する。停止指示の割り込みが入ると、画像記録再生制御部１６は、カメラ１の動作を停止する。停止指示の割り込みが無ければ、ステップＳ３２に戻って、上記の画像記録再生制御部１６は、再生処理を繰り返す。
なお、単調シーンの判定及び補助画像データの表示は、上記説明に限らず、他の表示方法を用いてもよい。以下、単調シーンの判定及び補助画像データの表示例について説明する。

図９は単調シーンの判定及び対応する補助画像データの表示タイミングの具体的な例を示す。同図においてＦ１は、動画像データのコントラストの変化を示す。中間の横線であるＨは、単調シーンの判定レベルを示す。従って、動画像データのコントラストＦ１が単調シーンの判定レベルＨ以下になり、その期間が一定時間、例えば５秒間以上続くと、単調場面判定部２２ａは、当該期間ｔ１又はｔ２を単調シーンであると判定する。なお、単調シーンの判定結果は、期間ｔ１又はｔ２のうちいずれか一方を採用すればよい。なお、単調場面判定部２２ａは、単調シーンと判定された期間ｔ１又はｔ２にハイレベル「１」の単調シーン判定信号を出力し、それ以外の単調シーンでない期間にローレベル「０」の信号を出力する。

このような単調シーンの判定であれば、動画像データのコントラストＦ１が単調シーンの判定レベルＨ以下になる期間が一定時間、例えば５秒間以上続くところを単調シーンとして判定するので、動画像データのコントラストＦ１が単調シーンの判定レベルＨ以下になる期間が一定時間以内であれば、単調シーンであると判定しない。図９に示す動画像データのコントラストＦ１は、期間ｔ１又はｔ２を過ぎた後に例えば２回単調シーンの判定レベルＨ以下になるが、これらのタイミングで単調シーンであると判定されることはない。

次に、補助画像データの合成を開始するタイミングについて説明する。
単調シーンの開始時間は、例えば上記図２及び図３に示すように単調シーンが発生してから数秒後、例えば５秒経過後に補助画像データを合成して再生することを説明した。この補助画像データの合成するタイミングは、図９に示す期間ｔ１に補助画像データを合成することに該当する。これに限らず、同図に示す期間ｔ２のように単調シーンと判定された時点から単調シーンが始まったとして、当該単調シーンの開始時点から期間ｔ２の全期間に亘って補助画像データを合成するような処理をしてもよい。

次に、補助画像データの切り換え表示の例について説明する。
第１に、例えば単調シーンの期間ｔ１中で補助画像データが１つ継続して存在していると、画像合成部１８ａは、単調シーンの期間ｔ１中に１つの補助画像データＪ１を合成して連続して表示する。
第２に、補助画像データが途中で切り換わる例である。単調シーンの間に補助画像データが連続して存在するとは限らない。例えば２つの補助画像データが有ると、画像合成部１８ａは、例えば単調シーンの期間ｔ１中の前半に第１の補助画像データＪ２を表示する。この第１の補助画像データＪ２の表示が終了すると、画像合成部１８ａは、通常の動画像データを表示する。そして、第２の補助画像Ｊ２が撮影された時間すなわち単調シーンの期間ｔ１中の後半になると、画像合成部１８ａは、第２の補助画像データＪ３を表示する。

第３に、補助画像データとして同時に複数が存在する場合で、例えば上記図４に示すシーンである。例えば３つの補助画像データＪ２〜Ｊ４が存在すると、画像合成部１８ａは、例えば単調シーンの期間ｔ１中の前半に第１の補助画像データＪ２を表示する。この第１の補助画像データＪ２の表示が終了すると、画像合成部１８ａは、例えば単調シーンの期間ｔ１中の中間に第２の補助画像データＪ３を表示する。そして、第３の補助画像Ｊ４が撮影された時間すなわち単調シーンの期間ｔ１中の後半になると、画像合成部１８ａは、第３の補助画像データＪ４を表示する。

なお、以上の単調シーンの判定及び補助画像データの抽出は、撮影時に行うことで説明した。これに限らず、再生モード時に全ての処理を行ってもよい。例えば、再生モード時に再生する動画像データのコントラスト等を検出して単調シーンであるか否かの判定を行う。単調シーンであると判定すると、上記撮影中に補助画像データを抽出したと同様に画像データ中に顔部分の画像データが有れば、当該顔部分の画像データを切り出して画像データ中の単調データ部分に貼り付けて合成画像を作成する。これにより、上記同様に動画像データ中の単調シーンの部分に代えて補助画像データが表示される。このような再生装置としては、例えばカメラ１から撮像機能と記録機能、例えば撮像部１４や画像記録再生装置１６の記録機能を除くことで実現できる。

このように上記一実施の形態によれば、カメラ１の撮影により取得された動画像データ中で一定期間に亘って単調な部分を変化判定部２２によって判定し、動画像データの再生時に、動画像データ中から単調部分に代える補助画像データを補助画像判定部２３によって判定し、動画像データを記憶すると共に、単調部分の画像データに関する情報及び補助画像データに関する情報を記憶部に記憶する。そして、動画像データ中の単調部分に代えて補助画像データを画像合成部１８によって合成し、当該合成した動画像データを表示部１９に表示する。このうち単調部分の画像データの判定は、動画像データのコントラスト又は色分布に基づいて行う、又は動画像データのコントラストが一定期間連続して低い部分を単調部分の画像データと判定する。これにより、動画像データに適切な変化を持たせることができ、単調にならずに動画像データの鑑賞を楽しむことができる。

具体的には、例えば図２（ａ）〜（ｃ）に示すように運動会等で走って来る子供とこの子供を声援する家族とを一緒に撮影したシーンで、子供である主被写体以外の顔、例えば家族を合成した画像の再生ができる。図３（ａ）〜（ｃ）に示すように主被写体の顔部分を拡大して動画像データ中の背景部分の一部に挿入できる。又、図４（ａ）〜（ｃ）に示すように動画像データの中央部に人物が近づいて来るようなシーンのみならず、走っている人物を動画像データの中央部に撮影されるように人物を追った画像データを取得できる。

これにより、退屈しない動画像データを簡単に撮影することができる。又、撮影時には意識されなかった例えば主被写体である子供と同様に動いている人物の顔に変化があって面白いことが多いので、このような顔画像を補助画像データとして合成して表示することができる。これにより、さらに表示部１９に表示される動画像に変化を付けることができ、単調なシーンを面白くする効果がある。又、単調な場面が延々と続くような動画像データが出来上がるようなことは無くなり、動画を楽しく鑑賞することができる。又、単調な場面が延々と続く動画像データから冗長で不要な画像データの部分を撮影後に編集して削除することも無くなり、編集に係る手間が無くなる。

なお、本発明は、上記一実施の形態に限定されるものでなく、次の通りに変形してもよい。
例えば動画像データ中に判定する単調シーンの部分は、１箇所に限らず、複数個所判定してもよい。これら判定された各単調シーンの部分にそれぞれ各補助画像データを挿入して表示してもよい。又、補助画像データは、人物の顔部分の画像データに限らず、例えば主被写体の背景や動きのある物体等にしてもよい。

又、制御部１１の各処理は、ソフトウエアに限らず、その一部又は全てをハードウエアで構成してもよい。逆にハードウエアとして説明した画像判定部２０等は、ソフトウエアにのより構成してもよい。制御部１１による各制御処理は、ＲＯＭ１３に格納されているソフトウエアプログラムに従って実行することで実現できる。従って、上記ソフトウエアのプログラム自体は、カメラ１の制御部１１の機能を実現することになる。

ＲＯＭ１３やＲＡＭ１５等の記録媒体は、例えばフラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることが可能である。
又、本発明の一実施の形態は、デジタルのカメラ１に適用した例を説明したが、これに限らず例えば携帯電話のカメラに適用してもよい。

さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１：カメラ、１１：制御部、１１ａ：操作判定部、１２：バスライン、１３：ＲＯＭ、１４：撮像部、１５：ＲＡＭ、１６：画像記録再生制御部、１７：記憶部、１８：表示制御部、１９：表示部、２０：画像判定部、２１：操作部、１８ａ：画像合成部、２２：変化判定部、２２ａ：単調場面判定部、２２ｂ：単調位置判定部、２３：補助画像判定部、２３ａ：動き判定部、２３ｂ：顔検出部。

Claims (4)

1. 動画像データの中で一定期間に亘って補助画像データを合成可能な単調な部分と前記補助画像データを合成するタイミングとを判定する単調判定部と、
   前記動画像データにおける前記単調な部分に代えられて合成される補助画像データを前記動画像データから判定する補助画像判定部と、
   前記単調な部分に前記補助画像データを合成する画像合成部と、
   を具備することを特徴とする画像処理装置。
2. 前記補助画像データと前記補助画像データが合成される前記単調な部分の位置情報との少なくとも何れかを記憶する補助画像管理情報記憶部をさらに具備することを特徴とする請求項１に記載の画像処理装置。
3. 前記動画像データを取得する撮像部をさらに具備することを特徴とする請求項１又は２に記載の画像処理装置。
4. 動画像データの中で一定期間に亘って補助画像データを合成可能な単調な部分と前記補助画像データを合成するタイミングとを判定し、
   前記動画像データにおける前記単調な部分に代えられて合成される補助画像データを前記動画像データから判定し、
   前記単調な部分に前記補助画像データを合成する、
   ことを特徴とする画像処理方法。