JP5874783B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、アニメーション等に登場するキャラクターの画像であるキャラクター画像を作成する技術に関し、画像処理装置、画像処理方法、画像処理プログラムに関する。

本明細書において、キャラクター画像とはアニメーションに登場するような非実写的に表現された人物の画像をいう。
キャラクター画像と似たものにイラストがあり、例えば特許文献１には写真画像からイラスト的な画像を作成する技術が記載されている。しかしこれはあくまで実物の写真を「イラスト的」に表現したものであって、本明細書でいうキャラクター画像とは実物の写真とは異なる個性を有する人物等の画像である。広辞苑第五版によれば「イラスト」は「見て楽しく誇張・変形した絵」とあり、「キャラクター」とは「小説・映画・漫画などの登場人物」とされている。
このようなキャラクター画像に関しては、例えば下記非特許文献１にアニメ度なるものが論じられている。また、人物を撮影して、キャラクター画像に変換する最も単純な手法は、多数のキャラクター画像のデータベースを用意しておき、被写体の特徴にもっともマッチするキャラクター画像を選択するものである（例えば、特許文献２）。

被写体の特徴とは、単純な例としては男女の性別、色、明度、輪郭の形状等が挙げられる。顔認識技術を適用すれば、目の大きさ、顔の縦横比などもっと詳細な特徴も抽出することができる。

他方、データベースに多数記憶されているキャラクター画像には複数の特徴情報が付帯記憶されており、前記被写体から抽出された特徴情報とのマッチングを取り、最も整合性の高いキャラクター画像を選択すればよい。

特開２００４−１０２８１９号公報 特開２００４−３１３２２５号公報

河谷大和（北海道大学）ほか、「アニメキャラクターの特徴抽出に基づくアニメ度評価とその応用」ＦＩＴ２００８（第７回情報科学技術フォーラム）、Ｉ−０４０ 、２００８年

このように、従来の技術においては、被写体から抽出された特徴情報とのマッチングを取り、最も整合性の高いキャラクター画像を選択することにより、被写体をキャラクター画像に変換する。したがって、キャラクター画像に被写体の特徴を反映させることができる反面、ある人物に対して変換される最も整合性の高いキャラクター画像は一つのみとなる。

つまり、被写体とされたある人物の特徴は既成事実であるから、この既成事実に応じて変換されるキャラクター画像と当該人物とは常に対応関係にあり、基本的に同一人物は同一のキャラクター画像に変換される。

無論、ＣＧ（Computer Graphics）を駆使して、前記技術により変換されたキャラクター画像を加工すれば、ある人物に対して異なる特徴やイメージを加味したキャラクター画像を作成することが可能となる。しかし、ＣＧ技術により画像を加工することは、ＣＧ技術に対する高度の知識や技術等が必要であり、通常のユーザーには困難であり、容易且つ迅速に行うことはできない。

本発明は、このような従来の課題に鑑みてなされたものであり、被写体の特徴とは異なる特徴を加味したキャラクター画像を容易且つ迅速に作成することのできるキャラクター画像の作成方法、画像処理装置及び画像処理プログラム並びに画像変換ネットワークシステムを提供することを目的とする。

前記課題を達成するため、本発明の主たる特徴は、被写体として人物以外のオブジェクトの画像を撮影するオブジェクト撮影手段と、被写体として人物の画像を撮影する人物撮影手段と、視覚的特徴と関連付けた身体キャラクター画像を複数記憶する身体キャラクター画像記憶手段と、前記身体キャラクター画像記憶手段から、前記オブジェクト撮影手段により撮影したオブジェクトの画像の視覚的特徴と最も類似する身体キャラクター画像を選択する選択手段と、前記人物撮影手段により撮影した人物の頭部画像から頭部キャラクター画像を作成する頭部キャラクター画像作成手段と、前記選択手段により選択された身体キャラクター画像と前記頭部キャラクター画像作成手段により作成された頭部キャラクター画像を合成してキャラクター画像を作成するキャラクター画像作成手段と、を備え、前記人物撮影手段により撮影した人物の画像を、前記オブジェクト撮影手段により撮影され前記選択手段により選択された身体キャラクター画像と、前記頭部キャラクター画像作成手段により作成された頭部キャラクター画像とを合成することにより、当該人物の画像に人物以外の視覚的特徴を加味したキャラクター画像を作成することを特徴とする画像処理装置である。

本発明の他の特徴は、本明細書、及び添付図面の記載により、明らかにする。

本発明によれば、被写体の特徴とは異なる特徴を加味したキャラクター画像を容易且つ迅速に作成することができる。

（ａ）は、本発明の一実施の形態に係るデジタルカメラの構成を示すブロック図である。 本実施形態によるネットワーク系の構成を示す概念図である。 画像サービスサイトの構成を示すブロック図である。 （１）は画像サービスサイト内の第１ＤＢ、（２）は画像サービスサイト内の第２ＤＢの構成を示す概念図である。 （１）はデジタルカメラ、（２）は画像サービスサイトの処理手順を示すフローチャートである。 図５におけるステップＳ１０２の被写体の顔を検出する処理の詳細を示すフローチャートである。 （ａ）は、顔の眼の領域を抽出するためのマスクパターンの例を示す図、（ｂ）は眼の認識領域の条件データの例を示す図、（ｃ）は顔認識領域の条件データの例を示す図である。 （１）は１回目の撮影画像の一例を示す図、（２）は切り抜かれた人物の顔部分の一例を示す図である。 図５におけるステップＳ１０６のオブジェクトを検出する処理の詳細を示すフローチャートである。 （１）は２回目の撮影画像の一例を示す図、（２）は切り抜かれたオブジェクトの一例を示す図である。 人物の顔の領域における特徴を抽出する処理手順の一例を説明するための図である。 オブジェクトの特徴を抽出する処理手順の一例を示すフローチャートである。 撮影からキャラクター画像に変換されるまでの例を示す遷移図である。 撮影からキャラクター画像に変換されるまでの例を示す遷移図である。 撮影からキャラクター画像に変換されるまでの例を示す遷移図である。 撮影からキャラクター画像に変換されるまでの例を示す遷移図である。

以下、本発明の実施形態について説明する。図１は、本発明を適用した実施形態に係るデジタルカメラ１の電気的構成を示すブロック図である。デジタルカメラ１は通信機能を備え、ＣＰＵ１１と、ＣＰＵ１１に接続されたＲＯＭ１２と、ＲＡＭ１３と、内部メモリ１４とを具備し、ＲＯＭ１２には、ＣＰＵ１１に後述するフローチャートに示す動作を行わせるためのプログラムが記憶されている。また、ＣＰＵ１１は、撮像素子８で撮像した顔を認識処理するための顔認識エンジン１５０と、切り抜き処理エンジン４５０とを含んでいる。

顔認識エンジン１５０は、写真の中に１つ又は複数の顔が写っている場合、それぞれの顔を認識する能力を備えている。また、顔認識エンジン１５０は、ＣＰＵ１１と協働するＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、若しくはＤＳＰ（Digital Signal Processor）、あるいはリコンフィギュラブルＬＳＩ（Ｃ言語等のプログラムによって再構成可能なＬＳＩ）によって構成される。

切り抜き処理エンジン４５０は、後述するフローチャートで説明する顔部分を切り抜く処理を実行する。ＲＡＭ１３は、ＣＰＵ１１が必要に応じて種々のデータを一時的に記憶する作業用のメモリである。

内部メモリ１４は、ハードディスク、又はフラッシュメモリによる大容量不揮発性メモリである。

表示制御部１６は、ＣＰＵ１１から供給される表示用の画像データに基づいて液晶表示パネル３を駆動することにより、画像や、各種メニューを液晶表示パネル３に表示させる。タッチ入力制御部１７は、ＣＰＵ１１の制御に基づいてタッチパネル５の操作信号を入力するものである。

タッチパネル５は、静電容量方式、光学方式、抵抗膜方式、表面弾性波方式、超音波方式、電磁誘導方式等様々存在する中から、適宜選択することができる。指紋認証や、静脈認証の機能を組み込むことも可能である。

メモリカードインターフェース１８は、メモリカードスロットに着脱自在に装着された各種のメモリカード６０と、ＣＰＵ１１との間におけるデータの入出力を制御する入出力インターフェースである。

キー入力部７は、シャッターキー、電源キー等の通常デジタルカメラに配置されているキーを備える。キー入力制御部２０は、ＣＰＵ１１の制御に基づいてキー入力部７を走査して、キーの操作信号を取り込むものである。

撮像制御部１９は、撮像素子８を駆動して被写体の画像を取り込む制御を行う。ベイヤーデータで取り込まれた画像データは、ＹＵＶ、及びＲＧＢデータに変換後、ＪＰＥＧ（Joint Photographic Experts Group）データに圧縮されて内部メモリ１４又はメモリカード６０に記録される。

電源制御部７０は、図外のバッテリを介してＤＣ電源を取り入れ、各部に主電源７１若しくは待機電源７２の電力を供給する。

通信制御部３０は、携帯電話回線３１若しくは無線ＬＡＮ３２を経由してインターネット５００に接続し、メールの送受信や、コンテンツの送受信を含む通信制御を行う。アドレス帳３３は、メール送受信に用いられ、実際は、内部メモリ１４内に設けられる。

図２は、本実施形態によるネットワーク系の構成を示す概念図である。５１０はパーソナルコンピュータであり、無線ＬＡＮ３２等で通信制御部３０を介してデジタルカメラ１と接続でき、デジタルカメラ１では設定できない複雑な設定等をすることができる。

画像サービスサイト５３０は、デジタルカメラ１により撮影されて送信されてきた前記被写体とは別の物体であるオブジェクトの画像から当該オブジェクトの特徴を抽出する抽出手段、デジタルカメラ１により撮影されて送信されてきた被写体の画像を抽出されたオブジェクトの特徴に応じたキャラクター画像に変換する変換手段として機能するものである。なお、オブジェクトとは、キャラクター画像に変換したい被写体とは別に、作成したいキャラクター画像のイメージ（特徴）を与えるために撮影する被写体のことをいう。

図３は、この画像サービスサイト５３０の構成を示すブロック図である。この画像サービスサイト５３０は、ＤＢ（database）エリアＡと、プログラムエリアＢ、及び制御部Ｃとからなる。ＤＢエリアＡには、第１ＤＢ１００と第２ＤＢ２００とが設けられている。プログラムエリアＢには、後述するフローチャートで示す各種処理を実行するためのプログラムが格納されている。また、制御部Ｃは、ＣＰＵ１１７やバッファメモリ１１８を備えている。

前記第１ＤＢ１００は、図４（１）に示すように、人間の顔特徴情報記憶領域１０１と頭部キャラクター画像データ記憶領域１０２、及び付帯特徴情報記憶領域１０３に区分されている。人間の顔特徴情報記憶領域１０１には、後述するような顔の特徴を示す顔特徴情報が、各特徴量Ｆ（１）、Ｆ（２）、Ｆ（３）、Ｆ（４）・・・毎に区分されて記憶されている。また、頭部キャラクター画像データ記憶領域１０２には、後述する図１３〜図１６の６０３、７０３、８０３、９０３に示すような、キャラクター画像における髪の毛を含む首及び顔部分からなる頭部の画像を表示させる頭部キャラクター画像データＡ−１，Ａ−２，Ａ−３，Ａ−４・・・が、前記顔の各特徴量Ｆ（１）、Ｆ（２）、Ｆ（３）、Ｆ（４）・・・に対応して記憶されている。付帯特徴情報記憶領域１０３には、頭部キャラクター画像Ａ−１、Ａ−２、Ａ−３、Ａ−４・・・・・・に対応してそれぞれ特徴ータが色相＝ＨＨＨ、彩度＝ＳＳＳ、明度＝ＶＶＶ、輪郭形状＝ｆｆｆ、大きさ＝ＬＬＬとして記憶されている。

前記第２ＤＢ２００は、図４（２）に示すように、オブジェクトのテンプレート記憶領域２０１と身体キャラクター画像データ記憶領域２０２、及び付帯特徴情報領域２０３が各々Ｎ＝１，２，３，４・・・とシリアル番号Ｎ毎に区分されている。オブジェクトのテンプレート記憶領域２０１には、「キウイフルーツ」、「モンブランケーキ」、「ブタの貯金箱」、「自動車」等の人間以外の物体の特徴を示す特徴情報（本実施の形態においては、色相、彩度、明度、輪郭形状、大きさの各特徴量データ）とがテンプレートとして記憶されている。また、身体キャラクター画像データ記憶領域２０２には、後述する図１３〜図１６の６０５、７０５、８０５、９０５に示すような、身体キャラクター画像データＢ−１，Ｂ−２，Ｂ−３，Ｂ−４・・・が、前記各テンプレートに対応して記憶されている。付帯特徴情報記憶領域１０３には、身体キャラクター画像データＢ−１，Ｂ−２，Ｂ−３，Ｂ−４・・・に対応してそれぞれ特徴データが色相＝ＨＨＨ、彩度＝ＳＳＳ、明度＝ＶＶＶ、輪郭形状＝ｆｆｆ、大きさ＝ＬＬＬとして付帯して記憶されている。

次に、以上の構成に係る本実施の形態における動作を図５に示すフローチャートに従って説明する。デジタルカメラ１を、キャラクター画像作成モードに設定すると、ＣＰＵ１１がＲＯＭ１２に格納されているプログラムに従って処理を実行することにより図５（１）のフローチャートに示すように動作する。また、画像サービスサイト５３０は、ＣＰＵ１１７がプログラムエリアＢに格納されているプログラムに従って処理を実行することにより同図（２）のフローチャートに示すように動作する。

すなわち、デジタルカメラ１は、１回目の撮影処理が実行されるまで待機する（ステップＳ１０１）。ユーザーが、キー入力部４に設けられているシャッターキーを操作すると、ＣＰＵ１１からの指示に従って撮像制御部１９が撮像素子８を駆動する。これにより撮像素子８からベイヤーデータで取り込まれた画像データは、撮像制御部１９によりＹＵＶ及びＲＧＢデータに変換後、ＪＰＥＧデータに圧縮されて内部メモリ１４又はメモリカード６０に記録される。

すると、ステップＳ１０１の判断がＹＥＳとなり、ＣＰＵ１１はステップＳ１０１からステップＳ１０２に処理を進めて、記録された画像中に人物の顔があるか否かを判断する。

図６は、この被写体の顔を検出する処理であるステップＳ１０２の詳細を示すフローチャートである。先ず、前述のようにして内部メモリ１４又はメモリカード６０に記録された画像を取り込み（ステップＳ３０１）、輝度もしくは色差データに基づいて輪郭を抽出する（ステップＳ３０２）。次に、前記画像をこの抽出した輪郭を境界とする領域に分割し（ステップＳ３０３）、分割領域の中からいずれかの対象領域を選択する（ステップＳ３０４）。そして、ＲＧＢまたは色差データに基づいて、選択した領域の平均ＲＧＢまたは平均色差データを算出し（ステップＳ３０５）、この算出したＲＧＢまたは色差値をＨＳＶに変換する（ステップＳ３０６）。

引き続き、この変換したＨＳＶが肌色の領域は否か、つまり、色相（Ｈｕｅ）が６〜３８°内か否かを判断し（ステップＳ３０７）、この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ３１５）。次に、今回選択した領域が、当該画像において最後の領域であるか否かを判断し（ステップＳ３１８）、最後の領域でない場合には、ステップＳ７０４に戻って次の領域を選択し、前述した処理を繰り返す。そして、最後の領域まで以上の処理が実行されると、ステップＳ３１８の判断がＹＥＳとなり、認識結果を判断結果として出力する（ステップＳ３１９）。

また、ステップＳ３０７での判断がＹＥＳである場合には、図７に示す顔のマスクパターンを用いて前記対象領域において眼と瞳の領域を検索する（ステップＳ３０８）。

図７において、（ａ）は、顔の眼の領域を抽出するためのマスクパターンの例で、これを参照パターンとして、テンプレートマッチング等を用いて検索し、入力画像から眼や顔のある画像領域を検索できる。（ｂ）は、眼を認識するデータの例で、例えば、眼の細長さ＝ｂ／ａとして、α１≦ｂ／ａ≦α２の条件に合致する、または、（眼の面積）Ｓ１≒π×ａ×ｂ、（黒眼（瞳）の面積）Ｓ２＝π×ｒ２、黒眼（瞳）の比率Ｓ２／Ｓ１＝ｒ２／ａｂとして、β１≦ｒ２／ａｂ≦β２などの条件に合致する被写体画像の領域を「眼の領域」と識別することができる。また、（ｃ）は、人間の顔と認識するための条件データの設定で、例えば、（眉下〜鼻下までの長さ）ｈ１≒（鼻下〜あごまでの長さ）ｈ２、または、（右眼の幅）Ｗ１≒（両眼の間）Ｗ２≒（左眼の幅）Ｗ３、などの条件を満たす被写体画像の領域を「顔の領域」であると識別できる。

そこで図７に示す顔のマスクパターンを用いて前記対象領域において眼と瞳の領域を検索する（ステップＳ３０８）。次に、眼の領域は検出できたか否かを判断し（ステップＳ３０９）、検出できない場合には、顔の領域でないと判断する（ステップＳ３１５）。検出できた場合には、眼の縦横比（ｂ／ａ）、眼と瞳（黒眼）の面積比（ｒ２／ａｂ）を算出し（ステップＳ３１０）、眼と瞳の比率は所定範囲内か否か、すなわち前記α１≦ｂ／ａ≦α２の条件に合致するか否かを判断する（ステップＳ３１１）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ３１５）。

また、ステップＳ３１１の判断がＹＥＳである場合には、眼と瞳の比率は所定範囲内であるか否か、すなわち前記β１≦ｒ２／ａｂ≦β２の条件に合致するか否かを判断する（ステップＳ３１２）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ３１５）。ステップＳ３１２の判断がＹＥＳである場合には、右眼の幅Ｗ１、右眼と左眼の間隔Ｗ２、左眼の幅Ｗ３を算出し（ステップＳ３１３）、Ｗ１とＷ２、Ｗ３は等しいか否か、すなわちＷ１−δ≦Ｗ２≦Ｗ１＋δ、Ｗ１−δ≦Ｗ３≦Ｗ１＋δであるか否かを判断する（ステップＳ３１４）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ３１５）。そして、この判断がＹＥＳである場合、つまり、ステップＳ３０７、Ｓ３０９、Ｓ３１１、Ｓ３１２、Ｓ３１４の判断が全てＹＥＳである場合には、前記ステップＳ３０４で選択した領域を、顔の領域として認識する（ステップＳ３１６）。さらに、この認識された顔の領域の位置座標を記憶し（ステップＳ３１７）、認識結果を判断結果として出力する（ステップＳ３１９）。

したがって、以上の処理により、図５（１）のフローチャートのステップＳ１０２において画像中に人物の顔があると判断された場合にはＹＥＳが出力され、人物の顔がない場合にはＮＯが出力されることとなる。そして、ＹＥＳが出力された場合には、判断された顔画像（顔部分）を切り抜く切り抜き処理を実行する。この切り抜き処理は、前記ステップＳ３０２で抽出された輪郭であって前記ステップＳ３１６で顔の領域として認識された画像部分を切り出すことにより行う。さらに、この切り抜いた顔画像を画像サービスサイト５３０に送信する（ステップＳ１０４）。

したがって、１回目の撮影により例えば図８（１）に示す顔を有する人物Ｐ０が存在する画像Ｐ１を撮影したとすると、同図（２）に示すように、人物Ｐ０から顔部分Ｐ２が切り抜かれて、その画像データがデジタルカメラ１から画像サービスサイト５３０に送信される。

なお、このように本実施の形態においては、顔画像（顔部分）を切り抜く切り抜き処理（ステップＳ１０３）をデジタルカメラ１側で実行し、この切り抜いた顔画像を画像サービスサイト５３０に送信するようにした。しかし、デジタルカメラ１側から、１回目に撮影した画像そのものを画像サービスサイト５３０に送信し、画像サービスサイト５３０側で切りぬき処理を行うようにすることもできる。

このようにすれば、サーバー（画像サービスサイト５３０）と比較して処理能力が低いデジタルカメラ１の処理負担を軽減することができるのみならず、処理能力が高いサーバー（画像サービスサイト５３０）側で正確かつ迅速な切りぬき処理を行うことができる。

次に、デジタルカメラ１は、２回目の撮影処理が実行されるまで待機する（ステップＳ１０５）。ユーザーが、キー入力部４に設けられているシャッターキーを操作すると、前述と同様に、ＣＰＵ１１からの指示に従って撮像制御部１９が撮像素子８を駆動して、撮像素子８からベイヤーデータで取り込まれた画像データが、撮像制御部１９によりＹＵＶ及びＲＧＢデータに変換後、ＪＰＥＧデータに圧縮されて内部メモリ１４又はメモリカード６０に記録される。

すると、ステップＳ１０５の判断がＹＥＳとなり、ＣＰＵ１１はステップＳ１０５からステップＳ１０６に処理を進めて、例えば画像の中心部に人物の顔以外の物体があるか否かを判断する。

図９は、このオブジェクトを検出する処理であるステップ１０６の詳細を示すフローチャートである。先ず、前述のようにして内部メモリ１４又はメモリカード６０に記録された画像においてカーソルＣ（図１０参照）で取り囲まれた画像の中央部分を取り込み（ステップＳ４０１）、輝度もしくは色差データに基づいて輪郭を抽出する（ステップＳ４０２）。次に、前記画像をこの抽出した輪郭を境界とする領域を抽出し（ステップＳ４０３）、この抽出した領域を選択領域とする（ステップＳ４０４）。そして、ＲＧＢまたは色差データに基づいて、選択した領域の平均ＲＧＢまたは平均色差データを算出し（ステップＳ４０５）、この算出したＲＧＢまたは色差値をＨＳＶ（Hue、Saturation、Value）に変換する（ステップＳ４０６）。

引き続き、この変換したＨＳＶが肌色の領域か否か、つまり、色相（Ｈｕｅ）が６〜３８°内か否かを判断し（ステップＳ４０７）、この判断がＮＯである場合には、物体の領域であると判断する（ステップＳ４１５）。さらに、この認識された物体の領域の位置座標を記憶し（ステップＳ４１７）、認識結果を判断結果（ＹＥＳ）として出力する（ステップＳ４１８）。

また、ステップＳ４０７での判断がＹＥＳである場合には、図７に示す顔のマスクパターンを用いて前記対象領域において眼と瞳の領域を検索する（ステップＳ４０８）。次に、眼の領域は検出できたか否かを判断し（ステップＳ４０９）、検出できない場合には、物体の領域であると判断する（ステップＳ４１５）。検出できた場合には、眼の縦横比（ｂ／ａ）、眼と瞳（黒眼）の面積比（ｒ２／ａｂ）を算出し（ステップＳ４１０）、眼と瞳の比率は所定範囲内か否か、すなわち前記α１≦ｂ／ａ≦α２の条件に合致するか否かを判断する（ステップＳ４１１）。この判断がＮＯである場合には、物体の領域であると判断する（ステップＳ４１５）。

また、ステップＳ４１１の判断がＹＥＳである場合には、眼と瞳の比率は所定範囲内であるか否か、すなわち前記β１≦ｒ２／ａｂ≦β２の条件に合致するか否かを判断する（ステップＳ４１２）。この判断がＮＯである場合には、物体の領域であると判断する（ステップＳ４１５）。ステップＳ４１２の判断がＹＥＳである場合には、右眼の幅Ｗ１、右眼と左眼の間隔Ｗ２、左眼の幅Ｗ３を算出し（ステップＳ４１３）、Ｗ１とＷ２、Ｗ３は等しいか否か、すなわちＷ１−δ≦Ｗ２≦Ｗ１＋δ、Ｗ１−δ≦Ｗ３≦Ｗ１＋δであるか否かを判断する（ステップＳ４１４）。この判断がＮＯである場合には、物体の領域であると判断する（ステップＳ４１５）。そして、この判断がＹＥＳである場合、つまり、ステップＳ４０７、Ｓ４０９、Ｓ４１１、Ｓ４１２、Ｓ４１４の判断が全てＹＥＳである場合には、前記ステップＳ４０４で選択した領域を、物体の領域ではなく顔の領域として認識し（ステップＳ４１６）、認識結果を判断結果（ＮＯ）として出力する（ステップＳ４１８）。

したがって、以上の処理により、図５（１）のフローチャートのステップＳ１０６において画像の中心部に人物の顔以外の物体があると判断された場合にはＹＥＳが出力されることとなる。そして、ＹＥＳが出力された場合には、判断された物体を切り抜く切り抜き処理を実行する（ステップＳ１０７）。この切り抜き処理は、前記ステップＳ４０２で抽出された輪郭であって前記ステップＳ３１５で物体の領域として認識された画像部分を切り出すことにより行う。さらに、この切り抜いた物体の画像をオブジェクトの画像として画像サービスサイト５３０に送信する（ステップＳ１０８）。

したがって、２回目の撮影により例えば図１０（１）に示すように、液晶表示パネル３に表示されているスルー画像中において中心部に表示されているカーソルＣ内にキウイフルーツＰ３が存在する画像Ｐ４を撮影したとすると、同図（２）に示すように、画像Ｐ４からキウイフルーツＰ１部分が切り抜かれて、その画像データがオブジェクトの画像データとしてデジタルカメラ１から画像サービスサイト５３０に送信に送信される。

一方、画像サービスサイト５３０は、前記ステップＳ１０４でデジタルカメラ１から送信されてくる顔画像データを受信したか否かを判断する（ステップＳ２０１）。この顔画像データを受信したならば、頭部キャラクター画像変換処理を実行する（ステップＳ２０２）。この頭部キャラクター画像変換処理は、下記（１）及び（２）の処理で構成される。
（１）前記受信した顔画像データで表される顔画像の特徴を抽出する処理
（２）この抽出した特徴に対応する頭部キャラクター画像データを第１ＤＢ１００から読み出す処理。

図１１は、前記（１）の顔の特徴を抽出する処理手順の一例を示すフロー説明図である。すなわち、ステップ（ａ）顔の位置検出では、顔の輪郭画像に様々なグラフを当てはめて、人物の顔部分を検出する。次に、ステップ（ｂ）顔の特徴点の位置検出では、画像の顔部分を切り出し、顔の大きさを正規化して、顔の特徴点の位置を検出する。さらに、ステップ（ｃ）特徴量の検出においては、各特徴点から、ウェーブレット変換等で、周波数成分など個人毎の特徴量Ｆを抽出する。

この特徴量Ｆの最小値から最大値までの振れる範囲を１０００とすると、図４（１）において、特徴量Ｆ（１）は１〜１０、Ｆ（２）は１１〜２０、Ｆ（３）は２１〜３０、・・・Ｆ（１００）は９９１〜１０００の範囲の特徴量が得られたとき、対応する頭部キャラクター画像データＡ−１、Ａ―２、Ａ―３、・・・Ａ−１００に対応する。

この例では特徴量の範囲を１０００に分けて１００種類の頭部キャラクター画像（以下、頭部キャラクター画像データで表される画像を頭部キャラクター画像という）と対応付けたが、対応関係や頭部キャラクター画像の数等は適宜設定するものとする。

したがって、この例の場合には、図４に示した第１ＤＢ１００の人間の顔特徴情報記憶領域１０１には、複数の前記特徴量Ｆ（１）、Ｆ（２）、Ｆ（３）、Ｆ（４）・・・が記憶されており、頭部キャラクター画像データ記憶領域１０２には、各特徴量に対応して異なる頭部キャラクター画像データが記憶されている。そして、前記（２）の処理で特徴量に対応する頭部キャラクター画像データを読み出すことにより、キャラクター画像変換処理（Ｓ２０２）が完了することになる。

そして、図５（２）のフローチャートにおいて、Ｓ２０２に続くステップＳ２０３では、デジタルカメラ１から送信されてくるオブジェクト画像データを受信したか否かを判断する。このオブジェクト画像データを受信したならば、身体キャラクター画像変換処理を実行する（ステップＳ２０４）。この身体キャラクター画像変換処理は、下記（１）及び（２）の処理で構成される。
（１）前記受信したオブジェクト画像データで表されるオブジェクトの特徴を抽出する処理
（２）この抽出したオブジェクトの特徴に対応する身体キャラクター画像データを第２ＤＢ２００から読み出す処理。

図１２は、前記（１）のオブジェクトの特徴を抽出する処理手順の一例を示すフローチャートである。画像サービスサイト５３０のＣＰＵ１１７は、プログラムエリアＢに格納されているプログラムに基づき、このフローチャートに示すように処理を実行する。すなわち、第２ＤＢ２００の行に付されたシリアル番号ＮをカウントするためのカウンタＮに初期値「１」セットする（ステップＳ５０１）。

引き続き、受信したオブジェクト画像からの特徴抽出処理を実行する（ステップＳ５０２）。ここで、本実施の形態においては、抽出する特徴を色相、彩度、明度、輪郭形状、大きさの各特徴量データとする。したがって、このステップＳ５０２での処理により、バッファメモリ１１８にはオブジェクト画像の特徴データＤ１として、色相＝ＨＨＨ、彩度＝ＳＳＳ、明度＝ＶＶＶ、輪郭形状＝ｆｆｆ、大きさ＝ＬＬＬが記憶されることとなる。

そして、このバッファメモリ１１８に記憶した前記特徴データＤ１の色相＝ＨＨＨ、彩度＝ＳＳＳ、明度＝ＶＶＶ、輪郭形状＝ｆｆｆ、大きさ＝ＬＬＬと、第２ＤＢ２００のＮ番目の行のテンプレート記憶領域２０１に記憶されている身体キャラクター画像データの特徴データＤ２とを比較し類似度を算出する（ステップＳ５０３）。つまり、抽出された特徴データＤ１の各値と記憶されている特徴データＤ２の各値との比率を算出する。

次に、この算出した比率である類似度が所定値以上であるか否かを判断し（ステップＳ５０４）、所定値未満である場合にはステップＳ５０６に進む。そして、Ｎの値が第２ＤＢ２００の行の最大値であるＮｍａｘとなるまで、Ｎの値をインクリメントしつつ（ステップＳ５０７）、ステップＳ５０３からの処理を繰り返す。また、類似度が所定値以上である場合には、オブジェクトをテンプレートの物体と認識する（ステップＳ５０５）。したがって、類似度が所定値以上である場合には、オブジェクトは、「キウイフルーツ」、「モンブランケーキ」、「ブタの貯金箱」、「自動車」等の人間以外の物体として特定されることとなる。

例えば、類似度の所定値以上を０．９〜１．１とする（１．０＝一致）。撮影し抽出したオブジェクトの特徴データＤ１の色相ＨＨＨと第２ＤＢ２００の１行目（Ｎ＝１）の色相ＨＨＨの類似度が、０．８と判断されると、所定値の範囲を外れるので２行目（Ｎ＝２）の比較へ進む。１行目で色相ＨＨＨの類似度が１．０５と判断されると、所定値の範囲内なので彩度ＳＳＳの類似度比較へ進み、ここでも類似度が０．９８のように所定範囲内であれば明度ＶＶＶの比較へ進む。もしここで明度ＶＶＶの類似度が１．２のように所定範囲を外れると２行目の比較は終了して３行目の比較へ進む。そして、３行目の特徴データＤ２がすべての特徴データＤ２の要素で所定範囲内と判断されると、３行目の身体キャラクター画像（以下、身体キャラクター画像データで表される画像を身体キャラクター画像という）は撮影したオブジェクトと類似していると判断し、類似フラグを立てておく（ステップＳ５０８）。

この類似度比較処理をＮｍａｘ行まで行い、類似フラグが立った身体キャラクター画像データが１０個あったとする。 次に、ＤＢ１００で決定した頭部キャラクター画像とのマッチングを取る（ステップＳ５０９）。すなわち、頭部キャラクター画像は被写体の顔と類似しており、身体キャラクター画像はオブジェクトと類似しているので、類似フラグが立っている１０個の身体キャラクター画像データの中から、既に決定している頭部キャラクター画像に最も特徴が似ているものを選択する。具体的には、頭部キャラクター画像Ａ−１、Ａ−２、Ａ−３・・・はそれぞれ特徴データＤ３を色相＝ＨＨＨ、彩度＝ＳＳＳ、明度＝ＶＶＶ、輪郭形状＝ｆｆｆ、大きさ＝ＬＬＬとして付帯しており、類似フラグが立った１０個の身体キャラクター画像の特徴データＤ２と、決定した頭部キャラクター画像の特徴データＤ２の類似度を比較し、各要素の類似度の平均が最も１に近い身体キャラクター画像を特定する。

そして、前記（２）の処理で、オブジェクトのテンプレート記憶領域２０１で特定されたテンプレートに対応する行に対応する行に記憶されている身体キャラクター画像データを読み出すことにより（ステップＳ５１０）、身体キャラクター変換処理（Ｓ２０４）が完了する。

しかる後に、前記ステップＳ２０２で読み出した頭部キャラクター画像と、前記ステップＳ２０４で読み出した身体キャラクター画像とを合成する合成処理を実行する（ステップＳ２０４）。つまり、身体キャラクター画像の上端部に頭部キャラクター画像を合成結合することにより、全身キャラクター画像を作成する。そして、この作成した全身キャラクター画像データをデジタルカメラ１に送信する（ステップＳ２０６）。

すると、デジタルカメラ１は、この画像サービスサイト５３０から送信されてくる全身キャラクター画像データを受信して、液晶表示パネル３に表示させるとともに、内部メモリ１４又はメモリカード６０に記憶する（ステップＳ１０９）。

したがって、本実施の形態によれば、被写体とした人物の特徴とは異なる特徴を加味したキャラクター画像を容易且つ迅速に作成することができる。しかも、実施の形態においては、被写体人物の顔の特徴をキャラクター画像が頭部の特徴に反映させるようにしたことから、被写体物の特徴を加味しつつこれとは異なる特徴を加味したキャラクター画像を容易且つ迅速に作成することができる。

すなわち、図１３に示すように、１回目のシャッターキー操作により人物６０１を撮影すると、その顔部分６０２が切り抜き処理されてデジタルカメラ１から画像サービスサイト５３０に送信される。すると、画像サービスサイト５３０はこれを受信し、顔部分６０２の特徴に応じた頭部キャラクター画像（髪の毛を含む首及び顔部分からなる）６０３に変換する。

また、２回目のシャッターキー操作によりキウイフルーツ６０４をカーソルＣ内に位置させて撮影すると、キウイフルーツ６０４の画像部分が切り抜き処理されてデジタルカメラ１から画像サービスサイト５３０に送信される。すると、画像サービスサイト５３０はこれを受信して、キウイフルーツ６０４の特徴に応じた身体キャラクター画像６０５に変換する。しかる後に、画像サービスサイト５３０は、頭部キャラクター画像６０３と身体キャラクター画像６０５とを合成して全身キャラクター画像６０６を作成し、デジタルカメラ１に送信する。

したがって、被写体とした人物の顔部分６０２を有しつつ、これとは異なる物体であるオブジェクトとしてのキウイフルーツ６０４の特徴をも加味したキャラクター画像を容易且つ迅速に作成することができる。

また、図１４に示すように、１回目のシャッターキー操作により人物を撮影すると、その顔部分７０２が切り抜き処理されてデジタルカメラ１から画像サービスサイト５３０に送信される。すると、画像サービスサイト５３０はこれを受信し、顔部分７０２の特徴に応じた頭部キャラクター画像７０３に変換する。

２回目のシャッターキー操作によりモンブランケーキ７０４をカーソルＣ内に位置させて撮影すると、モンブランケーキ７０４の画像部分が切り抜き処理されてデジタルカメラ１から画像サービスサイト５３０に送信される。すると、画像サービスサイト５３０はこれを受信して、モンブランケーキ７０４の特徴に応じた身体キャラクター画像７０５に変換する。しかる後に、画像サービスサイト５３０は、頭部キャラクター画像７０３と身体キャラクター画像７０５とを合成して全身キャラクター画像７０６を作成し、デジタルカメラ１に送信する。

また、図１５に示すように、１回目のシャッターキー操作により人物を撮影すると、その顔部分８０２が切り抜き処理されてデジタルカメラ１から画像サービスサイト５３０に送信される。すると、画像サービスサイト５３０はこれを受信し、顔部分８０２の特徴に応じた頭部キャラクター画像８０３に変換する。

２回目のシャッターキー操作によりブタの貯金箱８０４をカーソルＣ内に位置させて撮影すると、ブタの貯金箱８０４の画像部分が切り抜き処理されてデジタルカメラ１から画像サービスサイト５３０に送信される。すると、画像サービスサイト５３０はこれを受信して、ブタの貯金箱８０４の特徴に応じた身体キャラクター画像８０５に変換する。しかる後に、画像サービスサイト５３０は、頭部キャラクター画像８０３と身体キャラクター画像８０５とを合成して全身キャラクター画像８０６を作成し、デジタルカメラ１に送信する。

また、図１６に示すように、１回目のシャッターキー操作により人物を撮影すると、その顔部分９０２が切り抜き処理されてデジタルカメラ１から画像サービスサイト５３０に送信される。すると、画像サービスサイト５３０はこれを受信し、顔部分９０２の特徴に応じた頭部キャラクター画像９０３に変換する。

２回目のシャッターキー操作により自動車９０４をカーソルＣ内に位置させて撮影すると、自動車９０４の画像部分が切り抜き処理されてデジタルカメラ１から画像サービスサイト５３０に送信される。すると、画像サービスサイト５３０はこれを受信して、自動車９０４の特徴に応じた身体キャラクター画像９０５に変換する。しかる後に、画像サービスサイト５３０は、頭部キャラクター画像９０３と身体キャラクター画像９０５とを合成して全身キャラクター画像９０６を作成し、デジタルカメラ１に送信する。

したがって、被写体とした人物の顔部分６０２を有しつつ、これとは異なる物体であるオブジェクトとしてのモンブランケーキ７０４、ブタの貯金箱８０４、自動車９０５の特徴をも加味したキャラクター画像を容易且つ迅速に作成することができる。

なお、本実施の形態においては、デジタルカメラ１と画像サービスサイト５３０との組合せにより本発明を実施するようにしたが、デジタルカメラ１のみにより本発明を実施するようにしてもよい。この場合、第１ＤＢ１００及び第２ＤＢ２００とをＲＯＭ１２内に予め設けておき、図５に示したフローチャート（１）及び（２）に従った処理をデジタルカメラ１のＣＰＵ１１に実行させればよい。

また、デジタルカメラを例にとって説明したが、スマートフォン等にも適用できる。
また、顔部分の切り抜きは、タッチパネルの上から指またはペンで顔部分の輪郭をなぞることによって行ってもよい。
また、第１ＤＢ、第２ＤＢに記憶されている顔キャラクター画像や身体キャラクター画像は後から追加して増やしていくことができ、ユーザーが投稿できるようにしてもよい。
また、被写体とオブジェクトは同時期に撮影しなくても、被写体として既に保存されている写真を使用することもできる。
また、実施の形態においては、キャラクター画像に変換する対象を人である場合を示したが、人に限らず他の有体物であってもよい。

以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。

この発明の実施形態によれば、人物の写真をキャラクター画像に変換したいときに、オブジェクトを撮影することによってそのオブジェクトの特徴を反映することができるので、直感的なイメージでキャラクター画像を作成することができる。

例えばイメージの例を挙げると、オブジェクトが「緑色で丸いキウイ」のときは、緑の服を着て丸顔のショートカットの女性」のキャラクター画像が作成されたり、オブジェクトが「モンブランケーキ」のときは、「ベージュのふんわりとしたワンピースをまとった女性」のキャラクター画像が作成されたり、オブジェクトが「ブタの貯金箱」のときは、ピンクのホームウエアでのんびり過ごしている女性」のキャラクター画像が作成されたり、オブジェクトが「シルバーの自動車」のときは、「モノトーンでスポーティな感じの女性」のキャラクター画像が作成されたりするので、感覚でキャラクター画像を作成することができ、新しい楽しみ方を提供することができる。

以下に、本出願の特許請求の範囲に記載された発明を付記する。

＜請求項１＞
撮影された被写体の画像をキャラクター画像に変換する画像処理装置におけるキャラクター画像の作成方法であって、
前記被写体とは別のオブジェクトを撮影して、該オブジェクトの特徴を抽出し、前記被写体の画像を前記オブジェクトの特徴に応じたキャラクター画像に変換することを特徴とする画像処理装置のキャラクター画像の作成方法。

＜請求項２＞
前記被写体は、顔を有する人物被写体であることを特徴とする請求項１記載のキャラクター画像の作成方法。

＜請求項３＞
撮影された被写体の画像をキャラクター画像に変換する画像処理装置であって、
前記被写体と、該被写体とは別のオブジェクトとを各々撮影する撮影手段と、
前記撮影手段により撮影されたオブジェクトの特徴を抽出する抽出手段と、
前記被写体の画像を前記抽出手段により抽出されたオブジェクトの特徴に応じたキャラクター画像に変換する変換手段と
を備えることを特徴とする画像処理装置。

＜請求項４＞
撮影された被写体の画像をキャラクター画像に変換する装置が有するコンピュータを、
前記撮影手段を制御して、被写体と、該被写体とは別のオブジェクトとを各々撮影する撮影制御手段と、
前記撮影制御手段により撮影されたオブジェクトの特徴を抽出する抽出手段と、
前記被写体の画像を前記抽出手段により抽出されたオブジェクトの特徴に応じたキャラクター画像に変換する変換手段と
として機能させることを特徴とする画像処理プログラム。

＜請求項５＞
端末、及び該端末とネットワークを介して接続されるサーバーとで構成され、撮影された被写体の画像をキャラクター画像に変換する画像変換ネットワークシステムであって、
前記端末は、前記被写体と、該被写体とは別のオブジェクトとを各々撮影する撮影手段を備え、
前記サーバーは、前記撮影手段により撮影されて供給されたオブジェクトの特徴を抽出する抽出手段と、
前記被写体の画像を前記抽出手段により抽出されたオブジェクトの特徴に応じたキャラクター画像に変換する変換手段と、
前記変換手段により変換されたキャラクター画像を前記端末に送信する送信手段と、
を備えることを特徴とする画像変換ネットワークシステム。

１ デジタルカメラ
３ 液晶表示パネル
４ キー入力部
８ 撮像素子
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 内部メモリ
１６ 表示制御部
１７ タッチ入力制御部
１８ メモリカードインターフェース
１９ 撮像制御部
２０ キー入力制御部
３０ 通信制御部
３２ 無線ＬＡＮ
６０ メモリカード
１００ 第１ＤＢ
１０１ 顔特徴情報記憶領域
１０２ 頭部キャラクター画像記憶領域
１１７ ＣＰＵ
１１８ バッファメモリ
１５０ 顔認識エンジン
２００ 第２ＤＢ
２０１ テンプレート記憶領域
２０２ 身体キャラクター画像記憶領域
５００ インターネット
５３０ 画像サービスサイト
Ａ−１、Ａ−２、Ａ−３・・・ 頭部キャラクター画像
Ｂ−１、Ｂ−２、Ｂ−３・・・ 身体キャラクター画像
Ｄ１ オブジェクトの特徴データ
Ｄ２ 身体キャラクター画像の特徴データ
Ｆ（１）、Ｆ（２）、Ｆ（３）・・・ 頭部キャラクター画像の特徴量

Claims (5)

1. 被写体として人物以外のオブジェクトの画像を撮影するオブジェクト撮影手段と、
   被写体として人物の画像を撮影する人物撮影手段と、
   視覚的特徴と関連付けた身体キャラクター画像を複数記憶する身体キャラクター画像記憶手段と、
   前記身体キャラクター画像記憶手段から、前記オブジェクト撮影手段により撮影したオブジェクトの画像の視覚的特徴と最も類似する身体キャラクター画像を選択する選択手段と、
   前記人物撮影手段により撮影した人物の頭部画像から頭部キャラクター画像を作成する頭部キャラクター画像作成手段と、
   前記選択手段により選択された身体キャラクター画像と前記頭部キャラクター画像作成手段により作成された頭部キャラクター画像を合成してキャラクター画像を作成するキャラクター画像作成手段と、
   を備え、
   前記人物撮影手段により撮影した人物の画像を、前記オブジェクト撮影手段により撮影され前記選択手段により選択された身体キャラクター画像と、前記頭部キャラクター画像作成手段により作成された頭部キャラクター画像とを合成することにより、当該人物の画像に人物以外の視覚的特徴を加味したキャラクター画像を作成する
   ことを特徴とする画像処理装置。
2. 前記オブジェクトは果物、花、菓子、または人工構造物であり、前記視覚的特徴は果物、花、菓子、または人工構造物の視覚的特徴であり、前記キャラクター画像作成手段は前記人物の画像に果物、花、菓子、または人工構造物の視覚的特徴を加味したキャラクター画像を作成することを特徴とする請求項１記載の画像処理装置。
3. 前記身体キャラクター画像記憶手段は、前記視覚的特徴として色相、彩度、明度、輪郭形状、大きさのうち複数の組み合わせと関連付けた身体キャラクター画像を記憶することを特徴とする請求項１または２記載の画像処理装置。
4. 被写体として人物以外のオブジェクトの画像を撮影するオブジェクト撮影工程と、
   被写体として人物の画像を撮影する人物撮影工程と、
   視覚的特徴と関連付けた身体キャラクター画像を複数記憶する身体キャラクター画像記憶工程と、
   前記オブジェクト撮影工程により撮影したオブジェクトの画像の視覚的特徴と最も類似する前記身体キャラクター画像を選択する選択工程と、
   前記人物撮影工程により撮影した人物の頭部画像から頭部キャラクター画像を作成する頭部キャラクター画像作成工程と、
   前記選択工程により選択された身体キャラクター画像と前記頭部キャラクター画像作成工程により作成された頭部キャラクター画像を合成してキャラクター画像を作成するキャラクター画像作成工程と、
   を備え、
   前記人物撮影工程により撮影した人物の画像を、前記オブジェクト撮影工程により撮影され前記選択工程により選択された身体キャラクター画像と、前記頭部キャラクター画像作成工程により作成された頭部キャラクター画像とを合成することにより、当該人物の画像に人物以外の視覚的特徴を加味したキャラクター画像を作成する
   ことを特徴とする画像処理装置を具備したことを特徴とする画像処理方法。
5. 被写体として人物以外のオブジェクトの画像を撮影するオブジェクト撮影手段と、被写体として人物の画像を撮影する人物撮影手段とを備えた画像処理装置のコンピュータを、
   被写体として人物以外のオブジェクトの画像を撮影するオブジェクト撮影手段と、
   被写体として人物の画像を撮影する人物撮影手段と、
   視覚的特徴と関連付けた身体キャラクター画像を複数記憶する身体キャラクター画像記憶手段と、
   前記身体キャラクター画像記憶手段から、前記オブジェクト撮影手段により撮影したオブジェクトの画像の視覚的特徴と最も類似する身体キャラクター画像を選択する選択手段と、
   前記人物撮影手段により撮影した人物の頭部画像から頭部キャラクター画像を作成する頭部キャラクター画像作成手段と、
   前記選択手段により選択された身体キャラクター画像と前記頭部キャラクター画像作成手段により作成された頭部キャラクター画像を合成してキャラクター画像を作成するキャラクター画像作成手段と、
   して機能させることを特徴とする画像処理プログラム。

Images