JP4559092B2 - 携帯通信端末及びプログラム - Google Patents

Description

本発明は、携帯通信端末のディスプレイに表示されるアバターの動作を制御するプログラム、及び、当該プログラムを搭載した携帯通信端末に関する。

近年、仮想空間で自分の分身として感情や外見や動きを表現するキャラクターを表す「アバター」を用いたテレビ電話技術が開発されている（特許文献１や特許文献２等参照）。
特開平１０-２７１４７０号公報 特開２００３-１６４７５号公報

しかしながら、従来のアバターを用いたテレビ電話技術では、ユーザ（通話者）の表情に応じてアバターの表情を変更するにすぎないものがほとんどであり、アバターを構成する各パーツの動作を制御することによってアバターの多彩な動作を詳細に表現する技術が開発されていないという問題点があった。

また、従来のアバターを用いたテレビ電話技術では、携帯通信端末のようなリソースが限られている端末において効率的にアバターの動作を表現することができないという問題点があった。

そこで、本発明は、以上の点に鑑みてなされたもので、携帯通信端末のようなリソースが限られている端末においてもアバターの多彩な動作を詳細に表現することができるプログラム、及び、当該プログラムを搭載した携帯通信端末を提供することを目的とする。

本発明の第１の特徴は、携帯通信端末のディスプレイに表示されるアバターの動作を制御するプログラムであって、前記アバターを構成する各状態のパーツを表示するためのパーツ画像を管理するパーツ管理モジュールと、ユーザからの入力情報に基づいて、前記アバターの状態を示す外部イベント情報を生成する外部イベント情報生成モジュールと、前記外部イベント情報に基づいて、前記パーツの状態の変更を指示する状態情報を生成する状態情報生成モジュールと、前記状態情報に応じて前記パーツの状態を変更し、変更された該パーツの状態に対応するパーツ画像に基づいて前記アバターを表示するためのアバター画像を生成し、生成された前記アバター画像を描画エンジンに対して出力するアバター画像生成モジュールとを具備することを要旨とする。

かかる発明によれば、パーツ管理モジュールが、アバターを構成する各状態のパーツを表示するためのパーツ画像を管理し、アバター画像生成モジュールが、状態情報に応じて変更したパーツの状態に対応するパーツ画像によってアバターを表示するためのアバター画像を生成することによって、アバターを構成する各パーツの動きを制御することができるため、携帯通信端末のようなリソースが限られている端末においても効率的にアバターの多彩な動作を詳細に表現することができる。

本発明の第１の特徴において、前記ユーザからの入力情報とは関係なく、所定タイミングで、前記アバターの状態を示す内部イベント情報を生成する内部イベント情報生成モジュールを具備することができる。

かかる発明によれば、ユーザの意思とは異なるアバター自身の癖のような動作を表現することができる。

本発明の第１の特徴において、前記状態情報生成モジュールが、同一のタイミングで前記外部イベント情報及び前記内部イベント情報を受信した場合、前記外部イベント情報及び前記内部イベント情報の各々に割り当てられている優先度に基づいて、前記状態情報を生成してもよい。

かかる発明によれば、ユーザの指示によるアバターの動作とアバター自身の癖のような動作とが競合する場合であっても、事前に設定された優先度に基づいて効率的にアバターの動きを制御することができる。

本発明の第１の特徴において、前記アバター画像生成モジュールが、前記パーツの現在状態及び当該パーツの目標状態を管理しており、前記状態情報に応じて、前記パーツの目標状態を変更し、前記パーツの現在状態を該パーツの目標状態に遷移させることによって、前記パーツの状態を変更するように構成されていてもよい。かかる場合、前記アバター画像生成モジュールが、補間状態を介して、前記パーツの現在状態を当該パーツの目標状態に遷移させるように構成されていてもよい。

かかる発明によれば、補間状態を介して、パーツの現在状態を当該パーツの目標状態に遷移するため、各パーツ画像の製作者が、当該パーツの現在状態から当該パーツの目標状態への状態遷移状況を表現するためのパーツ画像を作成する労力を低減しつつ、アバターのより滑らかな動作を表現することができる。

また、かかる発明によれば、パーツの現在状態と目標状態との間に補間状態を挿入することによって、パーツ画像の遷移に関するデータ量を低減することができ、リソースの限られた携帯端末への搭載における表現力の拡大に繋がる。

本発明の第１の特徴において、アバター画像生成モジュールが、前記状態情報に応じて、前記パーツの現在状態を変更することによって、前記パーツの状態を変更するように構成されていてもよい。

かかる場合、変更前のパーツの現在状態に対応するパーツ画像が、変更後のパーツの現在状態に対応するパーツ画像に即座に変更されるため、各パーツ画像の製作者が、変更後のパーツの現在状態に対応するパーツ画像を、より精密なアバターの動作を表現する動画像とすることによって、アバターの多彩な動作を表現することができる。

また、かかる場合、各パーツ画像の製作者が、変更後のパーツの現在状態に対応するパーツ画像を自由に製作することができるので、各パーツ画像の製作者の意図どおりのアバターの動作を表現することができる。

本発明の第１の特徴において、前記状態情報生成モジュールが、所定のタイミングで、前記パーツの状態を変更するように指示する状態情報を生成してもよい。

本発明の第１の特徴において、前記アバター画像生成モジュールが、前記パーツに対して複数の状態情報が生成された場合、所定の重み付け係数に基づいて該複数の状態情報による前記変更指示を合成して前記アバター画像を生成してもよい。

本発明の第１の特徴において、前記アバター画像生成モジュールが、前記パーツに対して複数の状態情報が生成された場合、所定の優先度に基づいて１つ又は複数の状態情報による前記変更指示を選択して前記アバター画像を生成してもよい。

本発明の第２の特徴は、アバターを構成する各状態のパーツを表示するためのパーツ画像を管理するパーツ管理モジュールと、ユーザからの入力情報に基づいて、前記アバターの状態を示す外部イベント情報を生成する外部イベント情報生成モジュールと、前記外部イベント情報に基づいて、前記パーツの状態の変更を指示する状態情報を生成する状態情報生成モジュールと、前記状態情報に応じて前記パーツの状態を変更し、変更された該パーツの状態に対応するパーツ画像によって前記アバターを表示するためのアバター画像を生成するアバター画像生成モジュールと、無線ネットワークを介して前記アバター画像を相手側端末に送信する通信モジュールとを具備する携帯通信端末であることを要旨とする。

本発明の第２の特徴において、前記通信モジュールが、撮像装置によって撮像された前記ユーザを表示するためのユーザ画像及び前記アバター画像を合成した合成画像を、前記無線ネットワークを介して前記相手側端末に送信する用に構成されていてもよい。

かかる場合、ユーザは、撮像装置によって撮影したユーザ画像のうち、相手側端末のディスプレイ上の適切な位置、例えば、ユーザの顔が表示されていない画像領域に、アバターのパーツを表示するように指示することができる。

以上説明したように、本発明によれば、携帯通信端末のようなリソースが限られている端末においてもアバターの多彩な動作を詳細に表現することができるプログラム、及び、当該プログラムを搭載した携帯通信端末を提供することができる。

以下、図面を参照して、本発明の一実施形態に係るプログラムを搭載した携帯通信端末について説明する。本実施形態に係るプログラムは、携帯通信端末のディスプレイに表示されるアバターの動作を制御するアバターアプリケーションである。

図１に、本実施形態に係る携帯通信端末１の外観構成図を示す。図１に示すように、携帯通信端末１の構造は、ディスプレイ２と、操作キー３と、カメラ４と、マイク５とを具備する一般的な構造である。

本実施形態に係る携帯通信端末１は、テレビ電話モード及びアバター確認モードで動作することができる。

アバター確認モードでは、図１（ａ）に示すように、本実施形態に係る携帯通信端末１のディスプレイ２上のメイン画像表示領域２ａに、携帯通信端末（自端末）１によって生成されたアバター画像に基づいてアバターＡが表示され、ディスプレイ２上のサブ画像表示領域２ｂには、カメラ（撮像装置）４によって撮像された自分自身の画像（ユーザ画像）に基づいてユーザＢが表示されるように構成されている。なお、メイン画像表示領域２ａ上の表示とサブ画像表示領域２ｂ上の表示とを切り替えることは可能である。また、ユーザは、ディスプレイ２上のサブ画像表示領域２ｂにユーザＢを表示するか否かについて自由に設定することができる。

したがって、ユーザは、操作キー３やカメラ４やマイク５等を用いて情報を入力することによって、メイン画像表示領域２ａにおいて表示されるアバターＡを操作することができる。また、ユーザは、サブ画像表示領域２ｂにおいて表示されているユーザＢによって、本実施形態に係る携帯通信端末１による顔特徴点の追跡状況を確認することができる。

また、テレビ電話モードでは、図１（ｂ）に示すように、本実施形態に係る携帯通信端末１のディスプレイ２上のメイン画像表示領域２ａに、相手側端末（図示せず）から無線ネットワークを介して受信したアバター画像（又は、ユーザ画像）に基づいてアバターＣ１（又は、ユーザＣ２）が表示され、ディスプレイ２上のサブ画像表示領域２ｂには、携帯通信端末（自端末）１によって生成されたアバター画像に基づいてアバターＤが表示されるように構成されている。なお、メイン画像表示領域２ａ上の表示とサブ画像表示領域２ｂ上の表示とを切り替えることは可能である。

なお、ユーザは、操作キー３やカメラ４やマイク５等を用いて情報を入力することによって、サブ画像表示領域２ｂにおいて表示されるアバターＤを操作することができる。

以下、本実施形態では、特に明示されていない限り、アバター確認モードにおいて、メイン画像表示領域２ａにおいて表示されるアバターＡを操作する場合の例について説明する。なお、本発明は、テレビ電話モードにおいて、サブ画像表示領域２ｂにおいて表示されるアバターＤを操作する場合にも同様に適用することができる。

かかるアバターＡは、図２に示すように、顔を示すパーツ＃１と、右腕を示すパーツ＃２と、左腕を示すパーツ＃３と、右足を示すパーツ＃４と、左足を示すパーツ＃５と、右耳を示すパーツ＃６と、左耳を示すパーツ＃７と、体を示すパーツ＃８と、口唇を示すパーツ＃９とによって構成されている。

本実施形態に係る携帯通信端末１は、図３に示すように、入力部１０と、アバターアプリケーション２０と、パーツ管理モジュール３０と、描画エンジン４０と、表示部５０と、符号化部６０と、通信部７０と、記憶部８０とを具備している。

また、本実施形態に係るプログラムに該当するアバターアプリケーション２０は、外部イベント情報生成モジュール２１と、シーン制御モジュール２２と、アバター画像生成モジュール２３とを具備している。

入力部１０は、操作キー３やカメラ４やマイク５等の入力デバイスを介してユーザから入力された情報（キー入力情報や撮像情報（顔特徴点を含む）や音声情報等）を取得して外部イベント情報生成モジュール２１に送信するものである。

ユーザは、ディスプレイ２上のメイン画像表示領域２ａに表示されるアバターＡが「全体アクション」を行うように、操作キー３を押下する。

例えば、図４（ａ）に示すように、アバターは、キー入力情報＃１によって、「通常状態」から「動作状態（全体アクション）」に遷移し、「全体アクション」が終了すると自動的に「通常状態」に戻る。「通常状態」は、アバターが真っ直ぐに立っている状態であり、「動作状態（全体アクション）」は、例えば、アバターが体全体で驚きを表現するという「全体アクション」を行う状態である。図４（ｂ）に、かかる場合のアバターの状態遷移図を示す。

また、ユーザは、ディスプレイ２上のメイン画像表示領域２ａに表示されるアバターＡの各パーツ＃１乃至＃９がそれぞれ「パーツアクション」を行うように、操作キー３を押下する。

例えば、図５（ａ）に示すように、アバターは、キー入力情報＃１１によって、「通常状態」から「動作状態（パーツアクション）」に遷移し、「パーツアクション」が終了すると自動的に「通常状態」に戻る。「動作状態（パーツアクション）」は、例えば、アバターを構成するパーツ＃７（左耳）が折れ曲がるという「パーツアクション」を行う状態である。図５（ｂ）に、かかる場合のアバターの状態遷移図を示す。

ユーザは、ディスプレイ２上のメイン画像表示領域２ａに表示されるアバターＡが「ループアクション」を行うように、操作キー３を押下する。

例えば、図６に示すように、アバターは、キー入力情報＃２１によって、「通常状態」から、補間状態＃１を介して「動作状態（ループアクション）」に遷移する。その後、アバターは、再度のキー入力情報＃２１によって、「動作状態（ループアクション）」から、補間状態＃２を介して「通常状態」に遷移する。「動作状態（ループアクション）」は、例えば、アバターを構成するパーツ＃２（右腕）が振られ続けるという「ループアクション」を行う状態である。本実施形態では、かかるループアクションは、全体アクション又はパーツアクションの一種であると考えるものとする。図７に、かかる場合のアバターの状態遷移図を示す。

なお、補間状態＃１及び＃２に対応するアバター画像（若しくは、パーツ画像）は、「通常状態」に対応するアバター画像（若しくは、パーツ画像）及び「動作状態（ループアクション）」に対応するアバター画像（若しくは、パーツ画像）を用いた画像補間処理によって自動的に生成されるものであってもよいし、「通常状態」に対応するアバター画像（若しくは、パーツ画像）及び「動作状態（ループアクション）」に対応するアバター画像（若しくは、パーツ画像）とは別個に生成されたものであってもよい。

また、ユーザは、ディスプレイ２上のメイン画像表示領域２ａに表示されるアバターＡの口唇（パーツ＃９）が「リップシンクアクション」を行うように、マイク５を介して音声情報を入力する。

「リップシンクアクション」は、例えば、ユーザによる音声情報の入力が開始された場合にアバターＡの口唇（パーツ＃９）がパクパク動いたり、ユーザによる音声情報の入力が終了された場合にアバターＡの口唇（パーツ＃９）の動きが停止したりするものである。また、「リップシンクアクション」は、ユーザにより入力された音声情報から認識された音素に基づいてアバターＡの口唇（パーツ＃９）の形状を変更するものであってもよい。

さらに、ユーザは、ディスプレイ２上のメイン画像表示領域２ａに表示されるアバターＡの顔（パーツ＃１）が「顔特徴点アクション」を行うように、カメラ４を介して顔特徴点情報を入力する。

「顔特徴点アクション」は、例えば、ユーザにより入力された顔特徴点情報に基づいてアバターＡの顔（パーツ＃１）の形状を変更するものである。

また、入力部１０は、カメラ４によって撮像されたユーザＢを表示するためのユーザ画像を符号化部６０に送信するように構成されている。

外部イベント情報生成モジュール２１は、ユーザからの入力情報に基づいて、アバターＡの状態を示すイベント情報（外部イベント情報）を生成する外部イベント情報生成モジュールである。

例えば、図８に示すように、外部イベント情報生成モジュール２１は、入力部１０を介してキー入力情報＃１乃至＃９を受信した場合、アバターＡの状態として「動作状態（全体アクション＃１乃至＃９）」を含むイベント情報（外部イベント情報）を生成してシーン制御モジュール２２に送信する。

また、外部イベント情報生成モジュール２１は、入力部１０を介してキー入力情報＃１１乃至＃９９を受信した場合、アバターＡの状態として「動作状態（パーツアクション＃１乃至＃９）」を含むイベント情報（外部イベント情報）を生成してシーン制御モジュール２２に送信する。

また、外部イベント情報生成モジュール２１は、入力部１０を介して音声入力情報を受信した場合、アバターＡの状態として「動作状態（リップシンク＃Ａ１乃至＃Ａｎ）」を含むイベント情報（外部イベント情報）を生成してシーン制御モジュール２２に送信する。

さらに、外部イベント情報生成モジュール２１は、入力部１０を介して顔特徴点情報を受信した場合、アバターＡの状態として「動作状態（顔特徴点アクション＃Ｃ１乃至＃Ｃｎ）」を含むイベント情報（外部イベント情報）を生成してシーン制御モジュール２２に送信する。

シーン制御モジュール２２は、外部イベント情報生成モジュール２１から送信されたイベント情報（外部イベント情報）に基づいて、アバターＡを構成する各パーツの状態の変更を指示する状態情報（ステート情報）を生成する。

具体的には、シーン制御モジュール２２は、図９に示すように、状態情報生成モジュール２２ａと、内部イベント情報生成モジュール２２ｂとを具備している。

内部イベント情報生成モジュール２２ｂは、ユーザからの入力情報とは関係なく、所定タイミングで、アバターＡの状態を示すイベント情報（内部イベント情報）を生成するものである。

具体的には、内部イベント情報生成モジュール２２ｂは、アバターＡの癖である動作（癖アクション）を行う状態を含むイベント情報（すなわち、アバターＡの動作として「癖アクション」を含むイベント情報）を生成してアバター画像生成モジュール２３に送信する。

例えば、癖アクションには、一定間隔で、座ったり笑ったりする動作や、タイマーや時計によって取得された「時刻」を通知する動作や、ＧＰＳ等によって取得された「位置」を通知する動作や、加速度センサや地磁気センサによって取得された「方位」を通知する動作等が含まれる。

状態情報生成モジュール２２ａは、外部イベント情報生成モジュール２１から送信されたイベント情報や内部イベント情報生成モジュール２２ｂから送信されたイベント情報に基づいて、アバターＡを構成する各パーツ＃１乃至＃９の状態を制御するための状態情報を生成してアバター画像生成モジュール２３に送信するものである。

また、状態情報生成モジュール２２ａは、同一のタイミングで、外部イベント情報及び内部イベント情報を受信した場合、外部イベント情報及び内部イベント情報の各々に割り当てられている優先度に基づいて状態情報を生成するように構成されている。

具体的には、状態情報生成モジュール２２ａは、同一のタイミングで複数のイベント情報を受信した場合に、図１０に示す表に基づいて、状態情報に設定するアバターの状態を決定する。

例えば、状態情報生成モジュール２２ａは、「全体アクション（又は、パーツアクション）」を含むイベント情報及び「癖アクション」を含むイベント情報を同一のタイミングで受信した場合、当該「全体アクション（又は、パーツアクション）」に基づいて各パーツの状態を制御するための状態情報を生成する。

また、状態情報生成モジュール２２ａは、「顔特徴点アクション」を含むイベント情報及び「リップシンクアクション」を含むイベント情報を同一のタイミングで受信した場合、当該「顔特徴点アクション」及び当該「リップシンクアクション」をマージしたアバターの状態に基づいて各パーツの状態を制御するための状態情報を生成する。

さらに、状態情報生成モジュール２２ａは、いずれのイベント情報をも受信しなかった場合、デフォルトで設定されている「デフォルトアクション」に基づいて各パーツの状態を制御するための状態情報を生成する。

また、状態情報生成モジュール２２ａは、各アバターの状態に対応する各パーツの状態を管理している。

例えば、図１１（ａ）に示すように、状態情報生成モジュール２２ａは、アバターの状態が「通常状態」である場合の各パーツの状態を管理している。このため、状態情報生成モジュール２２ａは、受信したイベント情報に含まれるアバターの状態が「通常状態」である場合、全てのパーツの状態が「通常状態」となるような状態情報を生成してアバター画像生成モジュール２３に送信する。

また、図１１（ｂ）に示すように、状態情報生成モジュール２２ａは、アバターの状態が「動作状態（全体アクション＃１）」である場合の各パーツの状態を管理している。このため、状態情報生成モジュール２２ａは、受信したイベント情報に含まれるアバターの状態が「動作状態（全体アクション＃１）」である場合、パーツ＃２（右腕）の状態が「動作状態＃３」で、パーツ＃４（右足）の状態が「動作状態＃２」で、パーツ＃８（体）の状態が「動作状態＃１」で、その他のパーツの状態が「通常状態」となるような状態情報を生成してアバター画像生成モジュール２３に送信する。

さらに、図１１（ｃ）に示すように、状態情報生成モジュール２２ａは、アバターの状態が「動作状態（パーツアクション＃１１）」である場合の各パーツの状態を管理している。このため、状態情報生成モジュール２２ａは、受信したイベント情報に含まれるアバターの状態が「動作状態（パーツアクション＃１１）」である場合、パーツ＃１（顔）の状態が「動作状態＃１」で、その他のパーツの状態が「通常状態」となるような状態情報を生成してアバター画像生成モジュール２３に送信する。

なお、状態情報生成モジュール２２ａは、図１１（ａ）乃至（ｃ）のように、各アバターの状態に対応する各パーツの状態を明示的に管理してもよいし、図１２に示すように、各アバターの状態に対応する各パーツの状態を明示的に管理しなくてもよい。かかる場合、各アバターの状態に対応する各パーツの状態は、アバター画像生成モジュール２３の各モータモジュール２３ａによって設定されているデフォルト状態となる。

また、状態情報生成モジュール２２ａは、所定のタイミングで、各パーツの状態を変更するように指示する状態情報を生成するように構成されていてもよい。

例えば、状態情報生成モジュール２２ａは、特定のアクションが終了した後に、各パーツの状態を変更するように指示する状態情報を生成してもよいし、所定時間経過後に、各パーツの状態を変更するように指示する状態情報を生成してもよい。

アバター画像生成モジュール２３は、シーン制御モジュール２２から送信された状態情報に応じて所定のパーツの状態を変更し、変更された当該パーツの状態に関連付けられたパーツ画像によってアバターＡを表示するためのアバター画像を生成し、生成されたアバター画像を描画エンジン４０に対して出力するアバター画像生成モジュールである。

具体的には、図１３に示すように、アバター画像生成モジュール２３は、複数のモータモジュール２３ａ（モータモジュール＃１乃至＃ｎ）と、アクション競合処理部２３ｂとを具備している。

図１４に示すように、各パーツ＃１乃至＃ｎに対応するモータモジュール＃１乃至＃ｎの各々は、対応するパーツ＃１乃至＃ｎが取り得る状態を管理している。例えば、モータモジュール＃１は、パーツ＃１（顔）が取り得る状態（例えば、通常状態や動作状態＃１（右を向く）や動作状態＃２（左を向く）や動作状態＃３（喋る）や補間状態＃１Ａ等）を管理している。

なお、特定のモータモジュール２３ａは、図１５に示すように、アバターを構成する全てのパーツを一括して管理することができ、かかる場合、一括して管理されているパーツが取り得る状態（例えば、通常状態や動作状態＃１（びっくり）や動作状態＃２（にこにこ）や補間状態＃１Ａ等）を管理することができる。

また、各パーツ＃１乃至＃ｎに対応するモータモジュール＃１乃至＃ｎの各々は、シーン制御モジュール２２から送信された状態情報に応じて、対応するパーツ＃１乃至＃ｎの状態を変更する。

具体的には、各モータモジュール＃１乃至＃ｎは、各パーツ＃１乃至＃ｎの現在状態（図１６（ａ）参照）及び各パーツ＃１乃至＃ｎの目標状態（図１６（ｂ）参照）を管理している。なお、ディスプレイ２上に表示されているアバターＡは、各パーツ＃１乃至＃ｎの現在状態によって構成されているアバター画像によるものである。

各モータモジュール＃１乃至＃ｎは、シーン制御モジュール２２から送信された状態情報に応じて、各パーツ＃１乃至＃ｎの目標状態を変更し、補間状態＃１Ａを介して各パーツ＃１乃至＃ｎの現在状態を各パーツ＃１乃至＃ｎの目標状態に遷移させることによって、各パーツ＃１乃至＃ｎの状態を変更する。

この結果、アバターの製作者が、変更前のパーツの状態（例えば、通常状態）に対応するパーツ画像、及び、変更後のパーツの状態（例えば、動作状態＃１）に対応するパーツ画像のみを生成していた場合であっても、当該パーツの動きは、自動的に生成された補間状態に対応するパーツ画像を介して変更されるため、直接、変更前のパーツ画像から変更後のパーツ画像に変更される場合と比べて、自然な動きとなる。

また、各モータモジュール＃１乃至＃ｎは、シーン制御モジュール２２から送信された状態情報に応じて、各パーツ＃１乃至＃ｎの現在状態を変更することによって、各パーツ＃１乃至＃ｎの状態を変更するように構成されていてもよい。

この結果、アバターの製作者は、変更後のパーツの状態（例えば、動作状態＃１）に対応するパーツ画像を、より詳細な動きを表示する動画像として生成することによって、当該パーツの動きを、アバターの製作者の意図に沿ったより自然な動きとすることができる。

また、シーン制御モジュール２２から送信された状態情報が「全体アクション」を示す場合、複数のモータモジュール＃１乃至＃ｎが協働して各パーツ＃１乃至＃ｎの状態を変更するように構成されていてもよい。

ずなわち、「パーツアクション」は、各モータモジュール＃１乃至＃ｎによって制御されるアバターの動作であり、「全体アクション」は、複数のモータモジュール＃１乃至＃ｎによって制御されるアバターの動作であるように構成されていてもよい。

このように構成することによって、全体アクションでアバターの製作者が用意した個々のパーツの動作をパーツアクションとして利用でき、パーツ管理モジュール３０によって管理されるパーツ画像の容量を低減しつつ、アバターの自由な動作を表現することができる。

アクション競合処理部２３ｂは、各パーツ＃１乃至＃ｎに対して複数の状態情報が生成された場合、所定の重み付け係数に基づいて当該複数の状態情報による変更指示を合成してアバター画像を生成するものである。

例えば、アクション競合処理部２３ｂは、パーツ＃２（右腕）に対して、「前方に上げる」ように指示する状態情報と「右横に上げる」ように指示する状態情報とが生成されている場合、各状態情報に割り当てられている重み付け係数が「１：１」であるとすると、右腕を右斜め前に上げるパーツ画像に基づいてアバター画像を生成する。

また、アクション競合処理部２３ｂは、パーツ＃２（右腕）に対して、「前方に上げる」ように指示する状態情報と「右横に上げる」ように指示する状態情報とが生成されている場合、各状態情報に割り当てられている重み付け係数が「２：１」であるとすると、右腕を右前方斜め前に上げるパーツ画像に基づいてアバター画像を生成する。

また、アクション競合処理部２３ｂは、パーツ＃２（右腕）に対して、「前方に上げる」ように指示する状態情報と「右横に上げる」ように指示する状態情報とが生成されている場合、各状態情報に割り当てられている重み付け係数が「１：０」であるとすると、右腕を前方に上げるパーツ画像に基づいてアバター画像を生成する。

また、アクション競合処理部２３ｂは、各パーツ＃１乃至＃ｎに対して複数の状態情報が生成された場合、所定の優先度に基づいて１つ又は複数の状態情報による変更指示を選択してアバター画像を生成するように構成されていてもよい。

例えば、アクション競合処理部２３ｂは、パーツ＃３（左腕）に対して、「上げる」ように指示する状態情報と「振る」ように指示する状態情報とが生成されている場合、動作状態＃２（振る）の優先度が動作状態＃１（上げる）の優先度より優先されるとすると、左腕を振るパーツ画像に基づいてアバター画像を生成する。

パーツ管理モジュール３０は、アバター画像を生成するために必要な各種データを管理するものである。例えば、パーツ管理モジュール３０は、アバターＡを構成する各状態（通常状態や動作状態＃１乃至＃ｎや補間状態＃１Ａ等）のパーツを表示するためのパーツ画像を管理している。

なお、アバターＡを構成する各状態のパーツを表示するためのパーツ画像は、アバターアプリケーション内で管理されるように構成されていてもよい。

また、パーツ管理モジュール３０は、上述のパーツ画像と共に、各パーツの状態の遷移ルールを管理するように構成されている。この結果、各状態におけるパーツの外見や動きだけではなく、状態遷移時の各パーツの外観や動きのつながりについても、パーツ画像（アバター画像）の製作者の意図を反映させられる仕組みを提供することができる。

描画エンジン４０は、アバターアプリケーション２０によって生成されたアバター画像に基づいて、アバターＡの描画情報を生成するものである。例えば、描画エンジン４０は、アバターＡを３Ｄ形式や２Ｄ形式でディスプレイ２上に表示するための描画情報を生成する。

なお、アバターアプリケーション２０によって生成されたアバター画像には、背景画像が含まれてもよいし、背景画像が含まれていなくてもよい。

表示部５０は、描画エンジン４０から送信された描画情報に応じて、ディスプレイ２上のメイン画像表示領域２ａにアバターＡを表示し、ディスプレイ２上のサブ画像表示領域２ｂに、カメラ（撮像装置）４によって撮像された自分自身（ユーザＢ）を表示するものである。

また、表示部５０は、テレビ電話モードで動作している場合、通信部７０からの指示に応じて、ディスプレイ２上のメイン画像表示領域２ａに、相手側端末から無線ネットワークを介して受信したアバター画像（ユーザ画像）に基づいてアバターＣ１（ユーザＣ２）を表示すると共に、ディスプレイ２上のサブ画像表示領域２ｂに、描画エンジン４０から送信された描画情報に基づいてアバターＤを表示するように構成されていてもよい。

符号化部６０は、描画エンジン４０によって生成されたアバターＡの描画情報を、無線ネットワークを介した無線通信に適した形式に符号化するものである。例えば、符号化部６０は、ＭＰＥＧ-４やＨ.２６３形式によって、アバターＡの描画情報を符号化してもよい。

また、符号化部６０は、カメラ４によって撮像されたユーザを表示するためのユーザ画像、及び、描画エンジン４０によって生成されたアバターＡの描画情報を合成して符号化するように構成されていてもよい。例えば、符号化部６０は、ユーザの顔の位置に、若しくは、ユーザの顔のない位置に、描画エンジン４０によって生成されたアバターＡのパーツ＃１（顔）を表示するように合成することができる。

符号化部６０は、上述のように生成した符号化情報を、通信部７０に送信する、又は、記憶部８０に記憶する。

通信部７０は、無線ネットワークを介して、符号化部６０から取得した符号化情報を、相手側端末に送信するものである。また、通信部７０は、無線ネットワークを介して、相手側端末から受信したアバター画像やユーザ画像を表示部５０に送信するものである。

通信部７０は、複数の符号化情報（例えば、アバター画像を含む符号化情報やユーザ画像を含む符号化情報等）を同時に送信するように構成されていてもよい。

図１７乃至図１９を参照して、本実施形態に係る携帯通信端末１がアバター画像を生成する動作について説明する。本実施形態では、図１７に示すように、アバターＡが、真っ直ぐに立っている状態から両腕を上げる状態に動作する場合の例について説明する。

図１８に示すように、ステップＳ１００１において、ユーザは、操作キー３を操作（押下）することによって、キー入力情報＃２２を入力する。

ステップＳ１００２において、携帯通信端末１のアバターアプリケーション２０の外部イベント情報生成モジュール２１が、入力されたキー入力情報＃２２に応じて、アバターの状態として「パーツアクション＃２２」を示すイベント情報を生成して出力する。

ステップＳ１００３において、携帯通信端末１のアバターアプリケーション２０のシーン制御モジュール２２が、受信したイベント情報に基づいて、ユーザによって指示されたアバターの状態を、パーツアクション＃２２を行う「動作状態（パーツアクション＃２２）」であると決定する。

ステップＳ１００４において、シーン制御モジュール２２が、決定されたアバターの状態「動作状態（パーツアクション＃２２）」に基づいて、各パーツの状態の変更を指示する状態情報を生成して出力する。

具体的には、シーン制御モジュール２２は、図１９に示すように、「動作状態（パーツアクション＃２２）」に対応する各パーツの状態、すなわち、パーツ＃２（右腕）の状態を「動作状態＃１（上げる）」と変更し、パーツ＃３（左腕）の状態を「動作状態＃１（上げる）」と変更するように指示する状態情報を生成する。

ステップＳ１００５において、携帯通信端末１のアバターアプリケーション２０のアバター画像生成モジュール２３が、受信した状態情報に基づいて、各パーツの状態を制御する。

具体的には、アバター画像生成モジュール２３は、図２０に示すように、受信した状態情報に基づいて、パーツ＃２（右腕）の現在状態を「通常状態」から「動作状態＃１（上げる）」と変更すると共に、パーツ＃３（左腕）の現在状態を「通常状態」から「動作状態＃１（上げる）」と変更する。

ステップＳ１００６において、アバター画像生成モジュール２３は、変更されたパーツ＃２及び＃３を含む全てのパーツの現在状態に対応するパーツ画像に基づいて、アバターＡを表示するためのアバター画像を生成して出力する。

本実施形態に係る携帯通信端末１によれば、アバターを構成する各状態のパーツを表示するためのパーツ画像が管理されており、アバター画像生成モジュール２３が、状態情報に応じて変更したパーツの状態に対応するパーツ画像によってアバターＡを表示するためのアバター画像を生成することによって、アバターＡを構成する各パーツの動きを制御することができるため、携帯通信端末１のようなリソースが限られている端末においても効率的にアバターＡの多彩な動作を詳細に表現することができる。

また、本実施形態に係る携帯通信端末１によれば、ユーザの意思とは異なるアバターＡ自身の癖のような動作を表現することができる。

また、本実施形態に係る携帯通信端末１によれば、ユーザの指示によるアバターＡの動作とアバターＡ自身の癖のような動作とが競合する場合であっても、事前に設定された優先度に基づいて効率的にアバターＡの動きを制御することができる。

また、本実施形態に係る携帯通信端末１によれば、補間状態＃１を介して、パーツの現在状態を当該パーツの目標状態に遷移するため、各パーツ画像の製作者が、当該パーツの現在状態から当該パーツの目標状態への状態遷移状況を表現するためのパーツ画像を作成する労力を低減しつつ、アバターＡのより滑らかな動作を表現することができる。

また、本実施形態に係る携帯通信端末１によれば、パーツの現在状態と目標状態との間に補間状態を挿入することによって、パーツ画像の遷移に関するデータ量を低減することができ、リソースの限られた携帯端末への搭載における表現力の拡大に繋がる。

また、本実施形態に係る携帯通信端末１によれば、変更前のパーツの現在状態に対応するパーツ画像が、変更後のパーツの現在状態に対応するパーツ画像に即座に変更されるため、各パーツ画像の製作者が、変更後のパーツの現在状態に対応するパーツ画像を自由に製作することができるので、変更後のパーツの現在状態に対応するパーツ画像をより精密なアバターの動作を表現する動画像とすることによって、製作者の意図どおりのアバターの多彩な動作を表現することができる。

本発明の一実施形態に係る携帯通信端末の外観構成図である。 本発明の一実施形態に係る携帯通信端末のディスプレイに表示されるアバターを構成する各パーツを説明するための図である。 本発明の一実施形態に係る携帯通信端末の機能ブロック図である。 本発明の一実施形態に係る携帯通信端末のディスプレイに表示されるアバターの全体アクションを説明するための図である。 本発明の一実施形態に係る携帯通信端末のディスプレイに表示されるアバターのパーツアクションを説明するための図である。 本発明の一実施形態に係る携帯通信端末のディスプレイに表示されるアバターのループアクションを説明するための図である。 本発明の一実施形態に係る携帯通信端末のディスプレイに表示されるアバターのループアクションを説明するための図である。 本発明の一実施形態に係る携帯通信端末の外部イベント情報生成モジュールの機能を説明するための図である。 本発明の一実施形態に係る携帯通信端末のシーン制御モジュールの機能ブロック図である。 本発明の一実施形態に係る携帯通信端末のシーン制御モジュールによって生成されるイベント情報について説明するための図である。 本発明の一実施形態に係る携帯通信端末のシーン制御モジュールによって管理されている各アバターの状態に対応する各パーツの状態の一例を示す図である。 本発明の一実施形態に係る携帯通信端末のシーン制御モジュールによって管理されている各アバターの状態に対応する各パーツの状態の一例を示す図である。 本発明の一実施形態に係る携帯通信端末のアバター画像生成モジュールの機能ブロック図である。 本発明の一実施形態に係る携帯通信端末のアバター画像生成モジュールによって管理されている各パーツの状態の一例を示す図である。 本発明の一実施形態に係る携帯通信端末のアバター画像生成モジュールによって管理されている各パーツの状態の一例を示す図である。 本発明の一実施形態に係る携帯通信端末のアバター画像生成モジュールによって管理されているパーツの現在状態及びパーツの目標状態を説明するための図である。 本発明の一実施形態に係る携帯通信端末のディスプレイ上に表示されるアバターの動作の一例を示す図である。 本発明の一実施形態に係る携帯通信端末がアバター画像を生成する動作を示すフローチャートである。 本発明の第１の実施形態に係る携帯通信端末において管理されているアバター状態（動作状態（パーツアクション））における各パーツの状態の一例を示す図である。 本発明の第１の実施形態に係る携帯通信端末におけるパーツの状態が変更される様子を示す図である。

符号の説明

１…携帯通信端末
２…ディスプレイ
３…操作キー
４…カメラ
５…マイク
１０…入力部
２０…アバターアプリケーション
２１…外部イベント情報生成モジュール
２２…シーン制御モジュール
２２ａ…状態情報生成モジュール
２２ｂ…内部イベント情報生成モジュール
２３…アバター画像生成モジュール
２３ａ…モータモジュール
２３ｂ…アクション競合処理部
３０…パーツ管理モジュール
４０…描画エンジン
５０…表示部
６０…符号化部
７０…通信部
８０…記憶部

Claims (8)

1. 携帯通信端末のディスプレイに表示されるアバターの動作を制御するプログラムであって、
   前記アバターを構成する各状態のパーツを表示するためのパーツ画像を管理するパーツ管理モジュールと、
   ユーザからのキー入力情報を受信した場合に前記キー入力情報に基づいて前記アバターの全体またはパーツの状態を示す外部イベント情報を生成し、前記ユーザからの音声入力情報を受信した場合に前記音声入力情報に基づいて前記アバターの口唇に対応するパーツの状態を示す外部イベント情報を生成し、前記ユーザからの顔特徴点情報を受信した場合に前記顔特徴点情報に基づいて前記アバターの状態を示す外部イベント情報を生成する外部イベント情報生成モジュールと、
   前記外部イベント情報に基づいて、前記パーツの状態の変更を指示する状態情報を生成する状態情報生成モジュールと、
   前記状態情報に応じて前記パーツの状態を変更し、変更された該パーツの状態に対応するパーツ画像に基づいて前記アバターを表示するためのアバター画像を生成し、生成された前記アバター画像を描画エンジンに対して出力するアバター画像生成モジュールと、
   前記ユーザからの入力情報とは関係なく、所定の時間間隔で、前記アバターに設定された癖に対応する動作の状態を示す内部イベント情報を生成する内部イベント情報生成モジュールとを具備し、
   前記状態情報生成モジュールは、前記内部イベント情報に基づいて、前記パーツの状態の変更を指示する状態情報を生成し、
   前記状態情報生成モジュールは、同一のタイミングで前記外部イベント情報及び前記内部イベント情報を受信した場合、前記外部イベント情報及び前記内部イベント情報の各々に割り当てられている優先度に基づいて、前記状態情報を生成し、
   前記アバター画像生成モジュールは、同一のパーツに対して、異なる状態を示す複数の状態情報が生成された場合に、前記複数の状態情報のそれぞれが示す状態を合成した状態に対応するパーツ画像に基づいて前記アバター画像を生成することを特徴とするプログラム。
2. 前記アバター画像生成モジュールは、前記パーツの現在状態及び該パーツの目標状態を管理しており、前記状態情報に応じて、前記パーツの目標状態を変更し、前記パーツの現在状態を該パーツの目標状態に遷移させることによって、前記パーツの状態を変更することを特徴とする請求項１に記載のプログラム。
3. 前記アバター画像生成モジュールは、前記状態情報に応じて、前記パーツの現在状態を変更することによって、前記パーツの状態を変更することを特徴とする請求項２に記載のプログラム。
4. 前記アバター画像生成モジュールは、補間状態を介して、前記パーツの現在状態を前記パーツの目標状態に遷移させることを特徴とする請求項２に記載のプログラム。
5. 前記状態情報生成モジュールは、所定のタイミングで、前記パーツの状態を変更するように指示する状態情報を生成することを特徴とする請求項１に記載のプログラム。
6. 前記アバター画像生成モジュールは、前記パーツに対して複数の状態情報が生成された場合、所定の優先度に基づいて１つ又は複数の状態情報による前記変更指示を選択して前記アバター画像を生成することを特徴とする請求項１に記載のプログラム。
7. アバターを構成する各状態のパーツを表示するためのパーツ画像を管理するパーツ管理モジュールと、
   ユーザからのキー入力情報を受信した場合に前記キー入力情報に基づいて前記アバターの全体またはパーツの状態を示す外部イベント情報を生成し、前記ユーザからの音声入力情報を受信した場合に前記音声入力情報に基づいて前記アバターの口唇に対応するパーツの状態を示す外部イベント情報を生成し、前記ユーザからの顔特徴点情報を受信した場合に前記顔特徴点情報に基づいて前記アバターの状態を示す外部イベント情報を生成する外部イベント情報生成モジュールと、
   前記外部イベント情報に基づいて、前記パーツの状態の変更を指示する状態情報を生成する状態情報生成モジュールと、
   前記状態情報に応じて前記パーツの状態を変更し、変更された該パーツの状態に対応するパーツ画像に基づいて前記アバターを表示するためのアバター画像を生成するアバター画像生成モジュールと、
   前記ユーザからの入力情報とは関係なく、所定の時間間隔で、前記アバターに設定された癖に対応する動作の状態を示す内部イベント情報を生成する内部イベント情報生成モジュールと、
   無線ネットワークを介して前記アバター画像を相手側端末に送信する通信モジュールとを具備し、
   前記状態情報生成モジュールは、前記内部イベント情報に基づいて、前記パーツの状態の変更を指示する状態情報を生成し、
   前記状態情報生成モジュールは、同一のタイミングで前記外部イベント情報及び前記内部イベント情報を受信した場合、前記外部イベント情報及び前記内部イベント情報の各々に割り当てられている優先度に基づいて、前記状態情報を生成し、
   前記アバター画像生成モジュールは、同一のパーツに対して、異なる状態を示す複数の状態情報が生成された場合に、前記複数の状態情報のそれぞれが示す状態を合成した状態に対応するパーツ画像に基づいて前記アバター画像を生成することを特徴とする携帯通信端末。
8. 前記通信モジュールは、撮像装置によって撮像された前記ユーザを表示するためのユーザ画像及び前記アバター画像を合成した合成画像を、前記無線ネットワークを介して前記相手側端末に送信することを特徴とする請求項７に記載の携帯通信端末。

Images