JP6923827B2 - コミュニケーションスキル評価システム、装置、方法、及びプログラム - Google Patents

Description

本発明は、コミュニケーションスキル評価システム、装置、方法、及びプログラムに係り、特に、会話の参加者のコミュニケーションスキルを定量的に評価するためのコミュニケーションスキル評価システム、装置、方法、及びプログラムに関する。
本願は、２０１７年１１月１０日に、日本に出願された特願２０１７−２１７１８６号に基づき優先権を主張し、その内容をここに援用する。

コミュニケーションスキルは、人間が他者と社会的活動を営む上で、最も重要なスキルの一つである。コミュニケーションスキルを測る上での尺度として、様々な指標が提案されている。例えば、本人または第三者が質問紙に答えることで、その回答結果から、コミュニケーションスキルを測るための評定値を算出することが一般的である。

しかしながら、質問紙を用いてコミュニケーションスキルを測る手法では、質問紙の多くの質問項目について回答をさせることが必須である。しかし、本人に回答をさせる場合は、必ずしも正確な回答を得られないという問題がある。

これに対して、会話時の非言語行動を手掛かりに、自動的にコミュニケーションスキルを推定する技術がある（例えば特許文献１を参照）。この特許文献１に記載の技術のように、実際に会話をしている状況下で見られる人の振る舞いから、自動的にその人のコミュニケーションスキルを推定できれば、簡易的、かつ、より客観的に人のコミュニケーションスキルを推定することができる。

特開２０１７−１１６７１６号公報

ところで、上記特許文献１に記載の技術では、会話時における各発話末の視線行動、頭部動作、及び呼吸動作を表す特徴量に基づいて、会話に参加している各話者が次話者になるべき確率（次話者としての適切さを表す。以後、次話者確率という。）を予測器が推定する。そして、各人物の発話の有無に応じて、次話者確率との差分情報に基づいてコミュニケーションスキルを予測器が推定している。例えば、予測器が出力する次話者確率が高い時にその人物が発話を行った場合、また、次話者確率が低い時にその人物が発話を行わなかった場合に、その人物のコミュニケーションスキルが高いと予測器が推定する。

すなわち、上記特許文献１に記載の技術では、次話者確率を推定し、更に、推定した次話者確率に基づいてコミュニケーションスキルの推定を行うという２段階での推定を行っている。一般的に、推定に推定を重ねるほど、コミュニケーションスキルの推定精度が低下する傾向がある。従って、推定精度の向上が望まれている。

本発明は、上記の事情に鑑みてなされたもので、会話中の参加者のコミュニケーションスキルを高い精度で評価することができるコミュニケーションスキル評価システム、装置、方法、及びプログラムを提供することを目的とする。

本発明の第１の態様に係るコミュニケーションスキル評価システムは、会話中の各参加者の音声情報を入力する音声入力装置と、前記会話中の各参加者の非言語行動の計測を行う計測装置と、前記音声入力装置により入力された前記音声情報に基づいて、各発話の開始及び終了の時刻により定まる発話区間、及び、各発話区間で発話した参加者を検出する発話区間検出部と、前記発話区間検出部により検出された前記発話区間から時系列順に得られる２つの発話それぞれを発話ペアとし、前記発話ペアそれぞれにおいて前記参加者それぞれが発話したか否かに応じて、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す参与役割を前記参加者それぞれに付与する参与役割付与部と、前記計測装置による前記計測の結果に基づいて、前記発話区間それぞれにおける発話末での前記非言語行動に関する前記参加者それぞれの非言語特徴量を抽出する特徴量抽出部と、前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する推定部と、を備えている。

本発明の第２の態様によれば、第１の態様のコミュニケーションスキル評価システムにおいて、前記計測装置が、前記非言語行動として、前記参加者の視線行動、頭部動作、呼吸動作、及び口形変化の少なくとも１つを計測する。
本発明の第３の態様によれば、第１の態様のコミュニケーションスキル評価システムは、前記発話区間それぞれにおける発話の言語特徴を示す言語特徴量を抽出する言語特徴抽出部を更に備え、前記推定部は、前記言語特徴抽出部により抽出された前記言語特徴量と、前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する。

本発明の第４の態様におけるコミュニケーションスキル評価装置は、会話中の各参加者の音声情報に基づいて、各発話の開始及び終了の時刻により定まる発話区間、及び、各発話区間で発話した参加者を検出する発話区間検出部と、前記発話区間検出部により検出された前記発話区間から時系列順に得られる２つの発話それぞれを発話ペアとし、前記発話ペアそれぞれにおいて前記参加者それぞれが発話したか否かに応じて、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す参与役割を前記参加者それぞれに付与する参与役割付与部と、前記会話中の前記参加者それぞれの非言語行動の計測結果に基づいて、前記発話区間それぞれにおける発話末での前記非言語行動に関する前記参加者それぞれの非言語特徴量を抽出する特徴量抽出部と、前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する推定部と、を備えている。

本発明の第５の態様によれば、第４の態様におけるコミュニケーションスキル評価装置において、前記特徴量抽出部が、前記非言語特徴量として、前記参加者それぞれの視線行動、頭部動作、呼吸動作、及び口形変化の少なくとも１つを表す特徴量を抽出する。

本発明の第６の態様によれば、第５の態様におけるコミュニケーションスキル評価装置は、前記非言語行動の計前記測結果に基づいて、前記会話中の発話の終了ごとに前記参加者の各々が次に発話を行う確率である次話者確率を推定する次話者推定部を更に備え、前記特徴量抽出部が、前記非言語行動に関する前記非言語特徴量として、前記参加者それぞれのコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、前記会話中に前記参加者が発話したとき又は前記参加者が発話しなかったときの前記参加者の前記次話者確率に基づいて更に算出する。
本発明の第７の態様によれば、第４の態様におけるコミュニケーションスキル評価装置は、記発話区間それぞれの発話の言語特徴を示す言語特徴量を抽出する言語特徴抽出部を更に備え、前記推定部は、前記言語特徴抽出部により抽出された前記言語特徴量と、前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する。

本発明の第８の態様におけるコミュニケーションスキル評価方法は、発話区間検出部が、会話中の各参加者の音声情報に基づいて、各発話の開始及び終了の時刻により定まる発話区間、及び、各発話区間で発話した参加者を検出するステップと、参与役割付与部が、前記発話区間検出部により検出された前記発話区間から時系列順に得られる２つの発話それぞれを発話ペアとし、前記発話ペアそれぞれにおいて前記参加者それぞれが発話した否かに応じて、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す参与役割を前記参加者それぞれに付与するステップと、特徴量抽出部が、前記会話中の前記参加者それぞれの非言語行動の計測結果に基づいて、前記発話区間それぞれにおける発話末での前記非言語行動に関する前記参加者それぞれの非言語特徴量を抽出するステップと、推定部が、前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定するステップと、を含む。

本発明の第９の態様におけるプログラムは、コンピュータを、第４〜第７の態様のうちいずれか一つの態様におけるコミュニケーションスキル評価装置として機能させる。

本発明に係るコミュニケーションスキル評価システム、装置、方法、及びプログラムによれば、会話中の参加者のコミュニケーションスキルを高い精度で評価することができる。

第１の実施形態に係るコミュニケーションスキル評価システムの構成の一例を示すブロック図である。 第１の実施形態に係る計測装置の構成の一例を示すブロック図である。 第１の実施形態に係る注視対象遷移パターンの一例を示す図である。 第１の実施形態に係る口特徴点の一例を示す図である。 第１の実施形態に係るコミュニケーションスキル評価プログラムによる処理の流れの一例を示すフローチャートである。 第２の実施形態に係るコミュニケーションスキル評価システムの構成の一例を示すブロック図である。 第３の実施形態におけるコミュニケーションスキル評価システムの構成例を示す図である。 第３の実施形態における、発話区間の発話を示すテキストから言語特徴量を抽出する処理の一例を示す図である。 第３の実施形態におけるコミュニケーションスキル評価装置による動作の一例を示すフローチャートである。 第４の実施形態における次話者推定システムの構成例を示す図である。 第４の実施形態における推定装置による動作の一例を示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。

［第１の実施形態］
第１の実施形態では、実際の会話時に見られる人の振る舞いのうち、会話全体での複数の発話末の各々における視線行動（注視対象の遷移）、頭部動作、呼吸動作、及び口形変化等を表す特徴量を入力として、機械学習を用いて直接的に参加者のコミュニケーションスキルの推定を行う。具体的には、各参加者について、後述する５つの参与役割の各々毎に、発話末でどのような視線行動、頭部動作、呼吸動作、及び口形変化であるかを表す特徴量をコミュニケーションスキルの推定に用いる。

なお、第１の実施形態で取り扱う会話は、参加者が対面して行う会話でもよく、テレビ電話やビデオチャットなど映像を用いた会話でもよい。また、対面で会話する参加者と映像を用いて会話する参加者とが存在してもよい。以下、会話の参加者の数をＡ人（Ａは２以上の整数）、ａ番目の参加者（ａは１以上Ａ以下の整数）を参加者Ｐ_ａとする。

図１は、第１の実施形態に係るコミュニケーションスキル評価システム９０の構成の一例を示すブロック図である。
図１に示すように、第１の実施形態に係るコミュニケーションスキル評価システム９０は、コミュニケーションスキル評価装置１０Ａと、音声入力装置３０と、計測装置３２と、を備えている。

音声入力装置３０は、例えば、マイクロホンであり、会話中の各参加者の音声情報を入力する。音声入力装置３０は、複数台であってもよい。例えば、各参加者に音声入力装置３０が装着され得る。

計測装置３２は、会話中の各参加者の非言語行動を計測する。計測する非言語行動は、視線行動、頭部動作、呼吸動作、及び口形変化の少なくとも１つを含む。計測装置３２は、複数台であってもよい。例えば、各参加者に計測装置３２が装着され得る。

コミュニケーションスキル評価装置１０Ａは、受信部１２、記憶部１４、発話区間検出部１６、参与役割付与部１８、特徴量抽出部２０、推定部２２、及び出力部２４を備えている。

第１の実施形態に係るコミュニケーションスキル評価装置１０Ａは、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disk Drive）等を備えたコンピュータとして構成される。ＲＯＭには、第１の実施形態に係るコミュニケーションスキル評価プログラムが記憶されている。なお、コミュニケーションスキル評価プログラムは、ＨＤＤに記憶されていてもよい。

上記のコミュニケーションスキル評価プログラムは、例えば、コミュニケーションスキル評価装置１０Ａに予めインストールされていてもよい。このコミュニケーションスキル評価プログラムは、不揮発性の記憶媒体に記憶され、又は、ネットワークを介して配布され、コミュニケーションスキル評価装置１０Ａに適宜インストールされてもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が挙げられる。

ＣＰＵは、ＲＯＭに記憶されているコミュニケーションスキル評価プログラムを読み込んで実行することにより、上記の受信部１２、発話区間検出部１６、参与役割付与部１８、特徴量抽出部２０、推定部２２、及び出力部２４として機能する。

第１の実施形態に係る受信部１２は、音声入力装置３０から会話中の各参加者の音声情報を受信し、参加者の識別情報と、その参加者の音声情報とを対応付けた対応音声情報を記憶部１４に書き込む。音声情報には、音声が得られた時刻の情報が含まれる。また、受信部１２は、計測装置３２から会話中の各参加者の非言語行動に関する計測結果を示す計測情報を受信し、参加者の識別情報と、その参加者の時系列の計測情報とを対応付けた対応計測情報を記憶部１４に書き込む。

第１の実施形態に係る発話区間検出部１６は、記憶部１４に記憶された対応音声情報に基づいて、各発話の開始及び終了の時刻により定まる発話区間、及び、各発話区間で発話した参加者を検出する。具体的に、発話区間検出部１６は、既存の任意の技術により、記憶部１４に記憶された各参加者の対応音声情報から得られる音声特徴量に基づいて、各参加者が発話を行った区間を検出する。第１の実施形態では、全ての参加者の発話の区間を時刻順に並べて、発話ＩＰＵ^１、ＩＰＵ^２、・・・、ＩＰＵ^Ｋ＋１とし、会話中のｋ回目の発話をＩＰＵ^ｋと表記する（ｋは１以上Ｋ＋１以下の整数、Ｋ＋１は会話中の発話の総数）。発話区間検出部１６は、発話ＩＰＵ^１、ＩＰＵ^２、・・・、ＩＰＵ^Ｋ＋１それぞれの発話区間を示す情報Ｕ_ｋと、発話ＩＰＵ^１、ＩＰＵ^２、・・・、ＩＰＵ^Ｋ＋１それぞれの発話者が参加者Ｐ_１〜Ｐ_Ａのいずれの人物であるかを示す情報とを対応付けた発話情報を生成、出力する。

第１の実施形態に係る参与役割付与部１８は、発話区間検出部１６により検出された発話区間から時系列順に得られる２つの発話を発話ペアとし、各発話ペアに対し、各参加者について、参与役割を付与する。この参与役割は、(1)話者継続時に発話する現話者、(2)話者継続時の現話者以外の非話者、(3)話者交替時に発話をやめる現話者、(4)話者交替時に次に発話する次話者、及び、(5)話者交替時の現話者及び次話者以外の非話者の５つの役割を含む。各参加者に付与される参与役割は、５つの役割(1)〜(5)のいずれかを示す。また、ここでいう発話ペアとは、会話を形成する各発話において、先頭の発話から順に、当該発話と、その次の発話とのペアのことを意味する。話者継続時は、時間方向に隣接する２つの発話区間で一人の参加者が発話する場合を示す。話者交替時は、時間方向に隣接する２つの発話区間で異なる参加者が発話する場合を示す。
具体的に、参与役割付与部１８は、会話中の各発話の発話ペアから、各参加者が話者継続（同一人物が発話を継続）及び話者交替（発話者が交替）のいずれであるかを判定する。話者継続の状況下では、参与役割付与部１８は、発話者を現話者、発話者以外を非話者として設定する。一方、話者交替の状況下では、参与役割付与部１８は、発話をやめる話者を現話者、発話を次に行う人物を次話者、これら現話者及び次話者以外を非話者として設定する。なお、ＩＰＵ^ｋとＩＰＵ^ｋ+１との発話ペアで規定される参加者Ｐ_ａの参与役割をＲ_ａ，ｋとする。参与役割Ｒ_ａ，ｋは、上記５種類の参与役割のうち、発話ＩＰＵ^ｋがなされた際における参加者Ｐ_ａに付与された参与役割を示す値である。

第１の実施形態に係る特徴量抽出部２０は、各発話区間に対し、各参加者について、記憶部１４に記憶された対応計測情報に基づいて、発話区間における発話末での非言語行動に関する特徴量を抽出する。具体的に、特徴量抽出部２０は、非言語行動に関する特徴量として、発話区間における発話末での参加者の視線行動、頭部動作、呼吸動作、及び口形変化の少なくとも１つを表す特徴量を抽出する。

特徴量抽出部２０は、例えば、視線行動、頭部動作、呼吸動作、及び口形変化の各々を表す特徴量を、後述する推定部２２に入力する特徴量として抽出する。具体的には、視線行動を表す特徴量には、一例として、後述する注視対象遷移パターンの出現頻度や出現回数等の出現量が用いられる。また、頭部動作を表す特徴量には、一例として、後述する頭部の状態を示す各パラメータの平均値や標準偏差等の統計量が用いられる。あるいは、各パラメータに対して、任意の値の閾値を設けることで、各閾値で分割された値がどれくらい出現していたかという頻度であっても良い。また、呼吸動作を表す特徴量には、一例として、後述する呼吸の状態を示す各パラメータの平均値や標準偏差等の統計量が用いられる。呼吸動作の場合も、頭部動作と同様に、各パラメータに対して、任意の値の閾値を設けることで、各閾値で分割された値がどれくらい出現していたかという頻度であっても良い。また、口形変化を表す特徴量には、一例として、後述する口形状遷移パターンの出現頻度や出現回数等の出現量が用いられる。これらの特徴量は、一部のみ使用しても良いし、全てを使用しても良い。

第１の実施形態では、上記非言語行動に関する特徴量を、コミュニケーションスキルの評価対象とする参加者が５つの参与役割のいずれかであった状況下で算出する。第１の実施形態では、会話全体あるいはその一部から得られる、各参加者の参与役割の状況下における、複数の非言語行動に関する特徴量を用いることで、より高精度なコミュニケーションスキルの推定が可能となる。

図２は、第１の実施形態に係る計測装置３２の構成の一例を示すブロック図である。図２に示すように、第１の実施形態に係る計測装置３２は、注視対象計測部３２Ａ、頭部動作計測部３２Ｂ、呼吸動作計測部３２Ｃ、及び口特徴点計測部３２Ｄを備えている。

ここで、視線行動を表す特徴量について具体的に説明する。
各参加者Ｐ_ａには、図２に示す注視対象計測部３２Ａが装着される。注視対象計測部３２Ａは、参加者が誰を注視しているのか注視対象を計測する。この場合、特徴量抽出部２０は、計測して得られた注視対象に基づいて、参加者Ｐ_ａ毎の注視対象遷移パターンの出現量を、視線行動を表す特徴量として抽出する。この視線行動を表す特徴量の抽出には、例えば、特開２０１７−１１６７１６号公報（特許文献１）や、特開２０１４−２３８５２５号公報に記載の技術が用いられる。注視対象計測部３２Ａとして、例えば、参加者の眼球の向きを測定する測定器と、参加者の視野に相当する画角を有するカメラとを備える視線計測装置を用いてもよい。視線計測装置は、カメラで撮像した画像上において参加者が注視している対象又は領域を、眼球の向きに基づいて取得できる。

上記の注視対象遷移パターンは、例えば、参加者が、任意の時間区間内で、現話者、非話者、及び人物以外の注視対象に対して、どのような順序で視線を向けたのかを表現する。また、注視対象遷移パターンは、参加者が人物を注視した際に視線交差が起きたかという時系列的な遷移をｎ−ｇｒａｍパターンで表現する。具体的には、注視対象となる参加者によって、視線行動を以下のような種別に分類し、注視対象のラベリングを行う。なお、注視対象ラベルの記号に意味はなく、判別できればどのような表記でも構わない。

・ラベルＳ：現話者を注視。
・ラベルＬ_ｑ：非話者を注視（但し、ｑは互いに異なる非話者である参加者を示し、ｑ＝１，・・・，Ａ−１である。例えば、ある参加者が、非話者Ｐ_２、非話者Ｐ_３、の順に注視をしていたとき、非話者Ｐ_２にＬ_１というラベル、非話者Ｐ_３にＬ_２というラベルが割り当てられる。）。
・ラベルＮ：話者交替時に次話者を注視。
・ラベルＸ：誰も見ていない。例えば、床や、天井、壁等を見ている。

なお、ラベルがＳ、Ｌ_ｑ、Ｎのときには、特徴量抽出部２０は、相互注視（視線交差）が起きたか否かという情報を付与する。第１の実施形態では、相互注視が起きた際には、特徴量抽出部２０は、ＳＭ、Ｌ_ｑＭ、ＮＭのように、ラベルＳ、Ｌ_ｑ、Ｎの末尾にＭラベルを付与する。

話者交替時に、現話者は次話者に視線を向け、次話者は現話者に視線を向けて、相互注視を行った後に、次話者は話し始めると同時に視線を現話者から外すことが知られている。このようなことから、現話者以外をＬとしてひとまとめにするのではなく、話者交替時には次話者を別の注視対象ラベル（第１の実施形態ではラベルＮ）が用いられる。参加者が次話者を注視していた情報を用いることで、注視対象遷移パターンがより有用な特徴量となる。

参加者Ｐ_ａごとに、上記注視対象ラベルを構成要素として、時間的な順序を考慮した注視対象遷移パターンの一例であるｎ−ｇｒａｍパターンを生成する。なお、ｎ−ｇｒａｍパターンのｎは正の整数とし、第１の実施形態では２とする。

図３は、第１の実施形態に係る注視対象遷移パターンの一例を示す図である。図３は、参加者Ｐ_１から参加者Ｐ_２に話者交替が発生した際の注視対象遷移パターンの作成例を示している。

図３に示す作成例においては、会話の参加者数Ａ＝４であり、発話区間Ｕ_ｋ、Ｕ_ｋ＋１と各参加者の注視対象が時系列に示されている。また、Ｔ_ｓｅは、発話区間Ｕ_ｋの発話末時点を示す。ここでは、例えば、発話区間Ｕ_ｋの発話末時点Ｔ_ｓｅよりも前の時点Ｔ_ｓｅ−Ｔ_ｂから発話末時点Ｔ_ｓｅよりも後の時点Ｔ_ｓｅ＋Ｔ_ａまでの区間に出現した視線行動を扱う。Ｔ_ｂ、Ｔ_ａは０以上の任意の値でよいが、目安として、Ｔ_ｂは５００ミリ秒以上１５００ミリ秒以下の範囲、Ｔ_ａは０ミリ秒以上５００ミリ秒以下の範囲にするのが適当である。

図３に示すように、現話者Ｐ_１が人物以外の対象ＮＰを注視した後に、次話者Ｐ_２を注視している。そして、現話者Ｐ_１が次話者Ｐ_２を注視していた時間内に、次話者Ｐ_２も現話者Ｐ_１を注視しており、相互注視が起きている。従って、現話者Ｐ_１の注視対象ラベルは、ラベルＸ及びラベルＮＭとなる。一方、次話者Ｐ_２は、現話者Ｐ_１と相互注視を行った後、非話者Ｐ_４を注視している（相互注視なし）。従って、次話者Ｐ_２の注視対象ラベルは、ラベルＳＭ及びラベルＬ_１となる。また、非話者Ｐ_３は、現話者Ｐ_１を注視した後に、人物以外の対象ＮＰを注視している。従って、非話者Ｐ_３の注視対象ラベルは、ラベルＳ及びラベルＸとなる。また、非話者Ｐ_４は、人物以外の対象ＮＰを注視した後、次話者Ｐ_２及び非話者Ｐ_３をこの順で注視している。従って、非話者Ｐ_４の注視対象ラベルは、ラベルＸ、ラベルＮ、及びラベルＬ_１となる。

図３に示す例によれば、注視対象遷移パターンが話者継続時及び話者交替時の各々における参与役割に応じて異なることが示されている。ここで、ｎ−ｇｒａｍパターンにより示される特徴量をｆ_ｇ，ｎと表記し、このｎ−ｇｒａｍパターンの出現量として示される特徴量をｆ_ａ，ｇ（以下、視線特徴量ｆ_ａ，ｇ）と表記する。この視線特徴量ｆ_ａ，ｇは、特徴量ｆ_ｇ，ｎを用いて参加者Ｐ_ａ毎に導出される。

次に、頭部動作を表す特徴量について具体的に説明する。
各参加者Ｐ_ａには、図２に示す頭部動作計測部３２Ｂ（例えばヘッドトラッカ等）が装着される。頭部動作計測部３２Ｂは、参加者の頭部動作を計測する。この場合、特徴量抽出部２０は、計測して得られた頭部動作に基づいて、発話区間毎に、参加者Ｐ_ａの頭部の状態を示す各パラメータから得られる統計量を、頭部動作を表す特徴量として抽出する。この頭部動作を表す特徴量の抽出には、例えば、特開２０１６−１１１４２６号公報に記載の技術が用いられる。

第１の実施形態で取り扱う頭部の位置や回転角度の変化量は、頭部の前後、左右、及び上下の３自由度の位置の変化、及び３自由度の回転角度の変化の計６自由度を示す情報の少なくとも１つに基づき得られる。６自由度を示す情報は、例えば、頭部動作計測部３２Ｂで計測され、３次元位置（Ｘ，Ｙ，Ｚ）と３自由度の回転角度（azimuth、elevation、roll）の６自由度の位置情報及び回転情報として定義され、それぞれの座標値で位置と回転角度が表される。Ｘ軸方向は参加者Ｐａの頭部に対する左右方向であり、Ｙ軸方向は頭部に対する前後方向であり、Ｚ軸方向は頭部に対する上下方向である。回転角度（azimuth、elevation、roll）の回転軸方向は、それぞれＺ、Ｙ、Ｘ軸方向である。

話者継続時と話者交替時とで、現話者の発話末付近の頭部動作（例えば頭部の移動や回転等）が異なること、また、非話者が次話者になる場合と、ならない場合とで、発話末付近の頭部動作が異なることが分かっている。例えば、参加者が４人の場合においては、現話者の頭部位置Ｘ、Ｙ、Ｚ、回転角度rollにおける変化量と、頭部位置Ｙ、Ｚ、回転角度rollにおける頭部動作の変化を波として捉えたときの波の振幅（以下、単に「振幅」ともいう。）と、回転角度elevationにおける頭部動作の変化を波として捉えたときの波の周波数（以下、単に「周波数」ともいう。）とは、話者継続時よりも話者交替時で大きくなる傾向にある。これらの変化量、振幅、及び周波数は、頭部状態を示すパラメータの一例として用いられる。

また、現話者の頭部位置Ｙにおける周波数は話者継続時よりも話者交替時で小さくなる傾向にあることが分かっている。また、頭部位置Ｘ、Ｙ、Ｚ、回転角度azimuth、elevation、rollにおける変化量と振幅は、話者継続時の非話者に比べて、話者交替時の非話者と次話者の方が大きい。逆に、頭部位置Ｘ、Ｙ、Ｚ、回転角度azimuth、elevation、rollにおける周波数は、話者継続時の非話者に比べて、話者交替時の非話者と次話者の方が小さい傾向にある。頭部位置Ｘ、Ｚにおける変化量は、話者交替時の非話者に比べて、次話者の方が大きい傾向にある。逆に、頭部位置Ｚにおける周波数は、話者交替時の非話者に比べて、次話者の方が小さい傾向にある。

ただし、これらの傾向は、あくまでも一例であり、必ずしもすべての状況及び会話においても同じ傾向であるとは限らない。そうであっても、このような頭部動作と参与役割との間には深い相関があり、頭部動作を表す特徴量を用いることは、コミュニケーションスキルを推定する上で非常に有用である。ここで、頭部状態を示す各パラメータにより示される特徴量をｆ_ｈ，ｎと表記し、頭部状態を示す各パラメータの統計量として示される特徴量をｆ_ａ，ｈ（以下、頭部動作特徴量ｆ_ａ，ｈ）と表記する。この頭部動作特徴量ｆ_ａ，ｈは、特徴量ｆ_ｈ，ｎを用いて参加者Ｐ_ａ毎に導出される。

次に、呼吸動作を表す特徴量について具体的に説明する。
各参加者Ｐ_ａには、図２に示す呼吸動作計測部３２Ｃが装着される。呼吸動作計測部３２Ｃは、参加者の呼吸動作を計測する。この場合、特徴量抽出部２０は、計測して得られた呼吸動作に基づいて、発話区間毎に、参加者Ｐ_ａの呼吸の状態を示す各パラメータから得られる統計量を、呼吸動作を表す特徴量として抽出する。この呼吸動作を表す特徴量の抽出には、例えば、特開２０１７−１１６７１６号公報（特許文献１）に記載の技術が用いられる。

会話の参加者の呼吸動作は、上述の視線行動及び頭部動作の場合と同様に、参与役割と深い関連性がある。このため、会話の参加者の呼吸動作をリアルタイムに計測し、計測された呼吸動作から、参与役割毎に特徴的な呼吸動作を表す特徴量を抽出する。具体的には、発話開始直前におこなわれる呼吸動作の特徴として、発話を行っている現話者は、継続して発話する際（話者継続時）には、発話末直後にすぐに急激に息を吸い込む。一方、現話者が次に発話を行わない際（話者交替時）には、話者継続時に比べて、発話末時から間を空けて、ゆっくりと息を吸い込む。また、話者交替時に、次に発話をおこなう次話者は、発話を行わない非話者に比べて大きく息を吸い込む。このような発話の前に行われる呼吸は、発話開始に対しておおよそ決められたタイミングで行われる。第１の実施形態では、参加者の息の吸い込みに着目し、息の吸い込み量や、吸い込み区間の長さ、タイミング等の情報が、呼吸状態を示すパラメータの一例として用いられる。

例えば、バンド式の呼吸動作計測部３２Ｃでは、参加者の胸部に取り付けられたバンドの伸縮の強さによって呼吸の深さの度合いを示す値を出力する。息の吸い込みが大きいほどバンドの伸びが大きくなり、息の吐き出しが大きいほどバンドの縮みが大きくなる（バンドの伸びが小さくなる）。この呼吸の深さの度合いを示す値をＲＳＰ値という。このＲＳＰ値は、バンドの伸縮の強さに応じて参加者Ｐ_ａ毎に異なる値を取る。そこで、これに起因する参加者Ｐ_ａ毎のＲＳＰ値の相違を排除するために、各参加者Ｐ_ａのＲＳＰ値の平均値及び標準偏差を用いて、参加者Ｐ_ａ毎にＲＳＰ値を正規化してもよい。ここで、呼吸状態を示す各パラメータで示される特徴量をｆ_ｒ，ｎと表記し、呼吸状態を示す各パラメータの統計量として示される特徴量をｆ_ａ，ｒ（以下、呼吸動作特徴量ｆ_ａ，ｒ）と表記する。この呼吸動作特徴量ｆ_ａ，ｒは、特徴量ｆ_ｒ，ｎを用いて参加者Ｐ_ａ毎に導出される。

次に、口形変化を表す特徴量について具体的に説明する。なお、ここでいう口形とは、口の形状を意味する。
各参加者Ｐ_ａについて、図２に示す口特徴点計測部３２Ｄが設けられる。口特徴点計測部３２Ｄは、参加者の少なくとも口（唇）を含む領域（例えば、顔や上半身）の画像を、会話の実施中に撮像装置等を用いてリアルタイムで取得する。この場合、特徴量抽出部２０は、取得した画像に基づいて、発話区間毎に、参加者Ｐ_ａの口形状遷移パターンの出現量を、口形変化を表す特徴量として抽出する。

上記の口形状遷移パターンとは、任意の時間区間内で、口形変化を示すパラメータの時系列的な遷移をｎ−ｇｒａｍパターンを用いて表したものである。

図４は、第１の実施形態に係る口特徴点の一例を示す図である。
第１の実施形態における口の形状とは、例えば、画像処理技術を利用した顔特徴点計測技術を用いて計測された、図４に示すような口の輪郭の特徴点そのもの、または特徴点群を基に形成される形状情報として表される。

図４に示す例では、人中溝をＭ１、左右の上唇の山をＭ２、Ｍ８、左右の口角をＭ３、Ｍ７、上唇の下側の先端をＭ９、下唇の下側の山をＭ５、及び左右の下唇の山の中腹をＭ４、Ｍ６と定義する。計測手法によるが、第１の実施形態では、概ねこれらの各特徴点の位置として、画像中の２次元座標や、カメラ座標系またはワールド座標系の３次元位置座標が計測される。なお、各特徴点の位置の計測方法は、特に限定されず、一般的に用いられている技術を採用することができる。

会話の参加者の口形変化は、上述の視線行動、頭部動作、呼吸動作の場合と同様に、参与役割と深い関連性がある。すなわち、発話している現話者が発話を継続する場合（話者継続時）と、現話者が発話を継続しない場合（話者交替時）とで、現話者の発話末付近の口形変化が異なることが分かっている。また、発話を行っていない非話者が次に発話を新たに開始する（すなわち、次話者になる）場合と、非話者が発話を新たに開始しない場合とで、非話者の発話末付近の口形変化が異なることが分かっている。

一例として、会話において、現話者は話者継続時よりも話者交替時で、発話末付近において口を小さく開けた状態から口を閉じる頻度が高い。これは、発話を終えるため、発話を行うのを止めて口を閉じるためと考えられる。逆に、現話者は話者交替時よりも話者継続時で、発話末付近において口を小さく開けた状態から口を閉じて、さらに口を小さく開ける頻度が高く、また、口を小さく開き続ける頻度が高い。これは、話し続けるために息継ぎをしたり、口を開きっぱなしにしたりしているためと考えられる。

また、会話において、現話者の話者継続時における非話者は、口を閉じ続けている頻度が高く、現話者の話者交替時における非話者（非話者の内、次話者にならない人物）は、大きく口を開けたままにする頻度が高い。また、現話者の話者交替時における次話者（非話者のうち、次話者になる人物）は、口を閉じた状態から、口を開く頻度が高い。非話者が次の発話をする際は、発話をするために息を吸い込んだり、発話のために口を開いたりする必要があることからこのような特徴がみられると考えられる。

なお、これらの傾向は、あくまでも一例であり、必ずしもすべての状況及び会話においても全く同じ傾向であるとは限らないが、口形変化を表す特徴量を用いることが有用であることに変わりはない。

第１の実施形態に係る特徴量抽出部２０には、口特徴点計測部３２Ｄから特徴点の位置情報が入力される。また、特徴量抽出部２０には、発話区間検出部１６により検出された話者情報、発話区間の開始時刻及び終了時刻が入力される。

特徴量抽出部２０は、特徴点の位置情報、話者情報、及び発話区間の終了時刻に基づいて、発話末前後における現話者及び非話者の口形状変化情報を抽出する。第１の実施形態に係る特徴量抽出部２０が口形変化を観測する時間区間（期間）は、発話区間の発話末時点Ｔ_ｓｅを基点に、発話区間終了前Ｔ_ｓｅ−Ｔ_ｂから発話区間終了後Ｔ_ｓｅ＋Ｔ_ａまでの区間とする。なお発話区間を規定するためのＴ_ａ及びＴ_ｂは任意の値としてよい。なお、発話末前後の口形変化のみに限定せずに、任意の時刻付近（例えば、推定を行う時刻付近）における口形状変化情報を利用することも可能である。

上述した発話区間終了前Ｔ_ｓｅ−Ｔ_ｂから発話区間終了後Ｔ_ｓｅ＋Ｔ_ａの間における、現話者及び非話者の口形状変化情報としては、例えば、下記の（１−１）〜（１−３）に挙げたような様々なパラメータの状態変化を表す情報が挙げられる。

（１−１）任意の口の特徴点間の距離。例えば、上唇と下唇の距離（特徴点Ｍ１と特徴点Ｍ５との距離）。
（１−２）任意の口の特徴点Ｍｃ（ｃ＝１，…，９）に囲まれた領域の面積。
（１−３）任意の口の特徴点Ｍｃに囲まれた領域の形状（例えば、楕円形やひし形等）。

特徴量抽出部２０がこれらのパラメータの状態変化を記述する方法として、任意の時刻でサンプリングされた各パラメータをそのまま、口形状変化情報として用いてもよい。また、各パラメータを閾値等を用いて量子化し、その変化を捉えてもよい。例えば、任意の口の特徴点Ｍｃ間の距離を考慮した場合、口の形状を、特徴点Ｍ１と特徴点Ｍ５との距離Ｄを閾値Ｓ、Ｌ（Ｌ＞Ｓ）に応じて、例えば、下記の（２−１）〜（２−３）に挙げたように定義してもよい。

（２−１）距離Ｄが閾値Ｓよりも小さい（Ｄ＜Ｓ）場合、口が閉じている（ラベルＸ）。
（２−２）距離Ｄが閾値Ｓ以上、かつ閾値Ｌよりも小さい（Ｌ＞Ｄ≧Ｓ）場合、口が少し開いている（ラベルＳ）。
（２−３）距離Ｄが閾値Ｌ以上（Ｄ≧Ｌ）の場合、口が大きく開いている（ラベルＬ）。

そして、特徴量抽出部２０は、これらのパラメータの状態が発話区間終了前Ｔ_ｓｅ−Ｔ_ｂから発話区間終了後Ｔ_ｓｅ＋Ｔ_ａまでの間に、どのように遷移したかを、口形状遷移パターンの一例であるｎ−ｇｒａｍパターンを用いて表す。例えば、口が大きく開いていた状態（Ｄ≧Ｌ）から、口が少し開いている状態（Ｌ＞Ｄ≧Ｓ）に変化した場合、ｎ−ｇｒａｍパターンは、ラベルＬ及びラベルＳと表される。このような、ｎ−ｇｒａｍパターンを現話者及び非話者それぞれにおいて、抽出する。なお、他のパラメータにおいてもｎ−ｇｒａｍパターンを同様の手法により、抽出可能である。ここで、ｎ−ｇｒａｍパターンにより示される特徴量をｆ_ｍ，ｎと表記し、このｎ−ｇｒａｍパターンの出現量として示される特徴量をｆ_ａ，ｍ（以下、口形特徴量ｆ_ａ，ｍ）と表記する。この口形特徴量ｆ_ａ，ｍは、特徴量ｆ_ｍ，ｎを用いて参加者Ｐ_ａ毎に導出される。

上記により、参加者毎に、参与役割付与部１８により得られた参与役割Ｒ_ｎと、特徴量抽出部２０により得られた視線特徴量ｆ_ａ，ｇ、頭部動作特徴量ｆ_ａ，ｈ、呼吸動作特徴量ｆ_ａ，ｒ、及び口形特徴量ｆ_ａ，ｍのうち少なくとも１つの特徴量とが、推定部２２に入力される。

すなわち、第１の実施形態に係る推定部２２は、各参加者について、各発話区間に対する、参与役割付与部１８により発話区間の発話を含む発話ペアに対して付与された当該参加者の参与役割と、特徴量抽出部２０により抽出された発話区間の当該参加者の特徴量との組み合わせを入力として、当該参加者のコミュニケーションスキルを推定する。

第１の実施形態では、予め学習を行った機械学習のモデルを用いて、参与役割付与部１８で付与した参加者Ｐ_ａの参与役割と、特徴量抽出部２０で抽出した参加者Ｐ_ａの特徴量との組み合わせを入力とし、参加者Ｐ_ａのコミュニケーションスキルＳ_ａを推定する。

機械学習には、例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）、及びＮＮ（Neural Network）等が適用される。モデルの学習時には、任意の参加者Ｐ_ａについて、参与役割毎に、視線特徴量ｆ_ａ，ｇ、頭部動作特徴量ｆ_ａ，ｈ、呼吸動作特徴量ｆ_ａ，ｒ、及び口形特徴量ｆ_ａ，ｍの少なくとも１つの特徴量を入力情報とし、当該参加者のスキル評定値Ｓ_ａを正解情報とする。入力情報とその正解情報を対とし、その複数の対からなるデータを学習データとして用いる。

参加者のスキル評定値には、例えば、以下に示す参考文献Ａ、Ｂに記載のスキル評定値をはじめ、任意のスキル評定値が適用される。

［参考文献Ａ］Mark H Davis, "A Multidimensional Approach to Individual Differences in Empathy", JSAS Catalog of Selected Documents in Psychology Vol. 10(85), 1980
［参考文献Ｂ］Mark H Davis, " Measuring individual differences in empathy: Evidence for a multidimensional approach", Journal of Personality and Social Psychology Vol. 44(1), 1983, pp.113-126

また、第１の実施形態におけるスキル評定値の取得方法は、一例として、所定の質問紙への各参加者の回答を用いて取得することとするが、特定の評価者により評定したものを用いる等、他の方法を用いてもよい。

第１の実施形態に係る出力部２４は、推定部２２により推定された各参加者Ｐ_ａのコミュニケーションスキルＳ_ａを出力する。

次に、図５を参照して、第１の実施形態に係るコミュニケーションスキル評価装置１０Ａの作用を説明する。なお、図５は、第１の実施形態に係るコミュニケーションスキル評価プログラムによる処理の流れの一例を示すフローチャートである。

まず、図５のステップ１００では、受信部１２が、音声入力装置３０から入力された各参加者の音声情報を収集し、計測装置３２から入力された各参加者の計測情報を収集する。受信部１２は、音声情報に参加者を対応付けた対応音声情報を記憶部１４に記憶し、計測情報に参加者を対応付けた対応計測情報を記憶部１４に記憶する。

ステップ１０２では、発話区間検出部１６が、記憶部１４に記憶された対応音声情報に基づいて、各発話の開始及び終了の時刻により定まる発話区間、及び、各発話区間で発話した参加者を検出する。

ステップ１０４では、参与役割付与部１８が、上記ステップ１０２で検出された発話区間から時系列順に得られる２つの発話を発話ペアとし、各発話ペアに対し、各参加者について、参与役割を付与する。この参与役割とは、上述したように、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す。

ステップ１０６では、特徴量抽出部２０が、各発話区間に対し、各参加者について、記憶部１４に記憶された対応計測情報に基づいて、発話区間における発話末での非言語行動に関する特徴量を抽出する。

ステップ１０８では、推定部２２が、ユーザによる選択操作に従って、評価対象とする参加者を選択する。

ステップ１１０では、推定部２２が、上記で選択した参加者の各々について、各発話区間に対する、上記ステップ１０４で発話区間の発話を含む発話ペアに対して付与された参加者の参与役割と、上記ステップ１０６で抽出された発話区間の特徴量との組み合わせを入力として、当該参加者のコミュニケーションスキルを推定する。

ステップ１１２では、出力部２４が、評価対象とする参加者の各々について推定したコミュニケーションスキルの結果を出力し、本コミュニケーションスキル評価プログラムによる一連の処理を終了する。

このように第１の実施形態によれば、会話中の参加者のコミュニケーションスキルを、多様な振る舞いから高い精度で評価することができる。
また、多様な振る舞い（マルチモーダル情報）から推定するため、一部の振る舞いが上手く取得できない場合にもロバストな推定を行うことができる。
さらに、コミュニケーションスキルを評価するための評定値の算出方法（＝正解の定義）には各種の手法があるが、一般的に、機械学習では正解の定義によって、予測に有用な特徴量が異なる。第１の実施形態ではマルチモーダル情報を特徴量とすることで、様々な正解の定義に対応することができる。

［第２の実施形態］
上記第１の実施形態では、計測装置３２による計測結果を用いて視線特徴量ｆ_ａ，ｇ、頭部動作特徴量ｆ_ａ，ｈ、呼吸動作特徴量ｆ_ａ，ｒ、及び口形特徴量ｆ_ａ，ｍを抽出した。第２の実施形態では、これらの特徴量に加えて、次話者確率から推定されるスキル判別パラメータを特徴量として更に抽出する。

図６は、第２の実施形態に係るコミュニケーションスキル評価システム９２の構成の一例を示すブロック図である。
図６に示すように、第２の実施形態に係るコミュニケーションスキル評価システム９２は、コミュニケーションスキル評価装置１０Ｂを備えている。なお、上記第１の実施形態に係るコミュニケーションスキル評価システム９０と同一の構成要素には同一の符号を付し、繰り返しの説明は省略する。

第２の実施形態に係るコミュニケーションスキル評価装置１０Ｂは、受信部１２、記憶部１４、発話区間検出部１６、参与役割付与部１８、特徴量抽出部２０、推定部２２、及び出力部２４に加えて、更に、次話者推定部２６を備えている。

第２の実施形態に係る次話者推定部２６は、非言語行動の計測結果に基づいて、会話中の各発話の終了後に参加者の各々が次に発話を行う確率である次話者確率を推定する。

第２の実施形態に係る特徴量抽出部２０は、非言語行動に関する特徴量として、参加者のコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、会話中に参加者が発話したとき又は参加者が発話しなかったときの参加者の次話者確率に基づいて更に算出する。なお、次話者確率の推定及びスキル判別パラメータの算出には、例えば、特開２０１７−１１６７１６号公報（特許文献１）に記載の技術が用いられる。

上記のスキル判別パラメータとは、次話者確率と、実際に次話者になったことを示す情報とをスコア化したものである。この場合、例えば、視線特徴量ｆ_ａ，ｇ、頭部動作特徴量ｆ_ａ，ｈ、呼吸動作特徴量ｆ_ａ，ｒ、及び口形特徴量ｆ_ａ，ｍのうち少なくとも１つの特徴量と、スキル判別パラメータと、を同時に入力として、機械学習を用いて学習モデルを構築するＥａｒｌｙ-ｆｕｓｉｏｎ法を適用する。また、視線特徴量ｆ_ａ，ｇ、頭部動作特徴量ｆ_ａ，ｈ、呼吸動作特徴量ｆ_ａ，ｒ、及び口形特徴量ｆ_ａ，ｍのうち少なくとも１つの特徴量のみを入力とした学習モデルを構築して得られる出力値と、スキル判別パラメータを入力とした学習モデルを構築して得られる出力値とを用いて最終的な判定値を導出するＬａｔｅｒ-ｆｕｓｉｏｎ法を用いてもよい。この最終的な判定値としては、例えば、上記２つの出力値の平均値が用いられる。

第２の実施形態によれば、非言語行動の一部の振る舞いが上手く取得できない場合でも、スキル判別パラメータを特徴量として更に用いることで、よりロバストな推定を行うことができる。

［第３の実施形態］
第１の実施形態におけるコミュニケーションスキル評価システム９０は、一つ又は複数の非言語行動に関する特徴量と、会話における各参加者の参与役割とに基づいて、参加者のコミュニケーションスキルの評定値Ｓ_ａを推定する。第３の実施形態におけるコミュニケーションスキル評価システム９４は、非言語行動に関する特徴量と参与役割とに加え、会話中の発話に基づく特徴量も用いて、参加者のコミュニケーションスキルの評定値Ｓ_ａを推定する。以下、会話中の発話に基づく特徴量を、言語特徴量という。

図７は、第３の実施形態におけるコミュニケーションスキル評価システム９４の構成例を示す図である。コミュニケーションスキル評価システム９４は、音声入力装置３０と、計測装置３２と、コミュニケーションスキル評価装置１０Ｃとを備える。第３の実施形態における音声入力装置３０と計測装置３２とは、第１及び第２の実施形態における音声入力装置３０と計測装置３２とそれぞれ同様の構成を有し、同様の動作を行う。

コミュニケーションスキル評価装置１０Ｃは、受信部１２、記憶部１４、発話区間検出部１６、参与役割付与部１８、非言語特徴抽出部４２、言語特徴抽出部４４、スキル推定部４６及び出力部４８を備える。第３の実施形態における受信部１２、記憶部１４、発話区間検出部１６及び参与役割付与部１８は、第１の実施形態における受信部１２、記憶部１４、発話区間検出部１６及び参与役割付与部１８と同様の動作をそれぞれ行う。

非言語特徴抽出部４２は、会話中に検出される各発話区間における各参加者の非言語行動に関する特徴量を抽出する。すなわち、非言語特徴抽出部４２は、特徴量抽出部として動作する。非言語特徴抽出部４２は、第１の実施形態における特徴量抽出部２０と同様に動作して各参加者の非言語行動に関する特徴量を発話区間ごとに抽出する。非言語特徴抽出部４２は、抽出した特徴量から各参加者の非言語特徴量を生成する。非言語特徴量は、視線行動、頭部動作、呼吸動作及び口形変化それぞれの特徴量を示す視線特徴量ｆ_ａ，ｇ、頭部動作特徴量ｆ_ａ，ｈ、呼吸動作特徴量ｆ_ａ，ｒ、口形特徴量ｆ_ａ，ｍを含む。非言語特徴量は、視線行動、頭部動作、呼吸動作及び口形変化の４つの特徴量に代えて、４つの特徴量のうち少なくとも一つの特徴量を含んでもよい。

言語特徴抽出部４４は、発話区間検出部１６により検出される発話区間における発話から、言語特徴量を抽出する。言語特徴抽出部４４は、記憶部１４に記憶されている対応音声情報に含まれる発話を発話区間ごとにテキストデータに変換する。言語特徴抽出部４４は、テキストデータに対する解析を行うことで各発話に対する言語特徴を抽出する。言語特徴抽出部４４により抽出される言語特徴は、品詞の出現回数、評価表現の出現回数、感情表現の出現回数、対話行為のラベル、発話のカテゴリ（主題）、係り受けの出現回数、及び、固有表現の出現回数を含む。言語特徴抽出部４４は、抽出した各発話の言語特徴に基づいて、発話ごとに言語特徴量を算出する。

言語特徴抽出部４４は、テキストデータが示すテキストに対する形態素解析により、単語、句又は節などの意味ある単位にテキストを分割し、テキストに含まれる各単語の品詞を特定する。言語特徴抽出部４４は、特定した品詞それぞれの出現回数を計数し、言語特徴を示すパラメータの一つとして品詞の出現回数を使用する。

言語特徴抽出部４４は、テキストデータが示すテキストに、評価表現が含まれるか否かを判定する。評価に関する単語がテキストに含まれる場合に、言語特徴抽出部４４は、テキストに評価表現が含まれると判定する。評価表現がテキストに含まれる場合、言語特徴抽出部４４は、単語の極性を取得する。言語特徴抽出部４４は、テキストにおける極性の出現回数を計数し、言語特徴を示すパラメータの一つとして極性の出現回数を使用する。言語特徴抽出部４４は、評価に関する単語と極性との複数の組み合わせを記憶する評価表現辞書を利用して、テキストに評価表現が含まれる否かを判定してもよい。評価表現辞書は、記憶部１４に予め記憶されていてもよい。言語特徴抽出部４４は、他の装置が記憶する評価表現辞書をネットワークを介して利用してもよい。評価に関する単語は、例えば、「良い」、「悪い」、「好き」、「嫌い」などであり、それぞれの単語に対する極性は「ポジティブ」、「ネガティブ」、「ポジティブ」、「ネガティブ」である。

言語特徴抽出部４４は、テキストデータが示すテキストに、感情表現が含まれるか否かを判定する。感情に関する単語がテキストに含まれる場合に、言語特徴抽出部４４は、テキストに感情表現が含まれると判定する。感情表現が適すとに含まれる場合、言語特徴抽出部４４は、単語の属性を取得する。言語特徴抽出部４４は、テキストにおける属性の出現回数を計数し、言語特徴を示すパラメータの一つとして属性の出現回数を使用する。言語特徴抽出部４４は、感情に関する単語と属性との複数の組み合わせを記憶する感情表現辞書を利用して、テキストに感情表現が含まれる否かを判定してもよい。感情表現辞書は、記憶部１４に予め記憶されていてもよい。言語特徴抽出部４４は、他の装置が記憶する感情表現辞書をネットワークを介して利用してもよい。感情に関する単語は、例えば、「友情」、「嬉しさ」、「憎む」などであり、それぞれの単語に対する属性は「好」、「喜」、「嫌」である。

言語特徴抽出部４４は、テキストデータが示すテキストに基づいて、発話における意図を複数の対話行為のいずれかに分類する。対話行為は、発話に表れる発話者の意図に対する抽象化及び分類により得られる。複数の対話行為は、予め定められており、それぞれの対話行為にラベルが付与されている。言語特徴抽出部４４は、言語特徴を示すパラメータの一つとしてテキストに対応するラベルを使用する。言語特徴抽出部４４は、教師あり学習により得られた学習モデルにて実現される分類器にテキスト又はテキストの一部を与えることで、テキストに対応する対話行為を分類器から取得してもよい。対話行為は、例えば、「情報提供」、「確認」、「挨拶」などが含まれる。言語特徴抽出部４４は、対話行為を分類する公知の学習モデルを使用してもよい。例えば、公知の学習モデルとして、参考文献１〜３に記載の学習モデルを使用してもよい。
［参考文献１］Ryuichiro Higashinaka, et al. "Towards an open-domain conversational system fully based on natural language processing", In Proceedings of 25th International Conference on Computational Linguistics, pp.928-939, 2014.
［参考文献２］特開２０１４−２２２３９９号公報
［参考文献３］特開２０１５-０４５９１５号公報

言語特徴抽出部４４は、テキストデータが示すテキストに基づいて、発話の話題又は焦点を示す主題を取得する。言語特徴抽出部４４は、言語特徴を示すパラメータの一つとして発話の主題（カテゴリ）を使用する。テキストに対応する対話行為の分類と同様に、言語特徴抽出部４４は、教師あり学習により得られた学習モデルにて実現される分類器にテキスト又はテキストの一部を与えることで、発話の主題を分類器から取得してもよい。発話の主題を分類する公知の学習モデルとして、参考文献１〜３に記載の学習モデルを使用してもよい。

言語特徴抽出部４４は、テキストデータが示すテキストに対して係り受け解析を行い、係り受けの出現回数を取得する。言語特徴抽出部４４は、テキストに含まれる単語間の修飾関係を解析することにより、係り受けを検出する。単語間の修飾関係の解析には、予め学習を行った学習モデル（ＳＶＭ，ＧＭＭ，ＨＭＭ，ＮＮなど）により実現される解析器を用いてもよい。学習済の解析器を用いる場合、言語特徴抽出部４４は、解析器にテキストデータを与えることにより、係り受けの出現回数を取得する。言語特徴抽出部４４は、テキストにおいて検出した係り受けの出現回数を言語特徴量の一つとして使用する。なお、言語特徴抽出部４４は、修飾関係を有する単語の組み合わせを示す係り受け情報を、言語特徴を示すパラメータの一つとして使用してもよい。

言語特徴抽出部４４は、固有表現が記録された固有表現辞書を用いて、テキストデータが示すテキストに固有表現が含まれているかを判定する。固有表現は日付、時間、数量を示す表現、固有名詞である。固有名詞には、人名、都市名、地名、国名、書籍名、曲名などが含まれる。言語特徴抽出部４４は、テキストにおける固有表現の出現回数を計数し、言語特徴を示すパラメータの一つとして固有表現の出現回数を使用する。

図８は、発話区間Ｕ_ｋにおける発話を示すテキストから言語特徴量を抽出する処理の一例を示す図である。図８に示す発話区間Ｕ_ｋで特定される発話から、「東京は、雲一つない嬉しい天気です。（It is a delightful weather with no clouds in Tokyo.）」を示すテキストデータが取得される。言語特徴抽出部４４は、テキストデータに対して形態素解析と係り受け解析とを行う。言語特徴抽出部４４は、「東京」、「は」、「、」、「雲」、「一つ」、「ない」、「嬉しい」、「天気」、「です」、「。」の各単語を取得する。言語特徴抽出部４４は、各単語を表すテキストにカナ文字表記を用いてもよい。

言語特徴抽出部４４は、上記のテキストデータが示すテキストを節単位に分類し、各節の品詞を取得する。テキストデータの形態素解析結果から品詞を取得する。言語特徴抽出部４４は、テキストにおける品詞として、「名詞＋連用助詞」、「名詞」、「連用詞」、「形容詞」、「形容詞」及び「名詞＋判定詞」を得る。言語特徴抽出部４４は、例えば、参考文献４に記載の解析器にテキストデータを与えることで、テキストに含まれる品詞を取得してもよい。
［参考文献４］Takeshi Fuchi and Shinichiro Takagi. "Japanese morphological analyzer using word Co-occurrence -Jtag-", In Proceedings of International conference on Computational linguistics, pages 409-413, 1998.

言語特徴抽出部４４は、テキストデータから、カテゴリとして「天気」、評価表現として「ポジティブ」、感情表現として「喜び」、固有表現として「都市名」、対話行為として「情報提供」、を取得する。また、言語特徴抽出部４４は、（東京は，天気です。）（雲，一つ）、（一つ，ない）、（ない，天気です。）及び（嬉しい，天気です。）を示す係り受け情報を取得する。なお、係り受け情報は、文節の組み合わせに代えて、テキストにおける文節の出現位置の組み合わせを示してもよい。係り受け情報に文節の出現位置の組み合わせを用いる場合、係り受け情報は（１，６）、（２，３）、（３，４）、（４，６）及び（５，６）を示す。

言語特徴抽出部４４は、品詞の出現回数、評価表現の出現回数、感情表現の出現回数、対話行為のラベル、発話のカテゴリ（主題）、係り受けの出現回数、及び、固有表現の出現回数を含む特徴量として、図８に示すテキストから（８，１，１，情報提供，天気，５，１）を抽出する。

言語特徴抽出部４４は、各品詞の出現回数、評価表現の出現回数、感情表現の出現回数、対話行為のラベル、発話のカテゴリ（主題）、係り受けの出現回数、及び、固有表現の出現回数を要素とするリストを生成する。ここで、言語特徴を示す各パラメータで示される特徴をｆ_ｗと表記し、言語特徴を示す各パラメータの統計量として示される特徴量をｆ_ａ，_ｗ（以下、言語特徴量ｆ_ａ，_ｗ）と表記する。この言語特徴量ｆ_ａ，_ｗは、特徴量ｆ_ｗを用いて参加者Ｐ_ａごとに算出する。言語特徴を示す各パラメータの統計量として、出現回数の平均値、最頻値又は標準偏差が用いられ、出現回数が最も多いラベル及び主題が用いられる。言語特徴抽出部４４は、生成したリストから言語特徴量ｆ_ａ，_ｗを参加者Ｐ_ａごとに算出することで、記憶部１４に記憶されている対応音声情報から各参加者Ｐ_ａの言語特徴量をｆ_ａ，_ｗ抽出する。

言語特徴量ｆ_ａ，_ｗは発話ごとに抽出されるため、各発話区間において現話者以外の参加者（非話者）の言語特徴量ｆ_ａ，_ｗは抽出されない。非話者の言語特徴量ｆ_ａ，_ｗには、参加者Ｐ_ａが非話者であることを示す所定の値が設定されてもよい。

スキル推定部４６は、参与役割付与部１８により各参加者に対して発話区間ごとに付与された参与役割と、非言語特徴抽出部４２により抽出される非言語特徴量と、言語特徴抽出部４４により抽出される言語特徴量とを取得する。スキル推定部４６は、取得した参与役割と非言語特徴量と言語特徴量との組み合わせに基づいて、各参加者のコミュニケーションスキルの推定を行う。出力部４８は、スキル推定部４６により推定された各参加者の推定結果を、コミュニケーションスキル評価装置１０Ｃの外部へ出力する。なお、出力部４８は、各参加者の推定結果を記憶部１４に記憶させてもよい。

コミュニケーションスキルの推定には、参与役割と非言語特徴量と言語特徴量とスキル評定値とを組み合わせた複数の学習データを用いた教師あり学習で実現された機械学習のモデルが用いられる。機械学習のモデルとして、ＳＶＭ、ＧＭＭ、ＨＭＭ、ＮＮ又はＲＮＮ（Recurrent Neural Network）のいずれが用いられてもよい。学習データは、会話の対応音声情報及びその会話における対応計測情報とから得られる参与役割と非言語特徴量と言語特徴量とに、その会話の各参加者のスキル評定値とを組み合わせて生成される。各参加者のスキル評定値は、前述の参考技術文献Ａ、Ｂに記載の評価基準、又は他の評価基準にて得られる値である。

モデルの学習はコンピュータ・システムにおいて行われる。例えば、コンピュータ・システムは、学習データに含まれる参与役割と非言語特徴量と言語特徴量とをモデルに与え、モデルが出力するスキル評定値と学習データに含まれるスキル評定値との差分が小さくなるように、モデル内のパラメータを更新する。コンピュータ・システムは、モデル内のパラメータの更新を複数の学習データを用いて所定条件が満たされるまで繰り返し行う。所定条件は、繰り返し回数や、差分値に対する閾値を用いて定められる。スキル推定部４６は、学習済のモデルを評価器として有する。学習データに含まれるスキル評定値及びモデルが出力するスキル評定値には、例えば、コミュニケーションスキルの評価結果を示すクラスに付与されたラベル、又は、所定範囲の数値が用いられる。評価結果を示すクラスに付与されるラベルは、「ふつう（fair）」、「よい（good）」、「とてもよい（very good）」、「すばらしい（excellent）」などを含み、所定範囲には１から１００までの範囲が定められる。

スキル推定部４６は、会話の参加者のうち一人を評価対象に選択し、選択した参加者に対応する参与役割と非言語特徴量と言語特徴量とを学習済のモデル（評価器）に入力する。スキル推定部４６は、評価器より出力されるスキル評定値を、選択した参加者のコミュニケーションスキルを表す評定値として取得する。

図９は、第３の実施形態におけるコミュニケーションスキル評価装置１０Ｃによる動作の一例を示すフローチャートである。図９のステップ２００では、受信部１２が、複数の参加者による会話の音声情報を各参加者に装着された音声入力装置３０から取得し、会話中における各参加者の計測情報を各参加者に装着された計測装置３２から取得する。受信部１２は、音声情報に参加者を対応付けた対応音声情報と、計測情報に参加者を対応付けた対応計測情報とを記憶部１４に記憶させる。

ステップ２０２では、発話区間検出部１６が、記憶部１４に記憶された対応音声情報に基づいて、各発話の開始及び終了の時刻により定まる発話区間、及び、各発話区間で発話した参加者を検出する。

ステップ２０４では、参与役割付与部１８が、ステップ２０２で検出された発話区間から時系列順に得られる２つの発話を発話ペアとし、各参加者に参与役割を発話ペアごとに付与する。第３の実施形態における参与役割は、第１及び第２の実施形態における参与役割と同じである。

ステップ２０６では、非言語特徴抽出部４２が、記憶部１４に記憶された対応計測情報に基づいて、発話区間それぞれの発話末における各参加者の非言語行動に関する特徴量を抽出する。非言語特徴抽出部４２は、抽出した特徴量から各参加者の非言語特徴量を生成する。

ステップ２０８では、言語特徴抽出部４４が、記憶部１４に記憶された対応音声情報に基づいて、各発話の言語特徴を示す各パラメータを抽出する。言語特徴抽出部４４は、抽出した発話それぞれの各パラメータに基づいて、各参加者の言語特徴量を生成する。

ステップ２１０では、スキル推定部４６が、ユーザの選択操作により指定された参加者から評価対象とする参加者を選択する。
ステップ２１２では、スキル推定部４６が、評価対象として選択した参加者の参与役割、非言語特徴量及び言語特徴量の発話区間ごとの組み合わせを、学習済の評価器に入力する。スキル推定部４６は、評価器の出力を、選択した参加者のコミュニケーションスキルを表す評定値として取得する。

ステップ２１４では、出力部４８が、スキル推定部４６により取得された評定値を出力する。
ステップ２１６では、スキル推定部４６が、ユーザの選択操作により指定された全ての参加者を評価したか否かを判定する。評価されていない参加者がいる場合（ステップ２１６：ＮＯ）、スキル推定部４６は、ステップ２１０へ処理を戻し、ステップ２１０〜２１６の動作を繰り返し行う。全ての参加者が評価された場合（ステップ２１６：ＹＥＳ）、コミュニケーションスキル評価装置１０Ｃは処理を終了する。

第３の実施形態におけるコミュニケーションスキル評価システム９４は、参与役割と複数の非言語行動に関する特徴量とに加えて、各発話に対する言語特徴量を用いることにより、各参加者のコミュニケーションスキルの推定精度を高めることができる。

参加者のコミュニケーションスキルの評定値を取得する際に、非言語特徴量に含まれる視線行動、頭部動作、呼吸動作及び口形変化の特徴量において取得できない特徴量があった場合、スキル推定部４６は、取得できなかった特徴量として所定の値を学習済のモデルへ入力してもよい。所定の値として、例えば、取得できなかった特徴量の範囲における中央値、学習データにおける特徴量の最頻値、平均値、最小値などのいずれかの値を用いてもよい。
また、非言語特徴量に含まれる視線行動、頭部動作、呼吸動作及び口形変化の特徴量の組み合わせごとに学習済のモデルを用意してもよい。スキル推定部４６は、取得した非言語特徴量に含まれる有効な特徴量の組み合わせに対応する学習済のモデルを用いて評定値を取得してもよい。
スキル推定部４６が上記のように動作することにより、コミュニケーションスキル評価システム９４は、非言語特徴量の一部が取得できない場合においても、参加者のコミュニケーションスキルを推定することができる。

言語特徴量として、品詞の出現回数、評価表現の出現回数、感情表現の出現回数、対話行為のラベル、発話のカテゴリ（主題）、係り受けの出現回数、及び、固有表現の出現回数以外のパラメータを用いてもよい。例えば、言語特徴抽出部４４は、テキストデータが示すテキストから得られる形態素ごとに、単語表記、感性表現、擬音語、文字数、位置、及び、シソーラスを抽出してもよい。また、言語特徴抽出部４４は、文節ごとに各パラメータを抽出してもよいし、単語及び文節以外の単位で各パラメータを抽出してもよい。また、発話が日本語において行われる場合、言語特徴抽出部４４は、テキストの文字ごとに各パラメータを抽出してもよい。

コミュニケーションスキル評価装置１０Ｃは、会話における対応計測情報と、発話を示すテキストとから他の非言語特徴量を生成して用いてもよい。例えば、コミュニケーションスキル評価装置１０Ｃは、他の非言語特徴量として、参加者の頷き動作の有無を抽出してもよい。参加者の頷きの有無を推定する推定器として、決定木アルゴリズムを用いた機械学習のモデルを利用してもよい。推定器としてのモデルは、テキストから得られる文節の文字数、テキストにおける文節の位置、文節に含まれる単語に係る単語情報、及び、テキストから得られる対話行為を入力とし、参加者の頷きの有無を出力する。単語情報は、単語の品詞や発音を示す。このような推定器は、例えば、参考文献１、４〜６に記載の技術に基づいて実現してもよい。
［参考文献５］J. R. Quinlan, "Improved use of continuous attributes in c4.5", Journal of Artificial Intelligence Research 4, pp.77-90, 1996.
［参考文献６］Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka, "Controlling listening-oriented dialogue using partially observable Markov decision processes", In Proceedings of the 23rd International Conference on Computational Linguistics, pp.761-769, 2010.

［第４の実施形態］
第４の実施形態における次話者推定システム９６は、複数の参加者が行う会話において、いずれかの参加者による発話が終了したときに次に発話する参加者を推定する。また、次話者推定システム９６は、次に発話すると推定された参加者が発話を開始するタイミングを推定する。複数の参加者が行う会話において、発話終了前後の各参加者の非言語行動に関する特徴と、次の発話を行う参加者との間に強い相関がある。次話者推定システム９６は、この相関に基づいて、次の発話を行う参加者を推定する。

次の発話を行う参加者の推定は、機械学習のモデルとして確率モデルを用いて行われる。ただし、次の発話を行う参加者の推定に用いるモデルは、確率モデルに限定されず、他のモデルを用いてもよい。また、第４の実施形態で取り扱う会話は、参加者が直接対面して行う会話だけでなく、テレビ電話やビデオチャットなどの通信手段を用いた会話も含まれる。会話の参加人数については２人以上であれば、特に制約はない。

図１０は、第４の実施形態における次話者推定システム９６の構成例を示す図である。次話者推定システム９６は、音声入力装置３０と、計測装置３２と、推定装置５０とを備える。第４の実施形態における音声入力装置３０と計測装置３２とは、第１及び第２の実施形態における音声入力装置３０と計測装置３２とそれぞれ同様の構成を有し、同様の動作を行う。

推定装置５０は、受信部１２、記憶部１４、発話区間検出部１６、参与役割付与部５２、非言語特徴抽出部４２、言語特徴抽出部４４、推定部５４及び出力部５６を備える。第４の実施形態における受信部１２、記憶部１４及び参与役割付与部１８は、第１の実施形態における受信部１２、記憶部１４及び参与役割付与部１８と同様の動作をそれぞれ行う。

第４の実施形態における非言語特徴抽出部４２及び言語特徴抽出部４４は、第３の実施形態における非言語特徴抽出部４２及び言語特徴抽出部４４と同様動作をそれぞれ行う。ただし、第４の実施形態における非言語特徴抽出部４２は、注視対象遷移パターンの抽出において、第１の実施形態において説明したラベルＳ、ラベルＬ_ｑ及びラベルＸを用いる。すなわち、第４の実施形態における非言語特徴抽出部４２は、話者交替時に次話者を注視することを示すラベルＮを用いずに、注視対象遷移パターンを抽出する。また、非言語特徴抽出部４２は、参加者Ｐ_ｊ（ｊ＝１，２，…，Ａ）の注視対象が切り替わった時点ｔ_２，ｊを推定部５４へ供給する。なお、時点Ｔ_ｓｅ−Ｔ_ｂから発話末時点Ｔ_ｓｅ＋Ｔ_ａまでの区間において注視対象の切り替わりが生じない場合、非言語特徴抽出部４２は、時点ｔ_２，ｊを推定部５４へ供給しない。

参与役割付与部５２は、(1)現時点の発話における話者と、(2)現時点の発話における非話者との２つの参与役割のいずれか一つを各参加者に付与する。

推定部５４は、モデル記憶部５４１、次話者算出部５４２及びタイミング算出部５４３を備える。モデル記憶部５４１は、次話者を推定する２つの確率モデルと、次の発話が始まるタイミングを推定する３つの確率モデルとを格納する。次話者の推定には、第１の次話者推定モデルと第２の次話者推定モデルとが用いられる。次の発話開始タイミングの推定には、第１の発話開始時点モデル、第２の発話開始時点モデル及び第３の発話開始時点モデルが用いられる。

［次話者の推定］
第１の次話者推定モデルと第２の次話者推定モデルとは、発話区間での言語特徴量及び各参加者の非言語特徴量と、次の発話区間での話者との関係を予め学習したモデルである。第１の次話者推定モデルは、発話区間で言語特徴量及び各参加者の非言語特徴量が出現した際に、話者継続と話者交替とが生じる確率を表す。第２の次話者推定モデルは、発話区間で言語特徴量及び各参加者の非言語特徴量が出現した際に、現時点での話者である参加者Ｐ_ｓ以外の参加者Ｐ_ｉが次の話者になる確率を表す。ただし、ｉ≠ｓ，ｉ＝１，２，…，Ａである。第１の次話者推定モデルと第２の次話者推定モデルとは、事前に収録された会話から、言語特徴量及び各参加者の非言語特徴量と次話者との関係がどのくらいの確率で発生するかを統計的に算出することで得られたものである。以下、それぞれのモデルについて説明する。

第１の次話者確率モデルは、５つの確率を含む。１つ目の確率は、話者交替時に話者である参加者Ｐ_ｓの言語特徴量及び非言語特徴量を組み合わせた特徴パターンｆ_ｓが出現する確率Ｐ（ｆ_ｓ｜ｔｔ）である。２つ目の確率は、話者継続時に話者の言語特徴量及び非言語特徴量を組み合わせた特徴パターンｆ_ｒが出現する確率Ｐ（ｆ_ｒ｜ｎｔｔ）である。３つ目の確率は、話者交替時に非話者である参加者Ｐ_ｒの非言語特徴量を含む特徴パターンｆ_φ（ｒ）（ただし、ｒ＝１，…，Ａ−１）が出現する確率Ｐ（ｆ_φ（ｒ）｜ｔｔ）である。４つ目の確率は、話者継続時に非話者の非言語特徴量を含む特徴パターンｆ_φ（ｒ）が出現する確率Ｐ（ｆ_φ（ｒ）｜ｎｔｔ）である。５つ目の確率は、話者交替が起こる確率Ｐ（ｔｔ）である。ただし、ｔｔは話者交代を表すラベル、ｎｔｔは話者継続を表すラベル、Ｐ（α）はαが起こる事前確率であり、Ｐ（α｜β）はβが発生した場合にαが起こる事後確率である。

第２の次話者確率モデルは、言語特徴量及び非言語特徴量に応じて、参加者Ｐ_ｉ（ｉ≠ｓ，ｉ＝１，２，…，Ａ）が次話者になる確率を表す。具体的には、第２の次話者確率モデルは、２つの確率を含む。１つ目の確率は、話者の言語特徴量及び非言語特徴量を組み合わせた特徴パターンｆ_ｓに基づく参加者Ｐ_ｉが次話者になる確率Ｐ（ｎｓ_ｉ｜ｆ_ｓ）である。２つ目の確率は、非話者の特徴パターンｆ_φ（ｒ）に基づく参加者Ｐ_ｉが次話者になる確率Ｐ（ｎｓ_ｉ｜ｆ_φ（ｒ））である。ｎｓ_ｉは、次話者が非話者である参加者Ｐ_ｉであることを表すラベルである。

次話者算出部５４２は、非言語特徴抽出部４２により抽出される各参加者の非言語特徴量ｆ_１，…，ｆ_Ａと、言語特徴抽出部４４により抽出される言語特徴量ｆ_ｗとを取得する。非言語特徴量ｆ_１，…，ｆ_Ａには、各参加者Ｐ_ａの視線行動、頭部動作、呼吸動作及び口形変化それぞれの特徴量を示す視線特徴量ｆ_ａ，ｇ、頭部動作特徴量ｆ_ａ，ｈ、呼吸動作特徴量ｆ_ａ，ｒ、口形特徴量ｆ_ａ，ｍが含まれる。次話者算出部５４２は、非言語特徴量ｆ_１，…，ｆ_Ａと言語特徴量ｆ_ｗとを第１の次話者確率モデルに与え、第１の次話者確率モデルの出力を次話者推定情報として得る。次話者算出部５４２は、次話者推定情報に基づいて、次話者を推定する。具体的には、次話者算出部５４２は、話者が交替するか、又は、話者が継続するかを判定する。話者が交替すると判定した場合、次話者算出部５４２は、いずれの参加者が次の話者であるかを判定する。

話者の交替が発生するかの判定について説明する。第４の実施形態では、次話者算出部５４２は、各参加者Ｐ_ｊの非言語行動が独立に発生する事象であると仮定し、単純確率モデルを用いて話者の交替が発生するかを判定する。話者の交替が発生する確率Ｐ（ｔｔ｜ｆ_ｓ，ｆ_φ（１），…，ｆ_{φ（Ａ−１）}）および話者継続が行われる確率Ｐ（ｎｔｔ｜ｆ_ｓ，ｆ_φ（１），…，ｆ_{φ（Ａ−１）}）は、式（１）及び(２)にて算出される。次話者推定情報は、式（１）及び(２)にて算出される確率を含む。

式（１）及び（２）におけるＰ（ｔｔ）およびＰ（ｎｔｔ）＝１−Ｐ（ｔｔ）は、モデル記憶部５４１に格納されたモデルである。また、式（１）及び（２）におけるＰ（ｆ_ｓ｜ｔｔ）、Ｐ（ｆ_ｓ｜ｎｔｔ）、Ｐ（ｆ_φ（ｒ）｜ｔｔ）及びＰ（ｆ_φ（ｒ）｜ｎｔｔ）は、モデル記憶部５４１に格納され、非言語特徴量ｆ_１，…，ｆ_Ａと言語特徴量ｆ_ｗに対応するモデルである。

次話者算出部５４２は、式（１）及び（２）によって算出した確率Ｐ（ｔｔ｜ｆ_ｓ，ｆ_φ（１），…，ｆ_{φ（Ａ−１）}）および確率Ｐ（ｎｔｔ｜ｆ_ｓ，ｆ_φ（１），…，ｆ_{φ（Ａ−１）}）を用い、話者交替と話者継続とのいずれが発生するかを判定する。

例えば、次話者算出部５４２は、式（３）が満たされるとき、話者交替と判定し、そうでなければ話者継続と判定する。
Ｐ（ｔｔ｜ｆ_ｓ，ｆ_φ（１），…，ｆ_{φ（Ａ−１）}）
＞Ｐ（ｎｔｔ｜ｆ_ｓ，ｆ_φ（１），…，ｆ_{φ（Ａ−１）}） （３）

また、次話者算出部５４２は、定数等である係数γ（ただし、γ≠０）およびδを含む式（４）が満たされるとき、話者交替と判定し、そうでなければ話者継続と判定してもよい。
Ｐ（ｔｔ｜ｆ_ｓ，ｆ_φ（１），…，ｆ_{φ（Ａ−１）}）
＞γ×Ｐ（ｎｔｔ｜ｆ_ｓ，ｆ_φ（１），…，ｆ_{φ（Ａ−１）}）＋δ （４）

話者継続が行われると判定した場合、次話者算出部５４２は、現在の話者（参加者Ｐ_ｓ）が次話者であることを表すラベルｎｓを出力する。

話者交替が行われると判定した場合、次話者算出部５４２は、いずれの参加者が次の話者であるかを判定する。参加者Ｐ_１，…，Ｐ_Ａの非言語行動が独立に発生する事象であると仮定する。次話者算出部５４２は、現時点の非話者である参加者Ｕ_ｉが次話者になる確率Ｐ（ｎｓ_ｉ）を、式（５）により算出する。

式（５）におけるＰ（ｎｓ_ｉ｜ｆ_ｓ）およびＰ（ｎｓ_ｉ｜ｆ_φ（ｒ））は、モデル記憶部５４１に格納され、非言語特徴量ｆ_１，…，ｆ_Ａと言語特徴量ｆ_ｗに対応するモデルである。次話者推定情報は、確率Ｐ（ｎｓ_ｉ）を含む。

次話者算出部５４２は、式（５）によって確率Ｐ（ｎｓ_ｉ）を算出し、確率Ｐ（ｎｓ_ｉ）が最も大きな参加者Ｐ_ｉを次話者であると判定し、次話者が参加者Ｕ_ｉであることを表すラベルｎｓを出力する。また、次話者算出部５４２は、予め定められた閾値以上の確率Ｐ（ｎｓ_ｉ）に対応する参加者Ｕ_ｉを次話者の候補として判定し、次話者の候補を表すラベルを出力してもよい。また、次話者算出部５４２は、大きい順に選択した複数個の確率Ｐ（ｎｓ_ｉ）に対応する参加者Ｕ_ｉを次話者の候補として判定し、次話者の候補を表すラベルを出力してもよい。

［発話開始タイミングの推定］
次の発話開始タイミングの推定には、第１の発話開始時点モデル、第２の発話開始時点モデル及び第３の発話開始時点モデルについて説明する。第１の発話開始時点モデルは、発話区間での言語特徴量及び各参加者の非言語特徴量と、発話区間の終了時点を基点とした次の発話開始時点との関係を表す。第２の発話開始時点モデルは、話区間での言語特徴量及び各参加者の非言語特徴量と、遷移後の注視行動の開始時点を基点とした次の発話開始時点との関係を表す。第３の発話開始時点モデルは、発話区間の終了時点を基点とした次の発話開始時点を表す。第３の発話開始時点モデルは、注視対象の遷移を表すパターンに依存しない。たとえば、第３の発話開始時点モデルは、すべての発話区間の終了時点を基点とした次の発話開始時点の平均を表すモデル（例えば、当該平均の確率分布を表すモデル）である。

「或る時点を基点とした次の発話開始時点」は、或る時点に対する相対的な発話開始時点を意味し、言い換えると、或る時点を０とした場合の次の発話開始時点を意味する。すなわち、或る時点の絶対時点（実時刻）をαとし、次の発話開始時点の絶対時点をβとすると、「或る時点を基点とした次の発話開始時点」はβ−αである。

タイミング算出部５４３が、第１の発話開始時点モデル、第２の発話開始時点モデル及び第３の発話開始時点モデルを使用する場合について説明する。しかし、タイミング算出部５４３は、３つのモデルのうち一つ又は複数のモデルを発話開始タイミングの推定に用いてもよい。

第１の発話開始時点モデルは、発話区間での言語特徴量及び各参加者の非言語特徴量に応じた、発話区間の終了時点を基点とした次の発話開始時点の確率分布を表す。第２の発話開始時点モデルは、発話区間での言語特徴量及び各参加者の非言語特徴量に応じた、注視行動の開始後を基点とした次の発話開始時点の確率分布を表す。第３の発話開始時点モデルは、発話区間の終了時点を基点とした次の発話開始時点の確率分布を表す。ただし、第１の発話開始時点モデル、第２の発話開始時点モデル及び第３の発話開始時点モデルが表す確率分布は、これらに限定されない。

第１〜第３の発話開始時点モデルは、確率分布を表す確率密度関数である。すなわち、第１の発話開始時点モデルは、発話区間での言語特徴量及び各参加者の非言語特徴量を含む特徴パターンｖに応じた、当該発話区間の終了時点ｔ_１を基点とした次の発話開始時点ｔ−ｔ_１の確率分布を表す確率密度関数ｋ_ｖ（ｔ−ｔ_１）である。ただし、ｔは絶対時点を表す。第２の発話開始時点モデルは、発話区間での言語特徴量及び各参加者の非言語特徴量を含む特徴パターンｖに応じた、遷移後の注視行動が開始された時点ｔ_２を基点とした発話開始時点ｔ−ｔ_２の確率分布を表す確率密度関数ｇ_ｖ（ｔ−ｔ_２）である。

確率密度関数ｋ_ｖ（ｔ−ｔ_１）およびｇ_ｖ（ｔ−ｔ_２）は、特徴パターンｖごとに、参加者が話者と非話者とのいずれであるかを示す２つの発話状態と、話者交替時と話者継続時とのいずれであるかを示す２つの状態と、の組み合わせからなる４種類の状態のそれぞれに対して生成される。すなわち、特徴パターンｖごとに４種類ずつの確率密度関数ｋ_ｖ（ｔ−ｔ_１）およびｇ_ｖ（ｔ−ｔ_２）が生成され、それらが互いに区別される。タイミング算出部５４３は、参与役割付与部５２により付与された役割と、次話者算出部５４２により得られたラベルｎｓとに基づいて、各参加者の状態が４種類の状態のうちいずれの状態であるかを判定する。

例えば、話者交替時に、話者Ｐ_１，非話者Ｐ_２の特徴パターンｆ_１’，ｆ_２’が同一であっても、特徴パターンｆ_１’に応じたｋ_ｆ１’（ｔ−ｔ_１）と、この特徴パターンｆ_２’に応じたｋ_ｆ２’（ｔ−ｔ_１）とは、互いに区別される。同様に、この特徴パターンｆ_１’に応じたｇ_ｆ１’（ｔ−ｔ_２）と、この特徴パターンｆ_２’に応じたｇ_ｆ２’（ｔ−ｔ_２）とは、互いに区別される。

また、話者交替時における参加者Ｐ_１の特徴パターンｆ_１’と、話者継続時における参加者Ｐ_１の特徴パターンｆ_１’とが同一であっても、これらの特徴パターンｆ_１’に応じたｋ_ｆ１’（ｔ−ｔ_１）は互いに区別される。同様に、これらの特徴パターンｆ_１に応じたｇ_ｆ１’（ｔ−ｔ_２）も互いに区別される。

第３の発話開始時点モデルは、発話区間の終了時点ｔ_１を基点とした次の発話開始時点ｔ−ｔ_１の確率分布を表す確率密度関数ｈ（ｔ−ｔ_１）である。この確率密度関数ｈ（ｔ−ｔ_１）は、特徴パターンｖにかかわらず、すべてのｔ−ｔ_１についての確率分布を表すものである。

第１〜第３の発話開始時点モデルに含まれる確率密度関数は、会話の音声情報から事前に集計され、生成される。これらの確率密度関数は、より実際の分布に近い各種関数（たとえば、ガンマ分布など）に近似されてもよい。

タイミング算出部５４３は、次話者算出部５４２により次話者が推定されると、発話区間検出部１６により得られる発話区間Ｕ_ｋの終了時点ｔ_１，ｋ、次話者算出部５４２により得られた次話者を表すラベルｎｓ、各参加者の特徴パターンｆ_１’，…，ｆ_Ａ’および各参加者の遷移後の注視行動が開始された時点ｔ_２，１，…，ｔ_２，Ａを取得する。タイミング算出部５４３は、非言語特徴抽出部４２により抽出される各参加者の非言語特徴量ｆ_ａに含まれる視線特徴量ｆ_ａ，ｇを、次話者を表すラベルｎｓに基づいて更新する。具体的には、視線特徴量ｆ_ａ，ｇに含まれるラベルＬ_ｑのうち次話者の参加者を示すラベルＬ_ｑをラベルＮに変更することで、各参加者の非言語特徴量ｆ_ａから特徴パターンｆ_１’，…，ｆ_Ａ’を取得する。視線特徴量ｆ_ａ，ｇがラベルｎｓに基づいて更新されることにより、タイミング算出部５４３は、話者の交替を反映した発話開始タイミングの推定を行う。なお、タイミング算出部５４３は、視線特徴量ｆ_ａ，ｇの更新を行わずともよい。タイミング算出部５４３は、各参加者の特徴パターンｆ_１’，…，ｆ_Ａ’を特徴パターンｖとして用いる。

タイミング算出部５４３は、取得した終了時点ｔ_１，ｋ、ラベルｎｓ、各参加者の特徴パターンｆ_１’，…，ｆ_Ａ’および時点ｔ_２，１，…，ｔ_２，Ａを、第１〜第３の発話開始時点モデルに与え、第１〜第３の発話開始時点モデルの出力を発話開始タイミング推定情報として得る。タイミング算出部５４３は、発話開始タイミング推定情報に基づいて、次の発話開始タイミングを推定する。すなわち、各参加者の非言語行動が発話のタイミングに影響を与えると考えられるため、特徴パターンｆ_１’，…，ｆ_Ａ’に応じた発話区間の終了から次発話開始までの時間を統計的に集計して得られた確率分布を、タイミング算出部５４３が利用する。タイミング算出部５４３は、得られた確率分布を基に次の発話開始タイミングを推定する。以下にその処理を具体的に説明する。

タイミング算出部５４３は、モデル記憶部５４１から、確率密度関数ｈ（ｔ−ｔ_１）と、確率密度関数ｋ_ｆ１’（ｔ−ｔ_１），…，ｋ_ｆＡ’（ｔ−ｔ_１）と、確率密度関数ｇ_ｆ１’（ｔ−ｔ_２），…，ｇ_ｆＡ’（ｔ−ｔ_２）を抽出する。抽出される確率密度関数ｋ，ｇは、参加者Ｐ_１，…，Ｐ_Ａのそれぞれが話者である場合と非話者である場合と、話者交替時か話者継続時かと、特徴パターンｆ_１’，…，ｆ_Ａ’とに対応する。なお、ｋ及びｇの下付き添え字のｆ１’，…，ｆＡ’は、それぞれｆ_１’，…，ｆ_Ａ’を表す。

参加者Ｐ_１，…，Ｐ_Ａそれぞれが話者であったか非話者であったかは、１つ前の発話区間に対する処理においてタイミング算出部５４３が取得したラベルｎｓから特定できる。話者交替時か話者継続時かは、１つ前の発話区間に対する処理においてタイミング算出部５４３が取得したラベルｎｓと、今回の処理においてタイミング算出部５４３が取得したラベルｎｓとから特定できる。

タイミング算出部５４３は、発話区間Ｕ_ｋの終了時点ｔ_１，ｋ、および遷移後の注視行動が開始された時点ｔ_２，１，…，ｔ_２，Ａを、抽出したｈ（ｔ−ｔ_１），ｋ_ｆ１’（ｔ−ｔ_１），…，ｋ_ｆＡ’（ｔ−ｔ_１），ｇ_ｆ１’（ｔ−ｔ_２），…，ｇ_ｆＡ’（ｔ−ｔ_２）に代入して得られるｈ（ｔ−ｔ_１，ｋ），ｋ_ｆ１’（ｔ−ｔ_１，ｋ），…，ｋ_ｆＡ’（ｔ−ｔ_１，ｋ），ｇ_ｆ１’（ｔ−ｔ_２，１），…，ｇ_ｆＡ’（ｔ−ｔ_２，Ａ），ｈ（ｔ−ｔ_１）から、混合分布を表す確率密度関数Ｐｓ（ｔ）を生成する。タイミング算出部５４３は、生成した確率密度関数Ｐｓ（ｔ）のピークに対応する時点ｔを発話開始タイミングとする。非言語特徴抽出部４２により時点ｔ_２，ｊが生成されていない場合、タイミング算出部５４３は、ｇ_ｆｊ’（ｔ−ｔ_２，ｊ）＝１とする。発話開始タイミング推定情報は、確率密度関数Ｐｓ（ｔ）を含む。確率密度関数Ｐｓ（ｔ）は、例えば、以下の式（６）で算出できる。

タイミング算出部５４３は、Ｐｓ（ｔ）が最大になる時点ｔを次の発話開始タイミングとして判定する。タイミング算出部５４３は、発話開始タイミングとして判定された時点ｔ（次発話発生時点）を表すラベルＴ_ｕｂを発話開始タイミング情報として出力する。また、タイミング算出部５４３は、予め定められた閾値以上の確率Ｐｓ（ｔ）に対応する時点ｔを次発話発生時点の候補とし、発話発生時点の候補を表すラベルを出力してもよい。また、タイミング算出部５４３は、大きい順番で選択した複数個の確率Ｐｓ（ｔ）に対応する時点ｔを次発話発生時点の候補とし、当該次発話発生時点の候補を表すラベルを出力してもよい。

出力部５６は、推定部５４において、次話者算出部５４２により算出された次話者を示すラベルｎｓと、タイミング算出部５４３により算出された次発話発生時点を示すラベルＴ_ｕｂとを、推定結果として推定装置５０の外部へ出力する。なお、出力部５６は、推定結果を記憶部１４に記憶させてもよい。

図１１は、第４の実施形態における推定装置５０による動作の一例を示すフローチャートである。図１１のステップ３００〜３１６の各動作は、会話における発話が終了するごとに行われ、会話が終了するまで繰り返して行われる。
図１１のステップ３００では、受信部１２が複数の参加者による会話の音声情報を各参加者に装着された音声入力装置３０から取得し、会話中における各参加者の計測情報を各参加者に装着された計測装置３２から取得する。受信部１２は、音声情報に参加者を対応付けた対応音声情報と、計測情報に参加者を対応付けた対応計測情報とを記憶部１４に記憶させる。

ステップ３０２では、発話区間検出部１６が、記憶部１４に記憶された対応音声情報に基づいて発話の終了を検出し、発話の開始及び終了の時刻により定まる発話区間、及び、発話した参加者を検出する。

ステップ３０４では、参与役割付与部５２が、発話区間検出部１６により検出された発話区間における参与役割を各参加者に付与する。
ステップ３０６では、非言語特徴抽出部４２が、記憶部１４に記憶された対応計測情報に基づいて、発話区間の発話末における各参加者の非言語行動に関する特徴量を抽出する。非言語特徴抽出部４２は、抽出した特徴量から各参加者の非言語特徴量を生成する。

ステップ３０８では、言語特徴抽出部４４が、記憶部１４に記憶された対応音声情報に基づいて、発話内容の言語特徴を示す各パラメータを抽出する。言語特徴抽出部４４は、抽出した発話それぞれの各パラメータに基づいて、発話区間における発話内容に対する言語特徴量を生成する。

ステップ３１０では、次話者算出部５４２が、発話区間における各参加者の参与役割及び非言語特徴量と発話に対する言語特徴量とを、第１及び第２の次話者確率モデルに与える。次話者算出部５４２は、第１及び第２の次話者確率モデルの出力に基づいて次話者を推定し、次話者を表すラベルｎｓを出力する。

ステップ３１２では、タイミング算出部５４３が、発話区間における各参加者の参与役割及び非言語特徴量と発話に対する言語特徴量、次話者算出部５４２により得られたラベルｎｓ、各参加者の注視対象が切り替わった時点ｔ_２，ｊに基づいて、次の発話開始タイミングを推定する。タイミング算出部５４３は、推定した発話開始タイミングを示すラベルＴ_ｕｂを出力する。

ステップ３１４では、出力部５６が、次話者算出部５４２から出力される次話者を示すラベルｎｓと、タイミング算出部５４３から出力されるラベルＴ_ｕｂとを、推定結果として出力する。

ステップ３１６では、会話が終了していない場合に処理がステップ３００に戻される。会話が終了している場合、推定装置５０は処理を終了する。会話の終了は、例えば、受信部１２が各参加者の新たな音声情報を受信したか否かに応じて判定されてもよい。

第４の実施形態における次話者推定システム９６は、複数の非言語行動に関する特徴量と、発話内容に基づいた言語特徴量とを用いることにより、次話者及び発話開始タイミングの推定精度を高めることができる。
また、次話者推定システム９６を利用することにより、複数の人が参加する会議の映像中継において次に発話する参加者にカメラを向ける操作の自動化を図ることできる。

第４の実施形態における次話者推定システムは、以下のように表現してもよい。
会話における各参加者の音声情報を入力する音声入力装置と、
前記会話における前記参加者それぞれの非言語行動の計測を行う計測装置と、
前記音声入力装置により入力される前記音声情報に基づいて、発話の開始及び終了により定まる発話区間と、前記発話を行った参加者とを検出する発話区間検出部と、
前記発話区間検出部により検出される前記発話区間における前記参加者それぞれの役割として、話者又は非話者のいずれかを付与する参与役割付与部と、
前記発話区間における前記参加者それぞれの前記計測の結果から、前記参加者それぞれの前記非言語行動の特徴量を抽出する非言語特徴抽出部と、
前記発話区間検出部により検出される前記発話区間での発話に対する言語特徴を示す言語特徴量を抽出する言語特徴抽出部と、
前記発話区間検出部により検出される前記発話区間において、前記参加者それぞれに付与された役割と、前記参加者それぞれの前記非言語行動の特徴量と、前記言語特徴量とに基づいて、前記発話区間の次の発話区間における話者と、前記次の発話区間における発話開始タイミングとの少なくともいずれか一方を推定する推定部と、
を備える次話者推定システム。

第４の実施形態では、タイミング算出部５４３が、発話開始タイミングの推定に、参加者の注視対象が切り替わった時点ｔ_２，ｊを用いる場合について説明した。タイミング算出部５４３は、注視対象が切り替わった時点に代えて、他の非言語行動に関する特徴に所定の変化が生じた時点を、時点ｔ_２，ｊとして用いてもよい。
また、第４の実施形態では、次話者算出部５４２及びタイミング算出部５４３が、各参加者の非言語行動に関する特徴として、視線行動、頭部動作、呼吸動作及び口形変化それぞれの特徴量を用いる場合について説明した。次話者算出部５４２及びタイミング算出部５４３は、更に他の非言語行動に関する特徴に対する特徴量を用いてもよいし、視線行動、頭部動作、呼吸動作及び口形変化のうち少なくとも一つを用いてもよい。

第２の実施形態における次話者推定部２６として、第４の実施形態における次話者算出部５４２を用いてもよい。この場合、次話者算出部５４２が取得する確率Ｐ（ｎｓ_ｉ）を次話者推定確率として用いることで、第２の実施形態における特徴量抽出部２０が、スキル判別パラメータの値を算出してもよい。
例えば、次話者算出部５４２が次話者として推定した参加者が次の発話区間における話者であった場合、特徴量抽出部２０は、その参加者のスキル判別パラメータの値を１ポイント増加させる。次話者として推定された参加者が次の発話区間における話者でない場合、特徴量抽出部２０は、その参加者のスキル判別パラメータの値を１ポイント減少させる。
また、次話者算出部５４２が次話者として推定しなかった参加者が次の発話区間における話者でない場合、特徴量抽出部２０は、その参加者のスキル判別パラメータの値を１ポイント増加させる。次話者として推定されなかった参加者が次の発話区間における話者であった場合、特徴量抽出部２０は、その参加者のスキル判別パラメータの値を１ポイント減少させる。
特徴量抽出部２０が、このように各参加者のスキル判別パラメータの値を発話区間ごとに更新することにより、会話における各参加者のスキル判別パラメータの値を算出することができる。

以上、実施形態としてコミュニケーションスキル評価システム、コミュニケーションスキル評価装置、次話者推定システム及び推定装置を例示して説明した。実施形態は、コンピュータを、コミュニケーションスキル評価装置又は推定装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

その他、上記実施形態で説明したコミュニケーションスキル評価装置及び推定装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

本発明は、会話中の参加者のコミュニケーションスキルを評価することが必要となる用途に適用できる。

１０Ａ、１０Ｂ、１０Ｃ コミュニケーションスキル評価装置
１２ 受信部
１４ 記憶部
１６ 発話区間検出部
１８、５２ 参与役割付与部
２０ 特徴量抽出部
２２ 推定部
２４、４８、５６ 出力部
２６ 次話者推定部
３０ 音声入力装置
３２ 計測装置
３２Ａ 注視対象計測部
３２Ｂ 頭部動作計測部
３２Ｃ 呼吸動作計測部
３２Ｄ 口特徴点計測部
４２ 非言語特徴抽出部
４４ 言語特徴抽出部
４６ スキル推定部
５０ 推定装置
５４ 推定部
９０、９２、９４ コミュニケーションスキル評価システム
５４１ モデル記憶部
５４２ 次話者算出部
５４３ タイミング算出部

Claims (12)

1. 会話中の各参加者の音声情報を入力する音声入力装置と、
   前記会話中の各参加者の非言語行動の計測を行う計測装置と、
   前記音声入力装置により入力された前記音声情報に基づいて、各発話の開始及び終了の時刻により定まる発話区間、及び、各発話区間で発話した参加者を検出する発話区間検出部と、
   前記発話区間検出部により検出された前記発話区間から時系列順に得られる２つの発話それぞれを発話ペアとし、前記発話ペアそれぞれにおいて前記参加者それぞれが発話したか否かに応じて、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す参与役割を前記参加者それぞれに付与する参与役割付与部と、
   前記計測装置による前記計測の結果に基づいて、前記発話区間それぞれにおける発話末での前記非言語行動に関する前記参加者それぞれの非言語特徴量を抽出する特徴量抽出部と、
   前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する推定部と、
   を備えたコミュニケーションスキル評価システム。
2. 前記計測装置は、前記非言語行動として、前記参加者の視線行動、頭部動作、呼吸動作、及び口形変化の少なくとも１つを計測する、
   請求項１に記載のコミュニケーションスキル評価システム。
3. 前記発話区間それぞれにおける発話の言語特徴を示す言語特徴量を抽出する言語特徴抽出部を更に備え、
   前記推定部は、前記言語特徴抽出部により抽出された前記言語特徴量と、前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する、
   請求項１に記載のコミュニケーションスキル評価システム。
4. 会話中の各参加者の音声情報に基づいて、各発話の開始及び終了の時刻により定まる発話区間、及び、各発話区間で発話した参加者を検出する発話区間検出部と、
   前記発話区間検出部により検出された前記発話区間から時系列順に得られる２つの発話それぞれを発話ペアとし、前記発話ペアそれぞれにおいて前記参加者それぞれが発話したか否かに応じて、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す参与役割を前記参加者それぞれに付与する参与役割付与部と、
   前記会話中の前記参加者それぞれの非言語行動の計測結果に基づいて、前記発話区間それぞれにおける発話末での前記非言語行動に関する前記参加者それぞれの非言語特徴量を抽出する特徴量抽出部と、
   前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する推定部と、
   を備えたコミュニケーションスキル評価装置。
5. 前記特徴量抽出部は、前記非言語特徴量として、前記参加者それぞれの視線行動、頭部動作、呼吸動作、及び口形変化の少なくとも１つを表す特徴量を抽出する、
   請求項４に記載のコミュニケーションスキル評価装置。
6. 前記非言語行動の前記計測結果に基づいて、前記会話中の発話の終了ごとに前記参加者の各々が次に発話を行う確率である次話者確率を推定する次話者推定部を更に備え、
   前記特徴量抽出部は、前記非言語行動に関する前記非言語特徴量として、前記参加者それぞれのコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、前記会話中に前記参加者が発話したとき又は前記参加者が発話しなかったときの前記参加者の前記次話者確率に基づいて更に算出する、
   請求項５に記載のコミュニケーションスキル評価装置。
7. 前記発話区間それぞれの発話の言語特徴を示す言語特徴量を抽出する言語特徴抽出部を更に備え、
   前記推定部は、前記言語特徴抽出部により抽出された前記言語特徴量と、前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する、
   請求項４に記載のコミュニケーションスキル評価装置。
8. 発話区間検出部が、会話中の各参加者の音声情報に基づいて、各発話の開始及び終了の時刻により定まる発話区間、及び、各発話区間で発話した参加者を検出するステップと、
   参与役割付与部が、前記発話区間検出部により検出された前記発話区間から時系列順に得られる２つの発話それぞれを発話ペアとし、前記発話ペアそれぞれにおいて前記参加者それぞれが発話した否かに応じて、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す参与役割を前記参加者それぞれに付与するステップと、
   特徴量抽出部が、前記会話中の前記参加者それぞれの非言語行動の計測結果に基づいて、前記発話区間それぞれにおける発話末での前記非言語行動に関する前記参加者それぞれの非言語特徴量を抽出するステップと、
   推定部が、前記参与役割付与部により付与された前記参与役割と、前記特徴量抽出部により抽出された前記非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定するステップと、
   を含むコミュニケーションスキル評価方法。
9. 会話中の各参加者が発する音声を示す音声情報に基づいて得られる各発話の開始及び終了の時刻により定まる発話区間から時系列順に得られる２つの発話を発話ペアとし、前記発話ペアそれぞれにおいて前記参加者それぞれが発話したか否かに応じて、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す参与役割を前記参加者それぞれに付与する参与役割付与部と、
   前記参与役割付与部により付与された前記参与役割と、前記発話区間の発話末における前記参加者の非言語行動を示す非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する推定部と、
   を備えたコミュニケーションスキル評価システム。
10. 会話中の各参加者が発する音声を示す音声情報に基づいて得られる各発話の開始及び終了の時刻により定まる発話区間から時系列順に得られる２つの発話を発話ペアとし、前記発話ペアそれぞれにおいて前記参加者それぞれが発話したか否かに応じて、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す参与役割を前記参加者それぞれに付与する参与役割付与部と、
    前記参与役割付与部により付与された前記参与役割と、前記発話区間の発話末における前記参加者の非言語行動を示す非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定する推定部と、
    を備えたコミュニケーションスキル評価装置。
11. 参与役割付与部が、会話中の各参加者が発する音声を示す音声情報に基づいて得られる各発話の開始及び終了の時刻により定まる発話区間から時系列順に得られる２つの発話を発話ペアとし、前記発話ペアそれぞれにおいて前記参加者それぞれが発話したか否かに応じて、話者継続時に発話する現話者、話者継続時の現話者以外の非話者、話者交替時に発話をやめる現話者、話者交替時に次に発話する次話者、及び、話者交替時の現話者及び次話者以外の非話者のいずれかを示す参与役割を前記参加者それぞれに付与するステップと、
    推定部が、前記参与役割付与部により付与された前記参与役割と、前記発話区間の発話末における前記参加者の非言語行動を示す非言語特徴量との前記発話区間それぞれにおける組み合わせに基づいて、前記参加者ごとにコミュニケーションスキルを推定するステップと、
    を含むコミュニケーションスキル評価方法。
12. コンピュータを、請求項４〜７及び請求項１０のいずれか１項に記載のコミュニケーションスキル評価装置として機能させるためのプログラム。

Images