JP6138709B2 - ライフログ連携対話システム、ライフログ連携対話方法及びプログラム - Google Patents

Description

本発明は、ユーザの行動等を記録したライフログを用いたライフログ連携対話システム、ライフログ連携対話方法及びプログラムに関する。

従来、システムとユーザとの対話において収録された対話の発話毎に、発話の意味や内容を表すラベル（対話行為）を付与し、それに基づいてユーザのその後の発話の内容を予測するシステムが知られている（例えば、特許文献１）。一方、写真、ビデオ、録音等のメディア情報や、小型化、省電力化されたセンサから取得したセンサデータをライフログとして収集する技術も存在する（例えば、非特許文献１及び非特許文献２）。収集されたライフログは、ユーザの行動を知り、さらにはよりよいサービスを提供できるようにするため、例えば、サービスの使い勝手の向上や、行動を予測したさまざまなサービスの提供に利用される。他方、音声による自動応答システムは古くから検討が重ねられてきており、電話を使ったチケット等の予約販売やサポートデスクでの一次対応（例えば、非特許文献３）及び、家電やロボットとの対話（例えば、非特許文献４）で広く活用されている。今日、インターネット及びクラウドにおいては、情報の開示範囲が全世界のものから特定個人に限定されているものがあり、また、情報の構造化が全くないものから情報が表形式になっているものまである。

特開２０１１−１０８０５５号公報

間瀬健二、「インタラクションに基づく体験共有コミュニケーション」、 電子情報通信学会技術研究報告 ＰＲＭＵ２００５−１４３／ＨＩＰ２００５−１１３、２００６年１月 野間春夫 他、「センサ・ネットワークにおける個人の行動計測のための小型装着型機器の開発」、情報処理学会研究報告 ２００７−ＵＢＩ−１５（６）、２００７年７月２０日 駒谷和範 他、「発話行為レベルの情報をユーザ発話の解釈に用いる音声対話システム」、情報処理学会論文誌 ＶＯＬ．５２、 Ｎｏ．１２、 ３３７４−３３８５、２０１１年１２月 杉山治 他、「コミュニケーションロボットのための発話とジェスチャのアサインパターンの抽出とその発展的開発手法の提案」、電子情報通信学会論文誌 Ａ． Ｖｏｌ．Ｊ９５−Ａ Ｎｏ．１、ｐｐ．４６−５９、２０１２年

さまざまなセンサデータの収集が容易に行えるようになってきたが、単なる数値の並びであるセンサデータのままでは利用価値が低い。センサデータは何らかの意味づけがされることで、有用なデータとして活用できる。非常に特徴的なデータであれば、自動的に意味づけのラベルを付与して有用なデータとしてライフログを活用することができる場合もあるが、それ以外の場合は、人手でラベル付けをする必要があり、非常に労力がかかるためなかなか進まない。システムによりラベル付けを自動化する方法もあるが、１００％の精度は出ないことから、正しくないラベル付けや精度が不十分なラベル付けがなされてしまう場合があった。

かかる点に鑑みてなされた本発明の目的は、ライフログとユーザの認識との矛盾が発生してもユーザとの対話を通じてその矛盾を正確に修正することができるライフログ連携対話システム、ライフログ連携対話方法及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るライフログ連携対話システムは、ライフログ情報管理部と、トピック管理部と、発話生成部と、応答解析部とを有し、前記ライフログ情報管理部は、ユーザに関するライフログ情報を記憶し、前記トピック管理部は、前記ユーザに関するライフログから発話トピックを生成し、前記発話生成部は、生成された前記発話トピックに基づいて発話を生成し、前記応答解析部は、生成された前記発話を含む対話を前記ユーザと行い、取得した応答内容から応答トピックを生成し、前記トピック管理部は更に、前記発話トピックと前記応答トピックとを比較し、前記比較の結果矛盾がある場合、前記応答トピックに基づいて前記ライフログに対して修正、追加又は削除の少なくともいずれかによる更新を行うことを特徴とする。

また、上記課題を解決するため、本発明に係るライフログ連携対話方法は、ライフログ情報管理部により、ユーザに関するライフログ情報を記憶するステップと、トピック管理部により、前記ユーザに関するライフログから発話トピックを生成するステップと、発話生成部により、生成された前記発話トピックに基づいて発話を生成するステップと、応答解析部により、生成された前記発話を含む対話を前記ユーザと行い、取得した応答内容から応答トピックを生成するステップと、トピック管理部により更に、前記発話トピックと前記応答トピックとを比較し、前記比較の結果矛盾がある場合、前記応答トピックに基づいて前記ライフログに対して修正、追加又は削除の少なくともいずれかによる更新を行うステップとを有することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータに、ユーザに関するライフログ情報を記憶する手順と、前記ユーザに関するライフログから発話トピックを生成する手順と、生成された前記発話トピックに基づいて発話を生成する手順と、生成された前記発話を含む対話を前記ユーザと行い、取得した応答内容から応答トピックを生成する手順と、前記発話トピックと前記応答トピックとを比較し、前記比較の結果矛盾がある場合、前記応答トピックに基づいて前記ライフログに対して修正、追加又は削除の少なくともいずれかによる更新を行う手順と、を実行させる。

本発明によれば、ライフログとユーザの認識との矛盾が発生してもユーザとの対話を通じてその矛盾を修正することができる。

本発明の一実施形態に係るライフログ連携対話システムの概略構成を示す図である。 本発明の一実施形態に係るライフログ連携対話システムにおけるライフログサーバの機能ブロック図である。 本発明の一実施形態に係るライフログ連携対話システムにおける利用者端末の機能ブロック図である。 本発明の一実施形態に係るライフログ連携対話システムの動作フローを示す図である。 本発明の一実施形態に係るライフログ連携対話システムの動作フローを示す図である。 本発明の第一の実施形態に係るライフログ連携対話システムの動作フローを示す図である。 本発明の第二の実施形態に係るライフログ連携対話システムの動作フローを示す図である。 本発明の第三の実施形態に係るライフログ連携対話システムの動作フローを示す図である。 本発明の第四の実施形態に係るライフログ連携対話システムの動作フローを示す図である。 本発明の第五の実施形態に係るライフログ連携対話システムの動作フローを示す図である。 本発明の第六の実施形態に係るライフログ連携対話システムの動作フローを示す図である。 本発明の第七の実施形態に係るライフログ連携対話システムの動作フローを示す図である。 本発明の一実施形態に係るライフログ連携対話システムにおけるライフログ情報ＤＢの一例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。

［システム構成］
図１は、本発明の一実施形態に係るライフログ連携対話システムの概略構成を示す図である。図１に示す概略構成は一例であり、各構成は任意に組み合わせることが可能であることに留意されたい。本実施形態においては、ネットワークＮＷを介してライフログサーバ１及び利用者端末２が接続されている。ネットワークＮＷに接続されるライフログサーバ及び利用者端末の数はそれぞれ１つに限定されない。端末の形態は、図１に図示されているような設置型の端末であっても、利用者が持ち運ぶことができる携帯型の端末であってもよい。

以下、より具体的にライフログサーバ１及び利用者端末２の構成について説明する。

図２は、本発明の一実施形態に係るライフログ連携対話システムにおけるライフログサーバ１の機能ブロック図である。ライフログサーバ１は、制御部１１と、利用者端末２とのライフログ通信を行うインターフェースを構成する通信制御部１２と、情報解析部１３と、ライフログ情報管理部１４と、記憶部１５とを備える。更に、情報解析部１３は、インターネット情報解析部１３ａと、センサ情報解析部１３ｂと、パーソナル情報解析部１３ｃと、メディア情報解析部１３ｄとを備える。本発明に係るライフログサーバ１の各機能を説明するが、ライフログサーバ１が備える他の機能を排除することを意図したものではないことに留意されたい。

ライフログサーバ１は、コンピュータとして構成することができる。ライフログサーバ１は、制御部１１と、利用者端末２とのライフログ通信を行うインターフェースを構成する通信制御部１２と、情報解析部１３と、ライフログ情報管理部１４の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部１５に格納し、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。

制御部１１は、ライフログサーバ１の各種動作を制御する。例えば、制御部１１は、通信制御部１２を制御して、ライフログ情報ＤＢ１４ａに蓄積されたライフログ情報を送信させる。

通信制御部１２は、利用者端末２に対して通信を行うインターフェースを構成する。通信は、有線又は無線の少なくとも一方により行われる。

情報解析部１３は、情報を解析及び／又は抽出する。具体例は以下に示す。

インターネット情報解析部１３ａは、ライフログ情報管理部１４から検索条件を取得（受信）した場合は、その検索条件にて利用者端末２のユーザのＳＮＳの書き込み、ブログ、ホームページ等の情報を検索して、検索した情報をライフログ情報管理部１４に送信する。また、インターネット情報解析部１３ａは、ＳＮＳの書き込み、ブログ、ホームページ等の情報から内容を抽出し、抽出した情報をライフログ情報としてライフログ情報管理部１４に送信することもできる。

センサ情報解析部１３ｂは、利用者端末２のユーザのモーションセンサ（位置情報センサ（ＧＰＳ）、加速度センサ、方位センサ等）、脈拍等のバイタルセンサ等の情報を取得し、その内容を解析し、日時、センサ情報、タグ情報（ラベル）等によるライフログ情報をライフログ情報管理部１４に送信する。また、センサ情報解析部１３ｂは、ライフログ情報管理部１４から検索条件を取得した場合に、モーションセンサやバイタルセンサ等の情報を検索して、検索した情報をライフログ情報管理部１４に送信することもできる。

パーソナル情報解析部１３ｃは、ライフログ情報管理部１４から検索条件を取得した場合は、その検索条件にて利用者端末２のユーザのメール、スケジュール等の情報を検索して、検索した情報をライフログ情報管理部１４に送信する。また、パーソナル情報解析部１３ｃは、利用者端末２のユーザのメール、スケジュール等のテキスト情報等を取得し、その内容をライフログ情報管理部１４に送信することもできる。パーソナル情報解析部１３ｃは、利用者端末２に備わっていてもよい。

メディア情報解析部１３ｄは、利用者端末２のユーザの写真、ビデオ、音声ファイル等のメディア情報を取得し、取得した情報をライフログ情報管理部１４に送信する。メディア情報解析部１３ｄは、ライフログ情報管理部１４から検索条件を取得した場合は、その検索条件にて写真、ビデオ、音声ファイル等のメディア情報を検索して、検索した情報をライフログ情報管理部１４に送信する。また、メディア情報解析部１３ｄは、メディア情報を解析した結果とユーザの応答とに矛盾が発生したとトピック管理部２３が判定した場合、ライフログ情報管理部１４の指示によりメディア解析パラメータを変更する。

情報解析部１３は、インターネット情報解析部１３ａ等の各情報解析部が情報を取得する度にその情報をライフログ情報管理部１４に送信してもよいし、あらかじめ定められた分量の情報が記憶部１５に蓄積される度にライフログ情報管理部１４に送信してもよいし、１日のうち所定の時間にライフログ情報管理部１４に送信してもよい。

ライフログ情報管理部１４は、例えば、インターネット情報解析部１３ａ、パーソナル情報解析部１３ｃ及びメディア情報解析部１３ｄに検索条件を送信し、それら情報解析部による検索の結果を検索内容として取得する。ライフログ情報管理部１４は、その検索内容によりタグ情報を生成し、ライフログ情報を修正する。タグ情報は、ラベルと内容とを含み、例えば、位置情報からユーザが会社にいると判定される場合のタグ情報は、「場所ラベル：会社」となる。ライフログ情報管理部１４は、形態素解析等の方法を利用して、情報解析部１３から取得した検索内容をライフログ情報ＤＢ１４ａに蓄積することもできる。ライフログ情報ＤＢ１４ａの一例を図１３に示す。また、ライフログ情報管理部１４は、トピック管理部２３からライフログ情報（修正）及び修正内容を受信した場合、受信した内容に基づきライフログ情報（蓄積）を修正する。更に、ライフログ情報管理部１４は、トピック管理部２３からライフログ情報（パラメータ変更）及び変更内容を受信した場合、その変更内容に基づき該当する情報解析部に対し、パラメータ変更指示を行う。

図３は、本発明の一実施形態に係るライフログ連携対話システムにおける利用者端末２の機能ブロック図である。利用者端末２は、制御部２１と、通信制御部２２と、トピック管理部２３と、発話生成部２４と、利用者が操作するインターフェース２５ａの入力及び出力を制御するインターフェース制御部２５と、応答解析部２６と、記憶部２７とを備える。トピック管理部２３は、更に、応答トピックＤＢ２３ａと、発話トピックＤＢ２３ｂとを備える。本実施形態では応答トピックＤＢ２３ａ及び発話トピックＤＢ２３ｂがトピック管理部２３に備わっているが、それらがトピック管理部２３の外部に備わり、必要に応じてトピック管理部２３によって読み出されるように構成することもできる。それらが備わる場所は、利用者端末２の内部に限られない。本発明に係る利用者端末２の各機能を説明するが、利用者端末２が備える他の機能を排除することを意図したものではないことに留意されたい。

利用者端末２は、コンピュータとして構成することができる。利用者端末２は、制御部２１と、通信制御部２２と、トピック管理部２３と、発話生成部２４と、利用者が操作するインターフェース２５ａの入力及び出力を制御するインターフェース制御部２５と、応答解析部２６の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部２７に格納し、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。

制御部２１は、利用者端末２の各種動作を制御する。例えば、制御部２１は、通信制御部２２を制御して、ライフログ情報の修正指示をライフログサーバ１に送信させる。

通信制御部２２は、ライフログサーバ１に対して通信を行うインターフェースを構成する。通信は、有線又は無線の少なくとも一方により行われる。

トピック管理部２３は、応答トピックＤＢ２３ａ及び発話トピックＤＢ２３ｂを有する。ライフログ連携対話システムは、例えば、応答トピックＤＢ２３ａ及び発話トピックＤＢ２３ｂにおいて、応答トピック又は発話トピックと同等の情報（例えば、「行動ラベル：食事」、「場所ラベル：●●●軒（ラーメン店）」又は「食事ラベル：ラーメン」のように構造化された情報）を複数格納することができる。トピック管理部２３はまず、発話生成に利用する発話トピックを生成するために、ライフログ情報管理部１４に対して検索条件を送信する。トピック管理部２３はその後、ライフログ情報管理部１４からライフログ情報を受信し、ライフログ情報に基づいて発話トピックを生成する。トピック管理部２３は、生成した発話トピックを発話生成部２４に送信する。トピック管理部２３は、応答解析部２６より応答トピックを受信すると、応答トピックと発話トピックとを比較し、矛盾が発生したかどうかを判定する。具体的な比較の手法としては、ラベルが同一であるが内容が異なるものがあるかどうかを判定し異なるものがあれば矛盾発生とする手法や、発話トピックにはないラベルが応答トピックに含まれている場合に矛盾発生とする手法がある。

「矛盾発生」の状態になった場合、トピック管理部２３は、以下の３つの対策の少なくともいずれかをとることができる。１つ目は（Ａ）問題が生じたタグ情報について値を書き換えることである。この場合、トピック管理部２３は、ライフログ情報管理部１４にライフログ情報（修正）とその修正内容を送信する。２つ目は（Ｂ）処理対象が多すぎるなどの理由により通常は用いていない解析方法を使って再度解析を行うことで、タグ情報の値を入れ替えることである。この場合、トピック管理部２３は、ライフログ情報管理部１４にライフログ情報（検索）とその検索内容を送信する。３つ目は（Ｃ）問題を生じさせる解析をした情報解析部に対し、解析パラメータを変更させることである。この場合、トピック管理部２３は、ライフログ情報管理部１４に対し、ライフログ情報（パラメータ変更）とその変更内容を送信する。

発話生成部２４は、トピック管理部２３より発話トピックを取得し、取得した発話トピックに基づいて発話を生成する。発話生成には、スマートフォン等でバーチャル・エージェントを用いて行っている方法や、ロボット等で行っている方法といった従来の方法を用いる。発話生成部２４は、生成した発話をインターフェース制御部２５に送信する。

インターフェース制御部２５は、発話生成部２４で生成された発話内容を、インターフェース２５ａを介してユーザに音声や画像・映像等で提示する。表示装置がある場合は、発話トピックに関連した画像や映像を表示してもよい。発話トピックに関連した画像とは、例えば、発話トピックに「ラーメン」が含まれる場合の「ラーメンの画像」が挙げられる。また、表示装置がある場合は、表示装置にバーチャル・エージェントを表示して、ニッコリ笑っているように見える動作（アニメーション）をさせてもよい。また、ロボット等の装置があれば、発話「おいしかったですか？」に合わせて、首を傾げながら笑うように見える動作をさせることもできる。また、インターフェース制御部２５は、ユーザの応答音声を、音声認識等の従来の手法を用いて応答内容に変換し、応答解析部２６に送信する。

応答解析部２６は、インターフェース制御部２５より応答内容を取得し、その内容を形態素解析等の手法を用いて解析し、発話トピックと同様な形式の応答トピックに変換する。形式には、ラベルとその内容を含む。

上述した各機能ブロックの数は限定されず、複数備えて、処理を分割してもよい。また、機能ブロックのいくつかを統合してもよい。更に、例えば、情報解析部１３及びライフログ情報管理部１４を、ライフログサーバ１ではなく利用者端末２に備えるといったように、ライフログサーバ１の機能の少なくとも一部を利用者端末２に備えさせることもできる。その逆も同様である。

［システム動作］
図４及び図５は、本発明の一実施形態に係るライフログ連携対話システムの動作フローを示す図である。

図４は、ライフログサーバ１のライフログ情報管理部１４が、情報解析部１３が取得した情報をライフログ情報ＤＢ１４ａに蓄積するフローを示す図である。

図４を参照するに、ライフログサーバ１の情報解析部１３は、ユーザが利用するモーションセンサやバイタルセンサ等から情報を取得する（ステップＳ３１）。次に情報解析部１３は取得した情報を解析し、日時、センサ情報等、タグ情報（ラベル）等の情報を抽出する。（ステップＳ３２）。具体例は図１３に示す。なお、解析及び抽出は、情報解析部１３ではなくライフログ情報管理部１４が行ってもよい。そして情報解析部１３は、抽出した情報をライフログ情報管理部１４に送信する。前述のとおり、情報解析部１３は、あらかじめ定められた分量の情報が情報解析部１３に蓄積される度にライフログ情報管理部１４に送信してもよいし、１日のうち所定の時間にライフログ情報管理部１４に送信してもよい。ライフログ情報管理部１４は、取得した情報を、ライフログ情報としてライフログ情報ＤＢ１４ａに蓄積する（ステップＳ３３）。

図５は、利用者端末２がライフログ情報に基づいて発話トピックを生成し、発話トピックと、ユーザとの対話の結果得られた応答トピックとを比較して矛盾が発生したかどうかを判定するフローを示す図である。

図５を参照するに、利用者端末２のトピック管理部２３は、発話生成に利用する発話トピックを生成するために、ライフログサーバ１のライフログ情報管理部１４に対して検索条件を送信する（ステップＳ４０）。検索条件は、予めユーザによって定められた検索条件を用いてもよいし、予めユーザによって定められた検索条件候補リストからランダムに選んでもよいし、これまでのユーザの検索履歴を用いて何らかの統計処理を行って決定してもよいし、すでになされた対話から生成された応答トピックに応じて決定してもよい。ライフログサーバ１のライフログ情報管理部１４は、ステップＳ４０で取得した検索条件に応じてライフログ情報を選択し、利用者端末２に送信する（ステップＳ４１）。ステップＳ４０及びステップＳ４１の処理を、ライフログ情報取得処理と呼ぶ。

利用者端末２のトピック管理部２３は、取得したライフログ情報を発話トピックとして、発話生成部２４に送信する（ステップＳ４２）。発話トピックは、発話トピックＤＢ２３ｂに記憶される。インターフェース制御部２５は、インターフェース２５ａを介してユーザと対話を行い、応答内容を取得する。応答内容が応答解析部２６に送信されると、応答解析部２６は、応答内容を形態素解析等の手法によって解析し、応答トピックに変換する（ステップＳ４３）。応答トピックは、トピック管理部２３に送信される。トピック管理部２３は、応答解析部２６より応答トピックを取得し、その後発話トピックと比較する（ステップＳ４４）。応答トピックは、応答トピックＤＢ２３ａに記憶されてもよい。比較の手法としては、ラベルが同一である一方で内容が異なるものがあるかどうかを判定し異なるものがあれば矛盾発生とする手法や、発話トピックにはないラベルが応答トピックに含まれている場合に矛盾発生とする手法等がある。

矛盾発生と判定された場合（ステップＳ４５のＹｅｓ）、利用者端末２は、ライフログサーバ１に対し、応答トピックに基づいてライフログ情報の修正を指示するコマンドを送信する（ステップＳ４６）。コマンドを取得したライフログサーバ１は、矛盾した箇所を修正し、ライフログ情報ＤＢ１４ａを更新する。矛盾発生と判定された場合の対策は３通りあるが、ここではそのうちの一例としてライフログ情報の修正を行う場合を示した。その他の対策の具体例は、図６−図１２で詳述する。なお、それらの対策は、独立して使用されてもよいし、組み合わせてもよい。更に、どの対策を適用するかはタグ情報の種類毎にあらかじめ定められてもよいし、ユーザからの応答トピックを解析してユーザの印象がよいと推定される対策を優先して選択してもよい。矛盾発生と判定されない場合は、ユーザとの対話を続けるため、最初の処理に戻る（ステップＳ４５のＮｏ）。ステップＳ４２からステップＳ４５の処理を、対話・比較処理と呼ぶ。

本実施形態においては、ユーザとの対話を通じてライフログ情報の修正を行うため、電子メール等の方法によってユーザに問い合わせる場合に比べてユーザに負担をかけずにライフログ情報とユーザの認識の矛盾を修正することができる。また、ユーザが発話しているということは興味が高いということに結びつく可能性が高いため、修正の優先度が自動的に決定されているとみることもできる。

図６は、本発明の第一の実施形態に係るライフログ連携対話システムの動作フローを示す図である。

図６を参照するに、利用者端末２のトピック管理部２３は、ライフログ情報管理部１４に対し、「行動ラベル：食事」という検索条件を送信する（ステップＳ５０）。ライフログ情報管理部１４は、「行動ラベル：食事」のついたライフログ情報をライフログ情報ＤＢ１４ａから選択してトピック管理部２３に送信する（ステップＳ５１）。例えば、このライフログ情報に、「場所ラベル：●●●軒（ラーメン店）」、「食事ラベル：ラーメン」が更に付与されていたとする。トピック管理部２３は、発話生成部２４に対し、「行動ラベル：食事」、「場所ラベル：●●●軒（ラーメン店）」及び「食事ラベル：ラーメン」を発話トピックとして送信する（ステップＳ５２）。発話生成部２４は、上記の発話トピックに基づいて発話内容を生成する。例えば、発話内容「ラーメンおいしかったですか？」を生成する（ステップＳ５３）。発話の結果、「天津飯食べた」との応答がなされると、その応答内容は応答解析部２６に送信される（ステップＳ５４）。応答解析部２６は、形態素解析等の手法により「行動ラベル：食事」及び「食事ラベル：天津飯」を得て、それらをトピック管理部２３に送信する（ステップＳ５５）。トピック管理部２３は、発話トピックと応答トピックとを比較し、ラベルが同一で内容が異なっているものがあるかどうかを判定する。今回の例では、「食事ラベル」が「ラーメン」と「天津飯」とで異なっているため、トピック管理部２３は、矛盾発生と判定する（ステップＳ５６）。

矛盾発生と判定された場合の対策の１つを説明する。トピック管理部２３は食事ラベルのタグ情報を書き換え（ステップＳ５７）、発話トピック「行動ラベル：食事」、「場所ラベル：●●●軒（ラーメン店）」及び「食事ラベル：ラーメン」を発話生成部２４に送信する（ステップＳ５８）。発話生成部２４は、これに基づいて発話「天津飯おいしかった？」を生成しインターフェース２５ａを介して確認のために発話（問い合わせ）する（ステップＳ５９）。ユーザから「うん」との応答をインターフェース２５ａが取得すると、その応答内容は応答解析部２６に送信され（ステップＳ６０）、ユーザが同意したことを示す応答トピックがトピック管理部２３に送信される（ステップＳ６１）。この場合、トピック管理部２３は、ライフログ情報の食事ラベルの修正指示をライフログ情報管理部１４に送信する（ステップＳ６２）。一方、応答内容が「天津飯は食べてないよ」との応答を取得した場合、ユーザの思い違いやインターフェース２５ａの音声認識の誤りあるいは応答解析部２６の解析誤りであると考えられるため、ライフログ情報の修正は行わない。この場合例えば、「ごめんなさい、聞き間違えました」等の発話を行う。ユーザに確認を行わなかった場合、当該発話（確認）に対してユーザにより訂正が行われなかった場合及び発話に対する返答（例えば、「そうだね、まぁまぁだね。」）がなされた場合等には、トピック管理部２３は、ライフログ情報管理部１４に対し、ライフログ情報の「食事ラベル：ラーメン」を「食事ラベル：天津飯」に修正する指示を行う。

この実施形態においては、発話トピックと応答トピックとを比較して矛盾が発生した場合にのみ問い合わせを行うため、過度な問い合わせによりユーザの負担が重くなるのを防ぐことができる。

図７は、本発明の第二の実施形態に係るライフログ連携対話システムの動作フローを示す図である。

図７を参照するに、図６の場合と同様、ライフログ情報管理部１４とトピック管理部２３は、ライフログ情報取得処理を行う（ステップＳ７０及びステップＳ７１）。この処理において取得したライフログ情報に基づいて、トピック管理部２３は発話生成部２４に対し、発話トピック（「行動ラベル：食事」、「場所ラベル：●●●軒（ラーメン店）」及び「食事ラベル：ラーメン」）を送信する（ステップＳ７２）。発話生成部２４は、発話「昼ごはんはおいしかったですか？」を生成し、インターフェース２５ａを介してユーザに発話する（ステップＳ７３）。発話に対して「食べてないよ」との応答を取得すると（ステップＳ７４）、応答解析部２６はトピック管理部２３に対し、応答トピック（「行動ラベル：（不明）」及び「場所ラベル：●●●軒（ラーメン店）」）を送信する（ステップＳ７５）。トピック管理部２３は、矛盾が発生したと判定し（ステップＳ７６）、ライフログ情報管理部１４に対し、「行動ラベル：（不明）、前値：食事」及び「場所ラベル：●●●軒（ラーメン店）、精度：低い」への修正及び「食事ラベル：ラーメン」の削除を指示する（ステップＳ７７）。矛盾発生の原因には、ライフログ情報の手入力によるミスや、センサ情報解析部１３ｂからのライフログ情報（「場所ラベル：●●●軒（ラーメン店）」）と、インターネット情報解析部１３ａからのライフログ情報（「ラーメンおいしかった」とのＳＮＳへの書き込み）とからライフログ情報管理部１４が「場所ラベル：●●●軒（ラーメン店）」に対して自動的に「食事ラベル：ラーメン」を付与してしまったミスが考えられる。各情報解析部の精度は１００％ではないため、これらのミスが発生しうる。

図８は、本発明の第三の実施形態に係るライフログ連携対話システムの動作フローを示す図である。

図８を参照するに、図６の場合と同様、ライフログ情報管理部１４とトピック管理部２３は、ライフログ情報取得処理を行う（ステップＳ８０及びステップＳ８１）。この処理において取得したライフログ情報に基づいて、トピック管理部２３は発話生成部２４に対し、発話トピック（「行動ラベル：食事」、「場所ラベル：●●●軒（ラーメン店）」及び「食事ラベル：ラーメン」）を送信する（ステップＳ８２）。発話生成部２４は、発話「昼ごはんはおいしかったですか？」を生成し、インターフェース２５ａを介してユーザに発話する（ステップＳ８３）。発話に対して「具合悪くて食べてない」との応答を取得すると（ステップＳ８４）、応答解析部２６はトピック管理部２３に対し、応答トピック（「行動ラベル：（不明）」、「場所ラベル：●●●軒（ラーメン店）」及び「体調ラベル：悪い」）を送信する（ステップＳ８５）。トピック管理部２３は矛盾が発生したと判定し（ステップＳ８６）、ライフログ情報管理部１４に対し、「行動ラベル：（不明）、前値：食事」及び「場所ラベル：●●●軒（ラーメン店）、精度：低い」への修正と、「食事ラベル：ラーメン」の削除と、「体調ラベル：悪い」の追加を指示する（ステップＳ８７）。

図９は、本発明の第四の実施形態に係るライフログ連携対話システムの動作フローを示す図である。

図９を参照するに、図６の場合と同様、ライフログ情報管理部１４とトピック管理部２３は、ライフログ情報取得処理を行う（ステップＳ９０及びステップＳ９１）。この処理において取得したライフログ情報に基づいて、トピック管理部２３は発話生成部２４に対し、発話トピック（「一緒にいた人ラベル：電電花子、電電太郎」を送信する（ステップＳ９２）。発話生成部２４は、発話「電電花子さん、電電太郎さんはお元気でしたか？」を生成し、インターフェース２５ａを介してユーザに発話する（ステップＳ９３）。発話に対してユーザから「電電花子さんはいなかったよ」との応答を取得すると（ステップＳ９４）、応答解析部２６はトピック管理部２３に対し、応答トピック（「一緒にいた人ラベル：電電太郎）」を送信する（ステップＳ９５）。トピック管理部２３は矛盾が発生したと判定し（ステップＳ９６）、ライフログ情報管理部１４に対し検索条件「電電花子」を送信する（ステップＳ９７）。ライフログ情報管理部１４はパーソナル情報の１つであるメールを、パーソナル情報解析部１３ｃを介して検索した結果、「風邪でお休みします」との電電花子さんからのメールを発見したため（ステップＳ９８）、ライフログ情報管理部１４はトピック管理部２３に検索結果「体調：風邪」を送信し（ステップＳ９９）、トピック管理部２３はその真偽を確認するように発話生成部２４に依頼する（ステップＳ１００）。発話生成部２４は、発話「風邪早く治るといいですね」と発話する（ステップＳ１０１）。発話に対してユーザから「そうだね」との応答を取得すると（ステップＳ１０２）、応答解析部２６はトピック管理部２３に対し、応答トピック（「一緒にいた人ラベル：電電太郎）」を送信する（ステップＳ１０３）。トピック管理部２３は、電電花子さんがお休みであったことを確認できたため、ライフログ情報管理部１４に対し、ライフログ情報の修正（「一緒にいた人ラベル：電電太郎、前値：電電花子、電電太郎」）を指示する（ステップＳ１０４）。

本実施形態においては、ユーザとの対話に基づいてピンポイントで必要な部分のみを検索条件として検索又は再検索を行うため、パーソナル情報を含む全ての情報を複数の検索条件から検索して処理する場合に比べて、ライフログ連携対話システム自体の処理量を低減することができる。

図１０は、本発明の第五の実施形態に係るライフログ連携対話システムの動作フローを示す図である。

図１０を参照するに、図６の場合と同様、ライフログ情報管理部１４とトピック管理部２３は、ライフログ情報取得処理を行う（ステップＳ１１０及びステップＳ１１１）。この処理において取得したライフログ情報に基づいて、トピック管理部２３は発話生成部２４に対し、発話トピック（「日時ラベル：２０１３／１２／２５ １１：００」及び「位置情報ラベル：武蔵野市緑町Ｘ−Ｘ−ＸＸ」）を送信する（ステップＳ１１２）。「一緒にいた人ラベル：（なし）」となっていたため、発話生成部２４は一緒にいた人について触れずに発話したとする（ステップＳ１１３）。発話に対して「友達にあってうれしかった」との応答をユーザから取得すると（ステップＳ１１４）、応答解析部２６はトピック管理部２３に対し、応答トピック（「一緒にいた人ラベル：（不明）」を送信する（ステップＳ１１５）。トピック管理部２３は矛盾が発生したと判定し（ステップＳ１１６）、ライフログ情報管理部１４に検索依頼を送信する（ステップＳ１１７）。ライフログ情報管理部１４は、インターネット情報解析部１３ａを介して検索した結果、対話しているユーザのＳＮＳアカウントにおける友達リストに含まれる友達の書き込みの中から、日時が２０１３／１２／２５ １１：００に近く、場所が武蔵野市緑町Ｘ−Ｘ−ＸＸである書き込み（電電花子：「おいしかった」、電電太郎：「楽しかった」）を発見してトピック管理部２３に送信する（ステップＳ１１８及びステップＳ１１９）。この結果を受けてトピック管理部２３は、発話トピック（「一緒にいた人ラベル：電電花子、電電太郎」）を生成し、発話生成部２４に送信する（ステップＳ１２０）。発話生成部２４はインターフェース２５ａを介して発話「電電花子さんと電電太郎さんですよね？」と発話を生成し（ステップＳ１２１）、それに対する応答として「そうだよ」との応答をユーザから取得すると（ステップＳ１２２）、応答解析部２６は応答トピック（「一緒にいた人ラベル：電電花子、電電太郎」）を生成してトピック管理部２３に送信する（ステップＳ１２３）。それを受けて、トピック管理部２３はライフログ情報管理部１４に、ライフログ情報の修正（「一緒にいた人ラベル：電電花子、電電太郎、前値：（なし）」）を指示する（ステップＳ１２４）。

図１１は、本発明の第六の実施形態に係るライフログ連携対話システムの動作フローを示す図である。

図１１を参照するに、図６の場合と同様、ライフログ情報管理部１４とトピック管理部２３は、ライフログ情報取得処理を行い、ユーザの応答を取得する（図示せず）。応答解析部２６は、ユーザの応答内容から「ぬいぐるみ」を検出すると、応答トピック（「対象ラベル：ぬいぐるみ」）を生成してトピック管理部２３に送信する（ステップＳ１３０）。トピック管理部２３は、「ぬいぐるみ」でユーザの直近のメディア情報を検索するようにライフログ情報管理部１４に依頼する（ステップＳ１３１）。メディア情報解析部１３ｄを介した検索の結果「ぬいぐるみ（カエル）」との情報をライフログ情報管理部１４から取得したトピック管理部２３は（ステップＳ１３２及びステップＳ１３３）、発話トピック「対象ラベル：ぬいぐるみ（カエル）」を生成し発話生成部２４に送信する（ステップＳ１３４）。発話生成部２４がインターフェース２５ａを介して「かわいいカエルですね」と発話した後（ステップＳ１３５）、ユーザから「カエルじゃないよ、アヒルだよ」との応答を取得する（ステップＳ１３６）。この場合応答解析部２６は、応答トピック（「対象ラベル：ぬいぐるみ（アヒル）」）を生成してトピック管理部２３に送信する（ステップＳ１３７）。トピック管理部２３は矛盾が発生したと判定し（ステップＳ１３８）、ライフログ情報管理部１４に対し、「対象ラベル：ぬいぐるみ（アヒル）、前値：ぬいぐるみ（カエル）」とのライフログ情報の修正を指示する（ステップＳ１３９）。この場合、メディア解析パラメータが誤っていたことが想定されるため、ライフログ情報管理部１４は、メディア情報解析部１３ｄに、メディア解析パラメータを修正させる（ステップＳ１４０）。これにより、従来「カエル」と認識していたものが今後「アヒル」と認識されることになる。

この実施形態においては、矛盾を生じさせたメディア解析パラメータを修正させるため、それ以降の解析精度の向上が期待できる。

図１２は、本発明の第七の実施形態に係るライフログ連携対話システムの動作フローを示す図である。

図１２を参照するに、図６の場合と同様、ライフログ情報管理部１４とトピック管理部２３は、ライフログ情報取得処理を行う（ステップＳ１５０及びステップＳ１５１）。この処理において取得したライフログ情報に基づいて、トピック管理部２３は発話生成部２４に対し、発話トピック（「住所ラベル：横須賀光の丘Ｘ−Ｘ」）を送信する（ステップＳ１５２）。発話生成部２４は住所について触れながら発話する（ステップＳ１５３）。その結果、応答解析部２６は「位置情報：武蔵野市緑町Ｘ−Ｘ−ＸＸ」が付加された応答をユーザから取得したとする（ステップＳ１５４）。応答解析部２６が応答トピック（「住所ラベル：武蔵野市緑町Ｘ−Ｘ−ＸＸ」）をトピック管理部２３に送信すると（ステップＳ１５５）、トピック管理部２３は、矛盾が発生したと判定する（ステップＳ１５６）。トピック管理部２３は、その真偽を確認するため発話トピック（確認）を発話生成部２４に送信する（ステップＳ１５７）。発話生成部２４は、武蔵野市緑町Ｘ−Ｘ−ＸＸが正しい住所なのかどうかを確認する内容を発話する（ステップＳ１５８）。発話に対してユーザから、それが正しい住所（真値）であることを示す応答を取得すると（ステップＳ１５９）、応答解析部２６は、その旨の応答トピックをトピック管理部２３に送信する（ステップＳ１６０）。真値であると判定したトピック管理部２３は、インターフェース２５ａを介して、「位置情報センサに誤りがあるようです」との音声や文字等をユーザに提示（通知）するとともに（ステップＳ１６１からステップＳ１６３）、ライフログ情報管理部１４に対しライフログ情報の修正（「住所ラベル：武蔵野市緑町Ｘ−Ｘ−Ｘ、前値：横須賀光の丘Ｘ−Ｘ、付記：精度悪い、位置情報取得異常の疑い」）を指示する（ステップＳ１６４）。なお、単一の情報により位置情報センサの故障を判定することが難しい場合には、発話トピックの基となったライフログ情報を提供した情報解析部が提供する他の情報や、異なる情報解析部が提供する情報を組み合わせて判定してもよい。

これらの本発明に係るライフログサーバ１及び利用者端末２をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、当該コンピュータの内部又は外部の記憶部に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤ又はＣＤ−ＲＯＭ等の可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。従って、本発明は、前述した実施形態に限定されるものではなく、その主旨を逸脱しない範囲において組み合わせたり一部削除したりするなどして種々変更可能である。

１ ライフログサーバ
２ 利用者端末
１１ 制御部
１２ 通信制御部
１３ 情報解析部
１３ａ インターネット情報解析部
１３ｂ センサ情報解析部
１３ｃ パーソナル情報解析部
１３ｄ メディア情報解析部
１４ ライフログ情報管理部
１４ａ ライフログ情報ＤＢ
１５ 記憶部
２１ 制御部
２２ 通信制御部
２３ トピック管理部
２３ａ 応答トピックＤＢ
２３ｂ 発話トピックＤＢ
２４ 発話生成部
２５ インターフェース制御部
２５ａ インターフェース
２６ 応答解析部
２７ 記憶部

Claims (8)

1. ライフログ情報管理部と、トピック管理部と、発話生成部と、応答解析部とを有するライフログ連携対話システムにおいて、
   前記ライフログ情報管理部は、ユーザに関するライフログ情報を記憶し、
   前記トピック管理部は、前記ユーザに関するライフログから発話トピックを生成し、
   前記発話生成部は、生成された前記発話トピックに基づいて発話を生成し、
   前記応答解析部は、生成された前記発話を含む対話を前記ユーザと行い、取得した応答内容から応答トピックを生成し、
   前記トピック管理部は更に、前記発話トピックと前記応答トピックとを比較し、前記比較の結果矛盾がある場合、前記応答トピックに基づいて前記ライフログに対して修正、追加又は削除の少なくともいずれかによる更新を行う
   ことを特徴とするライフログ連携対話システム。
2. 請求項１に記載のライフログ連携対話システムにおいて、
   前記トピック管理部は、前記比較の結果矛盾があり且つ前記発話トピックにはない情報が前記応答トピックに含まれる場合、前記情報を前記ライフログに追加させる
   ことを特徴とするライフログ連携対話システム。
3. 請求項１又は２に記載のライフログ連携対話システムにおいて、
   前記トピック管理部は、前記比較の結果矛盾がある場合、前記応答トピックに基づいて前記発話トピックを変更し、更に、変更後の発話トピックに基づいて行った前記ユーザとの対話の結果矛盾があることが確認された場合に、前記ライフログを更新させる
   ことを特徴とするライフログ連携対話システム。
4. 請求項３に記載のライフログ連携対話システムにおいて、
   前記変更後の発話トピックは、前記応答トピックの取得後にパーソナル情報解析部、インターネット情報解析部又はメディア情報解析部の少なくともいずれかを介して前記ライフログに対して行われた検索の結果取得された情報に基づいて決定される
   ことを特徴とするライフログ連携対話システム。
5. 請求項１から４に記載のライフログ連携対話システムにおいて、
   前記トピック管理部は、前記比較の結果矛盾がある場合、前記ライフログを前記ユーザから取得し解析する情報解析部の情報解析パラメータを修正させる
   ことを特徴とするライフログ連携対話システム。
6. 請求項１から５に記載のライフログ連携対話システムにおいて、
   前記トピック管理部は、更に、前記比較の結果矛盾がある場合、前記ユーザに対して、前記ユーザの回答に付加される情報に誤りがあることを通知することを特徴とするライフログ連携対話システム。
7. ライフログ情報管理部と、トピック管理部と、発話生成部と、応答解析部とによるライフログ連携対話方法において、
   前記ライフログ情報管理部により、ユーザに関するライフログ情報を記憶するステップと、
   前記トピック管理部により、前記ユーザに関するライフログから発話トピックを生成するステップと、
   前記発話生成部により、生成された前記発話トピックに基づいて発話を生成するステップと、
   前記応答解析部により、生成された前記発話を含む対話を前記ユーザと行い、取得した応答内容から応答トピックを生成するステップと、
   前記トピック管理部により更に、前記発話トピックと前記応答トピックとを比較し、前記比較の結果矛盾がある場合、前記応答トピックに基づいて前記ライフログに対して修正、追加又は削除の少なくともいずれかによる更新を行うステップと、
   を有することを特徴とするライフログ連携対話方法。
8. コンピュータに、
   ユーザに関するライフログ情報を記憶する手順と、
   前記ユーザに関するライフログから発話トピックを生成する手順と、
   生成された前記発話トピックに基づいて発話を生成する手順と、
   生成された前記発話を含む対話を前記ユーザと行い、取得した応答内容から応答トピックを生成する手順と、
   前記発話トピックと前記応答トピックとを比較し、前記比較の結果矛盾がある場合、前記応答トピックに基づいて前記ライフログに対して修正、追加又は削除の少なくともいずれかによる更新を行う手順と、
   を実行させるためのプログラム。

Images