JP7306439B2 - 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システムに関する。

上記技術分野において、特許文献１には、取得した映像情報に基づいて、映像情報に映し出されている者に関する感情情報を取得し、取得した音声情報に基づいて、文脈情報を取得する。そして、取得した感情情報および文脈情報に基づいて、メディア表現文書情報を生成する技術が開示されている。また、特許文献２には、魚眼レンズと無指向性マイクロフォンとを用いて、音源位置方向（話者方向）を判定し、音源位置方向の画像（話者人物像）を切り出して映像信号を生成する技術が開示されている。

特開２００７－２９９２５５号公報 特開平１１－３３１８２７号公報

しかしながら、上記文献に記載の技術では、映像を見ている人が現場の臨場感を共有することができなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る情報処理装置は、
所定エリアおよび少なくとも１人の被写体を撮像した映像を取得する映像取得手段と、
前記被写体に関する被写体情報と前記被写体の周辺環境の情報である周辺環境情報とを収集する情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する被写体状況認識手段と、
表示画面を見ている人が前記所定エリアの臨場感を共有できるように、前記被写体の映像を含む前記所定エリアの映像と、前記被写体の状況と、前記被写体情報と、前記周辺環境情報とを、１つの前記表示画面に表示する表示手段と、
を備えた。

上記目的を達成するため、本発明に係る情報処理方法は、
所定エリアおよび少なくとも１人の被写体を撮像した映像を取得する映像取得ステップと、
前記被写体に関する被写体情報と前記被写体の周辺環境の情報である周辺環境情報とを収集する情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する被写体状況認識ステップと、
表示画面を見ている人が前記所定エリアの臨場感を共有できるように、前記被写体の映像を含む前記所定エリアの映像と、前記被写体の状況と、前記被写体情報と、前記周辺環境情報とを、１つの前記表示画面に表示する表示ステップと、
を含む。

上記目的を達成するため、本発明に係る情報処理プログラムは、
所定エリアおよび少なくとも１人の被写体を撮像した映像を取得する映像取得ステップと、
前記被写体に関する被写体情報と前記被写体の周辺環境の情報である周辺環境情報とを収集する情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する被写体状況認識ステップと、
表示画面を見ている人が前記所定エリアの臨場感を共有できるように、前記被写体の映像を含む前記所定エリアの映像と、前記被写体の状況と、前記被写体情報と、前記周辺環境情報とを、１つの前記表示画面に表示する表示ステップと、
をコンピュータに実行させる。

上記目的を達成するため、本発明に係る情報処理システムは、
所定エリアおよび少なくとも１人の被写体の映像を撮像する撮像手段と、
前記撮像手段により撮像された前記被写体に関する被写体情報と、前記被写体の周辺環境の情報である周辺環境情報とを収集する情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する被写体状況認識手段と、
表示画面を見ている人が前記所定エリアの臨場感を共有できるように、前記被写体の映像を含む前記所定エリアの映像と、前記被写体の状況と、前記被写体情報と、前記周辺環境情報とを、１つの前記表示画面に表示する表示手段と、
を備えた。

本発明によれば、映像を見ている人が現場の臨場感を共有することができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの構成を説明するための図である。 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置が有する状況テーブルの一例を示す図である。 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置のハードウェア構成を示す図である。 本発明の第２実施形態に係る情報処理システムに含まれる情報処理装置の処理手順を説明するフローチャートである。 本発明の第３実施形態に係る情報処理システムの構成を説明するための図である。

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、撮像された映像に写っている被写体の状況を認識して表示する装置である。

図１に示すように、情報処理装置１００は、映像取得部１０１と、被写体情報収集部１０２と、状況認識部１０３と、表示部１０４と、を含む。

映像取得部１０１は、所定エリアを撮像する撮像手段から映像を取得する。被写体情報収集部１０２は、撮像された映像に写っている被写体の被写体情報を収集する。状況認識部１０３は、被写体の映像および被写体情報に基づいて、被写体の状況を認識する。表示部１０４は、認識された状況を識別可能に表示する。

本実施形態によれば、映像を見ている人が現場の臨場感を共有することができる。

［第２実施形態］
次に本発明の第２実施形態に係る情報処理システムについて、図２乃至図６を用いて説明する。図２は、本実施形態に係る情報処理システムの構成の一例を説明するための図である。

情報処理システム２００は、情報処理装置２１０、表示部２２０およびカメラ２３０を含む。また、情報処理システム２００は、図示しない、音声情報取得センサ（マイク）やバイタルデータ取得センサ、環境情報取得センサなどの各種センサを含む。

情報処理システム２００は、例えば、人が多く集まる集会会場やコンサート会場、病院、刑務所、一般家庭などにおいて、映像に写る被写体の状況を認識し、認識した状況を識別可能に表示することにより、映像を見ている人が現場の臨場感を共有することができるシステムである。また、情報処理システムは、カメラに写っている人の感情を表現するシステムであり、喜怒哀楽以上の感情を表現するシステムである。さらに、情報処理システム２００は、多くの人が集まっているようなイベント会場や、設備の整っている病院ではなく、設備の整っていない在宅医療、多くの囚人をコントロールしなければならない刑務所、デモ行進などにも適用可能なシステムである。

情報処理装置２１０は、カメラ２３０が撮像した複数の被写体が存在する所定エリアの映像を取得し、取得した映像に写っている被写体の被写体情報を取得する。被写体情報は、例えば、音声情報やバイタルデータ、動作情報、表情情報などである。音声情報は、例えば、被写体の声や声紋、発話内容などである。バイタルデータは、例えば、体温や心拍、脈拍、空腹、のどの渇き、吐き気、尿意、痛み、瞳孔、脳波、指紋、呼吸数、発汗量、虹彩などを含む。動作情報は、例えば、被写体の動きに関する情報であり、被写体の行動などである。表情情報は、被写体の表情、顔の動き、目の動きなどである。

また、情報処理装置２１０は、被写体の周辺環境の情報を取得する。周辺環境情報は、例えば、被写体のいる場所の温度や湿度、震度、雑音の大きさ、照度、輝度、水位、水量、速度、角度、位置、熟成度、時間などである。

そして、情報処理装置２１０は、取得した映像および被写体情報に基づいて、被写体の状況を認識する。被写体の状況は、例えば、被写体の感情や心の動き、身体状態などである。

表示部２２０は、表示領域２２１にカメラ２３０で撮像した映像と共に、被写体のバイタイルデータなどをグラフ化などして表示する。グラフなどは、例えば、カメラ２３０で撮像した映像に重畳して表示（例えば、ＡＲ（Augmented Reality）表示）し、カメラ２３０の映像を見ている人が視覚的に分かるように表示してもよい。

また、表示部２２０は、表示領域２２２に被写体の状況や感情を表示する。被写体の感情などは、例えば、テキストや絵文字などで表示されるが、被写体の感情の表示方法は、これらには限定されない。

さらに、表示部２２０は、表示領域２２３に被写体の会話情報として会話内容や発話内容を表示する。会話情報は、例えば、テキスト表示されるが、発話者ごとにテキストの大きさやフォントなどを変更してもよい。また、声の大きさに応じてテキストの大きさを変更してもよい。さらに、発話者ごとにテキストに色を付けてもよく、テキスト表示の方法は、これらには限定されない。また、表示部２２０は、表示領域２２４に被写体の付加情報を表示する。付加情報は、バイタルデータ：体温、心拍、脈拍、空腹、渇き、吐き気、尿意、痛み、行動、瞳孔、表情、脳波、生体情報（指紋、顔、声紋、虹彩）などを含む。

また、表示部２２０は、表示領域２２５に周辺環境情報を表示する。周辺環境情報は、温度、湿度、震度、雑音の大きさ、照度、輝度、水位、水量、速度、角度、位置、熟成度、時間などであり、これらの情報が表示される。なお、表示部２２０に表示する各種情報は、必要に応じてＯＮまたはＯＦＦすることができる。

情報処理システム２００は、例えば、カメラ２３０で撮像した映像中に写っている被写体の状況などに変化があった場合、映像を見ている人物などにアラートを報知してもよい。

図３は、本実施形態に係る情報処理システムに含まれる情報処理装置の構成を示すブロック図である。情報処理装置２１０は、映像取得部３０１、被写体情報収集部３０２、周辺環境情報取得部３０３、状況認識部３０４、表示部３０５およびアラート報知部３０６を有する。

映像取得部３０１は、カメラ２３０などの撮像デバイスが撮像した所定エリアの映像を取得する。カメラ２３０は、例えば、施設に取り付けられた防犯カメラや監視カメラなどが代表的であるが、これらには限定されない。

被写体情報収集部３０２は、カメラ２３０で撮像した映像に写っている被写体の被写体情報を収集する。被写体情報収集部３０２は、映像取得部３０１が取得した映像から、人物などの被写体を抽出し、抽出した被写体の被写体情報を収集する。被写体情報は、例えば、被写体の音声情報や生体情報、動作情報、表情情報である。音声情報は、被写体の声や声量、声紋、発話内容、会話内容などである。音声情報は、カメラ２３０に取り付けられたマイクや、施設に取り付けられたマイク、被写体の所持するスマートフォンなどの携帯端末のマイクから取得される。

また、生体情報は、いわゆるバイタルデータなどと呼ばれるものであり、例えば、体温、心拍、脈拍、空腹、のどの渇き、吐き気、尿意、痛み、呼吸数、脳波、発汗量などである。生体情報は、例えば、被写体が身に着けている時計型なメガネ型、肌着型などのウェアラブルデバイスや、医療機器などから取得されるが、生体情報の取得方法はこれには限定されない。

動作情報は、被写体の動きに関する情報であり、被写体がどのような動きをしているかに関する情報である。動作情報は、例えば、被写体が歩いているのか、座っているのか、走っているのか、止まっているのか、腕を動かしているのかなどに関する情報であるが、これらには限定されない。

さらに、表情情報は、被写体の表情や人相などに関する情報である。表情情報は、例えば、被写体の表情が、笑った表情か、怒った表情かなどに関する情報であるが、これらには限定されない。

これらの他にも被写体情報として、被写体の背格好や服装、性別、年齢、身長、髪型、メガネの有無などを含めてもよい。

周辺環境情報取得部３０３は、カメラ２３０で撮像した映像中の被写体の周辺環境に関する情報を取得する。周辺環境情報は、例えば、温度、湿度、震度、雑音の大きさ、照度、輝度、水位、水量、速度、角度、位置、熟成度、時間などである。周辺環境情報は、例えば、被写体が所持するスマートフォンやスマートウォッチなどの携帯端末や、被写体のいる施設に設置されたセンサ、その他のセンサ、赤外線カメラ、サーモグラフィーなどから取得されるが、取得方法はこれらには限定されない。

状況認識部３０４は、被写体の映像や被写体情報、被写体情報の変化情報などに基づいて、被写体の状況を認識する。例えば、体温や心拍などのバイタルデータの値と、バイタルデータの変化情報から、状況認識部３０４は、被写体の感情や心の動きなどを認識する。

また、状況認識部３０４は、バイタルデータ以外にも、温度や湿度、震度、雑音の大きさ、照度、輝度などの環境に関するパラメータを測定可能なセンサからの情報などから、被写体の状況を認識する。これらの情報によっても、被写体の感情や心の動きは推移するもと考えられ、これを踏まえて、状況認識部３０４は、被写体の状況を認識する。また、この他にも、状況認識部３０４は、被写体の表情の変化や動作の変化、発汗量の変化、音声の変化、環境情報の変化などに基づいて、被写体の状況を認識する。

表示部３０５は、認識された状況を識別可能に表示する。例えば、表示部３０５は、認識した状況や感情、心の動きをテキストを含む何らかの形式で表現する。表示部３０５は、例えば、被写体が怒っている場合には、怒っていることが分かる形式で、被写体が平常心でいる場合には、平常心であることが分かる形式で、これらの状況を表現する。表示部３０５は、カメラ２３０が撮像した映像に、例えば、被写体の状況や被写体の発話内容、バイタイルデータ、周辺環境情報などを重畳して表示してもよい。

アラート報知部３０６は、認識した状況に基づいて、アラートを報知する。アラート報知部３０６は、例えば、表示部２２０を見ている人物などにアラートを報知する。アラート報知部３０６は、例えば、映像中の被写体である人物のバイタイルデータなどに異常を示す変化が現れた場合、その旨のアラートを報知してもよい。また、被写体の感情に変化があった場合、例えば、平常心であった被写体が突然激高した場合や、椅子に座っていた被写体が急な意識低下に見舞われた場合などに、その旨のアラートを報知してもよい。

アラートは、例えば、画面の点滅、アラートの内容を示すアイコンなどの表示、アラート内容を示すテキストの表示、アラーム音の発報、表示部２２０の振動、ランプの点滅、などにより行われる。

なお、被写体の状況や感情、環境の変化などから、次に起こりうることを予測して、予防策や対策を報知して、例えば、映像を見ている人が、これらの予防策や対策などを実施してもよい。

図４は、本実施形態に係る情報処理システムに含まれる情報処理装置が有する状況テーブルの一例を示す図である。状況テーブル４０１は、被写体ＩＤ（Identifier）４１１に対応付けて、被写体情報４１２、周辺環境情報４１３、状況４１４およびアラート４１５を記憶して保持する。

被写体ＩＤ４１１は、カメラ２３０が撮像した所定エリアの映像中の被写体を識別する識別子（識別情報）である。被写体情報４１２は、被写体に関する情報であり、例えば、被写体の生体情報や動作情報、音声情報、表情情報などである。周辺環境情報４１３は、被写体の周辺環境の情報であり、例えば、温度や湿度、震度、雑音の大きさ、照度、輝度などである。状況４１４は、被写体の状況を表し、例えば、被写体の感情や心の動きなどを表す。アラート４１５は、報知するアラートの内容である。

図５は、本実施形態に係る情報処理システムに含まれる情報処理装置２１０のハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)５１０は、演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２０３の機能構成部を実現する。ＣＰＵ５１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース５６０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ５４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣ、あるいは入出力インタフェース５６０に任せる。

ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。被写体ＩＤ５４１は、カメラ２３０により撮像された映像中の被写体を識別するデータである。被写体情報５４２は、被写体に関する情報である。周辺環境情報５４３は、被写体の周辺環境に関する情報である。被写体状況５４４は、被写体の状況に関するデータである。アラート内容５４５は、報知するアラートに関するデータである。これらのデータや情報は、例えば、状況テーブル４０１から展開される。

入出力データ５４６は、入出力インタフェース５６０を介して入出力されるデータである。送受信データ５４７は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４８を有する。

ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、状況テーブル４０１を格納する。状況テーブル４０１は、図４に示した、被写体ＩＤ４１１と、状況４１４などとの関係を管理するテーブルである。

ストレージ５５０は、さらに、映像取得モジュール５５１、被写体情報収集モジュール５５２、周辺環境情報取得モジュール５５３、状況認識モジュール５５４、表示モジュール５５５およびアラート報知モジュール５５６を格納する。

映像取得モジュール５５１は、カメラ２３０で撮像した所定エリアの映像を取得するモジュールである。被写体情報収集モジュール５５２は、カメラ２３０で撮像した映像中の被写体の情報を収集するモジュールである。周辺環境情報取得モジュール５５３は、被写体の周辺環境の情報を取得するモジュールである。状況認識モジュール５５４は、被写体の映像や被写体情報、周辺環境情報に基づいて、被写体の状況を認識する。表示モジュール５５５は、認識された被写体の状況を識別可能に表示するモジュールである。アラート報知モジュール５５６は、認識された状況に基づいて、アラートを報知するモジュールである。これらのモジュール５５１～５５６は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４８に読み出され、実行される。制御プログラム５５７は、情報処理装置２１０の全体を制御するためのプログラムである。

入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、情報処理装置２１０が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図６は、本実施形態に係る情報処理装置２１０の処理手順を説明するフローチャートである。このフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３の情報処理装置２１０の機能構成部を実現する。

ステップＳ６０１において、情報処理装置２１０は、カメラ２３０が撮像した所定エリアの映像を取得する。ステップＳ６０３において、情報処理装置２１０は、撮像された映像中の被写体の被写体情報を収集する。ステップＳ６０５において、情報処理装置２１０は、被写体の周辺環境の情報である周辺環境情報を取得する。ステップＳ６０７において、情報処理装置２１０は、被写体の映像、被写体情報および周辺環境情報に基づいて、被写体の状況を認識する。

ステップＳ６０９において、情報処理装置２１０は、認識した状況を表示する。ステップＳ６１１において、情報処理装置２１０は、認識した情報に基づいて、アラートの報知が必要か否かを判断する。アラートの報知が必要ない場合（ステップＳ６１１のＮＯ）、情報処理装置２１０は、処理を終了する。アラートの報知が必要な場合（ステップＳ６１１のＹＥＳ）、情報処理装置２１０は、ステップＳ６１３へ進む。ステップＳ６１３において、情報処理装置２１０は、所定の報知方法でアラートを報知する。

本実施形態によれば、映像を見ている人が現場の臨場感や現場の状況を共有することができる。また、映像を見ている人が、被写体の状況を把握したり、共有したりすることができる。さらにまた、途中から映像を見た人物であっても、現場の臨場感などを共有することができる。さらに、アラートを報知するので、映像を見ている人がアラートに従って現場で起こっている事態に対して対処することができる。

［第３実施形態］
次に本発明の第３実施形態に係る情報処理システムについて、図７を用いて説明する。図７は、本実施形態に係る情報処理システムの構成を説明するための図である。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、会議システムに情報処理システムを適用した点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

情報処理システム（会議システム）７００は、マイクスピーカ付端末７０１，７０２から会議における参加者の発話や会話などの音声情報を取得する。また、情報処理システム７００は、各種センサ７０３から、会議中の映像や、会議参加者のバイタイルデータや、会議室内の環境データなどを取得する。

情報処理システム７００は、マイクスピーカ付端末７０１，７０２のマイクからの音声情報をもとに、声紋認識などにより話者を特定する。または、カメラからの映像の情報をもとに、顔認証などにより話者を特定する。あるいは、声紋認証と顔認証とを組み合わせて話者を特定してもよい。

また、例えば、１つのマイクスピーカ付端末７０１を会議参加者で共有している場合には、各種センサ７０３として３６０度カメラや魚眼レンズ付カメラなどの映像を合わせて総合的に判断することで、より高い精度で話者を特定できる。例えば、カメラの映像から会議参加者の口の動きの認証や、顔認証、発言者の方向の特定などを行い、マイクで収集した音声から声紋などを判定するなど、複数の情報を総合的に判断することにより、各発話や会話に対して、より高い精度で話者を特定することができる。

情報処理システム７００は、例えば、マイクスピーカ付端末７０１，７０２や各種センサ７０３からの情報をもとに、特定した話者と発言内容（発話内容）とをセットでテキスト化する。なお、テキスト化は端末７０４にインストールされたアプリケーションで行ってもよい。このように、端末７０４にインストールされたアプリケーションでテキスト化を行うと、ネットワークを経由する前の音声情報を入力とすることができるので、テキスト化の精度を上げることができる。

そして、情報処理システム７００は、会話解析（発話解析）を行い、会議中の情景を思い浮かべられるような会話の付加情報（力強い、弱い、笑、怒り、悲しみなど）も合わせてテキストで表現する。このようにすることにより、マイクやスピーカなしで会議に参加している人物も会議の内容、臨場感などを共有することができる。

また、情報処理システム７００は、マイク、スピーカ以外にも、各種センサ７０３、例えば、温度、湿度、雑音、奇声、バイタル情報、計測器などの変化や動きを付加することで、会議室以外の場所においても、その場所にいない人が臨場感を共有できる。

また、マイクやスピーカの無い環境において、端末７０４を用いて、テキストで会議に参加している人物がテキスト入力した内容を音声合成で各参加者のスピーカに流してもよい。

会議室以外の場所としては、例えば、設備の整っている病院ではなく、在宅医療などの設備の不十分な環境においても、その場にいない人が臨場感を共有することができる。

その他に、情報処理システム７００は、話者特定ができているので、テキスト化した内容を会議の議事録として記録することができる。また、情報処理システム７００は、記録した議事録を会議参加者にメールなどで送信することにより、アクティブなフォローをすることができる。

また、発話内容などをテキスト化するのでテキスト化した内容をリアルタイムまたは事後的に翻訳することもできる。これにより、議事録入手希望者の希望する言語の議事録を作成することも可能となる。

さらに、情報処理システム７００は、テキスト化された発話内容を解析することにより、発話内容に応じたアクションを自動的に行うことができる。情報処理システム７００は、商品の発注や各種調整、検索、回答、アラーム、発信、停止などを自動的に行うことができる。情報処理システム７００は、例えば、「３０２号室にタオルを至急運ぶ」といった内容のアラートを担当者に対して報知することができる。

本実施形態によれば、会議に参加していない人も、会議現場の臨場感を共有することができる。また、途中から会議に参加した場合でも、会議現場の臨場感などを共有することができる。さらに、設備の整っている病院ではなく、在宅医療などの設備の不十分な環境においても、映像を見ている人物が、被写体の状況や現場の臨場感を共有することができる。また、コンサート会場や刑務所、デモ行進などのように多くの人が集まるような状況において、その場にいない人物や、映像を見ている人物が参加者の状況や現場の臨場感を共有することができる。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
所定エリアを撮像する撮像手段から映像を取得する映像取得手段と、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識手段と、
認識された前記状況を識別可能に表示する表示手段と、
を備えた情報処理装置。
（付記２）
前記被写体の周辺環境の情報である周辺環境情報を取得する周辺環境情報取得手段をさらに備え、
前記状況認識手段は、さらに、前記周辺環境情報に基づいて、前記被写体の状況を認識する付記１に記載の情報処理装置。
（付記３）
前記周辺環境情報は、温度、湿度、震度、雑音の大きさ、照度および輝度のうち少なくとも１つを含む付記２に記載の情報処理装置。
（付記４）
認識された前記状況に基づいて、アラートを報知するアラート報知手段をさらに備える付記１乃至３のいずれか１項に記載の情報処理装置。
（付記５）
前記被写体情報は、前記被写体の音声情報、生体情報、動作情報および表情情報のうち少なくとも１つを含む付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
生体情報は、体温、心拍、脈拍、空腹、のどの渇き、吐き気、尿意、痛み、呼吸数、脳波、発汗量のうち少なくとも１つを含む付記５に記載の情報処理装置。
（付記７）
前記状況は、少なくとも前記被写体の感情を含む付記１乃至６のいずれか１項に記載の情報処理装置。
（付記８）
前記表示手段は、前記状況を表すテキストを表示する付記１乃至７のいずれか１項に記載の情報処理装置。
（付記９）
所定エリアを撮像する撮像手段から映像を取得する映像取得ステップと、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識ステップと、
認識された前記状況を識別可能に表示する表示ステップと、
を含む情報処理方法。
（付記１０）
所定エリアを撮像する撮像手段から映像を取得する映像取得ステップと、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識ステップと、
認識された前記状況を識別可能に表示する表示ステップと、
をコンピュータに実行させる情報処理プログラム。
（付記１１）
所定エリアの映像を撮像する撮像手段と、
前記撮像手段により撮像された所定エリアの映像に含まれる被写体の被写体情報を収集する被写体情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識手段と、
認識された前記状況を識別可能に表示する表示手段と、
を備えた情報処理システム。

Claims (10)

1. 所定エリアおよび少なくとも１人の被写体を撮像した映像を取得する映像取得手段と、
   前記被写体に関する被写体情報と前記被写体の周辺環境の情報である周辺環境情報とを収集する情報収集手段と、
   前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する被写体状況認識手段と、
   表示画面を見ている人が前記所定エリアの臨場感を共有できるように、前記被写体の映像を含む前記所定エリアの映像と、前記被写体の状況と、前記被写体情報と、前記周辺環境情報とを、１つの前記表示画面に表示する表示手段と、
   を備えた情報処理装置。
2. 前記表示手段は、さらに、グラフ化した前記被写体情報を表示する請求項１に記載の情報処理装置。
3. 前記被写体状況認識手段は、前記被写体の映像および前記被写体情報と、さらに、前記周辺環境情報とに基づいて、前記被写体の状況を認識する請求項１または２に記載の情報処理装置。
4. 前記周辺環境情報は、温度、湿度、震度、雑音の大きさ、照度および輝度のうち少なくとも１つを含む請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記被写体情報は、前記被写体の音声情報、前記被写体から測定された生体情報、前記被写体の動作情報および前記被写体の表情情報うち少なくとも１つを含む請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記被写体から測定された生体情報は、体温、心拍、脈拍、空腹、のどの渇き、吐き気、尿意、痛み、呼吸数、脳波、発汗量のうち少なくとも１つを含む請求項５に記載の情報処理装置。
7. 前記所定エリアは、集会会場、コンサート会場、病院、刑務所、家庭および会議室のいずれかのエリアである請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 所定エリアおよび少なくとも１人の被写体を撮像した映像を取得する映像取得ステップと、
   前記被写体に関する被写体情報と前記被写体の周辺環境の情報である周辺環境情報とを収集する情報収集ステップと、
   前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する被写体状況認識ステップと、
   表示画面を見ている人が前記所定エリアの臨場感を共有できるように、前記被写体の映像を含む前記所定エリアの映像と、前記被写体の状況と、前記被写体情報と、前記周辺環境情報とを、１つの前記表示画面に表示する表示ステップと、
   を含む情報処理方法。
9. 所定エリアおよび少なくとも１人の被写体を撮像した映像を取得する映像取得ステップと、
   前記被写体に関する被写体情報と前記被写体の周辺環境の情報である周辺環境情報とを収集する情報収集ステップと、
   前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する被写体状況認識ステップと、
   表示画面を見ている人が前記所定エリアの臨場感を共有できるように、前記被写体の映像を含む前記所定エリアの映像と、前記被写体の状況と、前記被写体情報と、前記周辺環境情報とを、１つの前記表示画面に表示する表示ステップと、
   をコンピュータに実行させる情報処理プログラム。
10. 所定エリアおよび少なくとも１人の被写体の映像を撮像する撮像手段と、
    前記撮像手段により撮像された前記被写体に関する被写体情報と、前記被写体の周辺環境の情報である周辺環境情報とを収集する情報収集手段と、
    前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する被写体状況認識手段と、
    表示画面を見ている人が前記所定エリアの臨場感を共有できるように、前記被写体の映像を含む前記所定エリアの映像と、前記被写体の状況と、前記被写体情報と、前記周辺環境情報とを、１つの前記表示画面に表示する表示手段と、
    を備えた情報処理システム。

Images