以下、添付図面を参照しながら、本実施の形態の情報処理装置、情報処理システム、および情報処理プログラムの実施の形態を詳細に説明する。なお、本明細書において、同じ構成および機能を示す部分には、同じ符号を付与し、詳細な説明を省略する場合がある。
図1は、本実施の形態の情報処理システム1000の構成の一例を示す模式図である。
本実施の形態の情報処理システム1000は、情報処理装置10と、共通表示装置12と、端末装置14と、を備える。
情報処理装置10と、共通表示装置12と、端末装置14と、は、ネットワーク13を介して通信可能に接続されている。なお、情報処理装置10、共通表示装置12、および、端末装置14の少なくとも1つは、無線または有線によりネットワーク13に接続されている。無線により接続する場合、例えば、3G(3rd Generation)、4G(4th Generation)、LTE(Long Term Evolution)、無線LAN(Local Area Network)、Bluetooth(登録商標)などを用いればよい。
情報処理システム1000の備える情報処理装置10、共通表示装置12、および端末装置14の各々の数は、限定されない。図1には、一例として、情報処理システム1000が、1台の情報処理装置10と、1台の共通表示装置12と、複数台の端末装置14とを備える形態を示した。
本実施の形態では、一例として、共通表示装置12および複数の端末装置14が、特定の領域内で使用されることを想定している。また、本実施の形態では、特定の領域として、授業を受ける教室Pを想定している。なお、特定の領域は、端末装置14をそれぞれ携帯した1または複数のユーザが参加する、会議や授業やディスカッションなどの会合の開かれる領域であればよく、教室に限定されない。また、特定の領域は、壁などによって閉鎖された空間に限定されず、開放された空間であってもよい。
また、本実施の形態では、情報処理装置10が、教室Pの設けられた学校Q内に設置された形態を想定している。しかし、情報処理装置10は、学校Qに設置された形態に限定されない。また、情報処理装置10は、共通表示装置12および端末装置14と同じ領域(例えば、教室P)内に設置されていてもよいし、該領域の外部に設置されていてもよい。例えば、情報処理装置10は、教室P内、学校Qの外部、クラウド上に設けられたクラウドサーバ、などに設置または搭載されていてもよい。
また、情報処理システム1000は、複数の端末装置14を、同じ領域(例えば、教室P)内で使用する形態に限定されない。例えば、情報処理システム1000は、複数の端末装置14の内の少なくとも1つを、他の端末装置14とは異なる領域で使用する形態であってもよい。
端末装置14は、ユーザによって操作される装置である。本実施の形態では、ユーザは、一人一台の端末装置14を操作する。すなわち、複数の端末装置14の各々は、それぞれ異なるユーザによって操作される場合を説明する。なお、1人のユーザが複数の端末装置14を操作する形態であってもよい。端末装置14は、各種操作指示を受付ける受付機能、各種画像を表示する表示機能、および、他の装置との通信機能、を備える。端末装置14は、例えば、パーソナルコンピュータや、スマートフォンや、タブレット端末や、携帯電話、などである。なお、端末装置14に、受付機能や表示機能を備えたアクセサリを接続することで、受付機能および表示機能を実現してもよい。
共通表示装置12は、表示機能および音声出力機能の少なくとも一方を備える。共通表示装置12は、複数の端末装置14の位置する特定の領域(例えば、教室P)内に、共通提供データを出力する装置である。共通提供データは、該特定の領域内に位置する複数の端末装置14の各々を操作する複数のユーザに対して、共通して提供されるデータである。共通表示装置12は、例えば、教室P内に位置する全てのユーザが視認可能な位置に設置されたディスプレイや、教室P内に位置する全てのユーザが視聴可能な音量の音を出力するスピーカである。
なお、共通表示装置12は、電子黒板であってもよい。また、共通表示装置12は、特定の領域内に共通して提供された共通提供データを記録する装置であればよく、ボードに表示された表示内容を撮影する撮影装置や、音声を録音する録音装置であってもよい。
情報処理装置10は、複数の端末装置14および共通表示装置12と通信するサーバ装置である。情報処理装置10は、共通表示装置12から出力された共通提供データと、端末装置14の各々に表示された表示画面の表示画面データと、を用いて、端末装置14の各々に表示された表示画面を後から再生するときの、再生制御を行う(詳細後述)。
次に、情報処理装置10、共通表示装置12、および端末装置14の、ハードウェア構成の一例を説明する。図2は、情報処理装置10、共通表示装置12、および端末装置14のハードウェア構成の一例を示す模式図である。
情報処理装置10、共通表示装置12、および端末装置14の各々は、CPU(Central Processing Unit)25と、ROM(Read Only Memory)26と、RAM(Random Access Memory)27と、HDD(Hard Disk Drive)28と、通信I/F(インターフェース)24と、外部I/F23と、操作パネル29と、を備え、バス21を介して相互に接続されている。
CPU25は、情報処理装置10、共通表示装置12、および端末装置14の動作を統括的に制御する。CPU25は、RAM27をワークエリアとし、ROM26またはHDD28などに格納されたプログラムを実行することで、情報処理装置10、共通表示装置12、および端末装置14全体の動作を制御し、後述する各種機能部を実現する。
HDD28は、プログラムやデータなどを格納する。なお、端末装置14は、HDD28に代えて、SSD(Solid State Drive)を備えた構成であってもよい。
操作パネル29は、ユーザの操作に応じた各種の操作入力を受付けるとともに、各種の情報や各種の画像を表示する。
本実施の形態では、操作パネル29は、各種操作指示を受付ける受付機能を実現する操作受付部29Aと、各種情報の表示を行う表示機能を実現する表示部29Bと、の双方を一体的に備えたタッチパネルである場合を説明する。しかし、操作パネル29の構成は、このような構成に限定されない。例えば、操作パネル29は、操作受付部29Aと、表示部29Bと、を別体として構成してもよい。
通信I/F24は、ネットワーク13を介して他の装置や機器と通信するためのインターフェースである。外部I/F23は、マイク、スピーカ、および、記録媒体などの外部メモリ、などと通信するためのインターフェースである。
次に、本実施の形態の情報処理システム1000が行う情報処理の流れの概要を説明する。図3は、情報処理システム1000が行う情報処理の流れの概要の一例を示す、説明図である。
本実施の形態では、授業や会議やディスカッションなどの会合中、共通表示装置12から教室P内に共通提供データ31が継続して出力されているものと仮定する。また、本実施の形態では、複数の端末装置14の各々には、ユーザによる操作指示によって、様々な資料における様々な表示領域の表示画面が表示部29Bに表示され、また、ユーザによる操作指示によって資料における表示領域が変更されるものと仮定する。
会合が終了すると、共通表示装置12は、情報処理装置10からの要求に応じて、該会合中に提供した共通提供データ31を情報処理装置10へ送信する(ステップS1)。また、複数の端末装置14の各々は、情報処理装置10からの要求に応じて、該授業中に表示した資料と資料における表示領域とを示す資料表示データ30を、情報処理装置10へ送信する(ステップS2)。資料表示データ30は、資料データ32および表示領域情報36を含む。これらのデータの詳細は後述する。なお、ステップS1とステップS2の処理は、順序が逆であってもよい。
情報処理装置10は、資料表示データ30を用いて、表示画面データを取得する(ステップS3)。
図4は、資料データ32および表示画面データ50の一例の説明図である。資料表示データ30は、資料データ32と表示領域情報36とを含む。
図4(A)は、資料データ32の一例の模式図である。資料データ32は、端末装置14に表示する対象のデータである。資料データ32の種類は限定されない。例えば、資料データ32は、画像データや文書データなどである。
図4(B)は、端末装置14に表示された表示画面52の一例を示す模式図である。ユーザによる端末装置14の操作指示によって、端末装置14の表示部29Bには、表示対象の資料データ32における、特定の表示領域34の表示画面52が表示される。
例えば、資料データ32における表示領域34Aが表示対象の領域として操作指示されたと仮定する(図4(A)参照)。この場合、端末装置14の表示部29Bには、資料データ32における該表示領域34Aの表示画面52Aが表示される(図4(B)参照)。また、資料データ32における表示領域34Bが表示対象の領域として操作指示されたと仮定する(図4(A)参照)。この場合、端末装置14の表示部29Bには、資料データ32における該表示領域34Bの表示画面52Bが表示される(図4(B)参照)。
表示領域情報36は、資料データ32における、端末装置14の表示部29Bに表示された表示領域34を示す情報である。図4(B)には、表示領域情報36の一例として、表示領域34Aを示す表示領域情報36Aと、表示領域34Bを示す表示領域情報36Bと、を示した。表示領域情報36は、資料データ32における位置、大きさ、範囲で表してもよいし、資料データ32における特定の基準領域からの移動量、移動方向、およびズーム率で表してもよい。ズーム率は、基準領域の拡大縮小率を示す。基準領域は、予め定めればよい。基準領域は、例えば、資料データ32における1頁目の中央部の領域である。
情報処理装置10が取得する資料表示データ30は、資料データ32と、該資料データ32における表示画面52に表示された表示領域34を示す表示領域情報36と、該表示画面52の表示タイミングと、を含む。言い換えると、資料表示データ30には、資料データ32と、異なる表示タイミングの各々に対応する表示領域情報36と、が含まれる。
情報処理装置10は、資料データ32から、各表示タイミングに対応する表示領域情報36によって示される表示領域34を抽出することによって、表示タイミングの各々に対応する表示画面52を含む、表示画面データ50を取得する。
図4(C)は、表示画面データ50の一例を示す模式図である。表示画面データ50は、表示された表示タイミングの異なる複数の表示画面52を時系列に配列してなる。すなわち、表示画面データ50は、複数の表示画面52(例えば、表示画面52A、表示画面52B)を表示タイミングごとに時系列にならべたものである。
図3に戻り説明を続ける。情報処理装置10は、端末装置14の各々から取得した表示画面データ50について、含まれる要素の要素種類を特定する(ステップS4)。
要素とは、表示画面52に含まれる、文字、絵柄、動画、図表の少なくとも1つを示す。また、要素種類とは、要素の種類を示す。要素種類は、具体的には、文字、絵柄、動画、図表などである。
そして、情報処理装置10は、共通提供データ31と、端末装置14の各々から受信した資料表示データ30から取得した表示画面データ50と、を用いて、再生用表示画面38を生成する(ステップS5)。再生用表示画面38は、端末装置14の各々で表示された表示画面52を、後から再生するときの再生画面である。そして、情報処理装置10は、再生用表示画面38を、端末装置14で再生するように再生制御する(ステップS6)。再生用表示画面38の生成方法については、詳細を後述する。
次に、本実施の形態の情報処理システム1000を構成する各装置の機能について、詳細に説明する。
図5は、情報処理システム1000に含まれる各装置の機能的構成例を示すブロック図である。
まず、端末装置14の機能的構成を説明する。端末装置14は、制御部64と、記憶部66と、操作パネル68と、を備える。制御部64と、記憶部66および操作パネル68と、は、データや信号を授受可能に接続されている。
操作パネル68は、操作受付部68Bと表示部68Aとを含む。操作パネル68、操作受付部68B、および表示部68Aは、操作パネル29、操作受付部29A、および表示部29B(図2参照)によって実現される。
記憶部66は、各種データを記憶する。例えば、記憶部66は、1または複数の資料データ32を予め記憶する。資料データ32の種類は限定されない。資料データ32は、例えば、文書データ、画像データ、動画像データなどである。また、資料データ32は、文書、絵柄、図表、および、動画の少なくとも1つを含むデータであってもよい。すなわち、資料データ32は、文書、絵柄、図表、および動画の少なくとも2つ以上を混在したデータであってもよい。
制御部64は、CPU25、ROM26、およびRAM27(図2参照)などによって実現する。なお、制御部64は、回路などによって実現してもよい。
制御部64は、通信部64Aと、表示制御部64Dと、受付部64Eと、を有する。通信部64Aは、送信部64Cと、受信部64Bと、を有する。通信部64A、受信部64B、送信部64C、表示制御部64D、および受付部64E、の一部または全ては、例えば、CPU25などのプロセッサ回路にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などの専用の処理回路を用いてハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。処理回路は、物理的に1つであってもよいし、複数であってもよい。
受信部64Bは、情報処理装置10から、各種のデータや指示信号などを受信する。送信部64Cは、情報処理装置10に対して、各種のデータを送信する。
受付部64Eは、ユーザによる操作パネル68の操作指示を操作受付部68Bから受付ける。本実施の形態では、受付部64Eは、表示対象の資料データ32の指定や、資料データ32における表示対象の表示領域34の操作指示などを受付ける。
なお、表示対象の資料データ32の記憶場所は限定されない。すなわち、受付部64Eは、記憶部66に記憶されている資料データ32の指定を受付けてもよいし、ネットワーク13に接続された外部装置などに記録された資料データ32の指定を受付けてもよい。
表示制御部64Dは、各種画像を操作パネル68(表示部68A)へ表示する制御を行う。本実施の形態では、表示制御部64Dは、ユーザによって指定された資料データ32における、ユーザによって操作指示された表示領域34の表示画面52を、表示部68Aへ表示する。また、表示制御部64Dは、受信部64Bを介して情報処理装置10から受信した再生用表示画面38を、表示部68Aへ表示する制御を行う。
そして、受付部64Eは、ユーザによって指定された表示対象の資料データ32を示す情報を記憶部66へ記憶する。資料データ32を示す情報には、例えば、資料データ32の識別情報や、該資料データ32の記憶場所を示すパス(URL:Uniform Resource Locator)などを用いればよい。
また、受付部64Eは、該資料データ32における新たな表示領域34が表示対象の領域として操作指示されるごとに、該資料データ32における操作指示された表示領域34を示す表示領域情報36と、表示タイミングと、を、資料データ32を示す情報に対応づけて、記憶部66へ記憶する。そして、授業終了時には、送信部64Cが、該資料データ32と、表示タイミングと、表示タイミングの各々に対応する表示領域情報36と、を含む資料表示データ30を、情報処理装置10へ送信する。
なお、制御部64で実行する上記処理は、専用のアプリケーションを起動することで実行される。このアプリケーションの形態は限定されない。制御部64において用いる該専用のアプリーションは、例えば、ブラウザベースのアプリケーションなどであるが、これに限定されない。
次に、情報処理装置10の機能的構成を説明する。情報処理装置10は、制御部60と、記憶部62と、を備える。
記憶部62は、各種データを記憶する。記憶部62は、例えば、HDD28(図2参照)によって実現する。
情報処理装置10の制御部60は、CPU25、ROM26、RAM27(図2参照)などによって実現する。なお、制御部60は、回路などによって実現してもよい。
制御部60は、通信部60Bと、実行部60Aと、を含む。通信部60Bは、受信部60Hと、送信部60Iと、を含む。実行部60Aは、取得部60Cと、特定部60Dと、分割部60Eと、算出部60Fと、再生制御部60Gと、を含む。実行部60A、通信部60B、取得部60C、特定部60D、分割部60E、算出部60F、再生制御部60G、受信部60H、および送信部60Iの一部または全ては、例えば、CPU25などのプロセッサ回路にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ICなどの専用の処理回路を用いてハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。処理回路は、物理的に1つであってもよいし、複数であってもよい。
受信部60Hは、端末装置14から、各種のデータや信号などを受信する。
具体的には、受信部60Hは、共通表示装置12から共通提供データ31を受信する。また、受信部60Hは、端末装置14の各々から、資料表示データ30を受信する。送信部60Iは、端末装置14へ、各種の情報や信号などを送信する。具体的には、送信部60Iは、再生用表示画面38を端末装置14へ送信する。
取得部60Cは、表示画面データ50を取得する。表示画面データ50は、上述したように、表示された表示タイミングの異なる複数の表示画面52を時系列に配列してなる。
本実施の形態では、取得部60Cは、端末装置14から受信した資料表示データ30に基づいて、表示画面データ50を取得する。
図4を用いて具体的に説明する。取得部60Cは、端末装置14から受信した資料表示データ30から、資料データ32と、表示タイミングの各々に対応する表示領域情報36と、を読取る。例えば、取得部60Cは、図4(A)に示す資料データ32と、表示タイミングの各々に対応する表示領域34(表示領域34A、34B)を示す表示領域情報36と、を読取る。
そして、取得部60Cは、資料データ32から、表示タイミングの各々に対応する、表示領域情報36によって示される表示領域34を抽出した表示画面52を、表示タイミングに沿って時系列に配列し、表示画面データ50(図4(C)参照)を生成する。これによって、取得部60Cは、端末装置14に表示された表示画面52を時系列に配列した表示画面データ50を取得する。
なお、表示領域情報36が、資料データ32における位置、大きさ、範囲を示す情報である場合、取得部60Cは、表示領域情報36によって示される表示領域34を表示画面52として、資料データ32から直接抽出すればよい。一方、表示領域情報36が、資料データ32における特定の基準領域からの移動量、移動方向、およびズーム率を示す場合、取得部60Cは、資料データ32における基準領域を、表示領域情報36によって示される移動量および移動方向にずらし、且つ、該表示領域情報36によって示されるズーム率に応じて拡大または縮小した領域を、表示画面52として抽出すればよい。
これによって、取得部60Cは、端末装置14に表示された複数の表示画面52を表示タイミングに沿って時系列に配列した表示画面データ50を、取得する。
なお、取得部60Cは、複数の端末装置14の各々から、それぞれの端末装置14に表示された表示画面52の表示画面データ50を取得してもよい。また、取得部60Cは、複数の端末装置14の各々から受信した資料表示データ30から、それぞれの端末装置14に表示された表示画面52の表示画面データ50を取得してもよい。また、1台の端末装置14に、同時に複数の表示画面52が表示される場合がある。この場合、取得部60Cは、1台の端末装置14から、複数の表示画面データ50を取得してもよい。
本実施の形態では、取得部60Cは、複数の端末装置14の各々から受信した資料表示データ30から、複数の端末装置14の各々に表示された表示画面52の表示画面データ50を取得する形態を説明する。
なお、表示画面データ50は、少なくとも1つの表示タイミングに対応する表示画面52を示すものであればよく、異なる複数の表示タイミングの各々に対応する、複数の表示画面52を含むものに限定されない。但し、本実施の形態では、表示画面データ50は、複数の表示画面52を表示タイミングに沿って時系列に配列したものである場合を説明する。
図5に戻り、説明を続ける。特定部60Dは、表示画面データ50によって示される表示画面52に含まれる、要素の要素種類を特定する。本実施の形態では、特定部60Dは、表示画面データ50に含まれる、表示タイミングの各々に対応する表示画面52の各々について、含まれる要素の要素種類を特定する。要素種類は、上述したように、文字、絵柄、動画、図表、の少なくとも1つである。
図6は、要素種類の特定の一例の説明図である。特定部60Dは、表示画面データ50を構成する各表示タイミングの各々に対応する表示画面52の各々を、公知の画像解析方法を用いて解析する。
公知の画像解析方法として、例えば、特定部60Dは、表示画面データ50の拡張子、表示画面データ50のファイル構造、画表示画面データ50の構造解析、などの公知の解析方法の1または複数を組合せることで、要素種類を特定すればよい。
これにより特定部60Dは、各表示タイミングに対応する表示画面52に含まれる、要素の要素種類を特定する。
例えば、表示画面52Aに文字が含まれる場合、特定部60Dは、表示画面52Aに含まれる要素の要素種類を“文字”と特定する。また、例えば、表示画面52Bに図や表が含まれる場合、特定部60Dは、表示画面52Bに含まれる要素の要素種類を“図表”と特定する。
表示画面データ50に含まれる他の表示タイミングの各々に対応する表示画面52についても同様に、特定部60Dは、含まれる要素の要素種類を特定する。
図6には、特定部60Dが、表示画面52Aに含まれる要素の要素種類“文字”と、表示画面52Bに含まれ要素の要素種類“図表”と、を特定した場合を、一例として示した。
なお、特定部60Dは、表示画面52を画像解析することで、表示画面52に含まれる要素の要素種類を特定してもよいし、表示画面52の一部の領域である注目領域Eを用いて、該表示画面52に含まれる要素の要素種類を特定してもよい。注目領域Eは、例えば、表示画面52の中央を含む領域である。表示画面52における注目領域Eの位置、大きさ、範囲は、予め設定すればよい。また、注目領域Eの位置、大きさ、範囲は、ユーザによる操作指示などによって、適宜変更可能としてもよい。
図5に戻り、説明を続ける。特定部60Dは、複数の端末装置14の各々から取得した、複数の表示画面データ50の各々について、表示タイミングの各々に対応する表示画面52に含まれる要素の要素種類を特定する。
図7は、要素種類の特定結果の一例を示す模式図である。例えば、特定部60Dは、表示画面データA(50A)、表示画面データB(50B)、表示画面データC(50C)の各々について、開始時間と終了時間によって規定される表示タイミングごとに要素種類を特定する。
図5に戻り、説明を続ける。分割部60Eは、端末装置14における複数の表示画面52の表示期間を、複数のトピック区間に分割する。表示期間は、取得した表示画面データ50に含まれる表示タイミングの群によって表される期間である。表示期間は、具体的には、授業の授業時間や、会議の会議時間、講義の講義時間などである。更に具体的には、表示期間は、該表示画面52の表示されていたときにユーザの参加していた会合の、開催されていた期間である。
トピック区間は、表示期間における、時系列に隣接する一対のトピック区切りによって区切られた区間を示す。本実施の形態では、分割部60Eは、教室P内に共通して提供されていた共通提供データ31に基づいて、表示期間を、提供されたトピックごとに複数のトピック区間に分割する。
トピックとは、テーマや話題を意味する。すなわち、分割部60Eは、授業や講義などの期間(表示期間)を、トピックごとに複数のトピック区間に分割する。
分割部60Eは、公知の方法を用いて、共通提供データ31を解析する。この解析によって、分割部60Eは、トピックの区切りであるトピック区切りを特定する。そして、分割部60Eは、表示期間を、トピック区切りによって区切られた、複数のトピック区間に分割する。
例えば、分割部60Eは、公知の方法として、特開2014−112280号公報に示される方法を用いて、トピック区切りと、隣接する一対のトピック区切りによって規定されるトピック区間と、トピック区間のトピックと、を特定する。このとき、分割部60Eは、各トピック区間のトピックの特定に用いたキーワードについても、併せて特定する。キーワードは、要素の1種である文字によって形成された言葉であり、トピックの特定に用いたキーとなる言葉である。
なお、分割部60Eは、表示期間に教室P内に共通して提供されていたデータを用いて、トピック区間、各トピック区間のトピック、およびトピックの特定に用いたキーワード、を特定すればよい。このため、分割部60Eは、複数の端末装置14の各々から受信した、複数の資料表示データ30の内の1つを、共通提供データ31として用いてもよい。
本実施の形態では、分割部60Eは、共通提供データ31を用いて、トピック区間、各トピック区間のトピック、および、トピックの特定に用いたキーワード、を特定する場合を一例として説明する。
例えば、分割部60Eは、共通提供データ31に含まれる音や文字を解析することで、トピック区間と、各トピック区間のトピックと、トピックの特定に用いたキーワードと、を特定する。
図8は、分割部60Eによる、共通提供データ31の解析結果の一例を示す模式図である。例えば、共通提供データ31が、動画像データと、音声データと、を含んでいたと仮定する。
この場合、分割部60Eは、図8に示すように、共通提供データ31における、開始時間と終了時間によって規定される表示タイミングの各々について、キーワード解析結果と、トピック区間ごとのトピックと、トピックの特定に用いたキーワードと、を解析する。
例えば、分割部60Eは、共通提供データ31を構成する動画像データおよび音声データの各々について、各表示タイミングに対応する文字認識結果および音声認識結果から、トピックの特定に用いるキーワードを抽出する。このとき、分割部60Eは、文字認識結果から抽出したキーワードを画面用のキーワード、音声認識結果から抽出したキーワードを音声用のキーワードとして抽出する。更に、分割部60Eは、これらのキーワードによって示されるトピック、および、トピック区間を特定する。
これによって、分割部60Eは、複数の表示タイミングによって示される表示期間を、トピック毎に複数のトピック区間に分割する。図8に示す例では、共通提供データ31の表示期間を、4つのトピック(トピック1〜4)のトピック区間に分割した場合を、一例として示した。
図5に戻り説明を続ける。算出部60Fは、表示画面データ50における、分割部60Eによって分割されたトピック区間ごとに、共通提供データ31における対応するトピック区間のトピックとの関連度を算出する。
具体的には、算出部60Fは、表示画面データ50における各トピック区間に含まれるキーワードと、共通提供データ31における対応するトピック区間の特定に用いたキーワードと、の一致度および類似度が高いほど、高い関連度を算出する。例えば、一致するキーワードが30個以上の場合には関連度“高”とし、5個以上30個未満の場合には関連度“中”とし、5個未満の場合には関連度“低”とする。
なお、端末装置14で上記表示期間に音声を録音し、音声データを得ている場合がある。この場合、情報処理装置10の算出部60Fは、資料表示データ30と、該資料表示データ30に含まれる資料データ32を表示した表示期間に録音された音声データと、を端末装置14から取得することが好ましい。そして、算出部60Fは、取得した資料表示データ30に含まれる資料データ32における、表示領域情報36によって示される表示領域34を含むページ内と、取得した音声データと、について、含まれるキーワードを表示タイミングごとに解析することが好ましい。そして、算出部60Fは、トピック区間の各々に属する表示タイミングの群ごとに、含まれるキーワードの解析結果を用いて、関連度を算出することが好ましい。
図9は、表示画面データ50の解析結果の一例を示す模式図である。例えば、算出部60Fは、表示画面データ50について、分割部60Eで分割したトピック1〜4のトピック区間ごとに、共通提供データ31における対応するトピック区間のトピックとの関連度を算出する。
図9に示す例では、情報処理装置10が、資料表示データ30と、授業中に録音された音声データと、を端末装置14から取得した場合を示した。そして、図9には、取得した資料表示データ30に含まれる資料データ32における、表示領域情報36によって示される表示領域34を含むページ内と、該音声データと、について、含まれるキーワードを表示タイミングごとに解析した解析結果の一例を示した。
この場合、算出部60Fは、資料データ32における、各表示タイミングに対応する表示領域情報36によって示される表示領域34を含むページ内のキーワードを解析することによって、表示タイミングごとの文字認識結果を導出する。また、算出部60Fは、表示期間に端末装置14で取得した音声データについて、含まれるキーワードを表示タイミングごとに解析することによって、表示タイミングごとの音声認識結果を導出する。
そして、算出部60Fは、図9に示すように、トピック1〜4のトピック区間の各々について、含まれる表示タイミング毎の文字認識結果に示されるキーワードと、共通提供データ31における対応するトピック区間のトピックの特定の用いた画面用のキーワード(図8参照)と、の関連度を算出する(図9中、画面関連度参照)。また、算出部60Fは、トピック区間の各々について、含まれる表示タイミング毎の音声認識結果に示されるキーワードと、共通提供データ31における対応するトピック区間のトピックの特定に用いた音声用のキーワード(図8参照)と、の関連度を算出する(図9中、音声関連度参照)。
そして、算出部60Fは、各トピック区間について、画面関連度と音声関連度との平均値である総合関連度を、表示画面データ50における各トピック区間の関連度として算出する。
算出部60Fは、取得部60Cで複数の表示画面データ50を取得した場合には、表示画面データ50の各々について、トピック区間ごとに、共通提供データ31における対応するトピック区間のトピックとの関連度を算出すればよい。
図10は、複数の表示画面データ50の各々の、トピック区間ごとの関連度算出の一例の説明図である。
例えば、取得部60Cが、図10(A)に示す共通提供データ31を取得したと仮定する。また、例えば、取得部60Cが、図10(B)〜(D)に示す、表示画面データ50(50A、50B、50C)を取得したと仮定する。
そして、特定部60Dが、表示画面データ50A〜50Cの各々について、表示タイミングごとに、含まれる要素の要素種類を特定したと仮定する。また、分割部60Eが、共通提供データ31を解析することによって、表示期間Tを、トピック区切りe1〜e2のトピック1、トピック区切りe2〜e3のトピック2、トピック区切りe3〜e4のトピック3、トピック区切りe4〜e5のトピック4、に分割したと仮定する。
表示期間Tは、表示画面データ50A〜50Cによって示される、複数の端末装置14の各々で表示画面52の表示された期間である。具体的には、表示期間Tは、1つの授業の授業時間や会議の会議時間を示す。
そして、算出部60Fは、表示画面データ50A〜50Cの各々について、トピック区間(トピック1〜4)ごとに、共通提供データ31における対応するトピック区間のトピックの特定に用いたキーワードとの関連度を算出する。
図10には、算出部60Fが、関連度“高”,“中”,“低”の3段階の関連度を算出した例を示した。しかし、算出部60Fは、複数段階の関連度を算出すればよく、関連度の段階は3段階に限定されない。
図5に戻り、説明を続ける。次に、再生制御部60Gについて説明する。
再生制御部60Gは、取得部60Cで取得した表示画面データ50の表示画面52に含まれる要素を、特定部60Dで特定した要素種類に応じた再生形態で再生制御する。
本実施の形態では、再生制御部60Gは、表示画面52に含まれる要素を、要素種類に応じた再生形態で配置した再生用表示画面38を生成し、該再生用表示画面38を表示するように制御することで、再生制御を行う。
再生形態は、表示時の、表示サイズ、形、色、配置位置、の少なくとも1つによって規定される。
すなわち、再生制御部60Gは、取得部60Cで取得した表示画面データ50の表示画面52に含まれる要素を、特定部60Dで特定した要素種類に応じた、表示サイズ、形、色、配置位置、の少なくとも1つによって規定される再生形態で再生制御する。
詳細には、再生制御部60Gは、要素種類が文字である場合、該文字を、予め定めた文字サイズより大きく表示されるように再生制御する。予め定めた文字サイズは、例えば、端末装置14で表示画面52に表示されていた時の該文字のサイズである。すなわち、再生制御部60Gは、要素種類が文字である場合、該文字を、端末装置14で表示画面52に表示されていた時より大きい文字サイズで表示するように、再生制御する。
詳細には、再生制御部60Gは、要素種類が文字である場合、該文字を、再生用表示画面38における、予め定めた文字サイズより大きく且つ複数文字を表示可能な文字表示領域内に、該文字表示領域に一致する文字サイズに調整して配置する。このとき、再生制御部60Gは、元の表示画面52に含まれる要素(文字)のアスペクト比を変更し、該文字表示領域に一致するサイズに調整して配置してもよい。
なお、再生制御部60Gは、取得部60Cで取得した表示画面データ50の表示画面52に含まれる、要素としての文字の文字列に改行が含まれている場合、改行を削除した後に、上記文字表示領域に一致するサイズに調整した配置を行い、該文字表示領域内に収まるように適宜改行を行って表示すればよい。
また、再生制御部60Gは、取得部60Cで取得した表示画面データ50の表示画面52に含まれる、要素としての文字の書字方向が縦方向(すなわち、縦書き)である場合、再生用表示画面38における文字表示領域も、同じ書字方向である縦方向に長い形状の領域とすることが好ましい。同様に、再生制御部60Gは、取得部60Cで取得した表示画面データ50の表示画面52に含まれる、要素としての文字の書字方向が横方向(すなわち、横書き)である場合、再生用表示画面38における文字表示領域も、同じ書字方向である横方向に長い形状の領域とすることが好ましい。
なお、複数の表示画面データ50における、同じ表示タイミングに対応する表示画面52に含まれる文字の書字方向が互いに異なる複数方向である場合、1つの書字方向(例えば、横書き)に統一して、要素としての文字を再生用表示画面38に配置することが好ましい。
一方、再生制御部60Gは、要素種類が図表、絵柄、動画、の何れかである場合、これらの要素(図表、絵柄、動画)に含まれる文字については、予め定めた文字サイズより大きく表示してもよい。そして、再生制御部60Gは、要素種類が図表、絵柄、動画、の何れかである場合、これらの要素(図表、絵柄、動画)における、含まれる文字以外の要素領域については、予め定めた画像サイズより小さく表示するように再生制御する。本実施の形態では、要素種類が図表、絵柄、動画、の何れかである場合、再生制御部御60Gは、このような再生制御を行う場合を一例として説明する。
このとき、再生制御部60Gは、図表、絵柄、動画、に含まれる文字以外の要素については、表示画面52に表示されていた時のアスペクト比を維持し、且つ、表示時より小さく表示するように再生制御する。
このため、例えば、再生制御部60Gは、取得部60Cで取得した表示画面データ50の表示画面52に含まれる要素の要素種類が図表、絵柄、動画、の何れかである場合には、含まれる文字については元の表示時より大きいサイズで表示し、文字以外の部分については、アスペクト比を維持したまま表示時より小さいサイズで表示する。このとき、再生制御部60Gは、図表、絵柄、および動画における文字以外の部分について、解像度を減らし且つサイズを小さく調整したサムネイル画像を生成し、再生用表示画面38に配置してもよい。
なお、再生制御部60Gは、要素種類が図表、絵柄、動画、の何れかである場合、文字が含まれるか否かに拘らず、文字を含むこれらの要素(図表、絵柄、動画)を、予め定めた画像サイズより小さく表示するように再生制御してもよい。
すなわち、再生制御部60Gは、要素種類が図表、絵柄、動画、の何れかである場合、これらの要素に含まれる文字(図表、絵柄、動画)については、文字以外の要素領域(図表、絵柄、動画そのもの)と同じ画像サイズとなるように、小さく表示してもよい。
なお、要素種類が図表、絵柄、動画、の何れかである場合、これらの要素に含まれる文字(図表、絵柄、動画)と、文字以外の要素領域(図表、絵柄、動画そのもの)と、の各々の表示時のサイズを示すパラメータを予め設定してもよい。このパラメータは、ユーザによる操作指示によって変更可能としてもよい。そして、再生制御部60Gは、要素に含まれる文字(図表、絵柄、動画)と、文字以外の要素領域(図表、絵柄、動画そのもの)と、の各々の表示時のサイズを、パラメータに応じて調整してもよい。
なお、再生制御部60Gは、表示タイミングごとに、表示画面50に含まれる要素を、特定した要素の要素種類に応じた再生形態で再生制御すればよい。この場合、再生制御部60Gは、表示タイミングの各々に対応する再生用表示画面38を生成し、該再生用表示画面38を表示するように再生制御すればよい。
また、再生制御部60Gは、トピック区間ごとに、表示画面データ50に含まれる要素を、特定した要素の要素種類に応じた再生形態で再生制御してもよい。この場合、再生制御部60Gは、トピック区間の各々に対応する再生用表示画面38を生成し、該再生用表示画面38の各々を表示するように再生制御すればよい。
また、再生制御部60Gは、表示画面データ50に含まれる複数の表示画面52に含まれる要素を、トピック区間ごとに、特定した要素種類および関連度に応じた再生形態で再生制御してもよい。
例えば、再生制御部60Gは、関連度が高いトピック区間の要素であるほど、より注視を促す再生形態で表示するように再生制御する。より注視を促す再生形態とは、例えば、より大きなサイズで表示、強調表示(太字、赤文字、点滅など)、などを示す。
ここで、上述したように、取得部60Cは、複数の表示画面データ50を取得する。そこで、再生制御部60Gは、表示画面52に含まれる要素を、特定した要素種類および関連度に応じた再生形態で複数の表示画面データ50ごとに配置した再生用表示画面38を、トピック区間ごとに生成し、再生制御する。
図11は、再生用表示画面38の一例を示す模式図である。なお、図11は、図10に示す表示画面データ50A〜50C(図10(B)〜図10(D)参照)から生成した、再生用表示画面38の一例を示す模式図である。
図11(A)は、“トピック1”のトピック区間に対応する再生用表示画面38Aの一例を示す模式図である。
図10(B)に示すように、表示画面データ50Aにおける“トピック1”のトピック区間に含まれる要素54A1の要素種類は文字であり、関連度は“高”である。また、図10(C)に示すように、表示画面データ50Bにおける“トピック1”のトピック区間に含まれる要素54B1の要素種類は図表であり、関連度は“中”である。なお、要素54B1の図表には、文字“XX年”が含まれている。また、図10(D)に示すように、表示画面データ50Cにおける“トピック1”のトピック区間に含まれる要素54C1の要素種類は文字であり、関連度は“低”である。
この場合、再生制御部60Gは、これらの表示画面データ50A〜50Cにおける、“トピック1”のトピック区間に対応する再生用表示画面38として、図11(A)に示す再生用表示画面38Aを生成する。
詳細には、再生制御部60Gは、表示画面データ50Aにおける“トピック1”のトピック区間の要素54A1である文字を(図10(B)参照)、表示画面52A1における文字サイズより大きい文字で、再生用表示画面38Aにおける文字表示領域39A1に配置する(図11(A)参照)。また、再生制御部60Gは、該要素54A1の関連度が“高”であることから(図10(B)参照)、要素54A1に対応する文字を、強調文字、例えば、太字で文字表示領域39A1に配置する(図11(A)参照)。
また、再生制御部60Gは、表示画面データ50Bにおける“トピック1”のトピック区間の要素54B1である図表について(図10(C)参照)、含まれる文字“XX年”については、表示画面52B1における文字サイズより大きい文字で、再生用表示画面38Aにおける図表領域39B1に配置する(図11(A)参照)。また、再生制御部60Gは、該図表における文字以外の要素領域(すなわち、図表そのもの)については、表示画面52B(図10(C)参照)に表示されていた時のアスペクト比を維持し、且つ、該表示時より小さいサイズに調整し、再生用表示画面38Aにおける図表領域39B1に配置する(図11(A)参照)。
また、再生制御部60Gは、該要素54B1の関連度が“中”であることから(図10(C)参照)、要素54B1に対応する図表および文字を、関連度“高”より注視を促さず、且つ、関連度“低”より注視を促す再生形態で、図表表示領域39B1に配置する(図11(A)参照)。
さらに、再生制御部60Gは、表示画面データ50Cにおける“トピック1”のトピック区間の要素54C1である文字を(図10(D)参照)、表示画面52C1における文字サイズより大きい文字で、再生用表示画面38Aにおける文字表示領域39C1に配置する(図11(A)参照)。
また、再生制御部60Gは、該要素54C1の関連度が“低”であることから(図10(D)参照)、要素54C1に対応する文字39C1を、関連度“高”の文字表示領域39A1より狭い文字表示領域39C1に、該関連度“高”の文字に比べて小さい文字サイズで、配置する。
これにより、再生制御部60Gは、トピック区間“トピック1”に対応する再生用表示画面38Aを生成する。なお、図11に示すように、再生制御部60Gは、要素を、要素種類ごとにまとめて再生用表示画面38に配置する。例えば、再生制御部60Gは、要素種類“文字”の要素を、再生用表示画面38における上部に配置し、要素種類“図表”や“動画”の要素を、再生用表示画面38における下部の領域に配置する。
トピック区間“トピック2”についても同様に、再生制御部60Gは、再生用表示画面38Bを生成する(図11(B))。
図11(B)は、“トピック2”のトピック区間に対応する再生用表示画面38Bの一例を示す模式図である。
図10(B)に示すように、表示画面データ50Aにおける“トピック2”のトピック区間に含まれる要素54A2の要素種類は文字であり、関連度は“中”である。また、図10(C)に示すように、表示画面データ50Bにおける“トピック2”のトピック区間に含まれる要素54B2の要素種類は文字であり、関連度は“高”である。また、図10(D)に示すように、表示画面データ50Cにおける“トピック1”のトピック区間に含まれる要素54C2の要素種類は動画であり、関連度は“高”である。
この場合、再生制御部60Gは、これらの表示画面データ50A〜50Cにおける、“トピック2”のトピック区間に対応する再生用表示画面38として、図11(B)に示す再生用表示画面38Bを生成する。
詳細には、再生制御部60Gは、表示画面データ50Aにおける“トピック2”のトピック区間の要素54A2である文字を(図10(B)参照)、表示画面52A2における文字サイズより大きい文字で、再生用表示画面38Bにおける文字表示領域39A2に配置する(図11(B)参照)。また、再生制御部60Gは、該要素54A2の関連度が“中”であることから(図10(B)参照)、要素54A2に対応する文字を、例えば、強調を解除し、且つ、関連度“高”のときより小さい文字サイズで、文字表示領域39A2に配置する(図11(B)参照)。
また、再生制御部60Gは、表示画面データ50Bにおける“トピック2”のトピック区間の要素54B2である文字を(図10(C)参照)、表示画面52B2における文字サイズより大きい文字で、再生用表示画面38Bにおける文字表示領域39B2に配置する(図11(B)参照)。
また、再生制御部60Gは、該要素54B2の関連度が“高”であることから(図10(C)参照)、要素54B2に対応する文字を、関連度“中”の文字表示領域39C1(図10(A)参照)より広い文字表示領域39B2に配置する(図11(B)参照)。
また、再生制御部60Gは、表示画面データ50Cにおける“トピック2”のトピック区間の要素54C2である動画について(図10(D)参照)、該動画を、表示画面52C2(図10(D)参照)に表示されていた時のアスペクト比を維持し、且つ、該表示時より小さいサイズに調整した要素を、再生用表示画面38Bにおける動画表示領域39C2に配置する(図11(B)参照)。
また、再生制御部60Gは、該要素54C2の関連度が“高”であることから(図10(D)参照)、要素54C2に対応する動画像を、関連度“中”より注視を促す再生形態で、動画表示領域39C2に配置する。
これにより、再生制御部60Gは、トピック区間“トピック2”に対応する再生用表示画面38Bを生成する。
同様にして、再生制御部60Gは、表示画面データ50における各トピック区間の各々に対応する、再生用表示画面38を生成する。そして、再生制御部60Gは、生成した再生用表示画面38のデータを、再生対象の装置(例えば、端末装置14)へ送信し、該再生用表示画面38を再生するように再生制御する。
このため、端末装置14には、過去に表示された表示画面52を後から再生するときには、含まれる要素を要素種類に応じた再生形態で表示した再生用表示画面38が表示される。
なお、端末装置14は、例えば、専用のアプリケーションを用いて、情報処理装置10から配信された再生用表示画面38を表示部68Aへ再生すればよい。
次に、本実施の形態の情報処理システム1000で行われる情報処理の流れの一例を説明する。
まず、授業の開始時に、複数の端末装置14および共通表示装置12の各々で資料データ32の表示および表示領域情報36の記録を開始する時に実行される、シーケンスの一例を説明する。図12は、端末装置14の各々において表示領域情報36の記録を開始するときに、情報処理システム1000で実行される記録開始処理の流れの一例を示す、シーケンス図である。
例えば、情報処理システム1000における複数の端末装置14の内の1つを操作するユーザAが端末装置14Aを操作し、専用アプリケーションを介して、記録開始指示を入力する(SEQ100)。すると、端末装置14Aは、記録開始指示を示す信号を情報処理装置10へ送信する(SEQ102)。
情報処理装置10は、記録開始指示を示す信号の送信元の端末装置14Aの参加中の授業(以下、ディスカッションまたはセッションと称する場合がある)が有る場合には、セッションの二重オープンを禁止するため、情報処理装置10は、エラーを示す信号を端末装置14Aへ返信する。一方、情報処理装置10は、記録開始指示を示す信号の送信元の端末装置14Aの参加中のディスカッションが無い場合には、新たなセッションをオープンにする(SEQ104)。
そして、情報処理装置10は、共通表示装置12および端末装置14Aへ、セッションオープンを示す信号を送信する(SEQ106,SEQ108,SEQ110,SEQ112)。
次に、情報処理装置10は、当該情報処理装置10において、SEQ104より前にオープンにしていたセッションを初期化し、新たなセッションを開始可能な状態とする(SEQ114)。そして、情報処理装置10は、共通表示装置12および端末装置14Aについても同様に、SEQ104より前にオープンにしていたセッションを初期化し、新たなセッションを開始可能な状態とするための初期化を示す信号を、共通表示装置12および端末装置14Aへ送信する(SEQ116,SEQ120)。共通表示装置12および端末装置14Aの各々は、SEQ104より前にオープンにしていたセッションを初期化し、新たなセッションを開始可能な状態とするための初期化を行う(SEQ118,SEQ122)。
次に、オープン済みのディスカッションに端末装置14を操作するユーザが参加する際に実行されるシーケンスの一例を説明する。図13は、情報処理システム1000においてオープン済みのディスカッションに、端末装置14を操作するユーザが参加する際に実行される、記録開始処理の流れの一例を示す、シーケンス図である。
例えば、ユーザBは、端末装置14Bを操作することで、参加可能なディスカッションリストを要求するための操作指示を入力する(SEQ140)。すると、端末装置14Bは、参加可能ディスカッションリスト要求を示す信号を情報処理装置10へ送信する(SEQ142)。情報処理装置10は、SEQ142で受信した信号に対する応答として、端末装置14Bへ、端末装置14Bの参加可能なディスカッションリストを送信する(SEQ144)。参加可能なディスカッションリストとは、現在オープンな状態とされているディスカッションの一覧を示す。
端末装置14Bは、受信した参加可能ディスカッションリストを操作パネル68へ表示し(SEQ146)、ユーザBに対して応答を促すメッセージを出力する(SEQ148)。
ユーザBは端末装置14Bの操作パネル68を操作することで、参加対象のディスカッションを選択する(SEQ150)。端末装置14Bは、操作パネル68から受付けた、選択されたディスカッションへの参加要求を表す、参加ディスカッション登録を示す信号を情報処理装置10へ送信する(SEQ152)。
情報処理装置10は、該ディスカッションへの参加を許可する場合、OKを示す応答を端末装置14Bへ送信する(SEQ154)。すると、端末装置14Bは、SEQ152で要求したセッションをオープンにし(SEQ156)、該SEQ156より前にオープンにしていた他のセッションを初期化し、SEQ156でオープンにした新たなセッションを開始可能な状態とするための初期化を行う(SEQ158)。そして、端末装置14Bは、ユーザBに対してディスカッションへの参加が許可されたことを示す、OK応答を出力する(SEQ160)。
このようにして、情報処理装置10は、新たにセッションに参加する端末装置14を、順次登録していく。
次に、セッションの終了時に、情報処理システム1000で実行される処理の一例を説明する。図14は、セッションの終了時に、情報処理システム1000で実行される処理の一例を示す、シーケンス図である。
例えば、情報処理システム1000における複数の端末装置14の内の1つを操作するユーザAが端末装置14Aを操作し、専用アプリケーションを介して、記録終了指示を入力する。すると、情報処理装置10へ、記録終了指示を示す信号が送信される(SEQ170)。
情報処理装置10は、受信した信号によって示されるセッションをクローズする(SEQ172)。また、情報処理装置10は、該セッションに参加中の共通表示装置12および端末装置14(端末装置14A、端末装置14B)に対して、セッションのクローズを示す信号を送信する(SEQ174〜SEQ184)。これにより、ユーザAによって指示されたセッションがクローズされる。
次に、セッションがクローズしたとき、すなわち、授業や会議が終了したときに、情報処理システム1000で実行される処理の一例を説明する。図15は、セッションがクローズしたときに、情報処理システム1000で実行される処理の一例を示す、シーケンス図である。
情報処理装置10は、セッションがクローズされると、参加していた端末装置14の各々に対して、該セッションの資料表示データ30の要求を示す信号を送信する(SEQ190,SEQ192)。該信号を受信した端末装置14の各々は、参加していたセッションの資料表示データ30を、情報処理装置10へ送信する(SEQ191,SEQ193)。また、情報処理装置10は、共通表示装置12へ、該セッションで提供した共通提供データ31の要求を示す信号を送信する(SEQ194)。該信号を受信した共通表示装置12は、参加していたセッションの共通提供データ31を、情報処理装置10へ送信する(SEQ196)。
情報処理装置10は、共通表示装置12から取得した共通提供データ31と、端末装置14の各々から受信した資料表示データ30と、を用いて、端末装置14の各々に表示された表示画面52を後から再生するときの、再生用表示画面38を生成し、再生制御を行う。
図16は、端末装置14Aを操作するユーザAが、あるディスカッションにおいて端末装置14の各々に表示された表示画面52を確認するときに、情報処理システム1000で実行される処理の一例を示す、シーケンス図である。
例えば、ユーザAは、端末装置14Aの操作パネル68を操作することで、ディスカッションの振り返りを操作指示する(SEQ200)。すると、端末装置14Aは、振り返りのためのディスカッションリストの要求を示す信号を、情報処理装置10へ送信する(SEQ202)。
情報処理装置10は、SEQ202で受信した信号に対する応答として、端末装置14Aへ、端末装置14Aが参加したディスカッションリストを送信する(SEQ204)。
端末装置14Aは、受信したディスカッションリストを操作パネル68へ表示し(SEQ206)、ユーザAに対して応答を促すメッセージを出力する。
ユーザAは端末装置14Aの操作パネル68を操作することで、振り返り対象のディスカッションを選択する(SEQ208)。端末装置14Aは、操作パネル68から受付けた、選択されたディスカッションの識別情報(ディスカッションID)を、情報処理装置10へ送信する(SEQ210)。
情報処理装置10は、該ディスカッションIDによって識別されるディスカッションのユーザAによる振り返りを許可する場合、OKを示す応答を端末装置14Aへ送信する(SEQ212)。すると、端末装置14Aを操作するユーザは、操作パネル68を操作することで、SEQ208で指定したディスカッションIDのディスカッションに対応する再生用表示画面38のデータ要求を指示する(SEQ214)。
端末装置14Aは、再生用表示画面38のデータ要求を示す信号を、情報処理装置10へ送信する(SEQ216)。情報処理装置10は、SEQ210で受信したディスカッションIDによって識別されるディスカッションで用いた、資料表示データ30および共通提供データ31を用いて、再生用表示画面38を生成する(SEQ218)。
そして、情報処理装置10は、生成した再生用表示画面38のデータを、端末装置14Aへ送信する(SEQ220)。端末装置14Aは、受信した再生用表示画面38を操作パネル68へ表示する(SEQ224)。
次に、端末装置14および情報処理装置10の各々で実行する、情報処理の手順の一例を説明する。
図17は、セッション参加時に端末装置14の制御部64が実行する、情報処理の手順の一例を示すフローチャートである。
まず、端末装置14の受付部64Eが、制御部64から表示対象の資料データ32の指定を受付けたか否かを判断する(ステップS300)。ステップS300で否定判断すると(ステップS300:No)、本ルーチンを終了する。ステップS300で肯定判断すると(ステップS300:Yes)、ステップS302へ進む。
ステップS302では、受付部64Eは、ステップS300で受付けた資料データ32の資料IDを、該セッションで表示した資料データ32の識別情報として記憶部66へ記憶する(ステップS302)。
次に、表示制御部64Dは、ステップS300で受付けた資料データ32の一部の領域を、表示画面52として表示部68Aへ表示する(ステップS304)。そして、表示制御部64Dは、ステップS304で表示した表示画面52に対応する表示領域34の表示領域情報36を、該表示画面52の表示タイミングと、ステップS302で記憶した資料IDと、に対応付けて、記憶部66へ記憶する(ステップS306)。
次に、受付部64Eが、該資料データ32における表示対象の表示領域34の変更指示を、操作受付部68Bから受付けたか否かを判断する(ステップS308)。ステップS308で否定判断すると(ステップS308:No)、後述するステップS314へ進む。
一方、ステップS308で肯定判断すると(ステップS308:Yes)、ステップS310へ進む。ステップS310では、表示制御部64Dは、ステップS308で受付けた変更指示によって変更された、変更後の表示領域34の表示画面52を、表示部68Aへ表示する(ステップS310)。
そして、表示制御部64Dは、ステップS310で表示した表示画面52に対応する表示領域34の表示領域情報36を、該表示画面52の表示タイミングと、ステップS302で記憶した資料IDと、に対応付けて、記憶部66へ記憶する(ステップS312)。
次に、ステップS314では、受付部64Eが、ステップS302で記憶した資料IDによって識別される資料データ32の表示を終了するか否かを判断する(ステップS314)。例えば、受付部64Eは、操作受付部68Bから資料データ32の表示終了を示す指示信号を受付けたか否かを判別することで、ステップS314の判断を行う。
ステップS314で否定判断すると(ステップS314:No)、上記ステップS308へ戻る。一方、ステップS314で肯定判断すると(ステップS314:Yes)、本ルーチンを終了する。
端末装置14がステップS300〜ステップS314の処理を実行することによって、端末装置14は、ディスカッション中に表示された資料データ32と、ディスカッション中の表示タイミングの各々に表示部68Aに表示された、表示画面52に対応する資料データ32における表示領域34を示す表示領域情報36と、を含む資料表示データ30が作成される。そして、情報処理装置10からの資料表示データ30の要求を示す信号に応じて、端末装置14は、資料表示データ30を情報処理装置10へ送信する。
次に、情報処理装置10で実行する情報処理の手順の一例を説明する。
図18は、情報処理装置10で実行する情報処理の手順の一例を示す、フローチャートである。
まず、情報処理装置10の受信部60Hが、複数の端末装置14の各々から資料表示データ30を受信する(ステップS500)。制御部60は、ステップS500で受信した資料表示データ30を、オープン中のディスカッションのディスカッションIDに対応付けて、記憶部62へ記憶する(ステップS502)。
次に、情報処理装置10の取得部60Cが、ステップS500で取得した資料表示データ30に基づいて、表示画面データ50を取得する(ステップS504)。上述したように、取得部60Cは、資料表示データ30に含まれる、資料データ32と、表示タイミングの各々に対応する表示領域情報36と、を用いて、表示画面データ50(図4(C)参照)を生成する。
次に、特定部60Dが、ステップS504で取得した表示画面データ50によって示される表示画面52に含まれる、要素の要素種類を特定する(ステップS506)。本実施の形態では、特定部60Dは、表示画面データ50に含まれる、表示タイミングの各々に対応する表示画面52の各々について、含まれる要素の要素種類を特定する。
次に、取得部60Cが、受信部60Hを介して共通表示装置12から、共通提供データ31を取得する(ステップS508)。
そして、分割部60Eが、ステップS508で取得した共通提供データ31を用いて、ディスカッションの期間(授業時間)に相当する表示期間Tを、複数のトピック区間に分割する(ステップS510)。
次に、算出部60Fが、ステップS504で取得した表示画面データ50における、ステップS510で分割されたトピック区間ごとに、共通提供データ31における対応するトピック区間のトピックとの関連度を算出する(ステップS512)。
次に、再生制御部60Gが、ステップS504で取得した表示画面データ50を構成する表示画面52に含まれる要素を、トピック区間ごとに、要素種類および関連度に応じた再生形態で示す再生用表示画面38を生成する(ステップS514)。そして、再生制御部60Gは、ステップS514で生成した再生用表示画面38を、ディスカッションを振り返ることを所望するユーザの操作する端末装置14へ配信する(ステップS516)。再生用表示画面38を受信した端末装置14は、表示部68Aに再生用表示画面38を表示する。これによって、再生制御部60Gは、表示画面データ50の表示画面52に含まれる要素を、特定部60Dで特定した要素種類に応じた再生形態で再生制御する。そして、本ルーチンを終了する。
以上説明したように、本実施の形態の情報処理装置10は、取得部60Cと、特定部60Dと、再生制御部60Gと、を備える。取得部60Cは、表示された表示画面52を示す表示画面データ50を取得する。特定部60Dは、表示画面データ50によって示される表示画面52に含まれる要素の要素種類を特定する。再生制御部60Gは、表示画面52に含まれる要素を、特定した要素種類に応じた再生形態で再生制御する。
このように、本実施の形態の情報処理装置10は、表示された表示画面52について、含まれる要素を要素種類に応じた再生形態で再生制御する。すなわち、本実施の形態の情報処理装置10は、表示された表示画面の縮小や低解像度化を行うこと無く、また、表示画面をそのまま再生用として用いるのではなく、表示画面に含まれる要素について、要素種類に応じた再生形態で再生制御する。このため、本実施の形態の情報処理装置10は、過去に表示された表示画面52に示された内容を一見して把握可能に提供することができる。
従って、本実施の形態の情報処理装置10は、表示された表示画面52の再生時の視認性向上を図ることができる。
例えば、ユーザが端末装置14を用いて資料を参照しながら授業や会議に参加した後に、授業中や会議中に表示していた表示画面52を後から確認することを所望する場合がある。本実施の形態の情報処理装置10は、授業中や会議中に表示していた表示画面52に含まれる要素について、要素種類に応じた再生形態で再生制御する。このため、ユーザは、要素種類に応じた再生形態で再生された要素を視認することで、再生内容の特定の部分を大きく表示させるための特定の操作指示などを行うことなく、授業や会議中に表示された内容を容易に確認することができる。
このため、本実施の形態の情報処理装置10は、過去に表示された表示画面52の再生時の視認性向上を図ることができる。
また、要素種類は、文字、絵柄、動画、および図表、の少なくとも1つである。
また、再生制御部60Gは、要素を、要素種類に応じた表示サイズ、形、色、配置位置、の少なくとも1つによって規定される再生形態で再生制御する。
再生時の文字の文字サイズは、判読のしやすさに大きな影響を与える。本実施の形態では、再生制御部60Gは、要素種類が文字である場合、該文字が予め定めた文字サイズより大きく表示されるように再生制御する。このため、本実施の形態の情報処理装置10は、上記効果に加えて、更に、表示された表示画面52の再生時の視認性向上を図ることができる。
要素種類が図表、絵柄、および動画の何れかである場合、アスペクト比を変更すると判読性が低下する場合がある。また、図表、絵柄、および動画に含まれる文字の文字サイズを小さくして再生すると、判読性が低下する場合がある。一方、図表、絵柄、および動画における、文字以外の要素領域(すなわち、図表、絵柄、動画そのもの)については、サイズを小さくしたり低解像度化したりしても、判読性に与える影響は少ない場合が多い。
そこで、再生制御部60Gは、要素種類が、図表、絵柄、および動画、の何れかである場合、含まれる文字を予め定めた文字サイズより大きく表示し、含まれる文字以外の要素領域を予め定めた画像サイズより小さく表示するように再生制御する。
また、再生制御部60Gは、要素種類が図表、絵柄、および動画の何れかである場合、含まれる文字以外の要素領域を表示時のアスペクト比を維持し、且つ、予め定めた画像サイズより小さく表示するように再生制御する。
このため、本実施の形態の情報処理装置10は、上記効果に加えて、更に、表示された表示画面52の再生時の視認性向上を図ることができる。
特定部60Dは、表示画面52の一部の領域である一部領域(注目領域E)に含まれる要素の要素種類を特定する。
ユーザの視線の向き易い領域(例えば、表示画面52の中央を含む領域)を、注目領域Eとして設定することで、特定部60Dは、表示画面52における、ユーザの注視していた可能性の高い領域に含まれる要素の要素種類を、選択的に特定することができる。また、特定部60Dによる特定精度の向上および特定時間の短縮を図ることもできる。
取得部60Cは、資料データ32と、資料データ32における表示領域34を示す表示領域情報36と、を含む資料表示データ30に基づいて、資料データ32における、表示領域情報36によって示される表示領域34を表示画面52として抽出した、表示画面データ50を取得する。
取得部60Cは、表示画面データ50と、表示画面データ50によって示される表示画面52の表示タイミングと、を取得する。再生制御部60Gは、表示タイミングごとに、表示画面52に含まれる要素を、特定した要素種類に応じた再生形態で再生制御する。
表示画面データ50は、表示された表示タイミングの異なる複数の表示画面52を時系列に配列してなる。分割部60Eは、複数の表示画面52の表示期間Tを、表示期間Tに提供された共通提供データ31に基づいて、提供されたトピック毎に複数のトピック区間に分割する。算出部60Fは、表示画面データ50におけるトピック区間ごとに、共通提供データ31における対応するトピック区間のトピックとの関連度を算出する。再生制御部60Gは、表示画面データ50に含まれる複数の表示画面52に含まれる要素を、トピック区間ごとに、特定した要素種類および関連度に応じた再生形態で再生制御する。
取得部60Cは、複数の表示画面データ50を取得する。再生制御部60Gは、表示画面52に含まれる要素を、特定した要素種類および関連度に応じた再生形態で表示画面データ50ごとに配置した再生用表示画面38を、トピック区間ごとに生成し、再生用表示画面38を再生制御する。
再生制御部60Gは、表示画面データ50における、関連度の高いトピック区間に含まれる要素ほど、より注視を促す再生形態で再生用表示画面38に配置する。
本実施の形態の情報処理システム1000は、情報処理装置10と、情報処理装置10と通信する端末装置14と、を備える。端末装置14の表示制御部64Dは、表示画面52を表示部68A(表示部29B)に表示する。端末装置14の送信部64Cは、表示画面52を示す表示画面データ50を情報処理装置10へ送信する。情報処理装置10の取得部60Cは、表示画面データ50を取得する。特定部60Dは、表示画面データ50によって示される表示画面52に含まれる要素の要素種類を特定する。再生制御部60Gは、表示画面52に含まれる要素を、特定した要素種類に応じた再生形態で再生制御する。
本実施の形態の情報処理プログラムは、表示された表示画面52を示す表示画面データ50を取得するステップと、表示画面データ50によって示される表示画面52に含まれる要素の要素種類を特定するステップと、表示画面52に含まれる要素を、特定した要素種類に応じた再生形態で再生制御するステップと、をコンピュータに実行させるための情報処理プログラムである。
なお、上記実施の形態では、情報処理装置10が要素種類を特定する特定部60Dを備えた構成を説明した。しかし、特定部60Dを、端末装置14側に搭載してもよい。
この場合、端末装置14に搭載された特定部60Dは、新たな表示領域34がユーザによって指定される毎に、表示領域34によって示される表示画面52に含まれる要素の要素種類を特定してもよい。また、端末装置14に搭載された特定部60Dは、1つのディスカッションが終了するごとに、情報処理装置10と同様に、表示タイミングの各々に対応する表示画面52に含まれる要素の要素種類を特定してもよい。
なお、上述した実施の形態における、情報処理装置10、共通表示装置12、および端末装置14の各々で実行する上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
また、上述した実施の形態における、情報処理装置10、共通表示装置12、および端末装置14の各々で実行されるプログラムは、上記各機能部を含むモジュール構成となっており、実際のハードウェアとしては、例えば、CPU25(プロセッサ回路)がROM26またはHDD28からプログラムを読み出して実行することにより、上述した各機能部がRAM27(主記憶)上にロードされ、上述した各機能部がRAM27(主記憶)上に生成されるようになっている。
なお、上記には、実施の形態を説明したが、上記実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。