Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5448372B2 - Selective information presentation device and selective information presentation processing program - Google Patents
[go: Go Back, main page]

JP5448372B2 - Selective information presentation device and selective information presentation processing program - Google Patents

Selective information presentation device and selective information presentation processing program Download PDF

Info

Publication number
JP5448372B2
JP5448372B2 JP2008137285A JP2008137285A JP5448372B2 JP 5448372 B2 JP5448372 B2 JP 5448372B2 JP 2008137285 A JP2008137285 A JP 2008137285A JP 2008137285 A JP2008137285 A JP 2008137285A JP 5448372 B2 JP5448372 B2 JP 5448372B2
Authority
JP
Japan
Prior art keywords
information
presentation
presented
file
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008137285A
Other languages
Japanese (ja)
Other versions
JP2009282936A (en
Inventor
篤信 木村
睦裕 中茂
稔 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008137285A priority Critical patent/JP5448372B2/en
Publication of JP2009282936A publication Critical patent/JP2009282936A/en
Application granted granted Critical
Publication of JP5448372B2 publication Critical patent/JP5448372B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、作業や会話を支援するための情報を提示する選択式情報提示装置および選択式情報提示処理プログラムに関する。   The present invention relates to a selective information presentation device and a selective information presentation processing program for presenting information for supporting work and conversation.

従来、ユーザの技術作業や会話を支援するために動的に情報を提示するシステムとしては、例えば、特許文献1に開示されるように、ユーザの動作や発話などの状態変化に応じて話題を決定するシステム、また、その話題に関連する画像や情報を順次提示していくシステムがある。これらのシステムは、ユーザが情報を求める最適なタイミングを推定し、そのタイミングに情報を提示するシステムである。   Conventionally, as a system for dynamically presenting information in order to support a user's technical work and conversation, for example, as disclosed in Patent Document 1, a topic can be selected according to a change in the state of a user's action or speech. There are systems for determining, and systems for sequentially presenting images and information related to the topic. These systems are systems that estimate an optimal timing for a user to request information and present information at that timing.

特開2008−9552号公報Japanese Patent Laid-Open No. 2008-9552

前述した従来技術では、情報の提示の適切なタイミングを推測することを目指していた。しかし、人間の主観的な感覚は推測することが難しく、また、少しのずれがユーザに違和感を与えるため、ユーザの作業や会話の支援に適した情報の提示方法とは言えない。   The above-described prior art has aimed to estimate an appropriate timing for presenting information. However, it is difficult to guess a human subjective feeling, and a slight shift gives the user a sense of incongruity, and thus it cannot be said to be a method of presenting information suitable for user work and conversation support.

そこで、本発明の目的は、ユーザの作業や会話の支援に適した情報を提示することが可能になる選択式情報提示装置および選択式情報提示処理プログラムを提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide a selection type information presentation device and a selection type information presentation processing program capable of presenting information suitable for user work and conversation support.

すなわち、本発明に係わる選択式情報提示装置は、1つの箇所に複数のユーザが向い合っている状況において情報を提示する装置であって、提示候補となる提示候補情報を取得する取得手段と、取得手段により取得した提示候補情報の特徴を示す特徴情報を生成する生成手段と、生成手段により生成した特徴情報を取得した提示候補情報ごとに記憶する記憶手段と、新たな発話内容を認識する認識手段と、認識手段による認識結果および記憶手段に記憶される特徴情報をもとに、記憶手段に記憶される特徴情報に対応する提示候補情報のうち発話内容に関連する情報としての提示に適する情報を複数検索する検索手段と、検索手段により検索した情報のそれぞれに提示順位を付与し、検索手段により検索した情報の個数が同時に提示可能な個数を超える場合には、検索手段により検索した情報のうち同時に提示可能な個数の情報を提示順位にしたがって選択し、該選択した情報を、箇所上における各ユーザの目の前の領域に、ユーザ毎に常時提示する第1の提示手段と、いずれかのユーザが選択した情報を箇所の中央部に提示する第2の提示手段とを備え、第1の提示手段は、表示箇所高速移動のための所定の操作がなされた場合に、第1の提示手段により提示された情報のうち提示順序が最も高い情報の提示を中止して、現在提示される情報の表示箇所を所定方向に沿って高速移動のための所定速度で移動させ、移動の結果空いた箇所に対し、検索手段により検索した情報のうち現在提示していない別の情報であって、第1の提示手段により提示された情報のうち提示順序が最も低い情報より1つ低い提示順位が付与される情報を新たに提示する手段を含むことを特徴とする。 That is, the selective information presentation apparatus according to the present invention is an apparatus that presents information in a situation where a plurality of users are facing one place, and obtains presentation candidate information that is a presentation candidate; Generation means for generating feature information indicating the characteristics of the presentation candidate information acquired by the acquisition means, storage means for storing the feature information generated by the generation means for each presentation candidate information acquired, and recognition for recognizing new utterance contents Information suitable for presentation as information related to the utterance content among the candidate presentation information corresponding to the feature information stored in the storage means based on the recognition results of the means and the recognition information by the recognition means and the feature information stored in the storage means A search means for searching a plurality of items, and a ranking that is given to each of the information searched by the search means, and the number of pieces of information searched by the search means can be presented simultaneously In the case of exceeding the number of pieces of information searched by the search means, the number of pieces of information that can be presented simultaneously is selected according to the presentation order, and the selected information is placed in the area in front of each user on the location for each user. The first presentation means for always presenting and the second presentation means for presenting the information selected by any user in the center of the location, the first presentation means for high-speed movement of the display location When a predetermined operation is performed, the presentation of the information with the highest presentation order among the information presented by the first presentation means is stopped, and the display location of the currently presented information is moved at high speed along the predetermined direction. Information that is not currently presented among the information retrieved by the retrieval means for the vacant part as a result of the movement, of the information presented by the first presentation means Presentation order is the most Lower presentation order one than have information characterized in that it comprises a means for newly presenting information to be imparted.

本発明によれば、ユーザの作業や会話の支援に適した情報を提示することができる。   According to the present invention, it is possible to present information suitable for user work and conversation support.

以下図面により本発明の実施形態について説明する。
図1は、本発明の実施形態における選択式情報提示装置の構成例を示すブロック図である。
図1に示すように、本発明の実施形態における選択式情報提示装置は、装置全体の処理動作を司る制御部1、キーボードやマウスなどの入力装置2、ディスプレイ装置などの表示装置3、記憶装置4、検出部5、メタデータ生成部6、検索処理部7、提示処理部8およびジェスチャ認識装置9を備え、それぞれがバス10を介して相互に接続される。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration example of a selective information presentation device according to an embodiment of the present invention.
As shown in FIG. 1, a selective information presentation device according to an embodiment of the present invention includes a control unit 1 that controls processing operations of the entire device, an input device 2 such as a keyboard and a mouse, a display device 3 such as a display device, and a storage device. 4, a detection unit 5, a metadata generation unit 6, a search processing unit 7, a presentation processing unit 8, and a gesture recognition device 9 are connected to each other via a bus 10.

記憶装置4は、例えばハードディスクドライブや不揮発性メモリなどの記憶媒体であり、検出部5、メタデータ生成部6、検索処理部7、提示処理部8およびジェスチャ認識装置9による処理動作のためのプログラムを記憶する他、メタデータ記憶部41および検出データ記憶部42を有する。   The storage device 4 is a storage medium such as a hard disk drive or a non-volatile memory, for example, and a program for processing operations performed by the detection unit 5, metadata generation unit 6, search processing unit 7, presentation processing unit 8, and gesture recognition device 9. And a metadata storage unit 41 and a detection data storage unit 42.

検出部5は、ユーザに関連する情報として、当該ユーザが作成した文書情報や当該ユーザが発した発話情報などを検出する。
メタデータ生成部6は、検出部5により検出した情報の特徴を表す情報であるメタデータを生成する。
記憶装置4のメタデータ記憶部41は、メタデータ生成部6により生成したメタデータを生成元である情報ごとに記憶する。また、記憶装置4の検出データ記憶部42は、検出部5により新たに検出した発話情報および当該発話情報の特徴情報を記憶する。
The detection unit 5 detects document information created by the user, speech information uttered by the user, and the like as information related to the user.
The metadata generation unit 6 generates metadata that is information representing the characteristics of the information detected by the detection unit 5.
The metadata storage unit 41 of the storage device 4 stores the metadata generated by the metadata generation unit 6 for each piece of information that is the generation source. Further, the detection data storage unit 42 of the storage device 4 stores the utterance information newly detected by the detection unit 5 and the feature information of the utterance information.

検索処理部7は、検出部5により新たに検出した発話情報についてメタデータ生成部6により生成した特徴情報およびメタデータ記憶部41に記憶される情報をもとに、新たな発話内容に関連する情報としてユーザへの提示に適する複数種類の情報を検索することでユーザへの提示情報を決定する。   The search processing unit 7 relates to the new utterance content based on the feature information generated by the metadata generation unit 6 and the information stored in the metadata storage unit 41 for the utterance information newly detected by the detection unit 5. Information to be presented to the user is determined by searching a plurality of types of information suitable for presentation to the user as information.

提示処理部8は、検索処理部7により決定した提示情報を、会議への参加ユーザ全員が見える位置、例えばテーブルの上や当該テーブル外の投影スクリーン上などの所定の投影箇所に投影するなどして各ユーザの目の前に順次提示し、一定数の情報が常時提示されている状態を保つ。本実施形態では、検索処理部7より検索した提示情報の個数は一度に提示可能な一定数を超えており、当該一定数の情報が提示されるとする。   The presentation processing unit 8 projects the presentation information determined by the search processing unit 7 onto a predetermined projection location such as on a table or on a projection screen outside the table, for example, where all users participating in the conference can see. The information is sequentially presented in front of each user, and a certain number of information is constantly presented. In the present embodiment, it is assumed that the number of pieces of presentation information searched by the search processing unit 7 exceeds a certain number that can be presented at one time, and the certain number of information is presented.

図2は、本発明の実施形態における選択式情報提示装置による情報入力からメタデータ生成までの処理過程の一例を示す図である。
図2に示すように、ユーザが電子メール用アプリケーションを用いて電子メールのファイルを作成した場合、検出部5は電子メール用アプリケーションを介して電子メールのファイル中の文章を取得し、宛先、タイムスタンプ、タイトルおよび本文などを抽出する。
FIG. 2 is a diagram illustrating an example of a processing process from information input to metadata generation by the selective information presentation device according to the embodiment of the present invention.
As shown in FIG. 2, when the user creates an e-mail file using the e-mail application, the detection unit 5 acquires the text in the e-mail file via the e-mail application, Extract stamps, titles, and text.

さらに、メタデータ生成部6は、抽出済みのタイトルや本文の形態素解析を行ない、当該タイトルや本文に含まれる単語群の種類、出現頻度、および前述した単語群から想定される情報を生成して、当該情報、宛先、タイムスタンプ、タイトルなどを作成済みの電子メールのファイルのメタデータとする。メタデータ生成部6は、生成したメタデータを作成済みのファイルと関連付けてメタデータ記憶部41に記憶する。メタデータの生成元のファイル自体は記憶装置4に記憶される。また、メタデータ生成部6による形態素解析モジュールとしては例えばJTAG2004が挙げられる。   Further, the metadata generation unit 6 performs morphological analysis of the extracted title and text, and generates information assumed from the type and appearance frequency of the word group included in the title and text, and the word group described above. The information, destination, time stamp, title, and the like are used as metadata of the created e-mail file. The metadata generation unit 6 stores the generated metadata in the metadata storage unit 41 in association with the created file. The metadata generation source file itself is stored in the storage device 4. An example of a morphological analysis module by the metadata generation unit 6 is JTAG2004.

単語群から想定される情報とは、例えば本文で利用されている語尾や語群が敬語を多く含むことから想定される情報、例えばユーザと当該ユーザの送り先の人物との人間関係、および話題の移り変わりから想定されるユーザの興味の対象などが挙げられる。
また、図2に示すように、ユーザが資料作成アプリケーションを用いて発表用の資料のファイルを作成した場合、検出部5は、資料作成アプリケーションを介して作成資料のファイル中の文章を取得し、作成者、編集者、ファイル作成日時であるタイムスタンプ、更新日時、更新回数、ファイル形式、タイトル、本文、当該作成資料が利用された会議の名称などを抽出する。
The information assumed from the word group is, for example, information assumed from the fact that the endings and word groups used in the text contain many honorifics, for example, the human relationship between the user and the user's destination, and the topic The target of the user's interest that can be envisioned from the transition.
In addition, as shown in FIG. 2, when the user creates a presentation material file using the material creation application, the detection unit 5 acquires the text in the created material file via the material creation application, The creator, editor, file creation date / time stamp, update date / time, number of updates, file format, title, text, and the name of the conference in which the created material was used are extracted.

この場合、メタデータ生成部6は、抽出済みのタイトルや本文の形態素解析処理を行ない、当該ファイル名や本文に含まれる単語の種類と出現頻度のデータを生成して、当該データおよび前述した作成者、編集者、タイムスタンプ、更新日時、更新回数、ファイル形式、タイトルなどを作成資料のファイルのメタデータとし、当該メタデータを作成済みのファイルと関連付けてメタデータ記憶部41に記憶する。   In this case, the metadata generation unit 6 performs morpheme analysis processing of the extracted title and text, generates data on the type and frequency of words included in the file name and text, and generates the data and the above-described creation The editor, the editor, the time stamp, the update date / time, the update count, the file format, the title, and the like are used as metadata of the file of the created material, and the metadata is associated with the created file and stored in the metadata storage unit 41.

また、図2に示すように、ユーザが発話した場合、検出部5は、図示しないマイクロフォンを介してユーザの発話情報を取得して当該発話情報の音声ファイルの作成を開始するとともに、当該発話情報の音声認識処理を行なうことで、発話者、対話者、録音日時であるタイムスタンプ、発話箇所である会議室の名称、発話内容の文章を抽出する。   As shown in FIG. 2, when the user utters, the detection unit 5 acquires the user's utterance information via a microphone (not shown) and starts creating an audio file of the utterance information. , The time stamp that is the recording date and time, the name of the conference room that is the speech location, and the text of the speech content are extracted.

また、検出部5は、図示しない撮影装置により撮影された映像を認識して所定半径以内に複数のユーザがいるか否かを判別することで、一つの会話や会議の区切りがなされたことが認められる場合には、音声ファイルの作成を終了する。
この場合、メタデータ生成部6は、抽出済みの発話内容の文章の形態素解析処理を行ない、発話内容に含まれる単語の種類と出現頻度のデータを生成して、これらのデータおよび前述した発話者、対話者、タイムスタンプ、会議室の名称および作成した音声ファイルのファイル名を発話情報の音声ファイルのメタデータとし、当該メタデータを作成済みのファイルと関連付けてメタデータ記憶部41に記憶する。
In addition, the detection unit 5 recognizes that a conversation or conference is separated by recognizing an image captured by an imaging device (not shown) and determining whether there are a plurality of users within a predetermined radius. If so, the creation of the audio file is terminated.
In this case, the metadata generation unit 6 performs a morphological analysis process on the sentence of the extracted utterance content, generates data on the type and frequency of words included in the utterance content, and these data and the above-described speaker The dialogue person, the time stamp, the name of the conference room, and the file name of the created voice file are used as the metadata of the voice file of the utterance information, and the metadata is stored in the metadata storage unit 41 in association with the created file.

図3は、本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第1の構成例を表形式で示す図である。図4は、本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第2の構成例を表形式で示す図である。図5は、本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第3の構成例を表形式で示す図である。図6は、本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第4の構成例を表形式で示す図である。図7は、本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第5の構成例を表形式で示す図である。   FIG. 3 is a diagram showing a first configuration example of metadata stored in the storage device of the selective information presentation device in the embodiment of the present invention in a table format. FIG. 4 is a diagram showing a second configuration example of metadata stored in the storage device of the selective information presentation device in the embodiment of the present invention in a table format. FIG. 5 is a diagram showing a third configuration example of metadata stored in the storage device of the selective information presentation device in the embodiment of the present invention in a table format. FIG. 6 is a diagram illustrating a fourth configuration example of the metadata stored in the storage device of the selective information presentation device in the embodiment of the present invention in a table format. FIG. 7 is a diagram illustrating a fifth configuration example of metadata stored in the storage device of the selective information presentation device in the embodiment of the present invention in a table format.

図3に示した構造のメタデータは電子メールの作成済みファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、宛先の「To:」、「Cc:」、「Bcc:」、タイムスタンプ、タイトル、本文テキストファイル名およびテキストの形態素解析結果でなる。   The metadata of the structure shown in FIG. 3 is the metadata of the created file of the e-mail, and the type, “application name_date_data number”, destination “To:”, “Cc:”, “Bcc:” , Time stamp, title, body text file name and text morphological analysis result.

図4に示した構造のメタデータは作成資料のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、作成者、編集者、タイムスタンプ、タイトル、データファイル名およびテキストの形態素解析結果でなる。
図5に示した構造のメタデータはカメラ撮影画像のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、入力者、タイムスタンプおよびデータファイル名でなる。
The metadata of the structure shown in FIG. 4 is the metadata of the file of the created material, and the type, “application name_date_data number”, creator, editor, time stamp, title, data file name, and text morpheme It consists of analysis results.
The metadata having the structure shown in FIG. 5 is metadata of a camera-captured image file, and includes a type, “application name_date_data number”, an input person, a time stamp, and a data file name.

図6に示した構造のメタデータはタッチパネル入力データのファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、入力者、編集者、タイムスタンプ、会議室、データファイル名およびテキストの形態素解析結果でなる。
図7に示した構造のメタデータは発話情報のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、発話者、対話者、タイムスタンプ、会議室、データファイル名および発話内容の形態素解析結果でなる。
The metadata of the structure shown in FIG. 6 is the metadata of the touch panel input data file, and the type, “application name_date_data number”, input person, editor, time stamp, conference room, data file name, and text The result of morpheme analysis.
The metadata having the structure shown in FIG. 7 is the metadata of the utterance information file, and includes the type, “application name_date_data number”, speaker, conversation person, time stamp, conference room, data file name, and utterance content. The result of morpheme analysis.

図8は、本発明の実施形態における選択式情報提示装置によるメタデータの生成までの処理過程の一例を示す図である。
また、前述したように、電子メールや資料の作成時に検出部5やメタデータ生成部6が処理を行なうのではなく、作成済みの電子メールや発表用の資料のファイルのアイコンやメタデータ生成用の情報収集クライアントソフトウェアのアイコンが表示装置3に表示されている状態で、ユーザによる入力装置2への操作により前述した作成済みファイルのアイコンを情報収集クライアントソフトウェアのアイコンへドラッグアンドドロップすることで、メタデータ生成部6がメタデータの生成処理を行なうようにしても良い。
FIG. 8 is a diagram illustrating an example of processing steps up to generation of metadata by the selective information presentation device according to the embodiment of the present invention.
In addition, as described above, the detection unit 5 and the metadata generation unit 6 do not perform processing at the time of creating an e-mail or a material, but generate a file icon or metadata for a created e-mail or a material for presentation. In the state where the icon of the information collection client software is displayed on the display device 3, by dragging and dropping the icon of the previously created file to the icon of the information collection client software by the user operating the input device 2, The metadata generation unit 6 may perform metadata generation processing.

この場合、メタデータ生成部6は、ドラッグアンドドロップされたアイコンに対応するファイルの内容を解析して頻出単語であるキーワードやタイムスタンプなどのプロパティを抽出し、抽出結果を当該ファイルのメタデータとして表示装置3に表示させる。   In this case, the metadata generation unit 6 analyzes the contents of the file corresponding to the dragged-and-dropped icon, extracts properties such as keywords and time stamps that are frequent words, and uses the extraction result as metadata of the file. It is displayed on the display device 3.

画面上に表示されるキーワ一ドにはデータファイル名やタイトルが含まれ、画面上に表示されるプロパティには、ファイル作成日時、更新日時、更新回数、ファイル形式などが含まれる。
また、メタデータ生成部6は、ドラッグアンドドロップされたアイコンに対応するファイルがプレゼンテーション用の複数の画像入りのページでなるファイルであったり、画像ファイルであったりする場合には、サムネイル画像をプレビュー表示させる。
The keyword displayed on the screen includes the data file name and title, and the properties displayed on the screen include file creation date / time, update date / time, update count, file format, and the like.
In addition, when the file corresponding to the dragged-and-dropped icon is a file including a plurality of presentation pages or an image file, the metadata generation unit 6 previews the thumbnail image. Display.

これら表示されたキーワードなどのプロパティをユーザによる入力装置2への操作により適宜修正した上で、「はい(Y)」のアイコンが選択されると、修正されたキーワードやプロパティがメタデータとしてメタデータ記憶部41へ記憶される。
また、各種ファイルの作成時には、当該ファイルの内容を閲覧出来る者のユーザIDの情報を含ませることができる。この場合、ファイルの作成後は、当該情報の閲覧のための操作がなされた場合には、ユーザIDの入力を求めるウインドウが画面表示され、前述した、内容を閲覧出来る者のユーザIDが入力されないと閲覧が行なえない。
When the displayed keyword and other properties are appropriately corrected by the user's operation on the input device 2 and the “Yes (Y)” icon is selected, the corrected keyword or property is used as metadata. Stored in the storage unit 41.
In addition, when creating various files, information on the user ID of a person who can view the contents of the file can be included. In this case, after the file is created, if an operation for browsing the information is performed, a window for requesting the user ID is displayed on the screen, and the user ID of the person who can browse the content is not input. I can not browse.

また、前述したドラッグアンドドロップによるプロパティなどの画面表示およびユーザによる修正入力を省略して、ファイルをメタデータ生成用のアイコンへドラッグアンドドロップするだけで当該ファイル中の頻出単語やプロパティがメタデータとしてメタデータ記憶部41に記憶される形態としてもよい。   Also, by omitting the above-mentioned screen display of properties such as drag-and-drop and correction input by the user, simply dragging and dropping a file to the metadata generation icon allows frequent words and properties in the file to be converted to metadata. It is good also as a form memorize | stored in the metadata memory | storage part 41. FIG.

次に、図1に示した構成の選択式情報提示装置の動作について説明する。
図9は、本発明の実施形態における選択式情報提示装置による処理動作の一例を示すフローチャートである。ここでは、図3から図7に示したような構造のメタデータがメタデータ記憶部41に記憶されるとする。
まず、会議を行なっている複数のユーザのうち一人が新たな発話を行なった場合、検出部5はマイクロフォンを介して発話情報を入力し(ステップS1)、当該発話情報の音声ファイルの作成を開始するとともに、発話情報の音声認識を行なうことで、発話者、対話者、発話箇所である会議室の名称および発話内容の文章を抽出する(ステップS2)。
また、検出部5は、前述したように、一つの会話や会議の区切りがなされたことが認められる場合には、音声ファイルの作成を終了する。
Next, the operation of the selective information presentation device configured as shown in FIG. 1 will be described.
FIG. 9 is a flowchart illustrating an example of a processing operation performed by the selective information presentation device according to the embodiment of the present invention. Here, it is assumed that metadata having a structure as shown in FIGS. 3 to 7 is stored in the metadata storage unit 41.
First, when one of a plurality of users having a meeting makes a new utterance, the detection unit 5 inputs the utterance information via the microphone (step S1), and starts creating an audio file of the utterance information. At the same time, by performing speech recognition of the utterance information, the name of the utterer, the conversation person, the name of the conference room as the utterance location, and the sentence of the utterance content are extracted (step S2).
In addition, as described above, the detection unit 5 ends the creation of the audio file when it is recognized that one conversation or conference is separated.

そして、メタデータ生成部6は、抽出済みの発話内容の文章を形態素解析し(ステップS3)、発話内容に含まれる単語の種類を示すキーワードを出現頻度に応じて並べたデータを生成して、当該データと前述したように抽出済みの発話者、対話者、発話箇所である会議室の名称とでなる検出データを作成済みの音声ファイルと関連付けて記憶装置4の検出データ記憶部42に記憶する(ステップS4)。   And the metadata production | generation part 6 produces | generates the data which arranged the keyword which shows the kind of word contained in the utterance content according to the appearance frequency by performing the morphological analysis of the sentence of the extracted utterance content, As described above, the detection data including the extracted speaker, the conversation person, and the name of the conference room as the utterance location are associated with the created voice file and stored in the detection data storage unit 42 of the storage device 4. (Step S4).

次に、検索処理部7は、メタデータ記憶部41に記憶されるメタデータに関わる各種の作成済みファイルのそれぞれについて、当該ファイルに関わるメタデータを読み出して、当該メタデータと検出データ記憶部42に記憶される検出データとを照合し(ステップS5)、メタデータ記憶部41に記憶されるメタデータに関わる作成済みファイルのうち、当該ファイルのメタデータと検出データ中のキーワードを含む各種情報との一致割合が基準値以上であるファイルが複数ある場合、これらのファイルを提示対象のファイルとして決定し(ステップS6)、これらのファイルのそれぞれについて、前述した一致割合が高い情報から順に提示順序を付与する。
なお、一致割合が同じ場合には、タイムスタンプが新しいファイルを提示順位の高いファイルとする。
Next, the search processing unit 7 reads the metadata related to the file for each of various created files related to the metadata stored in the metadata storage unit 41, and the metadata and the detected data storage unit 42. (Step S5), among the created files related to the metadata stored in the metadata storage unit 41, various information including the metadata of the file and the keyword in the detection data If there are a plurality of files having a matching ratio equal to or greater than the reference value, these files are determined as files to be presented (step S6), and the order of presentation is determined in order from the information with the highest matching ratio for each of these files. Give.
If the matching ratio is the same, a file with a new time stamp is set as a file with a high presentation order.

提示処理部8は、提示順序が付与されたファイルのうち、一度に提示可能な一定数のファイルを提示順序が高い順に選択し、当該選択したファイルを記憶装置4から読み出して纏めて提示する(ステップS7)。そして、提示処理部8は、ステップS4の処理で記憶装置4の検出データ記憶部42に記憶された検出データであるメタデータ群をメタデータ記憶部41にも記憶する。これにより、新たな発話がさらになされた場合の提示処理部による処理の精度が向上する。
図10は、本発明の実施形態における選択式情報提示装置による提示形態の第1の例を示す図である。図11は、本発明の実施形態における選択式情報提示装置による提示形態の第2の例を示す図である。
図10および図11に示した例では、ユーザA,B,C,Dが会議のために集っているテーブル上のユーザAの座る位置に近い箇所において、提示順序が上位5番目までのファイルA1,A2,A3,A4,A5のコンテンツである表示オブジェクトが提示される。この表示オブジェクトにより提示対象として選択されたファイル中の情報の一部又は全部が提示される。これらのファイルの提示順序は、ファイルA1,A2,A3,A4,A5の順に低くなり、提示順序が一番高いファイルA1が右端となり、提示順序が5つのファイルの中で一番低いファイルA5が左端になるようにリング状に配列された表示オブジェクトが提示される。
The presentation processing unit 8 selects a certain number of files that can be presented at one time from among the files to which the presentation order is given, in order of the highest presentation order, reads the selected files from the storage device 4 and presents them together ( Step S7). Then, the presentation processing unit 8 also stores the metadata group that is the detection data stored in the detection data storage unit 42 of the storage device 4 in the metadata storage unit 41 in the process of step S4. Thereby, the accuracy of the processing by the presentation processing unit 8 when a new utterance is further made is improved.
FIG. 10 is a diagram illustrating a first example of a presentation form by the selective information presentation device in the embodiment of the present invention. FIG. 11 is a diagram illustrating a second example of a presentation form by the selection-type information presentation device in the embodiment of the present invention.
In the example shown in FIG. 10 and FIG. 11, the files in the presentation order up to the fifth in the location close to the position where user A sits on the table where users A, B, C, and D gather for the meeting. Display objects that are contents of A1, A2, A3, A4, and A5 are presented. Part or all of the information in the file selected as the presentation target by the display object is presented. The presentation order of these files is lower in the order of files A1, A2, A3, A4, A5, the file A1 with the highest presentation order is the right end, and the file A5 with the lowest presentation order among the five files is the file A5. A display object arranged in a ring shape so as to be at the left end is presented.

また、ユーザB,C,Dのそれぞれの座る位置に近い箇所においても、当該ユーザの新たな発話にしたがって提示対象となるファイルが決定されて、提示情報の高い複数のファイルのそれぞれを示す表示オブジェクトが提示される。
そして、提示処理部8は、新たな電子メールや資料などのファイルの作成時や任意時問の経過時に、表示オブジェクトのうち提示順序が一番高い表示オブジェクトの提示を中止して、この中止にともなって残りの各表示オブジェクトの提示位置を右方向に移動させた上で、当該移動により空いた左端部の箇所に新たなファイルの表示オブジェクトを提示させる。
In addition, even in locations close to the respective sitting positions of the users B, C, and D, a file to be presented is determined according to the new utterance of the user, and a display object indicating each of a plurality of files with high presentation information Is presented.
Then, the presentation processing unit 8 cancels the presentation of the display object with the highest presentation order among the display objects when creating a file such as a new e-mail or document or when an arbitrary time elapses. Accordingly, the presentation position of each remaining display object is moved in the right direction, and a display object of a new file is presented at the left end portion vacated by the movement.

図12は、本発明の実施形態における選択式情報提示装置による提示情報の提示位置の切り替え形態の第1の例を示す図である。図13は、本発明の実施形態における選択式情報提示装置による提示情報の提示位置の切り替え形態の第2の例を示す図である。
加えて、ジェスチャ認識装置9は、ユーザの動作を撮影するなどして、提示された表示オブジェクト群にユーザの手50が近付いたことが認められた場合に、これを認識する。すると、提示処理部8は、前述した表示オブジェクト群の右端側の所定の空白部分に早送りボタン51を提示させ、表示オブジェクト群の左端側の所定の空白部分に巻き戻しボタン52を提示する。
FIG. 12 is a diagram illustrating a first example of a switching form of the presentation information presentation position by the selective information presentation device according to the embodiment of the present invention. FIG. 13 is a diagram illustrating a second example of a switching form of the presentation information presentation position by the selective information presentation device according to the embodiment of the present invention.
In addition, the gesture recognizing device 9 recognizes the user's hand 50 when it is recognized that the user's hand 50 has approached the presented display object group by photographing the user's action. Then, the presentation processing unit 8 presents the fast-forward button 51 in the predetermined blank portion on the right end side of the display object group described above, and presents the rewind button 52 in the predetermined blank portion on the left end side of the display object group.

ジェスチャ認識装置9は、投影対象物における早送りボタン51の提示箇所にユーザの手50が重なる動作がなされた場合に当該早送りボタン51が選択されたことを認識する。この場合、提示処理部8は、図12に示すように、現在提示される情報のうち前述した提示順序が一番高い情報の表示オブジェクトの提示を中止して、現在提示される表示オブジェクトのそれぞれを前述した任意時間経過時より速い速度で右方向に移動させた上で、移動の結果空いた左端部の箇所には前述した提示順序が一番低いファイルより1つ低い提示順序が設定されるファイルの表示オブジェクトを新たに提示する。   The gesture recognizing device 9 recognizes that the fast-forward button 51 is selected when the user's hand 50 overlaps the position where the fast-forward button 51 is presented on the projection target. In this case, as shown in FIG. 12, the presentation processing unit 8 stops the presentation of the display object having the highest presentation order described above among the currently presented information, and displays each of the currently presented display objects. Is moved to the right at a faster speed than when the above-mentioned arbitrary time has passed, and the presentation order that is one lower than the file with the lowest presentation order is set at the left end portion vacated as a result of the movement. Presents a new file display object.

また、ジェスチャ認識装置9は、巻き戻しボタン52の提示箇所にユーザの手50が重なる動作がなされた場合に当該巻き戻しボタン52が選択されたことを認識する。この場合、提示処理部8は、図13に示すように、現在提示される情報のうち前述した提示順序が一番低い情報の表示オブジェクトの提示を中止して、現在提示される表示オブジェクトのそれぞれを前述した任意時間経過時より速い速度で左方向に移動させ、移動の結果空いた右端部の箇所には前述した提示順序が一番高いファイルより1つ高い提示順序が設定されるファイルの表示オブジェクトを新たに提示する。 In addition, the gesture recognition device 9 recognizes that the rewind button 52 is selected when the user's hand 50 overlaps the position where the rewind button 52 is presented. In this case, as shown in FIG. 13, the presentation processing unit 8 stops presenting the display objects having the lowest presentation order described above among the currently presented information, and displays each of the currently presented display objects. The file is moved to the left at a faster speed than when the above-mentioned arbitrary time has elapsed, and the file at which the presentation order is set one higher than the file with the highest presentation order is set at the position of the right end that is free as a result of the movement. Present a new object.

提示処理部8は、早送りボタン51と巻き戻しボタン52の何れかが選択されたことをジェスチャ認識装置9が認識した場合、当該認識後の所定時間、例えば2秒が経過した場合に早送りボタン51や巻き戻しボタン52の提示を終了する。
図14は、本発明の実施形態における選択式情報提示装置による提示情報の表示位置の切り替え形態の第3の例を示す図である。図15は、本発明の実施形態における選択式情報提示装置による提示情報の表示位置の切り替え形態の第4の例を示す図である。
提示形態の詳細を説明する。本実施形態では、提示情報の解像度はXGA(1024x768)からSXGA+(1400x1050)までの解像度に対応する。また、表示オブジェクトはマスクを指定して任意の形状で表示できる。また、表示オブジェクトの出現時と消滅時には透明度を変化させるエフェクトを施すことができる。表示オブジェクトの位置や大きさは入力装置2への所定の操作を行なうことで、図14や図15に示すように任意に設定でき、大きさは例えば直径10センチメートルの円形というように設定できる。
When the gesture recognition device 9 recognizes that either the fast-forward button 51 or the rewind button 52 has been selected, the presentation processing unit 8 performs the fast-forward button 51 when a predetermined time after the recognition, for example, 2 seconds elapses. And the presentation of the rewind button 52 is terminated.
FIG. 14 is a diagram illustrating a third example of the display information display position switching mode by the selection-type information presentation device according to the embodiment of the present invention. FIG. 15 is a diagram illustrating a fourth example of the display information display position switching mode by the selection-type information presentation device according to the embodiment of the present invention.
Details of the presentation form will be described. In the present embodiment, the resolution of the presentation information corresponds to the resolution from XGA (1024 × 768) to SXGA + (1400 × 1050). The display object can be displayed in an arbitrary shape by specifying a mask. Further, an effect of changing the transparency can be applied when the display object appears and disappears. The position and size of the display object can be arbitrarily set as shown in FIGS. 14 and 15 by performing a predetermined operation on the input device 2, and the size can be set, for example, as a circle having a diameter of 10 cm. .

ただし、ユーザが何からの操作を行なっている場合は表示オブジェクトの追加や移動はなされず、当該追加や移動の処理を行なう旨を操作中はキューに追加するなどして認識することで対処する。
図14,図15に示した例では、図12,図13に示した例と比較して、ファイルA1,A2,A3,A4,A5は、提示順序が一番高いファイルA1が左端となり、提示順序が5つのファイルの中で一番低いファイルA5が右端になるように配列された表示オブジェクトが提示される。また、図14,図15に示した例では、図12,図13に示した例と比較して、早送りボタン51は表示オブジェクト群の左端側の所定の空白部分に提示され、巻き戻しボタン52は表示オブジェクト群の右端側の所定の空白部分に提示される。
However, when the user is performing any operation, the display object is not added or moved, and the addition or movement processing is performed by recognizing it by adding it to the queue during the operation. .
In the examples shown in FIGS. 14 and 15, the files A1, A2, A3, A4, and A5 have the highest presentation order in the files A1, A2, A3, A4, and A5 as compared to the examples shown in FIGS. A display object arranged so that the lowest file A5 in the five files in the order is at the right end is presented. In the example shown in FIGS. 14 and 15, compared to the example shown in FIGS. 12 and 13, the fast-forward button 51 is presented in a predetermined blank portion on the left end side of the display object group, and the rewind button 52. Is presented in a predetermined blank portion on the right end side of the display object group.

また、前述した表示オブジェクトの移動形態は、移動中間点での速度を最大とし、滑らかに加減速する形態である。
また、表示オブジェクトの一部の提示の終了にともなって新たに提示される表示オブジェクトは、提示対象とされたファイルのうち例えば新しいファイル、利用頻度の高いファイル、アクセス権が適合するファイル、更新頻度が高いファイルもしくはランダムに選択されたファイルでもよい。
In addition, the display object moving mode described above is a mode in which the speed at the moving intermediate point is maximized and the acceleration / deceleration is smoothly performed.
In addition, a display object that is newly presented with the end of the presentation of a part of the display object is, for example, a new file, a file that is frequently used, a file with matching access rights, an update frequency A file with a high value or a file selected at random may be used.

図16は、本発明の実施形態における選択式情報提示装置によるファイル属性表示形態の一例を示す図である。
提示処理部8は、提示対象のファイルの表示オブジェクトの周辺、例えば図16に示すように右肩にファイルのプロパティを示すアイコンをあわせて提示することができる。提示するアイコンは、提示対象のファイルが発表用の資料であれば、資料作成アプリケーションのアイコン、画像であれば画像編集アプリケーションのアイコンとなる。
FIG. 16 is a diagram showing an example of a file attribute display form by the selection type information presentation device in the embodiment of the present invention.
The presentation processing unit 8 can present an icon indicating the file property on the periphery of the display object of the file to be presented, for example, on the right shoulder as shown in FIG. An icon to be presented is an icon of a material creation application if the file to be presented is a material for presentation, and an icon of an image editing application if the file is an image.

また、提示処理部8は、新しく提示した表示オブジェクトには文字情報「New!」をあわせて表示する。利用頻度が高い提示情報に対応する表示オブジェクトには文字情報「Hot」をあわせて提示する。
図17は、本発明の実施形態における選択式情報提示装置による提示情報の選択に伴う提示形態の切り替え形態の第1の例を示す図である。図18は、本発明の実施形態における選択式情報提示装置による提示情報の選択に伴う提示形態の切り替え形態の第2の例を示す図である。
ジェスチャ認識装置9は、ユーザの手50が何れかの表示オブジェクトと重なり、この状態のまま任意の滞留時間が経過するとユーザが当該表示オブジェクトを選択したとみなす(ステップS8)。提示処理部8は、当該選択された表示オブジェクトの周辺を拡大表示したり図17に示すようにハイライト表示したりするなどして視覚フィードバックさせた上で、当該表示オブジェクトテーブルの上や投影スクリーン上に投影する形態で別途提示する(ステップS9)。
Also, the presentation processing unit 8 displays the character information “New!” Together with the newly presented display object. Character information “Hot” is presented together with the display object corresponding to the presentation information with high usage frequency.
FIG. 17 is a diagram illustrating a first example of a presentation form switching form associated with selection of presentation information by the selective information presentation apparatus according to the embodiment of the present invention. FIG. 18 is a diagram illustrating a second example of a presentation form switching form associated with selection of presentation information by the selective information presentation apparatus according to the embodiment of the present invention.
The gesture recognition device 9 considers that the user has selected the display object when the user's hand 50 overlaps with any display object and an arbitrary staying time has passed in this state (step S8). The presentation processing unit 8 performs visual feedback by, for example, enlarging and displaying the periphery of the selected display object or highlighting as shown in FIG. 17, and then on the display object table or the projection screen. This is separately presented in a form of projection onto the top (step S9).

図17に示した例は、ユーザAが目の前のファイルA4の表示オブジェクトを選択することでファイルA4が強調表示された上でテーブル中央にファイルA4が別途拡大提示された例であり、図1に示した例は、テーブル中央にファイルA4が別途拡大提示された状態で、ユーザBの手0により目の前のファイルB2の表示オブジェクトが選択されることでファイルB2が強調表示された上でテーブル中央にファイルB2がファイルA4に上書きされる形で別途拡大提示された例である。 The example shown in FIG. 17 is an example in which the file A4 is highlighted and displayed separately in the center of the table after the user A selects the display object of the file A4 in front of the user. example shown in 1 8 in a state where the center of the table file A4 is separately enlarged presentation, the file B2 is highlighted by the display object before the file B2 by hand 5 0 eyes of the user B is selected In this example, the file B2 is separately enlarged and presented in the form of being overwritten on the file A4 in the center of the table.

図19は、本発明の実施形態における選択式情報提示装置による提示情報の選択に伴って表示されるメニュー項目の例を示す図である。図20は、本発明の実施形態における選択式情報提示装置による提示情報の選択に伴うメニュー項目の表示例を示す図である。
ユーザによる表示オブジェクトの選択後、提示処理部8は、さらなる処理として、図20に示すように、当該選択された表示オブジェクトの近傍にメニューを提示させる。
FIG. 19 is a diagram illustrating an example of menu items displayed in accordance with selection of presentation information by the selection type information presentation device according to the embodiment of the present invention. FIG. 20 is a diagram illustrating a display example of menu items accompanying selection of presentation information by the selection-type information presentation device according to the embodiment of the present invention.
After the display object is selected by the user, the presentation processing unit 8 causes a menu to be presented in the vicinity of the selected display object as shown in FIG. 20 as further processing.

メニューの内容は図19に示す順に時分割で変化する。メニューには、何も処理を行なわない事を示す欄を設けても良い。ユーザの手50が重なっていた表示オブジェクトから手が離れた事をジェスチャ認識装置9が認識すると、提示処理部8は、認識時に提示されるメニューに沿った処理を行なう。   The contents of the menu change in time division in the order shown in FIG. The menu may be provided with a column indicating that no processing is performed. When the gesture recognition device 9 recognizes that the user's hand 50 has moved away from the display object on which the user's hand 50 overlaps, the presentation processing unit 8 performs processing in accordance with the menu presented at the time of recognition.

メニューの内容は、表示オブジェクトの提示位置をテーブル上、図12に示したユーザAから見てテーブル外の正面方向に置かれたスクリーン、テーブル外の右方向に置かれたスクリーン、テーブル外の左方向に置かれたスクリーン、テーブル外の背面方向に置かれたスクリーンに切り替える処理、または類似検索処理である。   The contents of the menu include the display position of the display object on the table, the screen placed in the front direction outside the table as viewed from the user A shown in FIG. 12, the screen placed in the right direction outside the table, and the left outside the table. It is a process for switching to a screen placed in the direction, a screen placed in the back direction outside the table, or a similar search process.

類似検索処理とは検索処理部7が行なう処理であり、選択されている表示オブジェクトに対応するファイルに対して、プロパティが似通っているファイルをメタデータ記憶部41から検索する処理である。
類似検索処理では、キーワード、タイムスタンプ、キーワード、ファイル名などが比較される。提示処理部8は、類似検索処理により似通っていると判断されたファイルがあった場合、現在表示中の表示オブジェクトのうち提示順位が一番低い表示オブジェクトの提示を終了して、前述したように似通っているファイルの表示オブジェクトを新たに提示する。
The similarity search process is a process performed by the search processing unit 7 and is a process for searching the metadata storage unit 41 for a file having similar properties with respect to a file corresponding to the selected display object.
In the similarity search process, keywords, time stamps, keywords, file names, and the like are compared. When there is a file that is determined to be similar by the similarity search process, the presentation processing unit 8 ends the presentation of the display object having the lowest presentation order among the currently displayed display objects, as described above. A new display object for similar files is presented.

また、提示処理部8は、ユーザにより選択された表示オブジェクトに対応するファイルのアクセス権が会議参加者全員となるよう、記憶装置4のメタデータ記憶部41に記憶される当該ファイルの閲覧可能者のユーザIDを修正する。
以上のように、本発明の実施形態における選択式情報提示装置では、ユーザにより作成されたファイル、つまり後の提示候補となるファイルの特徴情報を記憶しておき、新たな発話がなされた場合に、当該発話の特徴情報を生成した上で、この特徴情報と作成済みのファイルのうち新たな発話情報の特徴情報とを比較して、所定の条件を満たすファイルをユーザに複数種類提示することができる。よって、ユーザの作業や会話の支援に適した情報を提示することができる。
In addition, the presentation processing unit 8 can view the file stored in the metadata storage unit 41 of the storage device 4 so that the access right of the file corresponding to the display object selected by the user is all meeting participants. Correct the user ID.
As described above, in the selective information presentation device according to the embodiment of the present invention, the feature information of the file created by the user, that is, the file to be a subsequent presentation candidate is stored, and a new utterance is made. The feature information of the utterance is generated, the feature information is compared with the feature information of the new utterance information among the created files, and a plurality of files satisfying a predetermined condition can be presented to the user. it can. Therefore, it is possible to present information suitable for user work and conversation support.

また、前述したように提示情報をテーブルの上や投影スクリーン上に投影することで提示する形態に限らず、タッチパネル式の表示装置に表示することで提示を行なっても良い。
なお、この発明は前記実施形態そのままに限定されるものではなく実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
In addition, as described above, the presentation information is not limited to be presented by being projected on a table or a projection screen, but may be presented by being displayed on a touch panel display device.
The present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be omitted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

本発明の実施形態における選択式情報提示装置の構成例を示すブロック図。The block diagram which shows the structural example of the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による情報入力からメタデータ生成までの処理過程の一例を示す図。The figure which shows an example of the process process from the information input by the selection type information presentation apparatus in embodiment of this invention to metadata production | generation. 本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第1の構成例を表形式で示す図。The figure which shows the 1st structural example of the metadata memorize | stored in the memory | storage device of the selection type information presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第2の構成例を表形式で示す図。The figure which shows the 2nd structural example of the metadata memorize | stored in the memory | storage device of the selection type information presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第3の構成例を表形式で示す図。The figure which shows the 3rd structural example of the metadata memorize | stored in the memory | storage device of the selection type information presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第4の構成例を表形式で示す図。The figure which shows the 4th structural example of the metadata memorize | stored in the memory | storage device of the selection type information presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における選択式情報提示装置の記憶装置に記憶されるメタデータの第5の構成例を表形式で示す図。The figure which shows the 5th structural example of the metadata memorize | stored in the memory | storage device of the selection type information presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における選択式情報提示装置によるメタデータの生成までの処理過程の一例を示す図。The figure which shows an example of the processing process until the production | generation of metadata by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による処理動作の一例を示すフローチャート。The flowchart which shows an example of the processing operation by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示形態の第1の例を示す図。The figure which shows the 1st example of the presentation form by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示形態の第2の例を示す図。The figure which shows the 2nd example of the presentation form by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示情報の表示位置の切り替え形態の第1の例を示す図。The figure which shows the 1st example of the switching form of the display position of the presentation information by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示情報の表示位置の切り替え形態の第2の例を示す図。The figure which shows the 2nd example of the switching form of the display position of the presentation information by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示情報の表示位置の切り替え形態の第3の例を示す図。The figure which shows the 3rd example of the switching form of the display position of the presentation information by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示情報の表示位置の切り替え形態の第4の例を示す図。The figure which shows the 4th example of the switching form of the display position of the presentation information by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置によるファイル属性表示形態の一例を示す図。The figure which shows an example of the file attribute display form by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示情報の選択に伴う提示形態の切り替え形態の第1の例を示す図。The figure which shows the 1st example of the switch form of the presentation form accompanying selection of the presentation information by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示情報の選択に伴う提示形態の切り替え形態の第2の例を示す図。The figure which shows the 2nd example of the switching form of the presentation form accompanying selection of the presentation information by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示情報の選択に伴って表示されるメニュー項目の例を示す図。The figure which shows the example of the menu item displayed with selection of the presentation information by the selection type information presentation apparatus in embodiment of this invention. 本発明の実施形態における選択式情報提示装置による提示情報の選択に伴うメニュー項目の表示例を示す図。The figure which shows the example of a display of the menu item accompanying selection of the presentation information by the selection type information presentation apparatus in embodiment of this invention.

符号の説明Explanation of symbols

1…制御部、2…入力装置、3…表示装置、4…記憶装置、5…検出部、6…メタデータ生成部、7…検索処理部、8…提示処理部、9…ジェスチャ認識装置、10…バス、41…メタデータ記憶部、42…検出データ記憶部、51…早送りボタン、52…巻き戻しボタン。   DESCRIPTION OF SYMBOLS 1 ... Control part, 2 ... Input device, 3 ... Display apparatus, 4 ... Memory | storage device, 5 ... Detection part, 6 ... Metadata production | generation part, 7 ... Search processing part, 8 ... Presentation processing part, 9 ... Gesture recognition apparatus, DESCRIPTION OF SYMBOLS 10 ... Bus, 41 ... Metadata storage part, 42 ... Detection data storage part, 51 ... Fast forward button, 52 ... Rewind button.

Claims (3)

1つの箇所に複数のユーザが向い合っている状況において情報を提示する装置であって、
提示候補となる提示候補情報を取得する取得手段と、
前記取得手段により取得した提示候補情報の特徴を示す特徴情報を生成する生成手段と、
前記生成手段により生成した特徴情報を前記取得した提示候補情報ごとに記憶する記憶手段と、
新たな発話内容を認識する認識手段と、
前記認識手段による認識結果および前記記憶手段に記憶される特徴情報をもとに、前記記憶手段に記憶される特徴情報に対応する提示候補情報のうち前記発話内容に関連する情報としての提示に適する情報を複数検索する検索手段と、
前記検索手段により検索した情報のそれぞれに提示順位を付与し、前記検索手段により検索した情報の個数が同時に提示可能な個数を超える場合には、前記検索手段により検索した情報のうち前記同時に提示可能な個数の情報を前記提示順位にしたがって選択し、該選択した情報を、前記箇所上における各ユーザの目の前の領域に、ユーザ毎に常時提示する第1の提示手段と、
いずれかのユーザが選択した情報を前記箇所の中央部に提示する第2の提示手段と
を備え
前記第1の提示手段は、
表示箇所高速移動のための所定の操作がなされた場合に、前記第1の提示手段により提示された情報のうち前記提示順序が最も高い情報の提示を中止して、現在提示される情報の表示箇所を所定方向に沿って高速移動のための所定速度で移動させ、移動の結果空いた箇所に対し、前記検索手段により検索した情報のうち現在提示していない別の情報であって、前記第1の提示手段により提示された情報のうち前記提示順序が最も低い情報より1つ低い提示順位が付与される情報を新たに提示する手段を含む
ことを特徴とする選択式情報提示装置。
An apparatus for presenting information in a situation where a plurality of users face one place,
Acquisition means for acquiring presentation candidate information to be a presentation candidate;
Generating means for generating feature information indicating characteristics of the presentation candidate information acquired by the acquiring means;
Storage means for storing the feature information generated by the generating means for each of the acquired presentation candidate information;
Recognition means for recognizing new utterances,
Based on the recognition result by the recognition means and the feature information stored in the storage means, it is suitable for presentation as information related to the utterance content among the presentation candidate information corresponding to the feature information stored in the storage means. A search means for searching a plurality of information;
A presentation order is assigned to each of the information searched by the search means, and when the number of pieces of information searched by the search means exceeds the number that can be presented simultaneously, the information searched by the search means can be presented simultaneously. A number of pieces of information selected according to the order of presentation, and the selected information is constantly presented to each user in a region in front of each user on the location;
A second presenting means for presenting information selected by any user in the central portion of the location ;
The first presentation means includes
Display of currently presented information by stopping the presentation of the information with the highest presentation order among the information presented by the first presentation means when a predetermined operation for high-speed movement of the display location is performed The part is moved at a predetermined speed for high-speed movement along a predetermined direction, and is another information that is not currently presented among the information searched by the search means for the part vacated as a result of the movement, A selection type information presentation comprising means for newly presenting information to which a presentation rank one lower than the information having the lowest presentation order among information presented by one presentation means is provided. apparatus.
前記第1の提示手段により提示された情報のいずれかの選択を示す操作がなされた場合に、当該選択された情報を強調させて提示する
ことを特徴とする請求項1に記載の選択式情報提示装置。
2. The selection formula information according to claim 1, wherein, when an operation indicating selection of any of the information presented by the first presentation unit is performed, the selected information is highlighted and presented. Presentation device.
請求項1または2に記載の選択式情報提示装置を構成する各手段としてコンピュータを機能させるための選択式情報提示処理プログラム。 Selection type information presentation processing program for causing a computer to function as each means constituting the selected type information presentation apparatus according to claim 1 or 2.
JP2008137285A 2008-05-26 2008-05-26 Selective information presentation device and selective information presentation processing program Expired - Fee Related JP5448372B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008137285A JP5448372B2 (en) 2008-05-26 2008-05-26 Selective information presentation device and selective information presentation processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008137285A JP5448372B2 (en) 2008-05-26 2008-05-26 Selective information presentation device and selective information presentation processing program

Publications (2)

Publication Number Publication Date
JP2009282936A JP2009282936A (en) 2009-12-03
JP5448372B2 true JP5448372B2 (en) 2014-03-19

Family

ID=41453287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008137285A Expired - Fee Related JP5448372B2 (en) 2008-05-26 2008-05-26 Selective information presentation device and selective information presentation processing program

Country Status (1)

Country Link
JP (1) JP5448372B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6375592B2 (en) * 2013-03-12 2018-08-22 株式会社リコー Information processing apparatus, information processing method, and program
JP6852470B2 (en) * 2017-03-07 2021-03-31 コニカミノルタ株式会社 Speaker judgment system, speaker judgment method and speaker judgment program
KR101949497B1 (en) * 2017-05-02 2019-02-18 네이버 주식회사 Method and system for processing user command to provide and adjust operation of device or range of providing contents accoding to analyzing presentation of user speech

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3548459B2 (en) * 1998-11-20 2004-07-28 富士通株式会社 Guide information presenting apparatus, guide information presenting processing method, recording medium recording guide information presenting program, guide script generating apparatus, guide information providing apparatus, guide information providing method, and guide information providing program recording medium
JP2007179083A (en) * 2005-12-26 2007-07-12 Fuji Xerox Co Ltd Conference system, control method therefor and program
WO2008023470A1 (en) * 2006-08-21 2008-02-28 Kyoto University Sentence search method, sentence search engine, computer program, recording medium, and document storage

Also Published As

Publication number Publication date
JP2009282936A (en) 2009-12-03

Similar Documents

Publication Publication Date Title
CN106502638B (en) Apparatus, method and graphical user interface for providing audiovisual feedback
CN111427530B (en) Apparatus, method and graphical user interface for dynamically adjusting presentation of audio output
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
US9063580B2 (en) Keyboardless text entry
CN111782130B (en) Column interface for navigating in the user interface
US9489432B2 (en) System and method for using speech for data searching during presentations
CN120595989A (en) User interface for podcast browsing and playback applications
US12342102B2 (en) Systems and methods for managing captions
US9026915B1 (en) System and method for creating a presentation using natural language
KR101617598B1 (en) Device, method, and graphical user interface for navigating a list of identifiers
US10445060B2 (en) System and method for controlling presentations using a multimodal interface
US9569072B2 (en) Methods, systems, and computer readable media for controlling presentation and selection of objects that are digital images depicting subjects
US20130218573A1 (en) Voice command recognition method and related electronic device and computer-readable medium
CN105320403A (en) Method and apparatus for providing content
CN112783404B (en) An interface management method, device, terminal device and medium
JP2018073096A (en) Information display device
JP5448372B2 (en) Selective information presentation device and selective information presentation processing program
WO2007049230A1 (en) Method and system for entering and entrieving content from an electronic diary
US20250260789A1 (en) Systems and methods for managing captions
JP2010134681A (en) Lecture material preparation support system, lecture material preparation support method and lecture material preparation support program
CN110109730A (en) For providing the equipment, method and graphic user interface of audiovisual feedback
CN112988018B (en) Multimedia file output method, device, equipment and computer readable storage medium
JP2008299493A (en) Content creation support system and computer program
JP5244460B2 (en) Information automatic organization presentation device and information automatic organization presentation processing program
WO2025259571A1 (en) User interfaces for generating collections of media content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100805

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130510

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131224

R150 Certificate of patent or registration of utility model

Ref document number: 5448372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees