JP7786115B2 - 情報処理装置およびプログラム - Google Patents
情報処理装置およびプログラムInfo
- Publication number
- JP7786115B2 JP7786115B2 JP2021166197A JP2021166197A JP7786115B2 JP 7786115 B2 JP7786115 B2 JP 7786115B2 JP 2021166197 A JP2021166197 A JP 2021166197A JP 2021166197 A JP2021166197 A JP 2021166197A JP 7786115 B2 JP7786115 B2 JP 7786115B2
- Authority
- JP
- Japan
- Prior art keywords
- meeting
- index value
- unit
- processing device
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Ophthalmology & Optometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
上述の判定部は、複数の項目それぞれについて判定された可能性の大きさを数値に換算する。
上述の指標値変更部は、さらに、会議のメンバーの属性に基づき指標値を変更する。
上述の情報処理装置は、会議の目的を、会議中に収集された音声を認識処理することにより取得する。
本開示に係るプログラムは、会議中のメンバーの心理的状態を判定する方法をコンピュータに実行させるためのプログラムであって、方法は、マイクロフォンで会議中に収集された音声のうちメンバーの発言に対応する部分の音声から予め定められた特徴量を抽出するステップと、特徴量の入力を受けて、当該メンバーが予め定められた心理的状態である可能性を推定するステップと、推定された可能性と会議の目的に応じた指標値とに基づき、会議中にメンバーが予め定められた心理的状態である可能性を判定するステップと、を備える。
本実施の形態では、会議に参加するメンバーの心理的状態を会議の目的に応じて評価するツールを提供する。ここで、企業における議論の活発化、意思疎通の向上などを目的として、打合せ時の心理的な障壁を軽減させるような手法として、心理的状態のうちとりわけ「心理的安全」に注目した方法が提案されている。ここで心理的安全とは、会議においてメンバーの心理的な障壁を軽減させる状態(例えば、他のメンバーが自分の発言を拒絶し、または、罰を与えないという確信が持てる状態)をいう。心理的安全を測定するための項目として、エドモンソン教授の「7つの質問」がよく知られている。本実施の形態でも、会議のメンバーの心理的状態を評価するための項目として、心理的安全を評価するための以下に示す「7つの質問」を用いるが、心理的安全を評価するための項目は、これらに限定されない。また、会議で評価される心理的状態は、心理的安全に限定されない。
発明者は、7つの質問のそれぞれに対応して、可能性の高さ(または低さ)の推定値を計測する実験を実施した。この“可能性が高いまたは低い”とは、人の心理的状態が対応の質問(項目)に示す心理的状態(予め定められた状態)となる可能性が高いか低いかを示す。実験では、例えば会議の目的を知らされていない第3者が、会議メンバーの発言の観察結果に基づき計測する。また、“推定値”は、“可能性が低いことが良い”または“可能性が高いことが良い”等を定量的に示す値である。以下では、この“質問”は心理的状態を判定するための“項目”ともいう。なお、質問中の“チーム”は、“会議”と置き換えることができる。
質問(2)チームのメンバー内で、課題やネガティブなことを言い合うことができる(可能性が高いが良い);
質問(3)チーム内のメンバーは、異質なものを受け入れない傾向にある(可能性が低いことが良い);
質問(4)チームに対してリスクが考えられるアクションを取っても安心感がある(可能性が高いことが良い);
質問(5)チーム内のメンバーにヘルプを出しづらい(可能性が低いことが良い);
質問(6)チーム内で自分を騙すようなメンバーはいない(可能性が高いことが良い);
質問(7)現在のチームで業務を進める際、自分のスキルが発揮されていると感じる(可能性が高いことが良い)。
上記に述べた可能性の推定値は、会議の目的によって、同じ項目であっても異なるケースがある。具体例を次のケース1とケース2の実験を例示して説明する。
(イ)会議が、アイデア発展や新機能開発などのブレスト会議である場合、会議の目的(ルール)に沿って、メンバーは否定的な発言はせず生産的な発言を行ったときに、質問(1)から(3)について、メンバー以外の第3者が会議の発言内容などを観察し、観察結果に基づき各質問の可能性の判定に対して点数化する。このケースでは、点数化された以下のような推定値が得られた。
質問(2)チームのメンバー内で、課題やネガティブなことを言い合うことができる(可能性が高いが良い)→0点;
質問(3)チーム内のメンバーは、異質なものを受け入れない傾向にある(可能性が高いことが良い)→10点。
質問(2)チームのメンバー内で、課題やネガティブなことを言い合うことができる(可能性が高いが良い)→10点;
質問(3)チーム内のメンバーは、異質なものを受け入れない傾向にある(可能性が高いことが良い)→10点。
業務の進捗状況を共有する進捗会議または実施した業務内容を振り返って検証するレビュー会議について、可能性判定を評価した。より具体的には、メンバーが業務において凡ミスで失敗した場合に、異なる目的の会議において同じ内容を発言した場合、会議の目的を考慮すれば、メンバーにとって発言の意味合いや受け取り方は変わってくる。
質問(2)チームのメンバー内で、課題やネガティブなことを言い合うことができる(可能性が高いが良い)→10点;
質問(3)チーム内のメンバーは、異質なものを受け入れない傾向にある(可能性が高いことが良い)→5点。
図1は、本実施の形態に係る会議システムの概略構成を示す図である。図1を参照して、会議システム1は、ネットワークを介して画像(映像)や音声の遣り取りを行うオンライン会議を提供するためのシステムであって、会議に参加するメンバー(参加者)が操作可能な複数の端末200と、複数の端末200とネットワーク100を介して通信する情報処理装置300とを備える。以下では、オンライン会議を「会議」と略す。
図2は、本実施の形態に係る端末200のハードウェア構成を示す図である。図3は、本実施の形態に係る情報処理装置300のハードウェア構成を示す図である。
図4は、本実施の形態に係る心理的状態評価部のソフトウェア構成を模式的に示す図である。図24~図28は、本実施の形態に係るディスプレイの表示画面の一例を示す図である。本実施の形態に係る心理的状態評価部は、情報処理装置300が有するプログラム320およびDB群330を有するソフトウェアを含んで構成される。心理的状態評価部によって実施される処理を、図24~図28の画面を適宜参照して説明する。
心理的状態計測部413によって、会議中のメンバーの心理的安全を有する程度(可能性)を推定する。この推定方法の一例を説明する。図29は、本実施の形態による心理的状態判定の方法を説明する図である。心理的状態計測部413は、会議を実施中に、端末200から受信する音声データ50をから各項目について推定値を発言毎に取得し、各項目について、発言毎に取得された推定値から代表値を取得する。各項目について、この代表の推定値が出力される。以下では、代表の推定値を、推定値42と称する。代表値は、会議において検出された複数の発言の推定値の平均値、最頻値、中央値などであってよい。
判定部414は、心理的状態計測部413から出力される各項目の推定値42が示す可能性を、判定指標値DB331の当該項目に対応の指標値に基づいて判定し、結果を示す判定値43を出力する。図5は、本実施の形態に係る判定指標値DB331の一例を模式的に示す図である。図5を参照して、判定指標値DB331は、会議の目的(例えば、アイデア発展会、進捗会、謝罪会など)毎に、各項目(上記の各質問(1)~(7))について指標値が、上記に述べた実験等を実施することにより予めデフォルト値などを設定することができる。指標値は、会議について推定された各項目の推定値42から、会議中のメンバーが心理的安全を有していることの可能性(可能性の大きさ)を判定するために用いる値である。
会議の目的によっては、心理的安全があるかを評価する上で特に重点とする項目がある。判定部414は、重点項目の推定値42を判定指標値DB331の対応の指標値と比較し、その比較結果が条件(推定値≧指標値)を満たさないと検出したときは、他の項目の推定値42が当該条件を満たすとしても、判定値43は“NG”と出力する。
図10は、本実施の形態に係るレポート60の一例を模式的に示す図である。判定部414が出力する会議についての判定値43は、測定結果管理DB334に格納される。結果出力処理部408は、測定結果管理DB334から会議の判定値43を検索し、検索された判定値43を出力する。結果出力処理部408は、判定値43を、例えば情報処理装置300のディスプレイ306Aに表示する。または、結果出力処理部408は、判定値43を、ディスプレイ17Aに表示されるように端末200に転送してもよい。なお、判定値43の出力デバイスは、ディスプレイに限定されず、プリンターなどであってもよい。
本実施の形態では、ユーザーは、判定指標値DB331の指標値を設定および変更することができる。ユーザーは入力装置16Aまたは305Aにおいて指標値の設定操作をすると、判定指標値設定部415は入力インターフェイスを介して入力装置16Aまたは305Aで受付けたユーザー操作に基づき判定指標値DB331に指標値を設定する。なお、指標値を設定または変更が許可されるユーザーは、会議のメンバーを含み得る。図11は、本実施の形態に係る判定指標値DB331の他の構成例を示す図である。
本実施の形態では、比較処理部406は、会議の目的ごとに、当該会議の各項目の判定値を、測定結果管理DB334から検索し、検索された判定値を当該会議が実施された日付順に比較可能な形式を有した比較結果データ271に編集し、比較結果出力部404に出力する。比較結果出力部404は、比較処理部406からの比較結果データ271を情報処理装置300または端末200に出力させる。これにより、異なる時期に実施された会議であって、メンバーが参加する同一目的を有した複数の会議のそれぞれについて、判定部441によって判定された判定値43を出力することができる。
本実施の形態では、指標値変更部418は、メンバーの属性が登録されたメンバー属性DB333から検索された会議のメンバーの属性に基づき、メンバーが所定の属性を示すこと、または所定の属性を有するメンバーが所定人数いることを判定したことに応じて、判定指標値DB331の指標値を変更(補正)する。図12と図13は、それぞれ、変更前後の指標の一例を対応付けて示す図である。図12は、指標値変更部418が、メンバー属性DB333から検索されたアイデア発展会議のメンバーの属性に応じて、判定指標値DB331の例えばアイデア発展会議の指標値のうち項目(2)と項目(7)の指標値を変更するケースを示す。図13は、指標値変更部418が、メンバー属性DB333から検索された進捗会の会議のメンバーの属性に応じて、判定指標値DB331の例えば進捗会の指標値のうち項目(1)、項目(2)および項目(7)の指標値を変更するケースを示す。
本実施の形態に係る処理を図14~図23のフローチャートを参照して説明する。これらフローチャートの処理は、プロセッサー301が、プログラム320を実行することにより実現される。図14は、本実施の形態に係る全体処理の概略フローチャートである。図14を参照して、プロセッサー301は、ルーチンR1、R2およびR3を実施する。ルーチンR1では、プロセッサー301は、判定指標値設定部415として、判定指標値DB331に会議毎に、すなわち会議の目的毎に、各項目について指標値を設定する。ルーチンR2では、プロセッサー301は、心理的状態計測部413として、会議についてメンバーが心理的安全を有する程度を計測し、計測の結果を、各項目の推定値42として出力する。ルーチンR3では、プロセッサー301は、判定部414として、会議について計測して出力された推定値42を判定し、判定値43を出力する。
図15は、図14のルーチンR1のフローチャートである。図15を参照して、プロセッサー301は、会議の指標値をデフォルト値(例えば、初期値)から変更するか否か、ユーザー操作に基づき判定し(ステップS1)、変更しないと判定すると(ステップS1でNO)処理は終了するが、変更すると判定すると(ステップS1でYES)、指標値を設定するための図24の画面をディスプレイに表示させる(ステップS2)。プロセッサー301は、会議の判定指標値を外部ファイルから取込むか(読込むか)否かを、ユーザー操作に基づき判定する(ステップS3)。
図16は、図15のルーチンR14のフローチャートである。図16を参照して、プロセッサー301は、候補となる外部ファイルの一覧のディスプレイに表示させて、ユーザーから所望のファイルを指定する操作を受付け(ステップS10)、指定された外部ファイルから会議毎の各項目の指標値を読出し、判定指標値DB331の当該会議の各項目の指標値として反映(設定)する(ステップS11)。
図18は、図14のルーチンR2のフローチャートである。図18を参照して、プロセッサー301は、現在時間に基づき図示しない会議スケジュールデータを検索し、検索結果に基づき、推定対象の会議が開始されたか否かを判定する(ステップS21)。対象の会議が開始されていないと判定されると(ステップS21でNO)、プロセッサー301はステップS21の処理を繰返すが、対象の会議が開始されたと判定されると(ステップS21でYES)、プロセッサー301は、音声処理部401として、端末200から転送されて受信する、音声データ50から発言のテキストデータを検出し収集開始し、また、画像処理部402として、端末200から転送されて受信する画像データ51からメンバーの行動を示す画像特徴量を検出し収集開始する(ステップS22)。
図19は、図18のルーチンR16のフローチャートである。図19を参照して、プロセッサー301は、会議に関して登録された情報(目的、メンバーの識別情報など)である例えば会議スケジュールデータを検索し、検索結果に基づき、対象会議の目的が登録されているかを判定する(ステップS31)。プロセッサー301は、目的が登録されていると判定すると(ステップS31でYES)、ステップS32に移行するが、目的は登録されていないと判定すると(ステップS31でNO)、プロセッサー301は、音声データ50の音声認識処理による導出される発言データに基づき会議の冒頭で会議の目的が発言されたかを判定する(ステップS34)。会議の目的が発言されたと判定すると(ステップS34でYES)、ステップS32に移行する。例えば、会議の目的を、当該会議中(例えば、冒頭)に収集された音声を認識処理することにより取得する。また、会議の目的は発言されていないと判定すると(ステップS34でNO)、行動データから会議の目的が特定できるかを判定する(ステップS35)。会議の目的が特定できたときは(ステップS35でYES)、ステップS32に移行する。会議の目的が特定できないときは(ステップS35でNO)、プロセッサー301は、心理的状態計測部413として、会議情報の解析結果に基づき、対象会議の各項目について心理的状態の推定値42を出力し、判定部414としてデフォルトの指標値を用いて判定値43を出力し(ステップS37)、処理は終了する。
図20は、図14のルーチンR3のフローチャートである。図20を参照して、プロセッサー301は、判定部414として、対象会議の各項目の判定値43に基づく得点を算出し、測定結果管理DB334に格納する(ステップS41)。
図21は、図20のフィードバック処理ルーチンR17のフローチャートである。図21を参照して、プロセッサー301は、FB入力部403として、対象会議のレポート60のFB情報52をユーザーから受付けるために、図26のUI画面をディスプレイに表示させる(ステップS51)。プロセッサー301は、FB処理部405として当該UI画面に対するユーザー操作に基づくFB情報52を受付け(ステップS52)、プロセッサー301は、指標値変更部418として、判定指標値DB331の対象会議に対応の各項目にFB情報52が示す当該項目に対応の指標値を設定する(ステップS53)。
図22は、図20の会議の結果情報の比較ルーチンR18のフローチャートである。図22を参照して、プロセッサー301は、ユーザーに比較方法を選択させるためのUI画面をディスプレイに表示させる(ステップS55)。比較方法の選択肢は、0:記録されている結果で比較、1:現在の判定指標の値に再計算して比較、2:全て初回設定実施の判定指標の値で再計算して比較、3:すべてデフォルト値で比較、を含む。
図23は、図22の再計算処理ルーチンR19のフローチャートである。図23を参照して、プロセッサー301は、ユーザーにより選択された選択肢が1,2,3のいずれかを判定する(ステップS60とS63)。
本実施の形態では、上記に述べた処理をプロセッサー301に実行させるためのプログラムが提供される。このようなプログラムは、少なくとも図14~図23のフローチャートに従う処理を実施するためのプログラムを含む。このようなプログラムは、情報処理装置300のコンピューターに付属する光学ディスク307A、フレキシブルディスク、CD-ROM(Compact Disk-Read Only Memory)、ROM、RAMおよびメモリカードなどのコンピューター読取り可能な記憶媒体に記録させて、プログラム製品として提供することもできる。あるいは、コンピューターに内蔵する記憶装置310にプログラムとして記録させて提供することもできる。また、ネットワーク100を介したダウンロードによって、プログラムを提供することもできる。プログラムは、プロセッサー301などの1つ以上のプロセッサーにより、またはプロセッサーとASIC,FPGAなどの回路との組合せにより実行され得る。
Claims (20)
- 会議中のメンバーの心理的状態を判定する情報処理装置であって、
マイクロフォンで前記会議中に収集された音声のうち前記メンバーの発言に対応する部分の音声から、特徴量を抽出するための音声処理部と、
抽出された前記特徴量の入力を受けて、学習されたモデルに従い、当該メンバーが予め定められた心理的状態である可能性を推定する推定部と、
前記推定部によって推定された可能性と前記会議の目的に応じた指標値とに基づき、前記会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定する判定部と、を備え、
前記学習されたモデルは、発話の音声から抽出される特徴量を入力して、当該発話の人が前記予め定められた心理的状態である可能性を推定するために学習されたモデルであり、
前記発言または前記発話の音声から抽出される特徴量は、前記音声が表す文を構成する各単語または各文節について、当該単語または当該文節の種類と語気とを含む、情報処理装置。 - 会議中のメンバーの心理的状態を判定する情報処理装置であって、
マイクロフォンで前記会議中に収集された音声のうち前記メンバーの発言に対応する部分の音声から、特徴量を抽出するための音声処理部と、
前記会議中にカメラで撮像して得られた前記メンバーの画像から、予め定められた行動を表す画像の特徴量を抽出する画像解析部と、
前記音声処理部が抽出した前記特徴量と前記画像解析部が抽出した画像の特徴量との入力を受けて、学習されたモデルに従い、当該メンバーが予め定められた心理的状態である可能性を推定する推定部と、
前記推定部によって推定された可能性と前記会議の目的に応じた指標値とに基づき、前記会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定する判定部と、を備え、
前記学習されたモデルは、発話の音声から抽出される特徴量と当該発話の人の画像から抽出される前記予め定められた行動を表す画像の特徴量とを入力して、当該発話の人が前記予め定められた心理的状態である可能性を推定するために学習されたモデルであり、
前記発言または前記発話の音声から抽出される特徴量は、前記音声が表す文を構成する各単語または各文節について、当該単語または当該文節の種類と語気とを含む、情報処理装置。 - 前記推定部は、前記特徴量の入力を受けて、前記学習されたモデルに従い、当該メンバーが前記予め定められた心理的状態である可能性を、複数の項目それぞれについて推定する、請求項1または2に記載に情報処理装置。
- 前記指標値を、前記複数の項目それぞれについて設定する、請求項3に記載の情報処理装置。
- 前記判定部は、前記複数の項目それぞれについて判定された前記可能性の大きさを数値に換算する、請求項3または4に記載の情報処理装置。
- 前記複数の項目のうちの前記会議の目的に応じた1つ以上の項目について、当該項目の前記換算された数値を加減算により調整する、請求項5に記載の情報処理装置。
- 前記判定部によって判定された前記可能性を出力する出力部と、
前記情報処理装置に対するユーザー操作を受付ける入力インターフェイスと、
前記指標値を変更する指標値変更部と、をさらに備え、
前記指標値変更部は、前記入力インターフェイスが受付けた前記ユーザー操作に基づき、前記指標値を変更する、請求項1から6のいずれか1項に記載の情報処理装置。 - 前記指標値変更部は、複数のユーザーから前記ユーザー操作を受付けたとき、当該ユーザー操作に基づき前記指標値を変更する、請求項7に記載の情報処理装置。
- 前記指標値変更部は、さらに、変更ルールに従って前記指標値を変更し、
前記変更ルールは、同一目的を有した複数の会議についての指標値に基づく変更のルールを含む、請求項7または8に記載の情報処理装置。 - 前記出力部は、
異なる時期に実施された会議であって、前記メンバーが参加する同一目的を有した複数の会議のそれぞれについて、前記判定部によって判定された前記可能性を出力する、請求項7から9のいずれか1項に記載の情報処理装置。 - 前記複数の会議のうち少なくとも1つについて、前記推定部によって推定された可能性と予め定められた指標値とに基づき、当該会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定する再判定部を、さらに備える、請求項10に記載の情報処理装置。
- 前記予め定められた指標値は、前記指標値変更部によって変更された変更後の指標値を含む、請求項11に記載の情報処理装置。
- 前記予め定められた指標値は、デフォルト値を含む、請求項11に記載の情報処理装置。
- 前記会議に組織の構成員が前記メンバーとして参加し、
前記指標値変更部は、さらに、前記会議に参加する各メンバーの前記組織における地位と前記会議の目的とに基づき、予め定められたルールに従い前記会議の目的に応じた指標値を変更する、請求項7に記載の情報処理装置。 - 前記予め定められたルールは、前記会議に参加するメンバーに前記組織における予め定められた地位を有するものが予め定められた人数いるとのルールを含む、請求項14に記載の情報処理装置。
- 前記会議の目的は、会議に関して登録された情報から取得する、請求項1から15のいずれか1項に記載の情報処理装置。
- 前記会議の目的を、前記会議中に収集された音声を認識処理することにより取得する、請求項1から15のいずれか1項に記載の情報処理装置。
- 前記出力部は、前記判定部が前記可能性の判定に用いた前記指標値に関する情報を出力する、請求項7に記載の情報処理装置。
- 会議中のメンバーの心理的状態を判定する方法をコンピュータに実行させるためのプログラムであって、
前記方法は、
マイクロフォンで前記会議中に収集された音声のうち前記メンバーの発言に対応する部分の音声から特徴量を抽出するステップと、
抽出された前記特徴量の入力を受けて、学習されたモデルに従い、当該メンバーが予め定められた心理的状態である可能性を推定するステップと、
推定された前記可能性と前記会議の目的に応じた指標値とに基づき、前記会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定するステップと、を備え、
前記学習されたモデルは、発話の音声から抽出される特徴量を入力して、当該発話の人が前記予め定められた心理的状態である可能性を推定するために学習されたモデルであり、
前記発言または前記発話の音声から抽出される特徴量は、前記音声が表す文を構成する各単語または各文節について、当該単語または当該文節の種類と語気とを含む、プログラム。 - 会議中のメンバーの心理的状態を判定する方法をコンピュータに実行させるためのプログラムであって、
前記方法は、
マイクロフォンで前記会議中に収集された音声のうち前記メンバーの発言に対応する部分の音声から、特徴量を抽出するステップと、
前記会議中にカメラで撮像して得られた前記メンバーの画像から、予め定められた行動を表す画像の特徴量を抽出するステップと、
前記音声から抽出された前記特徴量と前記画像の特徴量との入力を受けて、学習されたモデルに従い、当該メンバーが予め定められた心理的状態である可能性を推定するステップと、
推定された前記可能性と前記会議の目的に応じた指標値とに基づき、前記会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定するステップと、を備え、
前記学習されたモデルは、発話の音声から抽出される特徴量と当該発話の人の画像から抽出される前記予め定められた行動を表す画像の特徴量とを入力して、当該発話の人が前記予め定められた心理的状態である可能性を推定するために学習されたモデルであり、
前記発言または前記発話の音声から抽出される特徴量は、前記音声が表す文を構成する各単語または各文節について、当該単語または当該文節の種類と語気とを含む、プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021166197A JP7786115B2 (ja) | 2021-10-08 | 2021-10-08 | 情報処理装置およびプログラム |
| US17/956,161 US20230116808A1 (en) | 2021-10-08 | 2022-09-29 | Information processing device and program |
| CN202211207966.3A CN115956910A (zh) | 2021-10-08 | 2022-09-30 | 信息处理装置以及程序 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021166197A JP7786115B2 (ja) | 2021-10-08 | 2021-10-08 | 情報処理装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023056780A JP2023056780A (ja) | 2023-04-20 |
| JP7786115B2 true JP7786115B2 (ja) | 2025-12-16 |
Family
ID=85797358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021166197A Active JP7786115B2 (ja) | 2021-10-08 | 2021-10-08 | 情報処理装置およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230116808A1 (ja) |
| JP (1) | JP7786115B2 (ja) |
| CN (1) | CN115956910A (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004112518A (ja) | 2002-09-19 | 2004-04-08 | Takenaka Komuten Co Ltd | 情報提供装置 |
| US20210185276A1 (en) | 2017-09-11 | 2021-06-17 | Michael H. Peters | Architecture for scalable video conference management |
| JP2021099670A (ja) | 2019-12-23 | 2021-07-01 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006085440A (ja) * | 2004-09-16 | 2006-03-30 | Fuji Xerox Co Ltd | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム |
| JP2006243980A (ja) * | 2005-03-01 | 2006-09-14 | Fuji Xerox Co Ltd | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム |
| JP4604173B2 (ja) * | 2005-03-16 | 2010-12-22 | 学校法人東海大学 | 遠隔会議・教育システム |
| JP2012113589A (ja) * | 2010-11-26 | 2012-06-14 | Nec Corp | 行動促進装置、行動促進方法およびプログラム |
| CN103430523B (zh) * | 2011-03-08 | 2016-03-23 | 富士通株式会社 | 通话辅助装置和通话辅助方法 |
| JP6730843B2 (ja) * | 2016-05-06 | 2020-07-29 | 日本ユニシス株式会社 | コミュニケーション支援システム |
| JP6841016B2 (ja) * | 2016-11-21 | 2021-03-10 | コニカミノルタ株式会社 | 会議システム、会議管理装置およびプログラム |
| JP7279494B2 (ja) * | 2019-04-23 | 2023-05-23 | コニカミノルタ株式会社 | 会議支援装置、および会議支援システム |
| JP7413055B2 (ja) * | 2020-02-06 | 2024-01-15 | 本田技研工業株式会社 | 情報処理装置、車両、プログラム、及び情報処理方法 |
| JP2021136547A (ja) * | 2020-02-26 | 2021-09-13 | 沖電気工業株式会社 | 制御装置、制御方法、オペレーターの提示装置、オペレーターへの提示方法、ユーザーの提示装置、ユーザーへの提示方法、プログラム及び通信システム |
-
2021
- 2021-10-08 JP JP2021166197A patent/JP7786115B2/ja active Active
-
2022
- 2022-09-29 US US17/956,161 patent/US20230116808A1/en active Pending
- 2022-09-30 CN CN202211207966.3A patent/CN115956910A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004112518A (ja) | 2002-09-19 | 2004-04-08 | Takenaka Komuten Co Ltd | 情報提供装置 |
| US20210185276A1 (en) | 2017-09-11 | 2021-06-17 | Michael H. Peters | Architecture for scalable video conference management |
| JP2021099670A (ja) | 2019-12-23 | 2021-07-01 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115956910A (zh) | 2023-04-14 |
| JP2023056780A (ja) | 2023-04-20 |
| US20230116808A1 (en) | 2023-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115413348B (zh) | 用于自动验证和量化面试问题回答的系统和方法 | |
| JP6263308B1 (ja) | 認知症診断装置、認知症診断方法、及び認知症診断プログラム | |
| CN115335902A (zh) | 用于异步视频设置中的自动候选者评估的系统和方法 | |
| JP2020091735A (ja) | プログラム、情報処理装置及び情報処理方法 | |
| JP7519138B1 (ja) | 情報提供装置 | |
| McNaney et al. | Speeching: Mobile crowdsourced speech assessment to support self-monitoring and management for people with Parkinson's | |
| JP2020091736A (ja) | プログラム、情報処理装置及び情報処理方法 | |
| JP2020091824A (ja) | プログラム、情報処理装置及び情報処理方法 | |
| JP2023097789A (ja) | ビデオ会議分析システムおよびビデオ会議分析プログラム | |
| KR102075506B1 (ko) | 화상 기반의 전문가 매칭 플랫폼 제공 시스템 | |
| JP7786115B2 (ja) | 情報処理装置およびプログラム | |
| JP7290977B2 (ja) | プログラム及び情報処理装置 | |
| Toulme et al. | Marcus: A Chatbot for Depression Screening Based on the PHQ-9 Assessment | |
| JP7307576B2 (ja) | プログラム及び情報処理装置 | |
| JP2023055296A (ja) | 相性評価システム、方法およびプログラム | |
| WO2021014458A1 (en) | Systems and methods for automated visual perceptual assessment | |
| Dacey et al. | Perceptions around vocal health among group fitness instructors and pilot use of group fitness instructor–Specific Voice Handicap Questionnaire | |
| KR102952781B1 (ko) | 인공지능 기반의 감정 안정 제어 상담 서비스를 제공하는 방법 및 장치 | |
| JP7659354B1 (ja) | プロフィール情報収集システム、プロフィール情報収集方法、及びプログラム | |
| JP7567921B2 (ja) | 人物評価情報生成方法 | |
| JP2026070109A (ja) | システム | |
| JP2024123827A (ja) | 評価装置、評価方法及び評価プログラム | |
| JP2024135583A (ja) | 上下関係推定支援装置、上下関係推定支援方法、プログラム及び記録媒体 | |
| JP2026023397A (ja) | システム | |
| JP2023145358A (ja) | 建物計画支援システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250605 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20251104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7786115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |