Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7786115B2 - 情報処理装置およびプログラム - Google Patents
[go: Go Back, main page]

JP7786115B2 - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム

Info

Publication number
JP7786115B2
JP7786115B2 JP2021166197A JP2021166197A JP7786115B2 JP 7786115 B2 JP7786115 B2 JP 7786115B2 JP 2021166197 A JP2021166197 A JP 2021166197A JP 2021166197 A JP2021166197 A JP 2021166197A JP 7786115 B2 JP7786115 B2 JP 7786115B2
Authority
JP
Japan
Prior art keywords
meeting
index value
unit
processing device
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021166197A
Other languages
English (en)
Other versions
JP2023056780A (ja
Inventor
一樹 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2021166197A priority Critical patent/JP7786115B2/ja
Priority to US17/956,161 priority patent/US20230116808A1/en
Priority to CN202211207966.3A priority patent/CN115956910A/zh
Publication of JP2023056780A publication Critical patent/JP2023056780A/ja
Application granted granted Critical
Publication of JP7786115B2 publication Critical patent/JP7786115B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1807Speech classification or search using natural language modelling using prosody or stress
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は情報処理装置に関し、特に、会議のメンバーの心理的状態を評価する情報処理装置およびプログラムに関する。
会議または打合わせを効率良く実施したいとの要望がある。例えば、特許文献1(特開2017-215931号公報)の会議支援システムは、会議の参加者の発言内容を評価する。また、特許文献2(特開2021-86385号公報)のシステムは、会議ポリシーについての達成度を判定する。特許文献3(特開2020-154673号公報)会議支援システムは、発言に対する他の発言の反応状態を判定し、判定結果により当該発言を評価する。特許文献4(特開2017-112545号公報)の会議支援システムは、会議参加者の音声から議論の収束度を判定する。
特開2017-215931号公報 特開2021-86385号公報 特開2020-154673号公報 特開2017-112545号公報
効率的な会議の運営においては、運営を支援するために、会議の目的に応じてメンバーの心理的状態に基づいた支援情報を得たいとの要望があるが、上記の特許文献では、会議参加者の心理的状態を考慮した構成は提案されていない。
本開示は、会議のメンバーの心理的状態を会議の目的に応じて判定することができる情報処理装置およびプログラムを提供することを1つの目的とする。
この開示に係る会議中のメンバーの心理的状態を判定する情報処理装置は、マイクロフォンで会議中に収集された音声のうちメンバーの発言に対応する部分の音声から、予め定められた特徴量を抽出するための音声処理部と、特徴量の入力を受けて、当該メンバーが予め定められた心理的状態である可能性を推定する推定部と、推定部によって推定された可能性と会議の目的に応じた指標値とに基づき、会議中にメンバーが予め定められた心理的状態である可能性を判定する判定部と、を備える。
上述の情報処理装置は、会議中にカメラで撮像して得られたメンバーの画像から、予め定められた行動を表す画像特徴量を抽出する画像解析部をさらに備え、推定部が受ける特徴量の入力は、さらに、画像特徴量の入力を含む。
上述の推定部は、特徴量の入力を受けて、当該メンバーが予め定められた心理的状態である可能性を、複数の項目それぞれについて推定する。
上述の情報処理装置は、指標値を、複数の項目それぞれについて設定する。
上述の判定部は、複数の項目それぞれについて判定された可能性の大きさを数値に換算する。
上述の複数の項目のうちの会議の目的に応じた1つ以上の項目について、当該項目の換算された数値を加減算により調整する。
上述の情報処理装置は、判定部によって判定された可能性を出力する出力部と、情報処理装置に対するユーザー操作を受付ける入力インターフェイスと、指標値を変更する指標値変更部と、をさらに備え、指標値変更部は、入力インターフェイスが受付けたユーザー操作に基づき、指標値を変更する。
上述の指標値変更部は、複数のユーザーからユーザー操作を受付けたとき、当該ユーザー操作に基づき指標値を変更する。
上述の指標値変更部は、さらに、変更ルールに従って指標値を変更し、当該変更ルールは、同一目的を有した複数の会議についての指標値に基づく変更のルールを含む。
上述の出力部は、異なる時期に実施された会議であって、メンバーが参加する同一目的を有した複数の会議のそれぞれについて、判定部によって判定された可能性を出力する。
上述の情報処理装置は、複数の会議のうち少なくとも1つについて、推定部によって推定された可能性と予め定められた指標値とに基づき、当該会議中にメンバーが予め定められた心理的状態である可能性を判定する再判定部を、さらに備える。
上述の予め定められた指標値は、指標値変更部によって変更された変更後の指標値を含む。
上述の予め定められた指標値は、デフォルト値を含む。
上述の指標値変更部は、さらに、会議のメンバーの属性に基づき指標値を変更する。
上述の指標値変更部は、さらに、会議のメンバーに予め定められた属性を有するものが予め定められた人数いるとき、当該属性に基づき指標値を変更する。
上述の会議の目的は、会議に関して登録された情報から取得する。
上述の情報処理装置は、会議の目的を、会議中に収集された音声を認識処理することにより取得する。
上述の出力部は、判定部が可能性の判定に用いた指標値に関する情報を出力する。
本開示に係るプログラムは、会議中のメンバーの心理的状態を判定する方法をコンピュータに実行させるためのプログラムであって、方法は、マイクロフォンで会議中に収集された音声のうちメンバーの発言に対応する部分の音声から予め定められた特徴量を抽出するステップと、特徴量の入力を受けて、当該メンバーが予め定められた心理的状態である可能性を推定するステップと、推定された可能性と会議の目的に応じた指標値とに基づき、会議中にメンバーが予め定められた心理的状態である可能性を判定するステップと、を備える。
本開示によれば、会議のメンバーの心理的状態を会議の目的に応じて判定することができる。
本実施の形態に係る会議システムの概略構成を示す図である。 本実施の形態に係る端末200のハードウェア構成を示す図である。 本実施の形態に係る情報処理装置300のハードウェア構成を示す図である。 本実施の形態に係る心理的状態評価部のソフトウェア構成を模式的に示す図である。 本実施の形態に係る判定指標値DB331の一例を模式的に示す図である。 本実施の形態に係る推定値42の一例を示す図である。 本実施の形態に係る判定部414の判定の方法を説明する図である。 本実施の形態に係る重点項目管理DB332の一例を模式的に示す図である。 本実施の形態に係る判定部414の重点項目管理DB332を用いた判定結果の一例を説明する図である。 本実施の形態に係るレポート60の一例を模式的に示す図である。 本実施の形態に係る判定指標値DB331の他の構成例を示す図である。 変更前後の指標の一例を対応付けて示す図である。 変更前後の指標の一例を対応付けて示す図である。 本実施の形態に係る全体処理の概略フローチャートである。 図14のルーチンR1のフローチャートである。 図15のルーチンR14のフローチャートである。 図15のルーチンR15のフローチャートである。 図14のルーチンR2のフローチャートである。 図18のルーチンR16のフローチャートである。 図14のルーチンR3のフローチャートである。 図20のフィードバック処理ルーチンR17のフローチャートである。 図20の会議の結果情報の比較ルーチンR18のフローチャートである。 図22の再計算処理ルーチンR19のフローチャートである。 本実施の形態に係るディスプレイの表示画面の一例を示す図である。 本実施の形態に係るディスプレイの表示画面の一例を示す図である。 本実施の形態に係るディスプレイの表示画面の一例を示す図である。 本実施の形態に係るディスプレイの表示画面の一例を示す図である。 本実施の形態に係るディスプレイの表示画面の一例を示す図である。 本実施の形態による心理的状態判定の方法を説明する図である。
以下、図面を参照しつつ、本発明に従う実施の形態および変形例について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される実施の形態および変形例は、適宜選択的に組み合わされてもよい。
<A.心理的状態の評価>
本実施の形態では、会議に参加するメンバーの心理的状態を会議の目的に応じて評価するツールを提供する。ここで、企業における議論の活発化、意思疎通の向上などを目的として、打合せ時の心理的な障壁を軽減させるような手法として、心理的状態のうちとりわけ「心理的安全」に注目した方法が提案されている。ここで心理的安全とは、会議においてメンバーの心理的な障壁を軽減させる状態(例えば、他のメンバーが自分の発言を拒絶し、または、罰を与えないという確信が持てる状態)をいう。心理的安全を測定するための項目として、エドモンソン教授の「7つの質問」がよく知られている。本実施の形態でも、会議のメンバーの心理的状態を評価するための項目として、心理的安全を評価するための以下に示す「7つの質問」を用いるが、心理的安全を評価するための項目は、これらに限定されない。また、会議で評価される心理的状態は、心理的安全に限定されない。
(a)発明者の実験
発明者は、7つの質問のそれぞれに対応して、可能性の高さ(または低さ)の推定値を計測する実験を実施した。この“可能性が高いまたは低い”とは、人の心理的状態が対応の質問(項目)に示す心理的状態(予め定められた状態)となる可能性が高いか低いかを示す。実験では、例えば会議の目的を知らされていない第3者が、会議メンバーの発言の観察結果に基づき計測する。また、“推定値”は、“可能性が低いことが良い”または“可能性が高いことが良い”等を定量的に示す値である。以下では、この“質問”は心理的状態を判定するための“項目”ともいう。なお、質問中の“チーム”は、“会議”と置き換えることができる。
質問(1)チーム内でミスを起こすと、よく批判をされる(可能性が低いことが良い);
質問(2)チームのメンバー内で、課題やネガティブなことを言い合うことができる(可能性が高いが良い);
質問(3)チーム内のメンバーは、異質なものを受け入れない傾向にある(可能性が低いことが良い);
質問(4)チームに対してリスクが考えられるアクションを取っても安心感がある(可能性が高いことが良い);
質問(5)チーム内のメンバーにヘルプを出しづらい(可能性が低いことが良い);
質問(6)チーム内で自分を騙すようなメンバーはいない(可能性が高いことが良い);
質問(7)現在のチームで業務を進める際、自分のスキルが発揮されていると感じる(可能性が高いことが良い)。
(a1.会議の目的に基づく推定値の評価)
上記に述べた可能性の推定値は、会議の目的によって、同じ項目であっても異なるケースがある。具体例を次のケース1とケース2の実験を例示して説明する。
(ケース1:アイデア発展や新機能開発などのブレスト会議)
(イ)会議が、アイデア発展や新機能開発などのブレスト会議である場合、会議の目的(ルール)に沿って、メンバーは否定的な発言はせず生産的な発言を行ったときに、質問(1)から(3)について、メンバー以外の第3者が会議の発言内容などを観察し、観察結果に基づき各質問の可能性の判定に対して点数化する。このケースでは、点数化された以下のような推定値が得られた。
質問(1)チーム内でミスを起こすと、よく批判をされる(可能性が低いことが良い)→10点;
質問(2)チームのメンバー内で、課題やネガティブなことを言い合うことができる(可能性が高いが良い)→0点;
質問(3)チーム内のメンバーは、異質なものを受け入れない傾向にある(可能性が高いことが良い)→10点。
この会議では、メンバーは会議の目的に沿って発言するから、第3者の観察結果は、批判的またはネガティブな発言はなく、また、異質な発言を受け入れる傾向が高いことを示す。したがって、質問(2)は、ネガティブ発言は一切なかったことが観察されるから点数化した推定値は0点となる。この結果、質問(1)~(3)は合計20点となる。
(ロ)会議が、アイデア発展や新機能開発などのブレスト会議である場合、会議の目的(ルール)に反して、メンバーは否定的な発言が多く、産的な発言が少なかったときに、質問(1)から(3)について、メンバー以外の第3者が会議の発言内容などを観察し、観察結果に基づき各質問の可能性の判定に対して点数化する。このケースでは、以下のような推定値が得られた。
質問(1)チーム内でミスを起こすと、よく批判をされる(可能性が低いことが良い)→10点;
質問(2)チームのメンバー内で、課題やネガティブなことを言い合うことができる(可能性が高いが良い)→10点;
質問(3)チーム内のメンバーは、異質なものを受け入れない傾向にある(可能性が高いことが良い)→10点。
この会議では、会議の目的に反した発言が多いから、第3者の観察結果は、ネガティブな発言は多くメンバー間で言い合いになり質問(1)は10点、またネガティブな発言は勇気を持った活発な議論であると判定されて質問(2)は10点、および発言が多いから異質な発言を受け入れる傾向が高いと判定されて質問(3)は10点をそれぞれ示す。この結果、質問(1)~(3)は合計30点となる。
実験によれば、ケース(イ)と(ロ)の両方の会議に参加したメンバーは、会議の目的に沿った発言がなされたケース(イ)よりも、会議の目的に反した発言がなされたケース(ロ)方が、観察者の評価(合計の推定値)が高い結果になったのは納得がいかないとの心理的状態となり、また、ケース(ロ)の会議にのみ参加したメンバーは、発言が否定されるから発言はしづらかったとの心理的状態となった。
これら実験によれば、各項目の可能性判定を定量的に点数化する場合、会議の目的(ルール)に基づいた点数化ができていないために、可能性判定の点数が、会議のメンバーの実際の心理的状態からは乖離するとの結果が得られた。
(ケース2:進捗会議とレビュー会議)
業務の進捗状況を共有する進捗会議または実施した業務内容を振り返って検証するレビュー会議について、可能性判定を評価した。より具体的には、メンバーが業務において凡ミスで失敗した場合に、異なる目的の会議において同じ内容を発言した場合、会議の目的を考慮すれば、メンバーにとって発言の意味合いや受け取り方は変わってくる。
実験では、会議であるメンバーが「そのミスは問題だ。なぜこの時期にその様な失敗をしたんだ。チェックはしていたのか」と発言したときの、他のメンバーの心理的状態を観察した。
例えば、会議が進捗会議では、あるメンバーが上記の発言をする場合は、注意および批判的な心理的状態を有し、他のメンバーは、この発言を受けて、“ミスを責められた、次にミスを報告しづらいな”との心理的状態となり発言は少なく傾向になる。これに対し、レビュー会議では、あるメンバーが上記の発言をする場合は、このミスを防止しようとするための確認および改善(生産的ステップ)に向けた心理的状態を有し、他のメンバーは、この発言を受けて、このミスの再発防止のために、ミスを再確認するという心理的状態を有する。
進捗会議およびレビュー会議の発言について、質問(1)から(3)について、第3者が会議の発言内容などの観察結果に基づき各質問の可能性の判定に対して点数化する。このケースでは、以下のような実験結果が得られた。
質問(1)チーム内でミスを起こすと、よく批判をされる(可能性が低いことが良い)→20点;
質問(2)チームのメンバー内で、課題やネガティブなことを言い合うことができる(可能性が高いが良い)→10点;
質問(3)チーム内のメンバーは、異質なものを受け入れない傾向にある(可能性が高いことが良い)→5点。
これらの2つの会議では、それぞれ、あるメンバーの発言は批判的な発言となり質問(1)は20点となり、上記の発言はネガティブ内容であるから質問(2)は20点となり、また、意見が多少は出ることから質問(3)は5点となる。
しかし、レビュー会議のあるメンバー、すなわちレビュアーは、上記の発言は批判していたわけではないのに質問(1)の点数が高くなったことから、自己の心理的状態と各項目の可能性判定の推定値が乖離していると感じる。
したがって、この実験でも、会議の目的(ルール)に基づいた判定の点数化ができていないために、推定値が、会議のメンバーの実際の心理的状態からは乖離するとの結果が得られた。
このような実験の結果に基づき、発明者は、心理的安全をシステムで判定する場合、項目(質問)を設定してその項目について判定するとき、判定がメンバーの心理的状態から乖離することを防止するためには、会議の目的に基づき、最終的な可能性の判定をするべきであるとの知見を得た。
この知見に基づき、発明者は、会議の種類、すなわち会議の目的毎に、当該目的に応じた重み付けを各項目に設定し、会議の目的毎に、各項目の可能性の推定値を当該項目の重み付けで評価することにより、会議の目的に応じた心理的状態の可能性を判定することが可能となるとの知見も得た。この重み付けは、以下では指標値とも称する。以下に、これら知見に基づく会議支援システムを説明する。
なお、本実施の形態では、複数のメンバーが発言しあうシーンとして会議を例示している。本実施の形態の会議は、打ち合せ、ミーティング、話合などを含む概念である。
<B.会議支援システム>
図1は、本実施の形態に係る会議システムの概略構成を示す図である。図1を参照して、会議システム1は、ネットワークを介して画像(映像)や音声の遣り取りを行うオンライン会議を提供するためのシステムであって、会議に参加するメンバー(参加者)が操作可能な複数の端末200と、複数の端末200とネットワーク100を介して通信する情報処理装置300とを備える。以下では、オンライン会議を「会議」と略す。
端末200は、たとえば、汎用のPC(Personal Computer)、スマートフォン、またはタブレットなどを含む。情報処理装置300は、たとえば、端末200をクライアントとするクラウドサーバーとして、会議システムを実現するためのプラットフォームを提供する。ネットワーク100は、たとえば、インターネット、公衆回線、公衆無線LAN(Local Area Network)等のパブリックネットワークであってもよいし、LAN、VPN(Virtual Private Network)等のプライベートネットワークであってもよい。情報処理装置300は、クラウド型サーバーとして例示したが、これに限定されず、オンプレミスサーバーであってもよい。
情報処理装置300は、複数の端末200の間でのオンラインでの会議を支援する。情報処理装置300は、たとえば、1つの端末200から送られてきた映像データ、音声データ等を受信し、受信した映像データまたは音声データを他の端末200へ転送する。これにより、メンバーは端末200を操作して、映像や音声を共有することができる。
情報処理装置300は、また、会議において端末200間で遣り取りされる音声データまたは画像データから、会議中におけるメンバーの心理的状態を、会議の目的に応じて項目毎に評価し、評価結果を出力する。
(b1.ハードウェア構成)
図2は、本実施の形態に係る端末200のハードウェア構成を示す図である。図3は、本実施の形態に係る情報処理装置300のハードウェア構成を示す図である。
図2を参照して、端末200は、プロセッサー11と、ROM(Read Only Memory)やRAM(Random Access Memory)などを含む揮発性記憶媒体から構成される主メモリー12と、カメラ13と、マイク(マイクロフォン)14と、NIC(ネットワークインターフェースカード)を含む通信回路から構成される通信インターフェイス15と、ユーザーが操作可能なキーボードやマウス等の入力装置16Aを接続する入力インターフェイス16と、ディスプレイ17Aを接続する表示インターフェイス17と、スピーカー18と、記録媒体の一例である光学ディスク19Aが着脱自在に装着される光学ドライブ19と、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性の記録媒体から構成される記憶装置20とを含む。これらのコンポーネントは、内部バス25を介して互いに通信可能に接続されている。入力インターフェイス16は、入力装置16Aを介して端末200に対するユーザー操作を受付ける。また、表示インターフェイス17は、画像を表示するように画像データに基づきディスプレイ17Aを駆動するドライバー回路を含む。記憶装置20は、プロセッサー11により読出されて実行されると、各種の処理を実現するプログラム22が格納される。
プロセッサー11は、たとえば、少なくとも1つの集積回路によって構成される。集積回路は、たとえば、少なくとも1つのCPU(Central Processing Unit)、少なくとも1つのASIC(Application Specific Integrated Circuit)、少なくとも1つのFPGA(Field Programmable Gate Array)、またはそれらの組み合わせなどによって構成される。
プロセッサー11は、記憶装置20に格納されているプログラム22を主メモリー12に展開して実行することで、本実施の形態に従う各種処理を実現する。主メモリー12は、プロセッサー11によるプログラムの実行に必要なワークメモリを提供する。
カメラ13は、CMOS(Complementary Metal Oxide Semiconductor)センサーまたはCCD(Charge Coupled Device)センサー等を有する撮像装置である。カメラ13の撮像視野は、端末200を操作するメンバー等を撮像可能な範囲を有して、撮像した動画(映像)または静止画等の画像データを生成する。マイク14は、端末200の周囲の音声を集音するように構成される。マイク14が集音する音声は、端末200を操作するメンバーの音声等を含み得る。
通信インターフェイス15は、ネットワーク100を介して情報処理装置300との間でデータや信号を遣り取りする。一例として、端末200は、通信インターフェイス15を介して、情報処理装置300との間で画像データおよび音声データ等を送受信する。当該画像データは、端末200のカメラ13の撮像画像に基づく画像データを含み、また、当該音声データは、端末200のスピーカー18の集音した音声データを含む。
会議中は、情報処理装置300は、端末200から送信された画像データおよび音声データを受信し、受信した画像データおよび音声データを他のメンバーの端末200へ転送する。端末200は情報処理装置300から受信した画像データに基づく画像をディスプレイ17Aに表示し、また、情報処理装置300から受信した音声データに基づく音声をスピーカー18から出力する。これにより、会議中は、メンバーは端末200を介して互いに画像および音声を遣り取りしてコミュニケーションをとることができる。
また、通信インターフェイス15は、情報処理装置300から画面データを受信することもできる。より具体的には、情報処理装置300はWebサーバーとして、Webページを端末200に送信し、端末200のWebブラウザーは、表示インターフェイス17を介して、情報処理装置300からのWebページに基づく画面をディスプレイ17Aに表示させる。
光学ドライブ19は、外部の記憶媒体である光学ディスク19Aなどから、その中に格納されている各種プログラム(たとえば、プログラム22)を読み出して、記憶装置20にインストールする。図2には、外部の記憶媒体から必要なプログラムを端末200にインストールする構成例を示すが、これに限られることなく、ネットワーク100上の他の装置などからダウンロードするようにしてもよい。また、外部の記憶媒体は光学ディスク19Aに限定されず、例えばUSB(Universal Serial Bus)メモリー、SD(Secure Digital)カード、CF(Compact Flash)などの記憶媒体であってもよい。
記憶装置20のプログラム22は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う端末200の趣旨を逸脱するものではない。また、プログラム22によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。また、カメラ13、マイク14およびスピーカー18は、端末200に外付けされてもよく、また、これらデバイスは1台に限らず複数台が端末200に接続されてもよい。
図3を参照して、情報処理装置300は、プロセッサー301と、ROMやRAMなどを含む揮発性記憶媒体から構成される主メモリー302と、NICを含む通信回路から構成される通信インターフェイス303と、ユーザーが操作可能なキーボードやマウス等の入力装置305Aを接続する入力インターフェイス305と、ディスプレイ306Aを接続する表示インターフェイス306と、記録媒体の一例である光学ディスク307Aが着脱自在に装着される光学ドライブ307と、HDDやSSD等の不揮発性の記録媒体から構成される記憶装置310とを含む。これらのコンポーネントは、内部バス319を介して互いに通信可能に接続されている。入力インターフェイス305は、入力装置305Aを介して情報処理装置300に対するユーザー操作を受付ける。また、表示インターフェイス306は、画像を表示するように画像データに基づきディスプレイ306Aを駆動するドライバー回路を含む。記憶装置310は、プロセッサー11により読出されて実行されるフォフトウェアが格納される。このソフトウェアは、各種の処理を実現するプログラム22と複数のDB(Data Base)からなるDB群330を含む。
プロセッサー301は、たとえば、少なくとも1つの集積回路によって構成される。集積回路は、たとえば、少なくとも1つのCPU、少なくとも1つのASIC、少なくとも1つのFPGA、またはそれらの組み合わせなどによって構成される。
プロセッサー301は、記憶装置310に格納されているプログラム320を主メモリー302に展開して実行することで、本実施の形態に従う各種処理を実現する。主メモリー302は、プロセッサー301によるプログラムの実行に必要なワークメモリを提供する。
通信インターフェイス303は、ネットワーク100を介して端末200との間でデータや信号を遣り取りする。一例として、情報処理装置300は、通信インターフェイス303を介して、端末200との間で画像データ、音声データ、画面データ等を送受信する。
光学ドライブ307は、外部の記憶媒体である光学ディスク307Aなどから、その中に格納されている各種プログラム(たとえば、プログラム320)やDBなどのデータを読み出して、記憶装置310にインストールする。図3には、光学ドライブ307を介して必要なプログラムを情報処理装置300にインストールする構成例を示すが、これに限られることなく、ネットワーク100上の他の装置などからダウンロードするようにしてもよい。また、外部の記憶媒体は光学ディスク307Aに限定されず、例えばUSBメモリー、SDカード、CFなどの記憶媒体であってもよい。
なお、プログラム320は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う情報処理装置300の趣旨を逸脱するものではない。また、プログラム320によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。
<C.情報処理装置のソフトウェア構成>
図4は、本実施の形態に係る心理的状態評価部のソフトウェア構成を模式的に示す図である。図24~図28は、本実施の形態に係るディスプレイの表示画面の一例を示す図である。本実施の形態に係る心理的状態評価部は、情報処理装置300が有するプログラム320およびDB群330を有するソフトウェアを含んで構成される。心理的状態評価部によって実施される処理を、図24~図28の画面を適宜参照して説明する。
図4を参照して、心理的状態評価部400は、会議のメンバーの心理的状態が予め定められた状態である可能性を推定する心理的状態計測部413と、推定された可能性を会議の目的に応じて判定する判定部414と、判定部414に関連した情報処理を実施する処理部を有する。心理的状態計測部413は、会議を実施中に、端末200から、マイク14が集音した音声の音声データ50と、カメラ13が撮像した画像の画像データ51とを受信し、受信した音声データ50が有するメンバーの発言に関する特徴量および画像データ51が有するメンバーの行動に関する画像特徴量とから、当該メンバーの心理的状態が予め定められた状態(心理的安全を有する状態)である可能性を推定する。
心理的状態評価部400は、心理的状態計測部413に関連して、音声処理部401および画像処理部402を有する。また、判定部414に関連した処理部として、FB(フィードバックの略)情報52を受付けるFB入力部403と、FB情報52を処理するFB処理部405と、結果出力処理部408と、評価結果に関する比較処理を実施する比較処理部406と、比較結果を出力する比較結果出力部404とを有する。心理的状態評価部400は、判定部414の処理のためにDB群330の各種DBを用いる。より具体的には、DB群330は、例えば判定指標値DB331と、重点項目管理DB332と、メンバー属性DB333と、測定結果管理DB334とを有する。
(c1.心理的状態計測部413の構成)
心理的状態計測部413によって、会議中のメンバーの心理的安全を有する程度(可能性)を推定する。この推定方法の一例を説明する。図29は、本実施の形態による心理的状態判定の方法を説明する図である。心理的状態計測部413は、会議を実施中に、端末200から受信する音声データ50をから各項目について推定値を発言毎に取得し、各項目について、発言毎に取得された推定値から代表値を取得する。各項目について、この代表の推定値が出力される。以下では、代表の推定値を、推定値42と称する。代表値は、会議において検出された複数の発言の推定値の平均値、最頻値、中央値などであってよい。
会議中のメンバーの発言から推定値42を取得する方法を説明する。音声処理部401は、端末200からの音声データ50において音声の区切りを検出し、検出した区切りに基づき音声データ50から発言の音声データを抽出し、抽出された発言の音声データについて音声認識処理を実施してテキストデータに変換する。心理的状態計測部413の言語解析部410は、発言のテキストデータを自然言語処理する。これにより、テキストデータから、文を構成する1または複数の単語または文節291が認識される。言語解析部410は、各単語または文節291に基づき図示しない辞書データを検索して、種類292を特定する。また、各単語または文節291について語気293が検出される。より具体的には、音声データ50は、発言の開始から終了まで時系列に声の大きさを示すデータを含む。音声処理部401は、認識された各単語または文節291が音声データ50から抽出された発話期間に対応する声の大きさ(大、中、小)を、当該時系列データから語気293として抽出する。言語解析部41の解析結果の一例が図29に示される。図29では、例えば発言が「そのミスは問題だ。なぜ、この時期にそのような失敗をしたんだ。チェックはしていたのか?」である場合、解析結果として、複数の単語(文節)291と、各単語(文節)291の単語の種類292と、語気293とを含む。
発言の解析がなされると、心理的状態推定部412は、例えば項目(1)“チーム内でミスを起こすと、よく批判される”について学習されたルールベースに従い、図29の各単語(文節)291について、その種類292と語気293とに基づき影響値294を決定する。影響値294は、予め定められた点数から減点する値で示される。項目(1)のルールベースは、“ミスを批判されている”と判定される発言内容(単語(文節)、語気)に近いと判定されるほど、影響値294の減点値は大きくなるよう学習されているので、当該発言に対する項目(1)の推定値は小さくなる。
ここでは、項目(1)のルールベースを例に説明したが、心理的状態計測部413は他の項目(2)~(7)についても学習されたルールベースを例えば記憶装置310に格納して利用する。心理的状態推定部412は、他の項目(2)~(7)それぞれのルールベースに従って、当該発言の各単語(文節)の影響値294を判定し、判定された影響値294から当該項目についての推定値を出力することができる。
これにより、発言「そのミスは問題だ。なぜ、この時期にそのような失敗をしたんだ。チェックはしていたのか?」について、項目(1)~(7)の各項目の推定値が取得される。
会議では、実際は複数の発言が検出される。心理的状態計測部413は、検出される各発言について、上記に述べた手順と同様に、項目(1)~(7)の各項目の推定値が取得される。会議の予め定められたタイミング、例えば会議が終了した時、心理的状態計測部413は、各項目について、複数の発言の推定値に基づき代表値(平均値、中央値、最頻値など)を算出する。心理的状態推定部412は、このように算出される各項目の代表値を、推定値42として出力する。
本実施の形態では、推定値42の導出に用いるデータは音声データ50に限定されず、会議中にメンバーについて観察されるデータであればよい。例えば、観察されるデータとして画像データ51を加えてもよい。より具体的には、画像処理部402は、画像データ51の各フレーム画像からメンバーの部分画像を抽出する。行動解析部411は抽出されたメンバーの部分画像を解析し、人の行動に関する画像特徴量を抽出する。メンバーの発言に基づく特徴量(単語(文節)の種類292と語気293)と行動に関する画像特徴量を、会議中のメンバーを観察して得られる情報である会議情報としてルールベースに入力し、学習済みの推定モデルとしてのルールベースが、メンバーが心理的安全を有する可能性を、推定結果の推定値42として導出するようにしてもよい。行動の画像特徴量としては、心理的状態を反映する人の行動、例えば目の動き、手の動きなど表す画像特徴量を含み得る。
なお、心理的状態計測部413は推定値42を導出する学習モデルとして学習されたルールベースを有して構成されるが、心推定値42を導出する学習モデルは学習されたルールベースに限定されない。
(c2-1.判定部414の判定指標値DB331を利用した構成)
判定部414は、心理的状態計測部413から出力される各項目の推定値42が示す可能性を、判定指標値DB331の当該項目に対応の指標値に基づいて判定し、結果を示す判定値43を出力する。図5は、本実施の形態に係る判定指標値DB331の一例を模式的に示す図である。図5を参照して、判定指標値DB331は、会議の目的(例えば、アイデア発展会、進捗会、謝罪会など)毎に、各項目(上記の各質問(1)~(7))について指標値が、上記に述べた実験等を実施することにより予めデフォルト値などを設定することができる。指標値は、会議について推定された各項目の推定値42から、会議中のメンバーが心理的安全を有していることの可能性(可能性の大きさ)を判定するために用いる値である。
図24には、判定指標値DB331に指標値を設定するためのUI(ユーザーインターフェイス)画面の一例が示される。判定指標値設定部415は、図24のUI画面を、情報処理装置300のディスプレイ306A、または、端末200のディスプレイ17Aに表示させる。当該UI画面をディスプレイ17Aに表示させる場合、判定指標値設定部415はWebページを端末200に送信し、端末200のWebブラウザーは判定指標値設定部415からのWebページに基づくWeb画面をディスプレイ17Aに表示する。
図24のUI画面では、ユーザーは、会議の目的ごとに、各項目について指標値241をプルダウンメニュー245からカーソル244を操作して指定し、設定することができる。登録ボタン242が操作されると、判定指標値設定部415は、設定された各項目の指標値を、判定指標値DB331に登録する。ユーザーは、キャンセルボタン243を操作することにより、登録操作をキャンセルすることができる。
図6は、本実施の形態に係る推定値42の一例を示す図である。図6の推定値42は、例えば、進捗会議について推定された各項目についての推定値を示す。
図7は、本実施の形態に係る判定部414の判定の方法を説明する図である。図7を参照して、判定部414は、会議の目的、すなわち進捗会に基づき、判定指標値DB331から、図7(A)の進捗会議に対応する各項目の指標値を検索する。判定部414は、各項目の推定値42を当該項目に対応の指標値と比較し、比較の結果に基づき、当該項目についての判定値43を出力する。
例えば、判定部414は各項目について、比較の結果が条件(推定値42≧指標値)を満たすと判定すると、当該項目の推定値42は心理的安全の可能性が高いことを示すとして“Good(図中は○で示す)”(10点)を出力するが、当該条件を満たさないと判定すると、当該推定値42は心理的安全の可能性が低いとして“NG(図中は×で示す)”(0点)を出力する。また、判定部414は、比較の結果が(推定値42≦(指標値-1))の条件を満たす場合は、中間の5点を出力してもよい。
判定部414は、各項目の出力値(10点、5点、0点のいずれか)を合計し、合計値を判定指標値DB331の合計値と比較し、比較の結果が条件(各項目の出力値の合計値≧指標の合計値)を満たすとことを検出すると、判定部414は、判定値43として、図7(B)に示すように、当該会議のメンバーは心理的安全を有する可能性が高いことを定性的に示す“Good”を出力する。このように、複数の項目それぞれについて判定された判定値(心理的安全を有すると可能性の大きさ)を数値に換算しているが、換算される値は、10点、5点、0点などに限定されない。
判定部414は、各項目の出力値を合計し、合計値を判定指標値DB331の合計値と比較し、比較の結果が条件(各項目の出力値の合計値<指標の合計値)を満たすとことを検出すると、判定部414は、判定値43として当該会議のメンバーは心理的安全を有する可能性は低いことを定性的な値として“NG”を出力する。
また、判定部414は、判定値43を、定量的な値として示すようにしてもよい。例えば、指標の合計値を100点満点とした場合、各項目の出力値の合計値が100点満点のうちの何点を占めるかを演算し、演算結果が閾値を超えるとき、心理的安全を有する可能性が高いと判断してもよく、または、各項目の出力値の合計値が指標の合計値に占める割合を算出し、算出値を判定値43として出力してもよい。例えば、図7(C)では、この割合は“75”と算出されて、判定部414は、“75”は閾値を超えると検出し、その結果、心理的安全を有する可能性は高いと判定(“Good”)する。また、判定部414は、判定値43として、“Good”または“NG”の定性的な値と、算出された定量的な値(“75”など)との両方、または、一方を出力してもよい。
(c2-2.判定部414の重点項目管理DB332を用いた構成)
会議の目的によっては、心理的安全があるかを評価する上で特に重点とする項目がある。判定部414は、重点項目の推定値42を判定指標値DB331の対応の指標値と比較し、その比較結果が条件(推定値≧指標値)を満たさないと検出したときは、他の項目の推定値42が当該条件を満たすとしても、判定値43は“NG”と出力する。
会議の目的毎に、重点とする項目は、重点項目管理DB332により管理される。図8は、本実施の形態に係る重点項目管理DB332の一例を模式的に示す図である。図8を参照して、重点項目管理DB332は、会議の目的毎に、予め設定された重点項目を有する。図8では、進捗会議については、例えば、項目(2)と項目(7)が重点項目81に設定されている。
項目(2)は、“会議のメンバー内で、課題やネガティブなことを言い合うことができる”を示す。進捗会議では、項目(2)は、メンバーが、進捗の遅れについても活発に発言しやすいという心理的安全を有している可能性を判定する上で重要な項目といえる。
また、項目(7)は、“現在の会議メンバーで業務を進める際、自分のスキルが発揮されていると感じる”を示す。進捗会議では、項目(7)は、メンバーが業務の進捗を共有してメンバーに業務を進める上でポジティブ思考をもたらしているという、心理的安全を有している可能性を判定する上で重要な項目といえる。
図25には、重点項目管理DB332に重点項目を設定するためのUI画面の一例が示される。図25のUI画面は、重点項目設定部416が情報処理装置300のディスプレイ306A、または、端末200のディスプレイ17Aに表示させる。重点項目設定部416は当該UI画面をディスプレイ17Aに表示させる場合、Webページを端末200に送信し、端末200のWebブラウザーは重点項目設定部416からのWebページに基づくWeb画面をディスプレイ17Aに表示する。
図25のUI画面では、ユーザーは、会議の目的ごとに、カーソル244を操作して所望する項目を指定することで、当該項目を重点項目81に設定することができる。登録ボタン252が操作されると、重点項目設定部416は、重点項目81を重点項目管理DB332に登録する。ユーザーは、キャンセルボタン253を操作することにより、登録操作をキャンセルできる。
図9は、本実施の形態に係る判定部414の重点項目管理DB332を用いた判定結果の一例を説明する図である。図9の(A)は、判定部414が、進捗会議の推定値42を判定指標値DB331の指標値のみを用いて判定した判定値43を示す。対照的に図9の(B)は、判定部414が同じ推定値42を、判定指標値DB331と重点項目管理DB332の重点項目81に基づいて判定した判定値43を示す。図9の(A)では、判定値43は“Good”および75点を示し、当該進捗会議はメンバーが心理的安全を有する可能性は高いと判定されるが、図9の(B)では、判定値43は“NG”および55点を示し、当該進捗会議はメンバーが心理的安全を有する可能性は低く要注意と判定される。この相違は、判定値43が調整されたことによる。つまり、重点項目81に設定されている項目(2)の推定値42について条件(推定値≧指標値)は満たすとの検出91がなされるが、項目(7)の推定値42は条件(推定値≧指標値)満たさないとの検出92がなされて、判定値43に-20点の調整値92aが加算されたことによる。
図9に示したように、重点項目81について上記の条件が満たされないときは、判定値43に対して負の調整値92aがなされる結果、判定は(75-20)=55点となる。重点項目81について上記の条件が満たされるときは、判定値43に対して負の調整値92aは実施されない。なお、重点項目81に対する調整値92aは、-20点に限定されず、ユーザーが設定可能である。例えば、調整値92aは、負または正の値を設定してよい。このように、重点項目の判定値43は、調整値92aの加減によって調整することができる。
(c2-3.結果の出力)
図10は、本実施の形態に係るレポート60の一例を模式的に示す図である。判定部414が出力する会議についての判定値43は、測定結果管理DB334に格納される。結果出力処理部408は、測定結果管理DB334から会議の判定値43を検索し、検索された判定値43を出力する。結果出力処理部408は、判定値43を、例えば情報処理装置300のディスプレイ306Aに表示する。または、結果出力処理部408は、判定値43を、ディスプレイ17Aに表示されるように端末200に転送してもよい。なお、判定値43の出力デバイスは、ディスプレイに限定されず、プリンターなどであってもよい。
判定値43は、例えば図10に示すレポート60の形式で出力される。図10を参照して、レポート60は、会議の目的と、項目(1)~(7)の指標値と、推定値42と、判定値(Good、NG)と、心理的安全がどの程度あるかを定量的に判定した得点(図10では75/100点)とを含む。
レポート60には、会議の実施日付、会議の目的、会議のメンバーの人数と識別情報、および判定値43の導出に用いた指標値(デフォルト値である場合は、デフォルトの指標値である旨)が含まれてもよい。
(c3.指標値の変更)
本実施の形態では、ユーザーは、判定指標値DB331の指標値を設定および変更することができる。ユーザーは入力装置16Aまたは305Aにおいて指標値の設定操作をすると、判定指標値設定部415は入力インターフェイスを介して入力装置16Aまたは305Aで受付けたユーザー操作に基づき判定指標値DB331に指標値を設定する。なお、指標値を設定または変更が許可されるユーザーは、会議のメンバーを含み得る。図11は、本実施の形態に係る判定指標値DB331の他の構成例を示す図である。
例えば、進捗会議のメンバーは、レポート60を自己評価し、自己評価の結果を判定指標値DB331に反映するフィードバック(図4では“FB”と略す)情報52を、心理的状態評価部400に入力する。
例えば、メンバーが進捗会議で感じた心理的安全性の高さに反し「項目(7)の評価はいつも“NG”だな」と自己評価すると、「項目(7)の指標値が高いのかも。」と判断する。その場合は、メンバーは進捗会議の項目(7)の指標値を変更するためのFB情報52を入力する。FB入力部403は、ユーザーからFB情報52を受付けてFB処理部405に出力する。FB処理部405は、ユーザーのFB情報52から、指標値を変更する対象の会議の目的と、変更対象の項目の識別子と、変更後の指標値とを抽出し、抽出結果を指標値変更部418に出力する。
指標値変更部418は、当該抽出結果に基づき、判定指標値DB331から、変更対象の会議の変更対象の項目を検索し、検索された項目に当該抽出結果が示す変更後の指標値を設定する。これにより、判定指標値DB331では、例えば、目的が進捗会である会議に対応の項目(7)の指標値は、メンバーがFB情報52で指定した新たな指標値に変更される。図11を参照すると、進捗会の会議に対応の項目(7)の指標値は、4から3.5への変更111がなされている。
なお、FB処理部405は、上記に述べた指標値の変更を次のように実施してもよい。例えば、予め定められた人数のメンバーから、同一目的の会議の同じ項目についてFB情報52を受付けたときに、FB処理部405は、各メンバーから受付けたFB情報52が示す指標値から、その代表値(平均、最頻値、中央値など)を算出し、この代表値を変更後の指標値として指標値変更部418に出力してもよい。
このように、指標値変更部は、入力インターフェイスが受付けたユーザー操作に基づき、指標値を変更し、または、複数のユーザーからユーザー操作を受付けたとき、当該ユーザー操作に基づき指標値を変更する。
また、FB処理部405による指標値の変更は、FB情報52を利用した変更方法に限定されない。例えば、ある目的の会議のある項目の指標値が、他の目的の会議の当該項目の指標値と差があると検出したときは(例えば、この差が閾値を超えると検出したときは)、FB処理部405は当該差に基づく中央値を算出する。そして、指標値変更部418に、当該ある項目の指標値を、当該中央値を示すように変更(補正)させる。この中央値は、ある目的の会議のある項目の指標値と、他の目的の会議の当該項目の指標値との間の中間値である。
図26には、FB情報52を受付けるためのUI画面の一例が示される。図26のUI画面は、FB入力部403が情報処理装置300のディスプレイ306A、または、端末200のディスプレイ17Aに表示させる。FB入力部403は、当該UI画面をディスプレイ17Aに表示させる場合、Webページを端末200に送信し、端末200のWebブラウザーはFB入力部403からのWebページに基づくWeb画面をディスプレイ17Aに表示する。
図26のUI画面では、例えばアイデア発展会議のレポート60と、FB情報52が表示される。ユーザーは、レポート60を自己評価し、所望する項目について、そのプルダウンメニューからカーソル264を操作して指標値を指定することで、当該項目に指定の指標値を設定することができる。登録ボタン262が操作されると、FB入力部403は、図26のUI画面で設定されたFB情報52を入力する。ユーザーは、キャンセルボタン263を操作することにより、FB情報52の入力をキャンセルできる。
(c4.指標値の変更前後の判定値の比較)
本実施の形態では、比較処理部406は、会議の目的ごとに、当該会議の各項目の判定値を、測定結果管理DB334から検索し、検索された判定値を当該会議が実施された日付順に比較可能な形式を有した比較結果データ271に編集し、比較結果出力部404に出力する。比較結果出力部404は、比較処理部406からの比較結果データ271を情報処理装置300または端末200に出力させる。これにより、異なる時期に実施された会議であって、メンバーが参加する同一目的を有した複数の会議のそれぞれについて、判定部441によって判定された判定値43を出力することができる。
図27と図28には、比較結果データ271を表示するUI画面の一例が示される。図27のUI画面は、比較結果出力部404によって、情報処理装置300のディスプレイ306A、または、端末200のディスプレイ17Aに表示される。比較結果出力部404は、当該UI画面をディスプレイ17Aに表示させる場合、Webページを端末200に送信し、端末200のWebブラウザーは比較結果出力部404からのWebページに基づくWeb画面をディスプレイ17Aに表示する。
図27のUI画面では、例えば2021年7月21日~7月30日までに実施された4回のアイデア発展会議のそれぞれについて、日付順に、当該会議の各項目の判定値が当該項目の指標値と関連付けて一覧形式で示される。ユーザーは、図27の一覧表から、アイデア発展会議を複数回実施することで、メンバーが心理的安全を有する程度が、会議を重ねることに伴いどの程度変化したか確認でき、または、心理的安全を有する程度が高いまたは低い会議はいつ実施した会議であるかを確認することができる。
ユーザーは、指標値変更部418によって変更された指標値に基づいた比較結果データ271のUI画面を表示させる場合、変更後の指標値に基づく“再評価”を指示する場合は、ボタン277を操作する。比較結果出力部404は、ボタン277のユーザー操作を受付けると、受付けたユーザー操作を比較処理部406に出力する。比較処理部406は、当該ユーザー操作に基づき、再計算処理部407に再評価指示を出力する。
再計算処理部407は、再評価指示を受付けると、判定指標値設定部415によって変更された変更後の指標値に基づき、上記の4回のアイデア発展会議のそれぞれについて、当該会議の各項目の判定値を算出しなおす。より具体的には、再計算処理部407は、上記の4回のアイデア発展会議のそれぞれについて、各項目の推定値42を測定結果管理DB334から検索し、検索した各項目の推定値42を、変更後の指標値と比較し、比較の結果が条件(推定値42≧指標値)を満たすか否かに基づき判定値(Good、NG、総得点)を算出する。比較結果出力部404は、上記の4回のアイデア発展会議について、変更後の指標値を用いて算出しなおされた判定値を含む比較結果データ271を表示する。表示の一例が、図28のUI画面で示される。
図28のUI画面では、4回のアイデア発展会議のそれぞれについて、日付順に、当該会議の各項目の判定値が算出に用いた指標値と関連付けて一覧形式で示される。図28のUI画面では、項目(5)の指標値が元の4.0から3.5の低い値に変更されている。この変更に伴い計算しなおされた図28の項目(5)の判定値は、図27の項目(5)の判定値よりも、心理的安全を有する程度が大きくなっている(改善している)。
ユーザーは、図28の各UI画面から判定値の改善を確認したとき、図27の心理的安全を有する程度が低いとしても、それはメンバーに原因があるのではなく、評価に用いた指標値が原因であると確認できる。このように心理的状態評価部400は、図27と図28の指標値変更前後の比較結果データ271を、会議でメンバーの心理的安全が損なわれている原因を探るための支援情報としてユーザーに提供することができる。
(c5.会議のメンバーの属性に応じて指標値を変更する)
本実施の形態では、指標値変更部418は、メンバーの属性が登録されたメンバー属性DB333から検索された会議のメンバーの属性に基づき、メンバーが所定の属性を示すこと、または所定の属性を有するメンバーが所定人数いることを判定したことに応じて、判定指標値DB331の指標値を変更(補正)する。図12と図13は、それぞれ、変更前後の指標の一例を対応付けて示す図である。図12は、指標値変更部418が、メンバー属性DB333から検索されたアイデア発展会議のメンバーの属性に応じて、判定指標値DB331の例えばアイデア発展会議の指標値のうち項目(2)と項目(7)の指標値を変更するケースを示す。図13は、指標値変更部418が、メンバー属性DB333から検索された進捗会の会議のメンバーの属性に応じて、判定指標値DB331の例えば進捗会の指標値のうち項目(1)、項目(2)および項目(7)の指標値を変更するケースを示す。
例えば、会社などの組織のアイデア発展会議は、組織の構成員がメンバーとして会議に参加する。メンバーは、他のメンバーの属性、例えば組織内の地位などによって心理的安全を有する程度が変化することが知られている。例えば、アイデア発展会は、本来、メンバーは自由に発言できる雰囲気を有するが、他のメンバーに部長や取締役などの組織における地位の高いメンバーが所定人数含まれる場合、この雰囲気は損なわれる。そのため、メンバーからは当たり障りのない発言が多くなると想定できる。したがって、図12に示す項目(2)“会議のメンバー内で、課題やネガティブなことを言い合うことができる”の指標値は低くい値に変更される。また、他のメンバー(例えば、部長や取締役など)から否定的発言や威圧的な発言が出ることが想定されるから、項目(7)“現在の会議で業務を進める際、自分のスキルが発揮されていると感じる”の指標値は低くい値に変更される。
また、例えばプロジェクトの進捗会のメンバーに新人が含まれる場合、他のメンバーは、プロジェクトを効率的に進めるには新人に対する指導的発言または注意をすることになる。すなわち、この進捗会では、指導的発言や注意の発言数は増えることが想定されるから図13に示す項目(2)“会議のメンバー内で、課題やネガティブなことを言い合うことができる”の指標値は高い値に変更される。また、指導的発言また注意の発言が新人にとって威圧的になっていないか、すなわち新人が有する心理的安全の程度を低くしていないことを確実に評価できるように、項目(7)“現在の会議で業務を進める際、自分のスキルが発揮されていると感じる”の指標値は低くい値に変更される。
本実施の形態では、属性登録部417は、会議のメンバーの属性を、入力インターフェイスを介して入力装置16Aまたは305Aのユーザー操作に基づき取得し、取得した各メンバーの属性をメンバー属性DB333に登録する。指標値変更部418は、会議の推定値42が評価される場合、判定指標値DB331の当該会議の各項目の指標値を、メンバー属性DB333から検索した各メンバーの属性と、会議の目的とに基づく予め定められたルールとに従って、上記に述べたように、変更するべき項目を特定し、特定した項目を所定の指標値に変更する。判定部414は、変更後の指標値に基づき、当該会議の各項目の推定値42を判定する。これにより、メンバーの属性に応じて会議においてメンバーが心理的安全を有する程度を判定できる。なお、指標値変更部418が利用する上記のルールは、予め実験などで取得される。
<D.フローチャート>
本実施の形態に係る処理を図14~図23のフローチャートを参照して説明する。これらフローチャートの処理は、プロセッサー301が、プログラム320を実行することにより実現される。図14は、本実施の形態に係る全体処理の概略フローチャートである。図14を参照して、プロセッサー301は、ルーチンR1、R2およびR3を実施する。ルーチンR1では、プロセッサー301は、判定指標値設定部415として、判定指標値DB331に会議毎に、すなわち会議の目的毎に、各項目について指標値を設定する。ルーチンR2では、プロセッサー301は、心理的状態計測部413として、会議についてメンバーが心理的安全を有する程度を計測し、計測の結果を、各項目の推定値42として出力する。ルーチンR3では、プロセッサー301は、判定部414として、会議について計測して出力された推定値42を判定し、判定値43を出力する。
(d1.会議毎の判定指標値の設定ルーチン:R1)
図15は、図14のルーチンR1のフローチャートである。図15を参照して、プロセッサー301は、会議の指標値をデフォルト値(例えば、初期値)から変更するか否か、ユーザー操作に基づき判定し(ステップS1)、変更しないと判定すると(ステップS1でNO)処理は終了するが、変更すると判定すると(ステップS1でYES)、指標値を設定するための図24の画面をディスプレイに表示させる(ステップS2)。プロセッサー301は、会議の判定指標値を外部ファイルから取込むか(読込むか)否かを、ユーザー操作に基づき判定する(ステップS3)。
プロセッサー301は、指標値を外部ファイルから取込むと判定すると(ステップS3でYES)、外部ファイルから会議に判定指標値を自動設定するルーチンR14を実施するが、指標値は外部ファイルから取込まないと判定すると(ステップS3でNO)、手動設定した指標値を、会議の判定指標値として設定するルーチンR15を実施する。
(d1-1.外部ファイルで会議毎の判定指標値の設定ルーチン:R14)
図16は、図15のルーチンR14のフローチャートである。図16を参照して、プロセッサー301は、候補となる外部ファイルの一覧のディスプレイに表示させて、ユーザーから所望のファイルを指定する操作を受付け(ステップS10)、指定された外部ファイルから会議毎の各項目の指標値を読出し、判定指標値DB331の当該会議の各項目の指標値として反映(設定)する(ステップS11)。
図17は、図15のルーチンR15のフローチャートである。図17を参照して、プロセッサー301は、指標値を手動設定するために図24のUI画面をディスプレイに表示させ(ステップS12)、UI画面を介して受付けたーザー操作に基づく会議毎の各項目の指標値を入力し(ステップS13)、入力した会議毎の各項目の指標値を、判定指標値DB331の当該会議の各項目の指標値として反映(設定)する(ステップS14)。
外部ファイルは、例えば、他のプロジェクトチームの会議の判定指標値DB331の指標値を格納したファイルを含む。より具体的には、ある部門またはチームのユーザーが、ある目的の会議に適用する指標値を変更したい場合、他部門や他チームの同一目的の会議の各項目に適用される指標値を有したファイルを、外部ファイルとして用いることができる。
また、指標値変更部418は、指標値を変更する場合、元の指標値を、変更ルールに従って変更してもよい。変更ルールとしては、例えば、同一目的を有した複数の会議についての指標値に基づく変更のルールを含む。また、変更ルールは、構成するメンバーが異なる会議であって同一目的を有した複数の会議についての指標値に基づき、対象会議の指標値を変更するルールを含み得る。例えば、元の指標値と新たな指標値との両者の差が閾値を超える場合は、元の指標値を当該両者の中間の値に書換える(変更する)とのルールを含み得る。変更ルールは、これらルールを組合わせてもよく、また、ルールはこれらに限定されない。
(d2-1.会議中の心理状態推定ルーチン:R2)
図18は、図14のルーチンR2のフローチャートである。図18を参照して、プロセッサー301は、現在時間に基づき図示しない会議スケジュールデータを検索し、検索結果に基づき、推定対象の会議が開始されたか否かを判定する(ステップS21)。対象の会議が開始されていないと判定されると(ステップS21でNO)、プロセッサー301はステップS21の処理を繰返すが、対象の会議が開始されたと判定されると(ステップS21でYES)、プロセッサー301は、音声処理部401として、端末200から転送されて受信する、音声データ50から発言のテキストデータを検出し収集開始し、また、画像処理部402として、端末200から転送されて受信する画像データ51からメンバーの行動を示す画像特徴量を検出し収集開始する(ステップS22)。
プロセッサー301は、音声処理部401からの発言のテキストデータと画像処理部402からの行動の画像特徴量を含む会議においてメンバーから観察される情報である会議情報を解析する(ステップS23)。より具体的には、プロセッサー301は、言語解析部410として、発言のテキストデータを解析して、例えば図29に示す各単語(文節)291に対応の種類292および語気293を解析結果のデータとして出力する。また、プロセッサー301は、画像処理部402として、画像データ51のメンバーの行動(例えば、目の動き、手の動き)を表す特徴量を、メンバーから観察される情報である会議情報として出力する。
プロセッサー301は、会議における心理的状態推定と評価のルーチンR16を実施しながら、対象の会議が終了したか否かを、判定する(ステップS24)。対象会議は終了したと判定されないときは(ステップS24でNO)、ルーチンR16を繰返すが、対象会議は終了したと判定されると(ステップS24でYES)、処理は終了する。なお、会議の終了は、音声データ50に基づく音声認識処理により会議終了を示す発言を検出するか否か、または、メンバーがログアウト操作したとか否かに基づき判定する。
(d2-2.心理的状態推定と評価のルーチン:R16)
図19は、図18のルーチンR16のフローチャートである。図19を参照して、プロセッサー301は、会議に関して登録された情報(目的、メンバーの識別情報など)である例えば会議スケジュールデータを検索し、検索結果に基づき、対象会議の目的が登録されているかを判定する(ステップS31)。プロセッサー301は、目的が登録されていると判定すると(ステップS31でYES)、ステップS32に移行するが、目的は登録されていないと判定すると(ステップS31でNO)、プロセッサー301は、音声データ50の音声認識処理による導出される発言データに基づき会議の冒頭で会議の目的が発言されたかを判定する(ステップS34)。会議の目的が発言されたと判定すると(ステップS34でYES)、ステップS32に移行する。例えば、会議の目的を、当該会議中(例えば、冒頭)に収集された音声を認識処理することにより取得する。また、会議の目的は発言されていないと判定すると(ステップS34でNO)、行動データから会議の目的が特定できるかを判定する(ステップS35)。会議の目的が特定できたときは(ステップS35でYES)、ステップS32に移行する。会議の目的が特定できないときは(ステップS35でNO)、プロセッサー301は、心理的状態計測部413として、会議情報の解析結果に基づき、対象会議の各項目について心理的状態の推定値42を出力し、判定部414としてデフォルトの指標値を用いて判定値43を出力し(ステップS37)、処理は終了する。
会議の目的が判定できた場合、プロセッサー301は、心理的状態計測部413として、会議情報に基づき対象会議の各項目の推定値42を出力する(ステップS32)。プロセッサー301は、判定部414として、ステップS32で出力された各項目の推定値42を、判定指標値DB331から検索した当該目的の会議に対応した各項目の指標値と比較し、比較結果が上記の条件を満たすか否かに基づき、各項目の判定値43(Good,NG)を算出する(ステップS33)。対象会議の各項目の推定値42および判定値43は、測定結果管理DB334に格納される。その後、処理は終了する。
(d3-1.判定結果処理ルーチン:R3)
図20は、図14のルーチンR3のフローチャートである。図20を参照して、プロセッサー301は、判定部414として、対象会議の各項目の判定値43に基づく得点を算出し、測定結果管理DB334に格納する(ステップS41)。
プロセッサー301は、結果出力処理部408として、測定結果管理DB334から対象会議の各項目の推定値42および判定値43、ならびに得点を検索し、検索結果に基づく情報をレポート60としてディスプレイに表示させる(ステップS42)。
プロセッサー301は、ユーザー操作に基づき、自己評価のフィードバックの要求があるか否かを判定する(ステップS43)。フィードバック要求があると判定されると(ステップS43でYES)、プロセッサー301は、フィードバック処理ルーチンR17を実行する。
フィードバック要求はないと判定されると(ステップS43でNO)、プロセッサー301は、ユーザー操作に基づき、対象会議と、過去に実施した当該会議との間での判定値43の比較が要求されているかを判定する(ステップS44)。当該比較の要求はされてないと判定されると(ステップS44でNO)、処理は終了するが、当該比較の要求がされていると判定されると(ステップS44でYES)、プロセッサー301は、会議の結果情報の比較ルーチンR18を実施し、その後、処理を終了する。
フィードバック要求はあると判定されると(ステップS43でYES)、プロセッサー301は、フィードバック処理ルーチンR17を実施し、その後、処理を終了する。
(d3-2.フィードバック処理ルーチン:R17)
図21は、図20のフィードバック処理ルーチンR17のフローチャートである。図21を参照して、プロセッサー301は、FB入力部403として、対象会議のレポート60のFB情報52をユーザーから受付けるために、図26のUI画面をディスプレイに表示させる(ステップS51)。プロセッサー301は、FB処理部405として当該UI画面に対するユーザー操作に基づくFB情報52を受付け(ステップS52)、プロセッサー301は、指標値変更部418として、判定指標値DB331の対象会議に対応の各項目にFB情報52が示す当該項目に対応の指標値を設定する(ステップS53)。
(d3-3.会議の結果情報の比較ルーチン:R18)
図22は、図20の会議の結果情報の比較ルーチンR18のフローチャートである。図22を参照して、プロセッサー301は、ユーザーに比較方法を選択させるためのUI画面をディスプレイに表示させる(ステップS55)。比較方法の選択肢は、0:記録されている結果で比較、1:現在の判定指標の値に再計算して比較、2:全て初回設定実施の判定指標の値で再計算して比較、3:すべてデフォルト値で比較、を含む。
プロセッサー301は、ユーザー操作に基づき選択された選択肢を判定する(ステップS56)。選択肢は0が選択されたと判定されると(ステップS56でYES)、プロセッサー301は、比較処理部406および比較結果出力部404として、図27の比較結果データ271の画面をディスプレイに表示させる(ステップS70)。
一方、選択肢は0以外が選択されたと判定されると(ステップS56でNO)、プロセッサー301は再計算処理ルーチンR19を実施する。その後、ステップS70において、再計算処理の結果に基づく比較結果データ271の画面をディスプレイに表示させる(ステップS70)。
(再計算処理ルーチン:R19)
図23は、図22の再計算処理ルーチンR19のフローチャートである。図23を参照して、プロセッサー301は、ユーザーにより選択された選択肢が1,2,3のいずれかを判定する(ステップS60とS63)。
選択肢は1であると判定されると(ステップS60でYES)、プロセッサー301は、再計算処理部407として、測定結果管理DB334から対象会議について、今回と過去に実施された全ての会議それぞれについて、各項目の推定値42を検索し、検索された各項目の推定値42と当該項目の現在の指標値に基づき判定値43を再計算し、再計算の結果に基づく比較結果データ271を出力する(ステップS61)。例えば、指標値変更部418を用いて、対象会議がアイデア発展会であって項目(5)の現在の指標値が3.5に変更されている場合、ステップS61で再計算された結果である比較結果データ271は、例えば図28のUI画面のように表示される。
選択肢は2であると判定されると(ステップS60でNO、およびステップS63でYES)、プロセッサー301は、再計算処理部407として、上記の全ての会議それぞれについて、各項目の推定値42と当該項目の初回の評価に用いた指標値に基づき判定値43を再計算し、再計算の結果に基づく比較結果データ271を出力する(ステップS64)。
選択肢は3であると判定されると(ステップS60でNO、およびステップS63でNO)、プロセッサー301は、再計算処理部407として、上記の全ての会議それぞれについて、各項目の推定値42と当該項目のデフォルトの指標値に基づき判定値43を再計算し、再計算の結果に基づく比較結果データ271を出力する(ステップS65)。
このように、再計算処理ルーチン:R19では、再計算処理部407が判定値43を新たな指標値を用いて導出する再判定部を構成する。より具体的には、再計算処理部407によって、図27に示すような、異なる時期に実施された複数の会議(この会議は、同一の目的であるアイデア発展会を有し、参加メンバーはほぼ同じ)のうち少なくとも1つについて、心理的状態計測部413によって推定された推定値42が示す可能性と予め定められた指標値とに基づき、当該会議中にメンバーが心理的安全を有する可能性を判定する。この予め定められた指標値は、指標値変更部418によって変更された変更後の指標値、またはデフォルトの指標値などを含む。
上記に述べた実施の形態はオンライン会議の適用に限定されず、例えば対面で実施する会議であってもよい。その場合、カメラ13およびマイク14は、室内に設けられてもよい。
<E.プログラム>
本実施の形態では、上記に述べた処理をプロセッサー301に実行させるためのプログラムが提供される。このようなプログラムは、少なくとも図14~図23のフローチャートに従う処理を実施するためのプログラムを含む。このようなプログラムは、情報処理装置300のコンピューターに付属する光学ディスク307A、フレキシブルディスク、CD-ROM(Compact Disk-Read Only Memory)、ROM、RAMおよびメモリカードなどのコンピューター読取り可能な記憶媒体に記録させて、プログラム製品として提供することもできる。あるいは、コンピューターに内蔵する記憶装置310にプログラムとして記録させて提供することもできる。また、ネットワーク100を介したダウンロードによって、プログラムを提供することもできる。プログラムは、プロセッサー301などの1つ以上のプロセッサーにより、またはプロセッサーとASIC,FPGAなどの回路との組合せにより実行され得る。
なお、プログラムは、コンピューターのOSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して、プロセッサーに処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずOSと協働して処理が実行される。このようなモジュールを含まないプログラムも、各実施の形態のプログラムに含まれ得る。
また、本実施の形態にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して、プロセッサーに処理を実行させる。このような他のプログラムに組込まれたプログラムも、本実施の形態にかかるプログラムに含まれ得る。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 会議システム、16A,305A 入力装置、200 端末、11,301 プロセッサー、12,302 主メモリー、13 カメラ、14 マイク、15,303 通信インターフェイス、16,305 入力インターフェイス、17,306 表示インターフェイス、17A,306A ディスプレイ、18 スピーカー、19,307 光学ドライブ、19A,307A 光学ディスク、20,310 記憶装置、22,320 プログラム、25,319 内部バス、402 画像処理部、42 推定値、43 判定値、50 音声データ、51 画像データ、52 FB情報、60 レポート、81 重点項目、91,92 検出、92a 調整値、100 ネットワーク、111 変更、241 指標値、242,252,262 登録ボタン、243,253,263 キャンセルボタン、244,264 カーソル、245 プルダウンメニュー、271 比較結果データ、277 ボタン、291 文節、292 種類、293 語気、294 影響値、300 情報処理装置、330 DB群、400 心理的状態評価部、401 音声処理部、403 FB入力部、404 比較結果出力部、405 FB処理部、406 比較処理部、407 再計算処理部、408 結果出力処理部、410 言語解析部、411 行動解析部、412 心理的状態推定部、413 心理的状態計測部、414 判定部、415 判定指標値設定部、416 重点項目設定部、417 属性登録部、418 指標値変更部、332 重点項目管理DB、333 メンバー属性DB、334 測定結果管理DB、R1,R2,R3,R14,R15,R16 ルーチン、R17 フィードバック処理ルーチン、R18 比較ルーチン、R19 再計算処理ルーチン。

Claims (20)

  1. 会議中のメンバーの心理的状態を判定する情報処理装置であって、
    マイクロフォンで前記会議中に収集された音声のうち前記メンバーの発言に対応する部分の音声から、特徴量を抽出するための音声処理部と、
    抽出された前記特徴量の入力を受けて、学習されたモデルに従い、当該メンバーが予め定められた心理的状態である可能性を推定する推定部と、
    前記推定部によって推定された可能性と前記会議の目的に応じた指標値とに基づき、前記会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定する判定部と、を備え、
    前記学習されたモデルは、発話の音声から抽出される特徴量を入力して、当該発話の人が前記予め定められた心理的状態である可能性を推定するために学習されたモデルであり、
    前記発言または前記発話の音声から抽出される特徴量は、前記音声が表す文を構成する各単語または各文節について、当該単語または当該文節の種類と語気とを含む、情報処理装置。
  2. 会議中のメンバーの心理的状態を判定する情報処理装置であって、
    マイクロフォンで前記会議中に収集された音声のうち前記メンバーの発言に対応する部分の音声から、特徴量を抽出するための音声処理部と、
    前記会議中にカメラで撮像して得られた前記メンバーの画像から、予め定められた行動を表す画像の特徴量を抽出する画像解析部と、
    前記音声処理部が抽出した前記特徴量と前記画像解析部が抽出した画像の特徴量との入力を受けて、学習されたモデルに従い、当該メンバーが予め定められた心理的状態である可能性を推定する推定部と、
    前記推定部によって推定された可能性と前記会議の目的に応じた指標値とに基づき、前記会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定する判定部と、を備え、
    前記学習されたモデルは、発話の音声から抽出される特徴量と当該発話の人の画像から抽出される前記予め定められた行動を表す画像の特徴量とを入力して、当該発話の人が前記予め定められた心理的状態である可能性を推定するために学習されたモデルであり、
    前記発言または前記発話の音声から抽出される特徴量は、前記音声が表す文を構成する各単語または各文節について、当該単語または当該文節の種類と語気とを含む、情報処理装置。
  3. 前記推定部は、前記特徴量の入力を受けて、前記学習されたモデルに従い、当該メンバーが前記予め定められた心理的状態である可能性を、複数の項目それぞれについて推定する、請求項1または2に記載に情報処理装置。
  4. 前記指標値を、前記複数の項目それぞれについて設定する、請求項3に記載の情報処理装置。
  5. 前記判定部は、前記複数の項目それぞれについて判定された前記可能性の大きさを数値に換算する、請求項3または4に記載の情報処理装置。
  6. 前記複数の項目のうちの前記会議の目的に応じた1つ以上の項目について、当該項目の前記換算された数値を加減算により調整する、請求項5に記載の情報処理装置。
  7. 前記判定部によって判定された前記可能性を出力する出力部と、
    前記情報処理装置に対するユーザー操作を受付ける入力インターフェイスと、
    前記指標値を変更する指標値変更部と、をさらに備え、
    前記指標値変更部は、前記入力インターフェイスが受付けた前記ユーザー操作に基づき、前記指標値を変更する、請求項1から6のいずれか1項に記載の情報処理装置。
  8. 前記指標値変更部は、複数のユーザーから前記ユーザー操作を受付けたとき、当該ユーザー操作に基づき前記指標値を変更する、請求項7に記載の情報処理装置。
  9. 前記指標値変更部は、さらに、変更ルールに従って前記指標値を変更し、
    前記変更ルールは、同一目的を有した複数の会議についての指標値に基づく変更のルールを含む、請求項7または8に記載の情報処理装置。
  10. 前記出力部は、
    異なる時期に実施された会議であって、前記メンバーが参加する同一目的を有した複数の会議のそれぞれについて、前記判定部によって判定された前記可能性を出力する、請求項7から9のいずれか1項に記載の情報処理装置。
  11. 前記複数の会議のうち少なくとも1つについて、前記推定部によって推定された可能性と予め定められた指標値とに基づき、当該会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定する再判定部を、さらに備える、請求項10に記載の情報処理装置。
  12. 前記予め定められた指標値は、前記指標値変更部によって変更された変更後の指標値を含む、請求項11に記載の情報処理装置。
  13. 前記予め定められた指標値は、デフォルト値を含む、請求項11に記載の情報処理装置。
  14. 前記会議組織の構成員が前記メンバーとして参加し、
    前記指標値変更部は、さらに、前記会議に参加する各メンバーの前記組織における地位と前記会議の目的とに基づき、予め定められたルールに従い前記会議の目的に応じた指標値を変更する、請求項7に記載の情報処理装置。
  15. 前記予め定められたルールは、前記会議に参加するメンバーに前記組織における予め定められた地位を有するものが予め定められた人数いるとのルールを含む、請求項14に記載の情報処理装置。
  16. 前記会議の目的は、会議に関して登録された情報から取得する、請求項1から15のいずれか1項に記載の情報処理装置。
  17. 前記会議の目的を、前記会議中に収集された音声を認識処理することにより取得する、請求項1から15のいずれか1項に記載の情報処理装置。
  18. 前記出力部は、前記判定部が前記可能性の判定に用いた前記指標値に関する情報を出力する、請求項7に記載の情報処理装置。
  19. 会議中のメンバーの心理的状態を判定する方法をコンピュータに実行させるためのプログラムであって、
    前記方法は、
    マイクロフォンで前記会議中に収集された音声のうち前記メンバーの発言に対応する部分の音声から特徴量を抽出するステップと、
    抽出された前記特徴量の入力を受けて、学習されたモデルに従い、当該メンバーが予め定められた心理的状態である可能性を推定するステップと、
    推定された前記可能性と前記会議の目的に応じた指標値とに基づき、前記会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定するステップと、を備え、
    前記学習されたモデルは、発話の音声から抽出される特徴量を入力して、当該発話の人が前記予め定められた心理的状態である可能性を推定するために学習されたモデルであり、
    前記発言または前記発話の音声から抽出される特徴量は、前記音声が表す文を構成する各単語または各文節について、当該単語または当該文節の種類と語気とを含む、プログラム。
  20. 会議中のメンバーの心理的状態を判定する方法をコンピュータに実行させるためのプログラムであって、
    前記方法は、
    マイクロフォンで前記会議中に収集された音声のうち前記メンバーの発言に対応する部分の音声から、特徴量を抽出するステップと、
    前記会議中にカメラで撮像して得られた前記メンバーの画像から、予め定められた行動を表す画像の特徴量を抽出するステップと、
    前記音声から抽出された前記特徴量と前記画像の特徴量との入力を受けて、学習されたモデルに従い、当該メンバーが予め定められた心理的状態である可能性を推定するステップと、
    推定された前記可能性と前記会議の目的に応じた指標値とに基づき、前記会議中に前記メンバーが前記予め定められた心理的状態である可能性を判定するステップと、を備え、
    前記学習されたモデルは、発話の音声から抽出される特徴量と当該発話の人の画像から抽出される前記予め定められた行動を表す画像の特徴量とを入力して、当該発話の人が前記予め定められた心理的状態である可能性を推定するために学習されたモデルであり、
    前記発言または前記発話の音声から抽出される特徴量は、前記音声が表す文を構成する各単語または各文節について、当該単語または当該文節の種類と語気とを含む、プログラム。
JP2021166197A 2021-10-08 2021-10-08 情報処理装置およびプログラム Active JP7786115B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021166197A JP7786115B2 (ja) 2021-10-08 2021-10-08 情報処理装置およびプログラム
US17/956,161 US20230116808A1 (en) 2021-10-08 2022-09-29 Information processing device and program
CN202211207966.3A CN115956910A (zh) 2021-10-08 2022-09-30 信息处理装置以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021166197A JP7786115B2 (ja) 2021-10-08 2021-10-08 情報処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2023056780A JP2023056780A (ja) 2023-04-20
JP7786115B2 true JP7786115B2 (ja) 2025-12-16

Family

ID=85797358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021166197A Active JP7786115B2 (ja) 2021-10-08 2021-10-08 情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US20230116808A1 (ja)
JP (1) JP7786115B2 (ja)
CN (1) CN115956910A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112518A (ja) 2002-09-19 2004-04-08 Takenaka Komuten Co Ltd 情報提供装置
US20210185276A1 (en) 2017-09-11 2021-06-17 Michael H. Peters Architecture for scalable video conference management
JP2021099670A (ja) 2019-12-23 2021-07-01 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085440A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP2006243980A (ja) * 2005-03-01 2006-09-14 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP4604173B2 (ja) * 2005-03-16 2010-12-22 学校法人東海大学 遠隔会議・教育システム
JP2012113589A (ja) * 2010-11-26 2012-06-14 Nec Corp 行動促進装置、行動促進方法およびプログラム
CN103430523B (zh) * 2011-03-08 2016-03-23 富士通株式会社 通话辅助装置和通话辅助方法
JP6730843B2 (ja) * 2016-05-06 2020-07-29 日本ユニシス株式会社 コミュニケーション支援システム
JP6841016B2 (ja) * 2016-11-21 2021-03-10 コニカミノルタ株式会社 会議システム、会議管理装置およびプログラム
JP7279494B2 (ja) * 2019-04-23 2023-05-23 コニカミノルタ株式会社 会議支援装置、および会議支援システム
JP7413055B2 (ja) * 2020-02-06 2024-01-15 本田技研工業株式会社 情報処理装置、車両、プログラム、及び情報処理方法
JP2021136547A (ja) * 2020-02-26 2021-09-13 沖電気工業株式会社 制御装置、制御方法、オペレーターの提示装置、オペレーターへの提示方法、ユーザーの提示装置、ユーザーへの提示方法、プログラム及び通信システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112518A (ja) 2002-09-19 2004-04-08 Takenaka Komuten Co Ltd 情報提供装置
US20210185276A1 (en) 2017-09-11 2021-06-17 Michael H. Peters Architecture for scalable video conference management
JP2021099670A (ja) 2019-12-23 2021-07-01 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
CN115956910A (zh) 2023-04-14
JP2023056780A (ja) 2023-04-20
US20230116808A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
CN115413348B (zh) 用于自动验证和量化面试问题回答的系统和方法
JP6263308B1 (ja) 認知症診断装置、認知症診断方法、及び認知症診断プログラム
CN115335902A (zh) 用于异步视频设置中的自动候选者评估的系统和方法
JP2020091735A (ja) プログラム、情報処理装置及び情報処理方法
JP7519138B1 (ja) 情報提供装置
McNaney et al. Speeching: Mobile crowdsourced speech assessment to support self-monitoring and management for people with Parkinson's
JP2020091736A (ja) プログラム、情報処理装置及び情報処理方法
JP2020091824A (ja) プログラム、情報処理装置及び情報処理方法
JP2023097789A (ja) ビデオ会議分析システムおよびビデオ会議分析プログラム
KR102075506B1 (ko) 화상 기반의 전문가 매칭 플랫폼 제공 시스템
JP7786115B2 (ja) 情報処理装置およびプログラム
JP7290977B2 (ja) プログラム及び情報処理装置
Toulme et al. Marcus: A Chatbot for Depression Screening Based on the PHQ-9 Assessment
JP7307576B2 (ja) プログラム及び情報処理装置
JP2023055296A (ja) 相性評価システム、方法およびプログラム
WO2021014458A1 (en) Systems and methods for automated visual perceptual assessment
Dacey et al. Perceptions around vocal health among group fitness instructors and pilot use of group fitness instructor–Specific Voice Handicap Questionnaire
KR102952781B1 (ko) 인공지능 기반의 감정 안정 제어 상담 서비스를 제공하는 방법 및 장치
JP7659354B1 (ja) プロフィール情報収集システム、プロフィール情報収集方法、及びプログラム
JP7567921B2 (ja) 人物評価情報生成方法
JP2026070109A (ja) システム
JP2024123827A (ja) 評価装置、評価方法及び評価プログラム
JP2024135583A (ja) 上下関係推定支援装置、上下関係推定支援方法、プログラム及び記録媒体
JP2026023397A (ja) システム
JP2023145358A (ja) 建物計画支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251117

R150 Certificate of patent or registration of utility model

Ref document number: 7786115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150