Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7656907B2 - 情報処理装置及びプログラム - Google Patents
[go: Go Back, main page]

JP7656907B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7656907B2
JP7656907B2 JP2021088519A JP2021088519A JP7656907B2 JP 7656907 B2 JP7656907 B2 JP 7656907B2 JP 2021088519 A JP2021088519 A JP 2021088519A JP 2021088519 A JP2021088519 A JP 2021088519A JP 7656907 B2 JP7656907 B2 JP 7656907B2
Authority
JP
Japan
Prior art keywords
processing device
information processing
information
selector
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021088519A
Other languages
English (en)
Other versions
JP2022181525A (ja
JP2022181525A5 (ja
Inventor
廣雅 吉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2021088519A priority Critical patent/JP7656907B2/ja
Priority to US17/824,007 priority patent/US20220383855A1/en
Publication of JP2022181525A publication Critical patent/JP2022181525A/ja
Publication of JP2022181525A5 publication Critical patent/JP2022181525A5/ja
Application granted granted Critical
Publication of JP7656907B2 publication Critical patent/JP7656907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
会話における発話を分類する技術が提案されている(例えば、特許文献1を参照)。
特開2020-144906号公報
ところで、発話の分類については、分類された結果を必要とするのではなく、人に発話の分類のための学習等を行わせたいといった需要もある。例えば、親子相互交流療法(Parent Child Interaction Therapy:以下、PCITと略称する)のトレーナーやセラピストを養成する際に、発話を分類する訓練等が必要となる。
本発明では上記事情を鑑み、人による発話の分類の学習や分類結果の確認等を行うことのできる情報処理装置及びプログラムを提供することとした。
本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、表示情報生成部と、選択情報生成部とを備える。表示情報生成部は、選択肢のそれぞれに対応付けた複数のオブジェクトを表示する第1の表示情報を生成する。選択肢は、会話情報に応じて定められた発話の種類に対応する。選択情報生成部は、オブジェクトのいずれかが選択される毎に、該選択されたオブジェクトに対応する選択肢と、該選択された時刻とを対応付けた選択情報を生成する。
本発明の一態様によれば、発話の分類の学習等を容易に行うことが可能となる。
本発明の実施形態に係るシステムの構成例を示した図である。 情報処理装置1の構成を示した図である。 情報処理装置1の機能的な構成を示すブロック図である。 画面の表示例を示した図である。 第1の領域の表示例を示した図である。 第2の表示領域の表示例を示した図である。 2人の選択者による分類結果を示したものである。 3人の選択者による分類結果を示したものである。 分類結果の対応例を示した図である。 情報処理装置1の動作の流れを示すアクティビティ図である。 情報処理装置1の動作の流れを示すアクティビティ図である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体(Non-Transitory Computer-Readable Medium)として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
1.全体構成
図1は、本発明の実施形態に係るシステムの構成例を示した図である。同図に示すシステムは、情報処理装置1と、情報処理装置2と、情報処理装置3とが、ネットワーク4を介して通信可能に接続されている。
情報処理装置1は、サーバとして機能するもので、情報処理装置2で表示する表示情報の生成や、情報処理装置2での操作内容の受け付けを行う。また、情報処理装置1は、情報処理装置3に対して、会話情報の提供や選択情報の取得を行うこともできる。
情報処理装置2は、選択者、例えば、学習を行う学習者が利用するもので、クライアントとして機能するものである。この情報処理装置2は、動作に際して、情報処理装置1と通信可能な状態である必要がある。
情報処理装置3は、選択者が利用するもので、情報処理装置1と通信を行うことなく、利用することが可能なものである。ただし、選択者による利用の前後で、情報処理装置1と通信可能であることが望ましい。
ネットワーク4は、情報処理装置1と、情報処理装置2と、情報処理装置3とを通信可能にするネットワークであり、例えば、インターネットを含むものである。
2.情報処理装置の構成
次に、情報処理装置1の構成について説明する。図2は、情報処理装置1の構成を示した図である。同図に示すように、情報処理装置1は、処理部11と、記憶部12と、一時記憶部13と、外部装置接続部14と、通信部15とを有しており、これらの構成要素が情報処理装置1の内部において通信バス16を介して電気的に接続されている。
処理部11は、例えば、中央処理装置(Central Processing Unit:CPU)により実現されるもので、記憶部12に記憶された所定のプログラムに従って動作し、種々の機能を実現する。
記憶部12は、様々な情報を記憶する不揮発性の記憶媒体である。これは、例えばハードディスクドライブ(Hard Disk Drive:HDD)やソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスにより実現される。なお、記憶部12は、情報処理装置1と通信可能な別の装置に配するようにすることも可能である。
一時記憶部13は、揮発性の記憶媒体である。これは、例えばランダムアクセスメモリ(Random Access Memory:RAM)等のメモリにより実現され、処理部11が動作する際に一時的に必要な情報(引数、配列等)を記憶する。
外部装置接続部14は、例えばユニバーサルシリアルバス(Universal Serial Bus:USB)や高精細度マルチメディアインターフェース(High-Definition Multimedia Interface:HDMI)といった規格に準じた接続部であり、キーボード等の入力装置やモニタ等の表示装置を接続可能としている。
通信部15は、例えばローカルエリアネットワーク(Local Area Network:LAN)規格に準じた通信手段であり、情報処理装置1とローカルエリアネットワークやこれを介したインターネット等のネットワーク4との間の通信を実現する。
なお、情報処理装置1には、汎用のサーバ向けのコンピュータやパーソナルコンピュータ等を利用することが可能であり、複数のコンピュータを用いて情報処理装置1を構成することも可能である。
また、情報処理装置2と情報処理装置3の構成は、情報処理装置1の構成と同様であるため、説明は省略する。
3.情報処理装置1の機能
次に、情報処理装置1の機能について説明する。情報処理装置1は、発話の分類の学習を行う者を支援する処理を行うもので、プログラムにしたがって動作することで、後述する各機能部を実現する。このプログラムは、コンピュータを情報処理装置として動作又は機能させるプログラムである。
図3は、情報処理装置1の機能的な構成を示すブロック図である。同図に示すように、情報処理装置1は、表示情報生成部101と、選択情報生成部102と、記憶部103と、判定部104と、再生部105と、記録部106とを備える。
表示情報生成部101は、選択肢のそれぞれに対応付けた複数のオブジェクトを表示する第1の表示情報を生成する。第1の表示情報は、情報処理装置2の画面に表示を行わせる情報であり、オブジェクトは、例えば、選択ボタンである。選択肢は、会話情報に応じて定められた発話の種類に対応するもので、PCITの場合、中立的会話(TA)、行動の説明(BD)、繰り返し(RF)、具体的賞賛(LP)、一般的賞賛(UP)、質問(QU)、命令(CM)、否定的会話(NTA)の8種類となる。なお、第1の表示情報による画面の表示例については、後述する。また、情報処理装置3も、表示情報生成部101に相当する機能部を有するが、この機能部は、情報処理装置3の画面に表示を行わせる情報として第1の表示情報を生成する。
また、表示情報生成部101は、後述する選択情報に基づいて、選択肢を表すシンボルを該選択肢に対応する時刻に応じて配置した第2の表示情報を生成する。第2の表示情報は、情報処理装置2の画面に表示を行わせる情報であり、シンボルは、文字と、文字列と、記号と、アイコンとのいずれかである。このシンボルは、時間軸上に配置される。また、情報処理装置3も、情報処理装置3の画面に表示を行わせる情報として第2の表示情報を生成する。
選択情報生成部102は、オブジェクトのいずれかが選択される毎に、該選択されたオブジェクトに対応する選択肢と、該選択された時刻とを対応付けた選択情報を生成する。具体的には、情報処理装置2を操作する選択者(学習者)が、会話を聞きながら、その会話中の発話に応じた選択ボタンを押下すると、その旨が情報処理装置1に通知され、選択情報生成部102は、通知された選択肢の内容と、その選択ボタンが押下された時刻とを対応付けた選択情報を生成する。会話は、PCITの場合には、親子の会話である。また、情報処理装置3の場合は、情報処理装置3に対する選択ボタンの選択操作に応じて、選択情報を生成する。
また、選択情報生成部102は、生成する選択情報に、オブジェクトを選択した選択者(学習者)の情報を含むようにしてもよい。選択情報に、選択者の情報が含まれる場合には、表示情報生成部101が生成する第2の表示情報は、シンボルを、第1の選択者の選択により生成された選択情報に対応する第1のシンボルと、第2の選択者の選択により生成された選択情報に対応する第2のシンボルとを識別可能に構成することができる。
記憶部103は、選択情報生成部102が生成した選択情報を記憶する。また、記憶部103は、後述する再生部105が再生する会話情報、後述する記録部106が記録した会話情報も記憶する。なお、記憶部103は、プログラムにより、選択情報及び会話情報を記憶させる動作又は記憶させた選択情報及び会話情報を読み出す動作を行うものとして機能するものであり、選択情報及び会話情報の記憶自体は、記憶部12が行う。
判定部104は、第1の選択者の選択により生成された選択情報と、第2の選択者の選択により生成された選択情報との対応を判定可能に構成される。対応の判定は、例えば、第1の選択者が選択した選択肢と第2の選択者が選択した選択肢が一致し、かつ、両者の選択した時刻が一致した場合には、両者が対応したものと判定する。ただし、時刻については、所定の誤差を認めるようにしてもよい。一方で、両者の選択肢の内容が不一致の場合、一方のみが選択を行っている場合等は、両者が対応していないものと判定する。
また、判定部104が判定を行った場合には、表示情報生成部101は、第1のシンボルと、第2のシンボルとの対応の表示を含む第2の表示情報を生成する。例えば、第2の表示情報は、第1の選択者の選択により生成された選択情報と、第2の選択者の選択により生成された選択情報とが対応しない第1のシンボルと第2のシンボルとを表示し、第1の選択者の選択により生成された選択情報と、第2の選択者の選択により生成された選択情報とが対応する場合は、第1のシンボルと第2のシンボルとを非表示とする。
再生部105は、会話情報を再生可能に構成される。会話情報は、被験者の会話を録音した音声を含む。被験者の会話とは、例えば、親子の会話である。再生部105が会話情報を再生する場合、選択情報生成部102は、時刻を会話情報に対応させる。例えば、会話情報の再生開始時刻を基準として、時刻を選択情報に含めるようにする。
また、会話情報は、被験者を録画した動画を含むようにしてもよい。この場合、動画は、第3の表示情報として、情報処理装置2又は情報処理装置3の画面に表示される。
記録部106は、会話情報を記録可能に構成される。記録部106は、必ずしも必要なものではなく、会話情報を作成する場合や、被験者を目前にして情報処理装置3の操作を行う場合等に利用する。
4.画面表示の例
次に、情報処理装置2又は情報処理装置3の画面表示の例について説明する。図4は、画面の表示例を示した図である。同図に示すように、情報処理装置2又は情報処理装置3で表示される画面200には、第1の表示領域201と、第2の表示領域202と、第3の表示領域203とを有する。第1の表示領域201は、表示情報生成部101が生成した第1の表示情報に基づく表示が行われる領域であり、第2の表示領域202は、表示情報生成部101が生成した第2の表示情報に基づく表示が行われる領域である。第3の表示領域203は、再生部105が動画の再生を行う場合に、第3の表示情報に基づく表示が行われる領域である。
第1の表示領域201には、図5に示すように複数のオブジェクトが表示される。図5は、第1の領域の表示例を示した図である。同図に示すように、第1の表示領域201には、オブジェクトとして、ボタン211、ボタン212、ボタン213、ボタン214、ボタン215、ボタン216、ボタン217、ボタン218が表示される。なお、ここに示した例は、PCITのトレーナーやセラピストを養成する際の学習に用いる場合であり、それぞれのボタンが、中立的会話(TA)、行動の説明(BD)、繰り返し(RF)、具体的賞賛(LP)、一般的賞賛(UP)、質問(QU)、命令(CM)、否定的会話(NTA)の選択肢に割り当てられている。これらの選択肢は、中立的会話(TA)を第1のグループとし、行動の説明(BD)、繰り返し(RF)、具体的賞賛(LP)、一般的賞賛(UP)を第2のグループ、質問(QU)、命令(CM)、否定的会話(NTA)を第3のグループと分類することができるため、ボタン211を第1の色で表示し、ボタン212、ボタン213、ボタン214、ボタン215を第2の色で表示し、ボタン216、ボタン217、ボタン218を第3の色で表示している。
これらのボタン211、ボタン212、ボタン213、ボタン214、ボタン215、ボタン216、ボタン217、ボタン218は、選択者(学習者又は指導者)が、被験者である親子の会話を聞きながら、親側の発話が生じた際に、その発話を8種類のいずれかに分類し、その分類結果に応じたボタンを押下するように用いられる。
第2の表示領域202には、図6に示すような表示が行われる。図6は、第2の表示領域の表示例を示した図である。同図に示した例では、時間軸上に、シンボル221が表示される。このシンボル221は、選択者(学習者又は指導者)が、第1の表示領域201に表示されたボタンを押下した際に生成される選択情報に基づいて表示される。図6で示した例では、14秒、27秒、29秒に、ボタン212が押下されたことを示している。また、第2の表示領域202への表示は、横方向、つまり、時間軸に沿った方向にスクロールすることが可能である。なお、図6に示した例は、選択者が発話の分類を行っている最中、または、選択者が自身の分類結果のみを確認する際に表示されるものである。
また、選択者が発話の分類結果を、他者による分類結果と比較することもでき、その場合には、第2の表示領域202には、図7又は図8に示すような表示が行われる。図7は、2人の選択者による分類結果を示したものであり、図8は、3人の選択者による分類結果を示したものである。同図に示した例では、識別情報「S01」が付与された選択者(学習者)の分類結果がシンボル222で、識別情報「T」が付与された選択者(指導者)の分類結果がシンボル223で、識別情報「S02」が付与された選択者(学習者)の分類結果がシンボル224で表されている。
ところで、複数の選択者による分類結果を表示する場合には、一致する分類結果のみ、一致しない分類結果のみ等を表示させることができる。分類結果の一致と不一致を判定するためには、両者の対応を特定する必要がある。両者の対応は、例えば、図9に示すように特定することができる。図9は、分類結果の対応例を示した図である。同図の時刻aに示した分類結果は、選択内容と選択時刻がともに一致する。つまり両者は一致している。同図の時刻bに示した分類結果は、識別情報「S01」の選択者が分類を行っているものの、識別情報「T」の選択者が分類を行っていないため、両者は、不一致である。同図の時刻cに示した分類結果は、選択時刻が一致するものの、選択内容が異なっているため、両者は不一致である。同図の時刻dに示した分類結果も、同様に不一致である。同図の時刻eに示した分類結果は、時刻bの場合と同様に不一致である。同図の時刻fと時刻f’の分類結果は、選択時刻に相違があるものの、その相違が許容範囲内であり、選択内容が一致しているため、両者は一致しているものとして特定される。同図の時刻bに示した分類結果は、識別情報「T」の選択者が分類を行っているものの、識別情報「S01」の選択者が分類を行っていないため、両者は、不一致である。
この分類結果の対応の特定は、両者の距離に基づいて行うことができ、例えば、動的時間伸縮法(Dynamic Time Warping:DTW)を用いて行うことができる。もちろん、他の方法、例えば、スペルチェックを行う場合等に利用する単語間の距離を算出するアルゴリズムを利用することも可能である。
第3の表示領域203には、再生部105が動作した場合に、表示が行われる。動画が再生される場合には、動画と、その再生位置を示すシークバー、再生ボタン、一時停止ボタン、10秒戻すボタン、10秒進めるボタン等の、動画の再生を操作するためのオブジェクトが表示される。また、音声のみが再生される場合には、同様のオブジェクトのみが表示される。
5.情報処理装置1の動作
次に、情報処理装置1の動作について説明する。図10及び図11は、情報処理装置1の動作の流れを示すアクティビティ図である。
まず、発話の分類時の情報処理装置1の動作について説明する。情報処理装置1は、動作を開始すると、会話情報の再生を行う場合には、再生部105が会話情報の再生を開始し(A101)、被験者の目前で発話の分類を行う場合には、記録部106が会話情報の記録を開始する(A102)。そして、会話が継続している間、選択者による発話の分類の選択が行われる毎に、選択情報生成部102が選択情報を生成する(A103)。そして、会話が終了すると、再生部105による会話情報の再生又は記録部106による会話情報の記録を停止し(A104)、選択情報生成部102が生成した選択情報をファイルとして保存し(A105)、処理を終了する。ファイルとして保存した選択情報は、会話情報と関連付けられ、又は、1つのファイルとして保存される。
続いて、発話の分類の確認時の情報処理装置1の動作について説明する。情報処理装置1は、動作を開始すると、まず、判定部104が、分類結果の対応の判定を行い(A201)、その結果に基づいて、表示情報生成部101が、第2の表示情報を生成する(A202)。なお、分類結果の対応の判定は、省略することもできる。
なお、ここで説明した動作の流れは、一例である。
5.その他
ここでは、PCITに準じた学習を行う場合を説明したが、情報処理装置1及び情報処理装置3は、他の用途、例えば、商談や会議の研究や反省等に用いることも可能である。
本発明は、次に記載の各態様で提供されてもよい。
前記情報処理装置において、前記表示情報生成部は、前記選択情報に基づいて、前記選択肢を表すシンボルを該選択肢に対応する時刻に応じて配置した第2の表示情報を生成する情報処理装置。
前記情報処理装置において、前記シンボルは、文字と、文字列と、記号と、アイコンとのいずれかであり、前記第2の表示情報は、時間軸上に前記シンボルが配置されている情報処理装置。
前記情報処理装置において、前記選択情報は、前記オブジェクトを選択した選択者の情報を含み、前記第2の表示情報は、前記シンボルを、第1の選択者の選択により生成された選択情報に対応する第1のシンボルと、第2の選択者の選択により生成された選択情報に対応する第2のシンボルとを識別可能に構成される情報処理装置。
前記情報処理装置において、判定部を備え、前記判定部は、前記第1の選択者の選択により生成された選択情報と、前記第2の選択者の選択により生成された選択情報との対応を判定可能に構成され、前記第2の表示情報は、前記第1のシンボルと、前記第2のシンボルとの対応の表示を含む情報処理装置。
前記情報処理装置において、前記第2の表示情報は、前記第1の選択者の選択により生成された選択情報と、前記第2の選択者の選択により生成された選択情報とが対応しない前記第1のシンボルと前記第2のシンボルとを表示する情報処理装置。
前記情報処理装置において、再生部を備え、前記再生部は、前記会話情報を再生可能に構成され、前記会話情報は、被験者の会話を録音した音声を含み、前記時刻は、前記会話情報に対応する情報処理装置。
前記情報処理装置において、前記会話情報は、被験者を録画した動画を含む情報処理装置。
前記情報処理装置において、記録部を備え、前記記録部は、前記会話情報を記録可能に構成される情報処理装置。
コンピュータを情報処理装置として動作させるプログラムであって、コンピュータを前記情報処理装置として機能させるプログラム。
もちろん、この限りではない。
1 :情報処理装置
2 :情報処理装置
3 :情報処理装置
4 :ネットワーク
11 :処理部
12 :記憶部
13 :一時記憶部
14 :外部装置接続部
15 :通信部
16 :通信バス
101 :表示情報生成部
102 :選択情報生成部
103 :記憶部
104 :判定部
105 :再生部
106 :記録部
200 :画面
201 :第1の表示領域
202 :第2の表示領域
203 :第3の表示領域
211 :ボタン
212 :ボタン
213 :ボタン
214 :ボタン
215 :ボタン
216 :ボタン
217 :ボタン
218 :ボタン
221 :シンボル
222 :シンボル
223 :シンボル
224 :シンボル

Claims (8)

  1. 情報処理装置であって、
    第1表示部と、第2表示部とを備え、
    前記第1表示部は、複数の発話の種類のそれぞれに対応付けた複数のオブジェクトを表示するための第1の表示情報を生成し
    前記第2表示部は、前記複数の発話の種類のそれぞれに割り当てられた複数のレーンを並べた表示領域に、前記オブジェクトのいずれかが選択される毎に、該選択されたオブジェクトに対応する発話の種類に割り当てられたレーンにシンボル画像を表示するための第2の表示情報を生成し、
    前記レーンは、延伸方向の位置が時刻を表し、
    前記シンボル画像の表示位置は、前記オブジェクトが選択された時刻に対応する位置である、
    情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記第2表示部は、第1の選択者により選択された発話の種類を示す第1のシンボル画像と、第2の選択者により選択された発話の種類を示す第2のシンボル画像とを表示させ、前記第1の選択者及び前記第2の選択者の選択内容が一致し、かつ、選択時刻の相違が許容範囲内である場合、前記第1の選択者及び前記第2の選択者の選択結果が一致していることを示す態様で前記第1のシンボル画像及び前記第2のシンボル画像を表示させる、
    情報処理装置。
  3. 請求項2に記載の情報処理装置において、
    前記第2表示部は、前記第1の選択者及び前記第2の選択者の選択内容が一致せず、又は、選択時刻の相違が許容範囲外である場合、前記第1の選択者及び前記第2の選択者の選択結果が一致していないことを示す態様で前記第1のシンボル画像及び前記第2のシンボル画像を表示させる、
    情報処理装置。
  4. 請求項1乃至請求項3のいずれか1項に記載の情報処理装置において、
    前記シンボル画像は、文字と、文字列と、記号と、アイコンとのいずれかである、
    情報処理装置。
  5. 請求項1乃至請求項のいずれか1項に記載の情報処理装置において、
    再生部を備え、
    前記再生部は、会話情報を再生可能に構成され、
    前記会話情報は、被験者の会話を録音した音声を含み、
    前記時刻は、前記会話情報に対応する
    情報処理装置。
  6. 請求項に記載の情報処理装置において、
    前記会話情報は、被験者を録画した動画を含む
    情報処理装置。
  7. 請求項1乃至請求項のいずれか1項に記載の情報処理装置において、
    記録部を備え、
    前記記録部は、会話情報を記録可能に構成される
    情報処理装置。
  8. コンピュータを情報処理装置として動作させるプログラムであって、
    コンピュータを請求項1乃至請求項のいずれか1項に記載の情報処理装置として機能
    させる
    プログラム。
JP2021088519A 2021-05-26 2021-05-26 情報処理装置及びプログラム Active JP7656907B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021088519A JP7656907B2 (ja) 2021-05-26 2021-05-26 情報処理装置及びプログラム
US17/824,007 US20220383855A1 (en) 2021-05-26 2022-05-25 Information Processing Apparatus And Non-Transitory Computer Readable Media Storing Program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021088519A JP7656907B2 (ja) 2021-05-26 2021-05-26 情報処理装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2022181525A JP2022181525A (ja) 2022-12-08
JP2022181525A5 JP2022181525A5 (ja) 2024-02-22
JP7656907B2 true JP7656907B2 (ja) 2025-04-04

Family

ID=84193298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021088519A Active JP7656907B2 (ja) 2021-05-26 2021-05-26 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20220383855A1 (ja)
JP (1) JP7656907B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7663091B2 (ja) * 2022-11-14 2025-04-16 株式会社三洋物産 遊技機
JP7663093B2 (ja) * 2022-11-14 2025-04-16 株式会社三洋物産 遊技機
JP7663092B2 (ja) * 2022-11-14 2025-04-16 株式会社三洋物産 遊技機
JP7663094B2 (ja) * 2022-11-14 2025-04-16 株式会社三洋物産 遊技機

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243131A (ja) 2011-05-20 2012-12-10 Nec Corp コミュニケーション支援装置、コミュニケーション支援方法およびプログラム
JP2015022156A (ja) 2013-07-19 2015-02-02 日立Geニュークリア・エナジー株式会社 運転訓練再生装置
JP2015108997A (ja) 2013-12-05 2015-06-11 株式会社日立システムズ 顧客対応レコメンドシステム、レコメンド情報提供方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304126B2 (en) * 2008-04-30 2019-05-28 Beyondvia Technologies Visual communication systems and methods designing and building entire experiences
US8391455B2 (en) * 2010-03-17 2013-03-05 Avaya Inc. Method and system for live collaborative tagging of audio conferences
US8849879B2 (en) * 2010-07-30 2014-09-30 Avaya Inc. System and method for aggregating and presenting tags
US20130246063A1 (en) * 2011-04-07 2013-09-19 Google Inc. System and Methods for Providing Animated Video Content with a Spoken Language Segment
US8671123B2 (en) * 2012-02-01 2014-03-11 Microsoft Corporation Contextual icon-oriented search tool
US11019001B1 (en) * 2017-02-20 2021-05-25 Snap Inc. Selective presentation of group messages
US20190087391A1 (en) * 2017-09-18 2019-03-21 Microsoft Technology Licensing, Llc Human-machine interface for collaborative summarization of group conversations
GB2595586B (en) * 2018-11-02 2023-08-02 Cser Ventures Llc System for generating an output file
US11765324B1 (en) * 2019-04-17 2023-09-19 Kuna Systems Corporation Security light-cam with cloud-based video management system
US11145333B2 (en) * 2019-11-08 2021-10-12 Adobe Inc. Tool capture and presentation system
US11323278B1 (en) * 2020-11-05 2022-05-03 Audiocodes Ltd. Device, system, and method of generating and utilizing visual representations for audio meetings

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243131A (ja) 2011-05-20 2012-12-10 Nec Corp コミュニケーション支援装置、コミュニケーション支援方法およびプログラム
JP2015022156A (ja) 2013-07-19 2015-02-02 日立Geニュークリア・エナジー株式会社 運転訓練再生装置
JP2015108997A (ja) 2013-12-05 2015-06-11 株式会社日立システムズ 顧客対応レコメンドシステム、レコメンド情報提供方法、およびプログラム

Also Published As

Publication number Publication date
JP2022181525A (ja) 2022-12-08
US20220383855A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
JP7656907B2 (ja) 情報処理装置及びプログラム
US11463611B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
US10896624B2 (en) System and methods for transforming language into interactive elements
US11574558B2 (en) Game-based method for developing foreign language vocabulary learning application
JP7135372B2 (ja) 学習支援装置、学習支援方法およびプログラム
CN115963963A (zh) 互动小说生成方法、呈现方法、装置、设备及介质
KR102320579B1 (ko) 반복 학습을 통한 수학 강의 콘텐츠 제공 방법 및 이를 위한 장치
JP6466391B2 (ja) 言語学習装置
CN110459079A (zh) 基于语音词汇的文字生词拼写训练方法
JP6641680B2 (ja) 音声出力装置、音声出力プログラムおよび音声出力方法
US20240203282A1 (en) Cognitive function testing device and storage medium
JP7338737B2 (ja) 電子機器、その制御方法、および、プログラム
KR20090097484A (ko) 다중 표현 문장이미지를 이용한 언어 학습 시스템 및방법과, 이를 위한 기록매체와 언어 학습 교재
JP6225236B1 (ja) 情報処理装置、プログラムおよび情報処理方法
Miranda et al. Analysis of Luria memory tests for development on mobile devices
JP6413216B2 (ja) 電子機器、音声出力録音方法及びプログラム
JP2011075837A (ja) 学習支援システム
JP2022068990A (ja) 情報処理装置、出力内容決定方法および出力内容決定プログラム
JP6953597B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2019097670A (ja) パズルゲーム装置、パズルゲーム方法及びそのプログラム
JP7820869B1 (ja) プログラム、方法、装置及びシステム
KR102215546B1 (ko) 반복 학습과 복수 항목 동시 노출을 이용한 외국어 학습 장치
US20250131661A1 (en) Method and system for rendering modified scene in an immersive environment
CN112541651B (zh) 电子设备、发音学习方法、服务器装置、发音学习处理系统及记录介质
WO2020113830A1 (zh) 一种辅助外语学习的方法以及可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250317

R150 Certificate of patent or registration of utility model

Ref document number: 7656907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150