JP6417104B2 - テキスト編集装置、テキスト編集方法、及びプログラム - Google Patents

Description

本発明は、テキスト編集装置、テキスト編集方法、及びプログラムに関する。

マイクロフォンにより入力された音声からテキスト情報を生成する、いわゆる文字起こしと呼ばれる技術が普及している。音声からテキスト情報を生成する際に、話者の意図しないテキストが生成されることがある。

特許文献１には、「テキストに含まれる誤り単語を、誤り補正部によって補正するテキスト補正装置であって、前記誤り補正部は、前記テキストと、別の単語の集合からなる語彙集合とを、それらに含まれる単語の出現頻度で比較して、前記テキストおよび語彙集合から特徴語の集合を抽出する特徴語抽出部を有し、前記テキストに含まれる単語と、前記特徴語の集合に含まれる単語との類似度を算出し、前記テキストに含まれる単語に類似すると判定した、前記特徴語の集合に含まれる単語を、前記テキストに含まれる単語に対する補正候補の単語として出力することを特徴とする」テキスト補正装置が開示されている。

特開２０１２−１８２０１号公報

従来技術では、操作者は音声データを再生しながら、テキスト化された文字列を視認して、誤りを発見する。音声データの一部分について再確認する必要が生じた場合には、音声データ再生用ソフトに表示されたゲージ上を、該当部分であると見当をつけて指定する。この指定は正確とは言い難く、該当部分の音声を探し出すのに効率的でない。

また、誤りを修正する場合には、該当部分のテキストを選択し、キーボードを用いて正しいテキストを入力する処理が必要となる。修正の際には、操作者が修正作業をより効率的に行うことのできる技術が望まれる。

特許文献１に開示された技術では、音声データ確認に基づいた操作者の修正作業が考慮されていない。

本発明は、上記の点に鑑みてなされたものであって、音声データから生成されたテキスト情報に対する処理を効率的に行うことのできる技術の提供を目的とする。

本願は、上記課題を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。

上記課題を解決するため、本発明に係るテキスト編集装置は、音声情報と、該音声情報を用いて生成されたテキスト情報と、コマンドの種別に対してコマンド候補が関連付けられたコマンド情報とを記憶する記憶部と、前記音声情報を再生する音声情報再生部と、前記音声情報の再生と同期させた前記テキスト情報をテキスト表示画面に表示する表示部と、 音声の入力を受け付ける音声入力受付部と、前記音声入力受付部が入力を受け付けた前記音声に含まれるコマンドを取得するコマンド取得部と、を備え、前記表示部は、音声情報の再生に関する現在の状態を特定して前記コマンドの種別を選択し、前記コマンド情報において前記種別と関連する前記コマンド候補の一覧を表示するコマンド表示領域を前記テキスト表示画面に表示させ、前記コマンド候補に含まれる１つの前記コマンドを前記コマンド取得部が取得すると、該コマンドに応じて前記テキスト情報の表示を前記コマンドの入力前と異ならせることを特徴とする。

また、上記課題を解決するため、前記テキスト編集装置は、前記テキスト情報の少なくとも一部である注目部分を選択する注目部分選択部を備え、前記注目部分選択部は、前記コマンド取得部が前記音声情報の再生を中断する前記コマンドを取得すると、前記コマンド取得部が該コマンドを取得したタイミングを用いて、前記注目部分を選択することを特徴としてもよい。

また、上記課題を解決するため、本発明に係る前記表示部は、前記音声情報の再生が停止又は中断されている状態を特定すると、該状態に応じた前記種別と関連する前記コマンド候補の一覧を前記コマンド表示領域に表示させ、前記注目部分選択部は、前記コマンド取得部が、前記コマンド候補の一覧に含まれる、前記注目部分の位置を変更するコマンドを取得すると、該コマンドに応じて前記注目部分の位置を変更させることを特徴としてもよい。

また、上記課題を解決するため、本発明に係る前記表示部は、再生された前記音声情報に対応する前記テキスト情報の表示を他のテキスト情報の表示と異ならせると共に、前記注目部分を強調して表示し、前記コマンド表示領域には、前記音声情報の再生を中断した箇所から前記音声情報の再生を再開する第１の音声再生コマンド及び前記注目部分から前記音声情報の再生を再開する第２の音声再生コマンドが前記コマンド候補に含まれて表示され、前記コマンド取得部は、前記第１の音声再生コマンドか、又は前記第２の音声再生コマンドか、を前記音声情報の再生を中断している間に取得し、前記音声情報再生部は、前記第１の音声再生コマンドか、又は前記第２の音声再生コマンドか、に基づいて前記音声情報の再生を再開することを特徴としてもよい。

また、上記課題を解決するため、本発明に係る前記コマンド取得部は、前記注目部分の位置を変更するコマンドを取得し、前記音声入力受付部は、前記注目部分の変更後の位置にある文字列に対応する前記音声の入力を受け付け、前記注目部分選択部は、前記文字列により特定される前記テキスト情報を前記注目部分として特定することを特徴としてもよい。

また、上記課題を解決するため、本発明に係る前記注目部分選択部は、前記注目部分の再選択を示す前記コマンドを前記コマンド取得部が取得すると、前記音声入力受付部が入力を受け付けた前記文字列を用いて再生済の前記テキスト情報を前記コマンド取得前の前記注目部分に近い順に検索し、前記再生済の前記テキスト情報に前記文字列がない場合に未再生の前記テキスト情報を前記コマンド取得前の前記注目部分に近い順に検索し、前記文字列に相当する文字を新たな前記注目部分として特定することを特徴としてもよい。
また、上記課題を解決するため、本発明に係る前記コマンド取得部は、前記注目部分を置換するコマンドを取得し、前記音声入力受付部は、前記注目部分の置換後の文字列に対応する前記音声の入力を受け付け、前記表示部は、前記注目部分を前記文字列に置換して表示することを特徴としてもよい。

また、上記課題を解決するため、本発明に係るテキスト編集方法は、音声情報の再生と同期させて、前記音声情報を用いて生成された前記テキスト情報をテキスト表示画面に表示する表示ステップと、音声の入力を受け付ける音声入力受付ステップと、前記音声入力受付ステップにおいて入力を受け付けた前記音声に含まれるコマンドが取得されるコマンド取得ステップと、を実行し、前記表示ステップでは、記憶部に記憶されたコマンド情報においてコマンド候補と関連付けられたコマンドの種別を、音声情報の再生に関する現在の状態を特定して選択し、前記コマンド情報において前記種別と関連する前記コマンド候補の一覧を表示するコマンド表示領域を前記テキスト表示画面に表示させ、前記コマンド候補に含まれる１つの前記コマンドが前記コマンド取得ステップにおいて取得されると、該コマンドに応じて前記テキスト情報の表示を前記コマンドの入力前と異ならせることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピューターをテキスト編集装置として機能させるプログラムであって、音声情報の再生と同期させて、前記音声情報を用いて生成された前記テキスト情報をテキスト表示画面に表示する表示ステップと、音声の入力を受け付ける音声入力受付ステップと、前記音声入力受付ステップにおいて入力を受け付けた前記音声に含まれるコマンドが取得されるコマンド取得ステップと、を前記コンピューターに実行させ、前記表示ステップでは、記憶部に記憶されたコマンド情報においてコマンド候補と関連付けられたコマンドの種別を、音声情報の再生に関する現在の状態を特定して選択し、前記コマンド情報において前記種別と関連する前記コマンド候補の一覧を表示するコマンド表示領域を前記テキスト表示画面に表示させ、前記コマンド候補に含まれる１つの前記コマンドが前記コマンド取得ステップにおいてて取得されると、該コマンドに応じて前記テキスト情報の表示を前記コマンドの入力前と異ならせることを特徴とする。

本発明によれば、音声データから生成されたテキスト情報に対する処理を効率的に行うことのできる技術を提供することができる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

テキスト編集装置の機能ブロック図である。 コマンド情報の一例を示す図である。 テキスト編集装置のハードウェア構成例を示す図である。 音声再生処理の流れを示すフローチャートである。 音声テキスト修正処理の流れを示すフローチャートである。 再生モード時のテキスト表示画面の一例を示す図である。 停止モード時のテキスト表示画面の一例を示す図である。

以下、図面に基づいて本発明の実施形態の例を説明する。図１は、テキスト編集装置１０の機能ブロック図である。

テキスト編集装置１０は、ＰＣ（Personal Computer）やサーバー装置、ＰＤＡ（Personal Digital Assistant）、又はスマートフォン等の端末装置である。

テキスト編集装置１０は、制御部１１０と、記憶部１２０とを備える。制御部１１０は、テキスト編集装置１０に対して入力された音声情報からテキスト情報を生成する処理を制御する。また、制御部１１０は、テキスト編集装置１０に対して入力された音声に含まれるコマンドを取得し、該コマンドに応じた処理をテキスト情報に対して行う。記憶部１２０は、制御部１１０が行う処理に必要なデータを記憶する。

制御部１１０は、音声情報再生部１１１と、表示部１１２と、音声入力受付部１１３と、コマンド取得部１１４と、テキスト情報生成部１１５と、注目部分選択部１１６とを備える。

音声情報再生部１１１は、記憶部１２０に記憶された音声情報１２１の再生を行う。

表示部１１２は、後述するテキスト表示画面を、テキスト編集装置１０に接続された表示装置に対して表示させる。テキスト表示画面は、音声情報に基づいて生成されたテキスト情報を修正可能に表示する表示画面である。表示部１１２は、音声情報の再生と同期させたテキスト情報の表示を行う。

音声入力受付部１１３は、テキスト編集装置１０に対して発声された音声の入力を受け付ける。例えば、入力を受け付ける音声には、テキスト情報の修正に関するコマンドが含まれている。

コマンド取得部１１４は、音声に含まれるコマンドを取得する。コマンドの取得は、音声から生成されるテキストを用いて、予めコマンドの一覧として記憶部１２０に登録されているコマンド情報を参照することにより行われる。

テキスト情報生成部１１５は、一般的な音声認識機能を用いて、音声からテキスト情報を生成する。音声認識機能については、公知の技術を用いるため、ここでは詳述しない。また、テキスト情報生成部１１５は、テキスト情報を生成する際に、形態素解析技術等を用いてテキストを単語に分割し、かな漢字変換を行う。

テキスト情報生成部１１５は、生成した各単語に対して、音声情報の再生箇所を示す情報を関係付けて記憶部１２０に記憶させる。再生箇所とは、例えば再生開始時から該当箇所までの経過時間を特定する情報である。以下、テキスト情報の各単語に関連付けられた再生箇所を示す情報を、番地情報として説明する。なお、テキスト情報生成部１１５は、テキスト情報を所定の単位で区切り、各々の単位に対して番地情報を関連付けるものであればよく、区切る単位は単語に限定されない。しかしながら、便宜上単語に対して番地情報が関連付けられているものとして、以下説明する。

注目部分選択部１１６は、表示部１１２に表示されたテキスト情報の少なくとも一部を選択する。音声情報の再生が中断される時には、注目部分選択部１１６は中断直前に再生が終了した単語と対応するテキスト情報（の一部）を注目部分として選択する。

記憶部１２０は、音声情報１２１と、テキスト情報１２２と、コマンド情報１２３とを記憶する。

音声情報１２１は、予め録音された音声データである。音声情報１２１は、音声入力受付部１１３が受け付けた音声データであってもよいし、図示しないネットワーク等により外部から入力された音声データであってもよい。

テキスト情報１２２は、音声情報１２１に基づいて生成されたテキストデータである。テキスト情報１２２には音声情報１２１が対応付けられている。また、テキスト情報１２２には、単語毎に音声情報１２１の番地情報が関連付けられている。

コマンド情報１２３は、表示画面に対して入力されるコマンドの候補を記憶した情報であるが、詳しくは後述する。

本実施形態では、予め録音された音声情報１２１に基づいてテキスト情報１２２が生成され、表示画面に表示される。表示画面では、音声情報１２１の再生箇所が分かるよう、再生済みのテキストの表示を未再生のテキストの表示と異ならせる。言い換えれば、表示画面では、音声情報の再生に同期して、テキストの表示が行われる。また、該画面の表示中に、コマンドを含む音声が入力されると、再生中の音声情報１２１か、又は表示されているテキスト情報１２２に対して、コマンドに基づいた処理が行われる。

次に、記憶部１２０に記憶されるコマンド情報１２３について説明する。

図２は、コマンド情報１２３の一例を示す図である。コマンド情報１２３は、コマンドの候補毎に、コマンド種別１２３ａと、コマンド１２３ｂと、処理内容１２３ｃとを含む情報である。

コマンド種別１２３ａは、コマンドの種別を示す情報である。例えば、コマンド種別１２３ａは、音声情報１２１の再生中である再生モード時に受付可能なコマンド候補に対して関連付けられる種別と、音声情報１２１の再生の停止中である停止モード時に受付可能なコマンド候補に対して関連付けられる種別とを有する。例えば図２では、コマンド種別１２３ａが「aa」であるコマンドは、再生モード時に受付可能なコマンドであることを示す。再生モード時に受付可能なコマンドを、以下再生中コマンドとして説明することがある。また、コマンド種別１２３ａが「bb」であるコマンドは、停止モード時に受付可能なコマンドであることを示す。停止モード時に受付可能なコマンドを、以下停止中コマンドとして説明することがある。

コマンド１２３ｂは、コマンドを特定する識別情報である。なお、コマンド種別１２３ａとコマンド１２３ｂとの組み合わせにより、コマンドが一意に特定される。

処理内容１２３ｃは、コマンドが取得された場合の処理内容を示す文字列である。なお、再生モード中に受付可能なコマンドには、「ストップ」、「1.5倍速」、「2倍速」、「2.5倍速」、「巻き戻し」、「早送り」等がある。停止モード中に受付可能なコマンドには、「変換」、「リプレイ」、「プレイ」、「太字」、「下線」、「戻る」、「進む」、「再入力」、「音声による再選択」等がある。

例えば、図２最上段のレコードは、コマンド種別１２３ａが「aa」であり、コマンド１２３ｂが「０」であり、処理内容１２３ｃが「ストップ」である。これは、音声情報１２１の再生中に、コマンド「０」を受け付けた場合に、音声情報１２１の再生が「ストップ」されることを示している。

図３は、テキスト編集装置１０のハードウェア構成例を示す図である。テキスト編集装置１０は、ＣＰＵ（Central Processing Unit）１３０と、メモリ１３１と、ネットワークＩ／Ｆ（Interface）１３２と、補助記憶装置１３３と、入力Ｉ／Ｆ１３４と、出力Ｉ／Ｆ１３５と、マイクロフォン１３６とを備え、各構成要素はバスにより接続されている。

ＣＰＵ１３０は中央演算装置であり、メモリ１３１又は補助記憶装置１３３に記録されたプログラムに従って処理を実行する。テキスト編集装置１０では、メモリ１３１又は補助記憶装置１３３上に読み出されたプログラムに従って動作するＣＰＵ１３０により処理が行われる。制御部１１０を構成する各処理部は、ＣＰＵ１３０がプログラムを実行することにより各々の機能を実現する。

メモリ１３１は、ＲＡＭ（Random Access Memory）又はフラッシュメモリ等の記憶装置であり、プログラムやデータが一時的に読み出される記憶エリアとして機能する。ネットワークＩ／Ｆ１３２は、テキスト編集装置１０をネットワークに接続するためのインターフェイスである。補助記憶装置１３３は、例えばＨＤＤ（Hard Disk Drive）や、ＣＤ-Ｒ（Compact Disc- Recordable）、ＤＶＤ-ＲＡＭ（Digital Versatile Disk-Random Access Memory）等の書き込み及び読み出し可能な記憶メディア及び記憶メディア駆動装置等である。記憶部１２０は、メモリ１３１又は補助記憶装置１３３によりその機能が実現される。また、記憶部１２０は、図示しないネットワーク上の記憶装置によってその機能が実現されてもよい。

入力Ｉ／Ｆ１３４は、システム管理者等からの入力操作を受け付けるためのインターフェイスであり、例えばタッチパネル、キーボード、マウス等からの入力を受け付ける。入力Ｉ／Ｆ１３４には、マイクロフォン１３６が接続される。出力Ｉ／Ｆ１３５は、ＬＣＤ（Liquid Crystal Display）等の表示装置等に対して情報を出力するためのインターフェイスである。マイクロフォン１３６は、周辺の音を電気信号に変換する装置である。音声入力受付部１１３は、マイクロフォン１３６によりその機能を実現する。

なお、テキスト編集装置１０の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、テキスト編集装置１０の各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。

図４は、音声再生処理の流れを示すフローチャートである。本処理開始前に、再生の対象となる音声情報１２１と、該音声情報１２１に基づいて生成されたテキスト情報１２２とが記憶部１２０に記憶されている。例えば入力装置を介して、音声情報１２１を指定した再生開始指示をテキスト編集装置１０が受け付けると、本フローチャートの処理が開始される。

まず、表示部１１２は、テキスト表示画面１４０を表示する（ステップＳ１１）。

図６は、再生モード時のテキスト表示画面１４０の一例を示す図である。テキスト表示画面１４０は、テキスト表示領域１４１と、ゲージ１４２と、コマンド表示領域１４３と、再生停止ボタン表示領域１４４とを含む。

テキスト表示画面１４０は、再生開始指示を受け付けた音声情報１２１と対応するテキスト情報１２２を表示する領域である。表示部１１２は、再生開始指示において指定された音声情報１２１を用いて、該音声情報１２１と対応するテキスト情報１２２を特定し、テキスト表示領域１４１に表示する。なお、テキスト表示領域１４１には、音声が再生中であっても、未再生部分のテキストが確認できる程度に、適量のテキストが表示されていることが望ましい。

ゲージ１４２は、再生開始指示において指定された音声情報１２１中、どの位の割合の音声情報１２１が再生されたかを示すメーターである。ゲージ１４２では、音声情報１２１において再生された部分が占める割合が、例えば柱状グラフで表される。

コマンド表示領域１４３は、音声情報１２１の再生モード、又は停止モードの種別に応じて、該種別で受付可能なコマンド候補の一覧を表示する領域である。

再生停止ボタン表示領域１４４は、入力Ｉ／Ｆ１３４に接続されたマウス等の入力装置を介して、音声情報１２１の再生、停止指示の入力を受け付けるボタンを表示する領域である。再生停止ボタン表示領域１４４には、再生及び再生速度の入力を受け付ける再生ボタンと、早送の入力を受け付ける早送りボタンと、巻き戻しの入力を受け付ける巻き戻しボタンと、停止の入力を受け付ける停止ボタンとが表示される。本実施形態では、基本的に音声に基づいて音声情報１２１の再生や停止指示を受け付けるが、再生停止ボタン表示領域１４４に表示されたボタンを用いた指示の受け付けも可能である。

なお、音声情報１２１の再生モードとは、音声情報１２１が再生されている状態を示す。音声情報１２１の停止モードとは、音声情報１２１の再生が停止又は中断されている状態を示す。表示部１１２は、音声情報１２１が再生中であるか否かを音声情報再生部１１１に問い合わせ、再生モードか停止モードかを特定する。表示部１１２は、コマンド情報１２３において、特定した現在の状態を示す種別と対応するコマンド種別１２３ａと関連付けられたコマンド１２３ｂ及び処理内容１２３ｃを用いて、コマンド表示領域１４３にコマンド候補の一覧を表示する。

ステップＳ１１では、音声再生開始指示を受け付けているため、再生モード中に受付可能なコマンド候補の一覧がコマンド表示領域１４３に表示されている。なお、コマンドがコマンド表示領域１４３に表示しきれない場合には、コマンド表示領域内に、該コマンド表示領域をスクロールするコマンドを設けてもよい。該コマンドが選択されると、未表示であったコマンドをコマンド表示領域に表示するよう、該領域がスクロールされる。

付言すれば、テキスト表示画面１４０は、停止モードにおいてテキスト表示領域１４１に表示されたテキストの変更の入力を受け付けるためのテキストボックスと、テキストボックスに入力された文字列を確定させるための確定ボタンを含むものであってもよい。操作ボタンや確定ボタン、及びテキストボックスは、入力Ｉ／Ｆ１３４に接続されたキーボード等による入力を受け付ける。

説明を図４に戻す。次に、音声情報再生部１１１は、再生開始指示において指定された音声情報１２１を再生する（ステップＳ１２）。ステップＳ１１及びステップＳ１２については、先後を問わない。

次に、表示部１１２は、再生済の音声情報１２１に相当するテキストの表示を、他のテキストの表示と異ならせる（ステップＳ１３）。具体的には、表示部１１２は、再生中の音声情報１２１に対応するテキスト情報１２２に関連付けられた番地情報を、音声情報再生部１１１に通知する。音声情報再生部１１１は、番地情報により特定されるタイミングに達した時に、表示部１１２に対して通知を行う。表示部１１２は、音声情報再生部１１１からの通知に基づいて再生箇所を特定し、既に再生済である箇所のテキスト情報１２２の表示を、他のテキスト情報１２２の表示と異ならせる。例えば表示部１１２は、再生済の箇所に相当するテキスト情報１２２の背景色を、未再生の箇所に相当するテキスト情報１２２の背景色と異ならせる。このようにして、音声情報の再生とテキスト情報の表示とが同期される。

また、表示部１１２は、常に未再生である箇所がテキスト表示領域１４１に適量表示されるよう、再生箇所が行を移行するにつれて、テキスト表示領域１４１に表示するテキストをスクロールする。

次に、音声入力受付部１１３は、音声の入力を受け付ける（ステップＳ１４）。音声には、コマンドを特定する情報が含まれている。コマンドを特定する情報は、コマンド情報１２３中のコマンド１２３ｂに相当する識別情報を示す文字列であってもよいし、処理内容１２３ｃに示すような、コマンドの処理内容を示す文字列であってもよい。

次に、テキスト情報生成部１１５は、ステップＳ１４で入力を受け付けた音声からテキストを生成する（ステップＳ１５）。

次に、コマンド取得部１１４は、テキストから再生中コマンドを取得する（ステップＳ１６）。具体的には、ステップＳ１５で生成したテキストを用いてテキスト情報１２２を参照し、テキストに含まれるコマンドと対応するコマンド１２３ｂが、再生モードであることを示すコマンド種別１２３ａと関連付けられている場合に、該コマンドを取得する。

次に、コマンド取得部１１４は、取得したコマンドが「ストップ」を示すコマンドであるか否かを判定する（ステップＳ１７）。コマンド取得部１１４は、ステップＳ１６で取得したコマンドとコマンド情報１２３において対応するコマンド１２３ｂと関連する処理内容１２３ｃが、「ストップ」であることを示すか否かを判定する。

コマンド取得部１１４が、取得したコマンドが「ストップ」を示すコマンドであると判定した場合（ステップＳ１７で「ＹＥＳ」の場合）、音声情報再生部１１１は、音声情報１２１の再生を中断する（ステップＳ１８）。

次に、注目部分選択部１１６は、中断時の直前に再生された部分を選択する（ステップＳ１９）。具体的には、音声情報再生部１１１は、音声情報１２１の再生を中断した時期（タイミング）に関する情報を表示部１１２に通知する。注目部分選択部１１６は、中断時期に関する情報を用いてテキスト情報１２２が有する番地情報を参照し、中断時期直前の番地情報と関連付けられた単語を選択する。以下、選択された単語を注目部分として説明する。

次に、表示部１１２は、注目部分を強調表示する（ステップＳ２０）。例えば、表示部１１２は、注目部分の背景色を、再生部分の背景色及び未再生部分の背景色と異ならせることで、注目部分を強調表示する。または、表示部１１２は、注目部分の文字の表示色と背景色とを反転させることで、注目部分を強調表示する。

その後、本フローチャートの処理は、停止モードにおける処理である、音声テキスト修正処理に移行する。

コマンド取得部１１４が、取得したコマンドが「ストップ」を示すコマンドであると判定しない場合（ステップＳ１７で「ＮＯ」の場合）、音声情報再生部１１１は、コマンドに応じた音声情報１２１の再生を行う（ステップＳ２１）。

例えば、ステップＳ１６で取得されたコマンドが「1.5倍速」、「2倍速」、又は「2.5倍速」であった場合、音声情報再生部１１１は、コマンドに応じて再生速度を変更する。コマンドが「巻き戻し」である場合、音声情報再生部１１１は音声の再生を停止させ、表示部１１２はテキスト表示領域１４１において再生済であることを示す表示を徐々に縮小させ、あたかもテープレコーダーが巻き戻っているかのように表示を遡らせる。その後音声入力受付部１１３において再生開始指示を受け付ける。コマンドが「早送り」である場合には、音声情報再生部１１１は音声の再生を停止させ、表示部１１２は表示領域において再生済みであることを示す表示を徐々に拡大させる。その後音声入力受付部１１３において再生開始指示を受け付ける。音声情報再生部１１１は、再生開始指示に基づいて音声情報を再生させる。

なお、上述した通り、再生、停止、及び再生速度の指示については、テキスト表示画面１４０の再生停止ボタン表示領域１４４に表示されたボタンに対して、入力装置を介して入力を受け付けるものであってもよい。

その後、音声情報再生部１１１は、処理をステップＳ１３に戻す。

図５は、音声テキスト修正処理の流れを示すフローチャートである。本処理の開始前に、テキスト表示画面１４０が表示装置に表示されており、音声再生が中断しており、テキスト表示領域１４１においては注目部分が強調表示されている。

まず、音声入力受付部１１３は、音声の入力を受け付ける（ステップＳ３１）。ステップＳ３１からステップＳ３２で行われる処理は、ステップＳ１４からステップＳ１５において行われる処理と同様であるため、説明を省略する。

次に、コマンド取得部１１４は、テキストから停止中コマンドを取得する（ステップＳ３３）。具体的には、ステップＳ３２で生成したテキストを用いてテキスト情報１２２を参照し、テキストに含まれるコマンドと対応するコマンド１２３ｂが、停止モードであることを示すコマンド種別１２３ａと関連付けられている場合に、該コマンドを取得する。なお、ここで取得されるコマンドは、注目部分の位置を変更するコマンドか、注目部分を修正するコマンドか、音声の再生を開始させるコマンドか、テキスト表示領域１４１に表示されているテキストを確定させるための確定コマンド（後に詳述する）か、のいずれかである。

次に、コマンド取得部１１４は、取得したコマンドが注目部分の位置を変更するコマンドであるか否かを判定する（ステップＳ３４）。具体的には、コマンド取得部１１４は、ステップＳ３３で取得したコマンドが、「戻る」、「進む」、又は「音声による再選択」のいずれかであることを示す場合に、注目部分の位置を変更するコマンドであると判定する。

コマンド取得部１１４が、取得したコマンドが注目部分の位置を変更するコマンドであると判定した場合（ステップＳ３４で「ＹＥＳ」の場合）、注目部分選択部１１６は、コマンドに基づいて注目部分の位置を変更する（ステップＳ３５）。前述した通り、テキスト情報１２２は単語毎に分割されている。ステップＳ３３で取得したコマンドが、「戻る」ことを示す場合、注目部分選択部１１６は、コマンド取得前に注目部分であった単語から、その単語よりも１つ前の単語を注目部分として特定する。

これに伴い、表示部１１２は、コマンド取得前に注目部分であった単語の強調表示を通常の表示にするとともに、その単語よりも１つ前の単語を注目部分として強調表示する。なお、注目部分よりも再生順序が早い単語を、注目部分よりも前の単語であるものと定義する。

また、ステップＳ３３で取得したコマンドが、「進む」ことを示す場合、注目部分選択部１１６は、コマンド取得前に注目部分であった単語の強調表示を通常の表示にするとともに、その単語よりも１つ後の単語を注目部分として強調表示する。

また、ステップＳ３３で取得したコマンドが、「音声による再選択」であることを示す場合、音声入力受付部１１３が、音声による入力を受け付ける。受け付けた音声に基づき、テキスト情報生成部１１５がテキスト情報を生成する。注目部分選択部１１６は、生成されたテキスト情報により特定される検索用の文字列を用いて、テキスト表示画面１４０に表示しているテキスト情報１２２を検索する。

注目部分選択部１１６は、テキスト情報１２２の検索にあたり、再生済のテキスト情報１２２に含まれる単語を、コマンド取得前に注目部分であった単語に近い順に検索する。再生済のテキスト情報１２２に検索文字列がない場合、注目部分選択部１１６は、未再生のテキスト情報１２２に含まれる単語を、コマンド取得前に注目部分であった単語に近い順に検索する。注目部分選択部１１６は、検索文字列に対応するテキスト情報１２２中の単語を、新たな注目部分として強調表示する。

なお、テキスト表示領域１４１中、再生済であるテキストを他の箇所と異なるよう表示しているが、注目部分の位置を変更した場合であっても、この表示については変更しない。その後、注目部分選択部１１６は処理をステップＳ３１に戻す。

コマンド取得部１１４が、取得したコマンドが注目部分の位置を変更するコマンドであると判定しない場合（ステップＳ３４で「ＮＯ」の場合）、コマンド取得部１１４は、取得したコマンドが注目部分を修正するコマンドであるか否かを判定する（ステップＳ３６）。コマンド取得部１１４は、取得したコマンドが、「変換」、「太字」、「下線」、又は「再入力」のいずれかを示す場合に、注目部分を修正するコマンドであると判定する。

コマンド取得部１１４が、取得したコマンドが注目部分を修正するコマンドであると判定した場合（ステップＳ３６で「ＹＥＳ」の場合）、テキスト情報生成部１１５は、コマンドに基づいて注目部分のテキストを修正する（ステップＳ３７）。

取得したコマンドが「変換」であることを示す場合、表示部１１２は、テキスト表示画面１４０に対して、変換候補の一覧を示す変換候補表示領域１４５を表示する。

図７は、停止モード時のテキスト表示画面１４０の一例を示す図である。本図は、停止モード時のテキスト表示画面１４０において、所定の注目部分に対して「変換」のコマンドが取得された場合の画面例である。

図７のテキスト表示領域１４１には、再生済のテキストとして、「音声からのテキスト変換プログラムにおいて、必要に応じて誤った箇所を終生」という文字列について、他の文字列と異なる表示がなされている。また、「終生」という単語が注目部分として強調表示され、「終生」の読み仮名である「しゅうせい」の変換候補が、変換候補表示領域１４５に表示されている。なお、表示部１１２は、記憶部１２０の図示しない領域に記憶された辞書ＤＢを用いて、変換候補表示領域１４５に変換候補を表示する。

表示部１１２が変換候補表示領域１４５を表示すると、音声入力受付部１１３は、変換後の文字列を特定するコマンドの音声による入力を受け付ける。該コマンドは、変換候補表示領域１４５において変換後の文字列と関連付けられて表示された識別情報（図７の変換候補表示領域１４５において「0」、「1」、「2」等で表示された識別子）である。音声入力受付部１１３は、例えばコマンド「0」を「ゼロ」と発声した音声の入力を受け付ける。コマンド取得部１１４が、入力された音声からコマンドを取得すると、テキスト情報生成部１１５はコマンドにより特定される変換後の文字列を用いて、変換前の文字列を上書きする。

なお、音声入力受付部１１３は、コマンドに代わって、変換後の文字列に含まれる漢字の各々を特定する音声の入力を受け付けてもよい。音声入力受付部１１３が受け付けた音声が、コマンドを特定するものでない場合、コマンド取得部１１４はその旨をテキスト情報生成部１１５に通知する。テキスト情報生成部１１５は、音声入力受付部１１３が受け付けた音声から生成したテキスト情報に基づいて、変換後の文字列を特定する。

例えば、テキスト情報生成部１１５は、入力された音声から生成したテキストにブランク（所定時間の空白）が含まれる場合、ブランクの前後を分割する。テキスト情報生成部１１５は、分割したテキストを、「の」等の格助詞の前後でさらに分割する。テキスト情報生成部１１５は、格助詞で分割した内の前半部を用いて、記憶部１２０に予め記憶された辞書ＤＢ（図示しない）を参照し、後半部を用いて指定された文字を特定する。

具体例としては、音声入力受付部１１３は、「修理の修、正しいの正」という音声の入力を受け付ける。次にテキスト情報生成部１１５は、ブランクにより分割されたテキストの前部分の「修理の修」について、格助詞の前後でさらに分割する。テキスト情報生成部１１５は、「修理」について辞書ＤＢを参照し、分割した内の後半部の「しゅう」というテキストに基づいて、文字「修」を特定する。

また、テキスト情報生成部１１５は、生成したテキスト中、「正しいの正」の部分に基づいて、注目部分中「せい」の部分が「正」の文字であると特定する。その後テキスト情報生成部１１５は、変換後の文字列「修」「正」を用いて、変換前の文字列を上書きする。

説明を図５に戻す。ステップＳ３７では、ステップＳ３５において取得されたコマンドが「太字」又は「下線」であることを示す場合、テキスト情報生成部１１５は、注目部分を太字で表現するか、又は注目部分に下線を施して、テキスト情報１２２を上書きする。

また、ステップＳ３７では、ステップＳ３３において取得されたコマンドが「再入力」であることを示す場合、音声入力受付部１１３が、音声による入力を受け付ける。テキスト情報生成部１１５は、音声入力受付部１１３が受け付けた音声からテキスト情報１２２を生成し、生成したテキストで注目部分を上書きする。

例えば、取得されたコマンドが「再入力」である場合において、音声入力受付部１１３が、「ていせい」と発声した音声の入力を受け付ける。テキスト情報生成部１１５は、該音声からテキスト情報である「訂正」を生成し、表示されたテキストを用いて注目部分を上書きする。

その後、テキスト情報生成部１１５は、処理をステップＳ３１に戻す。

ステップＳ３６において、コマンド取得部１１４が、取得したコマンドが注目部分を修正するコマンドであると判定しない場合（ステップＳ３６で「ＮＯ」の場合）、コマンド取得部１１４は、取得したコマンドが音声情報の再生を開始するコマンドであるか否かを判定する（ステップＳ３８）。コマンド取得部１１４は、取得したコマンドが「リプレイ」、又は「プレイ」のいずれかを示す場合に、音声情報の再生を開始するコマンドであると判定する。

コマンド取得部１１４が、取得したコマンドが音声情報の再生を開始するコマンドであると判定した場合（ステップＳ３８で「ＹＥＳ」の場合）、音声情報再生部１１１は、コマンドに基づいて音声情報の再生を開始する。

取得したコマンドが「リプレイ」であることを示す場合、音声情報再生部１１１は、注目部分から、音声情報の再生を再開する。具体的には、音声情報再生部１１１は、テキスト情報において注目部分と関連付けられた番地情報を参照し、番地情報により特定される音声情報のタイミングから、音声情報の再生を開始する。

取得したコマンドが「プレイ」であることを示す場合、音声情報再生部１１１は、音声情報の再生を中断した箇所から、再生を再開させる。音声情報再生部１１１は、ステップＳ１８において音声情報の再生を中断した箇所を記憶しており、記憶している箇所から再生を開始する。なお、テキスト表示画面１４０のテキスト表示領域１４１には、再生済の音声情報に相当するテキスト情報について、未再生のテキスト情報と異なる表示がなされている。操作者は、未再生のテキスト情報の冒頭から音声の再生が再開されることを認識できる。

コマンド取得部１１４が、取得したコマンドが音声情報の再生を開始するコマンドであると判定しない場合（ステップＳ３８で「ＮＯ」の場合）、テキスト情報生成部１１５は、確定コマンドに基づいてテキスト情報１２２を生成する（ステップＳ４０）。ステップＳ３３で取得されたコマンドが、注目部分の位置を変更するコマンドでも、注目部分を修正するコマンドでもないとコマンド取得部１１４が判定した場合、取得されたコマンドは確定コマンドである。表示部１１２は、テキスト表示画面１４０の表示を終了する。その後、表示部１１２は本フローチャートの処理を終了する。

本実施形態によって、音声データに基づいて生成されたテキストを編集する際に、音声データの再生箇所がテキスト上で視認できるよう表示が行われるため、操作者は容易に音声データとテキストとを比較することができる。また、テキストを編集する際に、音声再生の停止に伴って注目部分が選択されるため、注目部分の選択に際し特段の操作が必要ない。また、編集時にはコマンドを発生することで編集を行うことができ、キーボード等による入力を行う必要がないことから、操作者の利便性が向上する。

さらに、音声データからテキスト情報を生成し、議事録等を作成する技術が普及しているが、このような処理が可能な情報処理装置においては、音声により受け付けたコマンドを解釈するための仕組みを用意することで、テキスト編集装置１０として機能させることができ、コスト削減に資する。

以上、本発明に係る各実施形態の説明を行ってきたが、本発明は、上記した実施形態の一例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態の一例は、本発明を分かり易くするために詳細に説明したものであり、本発明は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。

また、上記のテキスト編集装置１０の機能構成は、理解を容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。テキスト編集装置１０の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

１０：テキスト編集装置、１１０：制御部、１１１：音声情報再生部、１１２：表示部、１１３：音声入力受付部、１１４：コマンド取得部、１１５：テキスト情報生成部、１１６：注目部分選択部、１２０：記憶部、１２１：音声情報、１２２：テキスト情報、１２３：コマンド情報、１３０：ＣＰＵ、１３１：メモリ、１３２：ネットワークＩ／Ｆ、１３３：補助記憶装置、１３４：入力Ｉ／Ｆ、１３５：出力Ｉ／Ｆ、１３６：マイクロフォン、１４０：テキスト表示画面、１４１：テキスト表示領域、１４２：ゲージ、１４３：コマンド表示領域、１４４：再生停止ボタン表示領域、１４５：変換候補表示領域

Claims (9)

1. 音声情報と、該音声情報を用いて生成されたテキスト情報と、コマンドの種別に対してコマンド候補が関連付けられたコマンド情報とを記憶する記憶部と、
   前記音声情報を再生する音声情報再生部と、
   前記音声情報の再生と同期させた前記テキスト情報をテキスト表示画面に表示する表示部と、
   音声の入力を受け付ける音声入力受付部と、
   前記音声入力受付部が入力を受け付けた前記音声に含まれるコマンドを取得するコマンド取得部と、を備え、
   前記表示部は、
   音声情報の再生に関する現在の状態を特定して前記コマンドの種別を選択し、前記コマンド情報において前記種別と関連する前記コマンド候補の一覧を表示するコマンド表示領域を前記テキスト表示画面に表示させ、
   前記コマンド候補に含まれる１つの前記コマンドを前記コマンド取得部が取得すると、該コマンドに応じて前記テキスト情報の表示を前記コマンドの入力前と異ならせることを特徴とするテキスト編集装置。
2. 請求項１に記載のテキスト編集装置であって、
   前記テキスト情報の少なくとも一部である注目部分を選択する注目部分選択部を備え、
   前記注目部分選択部は、前記コマンド取得部が前記音声情報の再生を中断する前記コマンドを取得すると、前記コマンド取得部が該コマンドを取得したタイミングを用いて、前記注目部分を選択することを特徴とするテキスト編集装置。
3. 請求項２に記載のテキスト編集装置であって、
   前記表示部は、前記音声情報の再生が停止又は中断されている状態を特定すると、該状態に応じた前記種別と関連する前記コマンド候補の一覧を前記コマンド表示領域に表示させ、
   前記注目部分選択部は、前記コマンド取得部が、前記コマンド候補の一覧に含まれる、前記注目部分の位置を変更するコマンドを取得すると、該コマンドに応じて前記注目部分の位置を変更させることを特徴とするテキスト編集装置。
4. 請求項２又は３に記載のテキスト編集装置であって、
   前記表示部は、再生された前記音声情報に対応する前記テキスト情報の表示を他のテキスト情報の表示と異ならせると共に、前記注目部分を強調して表示し、
   前記コマンド表示領域には、前記音声情報の再生を中断した箇所から前記音声情報の再生を再開する第１の音声再生コマンド及び前記注目部分から前記音声情報の再生を再開する第２の音声再生コマンドが前記コマンド候補に含まれて表示され、
   前記コマンド取得部は、前記第１の音声再生コマンドか、又は前記第２の音声再生コマンドか、を前記音声情報の再生を中断している間に取得し、
   前記音声情報再生部は、前記第１の音声再生コマンドか、又は前記第２の音声再生コマンドか、に基づいて前記音声情報の再生を再開することを特徴とするテキスト編集装置。
5. 請求項２から４のいずれか一項に記載のテキスト編集装置であって、
   前記コマンド取得部は、前記注目部分の位置を変更するコマンドを取得し、
   前記音声入力受付部は、前記注目部分の変更後の位置にある文字列に対応する前記音声の入力を受け付け、
   前記注目部分選択部は、前記文字列により特定される前記テキスト情報を前記注目部分として特定することを特徴とするテキスト編集装置。
6. 請求項５に記載のテキスト編集装置であって、
   前記注目部分選択部は、前記注目部分の再選択を示す前記コマンドを前記コマンド取得部が取得すると、前記音声入力受付部が入力を受け付けた前記文字列を用いて再生済の前記テキスト情報を前記コマンド取得前の前記注目部分に近い順に検索し、前記再生済の前記テキスト情報に前記文字列がない場合に未再生の前記テキスト情報を前記コマンド取得前の前記注目部分に近い順に検索し、前記文字列に相当する文字を新たな前記注目部分として特定することを特徴とするテキスト編集装置。
7. 請求項２から６のいずれか一項に記載のテキスト編集装置であって、
   前記コマンド取得部は、前記注目部分を置換するコマンドを取得し、
   前記音声入力受付部は、前記注目部分の置換後の文字列に対応する前記音声の入力を受け付け、
   前記表示部は、前記注目部分を前記文字列に置換して表示することを特徴とするテキスト編集装置。
8. テキスト編集装置を用いたテキスト編集方法であって、
   音声情報の再生と同期させて、前記音声情報を用いて生成されたテキスト情報をテキスト表示画面に表示する表示ステップと、
   音声の入力を受け付ける音声入力受付ステップと、
   前記音声入力受付ステップにおいて入力を受け付けた前記音声に含まれるコマンドが取得されるコマンド取得ステップと、を実行し、
   前記表示ステップでは、
   記憶部に記憶されたコマンド情報においてコマンド候補と関連付けられたコマンドの種別を、音声情報の再生に関する現在の状態を特定して選択し、前記コマンド情報において前記種別と関連する前記コマンド候補の一覧を表示するコマンド表示領域を前記テキスト表示画面に表示させ、
   前記コマンド候補に含まれる１つの前記コマンドが前記コマンド取得ステップにおいて取得されると、該コマンドに応じて前記テキスト情報の表示を前記コマンドの入力前と異ならせることを特徴とするテキスト編集方法。
9. コンピューターをテキスト編集装置として機能させるプログラムであって、
   音声情報の再生と同期させて、前記音声情報を用いて生成されたテキスト情報をテキスト表示画面に表示する表示ステップと、
   音声の入力を受け付ける音声入力受付ステップと、
   前記音声入力受付ステップにおいて入力を受け付けた前記音声に含まれるコマンドが取得されるコマンド取得ステップと、を前記コンピューターに実行させ、
   前記表示ステップでは、
   記憶部に記憶されたコマンド情報においてコマンド候補と関連付けられたコマンドの種別を、音声情報の再生に関する現在の状態を特定して選択し、前記コマンド情報において前記種別と関連する前記コマンド候補の一覧を表示するコマンド表示領域を前記テキスト表示画面に表示させ、
   前記コマンド候補に含まれる１つの前記コマンドが前記コマンド取得ステップにおいて取得されると、該コマンドに応じて前記テキスト情報の表示を前記コマンドの入力前と異ならせることを特徴とするプログラム。

Images