JP7101212B2 - 会議補助用翻訳ツールのための方法およびシステム - Google Patents

Description

以下の説明は、会議補助用翻訳ツールを提供する技術に関する。

テレビ会議はビジネス環境において幅広く利用されており、参加者が地理的に分散して位置している場合であっても、ビデオとオーディオをリアルタイムで互いに共有することができる。

テレビ会議に参加する各ユーザの通信デバイスは、ビデオやオーディオを送信するためにカメラやマイクロフォンを使用し、受信されたビデオやオーディオを再生させるためにディスプレイやスピーカを使用するのが通常である。

このようなテレビ会議は、ある１つの位置から少なくとも１つの他の位置にネットワークを介してリアルタイムで送信されるビデオやオーディオのデジタル圧縮を行う。通信デバイスは、ビデオとオーディオの圧縮と圧縮解除を行うことで、ネットワークを介したデータ連動（ｄａｔａ ｌｉｎｋａｇｅ）を維持する。

例えば、特許文献１（登録日２００４年０２月１０日）には、多者間信号制御サーバを利用したテレビ会議方法が開示されている。

韓国登録特許第１０－０４１９８０１号公報

多国語翻訳結果を同時に表示する基本モードと翻訳結果を字幕形態で表示する字幕モードを必要に応じてスイッチングして活用することができる、会議補助用翻訳ツールを提供する。

会議の主体言語の翻訳結果とともに、参照言語の翻訳結果を併記して提供することができる、会議補助用翻訳ツールを提供する。

翻訳結果を他のアプリケーションの画面上に字幕形態で提供し、会議補助用ツールとして活用することができる、会議補助用翻訳ツールを提供する。

コンピュータ装置が実行する翻訳提供方法であって、コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、翻訳提供方法は、少なくとも１つのプロセッサにより、会議補助用ツールとして会議で使用される言語として設定された複数の言語のうちのいずれか１つの言語で入力された文章である原文と、原文を残りの他の言語に翻訳した翻訳文とが含まれた画面を表示する段階を含み、画面には画面モードを切り換えるためのスイッチングＵＩが含まれることを特徴とする、翻訳提供方法を提供する。

一側面によると、表示する段階は、スイッチングＵＩを利用した画面モードの選択により、原文と翻訳文を、複数の言語とは異なる第３の言語に翻訳された参照文と併記して表示する基本モード、または原文と翻訳文を字幕形態で表示する字幕モードで表示してよい。

他の側面によると、表示する段階は、原文と翻訳文を、複数の言語とは異なる第３の言語に翻訳された参照文と併記して表示する段階を含み、原文は、翻訳文および参照文と区別して表示してよい。

また他の側面によると、表示する段階は、原文と翻訳文を、複数の言語とは異なる第３の言語に翻訳された参照文と併記して表示する段階を含み、原文、翻訳文、および参照文は、同じ言語別に整列して表示してよい。

また他の側面によると、併記して表示する段階は、会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、原文、翻訳文、および参照文を併記して表示し、複数の言語のうちでコンピュータ装置のユーザの使用言語に該当する文章を最初の列に整列してよい。

また他の側面によると、翻訳提供方法は、少なくとも１つのプロセッサにより、スイッチングＵＩを利用した画面モードの選択により、原文と翻訳文を字幕形態で表示する字幕モード画面に切り換える段階をさらに含んでよい。

また他の側面によると、字幕モード画面には、他の画面モードに切り換えるためのＵＩ、字幕モード画面が前面（ｆｏｒｅｇｒｏｕｎｄ）に位置されるように固定するためのＵＩ、字幕モード画面の透明度を調節するためのＵＩ、字幕モード画面の大きさを調節するためのＵＩのうちの少なくとも１つのＵＩを含んでよい。

また他の側面によると、表示する段階は、会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、原文と翻訳文を併記して表示する段階を含み、原文のうちでコンピュータ装置のユーザによって入力された原文に対し、文章を修正するための修正ＵＩが提供されてよい。

また他の側面によると、修正ＵＩによって修正中の原文の場合、修正前の原文と翻訳文の代わりに修正による状態情報が表示され、修正が完了すれば、修正された原文と翻訳文に変換されて表示されてよい。

また他の側面によると、表示する段階は、画面がモバイルバージョン画面の場合、モバイルバージョンの画面上に、原文と翻訳文のうちでコンピュータ装置のユーザの使用言語に該当する文章だけを表示してよい。

また他の側面によると、表示する段階は、モバイルバージョンの画面に表示された文章のうちからコンピュータ装置のユーザによって特定の文章が選択される場合、特定の文章の原文を表示してよい。

また他の側面によると、表示する段階は、モバイルバージョンの画面に表示された文章のうちからコンピュータ装置のユーザによって特定の文章が選択される場合、特定の文章を複数の言語とは異なる第３の言語に翻訳した参照文を表示してよい。

また他の側面によると、表示する段階は、会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、原文と翻訳文を併記して表示する段階を含み、翻訳提供方法は、少なくとも１つのプロセッサにより、ユーザ別の対話メッセージを含む議事録文書ファイルを記録する段階をさらに含んでよい。

さらに他の側面によると、記録する段階は、ユーザ別の対話メッセージとして、複数の言語のうちからコンピュータ装置のユーザによって選択された言語に該当する文章を選別し、議事録文書ファイルとして記録してよい。

翻訳提供方法をコンピュータ装置に実行させるために非一時的なコンピュータ読み取り可能な記憶媒体に格納される、コンピュータプログラムを提供する。

翻訳提供方法をコンピュータに実行させるためのプログラムが格納されている、非一時的なコンピュータ読み取り可能な記憶媒体を提供する。

コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、少なくとも１つのプロセッサは、会議補助用ツールとして会議で使用される言語として設定された複数の言語のうちのいずれか１つの言語で入力された文章である原文と、原文を残りの他の言語に翻訳した翻訳文とが含まれた画面を表示する翻訳表示部を含み、画面には画面モードを切り換えるためのスイッチングＵＩが含まれることを特徴とする、コンピュータ装置を提供する。

本発明の実施形態によると、多国語翻訳結果を同時に表示する基本モードと翻訳結果を字幕形態で表示する字幕モードを必要に応じてスイッチングして活用することにより、利便性と拡張性を高めることができる。

本発明の実施形態によると、会議の主体言語の翻訳結果とともに参照言語の翻訳結果を併記して提供することにより、誤訳の発生時の誤った意思伝達を最小化することができる。

本発明の実施形態によると、翻訳結果を他のアプリケーションの画面上に字幕形態で提供して会議補助用ツールとして活用することができ、これによって効率的な会議環境を提供することができる。

本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。 テレビ会議のインタフェース画面の例を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。 本発明の一実施形態における、翻訳ツールのインタフェース画面の例示を示した図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。

本発明の実施形態は、会議補助用翻訳ツールを提供する技術に関する。

本明細書で具体的に開示される事項を含む実施形態は、多様な言語を使用するユーザが参加する会議で活用することのできる翻訳ツールを提供し、多国語での疎通をサポートすることができる。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレット、ゲームコンソール、ウェアラブルデバイス、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）デバイス、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータシステムのうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第１サービスを提供するシステムであってよく、サーバ１６０も、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第２サービスを提供するシステムであってよい。より具体的な例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス（一例として、翻訳サービスなど）を第１サービスとして複数の電子機器１１０、１２０、１３０、１４０に提供してよい。他の例として、サーバ１６０は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器１１０、１２０、１３０、１４０に配布するサービスを第２サービスとして提供してよい。

図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として電子機器１１０の内部構成およびサーバ１５０の内部構成について説明する。また、他の電子機器１２０、１３０、１４０やサーバ１６０も、上述した電子機器１１０またはサーバ１５０と同一または類似の内部構成を有してよい。

電子機器１１０およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、非一時的なコンピュータ読み取り可能な記憶媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような非一時的な大容量記憶装置を含んでよい。ここで、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブのような非一時的な大容量記憶装置は、メモリ２１１、２２１とは区分される別の非一時的な記憶装置として電子機器１１０やサーバ１５０に含まれてもよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器１１０においてインストールされて実行されるブラウザや、特定のサービスの提供のために電子機器１１０にインストールされるアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記憶媒体からロードされてよい。このような別のコンピュータ読み取り可能な記憶媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記憶媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記憶媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。

プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記憶装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１１０とサーバ１５０とが互いに通信するための機能を提供してもよいし、電子機器１１０および／またはサーバ１５０が他の電子機器（一例として、電子機器１２０）または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１１０のプロセッサ２１２がメモリ２１１のような記憶装置に格納されたプログラムコードにしたがって生成した要求が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て電子機器１１０の通信モジュール２１３を通じて電子機器１１０に受信されてよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、電子機器１１０がさらに含むことのできる記憶媒体（上述した非一時的な記憶装置）に格納されてよい。

入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２１５は、電子機器１１０と１つの装置で構成されてもよい。また、サーバ１５０の入力／出力インタフェース２２４は、サーバ１５０に接続するかサーバ１５０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器１１０のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器１２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。

また、他の実施形態において、電子機器１１０およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１１０は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。

以下では、会議補助用翻訳を提供するための方法およびシステムの具体的な実施形態について説明する。

図３は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。

本実施形態に係る電子機器１１０には、コンピュータで実現された翻訳提供システムが構成されてよい。一例として、翻訳提供システムは、独立的に動作するプログラム形態で実現されてもよいし、あるいは特定のアプリケーション（例えば、テレビ会議システム）のイン－アプリ（ｉｎ－ａｐｐ）形態で構成され、前記特定のアプリケーション上で動作が可能となるように実現されてもよいし、場合によっては、サーバ１５０との連動によって翻訳サービスを提供してもよい。

電子機器１１０にインストールされたアプリケーションが提供する命令に基づき、電子機器１１０に実現された翻訳提供システムは、図４に示した翻訳提供方法を実行してよい。

図４に係る翻訳提供方法を実行するために、電子機器１１０のプロセッサ２１２は、構成要素として、図３に示すように、翻訳表示部３１０、画面切換部３２０、および文書記録部３３０を含んでよい。実施形態によっては、プロセッサ２１２の構成要素は、選択的にプロセッサ２１２に含まれても除外されてもよい。また、実施形態によっては、プロセッサ２１２の構成要素は、プロセッサ２１２の機能の表現のために分離されても併合されてもよい。

このようなプロセッサ２１２およびプロセッサ２１２の構成要素は、図４の翻訳提供方法が含む段階４１０～４３０を実行するように電子機器１１０を制御してよい。例えば、プロセッサ２１２およびプロセッサ２１２の構成要素は、メモリ２１１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

ここで、プロセッサ２１２の構成要素は、電子機器１１０に格納されたプログラムコードが提供する命令（一例として、電子機器１１０で実行されたアプリケーションが提供する命令）にしたがってプロセッサ２１２によって実行される、プロセッサ２１２の互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、電子機器１１０が翻訳結果を表示するように上述した命令にしたがって電子機器１１０を制御するプロセッサ２１２の機能的表現として、翻訳表示部３１０が利用されてよい。

プロセッサ２１２は、電子機器１１０の制御と関連する命令がロードされたメモリ２１１から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明される段階４１０～４３０をプロセッサ２１２が実行するように制御するための命令を含んでよい。

図４を参照すると、段階４１０で、翻訳表示部３１０は、会議の参加者が会議で使用する言語、つまり、会議の主体言語として設定された複数の使用言語のうちのいずれか１つの使用言語で入力された文章（以下、「原文」とする）と、残りの他の使用言語に翻訳された文章（以下、「翻訳文」とする）とを表示してよい。原文は、各会議の参加者の使用言語で入力された原語文章を意味し、翻訳文は、原文が会議の他の参加者の使用言語に翻訳された文章を意味する。翻訳表示部３１０は、オンライン上のテレビ会議やオフライン上の会議などに参加するユーザ（会議の参加者）が含まれたチャットルームで、サーバ１５０から受信された原文と翻訳文を表示してよい。

本発明は、会議補助用として活用することのできる翻訳ツールを提供するものである。このとき、翻訳ツールは、テレビ会議システムに制限されることはなく、オンライン上の会議はもちろん、オフライン上の会議補助ツールとして活用されてもよい。実施形態によっては、サーバ１５０と関連するテレビ会議システムに含まれる形態で実現されることも可能である。

本発明に係る翻訳ツールは、音声認識基盤システムとして、入力／出力インタフェース２１４を通じてユーザの音声入力を受信してよい。一例として、電子機器１１０は、対話基盤のインタフェースによってユーザの音声入力を受信してよい。例えば、電子機器１１０は、対話基盤インタフェースとして、電子機器１１０が含むマイク、または電子機器１１０と連動するマイクのような音声入力装置を通じてユーザの発話による音声入力を受信してよい。

翻訳ツールは、音声入力を受信するための入力手段と、音声入力に対する翻訳結果を表示するためのディスプレイ手段とを含んでよい。このとき、翻訳ツールは、モバイルバージョンとＰＣバージョンを含んでよく、より正確に音声を入力するために、モバイルバージョンとＰＣバージョンを活用することで入力手段をディスプレイ手段と分離することも可能である。一例として、スマートフォンやウェアラブルデバイスなどにインストールされたモバイルバージョンの翻訳ツールを音声入力手段として活用し、コンピュータ、ノート型パンコン、ＰＣなどにインストールされたＰＣバージョンの翻訳ツールをメインディスプレイ手段として活用してよい。

本実施形態では、発話音声を認識して翻訳結果を提供すると説明しているが、これに限定されることはなく、音声入力の他にも、テキスト入力、ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅａｄｅｒ）認識などのようなすべての形態の入力を含んでよい。

サーバ１５０は、翻訳ツールと関連するメッセージングサービスを提供するものであって、多国語翻訳結果を共有するためのチャットルームを支援してよい。会議の参加者は、それぞれ、使用言語を選択してから会議の参加者が含まれたチャットルームに参加してよく、チャットルーム内でマイクボタンを押して使用言語で発話してよい。

翻訳ツールは、多国語で行われる会議環境において、会議の参加者である一ユーザの発話音声に対する音声認識結果とともに、他のユーザの言語に翻訳した結果を同時に表示してよい。サーバ１５０は、会議の参加者の発話による音声入力を受信し、受信された音声入力に対する音声認識結果を原文で提供すると同時に、会議の他の参加者の使用言語に翻訳された翻訳文をともに提供してよい。

さらに、サーバ１５０は、会議の参加者の使用言語、つまり、会議の主体言語の他に、参照言語として設定された第３言語に翻訳された文章（以下、「参照文」とする）を追加で提供してよい。これは、誤訳の発生時の誤った意思伝達を最小化するためのものであり、参照可能な補助翻訳として第３言語翻訳文を提供してよい。第３言語としては会議の参加者の使用言語ではない他の言語が設定され、すべてのユーザを対象に共通するデフォルト言語を適用してもよいし、他の例としては、ユーザ別に各ユーザが選択した言語でカスタマイズ設定することも可能である。

翻訳表示部３１０は、翻訳ツール画面として、会議の参加者が含まれたチャットルーム画面上に多国語翻訳結果を表示するが、原文と翻訳文、さらに参照文を併記する基本モードで表示してよい。

段階４２０で、画面切換部３２０は、画面モードの選択により、翻訳ツール画面を基本モードから字幕モードに切り換えてよい。翻訳ツール画面には、必要に応じて画面モードを切り換えることのできるスイッチングＵＩが含まれ、画面モードは、原文と翻訳文を参照文とともに併記する基本モードと、参照文を除いて原文と翻訳文を字幕形態で表示する字幕モードとを含んでよい。画面切換部３２０は、スイッチングＵＩを利用したモードの選択により、基本モードと字幕モードとの画面切換を提供してよい。

段階４３０で、文書記録部３３０は、議事録ダウンロード機能によって多国語翻訳結果を文書ファイル形態で記録してよい。本実施形態では、チャットルームにおけるユーザ識別によって音声入力段階で会議の参加者（発話者）が明確に区分されるため、会議の参加者別の対話内容の形態で議事録のダウンロードが可能となる。文書記録部３３０は、会議参加者別の対話内容を、会議に使用される複数の使用言語と参照言語のうちの特定の言語の文章として選別して作成した文書ファイルを記録してよい。例えば、文書記録部３３０は、会議の参加者別の対話内容に対し、多国語翻訳結果のうちから電子機器１１０のユーザが選択した言語の文章をダウンロードして議事録文書ファイルとして記録してよい。このとき、文書記録部３３０は、議事録文書を電子機器１１０のユーザが選択したファイルフォーマットでダウンロードして記録してよい。

以下では、会議補助用翻訳ツールに係る実施形態について詳しく説明する。

図５は、テレビ会議のインタフェース画面５００の例を示している。４人のユーザが参加するテレビ会議環境において、ユーザ１とユーザ３は韓国語（ＫＲ）を使用し、ユーザ２とユーザ４は日本語（ＪＰ）を使用すると仮定する。

テレビ会議の環境とは別に、テレビ会議に参加するユーザ１～４は、互いに異なる２つの電子機器でモバイルバージョンとＰＣバージョンの翻訳ツールをそれぞれ実行する。モバイルバージョンを入力手段として活用し、ＰＣバージョンをメインディスプレイ手段として活用する。翻訳ツール上に生成されたチャットルームにはユーザ１～４が参加しており、該当のチャットルームの会議の主体言語として、ユーザ１とユーザ３の使用言語は韓国語（ＫＲ）が設定され、ユーザ２とユーザ４の使用言語は日本語（ＪＰ）が設定される。

参照言語は、韓国語（ＫＲ）と日本語（ＪＰ）ではない第３言語が設定され、例えば、英語（ＵＳ）が設定される。

図６～１５は、本発明の一実施形態における、翻訳ツールのインタフェース画面の例を示した図である。

図６は、ＰＣバージョンの翻訳ツール画面例であって、基本モード画面６００の例を示している。

図６を参照すると、プロセッサ２１２は、翻訳ツール画面として会議の参加者、つまり、ユーザ１～４が参加するチャットルーム画面を表示してよい。このとき、会議参加者別の対話内容は、原文６１０、翻訳文６２０、参照文６３０を併記した基本モードで表示されてよい。

プロセッサ２１２は、会議の参加者が使用言語として設定した会議の主体言語、つまり、韓国語と日本語の他に、第３言語翻訳を参照することができるように参照文６３０を併記してよい。プロセッサ２１２は、原文６１０、翻訳文６２０、参照文６３０を、個別メッセージを示す吹き出し形態で表示してよい。

プロセッサ２１２は、原文６１０、翻訳文６２０、参照文６３０を各言語別に同じ列に整列して表記してよい。例えば、プロセッサ２１２は、原文６１０、翻訳文６２０、参照文６３０を、韓国語列６１、日本語列６２、英語列６３にまとめて表記してよい。基本モード画面６００がユーザ１の電子機器に表示された翻訳ツール画面であるとするとき、最初の列にはユーザ１の使用言語（ＫＲ）に該当する文章が整列されてよく、参照言語の文章は最後の列に整列されてよい。ユーザ２の電子機器に表示された翻訳ツール画面では、最初の列にユーザ２の使用言語（ＪＰ）に該当する文章が整列されてよい。

プロセッサ２１２は、原文６１０、翻訳文６２０、参照文６３０のうちで原文６１０を他の文章と区別し、可読性を高める形態で表示してよい。原文６１０を示す吹き出しにハイライトを適用してもよく、他の文章と文字の色や吹き出しの色などが異なるように適用してもよい。

原文６１０、翻訳文６２０、参照文６３０のうちで原文６１０だけを異にして表記してもよいし、実施形態によっては、原文６１０、翻訳文６２０、参照文６３０をそれぞれ異なるように表記することも可能である。

基本モード画面６００には、字幕モードに切り換えるためのモード切換ボタン６０１が含まれてよい。

図７は、字幕モード画面７００の例を示している。

基本モード画面６００でモード切換ボタン６０１を入力する場合、図７に示すように字幕モード画面７００に切り換わってよい。字幕モード画面７００は、会議の参加者別の対話内容に該当する原文７１０と翻訳文７２０を字幕形態で表示する画面モードである。

字幕モード画面７００では、参照文が省略されてよい。

字幕モード画面７００は、会議中に利用される他のアプリケーション画面７０とともに表示されて会議補助用ツールとして活用されてよく、例えば、他のアプリケーション画面７０上にオーバレイさせて活用してよい。

プロセッサ２１２は、会議の参加者別の対話内容として原文７１０と翻訳文７２０を行単位で順に表示してよい。字幕モード画面７００がユーザ１の電子機器に表示された翻訳ツール画面であると仮定するとき、ユーザ１の使用言語（ＫＲ）に該当する文章が先に表示され、他の使用言語（ＪＰ）に該当する文章が次に表示されてよい。

字幕モード画面７００は、会議中に利用される他のアプリケーション画面７０とともに活用されることにより、多様な付加機能が提供されてよい。一例として、字幕モード画面７００には、基本モードに切り換えるためのモード切換ボタン７０１、画面を固定させるための画面固定ボタン７０２、画面透明度を調節するための透明度調節ボタン７０３などが含まれてよい。

字幕モード画面７００でモード切換ボタン７０１が入力される場合、図６を参照しながら説明した基本モード画面６００に切り換わってよい。

プロセッサ２１２は、画面固定ボタン７０２によって固定状態が設定される場合、他のアプリケーションが実行されたとしても、字幕モード画面７００に該当するレイヤを常に前面（ｆｏｒｅｇｒｏｕｎｄ）に位置させるように固定してよい。

プロセッサ２１２は、透明度調節ボタン７０３を利用した操作に対応して字幕モード画面７００の透明度を調節してよい。字幕モード画面７００が他のアプリケーションの画面７０上に表示される場合、字幕モード画面７００の透明度を調節することにより、下に表示された他のアプリケーション画面７０が見えるようになる。

図８を参照すると、字幕モード画面７００の枠にカーソルが位置する場合、該当のカーソルが字幕モード画面７００の大きさを調節するための大きさ調節ＵＩ８０４に変換されてよい。大きさ調節ＵＩ８０４を利用して字幕モード画面７００を希望の大きさに調節してよく、このとき、字幕モード画面７００の大きさに合わせて字幕モード画面７００内のフォントサイズが自動で調節されてよい。

本実施形態では、原文に対して修正機能を提供することができる。

図９を参照すると、プロセッサ２１２は、会議の参加者である電子機器１１０のユーザ本人が入力した原文それぞれに対し、該当の文章を修正するための修正ボタン９０５を提供してよい。

プロセッサ２１２は、基本モード画面６００で修正ボタン９０５が選択される場合、図１０に示すように、該当の原文に対して修正を行うことができるように、キーボードが含まれた文章修正画面１０４０を提供してよい。文章修正画面１０４０には、修正ボタン９０５が選択された原文内容が自動入力されてよく、入力された文章を修正することのできる機能が含まれてよい。

修正ボタン９０５が選択された直後から、原文修正中には、すべての会議参加者側の基本モード画面６００上から修正前の原文と翻訳文は消え、修正による状態情報（例えば、「原文修正中」メッセージ）が表示されてよい。

原文の修正が完了すれば、基本モード画面６００上には、修正前の原文と翻訳文が修正後の原文と翻訳文に変換されて表示されてよい。

図１１に示すように、プロセッサ２１２は、字幕モード画面７００でも電子機器１１０のユーザ本人が入力した原文７１０を修正するための修正ボタン１１０５を提供してよく、修正ボタン１１０５を利用した原文修正中に、すべての会議参加者側の字幕モード画面７００上には、修正前の原文と翻訳文の代わりに修正による状態情報（例えば、「原文修正中」メッセージ）が表示されてよい。

したがって、本発明に係る翻訳ツールでは、音声の誤入力または誤認識が発生したとしても、会議参加者である本人が入力した原文を修正することが可能となる。原文修正中に修正前の原文と翻訳文の代わりに状態情報を表示することにより、誤った意思伝達を最小化することができる。

上述では、ＰＣバージョンの翻訳ツールにおける修正機能について説明しているが、これに限定されることはなく、以下で説明するモバイルバージョンの翻訳ツールにも修正機能が含まれてよい。

図１２～１５は、モバイルバージョンの翻訳ツール画面の例を示した図である。

電子機器１１０がスマートフォンなどのように画面のサイズが小さいモバイル機器の場合、会議の参加者別の対話内容は、電子機器１１０のユーザ本人が設定した使用言語の文章だけが表示されてよい。

図１２は、韓国語（ＫＲ）を使用言語として設定したユーザ１の電子機器に表示されたモバイルバージョンの翻訳ツール画面１２００を示しており、図１３は、日本語（ＪＰ）を使用言語として設定したユーザ２の電子機器に表示されたモバイルバージョンの翻訳ツール画面１３００を示している。

図１２と図１３に示すように、会議中の対話内容は、韓国語ユーザ側では韓国語文章だけが表示され、日本語ユーザ側では日本語文章だけが表示されてよい。

モバイルバージョンの翻訳ツール画面でも、会議参加者別の対話内容は、個別メッセージを示す吹き出し形態で表示されてよい。

プロセッサ２１２は、電子機器１１０のユーザが他のユーザの対話内容、つまり、相手の吹き出しを選択する場合、相手が自身の使用言語で入力した原文を併記して表示してよい。

図１４を参照すると、韓国語（ＫＲ）を使用言語として設定したユーザ１の電子機器側の翻訳ツール画面１２００では、ユーザ１とユーザ２の対話内容が韓国語文章だけで表示されるようになるが、このとき、ユーザ１がユーザ２の吹き出し１４０１を選択する場合、該当の吹き出し１４０１の下には、ユーザ２が日本語（ＪＰ）で入力した原文１４０２がともに表示されてよい。

他の例として、プロセッサ２１２は、電子機器１１０のユーザが他のユーザの対話内容、つまり、相手の吹き出しを選択する場合、参照言語に翻訳された参照文を併記して表示してよい。

図１５を参照すると、韓国語（ＫＲ）を使用言語として設定したユーザ１の電子機器側の翻訳ツール画面１２００では、ユーザ１とユーザ２の対話内容が韓国語文章だけで表示されるようになるが、このとき、ユーザ１がユーザ２の吹き出し１４０１を選択する場合、該当の吹き出し１４０１の下には参照言語、つまり、英語（ＵＳ）に翻訳された参照文１５０３がともに表示されてよい。

このように、本発明の実施形態によると、多国語翻訳結果を同時に表示する基本モードと翻訳結果を字幕形態で表示する字幕モードを必要に応じてスイッチングして活用することにより、利便性と拡張性を高めることができる。また、本発明の実施形態によると、会議の主体言語の翻訳結果とともに参照言語の翻訳結果を併記して提供することにより、誤訳の発生時の誤った意思伝達を最小化することができる。さらに、本発明の実施形態によると、翻訳結果を他のアプリケーションの画面上に字幕形態で提供して会議補助用ツールとして活用することができ、これによって効率的な会議環境を提供することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記憶媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記憶媒体に格納されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に格納されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために一時格納するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記憶手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が格納されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記憶媒体または格納媒体が挙げられる。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

２１２：プロセッサ
３１０：翻訳表示部
３２０：画面切換部
３３０：文書記録部

Claims (17)

1. コンピュータ装置が実行する翻訳提供方法であって、
   前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
   当該翻訳提供方法は、
   前記少なくとも１つのプロセッサにより、会議補助用ツールとして、会議で使用される言語として設定された複数の言語のうちのいずれか１つの言語で入力された文章である原文と、該原文を前記複数の言語のうちの残りの他の言語に翻訳した翻訳文が含まれた画面を表示する段階を含み、
   前記画面には、画面モードを切り換えるためのスイッチングＵＩが含まれ、
   前記表示する段階は、
   前記スイッチングＵＩを利用した画面モードの選択により、前記原文と前記翻訳文を、前記複数の言語とは異なる第３の言語に翻訳された参照文と併記して表示する基本モード、または前記原文と前記翻訳文を字幕形態で表示する字幕モードで表示することを特徴とする、
   翻訳提供方法。
2. 前記表示する段階は、
   前記原文と前記翻訳文を、前記複数の言語とは異なる第３の言語に翻訳された参照文と併記して表示する段階を含み、
   前記原文を、前記翻訳文および前記参照文と区別して表示することを特徴とする、
   請求項１に記載の翻訳提供方法。
3. 前記表示する段階は、
   前記原文と前記翻訳文を、前記複数の言語とは異なる第３の言語に翻訳された参照文と併記して表示する段階を含み、
   前記原文、前記翻訳文、および前記参照文を、同じ言語別に整列して表示することを特徴とする、
   請求項１に記載の翻訳提供方法。
4. 前記併記して表示する段階は、
   前記会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、前記原文、前記翻訳文、および前記参照文を併記して表示し、
   前記複数の言語のうち、前記コンピュータ装置のユーザの使用言語に該当する文章を最初の列に整列することを特徴とする、
   請求項３に記載の翻訳提供方法。
5. 前記翻訳提供方法は、
   前記少なくとも１つのプロセッサにより、前記スイッチングＵＩを利用した画面モードの選択により、前記原文と前記翻訳文とを字幕形態で表示する字幕モード画面に切り換える段階をさらに含む、
   請求項１に記載の翻訳提供方法。
6. 前記字幕モード画面には、他の画面モードに切り換えるためのＵＩ、前記字幕モード画面が前面に位置されるように固定するためのＵＩ、前記字幕モード画面の透明度を調節するためのＵＩ、前記字幕モード画面の大きさを調節するためのＵＩのうちの少なくとも１つのＵＩを含むことを特徴とする、請求項５に記載の翻訳提供方法。
7. 前記表示する段階は、
   前記会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、前記原文および前記翻訳文を併記して表示する段階を含み、
   前記原文のうち、前記コンピュータ装置のユーザによって入力された原文に対して文章を修正するための修正ＵＩが提供されることを特徴とする、
   請求項１に記載の翻訳提供方法。
8. 前記修正ＵＩによって修正中の原文の場合、修正前の原文と翻訳文との代わりに修正による状態情報が表示され、修正が完了すれば、修正された原文と翻訳文とに変換されて表示されることを特徴とする、請求項７に記載の翻訳提供方法。
9. 前記表示する段階は、
   前記画面がモバイルバージョンの画面の場合、前記モバイルバージョンの画面上には、前記原文および前記翻訳文のうちで前記コンピュータ装置のユーザの使用言語に該当する文章だけを表示することを特徴とする、
   請求項１に記載の翻訳提供方法。
10. 前記表示する段階は、
    前記モバイルバージョンの画面に表示された文章のうちから前記コンピュータ装置のユーザによって特定の文章が選択される場合、前記特定の文章の原文を表示することを特徴とする、
    請求項９に記載の翻訳提供方法。
11. 前記表示する段階は、
    前記モバイルバージョンの画面に表示された文章のうちから前記コンピュータ装置のユーザによって特定の文章が選択される場合、前記特定の文章を前記複数の言語とは異なる第３の言語に翻訳した参照文を表示することを特徴とする、
    請求項９に記載の翻訳提供方法。
12. 前記表示する段階は、
    前記会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、前記原文と前記翻訳文を併記して表示する段階を含み、
    当該翻訳提供方法は、
    前記少なくとも１つのプロセッサにより、前記ユーザ別の対話メッセージを含む議事録文書ファイルを記録する段階をさらに含む、
    請求項１に記載の翻訳提供方法。
13. 前記記録する段階は、
    前記ユーザ別の対話メッセージとして、前記複数の言語のうちから前記コンピュータ装置のユーザによって選択された言語に該当する文章を選別して前記議事録文書ファイルとして記録することを特徴とする、
    請求項１２に記載の翻訳提供方法。
14. 請求項１～１３のうちのいずれか一項に記載の翻訳提供方法を前記コンピュータ装置に実行させる、コンピュータプログラム。
15. 請求項１～１３のうちのいずれか一項に記載の翻訳提供方法をコンピュータに実行させるためのプログラムが格納されている、非一時的なコンピュータ読み取り可能な記憶媒体。
16. コンピュータ装置であって、
    メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
    前記少なくとも１つのプロセッサは、
    会議補助用ツールとして、会議で使用される言語として設定された複数の言語のうちのいずれか１つの言語で入力された文章である原文と、前記原文を前記複数の言語のうちの残りの他の言語に翻訳した翻訳文とが含まれた画面を表示する翻訳表示部を含み、
    前記画面には、画面モードを切り換えるためのスイッチングＵＩが含まれ、
    前記翻訳表示部は、前記原文と前記翻訳文を、前記複数の言語とは異なる第３の言語に翻訳された参照文と併記する基本モードで表示し、
    前記少なくとも１つのプロセッサは、
    前記スイッチングＵＩを利用した画面モードの選択により、前記原文と前記翻訳文とを字幕形態で表示する字幕モード画面に切り換える画面切換部をさらに含むことを特徴とする、
    コンピュータ装置。
17. 前記翻訳表示部は、
    前記会議に参加する複数のユーザが含まれたチャットルームで、各ユーザ別の対話メッセージとして、前記原文および前記翻訳文を、前記複数の言語とは異なる第３の言語に翻訳された参照文と併記して表示し、
    前記原文を、前記翻訳文および前記参照文と区別して表示し、
    前記原文、前記翻訳文、および前記参照文を、同じ言語別に整列して表示することを特徴とする、
    請求項１６に記載のコンピュータ装置。

Images