JP7624851B2 - 自然言語処理装置、翻訳装置、およびプログラム - Google Patents

Description

特許法第３０条第２項適用 （１） 発行日（公開日） 令和２年（西暦２０２０年）５月２２日 刊行物 ２０２０年度 人工知能学会全国大会（第３４回）予稿集ＰＤＦ 一般社団法人 人工知能学会 発行（Ｗｅｂ公開（ダウンロード）ＵＲＬ：ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｓａｉ２０２０／ｐｒｏｃｅｅｄｉｎｇｓ／ｌｉｓｔ） ＜資 料＞ ２０２０年度 人工知能学会全国大会（第３４回）予稿集ＰＤＦ 掲載論文 抜粋 ＜資料＞ 予稿集ＰＤＦダウンロードサイト ウェブページ

特許法第３０条第２項適用 （２） 開催日（公開日） 令和２年（西暦２０２０年）６月１２日（会期：６月９日～６月１２日） 集会名、開催場所 ２０２０年度 人工知能学会全国大会（第３４回） 一般社団法人 人工知能学会 主催 インターネットによる通信（Ｚｏｏｍ）を用いたオンライン開催（Ｗｅｂ公開（抄録）ＵＲＬ：ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｓａｉ２０２０／ｓｕｂｊｅｃｔ／４Ｒｉｎ１－４４／ｃａｔｅｇｏｒｙ？ｃｒｙｐｔｏＩｄ＝ ＜資 料＞ ２０２０年度 人工知能学会全国大会（第３４回）開催案内 ウェブページ ＜資 料＞ ２０２０年度 人工知能学会全国大会（第３４回）重要日程 ウェブページ ＜資 料＞ ２０２０年度 人工知能学会全国大会（第３４回）タイムテーブル ウェブページ ＜資 料＞ ２０２０年度 人工知能学会全国大会（第３４回）セッション情報 ウェブページ ＜資 料＞ ２０２０年度 人工知能学会全国大会（第３４回）講演情報（抄録） ウェブページ

本発明は、自然言語処理装置、翻訳装置、およびプログラムに関する。

近年の機械翻訳の技術のレベルは、用途によっては実用に耐え得る程度にまで向上してきている。また、機械翻訳の技術を有効に活用するため、用途に応じた工夫なども研究されている。

非特許文献１および非特許文献２には、自然言語によって記述された文の機械翻訳を行う装置が記載されている。

Rico Sennrich，Barry Haddow，Alexandra Birch，Neural Machine Translation of Rare Words with Subword Units，Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics，p.1715-1725，2016年8月，Association for Computational Linguistics，ＵＲＬ：https://www.aclweb.org/anthology/P16-1162.pdf Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit，Llion Jones，Aidan N. Gomez，Lukasz Kaiser，Illia Polosukhin， Attention Is All You Need，31st Conference on Neural Information Processing Systems (NIPS 2017),Long Beach, CA, USA.，2017年，ＵＲＬ：https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf

平均的な一文の中に込められる内容の量は、言語の種類に応じて異なる場合がある。また、機械翻訳の技術の特定の応用分野では、一文の中に込める内容の量を適切に制御したい場合もある。

例えば、英語の一文に通常含まれる内容の量は、日本語の一文のそれよりも少ない場合が多い。また、テレビや、ラジオや、動画配信や、インターネットのニュースサイト等におけるニュースにおいて、日本語のニュース原稿の一文は相対的に長い傾向がある。一方、上記のようなニュースにおいて英語のニュース原稿の一文は相対的に短い傾向がある。英語のニュース原稿は、基本的に一文一義で表現される。したがって、例えば、日本語のニュース原稿を基に、翻訳して英語のニュース原稿を制作する場合には、日本語の一文が英語の複数文に短く区切って翻訳されることが多い。

このように、言語によって、あるいは用途によって、翻訳処理の出力側（目的言語側）の文の数を制御したい場合がある。また、出力側の文の数を制御することにより、出力側の一文の長さを制御することも可能である。

しかしながら、従来の技術において、翻訳処理の入力側（原言語側）の文を与えた際に、出力側（目的言語側）の文の数を制御することはできない。非特許文献１や非特許文献２にも、出力側（目的言語側）の文の数の制御については記載されていない。特定の言語ペアにおける機械翻訳や、特定の利用目的のための機械翻訳の処理を考えたときに、原言語側の一文を目的言語側の所望の（適切な）文数の文に翻訳できるようになることが望ましい。

そのためには、次の２つのタスクを自動的に実行できるようにすることが望まれる。第１のタスクは、適切な出力文数を推定することである。第２のタスクは、特定の出力文数になるように翻訳機を制御することである。

本発明は、上記の課題認識に基づいて行なわれたものであり、翻訳対象とする原言語文に応じて、翻訳結果である目的言語文の文数を少なくとも推定することのできる自然言語処理装置、翻訳装置、およびプログラムを提供しようとするものである。

［１］上記の課題を解決するため、本発明の一態様による自然言語処理装置は、学習用原言語文と、前記学習用原言語文に対応する学習用目的言語文と、前記学習用目的言語文の文数を表す学習用文数情報と、を含む学習用データを供給する学習用データ供給部と、機械学習可能なモデルを備え、原言語文を入力し、前記原言語文に対応する目的言語文の文数を表す文数情報を少なくとも出力する推定部と、前記推定部に対して前記原言語文を供給する原言語文供給部と、を備え、学習モードで動作する場合には、前記推定部は、前記学習用データ供給部が供給する前記学習用データに基づいて、前記モデルの機械学習を行い、推定実行モードで動作する場合には、前記推定部は、前記原言語文供給部が供給する前記原言語文に基づいて、当該原言語文に対応する前記文数情報を出力する、ものである。

［２］また、本発明の一態様による自然言語処理装置は、機械学習可能なモデルを備え、原言語文を入力し、前記原言語文に対応する目的言語文の文数を表す文数情報を少なくとも出力する推定部と、前記推定部に対して前記原言語文を供給する原言語文供給部と、を備え、前記モデルは、学習用原言語文と、前記学習用原言語文に対応する学習用目的言語文と、前記学習用目的言語文の文数を表す学習用文数情報と、を含む学習用データに基づいて機械学習済みであり、前記推定部は、前記原言語文供給部が供給する前記原言語文に基づいて、当該原言語文に対応する前記文数情報を出力する、ものである。

［３］また、本発明の一態様による自然言語処理装置は、学習用原言語文と、前記学習用原言語文に対応する学習用目的言語文と、前記学習用目的言語文の文数を表す学習用文数情報と、を含む学習用データを供給する学習用データ供給部と、機械学習可能なモデルを備え、原言語文を入力し、前記原言語文に対応する目的言語文の文数を表す文数情報を少なくとも出力する推定部と、を備え、前記推定部は、前記学習用データ供給部が供給する前記学習用データに基づいて、前記モデルの機械学習を行う、ものである。

［４］また、本発明の一態様による翻訳装置は、学習用原言語文と学習用目的言語文との対のデータを供給する文対供給部と、供給された前記学習用目的言語文に含まれる文数を求める文数推定部と、前記学習用原言語文に、前記文数推定部が求めた前記文数の情報を付加して、前記学習用目的言語文の文数の情報が付加された前記学習用原言語文のデータを出力する文数情報付与部と、前記学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、前記学習用目的言語文のデータとの対を、学習用データとして供給する学習用データ供給部と、入力された入力原言語文に、当該入力原言語文に対応する出力用の出力目的言語文の文数の情報を付加する文数指定部と、モデルを備え、前記学習用データを用いて前記モデルの学習を行うとともに、前記出力目的言語文の文数の情報を付加した前記入力原言語文を、前記モデルに入力することによって、前記モデルが求めた出力目的言語文を出力する翻訳処理部と、上記［１］または［２］に記載の自然言語処理装置と、を備え、前記自然言語処理装置の原言語文供給部は、前記入力原言語文を、前記自然言語処理装置の前記推定部に供給し、前記文数指定部は、前記自然言語処理装置の前記推定部が出力した前記文数情報に基づいて、前記出力用の出力目的言語文の文数の情報を付加する、ものである。

［５］また、本発明の一態様による翻訳装置は、入力された入力原言語文に、当該入力原言語文に対応する出力用の出力目的言語文の文数の情報を付加する文数指定部と、モデルを備え、前記出力目的言語文の文数の情報を付加した前記入力原言語文を、前記モデルに入力することによって、前記モデルが求めた出力目的言語文を出力する翻訳処理部と、上記［１］または［２］に記載の自然言語処理装置と、を備え、前記モデルは、学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、学習用目的言語文のデータと、の対である学習用データを用いて学習済みであり、前記自然言語処理装置の原言語文供給部は、前記入力原言語文を、前記自然言語処理装置の前記推定部に供給し、前記文数指定部は、前記自然言語処理装置の前記推定部が出力した前記文数情報に基づいて、前記出力用の出力目的言語文の文数の情報を付加する、ものである。

［６］また、本発明の一態様は、上記［１］から［３］までのいずれかに記載の自然言語処理装置、としてコンピューターを機能させるためのプログラムである。

［７］また、本発明の一態様は、上記［４］または［５］の翻訳装置、としてコンピューターを機能させるためのプログラムである。

［参考態様］上記［４］において、前記文数推定部は、供給された前記学習用目的言語文に含まれる文末記号の数をカウントすることによって、前記学習用目的言語文に含まれる文数を求める、ものであってもよい。

［参考態様］上記［４］において、前記文数情報付与部は、テキストデータである前記学習用原言語文の先頭部分に、前記学習用目的言語文の文数の情報を付加し、前記文数指定部は、テキストデータである前記入力原言語文の先頭部分に、前記出力目的言語文の文数の情報を付加する、ものであってもよい。

［参考態様］学習用原言語文と学習用目的言語文との対のデータを供給する文対供給部と、供給された前記学習用目的言語文に含まれる文数を求める文数推定部と、前記学習用原言語文に、前記文数推定部が求めた前記文数の情報を付加して、前記学習用目的言語文の文数の情報が付加された前記学習用原言語文のデータを出力する文数情報付与部と、前記学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、前記学習用目的言語文のデータとの対を、学習用データとして供給する学習用データ供給部と、前記学習用データを用いてモデルの学習を行う学習処理部と、を備える学習装置において、文数情報付与部は、［１］や［２］の自然言語処理装置の推定部が推定した文数情報に基づいて、前記文数の情報を付加してもよい。

本発明によれば、原言語文を与えたときに、文数推定装置が、その原言語文に対応する目的言語文（翻訳結果）の適切な文数を推定することができる。

また、文数推定装置が推定した文数を指定することによって、翻訳装置が出力する目的言語文（翻訳結果）の文数を制御することができる。

本発明の第１実施形態による文数推定装置の概略機能構成を示すブロック図である。 同実施形態による文数推定装置が学習モードで動作する場合に、文対供給部が供給するデータの構成例を示す概略図である。 同実施形態による文数推定装置が学習モードで動作する場合に、文数情報付与部が学習用データ供給部に渡すデータの構成例を示す概略図である。 同実施形態による文数推定装置が推定実行モードで動作する場合に、原言語文供給部が推定部に渡すデータの構成例を示す概略図である。 同実施形態による文数推定装置が推定実行モードで動作する場合に、推定部が出力するデータ（推定された文数の情報を含む）の例を示す概略図である。 本発明の第２施形態による翻訳装置の概略機能構成を示すブロック図である。 同実施形態における文対供給部が供給する文対のデータの例を示す概略図である。 同実施形態における学習用データ供給部が翻訳処理部に渡す学習用データ（文対）の例を示す概略図である。 同実施形態における翻訳処理部が機械学習を行うための学習用データを生成する処理の手順を示すフローチャートである。 同実施形態による翻訳装置の内部構成の例を示すブロック図である。 同実施形態による翻訳装置を用いて翻訳処理を行った結果の例を示す概略図である。

次に、本発明の複数の実施形態について、図面を参照しながら説明する。

［第１実施形態］
第１実施形態の文数推定装置は、原言語（source language）の文を目的言語（target language）の文に翻訳する際に有用な、文数情報を推定するものである。具体的には、この文数推定装置は、翻訳対象である原言語文が与えられたときに、その原言語文に対応する目的言語文（翻訳結果）の適正な文数を推定するものである。なお、この文数推定装置は、下で説明するように、機械学習可能なモデルを備える。

なお、以下の説明では、原言語文が日本語の文であり、目的言語文が英語の文である場合の例を用いる。ただし、原言語および目的言語のそれぞれが他の言語であってもよい。原言語および目的言語のそれぞれは、例えば、英語、ドイツ語、日本語、フランス語、ロシア語、スペイン語、イタリア語、中国語、韓国語、あるいはその他の言語であってよい。

図１は、本実施形態による文数推定装置の概略機能構成を示すブロック図である。図示するように、文数推定装置３２０は、推定部３２１と、原言語文供給部３２２と、文数情報抽出部３２３と、文対供給部３２６と、文数情報付与部３２７と、学習用データ供給部３２８とを含んで構成される。これらの各機能部は、例えば、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各機能部の少なくとも一部の機能を、プログラムではなく専用の電子回路等として実現してもよい。文数推定装置３２０を構成する各部の機能については、下で説明する。

なお、文数推定装置３２０は、学習モードと、推定実行モードとの、いずれかのモードで動作することができる。学習モードで動作する場合には、文数推定装置３２０は、内部のモデルの機械学習を行う。推定実行モードで動作する場合には、翻訳装置１は、そのときの状態のモデルに基づいて、入力文に合った出力文の文数を推定する処理を行う。

なお、文数推定装置３２０は、上記の通りモデルの学習を行う機能を持つ。よって、文数推定装置３２０を学習装置と呼んでもよい。また、文数推定装置３２０は、自然言語のデータを処理する機能を持つ。よって、文数推定装置３２０を自然言語処理装置と呼んでもよい。

推定部３２１は、入力される原言語文のデータに基づいて、目的言語文（翻訳結果）のデータを出力する。ただし、推定部３２１は、目的言語文とともに、翻訳結果の適正な文数についての推定値の情報を出力する。推定部３２１は、機械学習可能なモデルを内部に備える。このモデルは、例えば、ニューラルネットワークを用いて実現される。このモデルとしては、例えば、Transformerなどを使用することができる。推定部３２１は、ニューラルネットワークの内部パラメーターを記憶する記憶手段を持つ。内部パラメーターの値は更新可能である。

つまり、推定部３２１は、機械学習可能なモデルを備え、原言語文を入力し、前記原言語文に対応する目的言語文の文数を表す文数情報を少なくとも出力するものである。

文数推定装置３２０が学習モードで稼働する場合には、推定部３２１は、学習用データ供給部３２８から渡される大量の学習用データを用いて、内部のモデルの学習を行う。つまり、推定部３２１は、学習用データに基づいて、モデルの内部パラメーターの値を調整する。学習用データは、原言語文と目的言語文（翻訳結果）との対である。ただし、この対における目的言語文のデータには、出力文数の情報が付加されている。出力文数の情報は、例えば、目的言語文の先頭に付加されたタグ情報である。つまり、推定部３２１は、機械学習により、入力される原言語文に対応する、適切な出力文数の情報を出力するように訓練される。言い換えれば、推定部３２１は、機械学習により、そのように内部パラメーターの値を調整する。推定部３２１が学習のために用いる学習用データについては、後で図３を参照しながら説明する。

つまり、学習モードにおいて、推定部３２１は、学習用データ供給部３２８が供給する学習用データに基づいて、モデルの機械学習を行う。

文数推定装置３２０が推定実行モードで稼働する場合には、推定部３２１は、学習済みのモデルの内部パラメーターに基づいて、原言語文に対応する目的言語文の適切な文数を推定する処理を行う。具体的には、推定部３２１は、原言語文供給部３２２から渡される原言語文のデータに基づいて、対応する目的言語文（翻訳結果）の文数の情報を出力する。推定部３２１は、出力するデータを、文数情報抽出部３２３に渡す。なお、推定部３２１は、入力される原言語文に対応する、出力文数の情報と、翻訳結果である目的言語文との情報とを、あわせて文数情報抽出部３２３に渡すようにしてよい。推定部３２１が原言語文供給部３２２から受け取るデータの構成については、後で図４を参照しながら説明する。また、推定部３２１が文数情報抽出部３２３に渡すデータの構成については、後で図５を参照しながら説明する。

つまり、推定実行モードにおいて、推定部３２１は、原言語文供給部３２２が供給する原言語文に基づいて、当該原言語文に対応する文数情報を出力する。

原言語文供給部３２２は、文数推定装置３２０が推定実行モードで動作する場合において、翻訳処理の対象である原言語文のデータを、推定部３２１に供給する。この原言語文のデータは、語の列として表わされる、１個の文のデータである。原言語文供給部３２２が供給するデータの構成については、後で図４を参照しながら説明する。

文数情報抽出部３２３は、文数推定装置３２０が推定実行モードで動作する場合において、推定部３２１が出力するデータから、目的言語文（翻訳結果）の文数情報のみを抽出する。文数情報抽出部３２３は、得られた文数情報（数値）を、外部に出力する。文数情報抽出部３２３が抽出した文数のデータは、例えば、翻訳処理の際の出力文数を制御するために使用可能である（第２実施形態を参照）。

文対供給部３２６は、文数推定装置３２０が学習モードで動作する場合において、原言語文と目的言語文との対を供給する。ここで、目的言語文は、原言語文の翻訳結果に相当する。つまり、この文対は、対訳文対である。文対供給部３２６は、推定部３２１の学習のために、大量の文対を供給することができる。文対供給部３２６が供給するデータの構成例については、後で図２を参照しながら説明する。

文数情報付与部３２７は、文対供給部３２６が供給するデータに、目的言語文の文数の情報を付加する。文数情報付与部３２７は、文対供給部３２６から渡される文対における、目的語文データに含まれる文の数をカウントする。文数情報付与部３２７は、カウントした結果である数値の情報を、タグとして、文対データに付加する。具体的には、文数情報付与部３２７は、例えば、目的語文の先頭部分に、この文数を表すタグを付加する。文数情報付与部３２７は、文数の情報を付加した後の文対データを、推定部３２１の学習に用いられるように、学習用データ供給部３２８に渡す。

文数情報付与部３２７は、例えば、目的言語文データにおける文の区切りをカウントすることによって、文数のカウントを行う。文の区切りは、英語文の場合には、例えば、ピリオドや、疑問符や、感嘆符などの文字である。文数情報付与部３２７は、他の方法によって目的言語文データに含まれる文の数を求めてもよい。一例として、文数情報付与部３２７は、目的言語文の構文解析処理を行うことによって、目的言語文データに含まれる各文を特定し、文数を決定してよい。

なお、文数情報付与部３２７は、人手でカウントした文数に基づいて、その文数を表すタグをデータに付加するものであってもよい。

文数情報付与部３２７が学習用データ供給部３２８に渡すデータの構成例については、後で図３を参照しながら説明する。

学習用データ供給部３２８は、文数情報付与部３２７から受け取ったデータを、学習用データとして、推定部３２１に供給する。学習用データ供給部３２８は、原言語文データと、文数情報が付加された目的言語文データとのそれぞれを、推定部３２１に渡す。原言語文データは、推定部３２１が持つモデル（ニューラルネットワーク等）への入力データとして使用される。文数情報が付加された目的言語文データは、例えば誤差逆伝播法を実行するための誤差（loss）を算出するために、推定部３２１に渡される。なお、誤差逆伝播法等を用いてモデルの機械学習を行う手法自体は、既存技術に属するものである。

つまり、学習用データ供給部３２８は、学習用原言語文と、前記学習用原言語文に対応する学習用目的言語文と、前記学習用目的言語文の文数を表す学習用文数情報と、を含む学習用データを供給するものである。

上で説明した各部を備える文数推定装置３２０による処理について、さらに以下で説明する。

まず、原言語文データ（日本語テキスト）と目的言語文データ（英語テキスト）とを用意する。ここで、目的言語文データ（英語テキスト）は、原言語文データ（日本語テキスト）の各文を人手で翻訳したものである。すべての原言語文データ（日本語テキスト）と目的言語文データ（英語テキスト）とは、相互に対応付けられている。なお、原言語文データ（日本語テキスト）の１文が、目的言語文データ（英語テキスト）における複数文に対応付く場合もある。

上記のデータを文対供給部３２６が供給する。

文数情報付与部３２７は、目的言語文データ（英語テキスト）が、いくつの文を含むかを推定する。言い換えれば、文数情報付与部３２７は、原言語文データ（日本語テキスト）の１文が対応する英語テキストの文数を推定（カウント）する。文数情報付与部３２７は、例えば、目的言語文データ（英語テキスト）が含むピリオド（文の区切り）の数を数える。ただし、英語では「Ｍｒ．」といった省略形を表現する場合等にもピリオドが使用される。こういった例による文数の誤推定を避けるため、文数情報付与部３２７は、byte-pair-encodingなどの方法で英文を分割し、ピリオド単体で分割されたものの数を数えるようにしてもよい。

文数情報付与部３２７は、各文対の目的言語文データ（英語テキスト）の先頭に、推定結果である文数を表すタグを付与する。文数情報付与部３２７は、このタグが付いたデータを、推定部３２１の学習用のデータとして出力する。

推定部３２１は、学習モードでの動作により、上記の学習用データを用いて、モデルの機械学習を行う。学習済みのモデルの情報は、推定部３２１の内部の記憶手段に保存される。

上記のようにして、文数推定装置３２０は、入力される原言語文に対応する適切な目的言語文の数を推定することができるようになる。

次に、図２、図３、図４、図５を参照しながら、文数推定装置３２０が処理するデータについて説明する。

図２は、文数推定装置３２０が学習モードで動作する場合に、文対供給部３２６が供給するデータの構成例を示す概略図である。図示するように、文対供給部３２６が供給するデータは、原言語文（日本語文）と目的言語文（英語文）の対のデータである。この原言語文と目的言語文の対は、対訳文対である。本例では、原言語文（日本語文）は「全国一の生産量を誇る広島特産のカキを夏にも観光客らに楽しんでもらおうと、広島県は新たに生食用のカキを開発し、１６日、関係者を集めて試食会を開きました。」である。また、目的言語文（英語文）は、「Hiroshima is the number one producer of oysters in the country. The prefecture has newly developed oysters for eating raw so that tourists can enjoy oysters, a specialty of Hiroshima, also in summer. Officials held a tasting event on July 16, inviting people concerned.」である。

文対供給部３２６から図２のデータを受け取った場合、文数情報付与部３２７は、その文対データにおける目的語文の文数の情報を付加する。

図３は、文数推定装置３２０が学習モードで動作する場合に、文数情報付与部３２７が学習用データ供給部３２８に渡すデータの構成例を示す概略図である。図示するように、文数情報付与部３２７が出力するデータには、当該文対における目的言語文の文数の情報が付加されている。具体的には、このデータは、目的言語文の先頭の部分に＜３＞というタグ情報を持っている。この「３」は、目的言語文「Hiroshima is the number one・・・（以下省略）」に含まれる文の数を表す。

図３に示すデータは、推定部３２１が持つモデルの学習を行う際に、学習用データ供給部３２８が推定部３２１に対して供給するものである。つまり、推定部３２１が持つモデルは、目的言語文の先頭に文数の情報が付加された状態での対訳文対による機械学習を行う。つまり、目的言語文自体の情報とともに、目的言語文の文数の情報が、そのモデルが持つ内部パラメーターの調整に作用を及ぼす。言い換えれば、推定部３２１が持つモデルがニューラルネットワークを用いて構成される場合には、目的言語文の文数（図３のデータの場合には「３」）が、誤差逆伝播法を用いたときに、そのニューラルネットワークの内部パラメーターの値の更新に影響する。

図４は、文数推定装置３２０が推定実行モードで動作する場合に、原言語文供給部３２２が推定部３２１に渡すデータの構成例を示す概略図である。図示するように、このデータは、翻訳対象である原言語文のデータである。図４に示すデータ自体は、翻訳結果である目的言語文の文数に関する情報を持たない。本例では、原言語文は、図２における原言語文の「全国一の生産量を誇る広島特産のカキを・・・（以下省略）」と同一である。ただし、原言語文供給部３２２が推定部３２１に渡す文は、原言語（ここでは、日本語）で記述された任意の文であってよい。

図５は、文数推定装置３２０が推定実行モードで動作する場合に、推定部３２１が出力するデータの例を示す概略図である。図５のデータは、図４のデータが入力された場合に推定部３２１が出力するデータの例である。図示するように、図５のデータは、翻訳結果である目的言語（ここでは、英語）の文を含むとともに、その先頭に数値情報のタグを付加したものである。本例では、そのタグは＜３＞である。このタグは、目的言語文の文数の推定結果を表す数値を表す。文数の情報は、多数の学習用データに基づいて学習済みのモデルが生成したものである。

推定部３２１が図５のデータを出力すると、文数情報抽出部３２３は、このデータから文数情報を抽出する。具体的には、文数情報抽出部３２３は、図５のデータの先頭の＜３＞というタグに基づき、文数「３」を抽出する。文数情報抽出部３２３は、抽出した文数情報（たとえば、３）を外部に抽出する。

以上説明したように、本実施形態の文数推定装置３２０によれば、入力される原言語文に応じて、適切な目的言語文（前記原言語文の翻訳結果）の文数を推定することができるようになる。また、推定された文数の情報を用いて、次に説明する第２実施形態の翻訳装置１が、その文数（またはそれに近い文数）の翻訳結果を出力することができるようになる。

第１実施形態の変形例として、文数推定装置３２０が、学習済みのモデルを用いて、原言語文に対応する目的言語文の出力文数を推定するようにしてもよい。この場合には、文数推定装置３２０は、モデルの学習を行うための機能を必要としない。また、別の変形例として、文数推定装置３２０が、モデルの学習のみを行うようにしてもよい。このように学習したモデルを、他の装置に移植することができる。この場合には、文数推定装置３２０は、モデルの学習を行うための機能のみを備えれば十分であり、実際に出力文数を推定するための機能を必要としない。

なお、コンピューターおよびプログラムを用いて文数推定装置３２０を実現することが可能である。コンピューターおよびプログラムを用いて文数推定装置３２０を実現する具体的な方法については、次の第２実施形態の中で説明する。本実施形態の文数推定装置３２０は、第２実施形態における文数推定部３２に相当する装置である。

［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

本実施形態は自然言語で記述された文の翻訳処理を行う翻訳装置に係るものである。翻訳処理の入力側の文は、原言語（source language）で記述されている。翻訳処理の出力側の文は、目的言語（target language）で記述されるものである。原言語および目的言語のそれぞれは、例えば、英語、ドイツ語、日本語、フランス語、ロシア語、スペイン語、イタリア語、中国語、韓国語、あるいはその他の言語である。基本的には、翻訳処理において原言語の種類と目的言語の種類とは異なるものである。但し、原言語の種類と目的言語の種類とが同一であってもよい。

図６は、本実施形態による翻訳装置の概略機能構成を示すブロック図である。図示するように、翻訳装置１は、原言語文入力部２１と、文数指定部２２と、翻訳処理部２３と、翻訳結果出力部２４と、文対供給部３１と、文数推定部３２と、文数情報付与部３３と、学習用データ供給部３４とを含んで構成される。これらの各機能部は、例えば、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各機能部の少なくとも一部の機能を、プログラムではなく専用の電子回路等として実現してもよい。

なお、翻訳装置１は、学習モードと、翻訳実行モードとの、いずれかのモードで動作することができる。学習モードで動作する場合には、翻訳装置１は、内部のモデルの機械学習を行う。翻訳実行モードで動作する場合には、翻訳装置１は、そのときの状態のモデルに基づいて、自然言語の翻訳処理を行う。

なお、翻訳装置１は、上記の通りモデルの学習を行う機能を持つ。よって、翻訳装置１を学習装置と呼んでもよい。また、翻訳装置１は、自然言語のデータを処理する機能を持つ。よって、翻訳装置１を自然言語処理装置と呼んでもよい。

原言語文入力部２１、文数指定部２２、翻訳処理部２３、翻訳結果出力部２４という直列のつながりは、翻訳装置１が翻訳実行モードで動作するときの処理の流れに対応する。以下では、原言語文入力部２１、文数指定部２２、翻訳処理部２３、翻訳結果出力部２４の各部の機能を、翻訳実行モードで動作と関連付けて説明する。

原言語文入力部２１は、翻訳対象である原言語文を取得し、文数指定部２２に渡す。原言語文入力部２１は、原言語文を、例えば外部から取得したり、翻訳装置１からアクセス可能な記憶部から読み出したりする。原言語文は、例えば、テキストデータとして翻訳装置１内で存在する。ここで入力される原言語文を、入力原言語文と呼ぶ。また、この入力原言語文に対応する出力用の目的言語文（翻訳結果）を出力目的言語文と呼ぶ。

文数指定部２２は、原言語文入力部２１から受け取った原言語文を翻訳した結果における、目的言語文の文数を指定する。文数指定部２２は、例えば、外部から取得した数値や、翻訳装置１内の所定の記憶部から読み出した数値等に基づいて、目的言語文の文数を指定する。文数指定部２２は、目的言語文の文数の情報を、前記原言語文に付加する。文数指定部２２は、目的言語文の文数の情報を付加した状態の原言語文を、翻訳処理部２３に渡す。文数指定部２２が目的言語文の文数の情報を原言語文に付加する具体的な方法の例については、後述する。つまり、文数指定部２２は、入力された入力原言語文に、当該入力原言語文に対応する出力用の出力目的言語文の文数の情報を付加して、翻訳処理部２３に渡す。

文数指定部２２は、後で例示するように、テキストデータである入力原言語文の先頭部分に、出力目的言語文の文数の情報を付加してよい。この場合、学習用データにおいても、原言語文の先頭部分に目的言語文の文数の情報を付加するようにする。原言語文の先頭に文数の情報を付加することにより、原言語文のテキストが可変長であっても、文数の情報は常に固定の位置に付加される。これは、文数の情報に基づく機械学習を行う際に有利である。

翻訳処理部２３は、入力される原言語文を基に、翻訳処理を行い、目的言語文を出力する。翻訳処理部２３は、内部に翻訳用のモデルを持っている。このモデルは、学習用データを用いて学習可能なものである。モデルは、例えば、ニューラルネットワークを用いて実現される。より具体的には、モデルは、ＲＮＮ（再帰型ニューラルネットワーク、Recurrent Neural Network）や、Ｔｒａｎｓｆｏｒｍｅｒ（トランスフォーマー）等を用いて実現されてよい。ただし、モデルを実現するための具体的な構成は、ここに例示したものには限定されない。なお、ここで挙げたニューラルネットワーク、ＲＮＮ、Ｔｒａｎｓｆｏｒｍｅｒといった技術自体は、利用可能な既存技術である。翻訳処理部２３の内部のモデルが適切に学習されていた場合、翻訳処理部２３は、入力される原言語文の翻訳文である目的言語文（複数の文である場合もある）を生成して出力することが期待される。また、翻訳処理部２３の内部のモデルが適切に学習されていた場合、翻訳処理部２３は、文数指定部２２によって指定された数の（あるいは少なくとも、指定された数に近い数の）目的言語文を生成して出力することが期待される。つまり、翻訳処理部２３は、モデルを備え、学習用データを用いてそのモデルの学習を行うとともに、出力目的言語文の文数の情報を付加した入力原言語文を、モデルに入力することによって、モデルが求めた出力目的言語文を出力するものである。また、翻訳処理部２３は、上記の通りモデルの学習を行うものであり、「学習処理部」と呼んでもよい。

なお、翻訳処理部２３の、学習モードにおける動作と、翻訳実行モードにおける動作とは、次の通りである。

学習モードにおいては、翻訳処理部２３は、学習用データ供給部３４から提供される学習用データに基づいて、モデルの学習処理を行う。学習用データは、モデルへの入力データと出力データとの対の集合である。本実施形態において、モデルへの入力データは、出力データである目的言語文の文数（推定値）が付加された、原言語文のテキストデータである。また、学習用データに含まれる出力データは、目的言語文の正解のテキストデータである。ニューラルネットワークで実現されているモデルは、この入力データを基に、ネットワークの各ノードでの演算を行い、出力データを求める。モデルが求めた出力データは、目的言語文に対応するものである。翻訳処理部２３は、入力データに基づいてモデルが算出した出力データ（推定データ）と、学習用データ内の出力データとの、差（ロス）を算出する。そして、翻訳処理部２３は、算出された差に基づいて、誤差逆伝播法（バックプロパゲーション）によりモデルの内部パラメーターを更新する。誤差逆伝播法によるニューラルネットワークの内部パラメーターの更新は、既存の技術により実行可能である。翻訳処理部２３は、更新後のモデルの内部パラメーターの値を、適宜、記憶部（不図示）に書き込む。翻訳処理部２３は、学習用データに含まれる多数の文対のそれぞれについてこのような処理を繰り返すことにより、モデルの学習を行う。

翻訳処理部２３が翻訳実行モードで動作する場合には、少なくとも所定量の学習処理が完了していることが前提である。翻訳実行モードにおいては、翻訳処理部２３は、文数指定部２２から渡される入力データを受け取る。この入力データは、原言語文のテキストデータと、文数を指定するデータ（例えば、タグとして表現された数値）とを含む。翻訳処理部２３は、入力データを基に、モデル内部の演算を行い、モデルからの出力データを求める。なお、翻訳処理部２３は、必要に応じてモデル内部のパラメーター（学習済みのパラメーター集合の値）を記憶部（不図示）等から読み出してよい。翻訳処理部２３が求めた出力データは、翻訳結果としての目的言語文のテキストであることが期待される。翻訳処理部２３は、その出力データ（目的言語文）を、翻訳結果出力部２４に渡す。

翻訳結果出力部２４は、翻訳処理部２３から出力される目的言語文を外部に出力する。
翻訳結果出力部２４は、翻訳結果の目的言語文を、例えば、外部装置に向けて送信したり、ディスプレイ装置に表示したり、記録媒体（ハードディスクや、半導体メモリー等）に記録したり、などといった形で出力する。翻訳結果出力部２４が、その他の形態で目的言語文を出力してもよい。

文対供給部３１、文数推定部３２、文数情報付与部３３、学習用データ供給部３４という機能群は、翻訳装置１の学習モードで使用するための学習用データを生成して、翻訳処理部２３内のモデルに供給するための機能群である。以下では、文対供給部３１、文数推定部３２、文数情報付与部３３、学習用データ供給部３４の各部の機能を、学習用データの生成の動作と関連付けて説明する。

文対供給部３１は、原言語文と目的言語文との対（文対）を供給する。ここでの原言語文を学習用言語文と呼ぶ。また、ここでの目的言語文を学習用目的言語文と呼ぶ。つまり、文対供給部３１は、学習用原言語文と学習用目的言語文との対のデータを供給するものである。文対供給部３１は、例えば外部から取得した文対や、翻訳装置１内の記憶部（不図示）等から読み出した文対を、１対ずつ処理して、文数推定部３２、文数情報付与部３３、学習用データ供給部３４に渡す。具体的には、文対供給部３１は、文対内の原言語文を、文数情報付与部３３に渡す。また、文対供給部３１は、文対内の目的言語文を、文数推定部３２と、学習用データ供給部３４とに渡す。

文対供給部３１が供給する文対は、同じ意味を持つ原言語文と目的言語文との対である。言い換えれば、ある文対内において、原言語文を翻訳した結果が目的言語文である。また、基本的にたいていの場合において、ある文対内において、目的言語文を翻訳した結果は原言語文であり得る。ある文対内における原言語文は、１つまたは複数の文であってよい。また、ある文対内における目的言語文は、１つまたは複数の文であってよい。このような文対は、既存の言語コーパスを基に得ることができる。あるいは、原言語文を人手で翻訳することによって目的言語文を得て、これら両者を文対としてもよい。

なお、文対を構成する際に、原言語と目的言語の対は、学習しようとするモデルに整合するものとする。翻訳用のモデル（翻訳処理部２３の内部のモデル）に整合する限りにおいて、原言語の種類や目的言語の種類は任意である。一例として、翻訳装置１に日英翻訳の処理を行わせるためには、原言語を日本語とし、目的言語を英語とする。

文数推定部３２は、文対供給部３１から供給された目的言語文に含まれる文の数を推定し、出力する。つまり、文数推定部３２は、ある文対における学習用目的言語文に含まれる文数を求める。文数推定部３２は、目的言語の種類に応じた方法を用いて文の数を推定する。例えば、文数推定部３２は、欧米系の言語（英語、フランス語、ドイツ語等）に関しては、一文の終わりはピリオドやクエスションマークで終わるという特徴に基づいて、ピリオドやクエスションマークの数を数えることにより、文数を推定する。ただし、ピリオドやクエスションマークは、文末以外において現れる場合もある。例えば英語における「Ｍｒ．」（「mister」の省略表記）といった表現にピリオドが含まれるが、この例におけるピリオドは文末であることを表さない。このため、文数推定部３２は、推定精度を上げるため、他の方法を用いてもよい。

例えば、文数推定部３２は、バイト対符号化（Byte pair encoding、ＢＰＥ）の手法を用いて、目的言語文（例えば、英語文）を分割する。バイト対符号化の手法自体は、既存技術である。文数推定部３２は、例えば、バイト対符号化によってピリオドが単体で分割された場合のピリオドの数を数えることにより、文数を推定する。

また、例えば、文数推定部３２は、目的言語文の構文解析処理を行うことにより、文数を推定してもよい。例えば、目的言語が英語である場合、目的言語文の一文は、ＳＶ、ＳＶＯ、ＳＶＣ、ＳＶＯＣなどといった基本構造を持つ。ここで、Ｓは主語、Ｖは述語、Ｏは目的語、Ｃは補語である。文数推定部３２は、このような構文解析結果に基づいて、文数を数え上げ、その結果を推定された文数とする。英語以外の各言語においても、基本的に、構文解析処理による文数の推定は有効である。なお、さらに推定精度を上げるため、文数推定部３２は、構文解析の結果と、ピリオドやクエスションマークの数との、両方に基づいて文数を推定するようにしてもよい。

また、例えば、文数推定部３２は、目的言語文に対応して外部から与えられる数値を、文数の推定結果としてもよい。例えば、人が判断することによって、目的言語文ごとにその文数を入力し、文数推定部３２がその数値を文数の推定結果としてもよい。あるいは、目的言語文に対応付けて記憶部（不図示）等に記憶されている数値を、文数推定部３２が読み出して、文数の推定結果としてもよい。

例えば英語における前述のピリオドやクエスションマーク等は、文末であることを示す記号である。このように文末であることを示す記号を、文末記号と呼ぶ。例えば日本語においては、句点（まる）やピリオドは、文末記号である。また、他の言語においても、文末記号に基づいて、文数推定部３２は、文数を求めてもよいつまり、文数推定部３２は、供給された前記学習用目的言語文に含まれる文末記号の数をカウントすることによって、学習用目的言語文に含まれる文数を求めてよい。

文数情報付与部３３は、文対供給部３１から原言語文を受け取るとともに、文数推定部３２から目的言語文の文数（上記の推定値）を受け取る。文数情報付与部３３は、文対供給部３１から受け取った原言語文のデータに、文数推定部３２から受け取った文数の情報を付加して、出力する。つまり、文数情報付与部３３は、学習用原言語文に、文数推定部３２が求めた文数の情報を付加して、学習用目的言語文の文数の情報が付加された学習用原言語文のデータを出力する。文数情報付与部３３は、目的言語文の文数（推定値）の情報が付加された原言語文のデータを、学習用データ供給部３４に渡す。文数情報付与部３３が文数の情報を付加する方法の一例は、目的言語文の文数を表すタグを、原言語文のテキストに付加することである。なお、文数情報付与部３３は、テキストデータである学習用原言語文の先頭部分に、学習用目的言語文の文数の情報を付加してよい。文数情報付与部３３が文数の情報を付加する位置は、文数指定部２２のそれに合わせる。原言語文の先頭部分に文数の情報を付加することの利点は、既に説明した通りである。

なお、目的言語文の文数（推定値）の情報が付加された原言語文のデータの実例については、後で、別の図を参照しながら説明する。

学習用データ供給部３４は、文対供給部３１から渡された目的言語文のデータと、文数情報付与部３３から渡された原言語文のデータ（ただし、目的言語文の文数の推定値付き）とを、対として、翻訳処理部２３に渡す。この対は、翻訳処理部２３が持つ前記モデルの、学習用データとして使用することができる。つまり、学習用データ供給部３４は、学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、学習用目的言語文のデータとの対を、学習用データとして供給する。

文対供給部３１は、多数の文対を供給してよい。文対供給部３１が供給する文対のそれぞれに対応して、学習用データ供給部３４は、原言語文（文数の推定値付き）と目的言語文との対を、翻訳処理部２３に渡す。これらそれぞれの対を用いて、翻訳処理部２３の内部のモデルの機械学習処理を行うことが可能である。学習用データとして学習用データ供給部３４が供給する文対の数は、任意である。学習用データ供給部３４は、大量の文対を供給してよい。学習用データとして供給される文対の数は、例えば、数十万対あるいは数百万対に達するものであってもよい。

次に、学習用データの構成のしかた等について説明する。

図７は、文対供給部３１が供給する文対のデータの例を示す概略図である。図示する文対において、原言語文は日本語文であり、目的言語文は英語文である。原言語文は、「全国一の生産量を誇る広島特産のカキを夏にも観光客らに楽しんでもらおうと、広島県は新たに生食用のカキを開発し、１６日、関係者を集めて試食会を開きました。」というテキストのデータである。この原言語文に対応する目的言語文は、「Hiroshima is the number one producer of oysters in the country.」という文と、「The prefecture has newly developed oysters for eating raw so that tourists can enjoy oysters, a specialty of Hiroshima, also in summer.」という文と、「Officials held a tasting event on July 16, inviting people concerned.」という文の３つの文を含むテキストのデータである。

図８は、学習用データ供給部３４が翻訳処理部２３に渡す学習用データ（文対）の例を示す概略図である。図８に示すデータは、図７のデータに基づいて作成されたものである。図８に示すデータが、図７に示したデータと異なる点は、原言語文側のテキストの先頭に、＜３＞というタグが付加されていることである。このタグは、目的言語側の文数が３であることに対応する。言い換えれば、このタグは、目的言語側の文数を表すタグである。目的言語側の文数が３であることは、前述の通り、文数推定部３２による推定結果に基づく。また、その推定結果にしたがって＜３＞というタグを原言語文データに付加したのは、文数情報付与部３３である。つまり、図８に示すデータにおいて、原言語文データは「＜３＞全国一の生産量を誇る広島特産のカキを夏にも観光客らに楽しんでもらおうと、広島県は新たに生食用のカキを開発し、１６日、関係者を集めて試食会を開きました。」というテキストのデータである。図８に示す目的言語文データは、図７におけるそれと同一のテキストデータである。

図８に示すような学習用データを用いて機械学習を行うことにより、翻訳処理部２３内の翻訳モデルは、原言語文そのものと目的言語文との対応関係を学習するだけではなく、「３」という数値（推定された文数）と目的言語文との対応関係をも学習する。

図９は、翻訳装置１の翻訳処理部２３が機械学習を行うための学習用データを生成する処理の手順を示すフローチャートである。このフローチャートは、１対の入出力データを生成するための手順である。このフローチャートの処理は、入出力データ対ごとに繰り返して実行され得る。以下、このフローチャートに沿って動作手順を説明する。

まず、ステップＳ１１において、文対供給部３１は、原言語文と目的言語文とから成る１対の言語対を取得し、翻訳装置１内に供給する。前述の通り、文対供給部３１は、文対に含まれる原言語文を、文数情報付与部３３に供給する。また、文対供給部３１は、文対に含まれる目的言語文を、文数推定部３２および学習用データ供給部３４に供給する。

次に、ステップＳ１２において、文数推定部３２は、ステップＳ１１で文対供給部３１から渡された目的言語文に含まれる文の数を推定する。文数推定部３２が具体的に用いる推定手法の例については、既に説明した通りである。文数推定部３２は、推定結果である文数を、文数情報付与部３３に通知する。

次に、ステップＳ１３において、文数情報付与部３３は、ステップＳ１１で文対供給部３１から渡された原言語文に、ステップＳ１２において推定された目的言語文の文数の情報を付加する。具体的な例としては、文数情報付与部３３は、目的言語文の文数を表すタグを、原言語文のデータに付加する。目撃言語文の文数の推定値が付加された原言語文のデータの例については、既に説明した通りである（図８を参照）。

次に、ステップＳ１４において、文数情報付与部３３は、目撃言語文の文数の推定値が付加された原言語文のデータを、学習用データ供給部３４に渡す。学習用データ供給部３４は、目撃言語文の文数の推定値が付加された原言語文のデータを、学習用データの入力側のデータとする。

次に、ステップＳ１５において、学習用データ供給部３４は、ステップＳ１１で文対供給部３１から渡された目的言語文のデータを、学習用データの出力側のデータとする。

次に、ステップＳ１６において、学習用データ供給部３４は、上記の入力側データ（目的言語文の文数の推定値が付加された原言語文のデータ）と、出力側データ（目的言語文のデータ）との対を、出力する。この１対のデータは、翻訳処理部２３における学習処理に用いられるものである。

図１０は、翻訳装置１の内部構成の例を示すブロック図である。翻訳装置１は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

翻訳装置１（学習装置）の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、実施形態を説明したが、さらに次のような変形例で実施してもよい。なお複数の変形例を、組み合わせることが可能な限りにおいて、組み合わせて実施してもよい。

［第１変形例］
上記の第２実施形態では、翻訳装置１は、学習モードと翻訳実行モードの両方で動作し得るものであった。第１変形例では、翻訳装置１は、学習モードで動作せず、翻訳実行モードでのみ動作する。この場合、翻訳処理部２３の中の翻訳モデルは、学習用データに基づく機械学習処理を完了済みである。あるいは、翻訳モデルの学習済みの内部パラメーターの値を、翻訳モデルが外部からインポートできるようにしてもよい。第１変形例の翻訳装置１は、図６に示した機能構成のうちの、少なくとも、原言語文入力部２１、文数指定部２２、翻訳処理部２３、翻訳結果出力部２４のすべてを備える。また、その翻訳装置１は、文対供給部３１、文数推定部３２、文数情報付与部３３、学習用データ供給部３４の一部または全部を備えない構成としてもよい。第１変形例の翻訳装置１は、学習済みのモデルを用いて、指定された数の文からなる目的言語文を出力する処理を行うことが期待される。

上記のような第１変形例の翻訳装置１は、つまり、入力された入力原言語文に、当該入力原言語文に対応する出力用の出力目的言語文の文数の情報を付加する文数指定部２２と、モデルを備え、前記出力目的言語文の文数の情報を付加した前記入力原言語文を、前記モデルに入力することによって、前記モデルが求めた出力目的言語文を出力する翻訳処理部２３と、を備え、前記モデルは、学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、学習用目的言語文のデータと、の対である学習用データを用いて学習済みである、というものである。

［第２変形例］
上記の第２実施形態では、翻訳装置１は、学習モードと翻訳実行モードの両方で動作し得るものであった。第２変形例では、翻訳装置１は、翻訳実行モードで動作せず、学習モードでのみ動作する。つまり、第２変形例の翻訳装置１は、学習処理のみを行うものであり、「学習装置」と呼んでもよい。この場合、翻訳処理部２３の中の翻訳モデルは、学習処理によって内部パラメーターを更新する。学習後のモデルを、例えば、外部の装置にエクスポートすることができる。この際、翻訳装置１とその外部の装置が同一のネットワーク構造を予め持っている場合には、学習後のモデルの内部パラメーターの値の集合のみをエクスポートするようにしてもよい。これにより、第２変形例の翻訳装置１（学習装置）で学習した結果に基づいて、その外部の装置が、翻訳処理を行うことができる。その外部の装置は、指定された数の文からなる目的言語文を出力する翻訳処理を行うことが期待される。第２変形例の翻訳装置１（学習装置）は、図６に示した機能構成のうちの、少なくとも、文対供給部３１、文数推定部３２、文数情報付与部３３、学習用データ供給部３４、翻訳処理部２３のすべてを備える。また、その翻訳装置１（学習装置）は、原言語文入力部２１、文数指定部２２、翻訳結果出力部２４の一部または全部を備えない構成としてもよい。

上記のような第２変形例の翻訳装置１は、つまり、学習用原言語文と学習用目的言語文との対のデータを供給する文対供給部３１と、供給された前記学習用目的言語文に含まれる文数を求める文数推定部３２と、前記学習用原言語文に、前記文数推定部が求めた前記文数の情報を付加して、前記学習用目的言語文の文数の情報が付加された前記学習用原言語文のデータを出力する文数情報付与部３３と、前記学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、前記学習用目的言語文のデータとの対を、学習用データとして供給する学習用データ供給部３４と、前記学習用データを用いてモデルの学習を行う翻訳処理部２３（学習処理部）と、を備えるものである。

［第３変形例］
上記の第２実施形態では、文数推定部３２が推定した文数の情報を用いて、学習用データを生成した。第３変形例においては、推定値ではなく、文数推定部３２に確定的な文数の情報を与えてもよい。その場合には、文数推定部３２は、与えられたその文数を推定値として用いる。第３変形例の学習用データ供給部３４は、そのように作成された学習用データを、翻訳処理部２３に提供する。翻訳処理部２３は、そのように作成された学習用データを用いて、モデルの学習処理を行う。

［第４変形例］
上記の第２実施形態では、文数情報付与部３３は、推定された文数の情報を、角括弧＜＞で囲われたタグの形式のデータとして、原言語文の先頭に付加した。第４実施形態では、付加する文数の情報の形態はこれには限られない。第４変形例における文数情報付与部３３は、上記のタグ以外の形態で、文数の情報を原言語文に付加する。また、第４変形例における文数情報付与部３３が文数の情報を付加する位置は、原言語文の先頭には限らず、他の場所であってもよい。いずれの場合も、文数情報付与部３３は、原言語文のテキストの情報と、文数の数値に対応する情報とを含んだデータを、学習用のモデルへの入力データとして、学習用データ供給部３４に渡す。翻訳処理部２３は、そのように作成された学習用データを用いて、モデルの学習処理を行う。

以上、この発明の実施形態（変形例を含む）について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

［文数を制御した翻訳装置（第２実施形態）の実施例と評価］
以下では、上記実施形態の翻訳装置１を実施した例と、その評価結果について説明する。

図１１は、翻訳装置１を用いて翻訳処理を行った結果の例を示す概略図である。本例において、原言語は日本語であり、目的言語は英語である。同図は、日本語の入力文と、英語の５種類の出力文とを示している。入力文の文数は、１である。目的言語文のＡは、比較対象であり、人手による翻訳を行った結果である。Ａの翻訳結果の文数は３である。出力文のＢは、翻訳装置１における目的言語文の文数として１を指定した場合の翻訳結果である。Ｂの翻訳結果の文数は、指定した通り、１である。出力文のＣは、目的言語文の文数として２を指定した場合の翻訳結果である。Ｃの翻訳結果の文数は、指定した通り、２である。出力文のＤは、目的言語文の文数として３を指定した場合の翻訳結果である。Ｄの翻訳結果の文数は、指定した通り、３である。出力文のＥは、比較対象として、目的言語文の文数を指定しない形の機械翻訳処理を行った場合の結果である。Ｅの翻訳結果の文数は、２となった。一方、本実施形態の翻訳装置１で出力文数を１、２、３とそれぞれ指定した場合には、指定した通りの文数の結果が得られた。

なお、出力文数の指定を行わなかった場合には、出力文数は、望ましい数よりは少なくなる（一文の長さが長くなりがちである）ことが、本実験によりわかった。つまり、本実施形態の翻訳装置１において出力文数を指定できることは、有用である。

また、以下の方法により、本実施形態の翻訳装置１が有効であることを定量的に評価した。具体的には、出力文数（目的言語文の文数）を指定する情報を付与する場合（本実施形態）と付与しない場合（比較対象）との翻訳結果を比較した。両方の場合とも、学習用データとしては、日本語（原言語文）の各文に対応する人手英訳文（目的言語文）の、約１０万文対を用いた。また、開発データおよび評価データとも同様のデータセットで、それぞれ３０００文対および５００１文対を用いた。

（１）出力文数情報付与ありの場合には、原言語文データに文数タグを付与し、本実施形態の翻訳処理部２３で学習した翻訳モデル（ネットワーク）を用いた。その場合の翻訳時には、評価用日本語テキストデータに対応する英語テキストデータに基づいて、本実施形態の文数推定部３２で文数の推定を行った。そして、その推定結果の文数を表すタグを、評価用日本語テキストデータの文頭に付与して、翻訳処理を実行した。

（２）出力文数情報付与なしの場合には、原言語文データへの文数タグの付与を行わずに、本実施形態の翻訳処理部２３で学習した翻訳モデル（ネットワーク）を用いた。翻訳時にも、原言語文データへの文数タグの付与を行わずに、翻訳処理を行った。

両方の場合の実験結果は次の通りである。評価数値としては、出力した文数の元の評価用英文（目的言語文）の文数との一致率、およびＢＬＥＵ値による翻訳性能を用いた。評価数値の結果は、次の通りである。

出力文数情報の付与あり： 文数の一致率９６．６％
出力文数情報の付与なし： 文数の一致率６０．４％

出力文数情報の付与あり： ＢＬＥＵ １９．１４
出力文数情報の付与なし： ＢＬＥＵ １８．３８

上記の通り、出力文数の指定を行わなかった場合には文数の一致率が６０．４％であったのに対して、出力文数の指定を行った場合の文数の一致率は９６．６％であった。つまり、本実施形態の翻訳装置１は、非常に高い確率で、翻訳結果として指定した文数の目的言語文を出力できることが確認できた。

また、上記の通り、出力文数の指定を行わなかった場合のＢＬＥＵ値が１８．３８であったのに対して、出力文数の指定を行って翻訳した場合のＢＬＥＵ値は１９．１４であった。つまり、本実施形態の翻訳装置１のように出力文数の指定を行って翻訳処理を行った場合にも、そうでない場合と比較して、翻訳精度は少なくとも悪くならないことが確認できた。また、上記の通り、出力文数の指定を行って翻訳した場合のＢＬＥＵ値は、出力文数の指定を行わなかった場合のそれよりも０．７６高くなっている。この差が優位なものであるか否かは今後のさらなる検証が必要であるが、一つの可能性としては、出力文数を指定したことにより、出力文のパターンが元のデータセットの目的言語文のパターンに近づくように作用したためであるとも推察される。

以上、説明したように、本実施形態によれば、翻訳性能を劣化させることなく指定した文数を出力するような翻訳処理が可能である。言い換えれば、本実施形態により、翻訳性能を劣化させることなく出力文数を制御することが可能となった。本実施形態の検証にはニューラルネットワークを利用したため、そのようなメリットが得られる理由は必ずしも明示的に得られたわけではない。しかし、可能性として、ピリオドの数が合うようにモデルが翻訳結果を制御したことや、あるいは指定した文数になるようにモデルが深層において構文構造を制御したことが考えられる。

［文数推定装置の実施例と評価］
原言語を日本語とし、目的言語を英語とした場合の実施例を評価した。具体的には、以下の２つの方法を比較し、出力文数の評価用英文との一致率と翻訳性能を比較した。モデルを学習するための学習データとしては、日本語文と、それに対応する人手による英訳文との、約９６０００文対の対訳データを用いた。また、同様の対訳データから、開発データ５００１文対を用いた。評価データとしては、日本語一文を二名の翻訳者がそれぞれ翻訳したマルチリファレンスデータ７７３文を用いた。

第１の方法は、出力文数推定を用いる方法である。上記の学習データで学習した文数推定装置３２０（第１実施形態）を用いて、評価用日本語文に対応する出力文数を推定した。推定された文数のタグを付与し、翻訳装置１（第２実施形態）で翻訳した。翻訳装置１の翻訳モデルも、同様の学習データで学習済みである。

第２の方法は、出力文数推定を用いない方法である。出力文数推定を用いることなく、第１の方法と同様の翻訳モデルを用いて翻訳を行った。

実験結果は次の通りである。上記の第１および第２の方法のそれぞれにおける出力文数の、評価用英文テキストとの一致率により評価した。ただし、一致率は、翻訳者二名のいずれかの翻訳結果の英文数と一致していれば一致、として算出している。
第１の方法（出力文数推定あり、本実施形態）：８７．０％
第２の方法（出力文数推定なし、比較対象）：８１．８％

上記の通り、第１実施形態の文数推定装置３２０を用いることにより、適切な出力文数を推定できることがわかった。また、第２実施形態の翻訳装置１を用いることにより、適切な文数で翻訳結果を出力できることがわかった。

以上、この発明の複数の実施形態および変形例について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、例えば、自然言語の翻訳処理を利用する産業において利用することができる。一例として、報道あるいはコンテンツ提供の事業において、ニュース等の文章によるコンテンツを自動的に翻訳する業務に利用できる。但し、本発明の利用範囲はここに例示したものには限られない。

１ 翻訳装置（学習装置、自然言語処理装置）
２１ 原言語文入力部
２２ 文数指定部
２３ 翻訳処理部（学習処理部）
２４ 翻訳結果出力部
３１ 文対供給部
３２ 文数推定部
３３ 文数情報付与部
３４ 学習用データ供給部
３２０ 文数推定装置（学習装置、自然言語処理装置）
３２１ 推定部
３２２ 原言語文供給部
３２３ 文数情報抽出部
３２６ 文対供給部
３２７ 文数情報付与部
３２８ 学習用データ供給部
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス

Claims (5)

1. 学習用原言語文と学習用目的言語文との対のデータを供給する文対供給部と、
   供給された前記学習用目的言語文に含まれる文数を求める文数推定部と、
   前記学習用原言語文に、前記文数推定部が求めた前記文数の情報を付加して、前記学習用目的言語文の文数の情報が付加された前記学習用原言語文のデータを出力する文数情報付与部と、
   前記学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、前記学習用目的言語文のデータとの対を、学習用データとして供給する学習用データ供給部と、
   入力された入力原言語文に、当該入力原言語文に対応する出力用の出力目的言語文の文数の情報を付加する文数指定部と、
   モデルを備え、前記学習用データを用いて前記モデルの学習を行うとともに、前記出力目的言語文の文数の情報を付加した前記入力原言語文を、前記モデルに入力することによって、前記モデルが求めた出力目的言語文を出力する翻訳処理部と、
   自然言語処理装置と、
   を備え、
   前記自然言語処理装置は、
   学習用原言語文と、前記学習用原言語文に対応する学習用目的言語文と、前記学習用目的言語文の文数を表す学習用文数情報と、を含む学習用データを供給する学習用データ供給部と、
   機械学習可能なモデルを備え、原言語文を入力し、前記原言語文に対応する目的言語文の文数を表す文数情報を少なくとも出力する推定部と、
   前記推定部に対して前記原言語文を供給する原言語文供給部と、
   を備え、
   学習モードで動作する場合には、前記推定部は、前記学習用データ供給部が供給する前記学習用データに基づいて、前記モデルの機械学習を行い、
   推定実行モードで動作する場合には、前記推定部は、前記原言語文供給部が供給する前記原言語文に基づいて、当該原言語文に対応する前記文数情報を出力する、
   ものであり、
   前記自然言語処理装置の原言語文供給部は、前記入力原言語文を、前記自然言語処理装置の前記推定部に供給し、
   前記文数指定部は、前記自然言語処理装置の前記推定部が出力した前記文数情報に基づいて、前記出力用の出力目的言語文の文数の情報を付加する、
   翻訳装置。
2. 学習用原言語文と学習用目的言語文との対のデータを供給する文対供給部と、
   供給された前記学習用目的言語文に含まれる文数を求める文数推定部と、
   前記学習用原言語文に、前記文数推定部が求めた前記文数の情報を付加して、前記学習用目的言語文の文数の情報が付加された前記学習用原言語文のデータを出力する文数情報付与部と、
   前記学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、前記学習用目的言語文のデータとの対を、学習用データとして供給する学習用データ供給部と、
   入力された入力原言語文に、当該入力原言語文に対応する出力用の出力目的言語文の文数の情報を付加する文数指定部と、
   モデルを備え、前記学習用データを用いて前記モデルの学習を行うとともに、前記出力目的言語文の文数の情報を付加した前記入力原言語文を、前記モデルに入力することによって、前記モデルが求めた出力目的言語文を出力する翻訳処理部と、
   自然言語処理装置と、
   を備え、
   前記自然言語処理装置は、
   機械学習可能なモデルを備え、原言語文を入力し、前記原言語文に対応する目的言語文の文数を表す文数情報を少なくとも出力する推定部と、
   前記推定部に対して前記原言語文を供給する原言語文供給部と、
   を備え、
   前記モデルは、学習用原言語文と、前記学習用原言語文に対応する学習用目的言語文と、前記学習用目的言語文の文数を表す学習用文数情報と、を含む学習用データに基づいて機械学習済みであり、
   前記推定部は、前記原言語文供給部が供給する前記原言語文に基づいて、当該原言語文に対応する前記文数情報を出力する、
   ものであり、
   前記自然言語処理装置の原言語文供給部は、前記入力原言語文を、前記自然言語処理装置の前記推定部に供給し、
   前記文数指定部は、前記自然言語処理装置の前記推定部が出力した前記文数情報に基づいて、前記出力用の出力目的言語文の文数の情報を付加する、
   翻訳装置。
3. 入力された入力原言語文に、当該入力原言語文に対応する出力用の出力目的言語文の文数の情報を付加する文数指定部と、
   モデルを備え、前記出力目的言語文の文数の情報を付加した前記入力原言語文を、前記モデルに入力することによって、前記モデルが求めた出力目的言語文を出力する翻訳処理部と、
   自然言語処理装置と、
   を備え、
   前記自然言語処理装置は、
   学習用原言語文と、前記学習用原言語文に対応する学習用目的言語文と、前記学習用目的言語文の文数を表す学習用文数情報と、を含む学習用データを供給する学習用データ供給部と、
   機械学習可能なモデルを備え、原言語文を入力し、前記原言語文に対応する目的言語文の文数を表す文数情報を少なくとも出力する推定部と、
   前記推定部に対して前記原言語文を供給する原言語文供給部と、
   を備え、
   学習モードで動作する場合には、前記推定部は、前記学習用データ供給部が供給する前記学習用データに基づいて、前記モデルの機械学習を行い、
   推定実行モードで動作する場合には、前記推定部は、前記原言語文供給部が供給する前記原言語文に基づいて、当該原言語文に対応する前記文数情報を出力する、
   ものであり、
   前記モデルは、学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、学習用目的言語文のデータと、の対である学習用データを用いて学習済みであり、
   前記自然言語処理装置の原言語文供給部は、前記入力原言語文を、前記自然言語処理装置の前記推定部に供給し、
   前記文数指定部は、前記自然言語処理装置の前記推定部が出力した前記文数情報に基づいて、前記出力用の出力目的言語文の文数の情報を付加する、
   翻訳装置。
4. 入力された入力原言語文に、当該入力原言語文に対応する出力用の出力目的言語文の文数の情報を付加する文数指定部と、
   モデルを備え、前記出力目的言語文の文数の情報を付加した前記入力原言語文を、前記モデルに入力することによって、前記モデルが求めた出力目的言語文を出力する翻訳処理部と、
   自然言語処理装置と、
   を備え、
   前記自然言語処理装置は、
   機械学習可能なモデルを備え、原言語文を入力し、前記原言語文に対応する目的言語文の文数を表す文数情報を少なくとも出力する推定部と、
   前記推定部に対して前記原言語文を供給する原言語文供給部と、
   を備え、
   前記モデルは、学習用原言語文と、前記学習用原言語文に対応する学習用目的言語文と、前記学習用目的言語文の文数を表す学習用文数情報と、を含む学習用データに基づいて機械学習済みであり、
   前記推定部は、前記原言語文供給部が供給する前記原言語文に基づいて、当該原言語文に対応する前記文数情報を出力する、
   ものであり、
   前記モデルは、学習用目的言語文の文数の情報が付加された学習用原言語文のデータと、学習用目的言語文のデータと、の対である学習用データを用いて学習済みであり、
   前記自然言語処理装置の原言語文供給部は、前記入力原言語文を、前記自然言語処理装置の前記推定部に供給し、
   前記文数指定部は、前記自然言語処理装置の前記推定部が出力した前記文数情報に基づいて、前記出力用の出力目的言語文の文数の情報を付加する、
   翻訳装置。
5. 請求項１から４までのいずれか一項に記載の翻訳装置、としてコンピューターを機能させるためのプログラム。

Images