JP7803482B2

JP7803482B2 - 説明文生成装置、方法、及びプログラム

Info

Publication number: JP7803482B2
Application number: JP2021162960A
Authority: JP
Inventors: 敦史橋本; 祥孝牛久; 信介森; 博貴亀甲; 太一西村
Original assignee: Omron Corp; Kyoto University NUC
Current assignee: Omron Corp; Kyoto University NUC
Priority date: 2021-10-01
Filing date: 2021-10-01
Publication date: 2026-01-21
Anticipated expiration: 2041-10-01
Also published as: EP4411589A1; EP4411589A4; WO2023054136A1; JP2023053742A; CN117980910A; US20240404284A1

Description

本発明は、説明文生成装置、説明文生成方法、及び説明文生成プログラムに関する。

従来、料理のレシピや部品の組み立て等の作業に関する情報を、ニューラルネットワーク等のモデルを利用して理解する技術が提案されている。例えば、文章（テキストデータ）で記述された作業の情報から、行動によるエンティティの変化をシミュレートし、文章を理解するモデルが提案されている（非特許文献１参照）。また、時間的に順序付けられた複数のイベントセグメントを持つ動画が与えられた場合に、各セグメントのコンテンツを説明する複数の文章により、ビデオ全体を説明する一貫した段落を生成する技術が提案されている（非特許文献２参照）。

Antoine Bosselut, Omer Levy, Ari Holtzman, Corin Ennis, Dieter Fox, Yejin Choi, "SIMULATING ACTION DYNAMICS WITH NEURAL PROCESS NETWORKS", ICLR2018. Jie Lei, Liwei Wang, Yelong Shen, Dong Yu, Tamara L. Berg, Mohit Bansal, "MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning", arXiv:2005.05402v1 [cs.CL] 11 May 2020.

しかしながら、非特許文献１に記載の技術は、テキストデータから文章を理解することを前提としているため、作業を撮影した動画からその作業の手順を説明する文章を生成する技術に適用することはできない。また、非特許文献２に記載の技術は、ビデオから文章を生成するものではあるが、作業を撮影した動画を対象としていないため、作業の手順を説明する文章を生成する技術に適用することは困難である。

本発明は、上記の点に鑑みてなされたものであり、コンピュータが作業を撮影した動画を入力として、コンピュータ内の演算により、その作業の手順を説明する文章を生成することを目的とする。

上記目的を達成するために、本開示の第１の態様に係る説明文生成装置は、複数の工程を含む作業について、前記作業に用いられる材料の各々を表す材料特徴量と、前記作業を撮影した前記工程毎の動画の各々から抽出される動画特徴量とを取得する取得部と、前記工程毎の動画の各々の動画特徴量に基づいて、前記工程毎の動画に含まれる材料に対する動作を特定し、特定した材料の前記材料特徴量を、特定した動作に応じて更新する更新部と、更新された前記材料特徴量と、特定された前記動作と、前記動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成する生成部と、を含んで構成される。

また、前記更新部は、更新の対象となる前記材料特徴量を、前記作業における前記工程の時系列順に前の工程の動画について更新された材料特徴量としてよい。

また、前記更新部は、更新した前記材料特徴量に対して、材料特徴量の追加、削除、及びマージの少なくとも１つを行ってもよい。

また、前記更新部は、動画特徴量から動作を特定すると共に、特定した動作に基づいて前記材料特徴量を更新するように予め訓練された第１モデルを用いて、前記材料特徴量を更新し、前記生成部は、材料特徴量と動作と動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成するように予め訓練された第２モデルを用いて、前記文章を生成してもよい。

また、第１の態様に係る説明文生成装置は、材料リスト及び工程毎の動画と、前記材料リスト及び前記工程毎の動画に対応する正解の文章とを訓練データとして、前記第１モデル及び前記第２モデルを訓練する訓練部を含んで構成されてもよい。

また、前記訓練部は、前記生成部により生成された文章と、前記正解の文章との比較に基づく第１損失と、前記更新部で特定された前記動作及び前記材料特徴量と、前記工程毎の動画に含まれる正解の動作及び材料との比較に基づく第２損失とを含む総損失を最小化するように、前記第１モデル及び前記第２モデルを訓練してもよい。

また、前記訓練部は、前記正解の文章を言語解析することにより、前記正解の動作及び材料を取得してもよい。

また、前記訓練部は、前記生成部により生成された文章から、材料特徴量及び動作を推定するように予め訓練された第３モデルの出力と、前記正解の動作及び材料との比較に基づく第３損失をさらに含む前記総損失を最小化するように、前記第１モデル、前記第２モデル、及び前記第３モデルを訓練してもよい。

また、本開示の第２の態様に係る説明文生成方法は、取得部が、複数の工程を含む作業について、前記作業に用いられる材料の各々を表す材料特徴量と、前記作業を撮影した前記工程毎の動画の各々から抽出される動画特徴量とを取得し、更新部が、前記工程毎の動画の各々の動画特徴量に基づいて、前記工程毎の動画に含まれる材料に対する動作を特定し、特定した材料の前記材料特徴量を、特定した動作に応じて更新し、生成部が、更新された前記材料特徴量と、特定された前記動作と、前記動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成する方法である。

また、本開示の第３の態様に係る説明文生成プログラムは、コンピュータを、複数の工程を含む作業について、前記作業に用いられる材料の各々を表す材料特徴量と、前記作業を撮影した前記工程毎の動画の各々から抽出される動画特徴量とを取得する取得部、前記工程毎の動画の各々の動画特徴量に基づいて、前記工程毎の動画に含まれる材料に対する動作を特定し、特定した材料の前記材料特徴量を、特定した動作に応じて更新する更新部、及び、更新された前記材料特徴量と、特定された前記動作と、前記動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成する生成部として機能させるためのプログラムである。

本発明に係る説明文生成装置、方法、及びプログラムによれば、作業を撮影した動画からその作業の手順を説明する文章を生成することができる。

本実施形態に係る概要を説明するための図である。説明文生成装置のハードウェア構成を示すブロック図である。説明文生成装置の機能構成の例を示すブロック図である。各機能構成の概略及び機能構成間でのデータの流れを説明するための図である。材料ベクトルの取得を説明するための図である。動画ベクトルの取得を説明するための図である。更新部の状態推定器を説明するための図である。生成部の説明文生成器を説明するための図である。訓練部の再推定器を説明するための図である。損失の計算を説明するための図である。訓練処理の流れを示すフローチャートである。生成処理の流れを示すフローチャートである。本開示の手法と参考手法との性能比較の結果を示す図である。レシピ動画から説明文を生成した結果の一例を示す図である。材料ベクトルをベクトル空間にプロットした一例を示す図である。材料ベクトルの加減算の一例を示す図である。

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法及び比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

まず、本実施形態に係る説明文生成装置の概要について説明する。

本実施形態に係る説明文生成装置は、複数の工程を含む作業を撮影した動画を、工程毎に区切った動画の部分の系列と、その作業に用いられる材料を羅列した材料リストとから、その作業の手順を説明する文章を生成する。以下、工程毎の動画の部分を「クリップ」、クリップの系列を「クリップ列」、作業の手順を説明する文章を「説明文」という。本実施形態に係る説明文生成装置は、作業の過程を状態変化として表現するネットワークモデルを利用することにより、材料の中間状態を表す特徴量を、その状態を表すラベルなしで得られるモデルを訓練する。

図１を参照して具体的に説明する。図１の例では、作業は工程１～３を含み、材料リストには「ｂｕｔｔｅｒ」、「ｅｇｇｓ」、及び「ｃｈｅｅｓｅ」が含まれている。説明文生成装置は、各クリップから、材料に対する動作を特定する。図１の例では、工程１のクリップから、材料「ｂｕｔｔｅｒ」に対する動作「ａｄｄ」が特定されている。また、工程２のクリップから、材料「ｅｇｇｓ」に対する動作「ｃｒａｃｋｅｄ」及び動作「ｓｔｉｒｒｅｄ」が特定されている。また、工程３のクリップから、材料「ｂｕｔｔｅｒ」、「ｅｇｇｓ」、及び「ｃｈｅｅｓｅ」に対する動作「ａｄｄ」及び動作「ｓｔｉｒｒｅｄ」が特定されている。

説明文生成装置は、特定した動作に基づいて、材料の特徴量を更新することにより、材料の中間状態を表す特徴量を生成する。例えば、説明文生成装置は、材料「ｂｕｔｔｅｒ」の特徴量を、動作「ａｄｄ」に基づいて更新することにより、「ａｄｄｅｄｂｕｔｔｅｒ」のような中間状態を表す特徴量を生成する。そして、説明文生成装置は、各クリップの特徴量、各クリップから特定された動作、及び更新された材料の特徴量に基づいて、工程毎の説明文を生成する。

以下、本実施形態に係る説明文生成装置について詳述する。以下の詳細な説明においても、具体例を説明する際には、図１の例と同様に、作業は工程１～３を含み、材料リストには「ｂｕｔｔｅｒ」、「ｅｇｇｓ」、及び「ｃｈｅｅｓｅ」が含まれている例を用いて説明する。なお、材料リストには、材料の画像データ、材料を表すＩＤが含まれていてもよい。

図２は、本実施形態に係る説明文生成装置１０のハードウェア構成を示すブロック図である。図２に示すように、説明文生成装置１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１２、メモリ１４、記憶装置１６、入力装置１８、出力装置２０、記憶媒体読取装置２２、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２４を有する。各構成は、バス２６を介して相互に通信可能に接続されている。

記憶装置１６には、後述する訓練処理及び生成処理を実行するための説明文生成プログラムが格納されている。ＣＰＵ１２は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ１２は、記憶装置１６からプログラムを読み出し、メモリ１４を作業領域としてプログラムを実行する。ＣＰＵ１２は、記憶装置１６に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

メモリ１４は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置１６は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

入力装置１８は、例えば、キーボードやマウス等の、各種の入力を行うための装置である。出力装置２０は、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置２０として、タッチパネルディスプレイを採用することにより、入力装置１８として機能させてもよい。記憶媒体読取装置２２は、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）－ＲＯＭ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）－ＲＯＭ、ブルーレイディスク、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリ等の各種記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。通信Ｉ／Ｆ２４は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

次に、本実施形態に係る説明文生成装置１０の機能構成について説明する。

図３は、説明文生成装置１０の機能構成の例を示すブロック図である。図３に示すように、説明文生成装置１０は、機能構成として、取得部３０と、更新部４０と、生成部５０と、訓練部６０とを含む。各機能構成は、ＣＰＵ１２が記憶装置１６に記憶された説明文生成プログラムを読み出し、メモリ１４に展開して実行することにより実現される。

ここで、図４を参照して、各機能構成の概略及び機能構成間でのデータの流れについて説明し、その後、各機能構成について詳述する。図４において、実線の矢印は、訓練時及び説明文の生成時の両方におけるデータの流れを表し、一点鎖線の矢印は、訓練時のみに生じるデータの流れを表し、太線の両矢印は、訓練時の損失の計算に関する部分を表す。

取得部３０は、材料エンコーダ３１と、動画エンコーダ３２とを含む。取得部３０は、テキストデータである材料リストを材料エンコーダ３１へ入力し、材料リストに記述された材料の各々を表す材料特徴量を取得する。また、取得部３０は、クリップ列に含まれる各クリップを動画エンコーダ３２へ入力し、クリップの各々から抽出される動画特徴量を取得する。図４では、工程１のクリップから動画特徴量１、工程２のクリップから動画特徴量２、工程３のクリップから動画特徴量３が取得された例を示している。取得部３０は、取得した材料特徴量及び動画特徴量を更新部４０へ受け渡す。

更新部４０は、作業に含まれる工程数分の状態推定器４１Ａ、４１Ｂ、４１Ｃを含む。図４の例では、状態推定器４１Ａは工程１に対応し、状態推定器４１Ｂは工程２に対応し、状態推定器４１Ｃは工程３に対応している。以下、状態推定器４１Ａ、４１Ｂ、４１Ｃの各々を区別なく説明する場合には、単に「状態推定器４１」と表記する。状態推定器４１は、各クリップの動画特徴量に基づいて、そのクリップに含まれる材料に対する動作を特定し、特定した材料の材料特徴量を、特定した動作に応じて更新する。更新部４０は、各状態推定器４１で特定された動作及び更新された状態特徴量を取得し、動画特徴量と共に生成部５０へ受け渡す。

なお、状態推定器４１において更新の対象となる材料特徴量は、クリップ列における前のクリップ、すなわち作業における工程の時系列順に前の工程のクリップに対応する状態推定器４１で更新された材料特徴量である。すなわち、状態推定器４１Ａには、取得部３０から受け渡された材料特徴量と動画特徴量１とが入力される。状態推定器４１Ｂには、状態推定器４１Ａで更新された材料特徴量と動画特徴量２とが入力される。状態推定器４１Ｃには、状態推定器４１Ｂで更新された材料特徴量と動画特徴量３とが入力される。

生成部５０は、作業に含まれる工程数分の説明文生成器５１Ａ、５１Ｂ、５１Ｃを含む。図４の例では、説明文生成器５１Ａは工程１に対応し、説明文生成器５１Ｂは工程２に対応し、説明文生成器５１Ｃは工程３に対応している。以下、説明文生成器５１Ａ、５１Ｂ、５１Ｃの各々を区別なく説明する場合には、単に「説明文生成器５１」と表記する。説明文生成器５１は、更新部４０から受け渡された、更新された材料特徴量と、特定された動作と、動画特徴量とに基づいて、工程毎の説明文を生成する。生成部５０は、各説明文生成器５１で生成された説明文を結合して、作業全体を示す説明文として出力する。

訓練部６０は、材料リスト及びクリップ列が表す正解文章と、生成部５０から出力される説明文との比較に基づく損失を計算する。また、訓練部６０は、各クリップに含まれる材料に対する動作、すなわち正解の材料を表す材料ラベル、及び正解の動作を表す動作ラベルを取得する。訓練部６０は、取得した材料ラベル及び動作ラベルと、更新部４０で取得される動作及び更新された材料特徴量との比較に基づく損失を計算する。

さらに、訓練部６０は、作業に含まれる工程数分の再推定器６１Ａ、６１Ｂ、６１Ｃを含む。図４の例では、再推定器６１Ａは工程１に対応し、再推定器６１Ｂは工程２に対応し、再推定器６１Ｃは工程３に対応している。以下、再推定器６１Ａ、６１Ｂ、６１Ｃの各々を区別なく説明する場合には、単に「再推定器６１」と表記する。再推定器６１は、工程が対応する説明文生成器５１により生成された説明文及び材料リストから、各工程における材料に対する動作を推定する。訓練部６０は、推定した材料に対する動作と、材料ラベル及び動作ラベルとの比較に基づく損失を計算する。訓練部６０は、計算した各損失を統合した総損失を最小化するように、状態推定器４１、説明文生成器５１、及び再推定器６１を訓練する。

以下、各機能構成についてより具体的に説明する。なお、以下で説明する各機能構成の具体例は一例であり、各機能構成の実現方法は、下記具体例の例に限定されない。

取得部３０は、説明文生成装置１０に入力された材料リストＧ＝（ｇ^１，・・・，ｇ^ｍ，・・・，ｇ^Ｍ）、及びクリップ列Ｖ＝（ｖ^１，・・・，ｖ^ｎ，・・・，ｖ^Ｎ）を取得する。ｇ^ｍは、材料リストＧにおけるｍ番目の材料を表す単語であり、Ｍは、材料リストに含まれる材料の総数である。ｖ^ｎは、クリップ列におけるｎ番目のクリップであり、Ｎは、作業に含まれる工程の総数である。取得部３０は、図５に示すように、材料リストＧを材料エンコーダ３１に入力し、図６に示すように、クリップ列Ｖを動画エンコーダ３２に入力する。

材料エンコーダ３１は、材料リストから各材料の特徴を表す材料特徴量を抽出するために事前に訓練された、ニューラルネットワークで構成されたエンコーダである。例えば、材料エンコーダ３１は、ＧｌｏＶｅ（ｇｌｏｂａｌｖｅｃｔｏｒｓ）等の、単語埋め込みとＲｅＬＵ活性化関数とを備えた多層パーセプトロン（ＭＬＰ）の連結ニューラルネットワークとしてよい。材料エンコーダ３１は、図５に示すように、材料リストＧに含まれる各材料を表す単語ｇ^ｍを単語埋め込みによりベクトル化し、位置エンコーディングを追加して、初期材料ベクトルＥ^０＝（ｅ_１ ^０，・・・，ｅ_ｍ ^０，・・・，ｅ_Ｍ ^０）として出力する。本実施形態の例では、Ｅ^０＝（ｅ_１ ^０，ｅ_２ ^０，ｅ_３ ^０）である。なお、材料ベクトルは、材料特徴量の一例である。

動画エンコーダ３２は、クリップ列から各クリップの内容的特徴を表す動画特徴量を抽出するために事前に訓練された、例えばトランスフォーマー等のニューラルネットワークで構成されたエンコーダである。クリップ列Ｖには複数のクリップｖ^ｎが含まれ、各クリップｖ^ｎは連続したフレームで構成されている。すなわち、クリップ列Ｖは階層的である。したがって、動画エンコーダ３２を、クリップ列Ｖを効果的にエンコードするために、シーケンスデータのエンコードに適した２ステージトランスフォーマーとしてよい。この場合、前段のトランスフォーマーは、ＢＥＲＴ（ＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍＴｒａｎｓｆｏｒｍｅｒｓ）のＣＬＳトークンに対応するベクトルを抽出することにより、各クリップｖ^ｎを特徴ベクトルにエンコードする。そして、後段のトランスフォーマーは、シーケンス全体で訓練されている。図６に示すように、動画エンコーダ３２は、動画ベクトルＨ＝（ｈ_１，・・・，ｈ_ｎ，・・・，ｈ_Ｎ）を出力する。本実施形態の例では、Ｈ＝（ｈ_１，ｈ_２，ｈ_３）である。なお、動画ベクトルは、動画特徴量の一例である。

更新部４０は、材料ベクトルＥ^０及び動画ベクトルＨに基づいて、各工程での材料の状態変化を繰り返し推定する。具体的には、更新部４０は、図７に示すように、ｎ番目のステップで、（１）動作選択、（２）材料選択、及び（３）更新の処理を実行する状態推定器４１に、クリップｖ^ｎの動画ベクトルｈ_ｎと、材料ベクトルＥ^ｎ－１とを与える。状態推定器４１の各処理の詳細については後述する。ｎ番目のステップの後、状態推定器４１は、状態推定ベクトルｕ_ｎを出力する。状態推定ベクトルｕ_ｎは、動画ベクトルｈ_ｎ、選択されたアクション￣ｆ_ｎ、及び材料ベクトル￣ｅ_ｎを連結したベクトルである。なお、「￣Ｘ」の表記は、図中及び式中では「Ｘ」の上に「￣（バー）」で表されている。状態推定器４１は、クリップ列Ｖの最後のクリップｖ^Ｎの処理を終了するまで、上記の処理を繰り返し実行する。

以下、ｎ番目のステップにおける状態推定器４１の（１）動作選択、（２）材料選択、及び（３）更新の各処理について詳述する。

まず、（１）動作選択について説明する。状態推定器４１は、動画ベクトルｈ_ｎが与えられると、事前に定義された動作埋め込みＦから、クリップｖ^ｎで実行される動作を選択する。動作埋め込みＦは、事前に定義された動作を表す単語を単語埋め込みによりベクトル化したものである。例えば、動作「ｃｒａｃｋ」及び「ｓｔｉｒ」がクリップｖ^ｎで実行されている場合、ｆ_{ｃｒａｃｋ}及びｆ_ｓｔｉｒの両方が選択される必要がある。そこで、状態推定器４１は、複数の動作が選択されるようにするために、下記（１）式に示すように、動画ベクトルｈ_ｎから、例えばＭＬＰにより、動作埋め込みＦの各動作のうち、クリップｖ^ｎで実行されている動作の確率ｗ_ｐを計算する。次に、状態推定器４１は、下記（２）式及び（３）式に示すように、選択された動作を示す動作ベクトル￣ｆ_ｎを、動作の確率ｗ_ｐと動作埋め込みＦとの加重和として計算する。なお、（１）式～（３）式において、ＭＬＰ（・）は、シグモイド関数を持つ２層ＭＬＰを表し、ｗ_ｐは、動作埋め込みＦに含まれる動作の中で取り得る動作の注意（Ａｔｔｅｎｔｉｏｎ）分布である。

次に、（２）材料選択について説明する。状態推定器４１は、動作の確率ｗ_ｐ及び動作ベクトルｈ_ｎに基づいて、材料ベクトルＥ^ｎ－１から、クリップｖ^ｎに含まれる材料を選択することにより、選択した材料を示す材料ベクトル￣ｅ_ｎを出力する。例えば、図１の例で、工程３（ｎ＝３）では、原材料の「ｃｈｅｅｓｅ」と、操作された「ｂｕｔｔｅｒ」及び「ｅｇｇｓ」が選択される必要がある。このように、原材料及び操作された材料を組み合わせて選択できるようにするために、状態推定器４１は、Ｃｌｉｐａｔｔｅｎｔｉｏｎ及びＲｅｃｕｒｒｅｎｔａｔｔｅｎｔｉｏｎという２つのアテンションモジュールを持つ。

Ｃｌｉｐａｔｔｅｎｔｉｏｎは、動画ベクトルｈ_ｎ及び動作の確率ｗ_ｐに基づいて、下記（４）式及び（５）式により、材料ベクトルｅ_ｍ ^ｎ－１に対する注意の重みｄ_ｍを計算する。なお、（４）式及び（５）式において、Ｗ_１及びＷ_２は線形及び双線形マッピング、ｂ_１及びｂ_２はバイアスである。

Ｒｅｃｕｒｒｅｎｔａｔｔｅｎｔｉｏｎは、現在と以前との両方のクリップからの情報、及びＣｌｉｐａｔｔｅｎｔｉｏｎの出力を使用して、下記（６）式及び（７）式により、材料ベクトルＥ^ｎ－１のうち、クリップｖ^ｎで実行されている動作に関連する材料の確率ａ^ｎを計算する。なお、（６）式及び（７）式において、Ｗ_３は線形マッピング、ｂ_３はバイアス、ｃ∈実数Ｒ^３は選択分布、ａ_ｍ ^ｎ－１は、前のクリップｖ^ｎ－１における材料ベクトルｅ_ｍ ^ｎの注意の重み、ａ_ｍ ^ｎは各材料ベクトルの最終的な分布、０は材料を選択しないことを表すゼロベクトルである。

次に、状態推定器４１は、下記（８）式に示すように、選択された材料を示す材料ベクトル￣ｅ_ｎを、材料ベクトルの最終的な分布ａ_ｍ ^ｎと材料ベクトルｅ_ｍ ^ｎ－１との加重和として計算する。

次に、（３）更新について説明する。状態推定器４１は、選択した動作及び材料ベクトルに基づいて、材料の状態変化を表す、更新された材料ベクトル＾ｅ_ｍを計算する。なお、「＾Ｘ」の表記は、図中及び式中では「Ｘ」の上に「＾（ハット）」で表されている。具体的には、状態推定器４１は、下記（９）式に示すように、選択した動作￣ｆ_ｎ及び材料ベクトル￣ｅ_ｎの双一次変換（Ｂｉｌｉｎｅａｒ）を使用して、材料に対する動作提案ベクトルｌ_ｎを計算する。なお、（９）式において、Ｗ_４は双線形写像、ｂ_４はバイアスである。

次に、状態推定器４１は、下記（１０）式に示すように、材料の確率ａ^ｎに基づいて、動作提案ベクトルｌ_ｎと現在の材料ベクトルｅ_ｍ ^ｎ－１とを補間することにより、更新された材料ベクトル＾ｅ_ｍを計算する。状態推定器４１は、更新された材料ベクトル＾ｅ_ｍを材料ベクトルＥ_ｍ ^ｎに割り当て、次の（ｎ＋１）番目の処理へ転送する。

生成部５０は、図８に示すように、状態推定器４１から出力された状態推定ベクトルｕ_ｎを、対応するｎ番目の説明文生成器５１へ入力する。説明文生成器５１は、状態推定ベクトルｕ_ｎから工程毎の説明文ｙ^ｎを繰り返し生成し、全工程分の説明文Ｙ＝（ｙ^１，・・・，ｙ^ｎ，・・・，ｙ^Ｎ）を生成する。説明文生成器５１は、事前に訓練された、例えばトランスフォーマー等のニューラルネットワークで構成されたデコーダとしてよい。

具体的には、説明文生成器５１は、材料リストＧを参照し、説明文に含める単語として材料を表す単語の生成を促すために、コピーメカニズムを有する。説明文生成器５１は、ｎ番目の工程の説明文のｋ番目の単語を生成する際に、更新された材料ベクトルｅ_ｍ ^ｎ∈Ｅ^ｎが与えられると、コピーメカニズムにより、下記（１１）式に示すように、説明文生成器５１の出力ｏ_ｎ，ｋと材料ベクトルｅ_ｍ ^ｎとの双線形内積を使用して、注意確率β_ｎ，ｋ ^ｍを計算する。なお、（１１）式において、Ｗ_ｃは双線形写像を表す。

次に、説明文生成器５１は、下記（１２）式に示すように、材料リストから材料を選択するか、予め用意された語彙から単語を生成するかを選択するためのコピーゲートｇ_ｎ，ｋ（０≦ｇ_ｎ，ｋ≦１）を計算する。なお、（１２）式において、［・］は連結関数、σ（・）はシグモイド関数、Ｗ_ｇは線形写像、ｂ_ｇはバイアスを表す。

次に、説明文生成器５１は、コピーゲートｇ_ｎ，ｋに基づいて、下記（１３）式に示すように、最終的な予測単語確率Ｐ_ｎ，ｋ（ｗ）を、材料リストからコピーする確率と、語彙から生成する確率との加重和として計算する。なお、（１３）式において、Ｐ_ｎ，ｋ ^ＶＯＣ（ｗ）は、語彙のｎ番目の文のｋ番目の単語ｗの確率、｜ｇ_ｍ｜は、材料リストのｍ番目の材料の単語数を表す。

説明文生成器５１は、予測単語確率Ｐ_ｎ，ｋ（ｗ）に基づいて順次単語を生成することにより、工程毎の説明文ｙ^ｎを生成し、全工程分の説明文Ｙを生成する。

訓練部６０に含まれる再推定器６１は、図９に示すように、文章エンコーダ６２及び推定器６３の２つのサブモジュールを含む。文章エンコーダ６２は、生成部５０で生成された説明文Ｙを、各工程に対応した文章ベクトルＳ＝（ｓ_１，・・・，ｓ_ｎ，・・・，ｓ_Ｎ）に変換する。具体的には、まず、文章エンコーダ６２は、例えば、Ｇｕｍｂｅｌソフトマックスリサンプリングのストレートバージョンを適用して、微分可能なチェーンを維持しながら、説明文をサンプリングする。文章エンコーダ６２は、サンプリングされた説明文を、各ステップで埋め込まれた単語の平均ベクトルを計算することにより、特徴ベクトルに変換する。単語の埋め込みは、説明文生成器５１と文章エンコーダ６２との間で共有される。次に、文章エンコーダ６２は、例えばＢｉＬＳＴＭを使用して、特徴ベクトルを各工程に対応した文章ベクトルＳに変換する。

推定器６３は、状態推定器４１と同様の構成であり、文章ベクトルＳ及び初期材料ベクトルＥ^０に基づいて、材料の状態変化を再度推定する。

また、訓練部６０は、状態推定器４１、説明文生成器５１、及び再推定器６１の各々を訓練するために、図１０に示すように、文章生成損失Ｌ_ｓｅｎｔ、状態推定損失Ｌ_{ｖ＿ｓｉｍ}、及び再推定損失Ｌ_{ｔ＿ｓｉｍ}を計算する。

文章生成損失Ｌ_ｓｅｎｔは、説明文生成器５１に関する損失である。具体的には、訓練部６０は、取得部３０が取得した材料リストＧ及びクリップ列Ｖに対応する正解文章Ｙ’＝（ｙ’^１，・・・，ｙ’^ｎ，・・・，ｙ’^Ｎ）を取得する。材料リストＧ及びクリップ列Ｖと正解文章Ｙ’との組み合わせが訓練データであり、訓練部６０は複数の訓練データを取得する。そして、訓練部６０は、全ての訓練データについて、入力（Ｖ，Ｇ）に対する出力である説明文Ｙと、正解文章Ｙ’との誤差、例えば、｜ｙ^ｎ－ｙ’^ｎ｜の負の対数尤度のＮ個分の合計を損失Ｌ_ｓｅｎｔとして計算する。

状態推定損失Ｌ_{ｖ＿ｓｉｍ}は、状態推定器４１に関する損失であり、材料選択の損失と動作選択の損失とで構成される。訓練部６０は、正解文章を言語解析し、正解文章に含まれる材料を表す単語を材料ラベルとして取得し、正解文章に含まれる品詞が動詞の単語を動作ラベルとして取得する。例えば、正解文章「ｃｒａｃｋｔｈｅｅｇｇｓａｎｄｓｔｉｒ」から、材料ラベルとして「ｅｇｇｓ」が取得され、動作ラベルとして「ｃｒａｃｋ」及び「ｓｔｉｒ」が取得される。訓練部６０は、材料ラベルを、全工程の正解文章から取得された材料ラベル数分の要素を含むベクトルに変換し、各工程の正解文章から取得された材料ラベルに相当する要素の値を１、それ以外の要素の値を０とする。同様に、訓練部６０は、動作ラベルを、全工程の正解文章から取得された動作ラベル数分の要素を含むベクトルに変換し、各工程の正解文章から取得された動作ラベルに相当する要素の値を１、それ以外の要素の値を０とする。工程毎に、正解文章から材料ラベル及び動作ラベルを取得することにより、人手により材料ラベル及び動作ラベルを用意する負荷を削減することができる。

訓練部６０は、状態推定器４１で計算された材料の確率ａ^ｎと材料ラベルとの誤差、例えば、確率ａ^ｎと対応する材料ラベルの要素の値との差の負の対数尤度の合計を、材料選択の損失として計算する。また、訓練部６０は、状態推定器４１で計算された動作の確率ｗ_ｐと動作ラベルとの誤差、例えば、確率ｗ_ｐと対応する動作ラベルの要素の値との差の負の対数尤度の合計を、動作選択の損失として計算する。なお、動作ラベルについては、正の動作（値が１の動作）と負の動作（値が０の動作）との比率の不均衡が大きいため、重み付けされた負の対数尤度である非対称損失を使用して、不均衡を解消するようにしてもよい。訓練部６０は、材料選択の損失と動作選択の損失との和を状態推定損失Ｌ_{ｖ＿ｓｉｍ}として計算する。

再推定損失Ｌ_{ｔ＿ｓｉｍ}は、再推定器６１に関する損失である。訓練部６０は、上記状態推定損失Ｌ_{ｖ＿ｓｉｍ}と同様に、再推定器６１で材料の状態変化の推定の際に選択した動作及び材料と、材料ラベル及び動作ラベルとの誤差に関する再推定損失Ｌ_{ｔ＿ｓｉｍ}を計算する。

訓練部６０は、計算した文章生成損失Ｌ_ｓｅｎｔ、状態推定損失Ｌ_{ｖ＿ｓｉｍ}、及び再推定損失Ｌ_{ｔ＿ｓｉｍ}の合計を、総損失Ｌ_{ｔｏｔａｌ}（＝Ｌ_ｓｅｎｔ＋Ｌ_{ｖ＿ｓｉｍ}＋Ｌ_{ｔ＿ｓｉｍ}）として計算する。そして、訓練部６０は、総損失Ｌ_{ｔｏｔａｌ}を最小化するように、状態推定器４１、説明文生成器５１、及び再推定器６１の各々のパラメータを更新することを、訓練の終了条件を満たすまで繰り返すことにより、状態推定器４１、説明文生成器５１、及び再推定器６１を訓練する。訓練の終了条件は、例えば、パラメータの更新の繰り返し回数が所定回数に到達した場合、総損失Ｌ_{ｔｏｔａｌ}が所定値以下となった場合、前回計算した総損失Ｌ_{ｔｏｔａｌ}と今回計算した総損失Ｌ_{ｔｏｔａｌ}との差が所定値以下となった場合等としてよい。

次に、本実施形態に係る説明文生成装置１０の作用について説明する。

図１１は、説明文生成装置１０のＣＰＵ１２により実行される訓練処理の流れを示すフローチャートである。ＣＰＵ１２が記憶装置１６から説明文生成プログラムを読み出して、メモリ１４に展開して実行することにより、ＣＰＵ１２が説明文生成装置１０の各機能構成として機能し、図１１に示す訓練処理が実行される。

ステップＳ１０で、取得部３０が、説明文生成装置１０に入力された材料リストＧ及びクリップ列Ｖを取得し、訓練部６０が、説明文生成装置１０に入力された、材料リストＧ及びクリップ列Ｖに対する正解文章Ｙ’を取得する。次に、ステップＳ１２で、取得部３０が、材料リストＧを材料エンコーダ３１に入力し、初期材料ベクトルＥ^０を取得すると共に、クリップ列Ｖを動画エンコーダ３２に入力し、動画ベクトルＨを取得する。

次に、ステップＳ１４で、更新部４０が、初期材料ベクトルＥ^０及び動画ベクトルＨを状態推定器４１に入力する。状態推定器４１は、事前に定義された動作埋め込みＦから、クリップｖ^ｎで実行される動作を選択し、選択した動作を示す動作ベクトル￣ｆ_ｎを計算する。また、状態推定器４１は、材料ベクトルＥ^ｎ－１から、クリップｖ^ｎに含まれる材料を選択し、選択した材料を示す材料ベクトル￣ｅ_ｎを計算する。そして、状態推定器４１は、状態推定ベクトルｕ_ｎ＝（ｈ_ｎ，￣ｆ_ｎ，￣ｅ_ｎ）を出力する。

次に、ステップＳ１６で、状態推定器４１が、選択した動作及び材料ベクトルに基づいて、材料の状態変化を表す、更新された材料ベクトル＾ｅ_ｍを計算する。そして、状態推定器４１が、更新された材料ベクトル＾ｅ_ｍを材料ベクトルＥ_ｍ ^ｎに割り当て、次の（ｎ＋１）番目の処理へ転送する。

次に、ステップＳ１８で、生成部５０が、状態推定器４１から出力された状態推定ベクトルｕ_ｎを、対応するｎ番目の説明文生成器５１へ入力する。説明文生成器５１は、状態推定ベクトルｕ_ｎから工程毎の説明文ｙ^ｎを繰り返し生成し、全工程分の説明文Ｙを生成する。

次に、ステップＳ２０で、訓練部６０が、再推定器６１により、生成された説明文Ｙ及び初期材料ベクトルＥ^０から、動作ベクトル￣ｆ_ｎ及び材料ベクトルＥ^ｎ－１を再推定する。そして、訓練部６０が、文章生成損失Ｌ_ｓｅｎｔ、状態推定損失Ｌ_{ｖ＿ｓｉｍ}、及び再推定損失Ｌ_{ｔ＿ｓｉｍ}を計算し、総損失Ｌ_{ｔｏｔａｌ}（＝Ｌ_ｓｅｎｔ＋Ｌ_{ｖ＿ｓｉｍ}＋Ｌ_{ｔ＿ｓｉｍ}）を計算する。そして、訓練部６０が、総損失Ｌ_{ｔｏｔａｌ}を最小化するように、状態推定器４１、説明文生成器５１、及び再推定器６１の各々のパラメータを更新する。

次に、ステップＳ２２で、訓練部６０が、訓練の終了条件を満たしたか否かを判定する。終了条件を満たしていない場合には、ステップＳ１４に戻り、満たした場合には、ステップＳ２４へ移行する。ステップＳ２４では、訓練部６０が、終了条件を満たした際の状態推定器４１、説明文生成器５１、及び再推定器６１の各々のパラメータを出力し、訓練処理は終了する。

図１２は、説明文生成装置１０のＣＰＵ１２により実行される生成処理の流れを示すフローチャートである。ＣＰＵ１２が記憶装置１６から説明文生成プログラムを読み出して、メモリ１４に展開して実行することにより、ＣＰＵ１２が説明文生成装置１０の各機能構成として機能し、図１２に示す生成処理が実行される。なお、生成処理の開始前には、訓練処理において出力されたパラメータがそれぞれ状態推定器４１、説明文生成器５１、及び再推定器６１に設定される。

ステップＳ３０で、取得部３０が、説明文生成装置１０に入力された、説明文を生成する対象となる材料リストＧ及びクリップ列Ｖを取得する。以下、訓練処理と同様に、ステップＳ１２～Ｓ１８が実行され、上記ステップＳ３０で取得された材料リストＧ及びクリップ列Ｖに対応する説明文Ｙが生成され、出力され、生成処理は終了する。

以上説明したように、本実施形態に係る説明文生成装置は、複数の工程を含む作業について、作業に用いられる材料の各々を表す材料特徴量と、作業を撮影した工程毎の動画の各々から抽出される動画特徴量とを取得する。また、説明文生成装置は、工程毎の動画の各々の動画特徴量に基づいて、工程毎の動画に含まれる材料に対する動作を特定し、特定した材料の材料特徴量を、特定した動作に応じて更新する。この際、更新の対象となる材料特徴量は、作業における工程の時系列順に前の工程の動画について更新された材料特徴量である。そして、説明文生成装置は、更新された材料特徴量と、特定された動作と、動画特徴量とに基づいて、工程毎の作業内容を説明する文章を生成する。作業を撮影した動画から、その作業の手順を説明する説明文を正確に生成するためには、工程毎の動画の時系列順に材料の状態変化を追跡することが不可欠である。本実施形態の説明文生成装置は、上記のように材料特徴量を更新することで、作業を撮影した動画からその作業の手順を説明する文章を生成することができる。

なお、上記実施形態では、再推定器が、生成された説明文から材料の状態変化を再推定した結果もモデルの訓練に利用する場合について説明したが、この構成は必須ではなく、再推定器を含まない構成としてもよい。この場合、訓練部は、総損失を、Ｌ_{ｔｏｔａｌ}＝Ｌ_ｓｅｎｔ＋Ｌ_{ｖ＿ｓｉｍ}とすればよい。

ここで、図１３を参照して、本開示の手法と、参考手法との性能比較の結果について説明する。図１３において、「Ｂａｓｅｌｉｎｅ」の４手法及び「Ｏｕｒｓ」の「Ｖｉｄｅｏｏｎｌｙ（Ｖ）」及び「Ｖ＋Ｉｎｇｒｅｄｉｅｎｔｓ（ＶＩ）」が参考手法、「Ｏｕｒｓ」の「ＶＩ＋Ｖｉｓｕａｌｓｉｍｕｌａｔｏｒ（ＶＩＶ）」及び「ＶＩＶ＋Ｔｅｘｔｕａｌｒｅ－ｓｉｍｕｌａｔｏｒ（ＶＩＶＴ）」が本開示の手法である。本開示の手法のＶＩＶＴは上記実施形態の手法、ＶＩＶは再推定の結果を用いない場合である。参考手法のＶは、本実施形態のクリップ列のみを用いた手法、ＶＩは、Ｖに加え、材料リストも用いた手法である。すなわち、Ｖ及びＶＩでは、材料の状態変化の推定、すなわち材料特徴量の更新は行っていない。また、図１３において、Ｂ_１、Ｂ_４、Ｍ、Ｃ、ＲＬはそれぞれ単語重複評価のスコアであり、Ｂ＝ＢＬＥＵ、Ｍ＝ＭＥＴＥＯＲ、Ｃ＝ＣＩＤＥｒ－Ｄ、ＲＬ＝ＲＯＵＧＥ－Ｌである。また、「Ｂａｓｅｌｉｎｅ」の手法は、本来、材料リストを用いる手法ではないが、本開示の手法と比較する際の平等性を考慮して、従来の手法を、材料リストを用いるよう改変した手法を含めた。図１３において、「Ｉ」の項目にチェックが入っている手法が、材料リストを用いる手法であることを表している。また、図１３において、太字の数値は、該当の単語重複評価において、最高のスコアを表している。

図１３に示すように、本開示の手法ＶＩＶ又はＶＩＶＴは、いずれの評価においても、参考手法の性能を大幅に上回っている。また、ＶＩとＶＩＶとを比較すると、ＶＩＶがＶＩよりも優れた性能を発揮し、ＶＩＶＴがＶＩＶの性能をさらに改善することを示している。これは、状態変化の推定及び再推定の両方が、手順を正確に説明する文章の生成に効果的であることを示している。

また、図１４に、本開示の手法及び参考手法の各々により、レシピ動画から説明文を生成した結果の一例を示す。図１４において、一重下線の単語は、正解文章（Ｇｒｏｕｎｄｔｒｕｔｈ）内に含まれる材料と一致する材料を表す。また、波線下線の単語は、正解文章内に含まれる材料と一致しない材料、又は正解文章には含まれるが、生成された説明文には含まれていない材料を表す。

図１４に示すように、参考手法「ＭＡＲＴ－Ｉ」は、例えば、工程（ｓｔｅｐ）１及び２において、「ｅｇｇｓ」及び「ｍｉｌｋ」が見落とされているなど、正確な説明文を生成できていない。ＶＩにも同様の傾向が見られ、これらの手法では、材料リスト（Ｉｎｇｒｅｄｉｅｎｔｓ）にリストされている材料を示す単語を過剰に生成している。本開示の手法のＶＩＶは、例えば、工程３の「ｂａｔｔｅｒ」のように、これらの問題が解消されている。さらに、再推定を行う手法であるＶＩＶＴは、例えば、工程１の「ｂａｋｉｎｇｓｏｄａ」及び「ｐｅｐｐｅｒ」、工程２の「ｗａｔｅｒ」のように、ＶＩＶでは見逃されている材料を示す単語を生成することができている。

また、本実施形態に係る説明文生成装置は、説明文を生成する過程で、材料に対する動作に基づいて更新された材料ベクトルが取得される。これにより、訓練後は、説明文の生成だけでなく、材料の状態変化のシミュレーションも可能になる。また、人手で行った場合には大変な労力となる、材料の中間状態に対するアノテーションを、正解データなしで、自動で行うことができる。

さらに、更新された材料ベクトルを取得できる効果を説明するために、図１５に、材料ベクトルをベクトル空間にプロットした例を示す。なお、図１５では、説明を簡単にするため、多次元の材料ベクトルを２次元空間に投影している。淡いプロットで表される材料ベクトル（ベクトル空間の概ね右側に位置する材料ベクトル）は、元の材料ベクトル、濃いプロットで表される材料ベクトル（概ね左側に位置する材料ベクトル）は、更新された材料ベクトルである。図１５に示すように、元の材料ベクトルと、更新された材料ベクトルとが、ベクトル空間で２つの主要なクラスタに明確に分割されていることが分かる。

また、更新された材料ベクトルから取得された上位２つの最も近い材料ベクトルを使用して材料の軌跡を調査した（図１５の拡大部分）。各クリップに含まれる材料に対して予め定義されているレシピカテゴリの違いに関係なく、類似した状態の材料ベクトルがベクトル空間の同じクラスタに属している。例えば、動作「ｂｅａｔ」で更新された「ｅｇｇｓ」の材料ベクトルの近くに、例えば、「ｍｉｘ」や「ｓｔｉｒ」等の「ｂｅａｔ」に類似する動作で更新された「ｅｇｇｓ」の材料ベクトルが存在する。「ｆｌｏｕｒ」にも同じ傾向が見られる。

上記のような材料ベクトルは、図１６に示すように、加減算が可能なベクトル表現となる。例えば、図１６の（ａ）に示すように、材料の状態遷移は、ｖ（ｃｕｔｐｏｔａｔｏｅｓ）＝ｖ（ｐｏｔａｔｏｅｓ）＋ｖ（ｃｕｔｔｏｍａｔｏｅｓ）－ｖ（ｔｏｍａｔｏｅｓ）として計算される。ここで、ｖはベクトル空間へのマップを表す。なお、図１６では、第１項の材料ベクトルが元の材料ベクトル（更新されていない材料ベクトル）の場合を示しているが、この項の材料ベクトルは、更新された材料ベクトルであってもよい。例えば、ｖ（ａｄｄｅｄｃｈｏｐｐｅｄｓｈａｌｌｏｔ）＝ｖ（ｃｈｏｐｐｅｄｓｈａｌｌｏｔ）＋ｖ（ａｄｄｅｇｇ）－ｖ（ｅｇｇ）のような計算も可能である。

本開示の技術は、例えば、テキストによる映像検索の検索性を高めるために有効な技術である。

なお、上記実施形態では、更新の前後で、材料ベクトルＥ^ｍに割り当てられる材料ベクトル＾ｅ_ｍの数が同数の場合について説明したが、これに限定されない。材料ベクトルＥ^ｍに割り当てる材料ベクトル＾ｅ_ｍに対して、材料ベクトルの追加、削除、及びマージの少なくとも１つを行うようにしてもよい。このような処理は、例えば、メモリネットワークを適用して実現してよい。

また、上記実施形態では、具体例の説明において、動画がレシピ動画（料理の手順を説明する動画）であり、材料は、その料理に利用される食材等である場合について説明したが、本開示の技術の適用範囲は上記の例に限定されない。例えば、工場における作業や、生化学実験の動画に対しても適用可能である。前者の場合、例えば、作業に使用される部品が上記実施形態における材料に相当し、部品の組み付け等が上記実施形態における動作に相当する。後者の場合、例えば、薬剤や検体が材料に相当し、加える、攪拌する等が動作に相当する。

なお、上記実施形態では、１つのコンピュータで、訓練機能と生成機能とを有する説明文生成装置を実現する場合について説明したが、これに限定されない。訓練装置と生成装置とを異なるコンピュータでそれぞれ実現してもよい。この場合、訓練装置から出力されるパスワードを、生成装置の状態推定器、説明文生成器、及び再推定器に設定するようにすればよい。

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した説明文生成処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、説明文生成処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態では、説明文生成プログラムが記憶装置に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ブルーレイディスク、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１０説明文生成装置
１２ＣＰＵ
１４メモリ
１６記憶装置
１８入力装置
２０出力装置
２２記憶媒体読取装置
２４通信Ｉ／Ｆ
２６バス
３０取得部
３１材料エンコーダ
３２動画エンコーダ
４０更新部
４１、４１Ａ、４１Ｂ、４１Ｃ状態推定器
５０生成部
５１、５１Ａ、５１Ｂ、５１Ｃ説明文生成器
６０訓練部
６１、６１Ａ、６１Ｂ、６１Ｃ再推定器
６２文章エンコーダ
６３推定器

Claims

複数の工程を含む作業について、前記作業に用いられる材料の各々を表す単語をベクトル化した材料特徴量と、前記作業を撮影した前記工程毎の動画の各々から抽出される、前記工程毎の動画の各々の内容的特徴を表す動画特徴量とを取得する取得部と、
動画特徴量から動作を特定すると共に、特定した動作に基づいて材料特徴量を更新するように予め訓練された第１モデルを用いて、前記取得部で取得された前記工程毎の動画の各々の動画特徴量に基づいて、前記工程毎の動画に含まれる材料に対する動作を特定し、特定した材料の前記材料特徴量を、特定した動作に応じて更新する更新部と、
材料特徴量と動作と動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成するように予め訓練された第２モデルを用いて、前記更新部により更新された前記材料特徴量と、特定された前記動作と、前記取得部により取得された前記動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成する生成部と、
を含む説明文生成装置。
前記更新部は、更新の対象となる前記材料特徴量を、前記作業における前記工程の時系列順に前の工程の動画について更新された材料特徴量とする請求項１に記載の説明文生成装置。
前記更新部は、更新した前記材料特徴量に対して、材料特徴量の追加、削除、及びマージの少なくとも１つを行う請求項１又は請求項２に記載の説明文生成装置。
材料リスト及び工程毎の動画と、前記材料リスト及び前記工程毎の動画に対応する正解の文章とを訓練データとして、前記第１モデル及び前記第２モデルを訓練する訓練部を含む請求項１～請求項３のいずれか１項に記載の説明文生成装置。
前記訓練部は、前記生成部により生成された文章と、前記正解の文章との比較に基づく第１損失と、前記更新部で特定された前記動作及び前記材料特徴量と、前記工程毎の動画に含まれる正解の動作及び材料との比較に基づく第２損失とを含む総損失を最小化するように、前記第１モデル及び前記第２モデルを訓練する請求項４に記載の説明文生成装置。
前記訓練部は、前記正解の文章を言語解析することにより、前記正解の動作及び材料を取得する請求項５に記載の説明文生成装置。
前記訓練部は、前記生成部により生成された文章から、材料特徴量及び動作を推定するように予め訓練された第３モデルの出力と、前記正解の動作及び材料との比較に基づく第３損失をさらに含む前記総損失を最小化するように、前記第１モデル、前記第２モデル、及び前記第３モデルを訓練する請求項５及び請求項６に記載の説明文生成装置。
コンピュータによって実行される説明文生成方法であって、
前記コンピュータに実装された取得部が、複数の工程を含む作業について、前記作業に用いられる材料の各々を表す単語をベクトル化した材料特徴量と、前記作業を撮影した前記工程毎の動画の各々から抽出される、前記工程毎の動画の各々の内容的特徴を表す動画特徴量とを取得し、
前記コンピュータに実装された更新部が、動画特徴量から動作を特定すると共に、特定した動作に基づいて材料特徴量を更新するように予め訓練された第１モデルを用いて、前記取得部で取得された前記工程毎の動画の各々の動画特徴量に基づいて、前記工程毎の動画に含まれる材料に対する動作を特定し、特定した材料の前記材料特徴量を、特定した動作に応じて更新し、
前記コンピュータに実装された生成部が、材料特徴量と動作と動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成するように予め訓練された第２モデルを用いて、前記更新部により更新された前記材料特徴量と、特定された前記動作と、前記取得部により取得された前記動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成する
説明文生成方法。
コンピュータを、
複数の工程を含む作業について、前記作業に用いられる材料の各々を表す単語をベクトル化した材料特徴量と、前記作業を撮影した前記工程毎の動画の各々から抽出される、前記工程毎の動画の各々の内容的特徴を表す動画特徴量とを取得する取得部、
動画特徴量から動作を特定すると共に、特定した動作に基づいて材料特徴量を更新するように予め訓練された第１モデルを用いて、前記取得部で取得された前記工程毎の動画の各々の動画特徴量に基づいて、前記工程毎の動画に含まれる材料に対する動作を特定し、特定した材料の前記材料特徴量を、特定した動作に応じて更新する更新部、及び、
材料特徴量と動作と動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成するように予め訓練された第２モデルを用いて、前記更新部により更新された前記材料特徴量と、特定された前記動作と、前記取得部により取得された前記動画特徴量とに基づいて、前記工程毎の作業の手順を説明する文章を生成する生成部
として機能させるための説明文生成プログラム。