JP7803032B2

JP7803032B2 - ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法、モデル、装置及び電子機器

Info

Publication number: JP7803032B2
Application number: JP2024097977A
Authority: JP
Inventors: シーイーシュエン; ウエイ　リー; リウジアチェン; シヤオシンイエン
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2023-07-11
Filing date: 2024-06-18
Publication date: 2026-01-21
Anticipated expiration: 2044-06-18
Also published as: EP4435674A3; KR20240105330A; CN116894880A; US20240362493A1; EP4435674A2; JP2024123108A; CN116894880B

Description

本開示は強化学習、コンピュータビジョン技術分野に関し、具体的にはＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法、ＴｅｘｔｔｏＩｍａｇｅモデル、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品に関する。

人工インテリジェントは、コンピュータに人間のいくつかの思惟過程及び知的行動（例えば、学習、推理、思考、計画など）を模擬させるように研究する科目であり、ハードウェア面の技術もあれば、ソフトウェア面の技術もある。人工インテリジェントのハードウェア技術は、一般的にセンサ、人工インテリジェント専用チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理などの技術を含み、人工知能ソフトウェア技術は、主にコンピュータ視覚技術、音声認識技術、自然言語処理技術及び機械学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの大きな方向を含む。

ＴｅｘｔｔｏＩｍａｇｅモデル（Ｔｅｘｔ－ＩｍａｇｅＭｏｄｅｌ、ＴＩＭ）は、入力テキストに基づいて、対応する画像を生成するモデルを意味し、最近の研究では一般的に拡散モデル（ＤｉｆｆｕｓｉｏｎＭｏｄｅｌ）を主とし、ユーザの曖昧な自然言語記述に基づいて、芸術的で審美的な画像を生成することができる。ＴｅｘｔｔｏＩｍａｇｅモデルでは、モデルの出力画像を入力テキストのセマンティックや詳細にアライメントさせ、できるだけい芸術性を持ち、多くの人が注目している研究方向である。

該部分で説明される方法は、必ずしも以前に想定された方法又は採用された方法ではない。特に断りのない限り、該部分に記載されているいずれの方法は、該部分に含まれるだけで従来技術であると考えられるべきではない。同様に、特に断りのない限り、該部分で言及されている課題は、いかなる従来技術で承認されたものであると考えるべきではない。

本開示は、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法、ＴｅｘｔｔｏＩｍａｇｅモデル、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品を提供する。

本開示の一態様によれば、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法を提供し、この方法は、入力テキストに基づいて対応する生成画像を生成するための第１のＴｅｘｔｔｏＩｍａｇｅモデルと、入力テキストと対応する生成画像からなるデータペアに基づいてスコアをつけるための事前トレーニングされた報酬モデルとを取得するこことを含み、このＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法は、事前トレーニングされた報酬モデルと強化学習方策に基づいて、第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを調整することで、第２のＴｅｘｔｔｏＩｍａｇｅモデルを得ることとをさらに含み、ここで、第２のＴｅｘｔｔｏＩｍａｇｅモデルは、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が予め設定された条件を満たし、累積報酬は生成トラジェクトリーにおける各段階の報酬に基づいて得られる。

本開示の別の態様によれば、ＴｅｘｔｔｏＩｍａｇｅモデルを提供し、このＴｅｘｔｔｏＩｍａｇｅモデルは以上に提供されたＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法によりトレーニングして得られる。

本開示の他の一態様によれば、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置を提供し、この装置は、入力テキストに基づいて対応する生成画像を生成する第１のＴｅｘｔｔｏＩｍａｇｅモデルと、入力テキストと対応する生成画像からなるデータペアに基づいてスコアをつける事前トレーニングされた報酬モデルとを取得するように構成される取得モジュールと、事前トレーニングされた報酬モデルと強化学習方策に基づいて、第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを調整することで、第２のＴｅｘｔｔｏＩｍａｇｅモデルを得、ここで、第２のＴｅｘｔｔｏＩｍａｇｅモデルは、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が予め設定された条件を満たし、累積報酬は生成トラジェクトリーにおける各項の報酬の合計に基づいて得られるように構成される調整モジュールとを含む。

本開示の別の態様によれば、電子機器を提供し、該電子機器は、少なくとも一つのプロセッサに通信接続されたメモリとを含み、メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されており、命令は少なくとも１つのプロセッサによって実行されることにより、少なくとも１つのプロセッサに本開示の上記で提供された目標検出方法又はトレーニング方法を実行させることができる。

本開示の別の態様によれば、コンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体を提供し、該コンピュータ命令は、コンピュータに本開示の上記で提供された目標検出方法又はトレーニング方法を実行させるために用いられる。

本開示の別の態様によれば、コンピュータプログラムを含むコンピュータプログラム製品を提供し、コンピュータプログラムは、プロセッサによって実行されると、本開示の上記で提供された目標検出方法又はトレーニング方法を実現する。

本開示の一つ又は複数の実施例によれば、強化学習に基づいてＴｅｘｔｔｏＩｍａｇｅモデルの生成過程を最適化し、報酬信号によって生成過程全体を制御し、モデルを累積報酬の高い方向に最適化する。

理解すべきこととして、該部分に説明される内容は、本開示の実施例の要点又は重要な特徴を識別することを意図しておらず、本開示の範囲を限定するためのものではない。本開示の他の特徴は、以下の明細書によって容易に理解されるであろう。

図面は、実施例を例示的に示し、明細書の一部を構成し、明細書の文字による説明とともに、実施例の例示的な実施形態を説明するために用いられる。図示の実施例は例示の目的のみであり、特許請求の範囲を限定するものではない。全ての図面において、同一の符号は、類似しているが、必ずしも同じとは限らない要素を指す。
は、本開示の実施例による、本明細書に記載された様々な方法及び装置を、その中で実施することができる例示的なシステム１００を示す概略図である。本開示の複数の実施例に記述される各ＴｅｘｔｔｏＩｍａｇｅモデルの対話を示す概略図である。本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法を示すフローチャートである。本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法における強化学習方策を示す概略図である。本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法を示すフローチャートである。本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法を示すフローチャートである。本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置７００を示す構成ブロック図である。本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置８００を示す構成ブロック図である。本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置９００を示す構成ブロック図である。本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置１０００を示す構成ブロック図である。本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置１１００を示す構成ブロック図である。本開示の実施例を実現するために使用できる例示的な電子機器を示す構成ブロック図である。

以下、図面に合わせて本開示の例示的な実施例を説明して、それに含まれる本開示の実施例における様々な詳細が理解を助けるためので、それらは単なる例示的なものと考えられるべきである。従って、当業者であれば、本開示の範囲から逸脱することなく、本明細書で説明された実施例に対して様々な変更及び修正を行うことができることを認識すべきである。同様に、明瞭と簡潔のために、以下の説明では公知の機能及び構造についての説明を省略している。

本願では、特に明記しない限り、様々な要素を説明するための「第１」、「第２」などの用語は、これらの要素の位置関係、タイミング関係、又は重要性関係を限定することを意図していない。このような用語は、一要素を別の要素から区別するためにのみ使用される。いくつかの例では、第１の要素と第２の要素は、該要素の同じ例を指してもよく、場合によっては、コンテキストの説明に基づいて、異なる例を指してもよい。

本開示の様々な例の説明で使用される用語は、特定の例を説明することのみを目的としており、限定することを意図していない。コンテキストで別途に明確に示されていない限り、特に要素の数を限定しないなら、要素は一つであってもよいし、複数であってもよい。なお、本開示で使用される用語「及び／又は」は、リストされたアイテムのいずれか及び可能な全ての組み合わせをカバーする。

以下、図面を参照して本開示の実施例について詳細に説明する。

図１は、本開示の実施例による、本明細書に記載された様々な方法及び装置を、その中で実施することができる例示的なシステム１００の概略図を示す。図１を参照すると、該システム１００は、一つ以上のクライアントデバイス１０１、１０２、１０３、１０４、１０５と１０６、サーバ１２０、及び一つ以上のクライアントデバイスをサーバ１２０に結合する一つ以上の通信ネットワーク１１０を含む。クライアントデバイス１０１、１０２、１０３、１０４、１０５と１０６は、一つ以上のアプリケーションを実行するように構成されることが可能である。

本開示の実施例では、サーバ１２０は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法の一つ又は複数のサービス又はソフトウェアアプリケーションを実行できるように動作する。

いくつかの実施例では、サーバ１２０は、非仮想環境と仮想環境を含むことができる他のサービス又はソフトウェアアプリケーションも提供することができる。いくつかの実施例では、これらのサービスは、ｗｅｂベースのサービス又はクラウドサービスとして提供することができ、例えば、ソフトウェアアズアサービス（ＳａａＳ）モデルでクライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６のユーザに提供される。

図１に示す構成では、サーバ１２０は、サーバ１２０により実行される機能を実現する一つ以上のアセンブリを含んでもよい。これらのアセンブリは、一つ以上のプロセッサで実行できるソフトウェアアセンブリ、ハードウェアアセンブリ、又はそれらの組み合わせを含んでもよい。クライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６を操作するユーザは、これらのアセンブリが提供するサービスを利用するために、一つ以上のクライアントアプリケーションを順次利用してサーバ１２０とやり取りをすることができる。様々な異なるシステム配置が可能であり、システム１００とは異なってもよいことを理解されたい。したがって、図１は、本明細書に記載された様々な方法を実施するためのシステムの一例であり、制限することを意図していない。

クライアントデバイスは、クライアントデバイスのユーザがクライアントデバイスとやり取りするインターフェースを提供することができる。クライアントデバイスは、該インターフェースを介してユーザに情報を出力することもできる。図１では６つのクライアントデバイスしか図示されていないが、当業者であれば理解できるように、本開示はいかなる数のクライアントデバイスもサポートできる。

クライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６は、携帯型ハンドヘルドデバイス、汎用コンピュータ（例えば、パーソナルコンピュータやノートパソコン）、ワークステーションコンピュータ、ウェアラブルデバイス、スマートスクリーンデバイス、セルフサービス端末デバイス、サービスロボット、ゲームシステム、シンクライアント、各種のメッセージングデバイス、センサ、又はその他の検知デバイスなどの様々なタイプのコンピュータデバイスを含んでもよい。これらのコンピュータデバイスは、ＭＩＣＲＯＳＯＦＴＷｉｎｄｏｗｓ、ＡＰＰＬＥｉＯＳ、類ＵＮＩＸ（登録商標）オペレーティングシステム、Ｌｉｎｕｘ（登録商標）又は類Ｌｉｎｕｘ（登録商標）オペレーティングシステム（例えば、ＧＯＯＧＬＥＣｈｒｏｍｅＯＳ）などの様々なタイプ及びバージョンのソフトウェアアプリケーションやオペレーティングシステムを実行したり、ＭＩＣＲＯＳＯＦＴＷｉｎｄｏｗｓＭｏｂｉｌｅＯＳ、ｉＯＳ、ＷｉｎｄｏｗｓＰｈｏｎｅ、Ａｎｄｒｏｉｄなどの各種のモバイルオペレーティングシステムを含んだりすることができる。携帯用ハンドヘルドデバイスには、携帯電話、インテリジェントフォン、タブレット、パーソナルデジタルアシスタント（ＰＤＡ）などを含んでもよい。ウェアラブルデバイスは、ヘッドマウント型ディスプレイ（例えば、スマートグラス）と他の装置を含んでもよい。ゲームシステムは、様々なハンドヘルド型のゲームデバイス、インターネット対応のゲームデバイスなどを含んでもよい。クライアントデバイスは、例えば、インターネットＩｎｔｅｒｎｅｔ関連アプリケーション、通信アプリケーション（例えば、電子メールアプリケーション）、ショートメッセージサービス（ＳＭＳ）アプリケーション、様々なアプリケーションを実行でき、且つ様々な通信プロトコルを使用できる。

ネットワーク１１０は、当業者に知られている任意のタイプのネットワークであってもよく、それは、データ通信をサポートするために、複数の利用可能なプロトコルのいずれか一つ（ＴＣＰ／ＩＰ、ＳＮＡ、ＩＰＸなどを含むがこれらに限定されない）を使用することができる。例として、一つ以上のネットワーク１１０は、ローカルエリアネットワーク（ＬＡＮ）、イーサネットベースのネットワーク、トークンループ、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、ブロックチェーンネットワーク、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（例えば、ブルートゥース（登録商標）、ＷＩＦＩ）、及び／又はこれら及び／又はその他のネットワークの任意の組み合わせであってもよい。

サーバ１２０は、一つ以上の汎用コンピュータ、専用サーバコンピュータ（例えば、ＰＣ（パーソナルコンピュータ）サーバ、ＵＮＩＸ（登録商標）サーバ、ミッドレンジサーバ）、ブレードサーバ、大型コンピュータ、サーバクラスタ、又はその他のいかなる適切な配置及び／又は組み合わせを含んでもよい。サーバ１２０は、仮想オペレーティングシステムを実行する一つ以上の仮想マシン、又は仮想化に関わる他のコンピューティングアーキテクチャ（例えば、サーバの仮想記憶デバイスを維持するために仮想化された論理記憶デバイスの一つ以上のフレキシブルプール）を含んでもよい。様々な実施例では、サーバ１２０は、以下に説明する機能を提供する一つ以上のサービス又はソフトウェアアプリケーションを実行することができる。

サーバ１２０における計算ユニットは、上記した任意のオペレーティングシステム及び任意の商用サーバオペレーティングシステムを含む一つ以上のオペレーティングシステムを実行することができる。サーバ１２０は、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、ＪＡＶＡ（登録商標）サーバ、データベースサーバなど、様々な追加のサーバアプリケーション及び／又は中間層アプリケーションのいずれか一つを実行することもできる。

いくつかの実施形態では、サーバ１２０は、クライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６のユーザから受信したデータフィード及び／又はイベントの更新を分析し統合するための一つ以上のアプリケーションを含んでもよい。サーバ１２０は、クライアントデバイス１０１、１０２、１０３、１０４、１０５及び／又は１０６の一つ以上のディスプレイデバイスを介してデータフィード及び／又はリアルタイムイベントを表示する一つ以上のアプリケーションを含んでもよい。

いくつかの実施例では、サーバ１２０は、分散型システムのサーバであってもよいし、ブロックチェーンを組み込んだサーバであってもよい。サーバ１２０は、クラウドサーバであってもよいし、人工インテリジェント技術を備えたインテリジェントクラウドコンピューティングサーバやインテリジェントクラウドホストであってもよい。クラウドサーバはクラウドコンピューティングサービスシステムにおけるホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ、ＶｉｒｔｕａｌＰｒｉｖａｔｅＳｅｒｖｅｒ）サービスに存在する管理難度が大きく、業務拡張性が弱いという欠陥を解決する。

システム１００は、さらに一つ以上のデータベース１３０を含んでもよい。いくつかの実施例では、これらのデータベースはデータやその他の情報を記憶するために使用できる。例えば、データベース１３０のうちの一つ以上は、オーディオファイルやビデオファイルのような情報を記憶するために使用できる。データベース１３０は、さまざまな位置に配置することができる。例えば、サーバ１２０が使用するデータベースは、サーバ１２０のローカルにあってもよいし、サーバ１２０から離れて、ネットワーク又は専用の接続を介してサーバ１２０と通信してもよい。データベース１３０は、さまざまなタイプであってもよい。いくつかの実施例では、サーバ１２０が使用するデータベースは、リレーショナルデータベースであってもよい。これらのデータベースのうちの一つ以上は、命令に応じてデータベースとデータベースからのデータを記憶、更新、検索できる。

いくつかの実施例では、データベース１３０のうちの一つ以上は、アプリケーションによって使用され、アプリケーションのデータを記憶することもできる。アプリケーションで使用されるデータベースは、キー値リポジトリ、オブジェクトリポジトリ、ファイルシステムでサポートされる汎用リポジトリなど、様々なタイプのデータベースであってもよい。

図１のシステム１００は、本開示に基づいて説明した様々な方法及び装置を応用することができるように、様々な方法で構成し操作することができる。

図２は、本開示の複数の実施例に記述される各ＴｅｘｔｔｏＩｍａｇｅモデルの対話概略図を示す。図２を参照すると、ＴｅｘｔｔｏＩｍａｇｅモデル（Ｔｅｘｔ－ＩｍａｇｅＭｏｄｅｌ、ＴＩＭ）２００は、入力テキストに基づいて対応する画像を生成するモデルを意味し、最近の研究では一般的に拡散モデル（ＤｉｆｆｕｓｉｏｎＭｏｄｅｌ）を主とし、ユーザの曖昧な自然言語記述（Ｐｒｏｍｐｔ）、すなわち入力テキスト２０１に基づいて、芸術的で審美的な画像を生成することができ、つまり、この入力テキスト２０１に基づいて対応する生成画像２０２を生成する。ＴｅｘｔｔｏＩｍａｇｅモデル２００では、モデルの生成画像２０２を入力テキスト２０１のセマンティックや詳細にアライメントし、できるだけい芸術性を持ち、多くの人が注目している研究方向である。

図２に示すＴｅｘｔｔｏＩｍａｇｅモデル２００を例にとると、入力テキスト２０１は、「彩雲が金色の宮殿を囲んで、群鳥、中国の天女、服にリボンがついている」を含み、つまり、入力テキスト２０１には少なくとも、雲、宮殿、鳥、と天女の４つの実体を含む。ここで、雲と宮殿の実体属性は、色彩属性（虹色の雲と金色の宮殿）であり、鳥の実体属性は、数量属性（複数の鳥の実体が鳥の群れを構成する実体）であり、天女の実体属性は、スタイル属性（中国式の天女、服にリボンがついている）などであり、ＴｅｘｔｔｏＩｍａｇｅモデル２００の生成画像２０２は、「虹色の雲が金色の宮殿を囲むものと鳥の群れ」だけを含み、つまり、生成画像２０２は雲、宮殿と鳥の３つの実体だけを含み、天女という実体を含んでおらず、生成画像２０２と入力テキスト２０１の実体の数量はアライメントしない。したがって、ＴｅｘｔｔｏＩｍａｇｅモデルを用いて画像を生成するユーザに対して、ＴｅｘｔｔｏＩｍａｇｅモデル２００の生成画像２０２が入力テキスト２０１とアライメントするかどうかを人間の視点に基づいて評価するには、大まかに以下のいくつかの方向の詳細をまだ改善する必要がある：１）実体数量、２）実体属性、３）マルチ実体の組み合わせ、４）描画背景、５）描画スタイル。各方向に詳細で誤差のない画像を生成することは、ＴｅｘｔｔｏＩｍａｇｅ類製品の技術力を高め、ユーザ満足度を向上させる。

上記の技術的問題について、本開示は、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法を提供する。

図３は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法のフローチャートを示す。図３に示すように、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法は以下のステップを含む。

ステップＳ３０１では、入力テキストに基づいて対応する生成画像を生成するための第１のＴｅｘｔｔｏＩｍａｇｅモデルと、入力テキストと対応する生成画像からなるデータペアに基づいてスコアをつけるための事前トレーニングされた報酬モデルとを取得する。

すなわち同じ入力テキストが複数の出力結果（すなわち生成画像）を生成するため、生成された画像を報酬モデル（ＲｅｗａｒｄＭｏｄｅｌ、ＲＭ）でスコアをつけて報酬信号を生成する必要があり、報酬信号は生成された画像を人間の視点からソーティングまたは評価する。

実行可能な実施形態として、単純なバイナリ報酬信号を使用することができ、例えば、「＋」または「－」記号を使用して与えられた報酬またはペナルティを表し、すなわち報酬モデルのスコアは、０または１である。

バイナリ報酬信号は、いくつかの場合には、出生成画像の差を十分に反映できない可能性があるため、実行可能な実施形態として、報酬信号は、０と５の間の整数で表し、つまり、報酬モデルのスコアが０と５の間の整数であり、ここで、５が最高の報酬を表し、０が最低の報酬を表す。このような報酬信号は、生成画像の良し悪しをモデルによりよく理解させることができ、後続の調整段階において、モデルの性能表現を向上させることに役立つ。

また、同じ生成画像に対して、異なる評価角度からスコアをつける場合、例えば、同じ生成画像に対して異なる評価者がスコアをつけると、評価者１は５点を与え、評価者２は３点を与える可能性があり、モデルは学習時にこの画像が良いのか悪いのかを判断することが困難になる。絶対的なスコアをつけるため、評価標準を統一することは難しいので、実行可能な実施形態として、結果の良し悪しを相対的なソーティングの方式でソーティングすることができ、例えば、生成画像Ａと生成画像Ｂについて、評価者１は、Ａ＞Ｂ、つまり評価者１は、生成画像Ａが生成画像Ｂより予想に一致しているだと考え、評価者２も、Ａ＞Ｂと考えるので、モデルは相対的なソーティングの方式に基づいて、多くの生成画像において高品質な画像と低品質な画像をよりよく区別することができる。

報酬モデルによって人工フィードバックのデータを収集し、比較学習形式で報酬モデルをトレーニングし、報酬モデルの判別順序を人々の共通理解に適合させる。

ステップＳ３０２では、事前トレーニングされた報酬モデルと強化学習方策に基づいて、第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを調整することで、第２のＴｅｘｔｔｏＩｍａｇｅモデルを得、ここで、第２のＴｅｘｔｔｏＩｍａｇｅモデルは、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が予め設定された条件を満たし、累積報酬は生成トラジェクトリーにおける各段階の報酬に基づいて得られる。

強化学習方策は機械学習行動主義の産物であり、その基本的な考え方はエージェントが環境との継続的な対話の中で知能を取得する。強化学習方策は、環境（Ｓｔａｔｅ）、主体（Ａｃｔｏｒ）、行動（Ａｃｔｉｏｎ）と報酬（Ｒｅｗａｒｄ）に基づいて行われ、ここで、環境は現在の状態であり、主体は環境と対話して動作を実行する対象であり、行動は主体が実行する動作であり、報酬は主体の具体的な行動に対して与えられたフィードバックである。

ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーに対応して、主体（Ａｃｔｏｒ）は現在の段階のＴｅｘｔｔｏＩｍａｇｅモデルであり、環境（Ｓｔａｔｅ）はＴｅｘｔｔｏＩｍａｇｅモデルに対応する入力テキスト及び生成された生成画像であってもよく、行動（Ａｃｔｉｏｎ）は、ＴｅｘｔｔｏＩｍａｇｅモデルに対応する出力ノイズであり、報酬（Ｒｅｗａｒｄ）は人為的な需要に応じて設計することができ、製品のユーザフィードバックに注目する場合、ユーザのフィードバックに基づいて報酬を設計することができる。この過程において、ＴｅｘｔｔｏＩｍａｇｅモデルのノイズ除去による画像生成ステップを強化学習軌跡とし、報酬信号によって生成過程全体を制御し、モデルを累積報酬の高い方向に最適化する。

トレーニングの基礎として１つの第１のＴｅｘｔｔｏＩｍａｇｅモデルを使用することで、モデルが順次実行する時に発生するエラーを効果的に低減させることによって、生成結果の品質を向上させることができる。このような方式によって、各入力とそれに対応する出力を初期モデル（第１のＴｅｘｔｔｏＩｍａｇｅモデル）によりよく理解させ、それに対応する操作を実行することができる。実行可能な実施形態として、高品質なデータペアを利用して第１のＴｅｘｔｔｏＩｍａｇｅモデルを微調整トレーニングすることによって、モデルの全体的な性能を向上させることもできる。ここで、高品質なデータペアは追加の画像テキストのペア、例えば、人手でラベル付けされた画像テキストのペアであってもよい。

以下、本開示の実施例による目標検出方法の各方面を更に説明する。

いくつかの実施例によれば、予め設定された条件は、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーにおいて第２のＴｅｘｔｔｏＩｍａｇｅモデルによって取得された累積報酬が、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーにおいて第１のＴｅｘｔｔｏＩｍａｇｅモデルによって取得された累積報酬よりも高いことを含む。

ＴｅｘｔｔｏＩｍａｇｅモデルは、環境（Ｓｔａｔｅ）－行動（Ａｃｔｉｏｎ）を何度も経験した後に１つの最終的な結果をもたらすことが多いため、つまり、複数の入力テキスト及び生成された生成画像がある可能性があるが、行動（Ａｃｔｉｏｎ）ごとに１つの報酬（Ｒｅｗａｒｄ）があり、つまり、出力ノイズごとにスコアをつけるが、最終的に結果に反映されるのは、これらすべての報酬の合計、すなわち累積報酬である。強化学習方策における環境（Ｓｔａｔｅ）には無数の状況が存在する可能性があり、１つの環境（Ｓｔａｔｅ）においても多くの実行可能な解が存在する可能性がある。したがって、環境（Ｓｔａｔｅ）－行動（Ａｃｔｉｏｎ）－報酬（Ｒｅｗａｒｄ）のサイクルごとにパラメータを更新すると、このモデルは非常に「近視的」になり、収束しにくくなるため、このモデルは、「現在の状況」にしか対応できず、無限の環境（Ｓｔａｔｅ）には対応できない可能性がある。このため、強化学習方策の最終目的はトラジェクトリー（Ｔｒａｊｅｃｔｏｒｙ）の最適であり、いずれの行動（Ａｃｔｉｏｎ）も最適ではない。

いくつかの実施例によれば、図４は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法における強化学習方策の概略図を示す。図４に示すように、強化学習方策は、近傍方策最適化（ＰｒｏｘｉｍａｌＰｏｌｉｃｙＯｐｔｉｍｉｚａｔｉｏｎ、ＰＰＯ）アルゴリズムを含む。

近傍方策最適化アルゴリズムは、方策勾配の改良されたアルゴリズムであり、従来の方策勾配アルゴリズムでは、ターゲット関数の勾配とステップサイズに基づいて方策重みを更新し、このような更新過程では、オーバーシュート（Ｏｖｅｒｓｈｏｏｔｉｎｇ）とアンダーシュート（Ｕｎｄｅｒｓｈｏｏｔｉｎｇ）の２つの一般的な問題が発生する可能性があり、ここて、オーバーシュートとは、更新が報酬ピークを逃して次善の方策領域に落ちたことを意味し、アンダーシュートとは、勾配方向に小さ過ぎる更新ステップサイズをとると、収束が遅くなることを意味する。

教師あり学習問題では、オーバーシュートは大きな問題ではなく、データは固定されているので、次の段階（ｅｐｏｃｈ）で再修正することができるが、強化学習問題中では、オーバーシュートにより悪い方策領域に陥った場合、将来のサンプルバッチはあまりにも意味のある情報を提供しない可能性があり、悪いデータサンプルで方策を更新することによって、悪いポジティブフィードバックに陥って回復できない。

近傍方策最適化ＰＰＯアルゴリズムはターゲットダイバージェンスを設置する方式によって、この問題を解決し、更新のたびにターゲットダイバージェンスの近くのある区間に位置することを期待する。ここで、ターゲットダイバージェンスは方策を著しく変化させるのに十分なほど大きくなければならないが、更新を安定させるのに十分なほど小さくなければならない。そして更新のたびに、近傍方策最適化ＰＰＯアルゴリズムは更新の大きさをチェックする。最終的に更新されたダイバージェンスはターゲットダイバージェンスの１．５倍を超えた場合、次回の反復では損失係数βが２倍になり、より重いペナルティが課せられる。逆で、更新が小さすぎる場合、損失係数βを半減させることによって、信頼領域を効果的に拡大する。

いくつかの実施例によれば、近傍方策最適化ＰＰＯアルゴリズムは第１のＴｅｘｔｔｏＩｍａｇｅモデル４０１に基づいて初期化して得られる行動サブモデル４０３と、事前トレーニングされた報酬モデル４０２に基づいて初期化して得られる評価サブモデル４０４とを用いる。

初期点の選択は、アルゴリズムが収束するかどうかをある程度決定することができ、収束する時に、初期点は学習收束の複数のブロック、コストの高い点または低い点に収束できるかどうかを決定することができる。大き過ぎる初期化は勾配爆発を招き、小さ過ぎる初期化は勾配消失を招く。したがって、オフラインデータ（つまり人間のプレゼンター、スクリプト方策またはその他の強化学習エージェントが収集したデータ）で方策をトレーニングし、それを新しい強化学習方策の初期化に使用することができる。この過程により、新しい強化学習方策は事前トレーニングされたように見える。次に、この方策で主体（すなわち行動サブモデル、Ａｃｔｏｒ）－評価（すなわち評価サブモデル、Ｃｒｉｔｉｃ）ネットワークを初期化して微調整し、ここで、初期主体（Ａｃｔｏｒ）として事前トレーニングされた第１のＴｅｘｔｔｏＩｍａｇｅモデル４０１を採用し、初期評価（Ｃｒｉｔｉｃ）として事前トレーニングされた報酬モデル４０２を採用する。アプリオリ情報を用いることで、状態空間のランダム探索を回避する。このようなアプリオリ情報は、エージェントが環境のどの状態が良く、さらに探索すべきであるかを理解するのに役立つ。同時に、報酬モデル４０２と第１のＴｅｘｔｔｏＩｍａｇｅモデル４０１モデルを連立して微調整を行い、微調整した第２のＴｅｘｔｔｏＩｍａｇｅモデル４０５が報酬モデルの要素を考慮するようにし、詳細問題を避けることができる。

いくつかの実施例によれば、生成トラジェクトリーは、少なくとも１つの段階を含み、ここで、生成トラジェクトリーにおける各段階について、行動サブモデル４０３は、提供された入力テキストに基づいて、対応する出力ノイズ付き画像を生成し、及び、評価サブモデル４０４は、現在の段階の前記入力テキストと前記出力ノイズ付き画像に基づいて、前記現在の段階の報酬を出力する。

例えば、同じ入力テキストＸに基づいて、２つの生成画像Ｙ１とＹ２を生成し、ここで、１つのは第１のＴｅｘｔｔｏＩｍａｇｅモデルから、もう１つのは強化学習方策を経た現在の反復ＴｅｘｔｔｏＩｍａｇｅモデルから生成される。上記２つのモデルの生成画像を比較して差異を計算する報酬は、この報酬が正の値または負の値であてっもよいため、ペナルティ項と考えることもできる。この項は、モデルによる合理的な生成画像を出力することを確保するために、各トレーニングしバッチにおいて初期モデル（すなわち第１のＴｅｘｔｔｏＩｍａｇｅモデル）から逸脱する程度を生成する強化学習方策を報酬またはペナルティするために用いられる。このペナルティ項を取り除くと、モデルが最適化中にナンセンスな寄せ集めの画像を生成して報酬モデルをばかにすることで、高い報酬値を提供する可能がある。

報酬とは、ある特定の状態にあり、特定の動作を実行する代理の「優位性」を表すスカラーを生成する関数である。

いくつかの実施例によれば、現在の段階の報酬は、現在の段階より前の前段階の行動サブモデル４０３の出力と現在の段階の行動サブモデル４０３の出力のと間の相対エントロピーを含む。

生成トラジェクトリー内では、ノイズ付き画像の報酬は後者の損失を伴うＫｕｌｌｂａｃｋ－Ｌｅｉｂｌｅダイバージェンス（すなわちＫＬダイバージェンス）のみであり、ＫＬダイバージェンスは、２つの分布間の差異の程度を測定することに用いられることができる。両者の差が小さいと、ＫＬダイバージェンスは小さくなる。両分布が一致すると、そのＫＬダイバージェンスは０になる。

したがって、強化学習方策におけるペナルティ項としてＫＬダイバージェンスを採用し、報酬モデルと事前トレーニングされたモデルを連立して微調整を行い、生成モデルが報酬モデルの要素を考慮するようにし、詳細問題を避けることができる。

いくつかの実施例によれば、現在の段階の報酬は、現在の段階より前の前段階の評価値と現在の段階の評価値との差を含んでもよく、ここで、評価値は事前トレーニングされた報酬モデル４０２が提供された入力テキストと対応する出力ノイズ付き画像に基づいてスコアをつけて得られる。

生成ノイズ付き画像自体が評価されることができるため、それは報酬モデルによるスコア自体を報酬として使用することもでき、生成トラジェクトリー内の各ステップの報酬は、報酬モデルのスコアとすることができる。

実行可能な実施形態として、報酬モデルの代わりに直接的に人手で同定された報酬分数を直接使用することもできる、報酬モデルは人為的な需要に応じて設計することができ、製品のユーザフィードバックに注目する場合、ユーザのフィードバックに基づいて報酬を設計することができることを理解されたい。

いくつかの実施例によれば、生成トラジェクトリーで取得された累積報酬は、事前トレーニングされた報酬モデルが生成トラジェクトリーの初期入力と最終出力に基づいて得られる合計スコアと、生成トラジェクトリーにおける最終段階での報酬と損失係数との積である損失項とを含む。報酬関数は

のように設計することができ、ここで、θは、生成モデルのパラメータであり、ｓｃｏｒｅは、報酬モデルによる入力テキスト（初期入力）及び生成画像（最終出力）のスコアであり、ａ_ｔ，ｓ_ｔは、それぞれｔ時刻の行動（Ａｃｔｉｏｎ）、環境（Ｓｔａｔｅ）であり、すなわちＴｅｘｔｔｏＩｍａｇｅモデルに対応する出力ノイズ、入力テキスト及び生成されたノイズ付き画像であり、π_ＳＦＴは、事前トレーニングされた第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータであり、π_θ’は、強化学習方策における現在の反復ＴｅｘｔｔｏＩｍａｇｅモデルのパラメータであり、βは、損失係数である。

式の前は１つの正の値であり、ｓｃｏｒｅの目的は合計スコアの累積を大きくし、予想に合うようにすることであり、第２の項はペナルティ項であり、トレーニングしたモデルが以前に調整したモデルから外れないようにすることができ、そうしないと、予想に合わない結果が出る可能性がある。

いくつかの実施例によれば、第２のＴｅｘｔｔｏＩｍａｇｅモデル４０５の生成トラジェクトリーにおける累積報酬に基づいて、バックプロパゲーションアルゴリズムによって第２のＴｅｘｔｔｏＩｍａｇｅモデル４０５のパラメータを得る。

バックプロパゲーション（Ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）アルゴリズムの出現はニューラルネットワークの発展の大きな突破であり、現在多くの深層学習トレーニング方法の基礎でもある。この方法はニューラルネットワークにおける損失関数の各パラメータに対する勾配を計算し、最適化方法に合わせてパラメータを更新し、損失関数を低減することができる。報酬関数は、正向の損失関数と考えられ、報酬信号によって生成過程全体を制御し、モデルを累積報酬の高い方向に最適化することができる。

いくつかの実施例によれば、図５は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法のフローチャートを示す。図５に示すように、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法は、
入力テキストに基づいて対応する生成画像を生成するための第１のＴｅｘｔｔｏＩｍａｇｅモデルと、入力テキストと対応する生成画像からなるデータペアに基づいてスコアをつけるための事前トレーニングされた報酬モデルとを取得するステップＳ５０１と、
事前トレーニングされた報酬モデルと強化学習方策に基づいて、第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを調整することで、第２のＴｅｘｔｔｏＩｍａｇｅモデルを得、ここで、第２のＴｅｘｔｔｏＩｍａｇｅモデルは、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が予め設定された条件を満たし、累積報酬は生成トラジェクトリーにおける各段階の報酬に基づいて得られるステップＳ５０２とを含み、
ステップＳ５０１の前に、フィードバックデータセットに基づいて、報酬モデルをトレーニングするステップＳ５０３とをさらに含む。

実行可能な実施形態として、事前トレーニングされた報酬モデルは複数のフィードバックデータを含むフィードバックデータセットに基づいてトレーニングして得られ、ここで、複数のフィードバックデータは、入力テキストと対応する生成画像からなるデータペア及びとデータペアに対応するフィードバック状態を含み、ここで、フィードバック状態は、同じ入力テキストに対して生成された対応する生成画像はポジティブフィードバックまたはネガティブフィードバックに属することを表すために用いられる。つまり、フィードバックデータセットにおけるフィードバックデータは、実際には１つの「入力－出力－評価」の三元組であり、ここでは、フィードバック状態は、通常に人間のフィードバックに基づいて与えられる。

現在、１つの入力テキストｘに基づいて、４つのソーティングした生成画像Ａ、Ｂ、ＣとＤがあり、人間のフィードバックに基づいてソーティングされていると仮定し、Ａ＞Ｂ＞Ｃ＞Ｄである。ここで、入力テキストｘに対して、人間の一般的な認知では画像Ａが画像Ｂよりも高品質である。既知のソーティングで報酬モデルをトレーニングする場合、上位のデータほどポジティブフィードバック（高品質な画像）に偏り、下位のデータほどネガティブフィードバック（低品質な画像）に偏る。

いくつかの実施例によれば、前記報酬モデルをトレーニングすることは、複数のフィードバックデータに基づいて、フィードバック状態がポジティブフィードバックであるデータペアに第１の報酬スコアを出力し、フィードバック状態がネガティブフィードバックであるデータペアに第２の報酬スコアを出力するように、報酬モデルを比較学習の形式でトレーニングし、ここで、第１の報酬スコアと第２の報酬スコアの差は、対応する生成画像の品質の差異を表すために用いられることを含む。

１つの入力テキストｘに基づいて、４つのソーティングした生成画像Ａ、Ｂ、ＣとＤがあり、人間のフィードバックはソーティングされている：Ａ＞Ｂ＞Ｃ＞Ｄ。報酬モデルは４つの生成画像のスコアは、ｒ（Ａ）＞ｒ（Ｂ）＞ｒ（Ｃ）＞ｒ（Ｄ）を満たす必要があるため、報酬モデルの損失関数は、

であり、ここで、θは、報酬モデルのパラメータであり、ｘは、入力テキストであり、ｙ_ｗ，ｙ_ｌは、それぞれ高品質な画像、低品質な画像であり、Ｄ_ＲＭは、報酬モデルに使用されるデータセットであり、ｒは、モデルによる入力テキスト、出力画像の報酬スコアを意味する１つのスカラーとして出力される報酬モデルである。は、差をより良く正規化するために、２つの項の差ごとに１つのｓｉｇｍｏｉｄ関数σを使用して差を０～１の間に引くことができる。

フィードバックデータセット内のデータはデフォルトで高スコアから低スコアまで並んでいるため、前後項のスコア差をトラバースして合計するだけでよい。

実行可能な実施形態として、よりよく報酬モデルの最適化する效果を実現するために、ステップ５０３を複数回実行することができる
いくつかの実施例によれば、フィードバックデータセットは、少なくとも二つの異なるソースからの複数のフィードバックデータを含む。フィードバックデータセットは、複数の異なるソースからのフィードバックデータを含んでもよい。より多くのデータソースを導入し、ユーザフィードバック、人手でラベル付けなどさまざまな角度からデータを収集する。異なるソースからのフィードバックデータについて、最適化されたＴｅｘｔｔｏＩｍａｇｅモデルは数量、属性、背景に注目した上でマルチ実体の組み合わせ、描画スタイルなどのアライメントする要素の考慮を増やすことができる。

いくつかの実施例によれば、複数のフィードバックデータは、ユーザからフィードバックされたデータと、人手でラベル付けされたデータと手動で比較されたデータのうちの少なくとも２つを含み、ここで、ユーザからフィードバックされたデータは、ユーザの行動に基づいて前記フィードバック状態を得て、人手でラベル付けされたデータは、人手でラベル付けされた結果に基づいて、前記フィードバック状態を得て、手動で比較されたデータは、異なるバージョンの生成画像に基づいて、前記フィードバック状態を得る。

Ｄ_ＲＭは、報酬モデルに使用されるデータセットであり、ユーザフィードバック、人手でラベル付け、手動比較の３つの部分を含む。その中で、ユーザフィードバックは、一般的に製品形式と関連しており、例えば、ユーザは好きでいいねをする可能性のあるデータを、分割したり、拡大したり、評価したりするのこれらの行動は、ユーザのこれらの行動の判定により、描画スタイルの考慮を導入することができ、人手でラベル付けは、一般的に、専門の注釈者がいて、良い画像と悪い画像にラベルを付けるのに役立ちすることによって、優劣を区別し、手動比較とは異なるバージョンのＴｅｘｔｔｏＩｍａｇｅモデルで同じ入力テキストと生成画像のデータペアを比較するため、実体の組み合わせに改良をもたらすことができる。

いくつかの実施例によれば、図６は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法のフローチャートを示す。図６に示すように、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法は、
入力テキストに基づいて対応する生成画像を生成するための第１のＴｅｘｔｔｏＩｍａｇｅモデルと、入力テキストと対応する生成画像からなるデータペアに基づいてスコアをつけるための事前トレーニングされた報酬モデルとを取得するステップＳ６０１と、
事前トレーニングされた報酬モデルと強化学習方策に基づいて、第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを調整することで、第２のＴｅｘｔｔｏＩｍａｇｅモデルを得、ここで、第２のＴｅｘｔｔｏＩｍａｇｅモデルは、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が予め設定された条件を満たし、累積報酬は生成トラジェクトリーにおける各段階の報酬に基づいて得られるステップＳ６０２とを含み、
ステップＳ６０１の前に、トレーニングすべき第１のＴｅｘｔｔｏＩｍａｇｅモデルのトレーニングサンプルとして人手でラベル付けされた画像テキストのペアを取得するステップＳ６０３、及び、バックプロパゲーションアルゴリズムに基づいて、トレーニングすべき第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを更新することで、教師ありトレーニングされた第１のＴｅｘｔｔｏＩｍａｇｅモデルを得るステップＳ６０４を含む。

事前トレーニングされたＴｅｘｔｔｏＩｍａｇｅモデルによる教師ありファインチューニング（ＳｕｐｅｒｖｉｓｅｄＦｉｎｅ－Ｔｕｎｉｎｇ，ＳＦＴ）の方式で第１のＴｅｘｔｔｏＩｍａｇｅモデルを取得することができ、事前トレーニングされたＴｅｘｔｔｏＩｍａｇｅモデルによる教師ありファインチューニングＳＴＦを用いて微調整を行う場合、標準的な教師あり学習方法、すなわち人手でラベル付けされた（入力、出力）テキストペアをトレーニングサンプルとして使用し、バックプロパゲーションアルゴリズムでモデルのパラメータを更新することができる。このような方式によって、各入力とそれに対応する出力をモデルによりよく理解させ、それに対応する操作を実行することができる。また、事前トレーニングされたＴｅｘｔｔｏＩｍａｇｅモデルによる教師ありファインチューニングＳＴＦは、モデルの順次実行時に発生するエラーを効果的に低減させることによって、生成結果の品質を向上させることができる。

いくつかの実施例によれば、本開示は、前述実施例に提供されたＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法によりトレーニングして得られるＴｅｘｔｔｏＩｍａｇｅモデルをさらに提供する。

図７は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置７００の構成ブロック図を示す。図７に示すように、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置７００は以下を含む。

取得モジュール７０１であって、取得モジュール７０１は、入力テキストに基づいて対応する生成画像を生成する第１のＴｅｘｔｔｏＩｍａｇｅモデルと、前記入力テキストと前記対応する生成画像からなるデータペアに基づいてスコアをつける事前トレーニングされた報酬モデルとを取得するように構成される。

同じ入力テキストが複数の出力結果（生成画像）を生成するため、生成された画像を報酬モデル（ＲｅｗａｒｄＭｏｄｅｌ、ＲＭ）でスコアをつけて報酬信号を生成する必要があり、報酬信号は生成された画像を人間の視点からソーティングまたは評価する。

調整モジュール７０２であって、調整モジュール７０２は、前記事前トレーニングされた報酬モデルと強化学習方策に基づいて前記第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを調整することで、第２のＴｅｘｔｔｏＩｍａｇｅモデルを得、ここで、前記第２のＴｅｘｔｔｏＩｍａｇｅモデルは、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が予め設定された条件を満たし、前記累積報酬は前記生成トラジェクトリーにおける各項の報酬の合計に基づいて得られるように構成される。

ＴｅｘｔｔｏＩｍａｇｅモデルのノイズ除去による画像生成ステップを強化学習軌跡とし、報酬信号によって生成過程全体を制御し、モデルを累積報酬の高い方向に最適化する。

いくつかの実施例によれば、強化学習方策は、近傍方策最適化（ＰｒｏｘｉｍａｌＰｏｌｉｃｙＯｐｔｉｍｉｚａｔｉｏｎ、ＰＰＯ）アルゴリズムを含む。

近傍方策最適化アルゴリズムは、方策勾配の改良されたアルゴリズムであり、従来の方策勾配アルゴリズムでは、ターゲット関数の勾配とステップサイズに基づいて方策重みを更新し、このような更新過程では、オーバーシュート（Ｏｖｅｒｓｈｏｏｔｉｎｇ）とアンダーシュート（Ｕｎｄｅｒｓｈｏｏｔｉｎｇ）の２つの一般的な問題が発生する可能性があり、ここて、オーバーシュートとは、更新が報酬ピークを逃して次善の方策領域に落ちたことを意味し、アンダーシュートとは、勾配方向に小さ過ぎる更新ステップサイズをとると収束が遅くなることを意味する。

いくつかの実施例によれば、近傍方策最適化アルゴリズムは、行動サブモデルと評価サブモデルを用いる。図８は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置８００の構成ブロック図を示す。図８に示すように、前記調整モジュール８０１は、
前記第１のＴｅｘｔｔｏＩｍａｇｅモデルに基づいて前記行動サブモデルを初期化するように構成される行動サブモジュール８０１１と、
前記事前トレーニングされた報酬モデルに基づいて前記評価サブモデルを初期化するように構成される評価サブモジュール８０１２とを含む。

初期点の選択は、アルゴリズムが収束するかどうかをある程度決定することができ、収束する時に、初期点は学習收束の複数のブロック、コストの高い点または低い点に収束できるかどうかを決定することができる。大き過ぎる初期化は勾配爆発を招き、小さ過ぎる初期化は勾配消失を招く。したがって、オフラインデータ（つまり人間のプレゼンター、スクリプト方策またはその他の強化学習エージェントが収集したデータ）で方策をトレーニングし、それを新しい強化学習方策の初期化に使用することができる。この過程により、新しい強化学習方策は事前トレーニングされたように見える。次に、この方策で主体（すなわち行動サブモデル、Ａｃｔｏｒ）－評価（すなわち評価サブモデル、Ｃｒｉｔｉｃ）ネットワークを初期化して微調整し、ここで、初期主体（Ａｃｔｏｒ）として事前トレーニングされた第１のＴｅｘｔｔｏＩｍａｇｅモデルを採用し、初期評価（Ｃｒｉｔｉｃ）として事前トレーニングされた報酬モデルを採用する。アプリオリ情報を用いることで、状態空間のランダム探索を回避する。このようなアプリオリ情報は、エージェントが環境のどの状態が良く、さらに探索すべきであるかを理解するのに役立つ。同時に、報酬モデルと第１のＴｅｘｔｔｏＩｍａｇｅモデルモデルを連立して微調整を行い、微調整した第２のＴｅｘｔｔｏＩｍａｇｅモデルが報酬モデルの要素を考慮するようにし、詳細問題を避けることができる。

調整モジュール８０２は、前述した実施例における調整モジュールと同じであるため、ここで詳細な説明を省略する。

いくつかの実施例によれば、生成トラジェクトリーは少なくとも１つの段階を含み、ここで、生成トラジェクトリーにおける各段階について、
行動サブモジュール８０１１はさらに、提供された入力テキストに基づいて対応する出力ノイズ付き画像を生成するように構成される。

評価サブモジュール８０１２はさらに、現在の段階の入力テキストと出力ノイズ付き画像に基づいて、現在の段階の報酬を出力するように構成される。

例えば、同じ入力テキストＸに基づいて、２つの生成画像Ｙ１とＹ２を生成し、ここで、１つのは第１のＴｅｘｔｔｏＩｍａｇｅモデルから、もう１つのは強化学習方策を経た現在の反復ＴｅｘｔｔｏＩｍａｇｅモデルから生成される。上記２つのモデルの生成画像を比較して差異を計算する報酬は、この報酬が正の値または負の値であてっもよいため、ペナルティ項と考えることもできる。この項は、モデルによる合理的な生成画像を出力することを確保するために、各トレーニングしバッチにおいて初期モデル（第１のＴｅｘｔｔｏＩｍａｇｅモデル）から逸脱する程度を生成する強化学習方策を報酬またはペナルティするために用いられる。このペナルティ項を取り除くと、モデルが最適化中にナンセンスな寄せ集めの画像を生成して報酬モデルをばかにすることで、高い報酬値を提供する可能がある。

いくつかの実施例によれば、図９は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置９００の構成ブロック図を示す。図９に示すように、調整モジュール９０２は、
合計スコアと損失項に基づいて生成トラジェクトリーにおける累積報酬を生成するように構成される報酬サブモジュール９０２１をさらに含み、ここで、合計スコアは事前トレーニングされた報酬モデルが、生成トラジェクトリーの初期入力と最終出力に基づいて得られ、損失項は、生成トラジェクトリーにおける最終段階の報酬と損失係数との積である。報酬関数は、

式の前は１つの正の値であり、ｓｃｏｒｅの目的は合計スコアの累積を大きくし、予想に合うようにし、第２の項はペナルティ項であり、トレーニングしたモデルが以前に調整したモデルから外れないようにすることができ、そうしないと、予想に合わない結果が出る可能性がある。

取得モジュール９０１は、前述した実施例における取得モジュールと同じであるため、ここで詳細な説明を省略する。

いくつかの実施例によれば、図１０は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置１０００の構成ブロック図を示す。図１０に示すように、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置１０００は、
複数のフィードバックデータを含むフィードバックデータセットに基づいて報酬モデルをトレーニングして事前トレーニングされた報酬モデルを得るように構成される第１の事前トレーニングモジュール１００３をさらに含み、複数のフィードバックデータは、入力テキストと対応する生成画像からなるデータペア及びとデータペアに対応するフィードバック状態を含み、ここで、フィードバック状態は、同じ入力テキストに対して生成された対応する生成画像はポジティブフィードバックまたはネガティブフィードバックに属することを表すために用いられる。

事前トレーニングされた報酬モデルは複数のフィードバックデータを含むフィードバックデータセットに基づいてトレーニングして得られ、ここで、複数のフィードバックデータは、入力テキストと対応する生成画像からなるデータペア及びとデータペアに対応するフィードバック状態を含み、ここで、フィードバック状態は、同じ入力テキストに対して生成された対応する生成画像はポジティブフィードバックまたはネガティブフィードバックに属することを表すために用いられる。つまり、フィードバックデータセットにおけるフィードバックデータは、実際には１つの「入力－出力－評価」の三元組であり、その中で、フィードバック状態は、通常に人間のフィードバックに基づいて与えられる。

現在、１つの入力テキストｘに基づいて、４つのソーティングした生成画像Ａ、Ｂ、ＣとＤがあり、人間のフィードバックに基づいてソーティングされていると仮定し、Ａ＞Ｂ＞Ｃ＞Ｄ。ここで、入力テキストｘに対して、人間の一般的な認知では画像Ａが画像Ｂよりも高品質である。既知のソーティングで報酬モデルをトレーニングする場合、上位のデータほどポジティブフィードバック（高品質な画像）に偏り、下位のデータほどネガティブフィードバック（低品質な画像）に偏る。

であり、ここで、θは、報酬モデルのパラメータであり、ｘは、入力テキストであり、ｙ_ｗ，ｙ_ｌは、それぞれ高品質な画像、低品質な画像であり、Ｄ_ＲＭは、報酬モデルに使用されるデータセットであり、ｒは、モデルによる入力テキスト、出力画像の報酬スコアを意味する１つのスカラーとして出力される報酬モデルである。は、差をより良く正規化するために、２つの項の差ごとに１つのｓｉｇｍｏｉｄ関数σを使用して差を０～１の間に引き出すことがでる。

取得モジュール１００１と調整モジュール１００２は、前述した実施例における取得モジュールと調整モジュールと同じであるため、ここで詳細な説明を省略する。

いくつかの実施例によれば、図１１は、本開示の実施例によるＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置１１００の構成ブロック図を示す。図１１に示すように、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置１１００は、
人手でラベル付けされた画像テキストのペアに基づいてトレーニングすべき前記第１のＴｅｘｔｔｏＩｍａｇｅモデルをトレーニングして教師ありトレーニングされた前記第１のＴｅｘｔｔｏＩｍａｇｅモデルを取得するように構成される第２の事前トレーニングモジュール１１０４をさらに含む。

取得モジュール１１０１と調整モジュール１１０２は、前述した実施例における取得モジュールと調整モジュールと同じであるため、ここで詳細な説明を省略する。

本開示の実施例によれば、電子機器、可読記憶媒体及びコンピュータプログラム製品をさらに提供する。

図１２を参照して、ここでは、本開示の様々な態様に適用可能なハードウェア装置の一例である、本開示のサーバ又はクライアントとして利用可能な電子機器１０００の構成ブロック図について説明する。電子機器は、様々な形態のデジタル電子コンピュータ機器、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ステージ、個人用デジタル補助装置、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器は更に、様々な形態の移動装置、例えば、パーソナルデジタル処理、携帯電話、インテリジェントフォン、ウェアラブル機器とその他の類似する計算装置を示してよい。本明細書に示される部品、これらの接続関係及びこれらの機能は例示的なものに過ぎず、本明細書に説明した及び／又は請求した本開示の実現を制限しない。

図１２に示すように、電子機器１２００は、計算ユニット１２０１を含み、それは読み出し専用メモリ（ＲＯＭ）１２０２に記憶されたコンピュータプログラム又は記憶ユニット１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされるコンピュータプログラムによって、種々の適当な動作と処理を実行することができる。ＲＡＭ１２０３において、更に電子機器１２００を操作するために必要な様々なプログラムとデータを記憶してよい。計算ユニット１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、バス１２０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース１２０５も、バス１２０４に接続される。

電子機器１２００における複数の部品はＩ／Ｏインターフェース１２０５に接続され、入力ユニット１２０６、出力ユニット１２０７、記憶ユニット１２０８及び通信ユニット１２０９を含む。入力ユニット１２０６は、電子機器１２００に情報を入力することが可能な任意のタイプの装置であってもよく、入力ユニット１２０６は、入力された数字又は文字情報を受信することができ、電子機器のユーザ設定及び／又は機能制御に関するキー信号入力を生成することができ、マウス、キーボード、タッチスクリーン、トラックボード、トラックボール、操作レバー、マイク及び／又はリモコンを含んでもよいが、これらに限定されない。出力ユニット１２０７は、情報を提示することが可能ないずれかのタイプの装置であってもよく、ディスプレイ、スピーカ、映像／オーディオ出力端末、バイブレータ、及び／又はプリンタを含んでもよいが、これらに限定されない。記憶ユニット１２０８は磁気ディスク、光ディスクを含んでもよいが、これらに限定されない。通信ユニット１２０９は、電子機器１２００が例えば、インターネットであるコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の装置と情報／データを交換することを可能にし、モデム、ネットワークカード、赤外線通信装置、無線通信送受信機、及び／又はチップセット、例えば、ブルートゥース（登録商標）装置、８０２．１１装置、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラー通信装置及び／又は類似物を含んでもよいが、これらに限定されない。

計算ユニット１２０１は処理及びコンピューティング能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット１２０１のいくつかの例として、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工インテリジェント（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適当なプロセッサ、コントローラ、マイクロコントローラなどを含んでもよいが、これらに限定されない。計算ユニット１２０１は、例えば前述実施例に提供されたＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法などの以上に記載の各方法および処理を実行する。例えば、いくつかの実施例において、前述実施例に提供されたＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法は、コンピュータソフトウェアプログラムとして実現してよく、機械可読媒体、例えば、記憶ユニット１２０８に有形に含まれる。いくつかの実施例において、コンピュータプログラムの一部の又は全てはＲＯＭ１２０２及び／又は通信ユニット１２０９を経して電子機器１２００にロード及び／又はインストールされてよい。コンピュータプログラムがＲＡＭ１２０３にロードされて計算ユニット１２０１によって実行される時、前述実施例に提供されたＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法の１つ又は複数のステップを実行することができる。代替的に、別の実施例において、計算ユニット１２０１は他のいかなる適切な方式で（例えば、ファームウェアにより）前述実施例に提供されたＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法を実行するように構成されてよい。

本明細書で上述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実装することができる。これらの様々な実施形態は、一つ以上のコンピュータプログラムに実施され、該一つ以上のコンピュータプログラムは少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行しび／又は解釈してもよく、該プログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、少なくとも一つの出力装置からデータと命令を受信し、データと命令を該記憶システム、該少なくとも一つの入力装置、該少なくとも一つの出力装置に送信してよいこと、を含んでもよい。

本開示の方法を実施するプログラムコードは一つ以上のプログラミング言語のいかなる組み合わせで書かれてよい。これらのプログラムコードを汎用コンピュータ、特殊目的のコンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供してよく、よってプログラムコードはプロセッサ又はコントローラにより実行される時にフローチャート及び／又はブロック図に規定される機能／操作を実施する。プログラムコードは完全に機械で実行してよく、部分的に機械で実行してよく、独立ソフトウェアパッケージとして部分的に機械で実行し且つ部分的に遠隔機械で実行してよく、又は完全に遠隔機械又はサーバで実行してよい。

本開示のコンテキストにおいて、機械可読媒体は有形の媒体であってもよく、命令実行システム、装置又はデバイスに使用される又は命令実行システム、装置又はデバイスに結合されて使用されるプログラムを具備又は記憶してよい。機械可読媒体は機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置又はデバイス、又は上記内容のいかなる適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、一つ以上のリード線による電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶機器、磁気記憶機器、又は上記内容のいかなる適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、コンピュータにはここで説明したシステムと技術を実施してよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）監視モニタ）、及びキーボードとポインティング装置（例えば、マウスやトラックボール）を備え、ユーザは該キーボードと該ポインティング装置を介してコンピュータに入力してよい。その他の種類の装置は更に、ユーザとのインタラクションを提供するためのものであってもよく、例えば、ユーザに提供するフィードバックはいかなる形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、いかなる形態（音入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信してよい。

ここで述べたシステムや技術は、バックステージ部材を含む計算システム（例えば、データサーバとして）や、ミドルウェア部材を含む計算システム（例えば、アプリケーションサーバ）や、フロントエンド部材を含む計算システム（例えば、グラフィカルユーザインターフェースやウェブブラウザを有するユーザコンピュータであり、ユーザが、そのグラフィカルユーザインターフェースやウェブブラウザを通じて、それらのシステムや技術の実施形態とのインタラクションを実現できる）、あるいは、それらのバックステージ部材、ミドルウェア部材、あるいはフロントエンド部材の任意の組み合わせからなる計算システムには実施されてもよい。システムの部材は、任意の形式や媒体のデジタルデータ通信（例えば、通信ネットワーク）により相互に接続されてもよい。通信ネットワークの一例は、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットとブロックチェーンネットワークを含む。

コンピュータシステムは、クライアント側とサーバを含んでもよい。クライアント側とサーバは、一般的に相互に遠く離れ、通常、通信ネットワークを介してインタラクションを行う。互にクライアント側－サーバという関係を有するコンピュータプログラムを対応するコンピュータで運転することによってクライアント側とサーバとの関係を生成する。サーバは、クラウドサーバであってもよく、分散型システムのサーバでも、又はブロックチェーンと組み合わされたサーバであってもよい。

理解すべきこととして、前述した様々な形態のフローを用いて、ステップを改めて順位付け、増加又は削除してよい。例えば、本開示に記載された各ステップは、並列的に実行してもよいし、順次実行してもよいし、異なる順序で実行してもよく、本開示に開示された技術案が所望する結果を実現できれば、本文はこれに限定されないことである。

本開示の実施例又は例は図面を参照して説明されたが、上記の方法、システム、及び装置は単なる例示的な実施例又は例であり、本発明の範囲はこれらの実施例又は例によって制限されるものではなく、授権後の特許請求の範囲及びその均等範囲のみによって限定されることを理解されたい。実施例又は例の様々な要素は省略されてもよく、又はそれらの均等要素によって代替されてもよい。なお、各ステップは、本開示で説明した順序とは異なる順序で実行されてもよい。更に、実施例又は例の様々な要素は、様々な方法で組み合わせられてもよい。重要なのは、技術の進化に伴い、ここで説明される多くの要素は、本開示の後に現れる同等の要素に置き換えることができるということで、ある。

Claims

ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法であって、
入力テキストに基づいて対応する生成画像を生成するための第１のＴｅｘｔｔｏＩｍａｇｅモデルと、前記入力テキストと前記対応する生成画像からなるデータペアに基づいてスコアをつけるための事前トレーニングされた報酬モデルとを取得することと、
前記事前トレーニングされた報酬モデルと強化学習方策に基づいて前記第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを調整することで、第２のＴｅｘｔｔｏＩｍａｇｅモデルを得ることとを含み、
前記第２のＴｅｘｔｔｏＩｍａｇｅモデルは、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が予め設定された条件を満たし、前記累積報酬は前記生成トラジェクトリーにおける各段階の報酬に基づいて得られるものであり、
前記生成トラジェクトリーで取得された前記累積報酬は、前記事前トレーニングされた報酬モデルが前記生成トラジェクトリーの初期入力と最終出力に基づいて得た合計スコアと、前記生成トラジェクトリーにおける最終段階の報酬と損失係数との積である損失項とを含む、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング方法。
前記予め設定された条件は、前記第２のＴｅｘｔｔｏＩｍａｇｅモデルのＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が、前記第１のＴｅｘｔｔｏＩｍａｇｅモデルのＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬よりも高いことを含む、請求項１に記載の方法。
前記強化学習方策は、近傍方策最適化アルゴリズムを含む、請求項１に記載の方法。
前記近傍方策最適化アルゴリズムは、前記第１のＴｅｘｔｔｏＩｍａｇｅモデルに基づいて初期化して得られる行動サブモデルと、前記事前トレーニングされた報酬モデルに基づいて初期化して得られる評価サブモデルを使用する、請求項３に記載の方法。
前記生成トラジェクトリーは少なくとも１つの段階を含み、前記生成トラジェクトリーにおける各段階について、
前記行動サブモデルは、提供された入力テキストに基づいて対応する出力ノイズ付き画像を生成し、
前記評価サブモデルは、現在の段階の前記入力テキストと前記出力ノイズ付き画像に基づいて前記現在の段階の報酬を出力する、請求項４に記載の方法。
前記現在の段階の報酬は、前記行動サブモデルの前記現在の段階より前の前段階の出力と、前記行動サブモデルの前記現在の段階の出力との間の相対エントロピーを含む、請求項５に記載の方法。
前記現在の段階の報酬は、前記現在の段階より前の前段階の評価値と前記現在の段階の評価値との差を含み、前記評価値は、前記事前トレーニングされた報酬モデルが、提供された入力テキストと対応する出力ノイズ付き画像に基づいてスコアをつけて得られる請求項５に記載の方法。
前記第２のＴｅｘｔｔｏＩｍａｇｅモデルの生成トラジェクトリーにおける前記累積報酬に基づいて、バックプロパゲーションアルゴリズムによって前記第２のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを得る請求項１に記載の方法。
前記事前トレーニングされた報酬モデルは複数のフィードバックデータを含むフィードバックデータセットに基づいてトレーニングして得られ、前記複数のフィードバックデータは、前記入力テキストと前記対応する生成画像からなるデータペア及び前記データペアに対応するフィードバック状態を含み、前記フィードバック状態は、同じ入力テキストに対して生成された前記対応する生成画像はポジティブフィードバックまたはネガティブフィードバックに属することを表すために用いられる、請求項１に記載の方法。
前記報酬モデルをトレーニングすることは、
前記複数のフィードバックデータに基づいて、前記フィードバック状態がポジティブフィードバックである前記データペアに第１の報酬スコアを出力し、前記フィードバック状態がネガティブフィードバックである前記データペアに第２の報酬スコアを出力するように、前記報酬モデルを比較学習の形式でトレーニングし、前記第１の報酬スコアと前記第２の報酬スコアの差は、前記対応する生成画像の品質の差異を表すために用いられることを含む、請求項９に記載の方法。
前記フィードバックデータセットは、少なくとも２つの異なるソースからの前記複数のフィードバックデータを含む、請求項９に記載の方法。
前記複数のフィードバックデータは、ユーザからフィードバックされたデータと、人手でラベル付けされたデータと手動で比較されたデータのうちの少なくとも２つを含み、
前記ユーザからフィードバックされたデータは、ユーザの行動に基づいて前記フィードバック状態を得て、
前記人手でラベル付けされたデータは、人手でラベル付けされた結果に基づいて前記フィードバック状態を得て、
前記手動で比較されたデータは、異なるバージョンの生成画像に基づいて前記フィードバック状態を得る、請求項１１に記載の方法。
前記第１のＴｅｘｔｔｏＩｍａｇｅモデルを取得するステップは、
トレーニングすべき前記第１のＴｅｘｔｔｏＩｍａｇｅモデルのトレーニングサンプルとして人手でラベル付けされた画像テキストのペアを取得することと、
バックプロパゲーションアルゴリズムに基づいてトレーニングすべき前記第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを更新することで、教師ありトレーニングされた前記第１のＴｅｘｔｔｏＩｍａｇｅモデルを得ることとを含む、請求項１に記載の方法。
テキストに基づく画像生成方法であって、
請求項１～１３のいずれか一項に記載の方法によりＴｅｘｔｔｏＩｍａｇｅモデルをトレーニングすることと、
入力テキストに基づいて、前記ＴｅｘｔｔｏＩｍａｇｅモデルを用いて画像を生成することとを含む方法。
ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置であって、
入力テキストに基づいて対応する生成画像を生成する第１のＴｅｘｔｔｏＩｍａｇｅモデルと、前記入力テキストと前記対応する生成画像からなるデータペアに基づいてスコアをつける事前トレーニングされた報酬モデルとを取得するように構成される取得モジュールと、
前記事前トレーニングされた報酬モデルと強化学習方策に基づいて、前記第１のＴｅｘｔｔｏＩｍａｇｅモデルのパラメータを調整することで、第２のＴｅｘｔｔｏＩｍａｇｅモデルを得るように構成される調整モジュールとを含み、
前記第２のＴｅｘｔｔｏＩｍａｇｅモデルは、ＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が予め設定された条件を満たし、前記累積報酬は前記生成トラジェクトリーにおける各項の報酬の合計に基づいて得られるものであり、
前記調整モジュールは、
合計スコアと損失項に基づいて前記生成トラジェクトリーにおける累積報酬を生成するように構成される報酬モジュールをさらに含み、
前記合計スコアは前記事前トレーニングされた報酬モデルが前記生成トラジェクトリーの初期入力と最終出力に基づいて得たものであり、
前記損失項は、前記生成トラジェクトリーにおける最終段階の報酬と損失係数との積である、ＴｅｘｔｔｏＩｍａｇｅモデルのトレーニング装置。
前記予め設定された条件は、前記第２のＴｅｘｔｔｏＩｍａｇｅモデルのＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬が、前記第１のＴｅｘｔｔｏＩｍａｇｅモデルのＴｅｘｔｔｏＩｍａｇｅを実現するための生成トラジェクトリーで取得された累積報酬よりも高いことを含む、請求項１５に記載の装置。
前記強化学習方策は、近傍方策最適化アルゴリズムを含む、請求項１５又は１６に記載の装置。
前記近傍方策最適化アルゴリズムは行動サブモデルと評価サブモデルを使用し、
前記調整モジュールは、
前記第１のＴｅｘｔｔｏＩｍａｇｅモデルに基づいて前記行動サブモデルを初期化するように構成される行動サブモジュールと、
前記事前トレーニングされた報酬モデルに基づいて前記評価サブモデルを初期化するように構成される評価サブモジュールとを含む、請求項１７に記載の装置。
前記生成トラジェクトリーは少なくとも１つの段階を含み、前記生成トラジェクトリーにおける各段階について、
前記行動サブモジュールはさらに、提供された入力テキストに基づいて対応する出力ノイズ付き画像を生成するように構成され、
前記評価サブモジュールはさらに、現在の段階の入力テキストと出力ノイズ付き画像に基づいて現在の段階の報酬を出力するように構成される、請求項１８に記載の装置。
複数のフィードバックデータを含むフィードバックデータセットに基づいて報酬モデルをトレーニングすることで、前記事前トレーニングされた報酬モデルを得るように構成される第１の事前トレーニングモジュールをさらに含み、
前記複数のフィードバックデータは、前記入力テキストと前記対応する生成画像からなるデータペア及び前記データペアに対応するフィードバック状態を含み、前記フィードバック状態は、同じ入力テキストに対して生成された前記対応する生成画像はポジティブフィードバックまたはネガティブフィードバックに属することを表すために用いられる、請求項１５に記載の装置。
人手でラベル付けされた画像テキストのペアに基づいて、トレーニングすべき前記第１のＴｅｘｔｔｏＩｍａｇｅモデルをトレーニングすることで、教師ありトレーニングされた前記第１のＴｅｘｔｔｏＩｍａｇｅモデルを取得するように構成される第２の事前トレーニングモジュールをさらに含む、請求項１５に記載の装置。
電子機器であって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリとを含み、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに請求項１～１３のいずれか一項に記載の方法を実行させることができる電子機器。
コンピュータ命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令は、請求項１～１３のいずれか一項に記載の方法をコンピュータに実行させるために用いられる、非一時的コンピュータ可読記憶媒体。
請求項１～１３のいずれか一項に記載の方法をプロセッサに実行させるコンピュータプログラム。