JP7328331B2 - イメージの彩色完成方法、その装置及びそのコンピュータプログラム、並びに人工神経網学習方法、その装置及びそのコンピュータプログラム - Google Patents

Description

本発明は、イメージ内の色相未知領域に係わる質疑、及び前記質疑に対する返答に基づき、前記イメージの彩色を完成させる方法、その装置及びそのコンピュータプログラムと、イメージ内の色相未知領域のうち少なくとも一部領域を彩色し、前記未知領域において、前記一部領域を除いた残り領域の色相に係わる質疑を生成する人工神経網を学習させる方法、その装置及びそのコンピュータプログラムと、に関する。

コンピュータを始めとする多様なスマート機器の普及により、現代においては、オンライン網を利用したサービス、特に、オンラインを介してコンテンツを提供するサービスが提供されている。

オンラインにおいて漫画コンテンツを提供するウェブトゥーンサービスが、そのようなサービスの代表的な例示である。

従来技術によれば、そのような漫画コンテンツ制作のために、制作者が全ての場面を個別的に作成した。しかし、今日、そのような方式によるコンテンツ制作速度は、オンラインコンテンツ市場の拡大速度、及びそれによるユーザ数の増加速度に追いつけず、円滑なコンテンツ供給を妨害する要素として作用する。

従って、さらに効率的なウェブトゥーンコンテンツ制作方法の必要性がイッシューになっている。

本発明は、オンラインコンテンツをさらに効率的に制作することを可能にするものである。

特に、本発明は、ウェブトゥーンのようなユーザの彩色が必要なコンテンツ制作において、ユーザが彩色に使用する時間を節減させることにより、コンテンツをさらに迅速に時間内に制作させるものである。

また本発明は、ユーザによらないイメージの自動彩色において、さらに正確な彩色を介し、ユーザ修正による作業時間を節減させるものである。

さらに、本発明は、ユーザによらないイメージの自動彩色において、色相が確かではない部分の色相をユーザに質疑することにより、自動彩色の短所を補完するものである。

本発明の一実施形態による、イメージ内の色相未知領域に係わる質疑、及び前記質疑に対する返答に基づき、前記イメージの彩色を完成させる方法は、人工神経網を利用し、第一次イメージ内の少なくとも１つの未彩色領域が彩色された第１中間イメージを生成する段階と、前記人工神経網を利用し、第一次イメージ内の少なくとも１つの色相未知領域に係わる第１色相質疑を生成する段階と、前記第１色相質疑、前記第１色相質疑に対する第１返答、及び前記第１中間イメージのうち少なくとも一つに基づき、第二次イメージを生成する段階と、を含んでもよい。

前記イメージの彩色を完成させる方法は、前記第二次イメージを生成する段階後、前記人工神経網を利用し、前記第二次イメージ内の少なくとも１つの未彩色領域が彩色された第２中間イメージを生成する段階と、前記人工神経網を利用し、第二次イメージ内の少なくとも１つの色相未知領域に係わる第２色相質疑を生成する段階と、前記第一次イメージ、前記第２色相質疑、前記第２色相質疑に対する第２返答、及び前記第２中間イメージのうち少なくとも一つに基づき、第三次イメージを生成する段階と、をさらに含んでもよい。

前記第１返答は、前記第１色相質疑に対応するユーザの入力に基づいても決定され、前記第２返答は、前記第２色相質疑に対応する前記ユーザの入力に基づいても決定される。

前記人工神経網は、前記第二次イメージ内の少なくとも１つの色相未知領域それぞれに係わる未知の程度を生成し、前記第２色相質疑を生成する段階は、前記第二次イメージ内の少なくとも１つの色相未知領域において、前記未知の程度が所定条件を満足する未知領域の色相に係わる質疑を、第２色相質疑として生成することができる。

前記イメージの彩色を完成させる方法は、第２時点における第二次イメージを、前記第２時点以前の第１時点における第三次イメージと同一に生成し、前記第２中間イメージを生成する段階、前記第２色相質疑を生成する段階、及び前記第三次イメージを生成する段階を反復して遂行し、全領域が彩色された完成イメージを生成することができる。

前記人工神経網は、第１領域が彩色されていない入力イメージと、前記第１領域が彩色された出力イメージとの対応関係を学習した神経網でもある。

前記人工神経網は、前記入力イメージと、前記入力イメージの彩色された第２領域に係わる第３色相質疑と、前記第３色相質疑に対する第３返答と、前記出力イメージと、前記出力イメージに係わる第４色相質疑との対応関係をさらに学習した神経網でもある。このとき、該第２領域は、前記入力イメージの前記第３色相質疑及び前記第３返答によって彩色された領域でもある。

本発明の一実施形態による、イメージ内の色相未知領域のうち少なくとも一部領域を彩色し、前記未知領域において、前記一部領域を除いた残り領域の色相に係わる質疑を生成する人工神経網を学習させる方法は、第１領域が彩色されていない入力イメージ、及び前記入力イメージにおいて、前記第１領域が第１色相に彩色された出力イメージを利用し、前記第１領域と前記第１色相との対応関係が反映されるように、前記人工神経網を学習させる第１学習段階と、前記入力イメージ、前記入力イメージの彩色された第２領域に係わる第３色相質疑、前記第３色相質疑に対する第３返答、前記出力イメージ、及び前記出力イメージに係わる第４色相質疑の対応関係がさらに反映されるように、前記人工神経網を学習させる第２学習段階と、を含んでもよい。

前記第３返答は、前記入力イメージの前記第２領域の平均色相に基づいても決定される。

本発明の一実施形態による、イメージ内の色相未知領域に係わる質疑、及び前記質疑に対する返答に基づき、前記イメージの彩色を完成させる装置において、前記装置は、プロセッサを含み、前記プロセッサは、人工神経網を利用し、第一次イメージ内の少なくとも１つの未彩色領域が彩色された第１中間イメージを生成し、前記人工神経網を利用し、第一次イメージ内の少なくとも１つの色相未知領域に係わる第１色相質疑を生成し、前記第１色相質疑、前記第１色相質疑に対する第１返答、及び前記第１中間イメージのうち少なくとも一つに基づき、第二次イメージを生成することができる。

前記プロセッサは、前記人工神経網を利用し、前記第二次イメージ内の少なくとも１つの未彩色領域が彩色された第２中間イメージを生成し、前記人工神経網を利用し、第二次イメージ内の少なくとも１つの色相未知領域に係わる第２色相質疑を生成し、前記第一次イメージ、前記第２色相質疑、前記第２色相質疑に対する第２返答、及び前記第２中間イメージのうち少なくとも一つに基づき、第三次イメージを生成することができる。

前記第１返答は、前記第１色相質疑に対応するユーザの入力に基づいても決定され、前記第２返答は、前記第２色相質疑に対応する前記ユーザの入力に基づいても決定される。

前記人工神経網は、前記第二次イメージ内の少なくとも１つの色相未知領域それぞれに係わる未知の程度を生成し、前記プロセッサは、前記第二次イメージ内の少なくとも１つの色相未知領域において、前記未知の程度が所定条件を満足する未知領域の色相に係わる質疑を、第２色相質疑として生成することができる。

前記プロセッサは、第２時点における第二次イメージを、前記第２時点以前の第１時点における第三次イメージと同一に生成し、前記第２中間イメージを生成する段階、前記第２色相質疑を生成する段階、及び前記第三次イメージを生成する段階を反復して遂行し、全領域が彩色された完成イメージを生成することができる。

前記人工神経網は、第１領域が彩色されていない入力イメージと、前記第１領域が彩色された出力イメージとの対応関係を学習した神経網でもある。

前記人工神経網は、前記入力イメージと、前記入力イメージの彩色された第２領域に係わる第３色相質疑と、前記第３色相質疑に対する第３返答と、前記出力イメージと、前記出力イメージに係わる第４色相質疑との対応関係をさらに学習した神経網でもある。このとき、前記第２領域は、前記入力イメージの前記第３色相質疑及び前記第３返答によって彩色された領域でもある。

本発明の一実施形態による、イメージ内の色相未知領域のうち少なくとも一部領域を彩色し、前記未知領域において、前記一部領域を除いた残り領域の色相に係わる質疑を生成する人工神経網を学習させる装置において、前記装置は、プロセッサを含み、前記プロセッサは、第１領域が彩色されていない入力イメージ、及び前記入力イメージにおいて、前記第１領域が第１色相に彩色された出力イメージを利用し、前記第１領域と前記第１色相との対応関係が反映されるように、前記人工神経網を学習させ、前記入力イメージ、前記入力イメージの彩色された第２領域に係わる第３色相質疑、前記第３色相質疑に対する第３返答、前記出力イメージ、及び前記出力イメージに係わる第４色相質疑の対応関係がさらに反映されるように、前記人工神経網を学習させることができる。

前記第３返答は、前記入力イメージの前記第２領域の平均色相に基づいても決定される。

本発明によれば、オンラインコンテンツをさらに効率的に制作することができる。特に、ウェブトゥーンのようなユーザの彩色が必要なコンテンツ制作において、ユーザが彩色に使用する時間を節減させることにより、該コンテンツをさらに迅速に時間内に制作することができるようにする。

また、ユーザによらないイメージの自動彩色において、さらに正確な彩色を介し、ユーザ修正による作業時間を節減させることができ、さらには、色相が確かではない部分の色相をユーザに質疑することにより、自動彩色の短所を補完することができる。

本発明の一実施形態によるネットワーク環境の例を図示した図面である。 本発明の一実施形態において、ユーザ端末１００及びサーバ２００の内部構成について説明するためのブロック図である。 プロセッサ２１２によって学習された例示的な人工神経網の構造について説明するための図面である。 第一次イメージの例示を図示した図面である。 プロセッサ２１２が、図４の第一次イメージから生成した第１中間イメージの例示を図示した図面である。 本発明の一実施形態による、プロセッサ２１２が、図４の第一次イメージから生成した第１色相質疑の例示を図示した図面である。 ユーザが、ユーザ端末１００に入力した第１返答の例示を図示した図面である。 第二次イメージの例示を図示した図面である。 全領域の彩色された完了した完成イメージの例示を図示した図面である。 プロセッサ２１２が完成イメージを生成する過程について説明するための図面である。 本発明の一実施形態による、プロセッサ２１２が入力イメージから完成イメージを生成する一連の過程において生成されるイメージ及び返答を図示した図面である。 本発明の一実施形態による、サーバ２００によって遂行されるイメージの彩色を完成させる方法について説明するためのフローチャートである。 本発明の一実施形態による、サーバ２００によって遂行される人工神経網学習方法について説明するためのフローチャートである。

本発明の一実施形態による、イメージ内の色相未知領域に係わる質疑、及び前記質疑に対する返答に基づき、前記イメージの彩色を完成させる方法は、人工神経網を利用し、第一次イメージ内の少なくとも１つの未彩色領域が彩色された第１中間イメージを生成する段階と、前記人工神経網を利用し、第一次イメージ内の少なくとも１つの色相未知領域に係わる第１色相質疑を生成する段階と、前記第１色相質疑、前記第１色相質疑に対する第１返答、及び前記第１中間イメージのうち少なくとも一つに基づき、第二次イメージを生成する段階と、を含んでもよい。

後述する本発明に係わる詳細な説明は、本発明が実施されうる特定実施形態を例示として図示する添付図面を参照する。そのような実施形態は、当業者が、本発明を実施するにおいて十分になりうるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないということが理解されなければならない。例えば、本明細書に記載されている特定の形状、構造及び特性は、本発明の精神と範囲とを外れずに、一実施形態から他の実施形態に変更されても具現される。また、それぞれの実施形態内の個別構成要素の位置または配置も、本発明の精神と範囲とを外れずに変更されうると理解されなければならない。従って、後述する詳細な説明は、限定的な意味としてなされるものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲、及びそれと均等な全ての範囲を包括するものであると受け止められなければならない。図面において、類似した参照符号は、さまざまな側面にわたり、同一であるか、あるいは類似した構成要素を示す。

以下においては、本発明が属する技術分野において当業者が、本発明を容易に実施することができるようにするために、本発明のさまざまな実施形態について、添付された図面を参照して詳細に説明する。

図１は、本発明の一実施形態によるネットワーク環境の例を図示した図面である。

図１のネットワーク環境は、複数のユーザ端末１０１，１０２，１０３，１０４、サーバ２００及びネットワーク３００を含む例を示している。そのような図１は、発明の説明のための一例であり、ユーザ端末数やサーバ数も、図１のように限定されるものではない。

複数のユーザ端末１０１，１０２，１０３，１０４は、ユーザ操作により、彩色を完成させようとするイメージをサーバ２００に伝送し、サーバ２００から彩色と係わる質疑、一部分が彩色されたイメージ、及び彩色が完了されたイメージを受信することができる。

複数のユーザ端末１０１，１０２，１０３，１０４は、コンピュータ装置で具現される固定型端末や移動型端末でもある。複数のユーザ端末１０１，１０２，１０３，１０４の例えば、スマートフォン、携帯電話、ナビゲーション、コンピュータ、ノート型パソコン、デジタル放送用端末、ＰＤＡ（personal digital assistant）、ＰＭＰ（portable
multimedia player）、タブレットＰＣ（personal computer）などがある。

複数のユーザ端末１０１，１０２，１０３，１０４は、無線または有線の通信方式を利用し、ネットワーク３００を介し、複数のユーザ端末１０１，１０２，１０３，１０４相互間、及び／またはサーバ２００と通信することができる。

一方、複数のユーザ端末１０１，１０２，１０３，１０４の通信方式は、制限されるものではなく、ネットワーク３００が含む通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信も含まれる。

例えば、ネットワーク３００は、ＰＡＮ（personal
area network）、ＬＡＮ（local area network）、ＣＡＮ（campus area network）、ＭＡＮ（metropolitan area
network）、ＷＡＮ（wide area network）、ＢＢＮ（broadband network）、インターネットのようなネットワークのうち１以上の任意ネットワークを含んでもよい。

また、ネットワーク３００は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター・バスネットワーク、ツリーネットワークまたは階層的（hierarchical）ネットワークなどを含むネットワークトポロジーのうち、任意の１以上を含んでもよいが、それらに制限されるものではない。

以下においては、説明の便宜のために、複数のユーザ端末１０１，１０２，１０３，１０４をユーザ端末１００と命名して説明する。

サーバ２００は、前述のユーザ端末１００から、彩色しようとするイメージを受信し、学習された人工神経網を利用し、イメージを彩色することができる。また、サーバ２００は、イメージ彩色過程において、イメージ内の色相未知領域に係わる質疑を生成し、ユーザ端末１００に伝送することもできる。それに係わる詳細な説明は、後述する。

サーバ２００は、ネットワーク３００を介し、ユーザ端末１００に、命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置、または複数のコンピュータ装置によっても具現される。

図２は、本発明の一実施形態において、ユーザ端末１００及びサーバ２００の内部構成について説明するためのブロック図である。

ユーザ端末１００とサーバ２００は、メモリ１１１，２１１、プロセッサ１１２，２１２、通信モジュール１１３，２１３及び入出力インターフェース１１４，２１４を含んでもよい。

メモリ１１１，２１１は、コンピュータで読み取り可能な記録媒体であり、ＲＡＭ（random
access memory）、ＲＯＭ（read
only memory）、及びディスクドライブのような非消滅性大容量記録装置（permanent mass storage device）を含んでもよい。

また、メモリ１１１，２１１には、オペレーションシステム（ＯＳ）と、少なくとも１つのプログラムコード（一例として、ユーザ端末１００にインストールされ、サーバ２００とのデータ送受信を介してイメージを彩色するプログラムのためのコード）とが保存されうる。

そのようなソフトウェア構成要素は、ドライブメカニズム（drive
mechanism）を利用し、メモリ１１１，２１１とは別途のコンピュータで読み取り可能な記録媒体からもローディングされる。そのような別途のコンピュータで読み取り可能な記録媒体は、フロッピィードライブ、ディスク、テープ、ＤＶＤ（digital
versatile disc）／ＣＤ－ＲＯＭ（compact
disc read only memory）ドライブ、メモリカードのようなコンピュータで読み取り可能な記録媒体を含んでもよい。

他の実施形態において、該ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではなく、通信モジュール１１３，２１３を介し、メモリ１１１，２１１にローディングされうる。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、前述のサーバ２００）が、ネットワーク３００を介して提供するファイルによってインストールされるプログラムに基づき、メモリ１１１，２１１にもローディングされる。

プロセッサ１１２，２１２は、基本的な算術、ロジック及び入出力演算を行うことにより、コンピュータプログラムの命令を処理するようにも構成される。該命令は、メモリ１１１，２１１または通信モジュール１１３，２１３により、プロセッサ１１２，２１２にも提供される。例えば、プロセッサ１１２，２１２は、メモリ１１１，２１１のような記録装置に保存されたプログラムコードによって受信される命令を実行するようにも構成される。

通信モジュール１１３，２１３は、ネットワーク３００を介し、ユーザ端末１００とサーバ２００とが互いに通信するための機能を提供することができ、他のユーザ端末（図示せず）、または他のサーバ（図示せず）と通信するための機能を提供することができる。一例として、ユーザ端末１００のプロセッサ１１２が、メモリ１１１のような記録装置に保存されたプログラムコードによって生成した要請が、通信モジュール１１３の制御により、ネットワーク３００を介し、サーバ２００に伝達することができる。逆に、サーバ２００のプロセッサ２１２の制御によって提供される制御信号、命令、コンテンツ、ファイルなどが、通信モジュール２１３とネットワーク３００とを経て、ユーザ端末１００の通信モジュール１１３を介し、ユーザ端末１００にも受信される。

入出力インターフェース１１４，２１４は、入出力装置１１５とのインターフェースのための手段でもある。このとき、入力装置は、例えば、キーボードまたはマウスのような装置を含み、出力装置は、イメージを表示するためのディスプレイのような装置を含んでもよい。他の例として、入出力インターフェース１１４，２１４は、タッチスクリーンのように、入力と出力とのための機能が一つに統合された装置とのインターフェースのための手段でもある。

また、他の実施形態において、ユーザ端末１００及びサーバ２００は、図２の構成要素よりさらに多くの構成要素を含むのである。しかし、ほとんどの従来技術的構成要素を明確に図示する必要性はない。例えば、ユーザ端末１００は、前述の入出力装置１１５のうち少なくとも一部を含むように具現されるか、あるいはトランシーバ（transceiver）、ＧＰＳ（global positioning system）モジュール、カメラ、各種センサ、データベースのような他の構成要素をさらに含んでもよい。

本発明の一実施形態による、サーバ２００のプロセッサ２１２は、人工神経網を利用し、イメージ内の色相未知領域に係わる色相を決定するか、あるいは色相未知領域に係わる質疑を生成することができる。

本発明において「人工神経網」は、彩色が完了されていないイメージを彩色するために学習された神経網であり、マシンラーニング（machine learning）技法またはディープラーニング（deep
learning）技法によって学習されたものでもある。

図３は、プロセッサ２１２によって学習された例示的な人工神経網の構造について説明するための図面である。

本発明の一実施形態による人工神経網は、合成積神経網（ＣＮＮ：convolutional neural network）モデルによる神経網でもある。このとき、ＣＮＮモデルは、複数の演算レイヤ（convolutional layer、pooling layer）を交互に実行し、最終的には、入力データの特徴抽出に使用される階層モデルでもある。

本発明の一実施形態によるプロセッサ２１２は、学習データを、指導学習（supervised learning）技法によって処理し、神経網モデルを構築したり学習させたりすることができる。このとき、学習データには、第１領域が彩色されていない入力イメージ、入力イメージで彩色された第２領域に係わる第３色相質疑、そのような第３色相質疑に対する返答、入力イメージにおいて、第１領域が彩色された出力イメージ、及び出力イメージの色相が彩色されていない領域の色相に係わる質疑である第４色相質疑を含んでもよい。従って、プロセッサ２１２は、彩色しようとする領域が彩色されていないイメージと、当該領域が彩色されたイメージと、を含む学習データに基づき、人工神経網を学習させることができる。そのような学習データに基づいて学習された人工神経網は、後述する第１中間イメージ及び／または第２中間イメージの生成にも使用される。

また、プロセッサ２１２は、イメージ内において、すでに彩色された領域の彩色に使用された色相質疑と、それに対する返答と、イメージ内の他の領域に係わる色相質疑と、を含む学習データに基づき、人工神経網を学習させることができる。そのような学習データに基づいて学習された人工神経網は、後述する出力イメージに係わる第４色相質疑の生成にも使用される。

図３には、プロセッサ２１２が学習データを利用して構築した神経網モデルの例示的な構造が図示されている。プロセッサ２１２は、学習データに含まれる入力イメージ、入力イメージの彩色された第２領域に係わる第３色相質疑、及び第３色相質疑に対する第３返答それぞれの特徴値を抽出するためのコンボリューションレイヤ（convolution layer）と、抽出された特徴値を結合し、特徴マップを構成するプーリングレイヤ（pooling layer）と、を生成することができる。

また、プロセッサ２１２は、生成された特徴マップを結合し、入力イメージ内の色相未知領域それぞれに係わる未知の程度を推定し、入力イメージ内の少なくとも一部領域に係わる色相を決定し、入力イメージ内の他の一部領域に係わる質疑を生成する準備を行うフリーコネクティッドレイヤ（fully connected layer）を生成することができる。

最後に、プロセッサ２１２は、入力イメージ内の未知領域それぞれに係わる未知の程度、入力イメージ内の少なくとも一部領域に係わる色相、及び入力イメージ内の他の一部領域に係わる質疑を含むアウトプットレイヤ（output layer）を算出することができる。

図３に図示された例示においては、入力イメージが５Ｘ７形態のブロックに分けられ、コンボリューションレイヤ生成に、５Ｘ３形態の単位ブロックが使用され、プーリングレイヤ生成に、１Ｘ４形態または１Ｘ２形態の単位ブロックが使用されるように図示されているが、それらは、例示的なものであり、本発明の思想は、それらに限定されるものではない。従って、各レイヤ生成に使用されるイメージブロックの大きさは、多様にも設定される。

そのような人工神経網は、前述のメモリ２１１に、人工神経網を構成する少なくとも１つのノードの係数、ノードの加重値、及び人工神経網を構成する複数のレイヤとの関係を定義する関数係数の形態によっても保存される。ここで、人工神経網の構造も、メモリ２１１に、ソースコード及び／またはプログラムの形態によっても保存されるということは、言うまでもない。

プロセッサ２１２が、学習データを利用し、前述の神経網を学習させる過程についてさらに詳細に説明すれば、プロセッサ２１２は、第１領域が彩色されていない入力イメージ、及びそのような入力イメージにおいて、第１領域が第１色相に彩色された出力イメージを利用し、第１領域と第１色相との対応関係が反映されるように、人工神経網を学習（以下、第１学習）させることができる。このとき、該入力イメージと該出力イメージは、いずれも学習データに、１つのトレーニングセット（training set）として含まれるイメージでもある。また、該第１領域は、入力イメージ内において彩色されていない任意領域を意味しうる。

換言すれば、プロセッサ２１２は、彩色が完了されたイメージと、彩色が完了されていないイメージとを利用し、所定の形態特徴と、所定の色相とが対応するように、人工神経網を学習させることができる。

なお、本発明において、人工神経網をー学習させること」は、人工神経網を構成する少なくとも１つのノードの係数、ノードの加重値、及び／または人工神経網を構成する複数のレイヤとの関係を定義する関数係数を更新することを意味しうる。

プロセッサ２１２は、入力イメージ、入力イメージの彩色された第２領域に係わる第３色相質疑、第３色相質疑に対する第３返答、入力イメージにおいて、第１領域が第１色相に彩色された出力イメージ、及び出力イメージに係わる第４色相質疑の対応関係がさらに反映されるように、人工神経網を学習（以下、第２学習）させることができる。このとき、該入力イメージ、該第３色相質疑、該出力イメージ及び該第４色相質疑は、いずれも学習データに、１つのトレーニングセットとして含まれるのである。一方、プロセッサ２１２は、入力イメージの第２領域の平均色相に基づき、第３返答を決定することができる。

換言すれば、プロセッサ２１２は、少なくとも一部がさらに彩色されたイメージの色相未知領域に係わる質疑と、少なくとも一部があまり彩色されていないイメージの彩色された領域の彩色に使用された質疑、及びそれらに対する返答を対応させるように、人工神経網を学習させることができる。

まお、前述の第１学習と第２学習は、説明の便宜のために、先後関係を区分したものに過ぎず、プロセッサ２１２により、第２学習が第１学習より先行しても遂行され、第１学習と第２学習とが同時にも遂行される。

以下においては、以上で説明された人工神経網が、プロセッサ２１２によって学習されていることを前提に、プロセッサ２１２がイメージの彩色を完成させる方法について説明する。

本発明の一実施形態によるプロセッサ２１２は、彩色しようとするイメージを獲得することができる。例えば、プロセッサ２１２は、前述のユーザ端末１００から、彩色しようとする第一次イメージを受信することもでき、サーバ２００内のメモリ２１１から、彩色しようとする第一次イメージを読み取ることもできる。

本発明において、「彩色しようとするイメージ」、「第一次イメージ」または「入力イメージ」は、少なくとも一部領域が彩色されておらず、彩色されていない領域に彩色が必要なイメージを意味しうる。例えば、彩色しようとするイメージは、アウトライン（または、スケッチ）だけを含むイメージであり、彩色された領域を全く含まないイメージでもある。

図４は、第一次イメージの例示を図示した図面である。

前述のように、第一次イメージは、少なくとも一部領域が彩色されておらず、彩色が必要なイメージを意味しうる。そのような第一次イメージは、図４に図示されているように、漫画の一場面でもあり、ポスター、イラストのような多種のイメージでもある。以下においては、説明の便宜のために、図４に図示されたイメージを第一次イメージの例示として使用して説明する。

本発明の一実施形態によるプロセッサ２１２は、前述の人工神経網を利用し、第一次イメージ内の少なくとも１つの未彩色領域が彩色された第１中間イメージを生成することができる。

前述のように、人工神経網は、彩色が完了されたイメージと、彩色が完了されていないイメージと、を利用し、所定形態特徴と所定色相とが対応するようにも学習される。従って、プロセッサ２１２は、そのような人工神経網を利用し、第一次イメージの少なくとも一部領域を彩色することができる。

図５は、プロセッサ２１２が、図４の第一次イメージから生成した第１中間イメージの例示を図示した図面である。

プロセッサ２１２は、図５に図示されているように、図４の第一次イメージの一部領域３１１，３１２が彩色された第１中間イメージを生成することができる。

本発明の一実施形態によるプロセッサ２１２は、第一次イメージを複数の領域に区分し、各領域が、複数の色相それぞれに彩色される確率を算出することができる。例えば、プロセッサ２１２は、第一次イメージから、輪郭線成分を検出し、該輪郭線を基準に、第一次イメージを複数領域に区分し、各領域が、複数の色相それぞれに彩色される確率を算出することができる。

プロセッサ２１２は、各領域が、複数の色相それぞれに彩色される確率を算出するにおいて、前述の人工神経網を使用することができる。例えば、プロセッサ２１２は、領域３１２につき、当該領域３１２が青色に彩色される確率を９５％と、赤色に彩色される確率を１３％と、緑色に彩色される確率を３２％と算出することができる。

プロセッサ２１２は、特定領域に特定色相を彩色する確率が、所定の臨界確率以上である場合、当該領域を、当該色相で彩色すると決定することができる。例えば、該臨界確率が９０％であり、領域３１２が青色に彩色される確率が９５％である場合、プロセッサ２１２は、領域３１２を青色で彩色するように決定することができる。

ただし、前述の色相種類及び臨界確率は、例示的なものであり、本発明の思想は、それに限定されるものではない。

選択的実施形態において、プロセッサ２１２は、各領域が複数の色相それぞれに彩色される確率に基づき、各領域に係わる色相未知程度を算出することができる。例えば、プロセッサ２１２は、最も高い彩色確率を有する色相の確率に対応するように、当該領域の色相未知程度を算出することができる。ここで、プロセッサ２１２は、全部または一部の色相の彩色確率平均値に対応するように、当該領域の色相未知程度を算出することもできるということは、言うまでもない。算出された色相未知程度は、前述の第１中間イメージを生成するのにも使用され、後述する第１色相質疑を生成するのにも使用される。

プロセッサ２１２は、人工神経網を利用し、第一次イメージ内の少なくとも１つの色相未知領域に係わる第１色相質疑を生成することができる。例えば、プロセッサ２１２は、第一次イメージ内の複数の領域のうち、いずれか１つの領域を選択する方式により、質疑を生成することができる。

図６は、本発明の一実施形態による、プロセッサ２１２が、図４の第一次イメージから生成した第１色相質疑の例示を図示した図面である。

例えば、プロセッサ２１２が領域３２１が色相未知領域であると判断した場合、プロセッサ２１２は、図６のような質疑イメージを生成することができる。

プロセッサ２１２によって生成された質疑イメージは、前述のユーザ端末１００に伝達され、ユーザに対する返答要請にも使用される。

ユーザは、質疑イメージを参照し、当該領域３２１の色相に対する返答、すなわち、第１返答をユーザ端末１００に入力することができる。例えば、ユーザは、複数の色相のうちいずれか１つの色相を選択する方式により、第１返答をユーザ端末１００に入力することができる。ユーザ端末１００に入力された第１返答は、サーバ２００に伝送され、後述する第二次イメージ生成にも使用される。

図７は、ユーザが、ユーザ端末１００に入力した第１返答の例示を図示した図面である。

例えば、プロセッサ２１２が、図６のような質疑イメージを生成し、ユーザ端末１００に伝送した場合、ユーザは、質疑対象になる領域３２１の色相を、図７のように選択することができる。ユーザによって選択された色相、すなわち、第１返答は、前述のように、サーバ２００に伝送され、第二次イメージ生成にも使用される。

なお、本発明の一実施形態によるプロセッサ２１２は、前述のように、第一次イメージ内の各領域が、複数の色相それぞれに彩色される確率に基づき、各領域に係わる色相未知程度を算出することができる。プロセッサ２１２は、第一次イメージ内の少なくとも１つの色相未知領域のうち、算出された未知の程度が所定条件を満足する色相未知領域を選択し、選択された領域の色相に係わる質疑を第１色相質疑として生成することができる。例えば、プロセッサ２１２は、色相未知程度が最大である領域を選択し、当該領域の色相に係わる質疑を、第１色相質疑として生成することができる。

本発明の一実施形態によるプロセッサ２１２は、前述の過程によって生成された第１色相質疑、ユーザ端末１００から受信した第１色相質疑に対する第１返答、及び第１中間イメージのうち少なくとも一つに基づき、第二次イメージを生成することができる。

例えば、プロセッサ２１２は、第一次イメージを含むレイヤ、第１色相質疑に対応し、第１返答によって彩色される領域の情報を含むレイヤ、第１返答に対応して彩色される領域の彩色情報を含むレイヤ、及び第１中間イメージを含むレイヤそれぞれを生成することができる。また、プロセッサ２１２は、生成されたレイヤを併合することにより、第二次イメージを生成することができる。

このとき、プロセッサ２１２は、前述のレイヤ間の加重値を反映させて併合することもでき、レイヤ間の優先順位を反映させて併合することもできる。該加重値または該優先順位は、人工神経網によっても決定される。

図８は、第二次イメージの例示を図示した図面である。

図８に図示されているように、、図５ないし図７で説明された過程により、第二次イメージ内の一部領域３１１，３１２，３２１が彩色され、残り一部領域３３１，３３２，３３３，３３４，３３５は、彩色されていない状態でもある。

本発明の一実施形態によるプロセッサ２１２は、図４ないし図８で説明された方法を図８の第二次イメージに対して反復的に遂行することにより、図９のように全領域３１１，３１２，３２１，３３１，３３２，３３３，３３４，３３５が彩色された完成イメージを生成することができる。

以下においては、図１０を参照し、プロセッサ２１２が完成イメージを生成する過程についてさらに説明する。

第一次イメージから第二次イメージを生成する過程
本発明の一実施形態によるプロセッサ２１２は、人工神経網を利用し、第一次イメージ内の少なくとも１つの未彩色領域が彩色された第１中間イメージを生成することができる（図５参照）。

また、プロセッサ２１２は、人工神経網を利用し、第一次イメージ内の少なくとも１つの色相未知領域に係わる第１色相質疑を生成することができる（図６参照）。

プロセッサ２１２によって生成された質疑（または、質疑イメージ）は、前述のユーザ端末１００に伝達され、ユーザに対す返答要請にも使用される。ユーザ端末１００に入力された第１返答は、サーバ２００に伝送され、第二次イメージ生成にも使用される（図７参照）。

本発明の一実施形態によるプロセッサ２１２は、前述の過程によって生成された第１色相質疑、ユーザ端末１００から受信した第１色相質疑に対する第１返答、及び第１中間イメージのうち少なくとも一つに基づき、第二次イメージを生成することができる。

例えば、プロセッサ２１２は、第一次イメージを含むレイヤ、第１色相質疑に対応し、第１返答によって彩色される領域の情報を含むレイヤ、第１返答に対応して彩色される領域の彩色情報を含むレイヤ、及び第１中間イメージを含むレイヤそれぞれを生成することができる。また、プロセッサ２１２は、生成されたレイヤを併合することにより、第二次イメージを生成することができる（図８参照）。

このとき、プロセッサ２１２は、前述のレイヤ間の加重値を反映させて併合することもでき、レイヤ間の優先順位を反映させて併合することもできる。該加重値または該優先順位は、人工神経網によっても決定される。

第二次イメージから第三次イメージを生成する過程
本発明の一実施形態によるプロセッサ２１２は、人工神経網を利用し、第二次イメージ内の少なくとも１つの未彩色領域が彩色された第２中間イメージを生成することができる。例えば、プロセッサ２１２は、図８に図示された第二次イメージにおいて、彩色されていない領域である領域３３１がさらに彩色された第２中間イメージを生成することができる。

また、プロセッサ２１２は、人工神経網を利用し、第二次イメージ内の少なくとも１つの色相未知領域に係わる第２色相質疑を生成することができる。例えば、プロセッサ２１２は、図８に図示された第二次イメージで彩色されていない領域である領域３３４に係わる第２色相質疑を生成することができる。

プロセッサ２１２によって生成された質疑（または、質疑イメージ）は、前述のユーザ端末１００に伝達され、ユーザに対する返答要請にも使用される。ユーザ端末１００に入力された第２返答は、サーバ２００に伝送され、第三次イメージ生成にも使用される。

本発明の一実施形態によるプロセッサ２１２は、第一次イメージ、前述の過程によって生成された第２色相質疑、ユーザ端末１００から受信した第２色相質疑に対する第２返答、及び第２中間イメージのうち少なくとも一つに基づき、第三次イメージを生成することができる。

例えば、プロセッサ２１２は、第一次イメージを含むレイヤ、第２色相質疑に対応し、第２返答によって彩色される領域の情報を含むレイヤ、第２返答に対応して彩色される領域の彩色情報を含むレイヤ、及び第２中間イメージを含むレイヤそれぞれを生成することができる。また、プロセッサ２１２は、生成されたレイヤを併合することにより、第三次イメージを生成することができる。

このとき、プロセッサ２１２は、前述のレイヤ間の加重値を反映させて併合することもでき、レイヤ間の優先順位を反映させて併合することもできる。該加重値または該優先順位は、人工神経網によっても決定されることでもある。

完成イメージを生成する過程
本発明の一実施形態によるプロセッサ２１２は、生成された第三次イメージにつき、前述の過程を反復して遂行することにより、全領域が彩色された完成イメージを生成することができる。例えば、プロセッサ２１２は、第２時点における第二次イメージを、第２時点以前の第１時点における第三次イメージと同一に生成することができる。換言すれば、プロセッサ２１２は、以前時点の第三次イメージを、現在時点の第二次イメージと見なすことができる。

次に、プロセッサ２１２は、そのような第二次イメージにつき、前述の第２中間イメージを生成する過程、第２色相質疑を生成する過程、及び第三次イメージを生成する過程を反復して遂行することにより、図９のように、全領域３１１，３１２，３２１，３３１，３３２，３３３，３３４，３３５が彩色された完成イメージを生成することができる。

なお、本発明の一実施形態によるプロセッサ２１２は、前述の反復遂行の回数を、所定臨界回数未満に設定することができる。例えば、プロセッサ２１２は、反復遂行の回数を５回に設定することができる。

設定された臨界反復回数条件の充足は、プロセッサ２１２が、人工神経網の出力に基づき、特定領域を自動的に彩色するか否かということを決定する臨界確率、及び／または色相未知領域に係わる色相質疑を行うか否かということを決定する所定条件を適切に調節することによっても達成される。

図１１は、本発明の一実施形態による、プロセッサ２１２が、入力イメージから完成イメージを生成する一連の過程において生成されるイメージ及び返答を図示した図面である。

説明の便宜のために、ｔ＝１である時点において、入力イメージ（または、第一次イメージ）が入力され、１単位で時点が増大すると仮定する。

前述の仮定下において、ｔ＝１である時点において、本発明の一実施形態によるプロセッサ２１２は、第一次イメージに係わる第１色相質疑イメージを生成することができ、それに対する第１返答を獲得することができる。プロセッサ２１２は、第一次イメージ、第１色相質疑、第１色相質疑に対する第１返答、及び第１中間イメージのうち少なくとも一つに基づき、第二次イメージを生成することができる。

ｔ＝２である時点において、本発明の一実施形態によるプロセッサ２１２は、生成された第二次イメージに係わる第２色相質疑イメージを生成することができ、それに対する第２返答を獲得することができる。プロセッサ２１２は、第一次イメージ、第２色相質疑、第２色相質疑に対する第２返答、及び第２中間イメージのうち少なくとも一つに基づき、第三次イメージを生成することができる。

ｔ＝３である時点において、本発明の一実施形態によるプロセッサ２１２は、ｔ＝２である時点において、おける第三次イメージを第二次イメージにして、そのような第二次イメージに係わる第２色相質疑イメージを生成することができ、それに対する第２返答を獲得することができる。プロセッサ２１２は、第一次イメージ、第２色相質疑、第２色相質疑に対する第２返答、及び第２中間イメージのうち少なくとも一つに基づき、新たな第三次イメージを生成することができる。

プロセッサ２１２は、そのような第二次イメージにつき、前述の第２中間イメージを生成する段階、第２色相質疑を生成する段階、及び第三次イメージを生成する段階を反復して遂行することにより、図９のように、全領域３１１，３１２，３２１，３３１，３３２，３３３，３３４，３３５が彩色された完成イメージを生成することができる。

なお、プロセッサ２１２は、第２色相質疑内容がそれ以上存在しない場合、前述の反復を中断することができる。例えば、プロセッサ２１２は、ｔ＝６である時点の質疑イメージのように、質疑に何らの内容が含まれていない場合、イメージの彩色が完成されたと判断し、前述の反復遂行を中断することができる。

そのように、本発明は、イメージ彩色において、ユーザの努力を軽減させることができる。

図１２は、本発明の一実施形態による、サーバ２００によって行われるイメージの彩色を完成させる方法について説明するためのフローチャートである。以下においては、図１ないし図１１を共に参照して説明するが、図１ないし図１１で説明された内容と重複する内容の説明は、省略する。

本発明の一実施形態によるサーバ２００は、人工神経網を利用し、第一次イメージ内の少なくとも１つの未彩色領域が彩色された第１中間イメージ（図５参照）を生成することができる（Ｓ８１）。

また、サーバ２００は、人工神経網を利用し、第一次イメージ内の少なくとも１つの色相未知領域に係わる第１色相質疑（図６参照）を生成し、第１色相質疑に対する返答（図７参照）を獲得することができる（Ｓ８２）。それについてさらに詳細に説明すれば、サーバ２００によって生成された質疑（または、質疑イメージ）は、前述のユーザ端末１００に伝達され、ユーザに対する返答要請にも使用される。ユーザ端末１００に入力された第１返答は、サーバ２００に伝送され、後述する第二次イメージの生成にも使用される。

本発明の一実施形態によるサーバ２００は、前述の過程によって生成された第１色相質疑、ユーザ端末１００から受信した第１色相質疑に対する第１返答、及び第１中間イメージのうち少なくとも一つに基づき、第二次イメージ（図８参照）を生成することができる（Ｓ８３）。

例えば、サーバ２００は、第一次イメージを含むレイヤ、第１色相質疑に対応し、第１返答によって彩色される領域の情報を含むレイヤ、第１返答に対応して彩色される領域の彩色情報を含むレイヤ、及び第１中間イメージを含むレイヤそれぞれを生成することができる。また、サーバ２００は、生成されたレイヤを併合することにより、第二次イメージを生成することができる。

このとき、サーバ２００は、前述のレイヤ間の加重値を反映させて併合することもでき、レイヤ間の優先順位を反映させて併合することもできる。該加重値または該優先順位は、人工神経網によっても決定される。

本発明の一実施形態によるサーバ２００は、人工神経網を利用し、第二次イメージ内の少なくとも１つの未彩色領域が彩色された第２中間イメージを生成することができる（Ｓ８４）。例えば、サーバ２００は、図８に図示された第二次イメージにおいて、彩色されていない領域である領域３３１がさらに彩色された第２中間イメージを生成することができる。

また、サーバ２００は、人工神経網を利用し、第二次イメージ内の少なくとも１つの色相未知領域に係わる第２色相質疑を生成し、第２色相質疑に対する返答を獲得することができる（Ｓ８５）。例えば、サーバ２００は、図８に図示された第二次イメージにおいて、彩色されていない領域である領域３３４に係わる第２色相質疑を生成することができる。

段階Ｓ８２と同様に、サーバ２００によって生成された質疑（または、質疑イメージ）は、前述のユーザ端末１００に伝達され、ユーザに対する返答要請にも使用される。ユーザ端末１００に入力された第２返答は、サーバ２００にも伝送される。

本発明の一実施形態によるサーバ２００は、第一次イメージ、前述の過程によって生成された第２色相質疑、ユーザ端末１００から受信した第２色相質疑に対する第２返答、及び第２中間イメージのうち少なくとも一つに基づき、第三次イメージを生成することができる（Ｓ８６）。

例えば、サーバ２００は、第一次イメージを含むレイヤ、第２色相質疑に対応し、第２返答によって彩色される領域の情報を含むレイヤ、第２返答に対応して彩色される領域の彩色情報を含むレイヤ、及び第２中間イメージを含むレイヤそれぞれを生成することができる。また、サーバ２００は、生成されたレイヤを併合することにより、第三次イメージを生成することができる。

このとき、サーバ２００は、前述のレイヤ間の加重値を反映させて併合することもでき、レイヤ間の優先順位を反映させて併合することもできる。該加重値または該優先順位は、人工神経網によっても決定される。

本発明の一実施形態によるサーバ２００は、第三次イメージに彩色されていない領域が存在するか否かということを確認することができる（Ｓ８７）。そのような確認は、第三次イメージに係わる質疑が、内容を含むか否かということを確認することによっても遂行される。例えば、第三次イメージに係わる質疑が何らの内容を含まない場合、第三次イメージにおいて、彩色されていない領域が存在しないと判断することができる。サーバ２００は、第三次イメージにおいて、彩色されていない領域が存在しない場合、彩色を終了させることができる。

一方、サーバ２００は、第三次イメージにおいて、彩色されていない領域が存在する場合、第三次イメージにつき、段階Ｓ８４ないし段階Ｓ８７の過程を反復して遂行することにより、彩色を完了させることができる。例えば、サーバ２００は、第２時点における第二次イメージを、第２時点以前の第１時点における第三次イメージと同一に生成することができる。換言すれば、サーバ２００は、以前時点の第三次イメージを、現在時点の第二次イメージと見なし、段階Ｓ８４ないしＳ８７を反復的に遂行することができる。

なお、本発明の一実施形態によるサーバ２００は、前述の反復遂行の回数を、所定の臨界回数未満に設定することができる。例えば、サーバ２００は、反復遂行の回数を、５回に設定することができる。

設定された臨界反復回数条件の充足は、サーバ２００が人工神経網の出力に基づき、特定領域を自動的に彩色するか否かということを決定する臨界確率、及び／または色相未知領域に係わる色相質疑を行うか否かということを決定する所定条件を適切に調節することによっても達成される。

図１３は、本発明の一実施形態による、サーバ２００によって遂行される人工神経網学習方法について説明するためのフローチャートである。

本発明の一実施形態によるサーバ２００は、第１領域が彩色されていない入力イメージ、及びそのような入力イメージにおいて、第１領域が第１色相に彩色された出力イメージを利用し、第１領域と第１色相との対応関係が反映されるように、人工神経網を学習（第１学習）させることができる（Ｓ９１）。このとき、入力イメージと出力イメージは、いずれも学習データに、１つのトレーニングセットとして含まれるイメージでもある。また、該第１領域は、該入力イメージ内において、彩色されていない任意の領域を意味しうる。換言すれば、サーバ２００は、彩色が完了されたイメージと、彩色が完了されていないイメージとを利用し、所定形態特徴と所定色相とが対応するように、人工神経網を学習させることができる。

次に、サーバ２００は、入力イメージ、入力イメージの彩色された第２領域に係わる第３色相質疑、第３色相質疑に対する第３返答、入力イメージにおいて、第１領域が第１色相に彩色された出力イメージ、及び出力イメージに係わる第４色相質疑の対応関係がさらに反映されるように、人工神経網を学習（第２学習）させることができる（Ｓ９２）。このとき、入力イメージ、第３色相質疑、出力イメージ及び第４色相質疑は、いずれも学習データに、１つのトレーニングセットとして含まれるものでもある。なお、サーバ２００は、入力イメージの第２領域の平均色相に基づき、第３返答を決定することができる。

換言すれば、サーバ２００は、少なくとも一部がさらに彩色されたイメージの色相未知領域に係わる質疑と、少なくとも一部があまり彩色されていないイメージの彩色された領域の彩色に使用された質疑と、それに対する返答とを対応させるように、人工神経網を学習させることができる。

本発明の他の実施形態において、前述のイメージ彩色完成方法及び／または人工神経網学習方法は、ユーザ端末１００、及び／またはユーザ端末１００のプロセッサ１１２によっても行われる。

そのような場合、ユーザの入力は、ユーザ端末１００の入出力装置１１５及び入出力インターフェース１１４を介しても獲得される。例えば、ユーザは、ユーザ端末１００の出力装置（図示せず）に表示された質疑イメージを参照し、当該領域３２１の色相に対する返答、すなわち、第１返答を入出力装置１１５を介して入力することができ、入力された返答は、プロセッサ１１２による第二次イメージ生成にも使用される。

以上で説明された装置は、ハードウェア構成要素、ソフトウェア構成要素、並びに／またはハードウェア構成要素及びソフトウェア構成要素の組み合わせによっても具現される。例えば、本実施形態で説明された装置及び構成要素は、プロセッサ、コントローラ、ＡＬＵ（arithmetic logic unit）、デジタル信号プロセッサ（digital
signal processor）、マイクロコンピュータ、ＦＰＧＡ（field programmable
gate array）、ＰＬＵ（programmable logic unit）、マイクロプロセッサ、または命令（instruction）を実行して応答することができる他のいかなる装置のように、１以上の汎用コンピュータまたは特殊目的コンピュータを利用しても具現される。処理装置は、オペレーションシステム、及びオペレーションシステム上で遂行される１以上のソフトウェアアプリケーションを実行することができる。また、該処理装置は、ソフトウェア実行に応答し、データにアクセスしたり、データを保存・操作・処理及び生成したりすることもできる。理解の便宜のために、該処理装置は、１個が使用されるようにも説明されるが、当該技術分野において当業者であるならば、該処理装置が複数個の処理要素（processing element）、及び／または複数類型の処理要素を含んでもよいということが分かるであろう。例えば、該処理装置は、複数個のプロセッサ、または１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（parallel processor）のような他の処理構成（processing
configuration）も可能である。

該ソフトウェアは、コンピュータプログラム（computer
program）、コード（code）、命令、またはそれらのうち１以上の組み合わせを含んでもよく、所望次第に動作するように、該処理装置を構成するか、あるいは独立的または結合的に（collectively）該処理装置に命令を与えることができる。該ソフトウェア及び／または該データは、該処理装置によって解釈されるか、あるいは該処理装置に命令またはデータを提供するために、ある類型の機械、構成要素（component）、物理的装置、仮想装置（virtual equipment）、コンピュータ記録媒体または装置、あるいは伝送される信号波（signal wave）に永久的または一時的にも具体化（embody）される。該ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法によって保存されたり実行されたりもする。該ソフトウェア及び該データは、１以上のコンピュータ読み取り可能記録媒体にも保存される。

本実施形態による方法は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態に具現され、コンピュータ読み取り可能媒体にも記録される。該コンピュータ読み取り可能媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでもよい。該媒体に記録されるプログラム命令は、本実施形態のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア当業者に公知されて使用可能なものでもある。該コンピュータ読み取り可能記録媒体の例には、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（optical
media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して実行させるように特別に構成されたハードウェア装置が含まれる。該プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行されうる高級言語コードを含む。前述のハードウェア装置は、本実施形態の動作を遂行するために、１以上のソフトウェアモジュールとして作動するようにも構成されるが、その逆も同様である。

以上のように、本実施形態が、たとえ限定された実施形態と図面とによって説明されたにしても、当該技術分野で当業者であるならば、前述の記載から、多様な修正及び変形が可能であろう。例えば、説明された技術が、説明された方法と異なる順序によって遂行され、かつ／または説明されたシステム、構造、装置、回路のような構成要素が、説明された方法と異なる形態で結合されたり、組み合わされたりするか、あるいは他の構成要素または均等物によって代置されたり置換されたりしても、適切な結果が達成されうる。

従って、他の具現、他の実施形態、及び特許請求の範囲と均等なものなども、特許請求の範囲の範疇に属するのである。

Claims (19)

1. イメージ内の色相未知領域に係わる質疑、及び前記質疑に対する返答に基づき、前記イメージの彩色を完成させる方法において、
   人工神経網を利用し、第一次イメージ内の少なくとも１つの未彩色領域が彩色された第１中間イメージを生成する段階と、
   前記人工神経網を利用し、前記第一次イメージ内の少なくとも１つの色相未知領域に係わる第１色相質疑を生成してユーザに提供する段階であって、前記第１色相質疑は、前記第１中間イメージとは別個に生成され、前記第１色相質疑は、前記第一次イメージ内で色相質疑の対象となる領域を区分して提供するものである、段階と、
   前記第１色相質疑、前記第１色相質疑に対する前記ユーザの第１返答、及び前記第１中間イメージのうち少なくとも１つに基づき、第二次イメージを生成する段階と、を含む、イメージの彩色完成方法。
2. 前記イメージの彩色を完成させる方法は、
   前記第二次イメージを生成する段階後、
   前記人工神経網を利用し、前記第二次イメージ内の少なくとも１つの未彩色領域が彩色された第２中間イメージを生成する段階と、
   前記人工神経網を利用し、前記第二次イメージ内の少なくとも１つの色相未知領域に係わる第２色相質疑を生成する段階と、
   前記第一次イメージ、前記第２色相質疑、前記第２色相質疑に対する第２返答、及び前記第２中間イメージのうち少なくとも１つに基づき、第三次イメージを生成する段階と、をさらに含む、請求項１に記載のイメージの彩色完成方法。
3. 前記第１返答は、前記第１色相質疑に対応する前記ユーザの入力に基づいて決定され、
   前記第２返答は、前記第２色相質疑に対応する前記ユーザの入力に基づいて決定される、請求項２に記載のイメージの彩色完成方法。
4. 前記人工神経網は、
   前記第二次イメージ内の少なくとも１つの色相未知領域それぞれに係わる未知の程度を生成し、
   前記第２色相質疑を生成する段階は、
   前記第二次イメージ内の少なくとも１つの色相未知領域において、前記未知の程度が所定条件を満足する未知領域の色相に係わる質疑を、第２色相質疑として生成する、請求項２に記載のイメージの彩色完成方法。
5. 前記イメージの彩色を完成させる方法は、
   第２時点における第二次イメージを、前記第２時点以前の第１時点における第三次イメージと同一に生成し、前記第２中間イメージを生成する段階、前記第２色相質疑を生成する段階、及び前記第三次イメージを生成する段階を反復して遂行し、全領域が彩色された完成イメージを生成する、請求項２に記載のイメージの彩色完成方法。
6. 前記人工神経網は、
   第１領域が彩色されていない入力イメージと、前記第１領域が彩色された出力イメージとの対応関係を学習した神経網である、請求項１に記載のイメージの彩色完成方法。
7. 前記人工神経網は、
   前記入力イメージと、前記入力イメージの彩色された第２領域に係わる第３色相質疑と、前記第３色相質疑に対する第３返答と、前記出力イメージと、前記出力イメージに係わる第４色相質疑との対応関係をさらに学習した神経網であり、
   前記第２領域は、
   前記入力イメージの前記第３色相質疑及び前記第３返答によって彩色された領域である、請求項６に記載のイメージの彩色完成方法。
8. イメージ内の色相未知領域のうち少なくとも一部領域を彩色し、前記色相未知領域において、前記一部領域を除いた残り領域の色相に係わる質疑を生成する人工神経網を学習させる方法において、
   第１領域が彩色されていない入力イメージ、及び前記入力イメージにおいて、前記第１領域が第１色相に彩色された出力イメージを利用し、前記第１領域と前記第１色相との対応関係が反映されるように、前記人工神経網を学習させる第１学習段階と、
   前記入力イメージ、前記入力イメージの彩色された第２領域に係わる第３色相質疑、前記第３色相質疑に対する第３返答、前記出力イメージ、及び前記出力イメージに係わる第４色相質疑の対応関係がさらに反映されるように、前記人工神経網を学習させる第２学習段階と、を含み、
   前記人工神経網は、イメージが入力されることにより、前記イメージ内の少なくとも１つの色相未知領域に対する色相質疑を生成して出力し、前記色相質疑は、前記出力イメージとは別個に生成され、前記色相質疑は、前記イメージ内で色相質疑の対象となる領域を区分して提供するものである、人工神経網学習方法。
9. 前記第３返答は、
   前記入力イメージの前記第２領域の平均色相に基づいて決定される、請求項８に記載の人工神経網学習方法。
10. コンピュータを利用し、請求項１ないし９のうちいずれか１項に記載の方法を遂行するために、媒体に保存されたコンピュータプログラム。
11. イメージ内の色相未知領域に係わる質疑、及び前記質疑に対する返答に基づき、前記イメージの彩色を完成させる装置において、前記装置は、プロセッサを含み、前記プロセッサは、
    人工神経網を利用し、第一次イメージ内の少なくとも１つの未彩色領域が彩色された第１中間イメージを生成してユーザに提供し、
    前記人工神経網を利用し、前記第一次イメージ内の少なくとも１つの色相未知領域に係わる第１色相質疑を生成し、前記第１色相質疑は、前記第１中間イメージとは別個に生成され、前記第１色相質疑は、前記第一次イメージ内で色相質疑の対象となる領域を区分して提供するものであり、
    前記第１色相質疑、前記第１色相質疑に対する前記ユーザの第１返答、及び前記第１中間イメージのうち少なくとも１つに基づき、第二次イメージを生成する、イメージの彩色完成装置。
12. 前記プロセッサは、
    前記人工神経網を利用し、前記第二次イメージ内の少なくとも１つの未彩色領域が彩色された第２中間イメージを生成し、
    前記人工神経網を利用し、前記第二次イメージ内の少なくとも１つの色相未知領域に係わる第２色相質疑を生成し、
    前記第一次イメージ、前記第２色相質疑、前記第２色相質疑に対する第２返答、及び前記第２中間イメージのうち少なくとも１つに基づき、第三次イメージを生成する、請求項１１に記載のイメージの彩色完成装置。
13. 前記第１返答は、前記第１色相質疑に対応する前記ユーザの入力に基づいて決定され、
    前記第２返答は、前記第２色相質疑に対応する前記ユーザの入力に基づいて決定される、請求項１２に記載のイメージの彩色完成装置。
14. 前記人工神経網は、
    前記第二次イメージ内の少なくとも１つの色相未知領域それぞれに係わる未知の程度を生成し、
    前記プロセッサは、
    前記第二次イメージ内の少なくとも１つの色相未知領域において、前記未知の程度が所定条件を満足する未知領域の色相に係わる質疑を、第２色相質疑として生成する、請求項１２に記載のイメージの彩色完成装置。
15. 前記プロセッサは、
    第２時点における第二次イメージを、前記第２時点以前の第１時点における第三次イメージと同一に生成し、前記第２中間イメージを生成する段階、前記第２色相質疑を生成する段階、及び前記第三次イメージを生成する段階を反復して遂行し、全領域が彩色された完成イメージを生成する、請求項１２に記載のイメージの彩色完成装置。
16. 前記人工神経網は、
    第１領域が彩色されていない入力イメージと、前記第１領域が彩色された出力イメージとの対応関係を学習した神経網である、請求項１１に記載のイメージの彩色完成装置。
17. 前記人工神経網は、
    前記入力イメージと、前記入力イメージの彩色された第２領域に係わる第３色相質疑と、前記第３色相質疑に対する第３返答と、前記出力イメージと、前記出力イメージに係わる第４色相質疑との対応関係をさらに学習した神経網であり、
    前記第２領域は、
    前記入力イメージの前記第３色相質疑及び前記第３返答によって彩色された領域である、請求項１６に記載のイメージの彩色完成装置。
18. イメージ内の色相未知領域のうち少なくとも一部領域を彩色し、前記色相未知領域において、前記一部領域を除いた残り領域の色相に係わる質疑を生成する人工神経網を学習させる装置において、前記装置は、プロセッサを含み、
    前記プロセッサは、
    第１領域が彩色されていない入力イメージ、及び前記入力イメージにおいて、前記第１領域が第１色相に彩色された出力イメージを利用し、前記第１領域と前記第１色相との対応関係が反映されるように、前記人工神経網を学習させ、
    前記入力イメージ、前記入力イメージの彩色された第２領域に係わる第３色相質疑、前記第３色相質疑に対する第３返答、前記出力イメージ、及び前記出力イメージに係わる第４色相質疑の対応関係がさらに反映されるように、前記人工神経網を学習させ、
    前記人工神経網は、イメージが入力されることにより、前記イメージ内の少なくとも１つの色相未知領域に対する色相質疑を生成して出力し、前記色相質疑は、前記出力イメージとは別個に生成され、前記色相質疑は、前記イメージ内で色相質疑の対象となる領域を区分して提供するものである、人工神経網学習装置。
19. 前記第３返答は、
    前記入力イメージの前記第２領域の平均色相に基づいて決定される、請求項１８に記載の人工神経網学習装置。

Images