JP7679286B2 - 画像変換装置、画像変換装置の制御方法、制御プログラム、記録媒体 - Google Patents

Description

本開示は、画像スタイルが異なる画像間の画像変換における色調制御が可能な画像変換装置、及び画像変換方法等に関する。

近年、画像変換技術の１つであるサイクルＧＡＮ（Generative Adversarial Network）が注目されている。サイクルＧＡＮは、サイクル一貫性喪失（cycle-consistency loss）の評価を利用するため、対になる画像データ（いわゆる教師データ）を大量に取得する必要がない。

J. Zhu et al., "Unpaired image-to-image translation using cycle-consistent adversarial networks." arXiv:1703, 10593. 2017.

画像スタイルが異なる画像間の画像変換にサイクルＧＡＮを用いる場合、生成される生成画像の色調を制御することは容易ではなく改善の余地があった。

本開示の一態様に係る画像変換装置は、第２対象物の対象部位の立体的な形状を模した３次元画像である、第１画像スタイルの入力画像を取得する取得部と、（１）前記入力画像から、前記第１画像スタイルとは異なる第２画像スタイルの目的画像を生成するニューラルネットワークと、（２）前記第２画像スタイルの参照画像であって、前記第２対象物とは異なる第１対象物の前記対象部位が写っている２次元画像である参照画像における前記対象部位の色調を示す色調情報を取得して、前記ニューラルネットワークに入力する色調情報制御部と、を備える生成部と、前記入力画像及び前記参照画像を前記生成部に入力する入力制御部と、前記生成部によって生成された目的画像の出力を制御する出力制御部と、を備え、前記ニューラルネットワークは、前記入力画像に写っている前記第２対象物の前記対象部位の形状が維持されており、かつ、前記第２対象物の前記対象部位の色調が前記色調情報に基づいて制御された画像を前記目的画像として生成する。

本開示の一態様に係る制御方法は、画像変換装置の制御方法であって、前記画像変換装置は、第２対象物の対象部位の立体的な形状を模した３次元画像である第１画像スタイルの入力画像から、前記第１画像スタイルとは異なる第２画像スタイルの目的画像を生成するニューラルネットワークを備えており、前記入力画像を取得する取得ステップと、前記ニューラルネットワークに、前記入力画像、及び前記第２対象物とは異なる第１対象物の前記対象部位が写っている前記第２画像スタイルの２次元画像である参照画像における前記対象部位の色調を示す色調情報を入力する入力ステップと、前記ニューラルネットワークに目的画像を生成させる生成ステップと、前記ニューラルネットワークによって生成された前記目的画像を出力する出力ステップと、を含み、前記ニューラルネットワークは、前記入力画像に写っている前記第２対象物の前記対象部位の形状が維持されており、かつ、前記第２対象物の前記対象部位の色調が前記色調情報に基づいて制御された画像を前記目的画像として生成する。

本開示の各態様に係る画像変換装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記画像変換装置が備える各部（ソフトウェア要素）として動作させることにより前記画像変換装置をコンピュータにて実現させる画像変換装置の制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。

本開示の一態様によれば、画像スタイルが異なる画像間の画像変換において生成される生成画像の色調を制御することができる。

本開示の一態様に係る画像変換装置１の構成例を示すブロック図である。 画像変換装置の構成の一例を示す機能ブロック図である。 ニューラルネットワークのネットワーク構造の一例を示す図である。 第１生成器のネットワーク構造の一例を示す図である。 画像変換装置が行う処理の一例を示すフローチャートである。 ニューラルネットワークの学習工程の一例を示すフローチャートである。 ニューラルネットワークの学習工程において用いる第１誤差及び第２誤差を説明する図である。 ニューラルネットワークの学習工程において用いる第３誤差を説明する図である。 ニューラルネットワークの学習工程において用いる第４誤差及び第５誤差を説明する図である。 画像変換装置により生成された目的画像の例を示す図である。

〔実施形態１〕
以下、本開示の一実施形態について、詳細に説明する。

（画像変換装置１の概要）
本開示の一態様に係る画像変換装置１は、第１画像スタイルの入力画像と、第１スタイルとは異なる第２画像スタイルの参照画像とが入力されたことに応じて、目的画像を生成する。このとき、画像変換装置１は、入力画像の画像スタイルを変換する画像変換処理によって目的画像を生成するとともに、目的画像の色調を参照画像の色調に基づいて制御することが可能である。

ここで、入力画像は、第２対象物の対象部位が写っている画像であり、参照画像は、第２対象物とは異なる第１対象物の対象部位が写っている画像である。第１対象物及び第２対象物は、生物であってもよいし無生物であってもよい。例えば、入力画像及び参照画像は、機械及び器具のような物体を撮像した画像であってもよいし、風景を撮像した画像であってもよい。この場合、第１対象物及び第２対象物は、機械及び器具のような物体であってもよいし、山、海、街並みなどの風景を構成するものであってもよい。また、対象部位は、第１対象物及び第２対象物の任意の一部分、又は全体であってもよい。

目的画像は、第１画像スタイルの入力画像の画像スタイルを第２画像スタイルに変更した画像である。目的画像における対象部位の形状は、入力画像に写っている対象部位の形状に基づいて制御されている。一方、目的画像における対象部位の色調は、参照画像に写っている対象部位の色調に基づいて制御されている。

画像変換装置１は、例えば、日差しの強い日中の街並みの画像（第１画像スタイル）を、夜の街並みの画像（第２画像スタイル）に変更して目的画像を生成する場合、参照画像に写っている街並みの色調に基づいて、目的画像の色調を制御する。参照画像は、所望の色調の街並みが写っている画像を用いればよい。例えば、曇った日の街並みの画像を参照画像として用いた場合、画像変換装置１は、曇った日の街並みの色調を有する夜の街並みの画像を目的画像として生成する。

入力画像は、第２対象物の対象部位の立体的な形状を模した３次元画像であり、参照画像は、第１対象物を撮像した２次元画像であってもよい。

参照画像は、第１対象物の全体を撮像した全体画像から対象部位の領域を抽出した部分画像であり、入力画像は、第２対象物の対象部位の画像であってもよい。この場合、画像変換装置１は、全身画像の対象部位に対応する領域に目的画像を合成した合成画像を生成してもよい。

第１対象物及び第２対象物は生物であってもよい。この場合、対象部位は、生物（例えば、人間）の身体の任意の部位であってもよい。すなわち、対象部位は、例えば、人間の全身、関節、皮膚、顔、目、鼻、口、耳、及び／又は、頭髪であってもよい。

第１対象物及び第２対象物は、対象部位の疾患に罹患している生物であってもよく、この場合、第２対象物の疾患は第１対象物の疾患よりも進行していてもよい。第１対象物及び第２対象物が人間である場合、「疾患」は、対象部位の外観、及び／又は形状の変化を伴う進行性の疾患であってもよい。このような疾患の例として、変形性膝関節症、骨粗しょう症等が挙げられる。

第１対象物及び第２対象物は、対象部位に対する介入を受けた生物であり、第２対象物が介入を受けてからの経過期間は、第１対象物が介入を受けてからの経過期間よりも長くてもよい。第１対象物及び第２対象物が人間である場合、「介入」は、手術、栄養指導、リハビリテーション等の医学的介入であってもよい。

（画像変換装置１の構成）
まず、画像変換装置１の構成について、図１及び図２を用いて説明する。図１は、本開示の一態様に係る画像変換装置１の構成例を示すブロック図である。図２は、画像変換装置１の構成の一例を示す機能ブロック図である。

画像変換装置１は、例えばコンピュータであり、図１に示すように、プロセッサ部２、ハードディスク３、メモリ４を備えている。

プロセッサ部２は、各種プログラムをハードディスク３から読み出して実行する。プロセッサ部２は、例えばＣＰＵであってもよい。

ハードディスク３には、プロセッサ部２が実行する各種プログラムが格納されている。また、ハードディスク３には、プロセッサ部２が各種プログラムを実行するために利用する各種画像データが格納されていてもよい。

メモリ４は、プロセッサ部２が実行中の各種処理に用いられる各種データ及び各種プログラムを格納する。例えば、メモリ４は、ハードディスク３からロードされたニューラルネットワーク構造を実現するプログラムを格納するワーキングメモリとして機能する。

表示装置５は、プロセッサ部２が実行する各種処理に供される各種画像（例えば、参照画像、及び／又は、入力画像）、及びプロセッサ部２が実行した各種処理によって生成された各種画像（例えば、後述する目的画像）を表示するための任意のディスプレイ装置であってもよい。画像変換装置１は、図１に示すように、表示装置５と通信可能に接続されていてもよい。あるいは、画像変換装置１が表示部として機能するディスプレイを備えていてもよい。

図２に示すように、画像変換装置１は、図１に示すプロセッサ部２及びメモリ４に対応する制御部１０、及び、図１に示すハードディスク３に対応する記憶部２０を備えている。

制御部１０は、取得部１１、入力制御部１２、生成部１３、及び出力制御部１４を備えている。

＜取得部１１＞
取得部１１は、第２対象物の対象部位が写っている第１画像スタイルの入力画像を取得する。取得部１１は、第２対象物とは異なる第１対象物の対象部位が写っている画像であって、第１スタイルとは異なる第２画像スタイルの参照画像をさらに取得してもよい。図１に示すように、取得部１１は、記憶部２０の参照画像３１及び入力画像３２から参照画像及び入力画像を取得してもよい。あるいは、取得部１１は、参照画像における対象部位の色調を示す色調情報を取得してもよい。

図１では、画像変換装置１が予め１又は複数の参照画像を含む参照画像３１、及び１又は複数の入力画像を含む入力画像３２を記憶部２０に格納している場合を例示している。しかし、画像変換装置１は、用いる参照画像及び入力画像を、その都度外部から取得してもよい。

＜入力制御部１２＞
入力制御部１２は、入力画像、及び参照画像を後述する生成部１３のニューラルネットワーク１３１に入力する。あるいは、入力制御部１２は、参照画像の代わりに、参照画像における対象部位の色調を示す色調情報をニューラルネットワーク１３１に入力してもよい。

＜生成部１３＞
生成部１３は、ニューラルネットワーク１３１と、色調情報制御部１３２とを備える。生成部は、入力画像に写っている対象部位の形状が維持されたまま第２画像スタイルに変換されており、かつ、対象部位の色調が、参照画像に写っている対象部位の色調に基づいて制御された目的画像を生成する。ここで、参照画像は、生成部１３によって生成される目的画像と同じ画像スタイルの画像であってもよいが、これに限定されない。例えば、参照画像は、生成部１３によって生成される目的画像とは異なる画像スタイルの画像であってもよい。

［ニューラルネットワーク１３１］
ニューラルネットワーク１３１は、下記（ｉ）～（ｉｖ）を備えていてもよい。
（ｉ）第１画像スタイルの任意の入力画像（例えば、後述の第１入力画像等）から第２画像スタイルの第１変換画像を生成する第１生成器１３１１。
（ｉｉ）第２画像スタイルの任意の入力画像（例えば、後述の第２入力画像等）から第１画像スタイルの第２変換画像を生成する第２生成器１３１２。
（ｉｉｉ）対象部位の形状及び色調に基づいて、第１画像スタイルの画像を識別可能な第１識別器１３１３。
（ｉｖ）対象部位の形状及び色調に基づいて、第２画像スタイルの画像を識別可能な第２識別器１３１４。

後述する学習工程が済んでいるニューラルネットワーク１３１の場合、第１変換画像は、第１画像スタイルの入力画像から生成される目的画像であり、第２変換画像は、第２画像スタイルの入力画像から生成される目的画像である。

第１生成器１３１１は、第２変換画像から第１画像スタイルの第３変換画像をさらに生成可能であってもよく、第２生成器１３１２は、第１変換画像から第１画像スタイルの第４変換画像をさらに生成可能であってもよい。

第１識別器１３１３は、第１色調誤差（第１色調損失）と、第１誤差（所謂、サイクル一貫性誤差）、第２誤差（所謂、敵対性損失）、及び第３誤差（所謂、同一性誤差）のうち少なくとも何れか１つと、に基づいて第１画像スタイルの画像を識別してもよい。第１識別器１３１３は、第１画像スタイルの任意の画像の真贋を判定可能であってもよい。

ここで、第１色調誤差は、第１画像における対象部位の色調情報と、第２画像スタイルの参照画像における対象部位の色調情報との誤差である。

第１誤差は、第１画像と第４変換画像との間の、対象部位の形状に関する誤差である（図７参照）。第２誤差は、第２変換画像と第１画像スタイルの画像との間の、対象部位の形状に関する誤差である（図７参照）。第６誤差は、第２変換画像を第２生成器に入力した場合に生成される第２評価用画像と、第２変換画像との間の、対象部位の形状に関する誤差である。

一方、第２識別器１３１４は、第２色調誤差（第２色調損失）と、第４誤差（所謂、サイクル一貫性誤差）、第５誤差（所謂、敵対性損失）、及び第６誤差（所謂、同一性誤差）のうち少なくとも何れか１つと、に基づいて第２画像スタイルの画像を識別してもよい。第２識別器１３１４は、第２画像スタイルの任意の画像の真贋を判定可能であってもよい。

ここで、第２色調誤差は、第２画像における対象部位の色調情報と、第２画像スタイルの参照画像における対象部位の色調情報との誤差である。

第４誤差は、第２画像と第３変換画像との間の、対象部位の形状に関する誤差である（図９参照）。第５誤差は、第１変換画像と第２画像スタイルの画像との間の、対象部位の形状に関する誤差である（図９参照）。第３誤差は、第１変換画像を第１生成器に入力した場合に生成される第１評価用画像と、第１変換画像との間の、対象部位の形状に関する誤差である。

ニューラルネットワーク１３１は、第１色調誤差、第１誤差、第２誤差、及び第３誤差を統合した第１統合誤差と、第２色調誤差、第４誤差、第５誤差、及び第６誤差を統合した第２統合誤差とを最小化するように学習されてもよい。ニューラルネットワーク１３１の学習については、後に具体例を挙げて説明する。

ニューラルネットワーク１３１の概略構成について、図３を用いて説明する。図３は、ニューラルネットワーク１３１のネットワーク構造の一例を示す図である。

図３に示すように、ニューラルネットワーク１３１は、上述したように、第１生成器１３１１及び第２生成器１３１２と、第１識別器１３１３及び第２識別器１３１４とから構成されていてもよい。

第１生成器１３１１は、第１画像スタイルの第１入力画像から第２画像スタイルの生成画像である第１変換画像を生成する。また、第２生成器１３１２は、第２画像スタイルの第２入力画像から第１画像スタイルの生成画像である第２変換画像を生成する。

第１入力画像の画像スタイルを第２画像スタイルに変換する処理において、入力制御部１２は、第１生成器１３１１に第１入力画像を入力する。また、入力制御部１２は、第２画像スタイルの画像である参照画像における前記対象部位の色調を示す色調情報を第１生成器１３１１に入力する。参照画像の色調情報は後述する色調情報制御部１３２によって取得される。

第２入力画像の画像スタイルを第１画像スタイルに変換する処理において、入力制御部１２は、第２生成器１３１２に第２入力画像を入力する。また、入力制御部１２は、第１画像スタイルの画像である参照画像における前記対象部位の色調を示す色調情報を第２生成器１３１１に入力する。

図３において、第２画像スタイルの参照画像の色調情報は第１生成器１３１１に入力され、第１画像スタイルの参照画像の色調情報は第２生成器１３１２に入力される例を示したが、これに限定されない。すなわち、任意の画像スタイルの参照画像の色調情報が第１生成器１３１１及び／又は第２生成器１３１２に入力され得る。これにより、ニューラルネットワーク１３１は、画像スタイル変換後の画像の色調を、任意の参照画像の色調に合わせて制御することが可能である。

［色調情報制御部１３２］
色調情報制御部１３２は、参照画像における対象部位の色調を示す色調情報を取得する。ここで、色調情報は、参照画像の色分布ヒストグラムであってもよい。あるいは、色調情報は、各画像の輝度（又は明度）に関するヒストグラムであってもよい。

取得部１１が、参照画像における対象部位の色調を示す色調情報を取得する構成が採用される場合、色調情報制御部１３２は画像変換装置１において必須の構成ではない。

第１生成器１３１１は、エンコーダ－デコーダ構造の中間層に参照画像の色調を示す色調情報の入力を受け付ける構造を採用したネットワークである。一方、第２生成器１３１２は、エンコーダ－デコーダ構造の中間層に入力画像の色調を示す色調情報の入力を受け付ける構造を採用したネットワークである。次に、第１生成器１３１１のネットワーク構造の詳細について、図４を用いて説明する。図４は、第１生成器１３１１のネットワーク構造の一例を示す図である。第２生成器１３１２のネットワーク構造は、第１生成器１３１１のネットワーク構造と同様であるため、以下では第２生成器１３１２に関する詳細な説明は省略する。

図４では、入力画像がＲＧＢ画像（すなわち、カラー画像）であり、エンコーダ－デコーダ構造を通して生成画像を出力する場合を例に挙げている。また、図４に示す例において、色調情報は色分布ヒストグラムである。図４に示す第１生成器１３１１は、参照画像から得られた色調情報を連結し、中間層に入力する構造を採用している。

第１生成器１３１１が出力する生成画像のＲＧＢチャネルのそれぞれに対して、公知の密度推定法（例えば、カーネル密度推定）から得られた関係性を適用してもよい。図４において、カーネル密度推定を利用する処理には「ＫＤＥ」と記載されている。これにより、生成画像について、微分可能な生成画像の色分布ヒストグラムを求めることが可能となる。

＜出力制御部１４＞
図２に戻り、出力制御部１４は、生成部によって生成された目的画像の出力を制御する。例えば、出力制御部１４は、生成された目的画像を記憶部２０の目的画像３３に格納してもよい。あるいは、図２に示すように、画像変換装置１が表示装置５と通信可能に接続されている場合、出力制御部１４は、表示装置５に目的画像を表示させてもよい。

（画像変換装置１が行う処理）
次に、画像変換装置１が行う処理について、図５を用いて説明する。図５は、画像変換装置１が行う処理の一例を示すフローチャートである。

説明の簡略化のため、図５では、画像変換装置１が第１画像スタイルの入力画像から、第２画像スタイルの目的画像を生成する場合のみを例示している。画像変換装置１は、逆に、第２画像スタイルの入力画像から、第１画像スタイルの目的画像を生成することも可能である。

また、図５では、色調情報制御部１３２を備える画像変換装置１の処理を例に挙げているが、前述のように、取得部１１が、参照画像における対象部位の色調を示す色調情報を取得してもよく、色調情報制御部１３２は画像変換装置１において必須の構成ではない。

ステップＳ１において、取得部１１は、第１画像スタイルの入力画像を取得する（取得ステップ）。また、ステップＳ１において、取得部１１は、第２画像スタイルの参照画像を取得する。

次に、入力制御部１２は、入力画像をニューラルネットワーク１３１に入力する（ステップＳ２：入力ステップ）。参照画像に対象部位に対応しない領域が含まれている場合、入力制御部１２は、参照画像における対象部位に対応する領域を抽出してもよい（ステップＳ３）。

次に、色調情報制御部１３２は、参照画像における対象部位の色調を示す色調情報を取得する。そして、入力制御部１２は、参照画像の色調情報をニューラルネットワーク１３１に入力する（ステップＳ４：入力ステップ）。

ステップＳ４の後に、生成部１３は目的画像を生成する（ステップＳ５：生成ステップ）。この目的画像は、入力画像の画像スタイルを第２画像スタイルに変更した画像である。目的画像における対象部位の形状は、入力画像に写っている対象部位の形状に基づいて制御されており、目的画像における対象部位の色調は、参照画像に写っている対象部位の色調に基づいて制御されている。

出力制御部１４は、目的画像を表示装置５等に出力する（ステップＳ６：出力ステップ）。

このように目的画像を生成すれば、目的画像における対象部位の色調を、参照画像における対象部位の色調に基づいて制御することができる。

（目的画像の利用場面の例）
例えば、変形性膝関節症又は骨粗しょう症などの進行性疾患は、初期段階において自覚症状がない。しかし、これらの疾患に対しては、はっきりした自覚症状がない段階からの適切な介入が重要である。一方、変形性膝関節症又は骨粗しょう症に罹患している患者の中には、自身の身体に将来生じる変化（変形）への懸念を深刻に受け止めておらず、早期介入に対して非協力的な患者もいる。

従来、変形性膝関節症又は骨粗しょう症などの進行性疾患が進行した状況を患者に説明する場合、症状が進行した別の患者の姿を撮影した写真、あるいは、Ｘ線画像及びＭＲＩ画像等の医用画像が例示されていた。しかし、このような医用画像は、患者の身体ではなく、他人の身体が写っている画像であるため、患者に、自身の身体に将来生じる変化への懸念を深刻に受け止めさせる効果は必ずしも高くなかった。

本開示の一態様に係る画像変換装置１は、例えば、症状が進行した別の患者の対象部位が写っている入力画像から、その対象部位の形状を保持している目的画像を生成する。生成された目的画像における対象部位の色調は、患者を撮像した参照画像に写っている対象部位の色調に基づいて制御される。それゆえ、生成された目的画像は、患者自身の身体に将来生じる変化への懸念を仮想的に表現した画像である。それゆえ、この目的画像を患者に示すことによって、該患者に、自身の疾患の進行による将来の影響ついて正しく理解させる効果が期待できる。よって、画像変換装置１によって生成された目的画像を用いれば、患者に、早期介入への協力を効果的に促すことができる。

（生成部１３の学習）
続いて、生成部１３の学習について、図６を用いて説明する。図６は、生成部１３の学習工程の一例を示すフローチャートである。

ニューラルネットワーク１３１は、入力された画像の特徴を抽出して、抽出した特徴を有する新しい画像を生成するニューラルネットワーク（生成モデル）である。ニューラルネットワーク１３１の学習には、敵対的生成ネットワーク（ＧＡＮ：generative Adversarial Networks）などの公知の深層学習アルゴリズムを基本とする学習方法が適用され得る。

ニューラルネットワーク１３１の学習処理は、画像変換装置１とは異なるコンピュータを用いて実行されてもよい。この場合、学習済のニューラルネットワーク１３１、及び所定の任意プログラムを任意のコンピュータにインストールすることにより、該コンピュータを画像変換装置１として機能させることが可能である。

（ニューラルネットワーク１３１の学習工程）
次に、ニューラルネットワーク１３１の学習工程について、図７～図９を参照しながら、図６を用いて説明する。図６は、ニューラルネットワーク１３１の学習工程の一例を示すフローチャートである。図７～９は、ニューラルネットワーク１３１の学習工程において用いる第１誤差～第５誤差を説明する図である。

以下では、学習工程を画像変換装置１が実行する場合を例に挙げて説明するが、これに限定されない。例えば、ニューラルネットワーク１３１の学習工程は、画像変換装置１とは異なる外部のコンピュータにおいて実行可能である。この場合、任意のコンピュータに学習済のニューラルネットワーク１３１をインストールすることにより、該コンピュータを画像変換装置１として機能させることができる。

入力制御部１２は、第１画像スタイルの、１つの第１学習用画像をニューラルネットワーク１３１の第１生成器１３１１に入力する（ステップＳ１０１）。第１生成器１３１１は、入力された第１学習用画像における空間情報の集約（畳み込み）を行う（ステップＳ１０２）。

一方、色調情報制御部１３２は、第２画像スタイルの参照画像における対象部位の色調に関する色調情報を取得する（ステップＳ１０３）。取得された色調情報は、ニューラルネットワーク１３１の中間層に入力される。

第１生成器１３１１は、第１学習用画像から抽出した空間情報を再現し（ステップＳ１０４）、第２画像スタイルの第１変換画像を生成する（ステップＳ１０５）。

色調情報制御部１３２は、第１変換画像における対象部位の色調に関する色調情報を推定する（ステップＳ１０６）。色調情報制御部１３２は、推定された色調情報と、Ｓ１０３において取得した色調情報との差分から、第１色調誤差を算出する（ステップＳ１０７）。

次に、入力制御部１２は、第１変換画像をニューラルネットワーク１３１の第２生成器１３１２に入力し、第２変換画像を生成する（ステップＳ１０８）。第２変換画像は、第１画像スタイルの画像である。

第１識別器１３１３は、第１入力画像と第４入力画像との形状に関する第１誤差（サイクル一貫性損失）を算出する（ステップＳ１０９）。また、第２識別器１３１４は、第１変換画像と第１画像スタイルの画像との間の、対象部位の形状に関する第２誤差（敵対性損失）を算出する（ステップＳ１１１）。ここで、第１誤差及び第２誤差は、図７において第１入力画像が第１学習用画像である場合に相当する。

第２識別器１３１４は、図８に示すように、第１変換画像を第１生成器１３１１に入力した場合に生成される第１評価用画像と、第１変換画像との間の、対象部位の形状に関する第３誤差（同一性損失）を算出する（ステップＳ１１０）。

入力制御部１２は、第２画像スタイルの、１つの第２学習用画像をニューラルネットワーク１３１の第２生成器１３１２に入力する。そして生成部１３は、上記ステップＳ１０２～Ｓ１１１と同様の操作を行い、第２色調誤差、第４誤差、第５誤差、及び第６誤差を算出する（ステップＳ１１２）。この場合、第１識別器１３１３は、第２変換画像を第２生成器１３１２に入力した場合に生成される第２評価用画像と、第２変換画像との間の、対象部位の形状に関する誤差を第３誤差（同一性損失）として算出する。

生成部１３は、上記ステップＳ１０２～Ｓ１１１の処理により算出された、各誤差を統
合した第１統合誤差と、Ｓ１１２の処理により算出された、各誤差を統合した第２統合誤
差とを算出する（ステップＳ１１３）。

全学習用画像の入力が終了していない場合（Ｓ１１４にてＮＯ）、Ｓ１０１に戻り、ステップＳ１０１～Ｓ１１３の構成を繰り返す。一方、全学習用画像の入力が終了した場合（Ｓ１１４にてＹＥＳ）、ステップＳ１１５に進み、生成部１３は、各学習用画像の第１統合誤差及び第２統合誤差に基づいて第１生成器１３１１及び第２生成器１３１２を更新する。

学習工程において、生成部１３は、第１学習用画像を含む学習用画像データセットをニューラルネットワーク１３１に繰り返し学習させる。生成部１３がニューラルネットワーク１３１に学習用画像データセットを学習させる回数は「エポック数」と表現され得る。学習工程において、生成部１３は、１エポックが終了する毎に、第１生成器１３１１及び第２生成器１３１２を更新する。生成部１３は、所定のエポック数の学習が終了していない場合、Ｓ１０１に戻り、ステップＳ１０１～Ｓ１１５の構成を繰り返す。一方、所定のエポック数の学習が終了した場合（Ｓ１１６にてＹＥＳ）、生成部１３は、ニューラルネットワーク１３１の学習工程を終了する。

図６に示した例では、所定のエポック数の学習が完了することによって、学習工程が終了する。しかし、所定のエポック数の学習が完了する前に学習工程を終了させてもよい。例えば、第１統合誤差及び第２統合誤差の値が大きく変化しなくなった場合、ニューラルネットワーク１３１の過学習が生じている可能性があり、学習工程を停止することが望ましい。そこで、生成部１３は、第１統合誤差及び第２統合誤差の値の変化の大きさに基づいて、学習工程を早期終了するか否かを判定する構成であってもよい。

〔実施例〕
入力画像と参照画像の様々な組み合わせによる目的画像を図１０に示す。一番左の列は第１画像スタイルの３つの入力画像、一番上の行は第２画像スタイルの３つの参照画像を表す。図１０に示すように、画像変換装置１によって生成された目的画像はいずれも、入力画像に写っている膝関節（対象部位）の立体的な形状を再現しつつ、それぞれの参照画像における膝関節と同様の色分布を持つ画像として生成された。すなわち、画像変換装置１によって生成された目的画像の色調は、参照画像の色調に基づいて制御されていた。

画像変換装置１は、ペア画像を必要としない。ペア画像とは、例えば同じ物体を２つの撮像モードで撮像した画像スタイルの異なる画像であって、互いに対応していることが既知である２枚の画像である。例えば、膝関節の画像の画像スタイルを変換する場合、従来は、患者の膝関節を光学カメラで撮像した画像と、同じ患者の膝のＭＲＩ画像とのペア画像を準備する必要があった。これに対し、画像変換装置１による画像スタイルの変換処理では、入力画像の画像スタイルを変換した変換画像を生成し、該生成した変換画像から元の画像スタイルに戻して入力画像と比較するため、互いに対応しているペア画像を必要としない。

サイクルＧＡＮを用いた画像変換処理においても、画像変換装置１と同様、ペア画像を必要としない。しかし、サイクルＧＡＮを用いた画像変換処理では、参照画像の色調情報を用いることはないため、目的画像の色調は学習時に用いた学習用画像の色調分布から生成される。それゆえ、サイクルＧＡＮを用いた画像変換処理では、目的画像の色調を、特定の色調になるよう制御することができない。これに対し、画像変換装置１は、入力画像における対象部位の形状を維持しながら、参照画像における対象部位の色調を再現した目的画像を生成可能であることが確認された。

〔ソフトウェアによる実現例〕
画像変換装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１又は複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線又は無線の任意の伝送媒体を介して上記装置に供給されてもよい。

また、上記各制御ブロックの機能の一部又は全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本開示の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

以上、本開示に係る発明について、諸図面及び実施例に基づいて説明してきた。しかし、本開示に係る発明は上述した各実施形態に限定されるものではない。すなわち、本開示に係る発明は本開示で示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示に係る発明の技術的範囲に含まれる。つまり、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。また、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。

１ 画像変換装置
５ 表示装置
１１ 取得部
１２ 入力制御部
１３ 生成部
１４ 出力制御部
２０ 記憶部
１３１ ニューラルネットワーク
１３２ 色調情報制御部
１３１１ 第１生成器
１３１２ 第２生成器
１３１３ 第１識別器
１３１４ 第２識別器
Ｓ１ 取得ステップ
Ｓ２、Ｓ４ 入力ステップ
Ｓ５ 生成ステップ
Ｓ６ 出力ステップ

Claims (10)

1. 第２対象物の対象部位の立体的な形状を模した３次元画像である、第１画像スタイルの入力画像を取得する取得部と、
   （１）前記入力画像から、前記第１画像スタイルとは異なる第２画像スタイルの目的画像を生成するニューラルネットワークと、（２）前記第２画像スタイルの参照画像であって、前記第２対象物とは異なる第１対象物の前記対象部位が写っている２次元画像である参照画像における前記対象部位の色調を示す色調情報を取得して、前記ニューラルネットワークに入力する色調情報制御部と、を備える生成部と、
   前記入力画像及び前記参照画像を前記生成部に入力する入力制御部と、
   前記生成部によって生成された目的画像の出力を制御する出力制御部と、を備え、
   前記ニューラルネットワークは、
   前記入力画像に写っている前記第２対象物の前記対象部位の形状が維持されており、かつ、前記第２対象物の前記対象部位の色調が前記色調情報に基づいて制御された画像を前記目的画像として生成する、
   画像変換装置。
2. 前記ニューラルネットワークは、
   前記第１画像スタイルの第１入力画像から前記第２画像スタイルの第１変換画像を生成する第１生成器と、
   前記第２画像スタイルの第２入力画像から前記第１画像スタイルの第２変換画像を生成する第２生成器と、
   前記対象部位の形状及び色調に基づいて、前記第１画像スタイルの画像を識別可能な第１識別器と、
   前記対象部位の形状及び色調に基づいて、前記第２画像スタイルの画像を識別可能な第２識別器と、
   を備え、
   前記第１生成器は、前記第２変換画像から前記第１画像スタイルの第３変換画像をさらに生成可能であり、
   前記第２生成器は、前記第１変換画像から前記第１画像スタイルの第４変換画像をさらに生成可能であり、
   前記第１識別器は、
   前記第１入力画像における前記対象部位の色調情報と、前記第２画像スタイルの参照画像における前記対象部位の色調情報との第１色調誤差と、
   （１）前記第１入力画像と前記第４変換画像との間の、前記対象部位の形状に関する第１誤差、
   （２）前記第２変換画像と前記第１画像スタイルの画像との間の、前記対象部位の形状に関する第２誤差、及び、
   （３）前記第２変換画像を前記第２生成器に入力した場合に生成される第２評価用画像と、前記第２変換画像との間の、前記対象部位の形状に関する第６誤差、
   のうち少なくとも何れか１つと、に基づいて前記第１画像スタイルの画像を識別し、
   前記第２識別器は、
   前記第２入力画像における前記対象部位の色調情報と、前記第１画像スタイルの参照画像における前記対象部位の色調情報との第２色調誤差と、
   （１）前記第２入力画像と前記第３変換画像との間の、前記対象部位の形状に関する第４誤差、
   （２）前記第１変換画像と前記第２画像スタイルの画像との間の、前記対象部位の形状に関する第５誤差、及び、
   （３）前記第１変換画像を前記第１生成器に入力した場合に生成される第１評価用画像と、前記第１変換画像との間の、前記対象部位の形状に関する第３誤差、
   のうち少なくとも何れか１つと、に基づいて前記第１画像スタイルの画像を識別する、
   請求項１に記載の画像変換装置。
3. 前記ニューラルネットワークは、前記第１色調誤差、前記第１誤差、前記第２誤差、及び前記第３誤差を統合した第１統合誤差と、前記第２色調誤差、前記第４誤差、前記第５誤差、及び前記第６誤差を統合した第２統合誤差とを最小化するように学習される、
   請求項２に記載の画像変換装置。
4. 前記参照画像は、前記第１対象物の全体を撮像した全体画像から前記対象部位の領域を抽出した部分画像であり、
   前記入力画像は、前記第２対象物の前記対象部位の画像であり、
   前記生成部は、前記全体画像の前記対象部位に対応する領域に前記目的画像を合成した合成画像をさらに生成する、
   請求項１から３のいずれか１項に記載の画像変換装置。
5. 前記第１対象物及び前記第２対象物は、前記対象部位の疾患に罹患している生物であり、
   前記第２対象物の前記疾患は、前記第１対象物の前記疾患よりも進行している、
   請求項１から４のいずれか１項に記載の画像変換装置。
6. 前記第１対象物及び前記第２対象物は、前記対象部位に対する介入を受けた生物であり、
   前記第２対象物が医学的介入を受けてからの経過期間は、前記第１対象物が介入を受けてからの経過期間よりも長い、
   請求項１から４のいずれか１項に記載の画像変換装置。
7. 前記第１対象物及び前記第２対象物は、生物であり、
   前記対象部位は、全身、関節、皮膚、顔、目、鼻、口、耳、及び／又は、頭髪である、
   請求項１から６のいずれか１項に記載の画像変換装置。
8. 画像変換装置の制御方法であって、
   前記画像変換装置は、第２対象物の対象部位の立体的な形状を模した３次元画像である第１画像スタイルの入力画像から、前記第１画像スタイルとは異なる第２画像スタイルの目的画像を生成するニューラルネットワークを備えており、
   前記入力画像を取得する取得ステップと、
   前記ニューラルネットワークに、前記入力画像、及び前記第２対象物とは異なる第１対象物の前記対象部位が写っている前記第２画像スタイルの２次元画像である参照画像における前記対象部位の色調を示す色調情報を入力する入力ステップと、
   前記ニューラルネットワークに目的画像を生成させる生成ステップと、
   前記ニューラルネットワークによって生成された前記目的画像を出力する出力ステップと、を含み、
   前記ニューラルネットワークは、
   前記入力画像に写っている前記第２対象物の前記対象部位の形状が維持されており、かつ、前記第２対象物の前記対象部位の色調が前記色調情報に基づいて制御された画像を前記目的画像として生成する、
   画像変換装置の制御方法。
9. 請求項１から７の何れか１項に記載の画像変換装置としてコンピュータを機能させるための制御プログラムであって、上記取得部、前記生成部、前記色調情報制御部、前記入力制御部、及び前記出力制御部としてコンピュータを機能させるための制御プログラム。
10. 請求項９に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images