JP7664609B2 - 情報処理方法 - Google Patents

Description

本発明は、情報処理方法に関する。

デジタル画像の色を複数のモニタ間において揃えるためのカラーマネージメントツールが従来技術として知られている。カラーマネージメントツールは、専用の機器を用いた測色を行うことによって、モニタの周辺環境を調整し、或いはモニタの発色を制御する。特許文献１では、第１液晶モニタの輝度データ及び色データと同等レベルになるように第２液晶モニタの表示設定を調整可能な画質調整装置が開示されている。

特開２０１８－１２４４９０号公報

しかしながら、上述のような従来技術は、ユーザが特定の測色機器を用いてモニタの発色及び環境光等を評価しつつ調整を行う必要があり煩雑である。また、モニタに表示される対象物の色を調整する場合において、実物の対象物の色との差異が考慮されていないという問題がある。

本発明の一態様は、上記の問題に鑑みてなされたものであり、簡易な構成によって、モニタに表示される画像の色がモニタ間で一様となるように前記画像を補正可能とすることを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、モニタに表示された表示画像であって、色値が既知である領域を含む表示画像と、色値が既知である実物の対象物とを含む撮像画像を取得する取得部と、前記撮像画像に含まれる前記表示画像における前記領域の色と、前記撮像画像に含まれる前記実物の対象物の色との双方に応じて、前記モニタに表示される任意の画像の色を補正するための調整パラメータを算出する色補正部とを備える。

上記の課題を解決するために、本発明の一態様に係る情報処理方法は、モニタに表示された表示画像であって、色値が既知である領域を含む表示画像と、色値が既知である実物の対象物とを含む撮像画像を取得する取得ステップと、前記撮像画像に含まれる前記表示画像における前記領域の色と、前記撮像画像に含まれる前記実物の対象物の色との双方に応じて、前記モニタに表示される任意の画像の色を補正するための調整パラメータを算出する算出ステップとを含む。

本発明の一態様によれば、簡易な構成によって、モニタに表示される画像の色がモニタ間で一様となるように前記画像を補正可能となる。

実施形態１に係る情報処理システムの機能ブロック図である。 撮像部が撮像した撮像画像の一例を示す図である。 第１のモニタ及び第２のモニタのモニタ特性の一例を示す図である。 実施形態１に係る処理の流れを示すフローチャートである。 情報処理システムが、色を補正した画像を表示部の画面に表示するまでの処理を示す概念図である。 実施形態２に係る処理の流れを示すフローチャートである。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。本実施形態においては、モニタに表示される画像の色がモニタ間で一様となるように前記画像を補正可能な情報処理システムについて説明する。

〔１．情報処理システムの構成例〕
本実施形態に係る情報処理システムについて説明する。図１は、本実施形態に係る情報処理システム１の機能ブロック図である。図１に示すように、情報処理システム１は、情報処理装置１０、撮像部（カメラ）２０及び表示部（モニタ）２２を備えている。

情報処理装置１０は、パソコン等として実現される装置であって、制御部１２及び記憶部１８を備えている。

制御部１２は、情報処理装置１０全体を統括する制御装置であって、取得部１４及び色補正部１６を備えている。また、制御部１２は、表示部２２における表示に関する制御を行う。

取得部１４は、撮像部２０が撮像した撮像画像を取得する。例えば取得部１４は、表示部２２に表示された表示画像であって、色を示す色値が既知である領域を含む表示画像と、色値が既知である実物の対象物とを含む撮像画像を取得する。ここで、対象物とは、上述したように色値が既知である物体であって、例えば複数の色見本が印刷された色票（カラーチャート）である。また、表示部２２に表示された表示画像であって、色を示す色値が既知である領域を含む表示画像は、前記対象物の表示画像であってもよい。

図２は、前記撮像画像の一例を示す図である。図２において、撮像画像３０は、撮像部２０が撮像した撮像画像である。表示画像３２は、表示部２２に表示された対象物３４（色票）の表示画像である。表示画像３２の例においては、少なくとも色票を示す領域の色値（例えばRGB値）であって、後述するモニタ特性の影響を受ける前の色値が既知である。撮像画像３０の右下に位置する色票は、実物の対象物３４に相当する色票である。

色補正部１６は、表示部２２に表示される画像の色を補正する。例えば色補正部１６は、撮像画像３０の色であって、表示画像３２における色値が既知である領域の色と、前記撮像画像３０に含まれる実物の対象物３４の色との双方に応じて、表示部２２に表示される任意の画像の色を補正するための情報である調整パラメータを算出する。続いて、色補正部１６は、算出した調整パラメータを用いて前記任意の画像の色を補正する。なお、前記任意の画像には、実物の色値が既知でない物体等の画像が含まれ得る。また、取得部１４が取得した表示画像が対象物３４の表示画像である場合、色補正部１６は、前記表示画像における対象物３４の色を実物の対象物３４の色に近づけるような調整パラメータを算出することが望ましい。ただし多くの場合、前記調整パラメータが適用される画像は、対象物以外の画像である。

また、色補正部１６は、撮像画像の色であって、表示画像における色値が既知である領域の色と、当該撮像画像に含まれる実物の対象物の色とを参照して対照し、表示部２２の発色に関するモニタ特性（発色特性）を算出してもよい。また、前記モニタ特性には、表示部２２上の画像表示における入力階調値と出力階調値との関係を示すガンマ特性が含まれていてもよい。また、モニタ特性は、表示部２２の設定によって変化するものであってもよい。また、色補正部１６は、表示部２２に表示される任意の画像を対象として、前記モニタ特性に対応する色補正を行うための調整パラメータを算出してもよい。

撮像画像３０における表示画像３２の色は、表示画像３２の真の色（例えばRGB値）に対して、撮像部２０の出力画像の色に関するカメラ特性（感度特性）と、環境光と、モニタ特性とが反映された色となっている。対して、撮像画像３０に含まれる対象物３４の色は、対象物３４の真の色に対して、カメラ特性と、環境光とが反映された色となっている。

また、前記カメラ特性には、撮像部２０の画像出力における入力階調値と出力階調値との関係を示すガンマ特性が含まれていてもよい。また、カメラ特性は、撮像部２０の設定によって変化するものであってもよい。

カメラ特性と環境光とが共通するためこれらの画像効果をキャンセルし、色補正部１６がモニタ特性を算出することができる。つまり色補正部１６は、撮像画像３０に含まれる対象物３４の色と、撮像画像３０における表示画像３２の色とを比較することによって、モニタ特性を算出する。

図３のグラフ４０は、第１のモニタにおけるモニタ特性の一例を示しており、グラフ４２は、第２のモニタにおけるモニタ特性の一例を示している。各グラフにおいて、横軸は、入力階調値に対応し、縦軸は、出力階調値に対応する。別の側面から言えば、例えば各グラフの横軸は、撮像画像に含まれる実物の対象物の色に対応し、縦軸は、撮像画像に含まれる表示画像における対象物の色に対応する。

また、図３に例示するように、モニタ特性は、ＲＧＢ（Red, Green, Blue）色空間の色毎に算出され得る。例えばグラフ４０の青色においては、入力階調値２００が出力階調値１００におよそ対応する。なお、モニタ特性は、ＲＧＢ色空間以外の色空間の色毎に算出されてもよい。また、表示画像３２における色値が既知である領域の色、及び対象物３４の色が色空間に広く分布している場合、精度の高い色補正が可能となり、好適である。

また、上述したモニタ特性に対応する色補正とは、例えば、モニタ特性を相殺するガンマ補正等の色補正であって、取得部１４が取得した撮像画像の入力階調値とモニタ特性が反映された出力階調値とをリニアな関係にする色補正を意味している。

別の側面から言えば、上述した調整パラメータは、対象となる画像の色をどのように補正するかを規定する情報であって、例えば、補正前の画像の入力階調値と、補正後の画像の出力階調値との対応関係を色空間の原色毎に示す情報である。

記憶部１８は、各種情報を格納する記憶装置である。記憶部１８は、例えば対象となる色と当該色の元となる原色それぞれの階調値との対応関係を示す情報、並びに、表示画像３２及び対象物３４の既知の色値を示す情報を格納する。前記情報は、色補正部１６がモニタ特性を求める場合等に参照されるものであってもよい。

撮像部２０は、撮像画像を撮像するカメラである。例えば撮像部２０は、表示部２２に表示された対象物３４の表示画像３２と、実物の対象物３４とを単一の撮像画像に含めて撮像する。

表示部２２は、制御部１２による制御に基づいて、動画像又はテキスト等を画面上に表示するモニタである。例えば表示部２２は、対象物３４の表示画像３２を表示する。

なお、情報処理装置１０がスマートフォン又はタブレット等として実現される場合、通常、撮像部２０及び表示部２２は、情報処理装置１０と一体のものとして実現される。また、情報処理装置１０の少なくとも一部の機能が遠隔地のサーバ上において実現され、前記機能がＷｅｂアプリケーション等によって提供される構成であってもよい。前記の構成においては、撮像部２０及び表示部２２、或いは撮像部２０及び表示部２２に関連付けられた装置が、サーバと通信する機能を有する。

〔２．情報処理システムの処理例〕
続いて、情報処理システム１が、表示部２２に表示する画像の色を補正する処理の一例について説明する。図４は、本例における処理の流れを示すフローチャートである。また、図５は、情報処理システム１が、色を補正した画像を表示部２２（第１のモニタ及び第２のモニタ）の画面に表示するまでの処理を示す概念図である。また、以下の例においては、表示部２２が、対象物３４の画像を表示するものとして説明する。

ステップＳ１０１において、表示部２２は、制御部１２による制御に基づいて対象物３４の表示画像３２を画面上に表示する。図５の画像５０は、第１のモニタ及び第２のモニタにおいて表示する対象となる画像の一例である。第１のモニタと第２のモニタとでは、各色に関してモニタ特性が互いに異なるため、各モニタにおいて画像５０は、互いに異なる色合いで表示される。

ステップＳ１０２において、撮像部２０は、表示部２２に表示された対象物３４の表示画像３２と、実物の対象物３４とを単一の撮像画像３０に含めて撮像する。

ステップＳ１０３において、撮像部２０は、撮像画像３０を情報処理装置１０に出力する。また、取得部１４は、当該撮像画像を取得する。また、本ステップＳ１０３における取得部１４の処理は、本開示における取得ステップの一例である。

ステップＳ１０４において、色補正部１６は、撮像画像３０に含まれる表示画像３２における対象物３４の色と、前記撮像画像に含まれる実物の対象物３４の色との双方を参照して、表示部２２のモニタ特性を算出する。上述したように、図３は、第１のモニタ及び第２のモニタのモニタ特性を示している。

ステップＳ１０５において、色補正部１６は、算出したモニタ特性に対応するガンマ補正等の色補正を、任意の画像を対象として行うための調整パラメータを算出する。また、ステップＳ１０４及び本ステップＳ１０５における色補正部１６の処理は、本開示における算出ステップの一例である。

ステップＳ１０６において、色補正部１６は、算出した調整パラメータを用いて、表示部２２に表示される任意の画像の色を補正する。また、本ステップＳ１０６における色補正部１６の処理は、本開示における色補正ステップの一例である。

図５の画像５２は、第１のモニタのモニタ特性に対応する色補正を色補正部１６が行った画像を示しており、画像６２は、第２のモニタのモニタ特性に対応する色補正を色補正部１６が行った画像を示している。各モニタのモニタ特性が互いに異なるため、画像５２と画像６２との色合いは、互いに異なる。上述したように、色補正部１６が調整パラメータを用いて色補正する画像は、対象物３４を含む画像に限定されない。

ステップＳ１０７において、表示部２２は、色補正部１６が色補正を行った画像を画面上に表示する。

図５の画像５４は、第１のモニタにおける表示画像を示しており、画像６４は、第２のモニタにおける表示画像を示している。また、画像５４及び画像６４は、対象物３４に相当する色票と、食品サンプル６０の実物とを対照用に含んでいる。
なお、図５の例においては、色票を対象物３４としているが、色値が既知であれば、例えば主な表示対象である食品サンプル６０自体を対象物としてもよい。画像５４中においては、ステップＳ１０１において画面上に表示された表示画像に相当する表示画像５６と、本ステップＳ１０７において画面上に表示された表示画像に相当する表示画像５８とを、第１のモニタが同一画面上に表示させている。また、画像６４中においても、ステップＳ１０１において画面上に表示された表示画像に相当する表示画像６６と、本ステップＳ１０７において画面上に表示された表示画像に相当する表示画像６８とを第２のモニタが同一画面上に表示させている。

第１のモニタに表示された画像５８と、第２のモニタに表示された画像６８とには、各モニタのモニタ特性を相殺する色補正がそれぞれ色補正部１６によって施されており、画像５８と画像６８との色合いは、互いに非常に近いものとなっている。これは、対象物３４の真の色を基準として、撮像部２０のカメラ特性と環境光とは反映されているが、表示部２２のモニタ特性には依存しない色を各モニタにおいて表示可能となることに由来する。

また、情報処理システム１は、ステップＳ１０７の処理に続いて、Ｓ１０２からの処理を１回以上繰り返して、表示画像の色を更に調整してもよい。

上述したように、情報処理装置１０によって実行される情報処理方法は、取得ステップと、算出ステップとを含む。取得ステップでは、モニタ（表示部２２）に表示された表示画像であって、色値が既知である領域を含む表示画像３２と、実物の対象物３４とを含む撮像画像を取得する。算出ステップでは、撮像画像３０に含まれる表示画像３２における前記領域の色と、撮像画像３０に含まれる実物の対象物３４の色との双方に応じて、モニタに表示される任意の画像の色を補正するための調整パラメータを算出する。本例の構成によれば、モニタ側の表示設定を変更することなく簡易な構成によって、モニタ間で色が一様となるように各モニタに表示される画像の色を補正可能となる。

〔実施形態２〕
本発明の第２の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、重複する説明を繰り返さない。

本実施形態においては各モニタに表示される任意の画像における対象物等について、表示画像の色を実物の色により近づけてモニタ間で一様になるように補正することが可能な情報処理システムについて説明する。

〔１．情報処理システムの構成例〕
本実施形態においても図１の機能ブロック図に示す構成を用いる。ただし、本実施形態に係る取得部１４は、表示部２２の画面に入射する環境光に関する情報を、図示しないセンサ等から取得し、撮像部２０のカメラ特性を示す情報を、撮像部２０又は記憶部１８等から取得する構成である。ここで、環境光に関する情報とは、当該環境光下に存在する物体の見え方に影響を及ぼす環境光の要素を示す情報であって、例えば当該環境光の照度又は色合いを示す情報である。

また、本実施形態に係る色補正部１６は、表示部２２のモニタ特性に加えて、環境光とカメラ特性とのうち少なくとも何れか、又はこれらを区別しない双方の画像効果に応じて、表示部２２に表示される画像の色を補正するための調整パラメータを算出する構成である。

本実施形態において色補正部１６が表示画像の色を補正するための調整パラメータを算出する構成は、特定の構成に限定されない。例えば記憶部１８に画像の各入力階調値、及び環境光と各出力階調値との対応関係を示す情報が格納されており、色補正部１６が前記情報を参照してもよい。通常、例えば色補正部１６は、環境光の照度が比較的高ければ表示画像の輝度を下げる補正を施し、照度が比較的低ければ表示画像の輝度を上げる補正を施す。

また、色補正部１６は、カメラ特性を相殺する色補正であって、例えば、撮像対象となる表示画像の入力階調値と、撮像画像の出力階調値とをリニアな関係にする色補正を、対象となる画像に施すための調整パラメータを算出してもよい。

〔２．情報処理システムの処理例〕
続いて、情報処理システム１が、表示部２２に表示する表示画像の色を補正する処理の一例について説明する。図６は、本例における処理の流れを示すフローチャートである。また、本例においても図５を参照して説明する。ただし、本実施形態において図５に含まれる一部の画像の色合いは、実施形態１において上述したときのものとは、実際には相違する。

ステップＳ１０１～Ｓ１０３においては、実施形態１と同様の処理が実行される。ステップＳ１０３の処理に続いてステップＳ２０３の処理が実行される。

ステップＳ２０３において、取得部１４は、表示部２２の画面に入射する環境光に関する情報を取得する。

ステップＳ２０４において、取得部１４は、撮像部２０のカメラ特性を示す情報を取得する。

ステップＳ１０４において、色補正部１６は、表示部２２のモニタ特性を算出する。本例においても、色補正部１６は、図３に示すモニタ特性であって、第１のモニタ及び第２のモニタのモニタ特性を算出したものとして説明する。

ステップＳ２０５において、色補正部１６は、環境光、撮像部２０のカメラ特性、及び表示部２２のモニタ特性に対応するガンマ補正等の色補正を、任意の画像を対象として行うための調整パラメータを算出する。また、色補正部１６は、環境光、カメラ特性及びモニタ特性のそれぞれに対応する色補正を行うための調整パラメータを別々に算出してもよいし、各補正の順序も特定の順序に限定されない。また、ステップＳ１０４及び本ステップＳ２０５における色補正部１６の処理は、本開示における算出ステップの一例である。

ステップＳ１０６において、色補正部１６は、算出した調整パラメータを用いて、表示部２２に表示される任意の画像の色を補正する。また、本ステップＳ１０６における色補正部１６の処理は、本開示における色補正ステップの一例である。

本例に対応する図５の画像５２は、環境光、撮像部２０のカメラ特性、及び第１のモニタのモニタ特性に対応する補正を色補正部１６が行った画像に対応する。また、画像６２は、環境光、撮像部２０のカメラ特性、及び第２のモニタのモニタ特性に対応する補正を色補正部１６が行った画像に対応する。画像５２と画像６２との色合いは互いに異なる。

ステップＳ１０７において、表示部２２は、色補正部１６が補正を行った画像を画面上に表示する。

本例に対応する図５の画像５８と画像６８との色合いは、双方とも実物の食品サンプル６０と非常に近いものとなっている。これは、表示画像を撮像したときの環境光の影響、撮像部２０のカメラ特性、及び各モニタのモニタ特性が、ステップＳ１０６における色補正部１６による補正によって相殺されており、各モニタにおいて食品サンプル６０の真の色に近い色が表示されているためである。即ち、表示部２２において表示された、真の色に近い食品サンプル６０の表示画像と、実物の食品サンプル６０とが、同一の環境光下に置かれることとなり、各々の色が互いに近いものに見えるのである。

また、情報処理システム１は、ステップＳ１０７の処理に続いて、Ｓ１０２からの処理を１回以上繰り返して、画像の色を更に調整してもよい。

なお、画像の色の補正であって、環境光及びカメラ特性に応じた補正は、撮像部２０において実行される構成であってもよい。前記構成の場合、撮像部２０が、取得部１４及び色補正部１６の一部として機能している。

また、図６のフローチャートに示す処理は、必ずしも本例において上述した順序で実行されることに限定されず、例えばステップＳ２０３の処理とステップＳ２０４の処理との実行される順序が入れ替わってもよい。

また、色補正部１６が環境光とカメラ特性との双方及びモニタ特性に応じて画像の色を補正するための調整パラメータを算出することが望ましいが、必須の構成ではなく、何れか一方とモニタ特性とに応じた調整パラメータを算出する構成であってもよい。

本例の構成によれば、モニタ側の表示設定を変更することなく簡易な構成によって、各モニタに表示される任意の画像における対象物等の色を、実物の色により近づけて、モニタ間で一様に表示することが可能となる。

〔実施形態１及び２の変形例〕
上記実施形態１及び２においては、モニタ（表示部２２）に表示される任意の画像の色を色補正部１６が補正する態様について説明したが、色補正部１６が色補正を行う対象は、前記表示画像に限定されない。

例えば情報処理システム１が、表示部２２に代わり印刷部を備え、色補正部１６が、印刷部によって印刷される印刷画像の色補正を行う構成であってもよい。

つまり広義には、情報処理装置１０は、取得部１４と色補正部１６とを備え、取得部１４は、出力部（印刷部、表示部２２）から出力された出力画像であって、色値が既知である領域を含む出力画像と、実物の対象物３４とを含む撮像画像を取得する構成であってもよい。また、色補正部１６は、前記撮像画像に含まれる出力画像における前記領域の色と、前記撮像画像に含まれる実物の対象物３４の色との双方に応じて、前記出力部から出力される任意の画像の色を補正するための調整パラメータを算出する構成であってもよい。また、印刷部によって印刷される印刷画像、及びモニタに表示される表示画像は、前記出力画像の一例である。

〔ソフトウェアによる実現例〕
情報処理装置１０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１２に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

また、例えば情報処理装置１０がスマートフォン等として実現され、上記プログラムがスマートフォン用等のアプリケーションとして実現される構成でもよい。

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 情報処理システム
１０ 情報処理装置
１２ 制御部
１４ 取得部
１６ 色補正部
１８ 記憶部
２０ 撮像部（カメラ）
２２ 表示部（モニタ、出力部）

Claims (1)

1. モニタに表示された表示画像であって色値が既知である領域を含む表示画像と、色値が既知である実物の対象物と、を含む撮像画像であって、異なるモニタの表示画像をそれぞれ含む複数の撮像画像を取得する取得ステップと、
   前記撮像画像に含まれる前記表示画像における前記領域の色と、前記撮像画像に含まれる前記実物の対象物の色との双方に応じて、前記モニタに表示される任意の画像の色を補正するための調整パラメータを、異なるモニタ毎にそれぞれ算出する算出ステップと
   を含み、
   前記取得ステップにおいて、前記撮像画像を撮像したカメラのカメラ特性を示す情報と、前記モニタの画面に入射する環境光に関する情報と、をさらに取得し、
   前記算出ステップにおいて、
   前記撮像画像に含まれる前記表示画像における前記領域の色と、前記撮像画像に含まれる前記実物の対象物の色と、を参照して前記モニタのモニタ特性を、異なるモニタ毎にそれぞれ算出し、
   前記モニタ特性、前記カメラ特性および前記環境光に関する情報に基づいて、前記モニタに表示される画像の色を補正するための調整パラメータを、異なるモニタ毎にそれぞれ算出する、
   ことを特徴とする情報処理方法。

Images