JP7842749B2 - 情報処理システム及び情報処理方法 - Google Patents

Description

本開示は、機械学習モデルの訓練に用いられるデータセットを作成する技術に関する。

例えば、非特許文献１には、通常カメラで撮像した画像をディスプレイに表示し、ディスプレイに表示された画像をレンズレスカメラで撮像することにより、レンズレスカメラを利用した顔検出モデルを訓練するためのデータセットを作成する手法が記載されている。

しかしながら、ボケ画像を取得するカメラによって撮像された訓練用画像は人間には認識が困難な画像であるため、撮像された訓練用画像に対して正確な正解情報を付与することは困難である。また、正解情報の不正確さは、訓練される機械学習モデルの性能低下につながる。そのため、不正確な正解情報が付与された訓練用画像を含むデータセットを利用して機械学習モデルが訓練されたとしても、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることが困難であった。

Ｊａｓｐｅｒ Ｔａｎ、Ｌｉ Ｎｉｕ、Ｊｅｓｓｅ Ｋ． Ａｄａｍｓ、Ｖｉｖｅｋ Ｂｏｏｍｉｎａｔｈａｎ、Ｊａｃｏｂ Ｔ． Ｒｏｂｉｎｓｏｎ、及びＲｉｃｈａｒｄ Ｇ． Ｂａｒａｎｉｕｋ、「Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ Ｌｅｎｓｌｅｓｓ Ｃａｍｅｒａｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｍａｇｉｎｇ、ｖｏｌ．５、Ｎｏ．２、ｐｐ．１８０－１９４、２０１９年

本開示は、上記の問題を解決するためになされたもので、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる技術を提供することを目的とするものである。

本開示に係る情報処理システムは、機械学習モデルの訓練用画像に対応する第１正解情報を第１記憶部から取得する正解情報取得部と、前記第１正解情報に基づく第１正解画像を表示装置に表示させる正解画像表示制御部と、前記表示装置に表示された前記第１正解画像を、ボケ画像を取得する撮像装置に撮像させて第２正解画像を取得する撮像制御部と、前記第２正解画像に基づいて第２正解情報を生成する生成部と、前記訓練用画像と前記第２正解情報との組を含むデータセットを第２記憶部に記憶する記憶制御部と、を備える。

本開示によれば、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる。

本開示の第１実施形態に係る撮像システムの全体構成の一例を示すブロック図である。 撮像装置の一例であるマルチピンホールカメラの構造を模式的に示す図である。 本開示の第１実施形態に係る撮像制御装置におけるデータセット作成処理について説明するためのフローチャートである。 表示装置に表示される第１訓練用画像の一例を示す図である。 撮像装置と表示装置との距離がＬ１である場合に、図４に示す第１訓練用画像を撮像装置が撮像することによって得られる第２訓練用画像の一例を示す図である。 撮像装置と表示装置との距離がＬ２（Ｌ１＜Ｌ２）である場合に、図４に示す第１訓練用画像を撮像装置が撮像することによって得られる第２訓練用画像の一例を示す図である。 図５に示す第２訓練用画像に対して、図４に示す第１訓練用画像に設定されたバウンディングボックスを重畳した図である。 図６に示す第２訓練用画像に対して、図４に示す第１訓練用画像に設定されたバウンディングボックスを重畳した図である。 第１実施形態において、表示装置に表示される第１正解画像の一例を示す図である。 撮像装置と表示装置との距離がＬ１である場合に、図９に示す第１正解画像を撮像装置が撮像することによって得られる第２正解画像の一例を示す図である。 撮像装置と表示装置との距離がＬ２（Ｌ１＜Ｌ２）である場合に、図９に示す第１正解画像を撮像装置が撮像することによって得られる第２正解画像の一例を示す図である。 図５に示す第２訓練用画像に対して外接バウンディングボックスを重畳させた図である。 、図６に示す第２訓練用画像に対して外接バウンディングボックスを重畳させた図である。 第１実施形態の変形例において、表示装置に表示される第１正解画像の一例を示す図である。 撮像装置と表示装置との距離がＬ１である場合に、図１４に示す第１正解画像を撮像装置が撮像することによって得られる第２正解画像の一例を示す図である。 撮像装置と表示装置との距離がＬ２（Ｌ１＜Ｌ２）である場合に、図１４に示す第１正解画像を撮像装置が撮像することによって得られる第２正解画像の一例を示す図である。 図１５に示す第２バウンディングボックス領域に外接する矩形状の外接バウンディングボックスの一例を示す図である。 図１６に示す第２バウンディングボックス領域に外接する矩形状の外接バウンディングボックスの一例を示す図である。 図５に示す第２訓練用画像に対して、図１７に示す外接バウンディングボックスを重畳させた図である。 図６に示す第２訓練用画像に対して、図１８に示す外接バウンディングボックスを重畳させた図である。 本開示の第２実施形態に係る撮像システムの全体構成の一例を示すブロック図である。 本開示の第２実施形態に係る撮像制御装置におけるデータセット作成処理について説明するためのフローチャートである。 第２実施形態において、表示装置に表示される第１幾何的画像の一例を示す図である。 図２３に示す第１幾何的画像を撮像装置４が撮像することによって得られる第２幾何的画像の一例を示す図である。 表示装置に表示される第１幾何的画像の別の例を示す図である。 第２実施形態における変換テーブルの一例を示す図である。 本第２実施形態における第２正解情報の生成処理を説明するための模式図である。 第２実施形態の第１変形例において、表示装置に表示される第１幾何的画像の一例を示す図である。 図２８に示す第１幾何的画像を撮像装置が撮像することによって得られる第２幾何的画像の一例を示す図である。 第２実施形態の第２変形例において、表示装置に表示される第１水平ラインを含む第１幾何的画像の一例を示す図である。 図３０に示す第１幾何的画像を撮像装置が撮像することによって得られる第２幾何的画像の一例を示す図である。 第２実施形態の第２変形例において、表示装置に表示される第１垂直ラインを含む第１幾何的画像の一例を示す図である。 図３２に示す第１幾何的画像を撮像装置が撮像することによって得られる第２幾何的画像の一例を示す図である。 本第２実施形態の第２変形例における第１正解情報の一例を示す図である。 本第２実施形態の第２変形例における第２正解情報の一例を示す図である。 本開示の第３実施形態にかかる撮像システムの全体構成の一例を示すブロック図である。

（本開示の基礎となった知見）
家庭内又は屋内などにおいて、環境内人物の行動認識又は機器操作者の人物認識など、さまざまな認識技術は重要である。近年、物体認識のために、ディープラーニングと呼ばれる技術が注目されている。ディープラーニングとは、多層構造のニューラルネットワークを用いた機械学習であり、大量の訓練データを利用することで、従来法と比べて、より高精度な認識性能を実現することが可能である。このような物体認識において、画像情報は特に有効である。入力デバイスにカメラを利用し、画像情報を入力としたディープラーニングを行うことによって、従来の物体認識能力を大幅に向上させるさまざまな手法が提案されている。

しかし、家庭内などにカメラを配置することは、ハッキングなどにより撮像画像が外部に漏れた場合、プライバシーが侵害されるという課題があった。したがって、仮に撮像画像が外部に漏れた場合であっても、被写体のプライバシーを保護するための対策が必要である。

例えば、人間による視覚的な認識が困難であるボケのある画像を得るためのカメラとしては、マルチピンホールカメラがある。マルチピンホールカメラによって撮像される画像は、視点の異なる複数の画像が重畳され、又は、レンズを使用しないことで被写体像が合焦しにくい等の影響により、意図的に作り出されたボケによって人間による視覚的な認識が困難な画像である。そのため、特に家庭内又は屋内など、プライバシー保護が必要となる環境における画像認識システムの構築のために、マルチピンホールカメラによって撮像された画像を用いることは好適である。

画像認識システムでは、マルチピンホールカメラによって対象エリアが撮像され、撮像画像が識別器に入力される。これにより、識別器は、訓練済みの識別モデルを用いて、入力された撮像画像に含まれている顔を識別する。このように、マルチピンホールカメラによって対象エリアが撮像されることにより、仮に撮像画像が外部に漏れた場合であっても、撮像画像は人間による視覚的な認識が困難であるため、被写体のプライバシーを保護することができる。

このような識別器を訓練するために、上記の非特許文献１の撮像方法は、通常カメラで撮像した画像をディスプレイに表示し、ディスプレイに表示された画像をレンズレスカメラで撮像することで、訓練用データセットを作成している。上記の画像認識システムの識別タスクは、検出処理ではなく、物体識別又は顔認証などの分類処理である。識別タスクが分類処理である場合、訓練で利用する正解情報は、画像ごとに付与されるので、事前に用意した正解情報が利用可能である。一方、識別タスクが物体検出又は領域分割などの検出処理である場合、検出対象の画像上の位置を示すバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）などの正解情報は、画像ごとではなく画素レベルで付与する必要がある。

しかしながら、マルチピンホールカメラ又はレンズレスカメラで撮像された訓練用画像は人間には認識が困難な画像であるため、撮像された訓練用画像に対して正確な正解情報を付与することは困難である。また、正解情報の不正確さは、訓練される機械学習モデルの性能低下につながる。そのため、不正確な正解情報が付与された訓練用画像を含むデータセットを利用して機械学習モデルが訓練されたとしても、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることが困難であった。

かかる課題を解決すべく、本発明者らは、訓練用データセットを蓄積する段階で、ディスプレイに訓練用画像だけではなく、正解情報に基づく正解画像も表示し、表示された正解画像を撮像することにより得られた画像に基づいて正解情報を生成する情報処理方法を発案した。これにより、正確な正解情報を取得することができ、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができるとの知見を得て、本開示を想到するに至った。

以上の課題を解決するために、本開示の一態様に係る情報処理システムは、機械学習モデルの訓練用画像に対応する第１正解情報を第１記憶部から取得する正解情報取得部と、前記第１正解情報に基づく第１正解画像を表示装置に表示させる正解画像表示制御部と、前記表示装置に表示された前記第１正解画像を、ボケ画像を取得する撮像装置に撮像させて第２正解画像を取得する撮像制御部と、前記第２正解画像に基づいて第２正解情報を生成する生成部と、前記訓練用画像と前記第２正解情報との組を含むデータセットを第２記憶部に記憶する記憶制御部と、を備える。

この構成によれば、機械学習モデルの訓練用画像に対応する第１正解情報に基づく第１正解画像が表示装置に表示される。そして、表示装置に表示された第１正解画像を、ボケ画像を取得する撮像装置に撮像させて第２正解画像が取得される。取得された第２正解画像に基づいて第２正解情報が生成される。そして、訓練用画像と第２正解情報との組を含むデータセットが第２記憶部に記憶される。

したがって、撮像装置のボケ度合いに応じた正確な第２正解情報を生成し、訓練用画像と第２正解情報との組を含むデータセットを蓄積することができるので、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記第１正解画像は、前記第１正解情報の画像上の位置を示すオブジェクトを含んでもよい。

この構成によれば、第１正解画像は、第１正解情報の画像上の位置を示すオブジェクトを含み、オブジェクトにより検出対象の物体の画像上の位置を特定することができるので、正確な第２正解情報を生成することができ、物体検出を行う機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記オブジェクトは枠であり、前記撮像制御部は、複数の枠を重畳させた前記第２正解画像を取得し、前記生成部は、前記第２正解画像における前記複数の枠それぞれの輝度又は位置に基づいて、前記複数の枠の中から１つの枠を選択し、選択した前記１つの枠が表現する正解情報を前記第２正解情報として生成してもよい。

この構成によれば、重畳された複数の枠それぞれの輝度又は位置に基づいて選択された１つの枠により検出対象の物体の画像上の位置を特定することができるので、正確な第２正解情報を生成することができ、物体検出を行う機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記オブジェクトは枠であり、前記撮像制御部は、複数の枠を重畳させた前記第２正解画像を取得し、前記生成部は、前記第２正解画像から前記複数の枠に外接する外接枠を特定し、特定した前記外接枠が表現する正解情報を前記第２正解情報として生成してもよい。

この構成によれば、重畳された複数の枠に外接する外接枠により検出対象の物体の画像上の位置を特定することができるので、正確な第２正解情報を生成することができ、物体検出を行う機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記オブジェクトは枠であり、前記撮像制御部は、複数の枠を重畳させた前記第２正解画像を取得し、前記生成部は、前記第２正解画像から前記複数の枠に外接する外接枠を特定し、特定した前記外接枠における中心を画像上の基準位置として決定し、決定した前記基準位置を中心とし前記枠と同一サイズの枠が表現する正解情報を前記第２正解情報として生成してもよい。

この構成によれば、重畳された複数の枠に外接する外接枠が特定され、特定された外接枠における中心が画像上の基準位置として決定され、決定された基準位置を中心とし枠と同一サイズの枠により検出対象の物体の画像上の位置を特定することができるので、正確な第２正解情報を生成することができ、物体検出を行う機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記オブジェクトは第１領域であり、前記撮像制御部は、複数の第１領域を重畳させた前記第２正解画像を取得し、前記生成部は、前記第２正解画像から前記複数の第１領域が重畳された第２領域における輝度に基づいて画像上の基準位置を決定し、決定した前記基準位置を中心とし前記第１領域と同一サイズの領域が表現する正解情報を前記第２正解情報として生成してもよい。

この構成によれば、複数の第１領域が重畳された第２領域における輝度に基づいて画像上の基準位置が決定され、決定された基準位置を中心とし第１領域と同一サイズの領域により検出対象の物体の画像上の位置を特定することができるので、正確な第２正解情報を生成することができ、物体検出を行う機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記オブジェクトは第１領域であり、前記撮像制御部は、複数の第１領域を重畳させた前記第２正解画像を取得し、前記生成部は、前記第２正解画像から前記複数の第１領域が重畳された第２領域に外接する外接枠を特定し、特定した前記外接枠が表現する正解情報を前記第２正解情報として生成してもよい。

この構成によれば、複数の第１領域が重畳された第２領域に外接する外接枠により検出対象の物体の画像上の位置を特定することができるので、正確な第２正解情報を生成することができ、物体検出を行う機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記オブジェクトは第１領域であり、前記撮像制御部は、複数の第１領域を重畳させた前記第２正解画像を取得し、前記生成部は、前記第２正解画像から前記複数の第１領域が重畳された第２領域に外接する外接枠を特定し、特定した前記外接枠における中心を画像上の基準位置として決定し、決定した前記基準位置を中心とし前記第１領域と同一サイズの領域が表現する正解情報を前記第２正解情報として生成してもよい。

この構成によれば、複数の第１領域が重畳された第２領域に外接する外接枠が特定され、特定された外接枠における中心が画像上の基準位置として決定され、決定された基準位置を中心とし第１領域と同一サイズの領域により検出対象の物体の画像上の位置を特定することができるので、正確な第２正解情報を生成することができ、物体検出を行う機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記生成部は、前記第２正解画像から複数のオブジェクトを包含する領域を特定し、特定した前記領域が表現する正解情報を前記第２正解情報として生成してもよい。

この構成によれば、第２正解画像から複数のオブジェクトを包含する領域により検出対象の物体の画像上の位置を特定することができるので、正確な第２正解情報を生成することができ、物体検出を行う機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記第１記憶部に記憶されている前記訓練用画像は、前記撮像装置とは異なる撮像装置によって取得されたボケのない第１訓練用画像であり、前記第１訓練用画像を前記第１記憶部から取得する画像取得部と、前記第１訓練用画像を前記表示装置に表示させる訓練用画像表示制御部と、をさらに備え、前記撮像制御部は、前記表示装置に表示された前記第１訓練用画像を前記撮像装置に撮像させて第２訓練用画像を取得し、前記記憶制御部は、前記第２訓練用画像と前記第２正解情報との組を含むデータセットを前記第２記憶部に記憶してもよい。

この構成によれば、撮像装置のボケ度合いに応じた第２訓練用画像と、撮像装置のボケ度合いに応じた正確な第２正解情報との組を含むデータセットを蓄積することができる。

また、上記の情報処理システムにおいて、前記第２記憶部に記憶された前記訓練用画像と前記第２正解情報との組を含むデータセットを利用して、前記機械学習モデルを訓練する訓練部をさらに備えてもよい。

この構成によれば、第２記憶部に記憶された第２訓練用画像と第２正解情報との組を含むデータセットを利用して、機械学習モデルが訓練されるので、被写体との距離に応じたボケ度合いの撮像画像から被写体を認識するための機械学習モデルの認識能力を向上させることができる。

また、本開示は、以上のような特徴的な構成を備える情報処理システムとして実現することができるだけでなく、情報処理システムが備える特徴的な構成に対応する特徴的な処理を実行する情報処理方法などとして実現することもできる。したがって、以下の他の態様でも、上記の情報処理システムと同様の効果を奏することができる。

本開示の他の態様に係る情報処理方法は、コンピュータが、機械学習モデルの訓練用画像に対応する第１正解情報を第１記憶部から取得し、前記第１正解情報に基づく第１正解画像を表示装置に表示させ、前記表示装置に表示された前記第１正解画像を、ボケ画像を取得する撮像装置に撮像させて第２正解画像を取得し、前記第２正解画像に基づいて第２正解情報を生成し、前記訓練用画像と前記第２正解情報との組を含むデータセットを第２記憶部に記憶する。

本開示の他の態様に係る情報処理システムは、機械学習モデルの訓練用画像に対応する第１正解情報を第１記憶部から取得する取得部と、第１幾何的画像を表示装置に表示させる幾何的画像表示制御部と、前記表示装置に表示された前記第１幾何的画像を、ボケ画像を取得する撮像装置に撮像させて第２幾何的画像を取得する撮像制御部と、前記第１幾何的画像の位置を前記第２幾何的画像の位置に変換するための変換テーブルを生成する変換テーブル生成部と、前記変換テーブルを用いて、前記第１正解情報を第２正解情報に変換する変換部と、前記訓練用画像と前記第２正解情報との組を含むデータセットを第２記憶部に記憶する記憶制御部と、を備える。

この構成によれば、表示装置に表示された第１幾何的画像を、ボケ画像を取得する撮像装置に撮像させて第２幾何的画像が取得される。第１幾何的画像の位置を第２幾何的画像の位置に変換するための変換テーブルが生成される。そして、変換テーブルを用いて、機械学習モデルの訓練用画像に対応する第１正解情報が第２正解情報に変換され、訓練用画像と第２正解情報との組を含むデータセットが第２記憶部に記憶される。

したがって、撮像装置のボケ度合いに応じた正確な第２正解情報を生成し、訓練用画像と第２正解情報との組を含むデータセットを蓄積することができるので、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる。

また、上記の情報処理システムにおいて、前記第１幾何的画像は、画像上の所定の位置に配置される第１ドットを含み、前記変換テーブル生成部は、前記第２幾何的画像から複数の第２ドットの位置を特定し、前記第１ドットの位置を、特定した前記複数の第２ドットの位置に変換するための変換テーブルを生成してもよい。

この構成によれば、第１幾何的画像は、画像上の所定の位置に配置される第１ドットを含む。第２幾何的画像から複数の第２ドットの位置が特定され、第１ドットの位置を、特定された複数の第２ドットの位置に変換するための変換テーブルが生成される。変換テーブルにより、例えば、第１正解情報で表される枠の位置が、撮像装置のボケ度合いに応じた枠の位置に変換され、変換された枠の位置が第２正解情報として生成される。したがって、撮像装置のボケ度合いに応じた正確な第２正解情報を生成することができる。

また、上記の情報処理システムにおいて、前記第１幾何的画像は、画像上の所定の位置に配置される第１水平ライン及び第１垂直ラインを含み、前記変換テーブル生成部は、前記第２幾何的画像から複数の第２水平ライン及び複数の第２垂直ラインの位置を特定し、前記第１水平ラインの位置を、特定した前記複数の第２水平ラインの位置に変換するとともに、前記第１垂直ラインの位置を、特定した前記複数の第２垂直ラインの位置に変換するための変換テーブルを生成してもよい。

この構成によれば、第１幾何的画像は、画像上の所定の位置に配置される第１水平ライン及び第１垂直ラインを含む。第２幾何的画像から複数の第２水平ライン及び複数の第２垂直ラインの位置が特定され、第１水平ラインの位置を、特定された複数の第２水平ラインの位置に変換するとともに、第１垂直ラインの位置を、特定された複数の第２垂直ラインの位置に変換するための変換テーブルが生成される。変換テーブルにより、例えば、第１正解情報で表される枠の位置が、撮像装置のボケ度合いに応じた枠の位置に変換され、変換された枠の位置が第２正解情報として生成される。したがって、撮像装置のボケ度合いに応じた正確な第２正解情報を生成することができる。

以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。

（第１実施形態）
図１は、本開示の第１実施形態に係る撮像システム１の全体構成の一例を示すブロック図である。

撮像システム１は、撮像制御装置２、表示装置３及び撮像装置４を備える。

表示装置３は、例えば、液晶表示装置又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置である。表示装置３は、撮像制御装置２によって制御され、撮像制御装置２から出力された画像を表示する。なお、表示装置３は、スクリーンに画像を投影するプロジェクタであってもよい。

撮像装置４は、例えば、レンズレスカメラ、符号化開口カメラ（Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ Ｃａｍｅｒａ）、マルチピンホールカメラ、レンズレスマルチピンホールカメラ、又はライトフィールドカメラなどの計算撮像カメラである。撮像装置４は、撮像によりボケ画像を取得する。

撮像装置４は、表示装置３の表示画面を撮像可能な位置に配置されている。本第１実施形態における撮像装置４は、複数のピンホールが形成されたマスクパターンを有するマスクが撮像素子の受光面を覆うように配置されたレンズレスマルチピンホールカメラである。言い換えると、マスクパターンは、被写体と受光面との間に配置されるともいえる。

撮像装置４は、ボケのない通常の画像を撮像する通常のカメラと異なり、ボケのある画像である計算撮像画像を撮像する。計算撮像画像は、意図的に作り出されたボケによって撮像画像自体を人が見ても被写体を認識できない画像である。

図２は、撮像装置４の一例であるマルチピンホールカメラ２００の構造を模式的に示す図である。図２は、マルチピンホールカメラ２００を上から見た図である。

図２に示すマルチピンホールカメラ２００は、マルチピンホールマスク２０１と、ＣＭＯＳなどのイメージセンサ２０２とを有する。マルチピンホールカメラ２００は、レンズを有していない。マルチピンホールマスク２０１は、イメージセンサ２０２の受光面から一定距離離れて配置されている。マルチピンホールマスク２０１は、ランダム又は等間隔に配置された複数のピンホール２０１１，２０１２を有している。複数のピンホール２０１１，２０１２は、マルチピンホールとも呼ばれる。イメージセンサ２０２は、各ピンホール２０１１，２０１２を通じて表示装置３に表示された画像を撮像した撮像画像を取得する。ピンホールを通じて取得される画像は、ピンホール画像とも呼ばれる。

各ピンホール２０１１，２０１２の位置及び大きさによって被写体のピンホール画像は異なる。そのため、イメージセンサ２０２は、複数のピンホール画像がわずかにずれて重なり合った状態（多重像）の重畳画像を取得する。複数のピンホール２０１１，２０１２の位置関係は、イメージセンサ２０２上に投影される複数のピンホール画像の位置関係（つまり多重像の重畳の度合い）に影響を与える。ピンホール２０１１，２０１２の大きさは、ピンホール画像のボケの度合いに影響を与える。

マルチピンホールマスク２０１が用いられることによって、位置及びボケの程度が異なる複数のピンホール画像を重畳して取得することが可能である。つまり、意図的に多重像及びボケが作り出された計算撮像画像を取得することが可能である。そのため、撮像画像は多重像かつボケ画像となり、これらのボケによって被写体のプライバシーが保護された画像を取得することができる。

また、ピンホールの数、ピンホールの位置、及びピンホールの大きさが変更されることで、ボケ方の異なる画像が取得可能となる。つまり、マルチピンホールマスク２０１は、ユーザによって容易に脱着できる構造であってもよい。マスクパターンが異なる複数種類のマルチピンホールマスク２０１が予め用意されていてもよい。マルチピンホールマスク２０１は、画像認識時に使用されるマルチピンホールカメラのマスクパターンに応じて、ユーザによって自由に交換されてもよい。

なお、このようなマルチピンホールマスク２０１の変更は、マルチピンホールマスク２０１の交換以外にも、以下の様々な方法で実現可能である。例えば、マルチピンホールマスク２０１は、イメージセンサ２０２の前に回動自在に取り付けられていてもよく、ユーザによって任意に回転されてもよい。また、例えば、マルチピンホールマスク２０１は、イメージセンサ２０２の前に取り付けられている板の任意の箇所に、ユーザによって穴が開けられることにより、作成されてもよい。また、例えば、マルチピンホールマスク２０１は、空間光変調器などを利用した液晶マスクであってもよい。マルチピンホールマスク２０１内の各位置の透過率が任意に設定されることにより、所定の数のピンホールが所定の位置に形成されてもよい。さらに、例えば、マルチピンホールマスク２０１は、ゴムなどの伸縮可能な材質を用いて成形されてもよい。ユーザは、外力の印加によってマルチピンホールマスク２０１を物理的に変形させ、ピンホールの位置及び大きさを変えてもよい。

なお、マルチピンホールカメラ２００は、訓練済みの機械学習モデルを用いた画像認識時においても用いられる。マルチピンホールカメラ２００によって撮像された画像は、訓練データとして収集される。収集された訓練データは、機械学習モデルの訓練に用いられる。

また、図２では、２つのピンホール２０１１，２０１２が水平方向に並んで配置されているが、本開示は特にこれに限定されず、マルチピンホールカメラ２００は、３つ以上のピンホールを備えてもよい。また、２つのピンホール２０１１，２０１２は、垂直方向に並んで配置されてもよい。

撮像制御装置２は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びハードディスクなどから構成される。ＲＡＭ、ＲＯＭ又はハードディスクは、コンピュータプログラムを記憶しており、マイクロプロセッサがコンピュータプログラムに従って動作することにより、撮像制御装置２の機能が実現される。

撮像制御装置２は、第１記憶部２１、第２記憶部２２、画像取得部２３、訓練用画像表示制御部２４、正解情報取得部２５、正解画像表示制御部２６、撮像制御部２７、正解情報生成部２８及び記憶制御部２９を備える。

第１記憶部２１は、機械学習モデルの第１訓練用画像と第１訓練用画像に対応する第１正解情報とを記憶する。第１記憶部２１は、通常カメラで撮像された複数の第１訓練用画像と、複数の第１訓練用画像それぞれに対応する第１正解情報（アノテーション情報）とを記憶する。第１訓練用画像は、機械学習モデルの認識対象である被写体を含む画像である。第１訓練用画像は、撮像装置４とは異なる撮像装置によって取得されたボケのない画像である。

第１正解情報は、識別タスクごとに異なる。例えば、識別タスクが物体検出であれば、第１正解情報は、検出対象が画像上に占める領域を表すバウンディングボックスである。また、例えば、識別タスクが物体識別であれば、第１正解情報は、分類結果である。また、例えば、識別タスクが画像の領域分割であれば、第１正解情報は、画素ごとの領域情報である。第１記憶部２１に記憶されている第１訓練用画像及び第１正解情報は、通常カメラを利用した識別器の機械学習において利用する情報と同じである。

画像取得部２３は、機械学習モデルの第１訓練用画像を第１記憶部２１から取得する。画像取得部２３は、第１記憶部２１から取得した第１訓練用画像を訓練用画像表示制御部２４へ出力する。

訓練用画像表示制御部２４は、第１訓練用画像を表示装置３に表示させる。表示装置３は、訓練用画像表示制御部２４からの指示に従い、第１訓練用画像を表示する。

正解情報取得部２５は、機械学習モデルの第１訓練用画像（訓練用画像）に対応する第１正解情報を第１記憶部２１から取得する。正解情報取得部２５は、画像取得部２３によって取得された第１訓練用画像に対応する第１正解情報を取得する。正解情報取得部２５は、第１記憶部２１から取得した第１正解情報を正解画像表示制御部２６へ出力する。

正解画像表示制御部２６は、第１正解情報に基づく第１正解画像を表示装置３に表示させる。表示装置３は、正解画像表示制御部２６からの指示に従い、第１正解画像を表示する。

第１正解画像は、第１正解情報の画像上の位置を示すオブジェクトを含む。例えば、オブジェクトは、検出対象である物体を含む枠である。枠は矩形状であり、バウンディングボックスとも呼ばれる。第１正解情報は、バウンディングボックスの画像上の位置情報を含む。すなわち、第１正解情報は、バウンディングボックスの左上頂点のｘ座標、バウンディングボックスの左上頂点のｙ座標、バウンディングボックスの幅及びバウンディングボックスの高さを含む。なお、位置情報は、上記に限定されず、バウンディングボックスの画像上の位置を特定することが可能な情報であればよい。また、第１正解情報は、バウンディングボックスの位置情報だけでなく、バウンディングボックス内の検出対象の物体の名称（クラス名）を含んでもよい。

撮像制御部２７は、表示装置３に表示された第１訓練用画像を撮像装置４に撮像させて第２訓練用画像を取得する。第１訓練用画像が表示装置３に表示されると、撮像制御部２７は、第１訓練用画像を撮像装置４に撮像させて第２訓練用画像を取得する。撮像制御部２７は、取得した第２訓練用画像を記憶制御部２９へ出力する。

また、撮像制御部２７は、表示装置３に表示された第１正解画像を撮像装置４に撮像させて第２正解画像を取得する。第１正解画像が表示装置３に表示されると、撮像制御部２７は、第１正解画像を撮像装置４に撮像させて第２正解画像を取得する。撮像制御部２７は、複数のバウンディングボックス（枠）を重畳させた第２正解画像を取得する。撮像制御部２７は、取得した第２正解画像を正解情報生成部２８へ出力する。

正解情報生成部２８は、撮像制御部２７によって取得された第２正解画像に基づいて第２正解情報を生成する。正解情報生成部２８は、第２正解画像から複数のバウンディングボックス（枠）に外接する外接バウンディングボックスを特定し、特定した外接バウンディングボックスが表現する正解情報を第２正解情報として生成する。

記憶制御部２９は、訓練用画像と第２正解情報との組を含むデータセットを第２記憶部２２に記憶する。記憶制御部２９は、撮像装置４の撮像により得られた第２訓練用画像と、正解情報生成部２８によって生成された第２正解情報との組を含むデータセットを第２記憶部２２に記憶する。

第２記憶部２２は、第２訓練用画像と正解情報との組を含むデータセットを記憶する。

続いて、本開示の第１実施形態に係る撮像制御装置２におけるデータセット作成処理について説明する。

図３は、本開示の第１実施形態に係る撮像制御装置２におけるデータセット作成処理について説明するためのフローチャートである。

まず、画像取得部２３は、第１訓練用画像を第１記憶部２１から取得する（ステップＳ１０１）。画像取得部２３は、第１記憶部２１に記憶されている複数の第１訓練用画像の中から、撮像されていない第１訓練用画像を取得する。

次に、訓練用画像表示制御部２４は、画像取得部２３によって取得された第１訓練用画像を表示装置３に表示させる（ステップＳ１０２）。訓練用画像表示制御部２４は、第１訓練用画像の表示位置及び表示サイズを表示装置３に指示する。この際、訓練用画像表示制御部２４は、撮像装置４によって取得される画像が、第１訓練用画像と同じサイズになるように、第１訓練用画像の表示位置及び表示サイズを表示装置３に指示する。

次に、撮像制御部２７は、表示装置３に表示された第１訓練用画像を撮像装置４に撮像させて第２訓練用画像を取得する（ステップＳ１０３）。撮像装置４は、表示装置３が視野に入るように撮像する。

次に、正解情報取得部２５は、表示された第１訓練用画像に対応する第１正解情報を第１記憶部２１から取得する（ステップＳ１０４）。

次に、正解画像表示制御部２６は、正解情報取得部２５によって取得された第１正解情報に基づく第１正解画像を表示装置３に表示させる（ステップＳ１０５）。このとき、バウンディングボックスの位置が第１訓練用画像と同じ座標系で表される場合、正解画像表示制御部２６は、第１訓練用画像上のバウンディングボックスと同じ位置にバウンディングボックスを描画した第１正解画像を表示装置３に表示すればよい。第１正解画像を表示させる処理の詳細は後述する。

なお、本第１実施形態では、第１訓練用画像及び第１正解画像は、同一の表示装置３に表示されるが、本開示は特にこれに限定されず、第１訓練用画像及び第１正解画像は、互いに異なる表示装置に表示されてもよい。

次に、撮像制御部２７は、表示装置３に表示された第１正解画像を撮像装置４に撮像させて第２正解画像を取得する（ステップＳ１０６）。撮像装置４は、表示装置３が視野に入るように撮像する。

次に、正解情報生成部２８は、撮像制御部２７によって取得された第２正解画像に基づいて第２正解情報を生成する（ステップＳ１０７）。

撮像装置４は、ステップＳ１０３で取得されたボケのある第２訓練用画像に対する第２正解画像を取得することができる。撮像装置４がマルチピンホールカメラである場合、一つの被写体は、マルチピンホールマスク２０１を通すことで多重像として撮像される。この多重像のズレ量である視差は、被写体と撮像装置４との距離に依存して変化する。

ここで、図４～図６を用いて、マルチピンホールカメラにおける距離に依存した視差について説明する。

図４は、表示装置３に表示される第１訓練用画像の一例を示す図であり、図５は、撮像装置４と表示装置３との距離がＬ１である場合に、図４に示す第１訓練用画像を撮像装置４が撮像することによって得られる第２訓練用画像の一例を示す図であり、図６は、撮像装置４と表示装置３との距離がＬ２（Ｌ１＜Ｌ２）である場合に、図４に示す第１訓練用画像を撮像装置４が撮像することによって得られる第２訓練用画像の一例を示す図である。

図４に示す第１訓練用画像５１には、人物３０１及びテレビ３０２が映っている。また、検出対象である人物３０１に対してバウンディングボックス３２１が設定されている。バウンディングボックス３２１は、表示装置３に表示される第１訓練用画像５１に含まれない。

図５に示す第２訓練用画像５２は、撮像装置４と表示装置３との距離がＬ１である場合に、２つのピンホール２０１１，２０１２を有する撮像装置４が図４に示す第１訓練用画像５１を撮像することによって得られる。また、図６に示す第２訓練用画像５３は、撮像装置４と表示装置３との距離がＬ２である場合に、２つのピンホール２０１１，２０１２を有する撮像装置４が図４に示す第１訓練用画像５１を撮像することによって得られる。ただし、Ｌ１は、Ｌ２より短い。

図５に示す第２訓練用画像５２において、人物３０３は、光軸上にあるピンホール２０１１を通過して撮像された第１訓練用画像５１上の人物３０１であり、テレビ３０４は、光軸上にあるピンホール２０１１を通過して撮像された第１訓練用画像５１上のテレビ３０２であり、人物３０５は、光軸上にないピンホール２０１２を通過して撮像された第１訓練用画像５１上の人物３０１であり、テレビ３０６は、光軸上にないピンホール２０１２を通過して撮像された第１訓練用画像５１上のテレビ３０２である。

また、図６に示す第２訓練用画像５３において、人物３０７は、光軸上にあるピンホール２０１１を通過して撮像された第１訓練用画像５１上の人物３０１であり、テレビ３０８は、光軸上にあるピンホール２０１１を通過して撮像された第１訓練用画像５１上のテレビ３０２であり、人物３０９は、光軸上にないピンホール２０１２を通過して撮像された第１訓練用画像５１上の人物３０１であり、テレビ３１０は、光軸上にないピンホール２０１２を通過して撮像された第１訓練用画像５１上のテレビ３０２である。

このように、マルチピンホールカメラである撮像装置４から得られる第２訓練用画像は、複数の被写体像が重畳された画像となる。光軸上にあるピンホール２０１１を通過して撮像された人物３０３，３０７及びテレビ３０４，３０８の撮像画像上の位置及び大きさは変化しない。一方、光軸上にないピンホール２０１２を通過して撮像された人物３０５，３０９及びテレビ３０６，３１０の撮像画像上の位置は、被写体と撮像装置４との距離に応じて変化する。被写体と撮像装置４との距離が離れるほど、視差量は小さくなる。つまり、撮像装置４と表示装置３との距離が変化した場合、視差量が変化した第２訓練用画像が得られる。

図７は、図５に示す第２訓練用画像５２に対して、図４に示す第１訓練用画像５１に設定されたバウンディングボックス３２１を重畳した図であり、図８は、図６に示す第２訓練用画像５３に対して、図４に示す第１訓練用画像５１に設定されたバウンディングボックス３２１を重畳した図である。

図７に示すバウンディングボックス３２２及び図８に示すバウンディングボックス３２３は、図４に示す第１訓練用画像５１に設定されたバウンディングボックス３２１と同じ位置に重畳されている。バウンディングボックス３２２及びバウンディングボックス３２３は、光軸上にあるピンホール２０１１を通過して撮像された人物３０３及び人物３０７を含んでいる。そのため、バウンディングボックス３２２は、第２訓練用画像５２の人物３０３の正解情報であり、バウンディングボックス３２３は、第２訓練用画像５３の人物３０７の正解情報となっている。

一方、バウンディングボックス３２２及びバウンディングボックス３２３は、光軸上にないピンホール２０１２を通過して撮像された人物３０５及び人物３０９を含んでいない。そのため、バウンディングボックス３２２及びバウンディングボックス３２３は、視差の影響により、人物３０３及び人物３０７の正解情報になっていないことがわかる。

図９は、第１実施形態において、表示装置３に表示される第１正解画像の一例を示す図である。また、図１０は、撮像装置４と表示装置３との距離がＬ１である場合に、図９に示す第１正解画像を撮像装置４が撮像することによって得られる第２正解画像の一例を示す図であり、図１１は、撮像装置４と表示装置３との距離がＬ２（Ｌ１＜Ｌ２）である場合に、図９に示す第１正解画像を撮像装置４が撮像することによって得られる第２正解画像の一例を示す図である。

図９に示す第１正解画像６１は、オブジェクトの一例であるバウンディングボックス３３１を含む。バウンディングボックス３３１は、図４に示す第１訓練用画像５１の人物３０１を検出対象として囲む矩形状の枠である。バウンディングボックス３３１は、表示装置３に表示された第１訓練用画像５１と同じサイズの第１正解画像６１上に表示される。

また、図１０に示す第２正解画像６２において、バウンディングボックス３３２は、光軸上にあるピンホール２０１１を通過して撮像されたバウンディングボックス３３１であり、バウンディングボックス３３３は、光軸上にないピンホール２０１２を通過して撮像されたバウンディングボックス３３１である。

また、図１１に示す第２正解画像６３において、バウンディングボックス３３４は、光軸上にあるピンホール２０１１を通過して撮像されたバウンディングボックス３３１であり、バウンディングボックス３３５は、光軸上にないピンホール２０１２を通過して撮像されたバウンディングボックス３３１である。

このように、マルチピンホールカメラである撮像装置４から得られる第２正解画像６２，６３は、複数の像（バウンディングボックス）が重畳された画像となる。光軸上にあるピンホール２０１１を通過して撮像されたバウンディングボックス３３２，３３４の第２正解画像上の位置及び大きさは変化しない。一方、光軸上にないピンホール２０１２を通過して撮像されたバウンディングボックス３３３，３３５の第２正解画像上の位置は、被写体と撮像装置４との距離に応じて変化する。被写体と撮像装置４との距離が離れるほど、視差量は小さくなる。つまり、撮像装置４と表示装置３との距離が変化した場合、視差量が変化したバウンディングボックスが得られる。

正解情報生成部２８は、取得された第２正解画像に対して、輝度による２値化処理、エッジ検出処理、又はフィルタリング処理を実行することで、第２正解画像から複数のバウンディングボックスの境界を検出する。そして、正解情報生成部２８は、第２正解画像における複数のバウンディングボックスに外接する矩形状の外接バウンディングボックスを特定し、特定した外接バウンディングボックスが表現する正解情報を第２正解情報として生成する。なお、正解情報生成部２８は、第２正解画像における複数のバウンディングボックスに内接する矩形状の内接バウンディングボックスを特定し、特定した内接バウンディングボックスが表現する正解情報を第２正解情報として生成してもよい。

続いて、図１２及び図１３を用いて、複数のバウンディングボックスに外接する矩形状の外接バウンディングボックスについて説明する。

図１２は、図５に示す第２訓練用画像５２に対して外接バウンディングボックス３３６を重畳させた図であり、図１３は、図６に示す第２訓練用画像に対して外接バウンディングボックス３３７を重畳させた図である。

図１２に示す外接バウンディングボックス３３６は、図１０に示す２つのバウンディングボックス３３２，３３３に外接する枠であり、図１３に示す外接バウンディングボックス３３７は、図１１に示す２つのバウンディングボックス３３４，３３５に外接する枠である。

正解情報生成部２８は、複数のバウンディングボックス３３２，３３３に外接する矩形状の外接バウンディングボックス３３６を特定する。外接バウンディングボックス３３６は、光軸上にあるピンホール２０１１を通過して撮像された人物３０３と、光軸上にないピンホール２０１２を通過して撮像された人物３０５とを含む正解情報である。正解情報生成部２８は、特定した外接バウンディングボックス３３６が表現する正解情報を第２正解情報として生成する。

また、正解情報生成部２８は、複数のバウンディングボックス３３４，３３５に外接する矩形状の外接バウンディングボックス３３７を特定する。外接バウンディングボックス３３７は、光軸上にあるピンホール２０１１を通過して撮像された人物３０７と、光軸上にないピンホール２０１２を通過して撮像された人物３０９とを含む正解情報である。正解情報生成部２８は、特定した外接バウンディングボックス３３７が表現する正解情報を第２正解情報として生成する。

このように、本第１実施形態の撮像システム１は、撮像装置４によって撮像された第２訓練用画像及び第２正解画像を取得し、第２正解画像に基づいて第２訓練用画像に対応する第２正解情報を生成することにより、視差に合わせた第２正解情報を取得することができる。したがって、より正確なデータセットを構築することができ、機械学習モデルの認識精度を向上させることができる。

図３に戻って、次に、記憶制御部２９は、撮像装置４によって取得された第２訓練用画像と、正解情報生成部２８によって生成された第２正解情報との組を含むデータセットを第２記憶部２２に記憶する（ステップＳ１０８）。これにより、第２記憶部２２には、撮像装置４によって取得された第２訓練用画像と、その正解情報との組を含むデータセットが記憶される。

次に、画像取得部２３は、第１記憶部２１に記憶されている全ての第１訓練用画像を撮像装置４が撮像したか否かを判断する（ステップＳ１０９）。ここで、全ての第１訓練用画像を撮像装置４が撮像していないと判断された場合（ステップＳ１０９でＮＯ）、ステップＳ１０１に処理が戻り、画像取得部２３は、第１記憶部２１に記憶されている複数の第１訓練用画像の中から、撮像されていない第１訓練用画像を取得する。そして、訓練用画像表示制御部２４は、第１訓練用画像を表示装置３に表示させ、撮像制御部２７は、表示された第１訓練用画像を撮像装置４に撮像させる。また、正解情報取得部２５は、第１訓練用画像に対応する第１正解情報を取得する。そして、正解画像表示制御部２６は、第１正解情報に基づく第１正解画像を表示装置３に表示させ、撮像制御部２７は、表示された第１正解画像を撮像装置４に撮像させる。

一方、全ての第１訓練用画像を撮像装置４が撮像したと判断された場合（ステップＳ１０９でＹＥＳ）、処理が終了する。

なお、本第１実施形態では、正解情報生成部２８は、第２正解画像から複数のバウンディングボックスに外接する外接バウンディングボックスを特定し、特定した外接バウンディングボックスが表現する正解情報を第２正解情報として生成しているが、本開示は特にこれに限定されない。正解情報生成部２８は、第２正解画像から複数のバウンディングボックス（枠）における複数のバウンディングボックスそれぞれの輝度又は位置に基づいて、複数のバウンディングボックスの中から１つのバウンディングボックスを選択し、選択した１つのバウンディングボックスが表現する正解情報を第２正解情報として生成してもよい。

より具体的には、正解情報生成部２８は、第２正解画像から複数のバウンディングボックスそれぞれの平均輝度を算出し、算出した平均輝度が最も高い１つのバウンディングボックスを選択し、選択した１つのバウンディングボックスが表現する正解情報を第２正解情報として生成してもよい。

また、正解情報生成部２８は、第２正解画像から複数のバウンディングボックスに外接する外接バウンディングボックスを特定し、特定した外接バウンディングボックスの中心点に最も近い中心点を有する１つのバウンディングボックスを選択し、選択した１つのバウンディングボックスが表現する正解情報を第２正解情報として生成してもよい。なお、バウンディングボックスの中心点は、矩形状のバウンディングボックスの重心であり、矩形状のバウンディングボックスの２つの対角線の交点である。

また、正解情報生成部２８は、第２正解画像から複数のバウンディングボックスに外接する外接バウンディングボックスを特定し、特定した外接バウンディングボックスにおける中心を画像上の基準位置として決定し、決定した基準位置を中心としバウンディングボックスと同一サイズの正解情報を第２正解情報として生成してもよい。

上記説明では、正解画像表示制御部２６は、矩形状の枠で表されるバウンディングボックスを含む第１正解画像を表示しているが、矩形状の領域で表されるバウンディングボックスを含む第１正解画像を表示してもよい。以下に、矩形状のバウンディングボックス領域を含む第１正解画像を表示する第１実施形態の変形例について説明する。

図１４は、第１実施形態の変形例において、表示装置３に表示される第１正解画像の一例を示す図である。また、図１５は、撮像装置４と表示装置３との距離がＬ１である場合に、図１４に示す第１正解画像を撮像装置４が撮像することによって得られる第２正解画像の一例を示す図であり、図１６は、撮像装置４と表示装置３との距離がＬ２（Ｌ１＜Ｌ２）である場合に、図１４に示す第１正解画像を撮像装置４が撮像することによって得られる第２正解画像の一例を示す図である。

図１４に示す第１正解画像７１は、オブジェクトの一例である第１バウンディングボックス領域３４１を含む。第１バウンディングボックス領域３４１は、図４に示す第１訓練用画像５１の人物３０１を検出対象として含む矩形状の領域である。第１バウンディングボックス領域３４１は、第１正解情報のバウンディングボックスの枠内を所定の輝度又は所定の色で塗りつぶした領域である。第１バウンディングボックス領域３４１は、表示装置３に表示された第１訓練用画像５１と同じサイズの第１正解画像７１上に表示される。

また、図１５に示す第２正解画像７２において、第１バウンディングボックス領域３４２は、光軸上にあるピンホール２０１１を通過して撮像された第１バウンディングボックス領域３４１であり、第１バウンディングボックス領域３４３は、光軸上にないピンホール２０１２を通過して撮像された第１バウンディングボックス領域３４１である。

また、図１６に示す第２正解画像７３において、第１バウンディングボックス領域３４４は、光軸上にあるピンホール２０１１を通過して撮像された第１バウンディングボックス領域３４１であり、第１バウンディングボックス領域３４５は、光軸上にないピンホール２０１２を通過して撮像された第１バウンディングボックス領域３４１である。

第１実施形態の変形例において、正解情報生成部２８は、第２正解画像から複数の第１バウンディングボックス領域が重畳された第２バウンディングボックス領域の外接枠を特定し、特定した外接枠が表現する正解情報を第２正解情報として生成してもよい。

このように、マルチピンホールカメラである撮像装置４から得られる第２正解画像７２，７３は、複数の像が重畳された画像となる。光軸上にあるピンホール２０１１を通過して撮像された第１バウンディングボックス領域３４２，３４４の第２正解画像上の位置及び大きさは変化しない。一方、光軸上にないピンホール２０１２を通過して撮像された第１バウンディングボックス領域３４３，３４５の第２正解画像上の位置は、被写体と撮像装置４との距離に応じて変化する。被写体と撮像装置４との距離が離れるほど、視差量は小さくなる。つまり、撮像装置４と表示装置３との距離が変化した場合、視差量が変化したバウンディングボックス領域が得られる。

正解情報生成部２８は、取得された第２正解画像７２に対して、エッジ検出処理を実行することで、第２正解画像７２から複数の第１バウンディングボックス領域３４２，３４３が重畳した第２バウンディングボックス領域３４６の境界を検出する。そして、正解情報生成部２８は、第２バウンディングボックス領域３４６に外接する矩形状の外接バウンディングボックスを特定し、特定した外接バウンディングボックスが表現する正解情報を第２正解情報として生成する。

また、正解情報生成部２８は、取得された第２正解画像７３に対して、エッジ検出処理を実行することで、第２正解画像７３から複数の第１バウンディングボックス領域３４４，３４５が重畳した第２バウンディングボックス領域３４７の境界を検出する。そして、正解情報生成部２８は、第２バウンディングボックス領域３４７に外接する矩形状の外接バウンディングボックスを特定し、特定した外接バウンディングボックスが表現する正解情報を第２正解情報として生成する。

なお、正解情報生成部２８は、エッジ検出処理ではなく、例えば、２値化処理を実行することで、第２バウンディングボックス領域３４６，３４７の境界を検出してもよい。なお、正解情報生成部２８は、第２バウンディングボックス領域３４６，３４７に内接する矩形状の内接バウンディングボックスを特定し、特定した内接バウンディングボックスが表現する正解情報を第２正解情報として生成してもよい。

図１７は、図１５に示す第２バウンディングボックス領域３４６に外接する矩形状の外接バウンディングボックスの一例を示す図であり、図１８は、図１６に示す第２バウンディングボックス領域３４７に外接する矩形状の外接バウンディングボックスの一例を示す図である。

正解情報生成部２８は、図１５に示す第２バウンディングボックス領域３４６のエッジを検出することで、図１７に示す外接バウンディングボックス３４８を特定する。また、正解情報生成部２８は、図１６に示す第２バウンディングボックス領域３４７のエッジを検出することで、図１８に示す外接バウンディングボックス３４９を特定する。

図１９は、図５に示す第２訓練用画像に対して、図１７に示す外接バウンディングボックス３４８を重畳させた図であり、図２０は、図６に示す第２訓練用画像に対して、図１８に示す外接バウンディングボックス３４９を重畳させた図である。

図１９に示す外接バウンディングボックス３４８は、光軸上にあるピンホール２０１１を通過して撮像された人物３０３及び光軸上にないピンホール２０１２を通過して撮像された人物３０５を含む正解情報である。正解情報生成部２８は、特定した外接バウンディングボックス３４８が表現する正解情報を第２正解情報として生成する。

また、図２０に示す外接バウンディングボックス３４９は、光軸上にあるピンホール２０１１を通過して撮像された人物３０７及び光軸上にないピンホール２０１２を通過して撮像された人物３０９を含む正解情報である。正解情報生成部２８は、特定した外接バウンディングボックス３４９が表現する正解情報を第２正解情報として生成する。

なお、本第１実施形態の変形例では、正解情報生成部２８は、第２正解画像から複数の第１バウンディングボックス領域が重畳された第２バウンディングボックス領域に外接する外接バウンディングボックスを特定し、特定した外接バウンディングボックスが表現する正解情報を第２正解情報として生成しているが、本開示は特にこれに限定されない。正解情報生成部２８は、第２正解画像から複数の第１バウンディングボックス領域が重畳された第２バウンディングボックス領域における輝度に基づいて画像上の基準位置を決定し、決定した基準位置を中心とし第１バウンディングボックス領域と同一サイズの正解情報を第２正解情報として生成してもよい。

より具体的には、正解情報生成部２８は、第２正解画像における第２バウンディングボックス領域内の最大輝度値の画素を基準位置に決定し、決定した基準位置を中心とし第１バウンディングボックス領域と同一サイズの正解情報を第２正解情報として生成してもよい。

また、正解情報生成部２８は、第２正解画像から複数の第１バウンディングボックス領域が重畳された第２バウンディングボックス領域に外接する外接バウンディングボックスを特定し、特定した外接バウンディングボックスにおける中心を画像上の基準位置として決定し、決定した基準位置を中心とし第１バウンディングボックス領域と同一サイズの正解情報を第２正解情報として生成してもよい。

また、例えば、ピンホール同士の間隔が離れている場合、第２バウンディングボックス領域は、１つの領域として撮像されるのではなく、複数の領域として撮像される可能性がある。この場合、正解情報生成部２８は、第２正解画像から複数のバウンディングボックス領域（オブジェクト）を包含する領域を特定し、特定した領域が表現する正解情報を第２正解情報として生成してもよい。

以上の説明において、識別タスクが物体検出であり、第１正解情報がバウンディングボックスである例について説明したが、本第１実施形態の撮像システム１が利用する第１正解情報はこれに限られるものではない。例えば、識別タスクは、セマンティックセグメンテーションなどの画素ごとの領域分割であってもよい。この場合、正解画像表示制御部２６は、クラスごとに、第１正解情報に基づく第１正解画像を順次表示させればよい。例えば、セマンティックセグメンテーションが、屋外画像を道路と空と建物との３つのクラスに分類するタスクである場合、正解画像表示制御部２６は、まず、道路に対応する画素を白色で表し、道路以外の部分に対応する画素を黒色で表した第１正解画像を表示させ、撮像装置４に撮像させてもよい。次に、正解画像表示制御部２６は、空に対応する画素を白色で表し、空以外の部分に対応する画素を黒色で表した第１正解画像を表示させ、撮像装置４に撮像させてもよい。最後に、正解画像表示制御部２６は、建物に対応する画素を白色で表し、建物以外の部分に対応する画素を黒色で表した第１正解画像を表示させ、撮像装置４に撮像させてもよい。このようにすることで、各クラスに対応する第２正解画像を取得することができる。

以上のように、本第１実施形態では、機械学習モデルの訓練用画像に対応する第１正解情報に基づく第１正解画像が表示装置３に表示される。そして、表示装置３に表示された第１正解画像を、ボケ画像を取得する撮像装置４に撮像させて第２正解画像が取得される。取得された第２正解画像に基づいて第２正解情報が生成される。そして、訓練用画像と第２正解情報との組を含むデータセットが第２記憶部２２に記憶される。

したがって、撮像装置４のボケ度合いに応じた正確な第２正解情報を生成し、訓練用画像と第２正解情報との組を含むデータセットを蓄積することができるので、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができる。

また、本第１実施形態の撮像システム１は、視差に合わせた正解情報を取得できるため、より正確なデータセットを構築することができ、機械学習モデルの認識精度を向上させることができる。

（第２実施形態）
第１実施形態の撮像制御装置２は、第１訓練用画像に対応する第１正解情報に基づく第１正解画像を表示装置３に表示させ、表示された第１正解画像を撮像装置４に撮像させて第２正解画像を取得し、取得した第２正解画像に基づいて第２正解情報を生成している。これに対し、第２実施形態の撮像制御装置は、第１幾何的画像を表示装置３に表示させ、表示された第１幾何的画像を撮像装置４に撮像させて第２幾何的画像を取得し、第１幾何的画像を第２幾何的画像に変換するための変換テーブルを生成し、生成した変換テーブルを用いて第１正解情報を第２正解情報に変換する。

図２１は、本開示の第２実施形態に係る撮像システム１Ａの全体構成の一例を示すブロック図である。図２１において、図１と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。

撮像システム１Ａは、撮像制御装置２Ａ、表示装置３及び撮像装置４を備える。

撮像制御装置２Ａは、第１記憶部２１、第２記憶部２２、画像取得部２３、訓練用画像表示制御部２４、正解情報取得部２５Ａ、撮像制御部２７Ａ、記憶制御部２９Ａ、幾何的画像表示制御部３０、変換テーブル生成部３１、第３記憶部３２及び正解情報変換部３３を備える。

幾何的画像表示制御部３０は、第１幾何的画像を表示装置３に表示させる。第１幾何的画像は、画像上の所定の位置に配置される第１ドットを含む。

撮像制御部２７Ａは、表示装置３に表示された第１幾何的画像を撮像装置４に撮像させて第２幾何的画像を取得する。第２幾何的画像は、第１ドットが撮像されることにより重畳された複数の第２ドットを含む。

変換テーブル生成部３１は、第１幾何的画像の位置を第２幾何的画像の位置に変換するための変換テーブルを生成する。変換テーブル生成部３１は、第２幾何的画像から複数の第２ドットの位置を特定し、第１ドットの位置を、特定した複数の第２ドットの位置に変換するための変換テーブルを生成する。

第３記憶部３２は、変換テーブル生成部３１によって生成された変換テーブルを記憶する。

正解情報取得部２５Ａは、画像取得部２３によって取得された第１訓練用画像に対応する第１正解情報を取得する。正解情報取得部２５Ａは、第１記憶部２１から取得した第１正解情報を正解情報変換部３３へ出力する。

正解情報変換部３３は、第３記憶部３２に記憶されている変換テーブルを用いて、正解情報取得部２５Ａによって取得された第１正解情報を第２正解情報に変換する。第２正解情報は、第２訓練用画像に対応する正解情報である。

記憶制御部２９Ａは、撮像装置４の撮像により得られた第２訓練用画像と、正解情報変換部３３によって変換された第２正解情報との組を含むデータセットを第２記憶部２２に記憶する。

続いて、本開示の第２実施形態に係る撮像制御装置２Ａにおけるデータセット作成処理について説明する。

図２２は、本開示の第２実施形態に係る撮像制御装置２Ａにおけるデータセット作成処理について説明するためのフローチャートである。

まず、幾何的画像表示制御部３０は、第１幾何的画像を表示装置３に表示させる（ステップＳ２０１）。これは、幾何的画像表示制御部３０は、表示装置３の表示画像が座標（ｕ，ｖ）（０≦ｕ≦Ｎ，０≦ｖ≦Ｍ）で表現されている場合、座標（ｕ，ｖ）における１点の画素のみを白色で表現し、他の画素を黒色で表現した第１幾何的画像を表示する。

図２３は、第２実施形態において、表示装置３に表示される第１幾何的画像の一例を示す図である。

図２３に示すように、幾何的画像表示制御部３０は、複数の画素のうちの一点である座標（ｕ１，ｖ１）に対応する第１ドット４０１のみを白色で表した第１幾何的画像８１を表示させる。第１ドット４０１以外の画素は黒色である。まず、幾何的画像表示制御部３０は、左上の画素に対応する第１ドット４０１のみを白色で表した第１幾何的画像８１を表示させる。なお、第１ドット４０１は、１つの画素で構成されるのではなく、４つの画素又は９つの画素などの複数の画素で構成されてもよい。

図２２に戻って、次に、撮像制御部２７Ａは、表示装置３に表示された第１幾何的画像を撮像装置４に撮像させて第２幾何的画像を取得する（ステップＳ２０２）。第１幾何的画像が表示装置３に表示されると、撮像制御部２７Ａは、第１幾何的画像を撮像装置４に撮像させて第２幾何的画像を取得する。撮像制御部２７Ａは、取得した第２幾何的画像を変換テーブル生成部３１へ出力する。撮像制御部２７Ａは、表示装置３が視野に入るように撮像する。

次に、変換テーブル生成部３１は、第１幾何的画像を第２幾何的画像に変換するための変換テーブルを生成する（ステップＳ２０３）。変換テーブル生成部３１は、生成した変換テーブルを第３記憶部３２に記憶する。

図２４は、図２３に示す第１幾何的画像を撮像装置４が撮像することによって得られる第２幾何的画像の一例を示す図である。

図２４に示す第２幾何的画像８２において、第２ドット４１１は、光軸上にあるピンホール２０１１を通過して撮像された第１ドット４０１であり、第２ドット４１２は、光軸上にないピンホール２０１２を通過して撮像された第１ドット４０１である。つまり、第１幾何的画像８１上における第１ドット４０１は、撮像装置４による視差の影響を受け、第２幾何的画像８２上では複数の第２ドット４１１，４１２に変換される。

変換テーブル生成部３１は、第２幾何的画像８２から複数の第２ドット４１１，４１２の画素位置（ｘ，ｙ）を特定する。そして、変換テーブル生成部３１は、第１幾何的画像８１の第１ドット４０１の画素位置（ｕ，ｖ）を、第２幾何的画像８２の複数の第２ドット４１１，４１２の画素位置（ｘ，ｙ）に変換する変換テーブルを生成する。図２４に示すように、表示装置３に表示した座標（ｕ１，ｖ１）の第１ドット４０１は、座標（ｘ１＿１，ｙ１＿１）の第２ドット４１１と、座標（ｘ１＿２，ｙ１＿２）の第２ドット４１２との２つの輝点として撮像される。

これにより、変換テーブル生成部３１は、第１記憶部２１に記憶された第１正解情報の座標（ｕ，ｖ）を、撮像装置４で撮像された第２正解情報の座標（ｘ，ｙ）に変換するための変換テーブルを生成することができる。

なお、第２幾何的画像８２における第２ドット４１１及び第２ドット４１２は、それぞれ単一のドットで構成されていても、複数のドットで構成されていてもよい。ピンホールの大きさが十分に大きい場合、第２ドット４１１及び第２ドット４１２は広がりを持った複数のドットとなる。この場合、変換テーブル生成部３１は、そのすべてのドットの位置を第２ドット４１１及び第２ドット４１２の位置として特定してもよい。また、変換テーブル生成部３１は、例えば、広がりを持った各ドットにおいて、輝度値が最も高い局所的最高輝度値に対応するそれぞれ１つのドットの位置を第２ドット４１１及び第２ドット４１２の位置として特定してもよい。

次に、変換テーブル生成部３１は、変換テーブルが完成したか否かを判断する（ステップＳ２０４）。変換テーブル生成部３１は、表示画像を構成する全ての画素が表示されるとともに、全ての画素が撮像された場合、変換テーブルが完成したと判断する。変換テーブル生成部３１は、表示画像を構成する全ての画素が表示されておらず、全ての画素が撮像されていない場合、変換テーブルが完成していないと判断する。

ここで、変換テーブルが完成していないと判断された場合（ステップＳ２０４でＮＯ）、ステップＳ２０１に処理が戻る。そして、幾何的画像表示制御部３０は、表示画像を構成する複数の画素の中から、表示していない画素に対応する第１ドットを白色で表した第１幾何的画像を表示装置３に表示させる。

図２５は、表示装置３に表示される第１幾何的画像の別の例を示す図である。

例えば、幾何的画像表示制御部３０は、表示画像の左上の画素から順に１画素ずつ白色のドットを表示装置３に表示させる。図２５に示すように、幾何的画像表示制御部３０は、座標（ｕ１，ｖ１）に対応する第１ドット４０１を含む第１幾何的画像８１を表示した後、座標（ｕ２，ｖ２）に対応する第１ドット４０２のみを白色で表し、第１ドット４０２以外の画素を黒色で表した第１幾何的画像８１Ａを表示させる。第１ドット４０２の位置は、第１ドット４０１の位置とは異なる。

一方、変換テーブルが完成したと判断された場合（ステップＳ２０４でＹＥＳ）、画像取得部２３は、第１訓練用画像を第１記憶部２１から取得する（ステップＳ２０５）。

なお、図２２に示すステップＳ２０５～ステップＳ２０７の処理は、図３に示すステップＳ１０１～ステップＳ１０３の処理と同じであるので、説明を省略する。

図２６は、第２実施形態における変換テーブルの一例を示す図である。図２６に示す変換テーブルは、表示装置３に表示される表示画像の各画素の座標（ｕ，ｖ）と、撮像装置４によって取得される撮像画像の変換後の画素の座標（ｘ，ｙ）とを対応付けている。

例えば、表示画像における座標（ｕ１，ｖ１）の第１ドット（画素）は、撮像画像における座標（ｘ１＿１，ｙ１＿１）及び座標（ｘ１＿２，ｙ１＿２）の２つの第２ドット（画素）に変換される。

図２２に戻って、次に、正解情報取得部２５Ａは、表示された第１訓練用画像に対応する第１正解情報を第１記憶部２１から取得する（ステップＳ２０８）。

次に、正解情報変換部３３は、変換テーブル生成部３１によって生成された変換テーブルを利用して、正解情報取得部２５Ａによって取得された第１正解情報を、撮像装置４によって撮像された第２訓練用画像に対応する第２正解情報に変換する（ステップＳ２０９）。正解情報変換部３３は、図２６に示す変換テーブルを利用して、第１記憶部２１から取得した第１訓練用画像に対応する第１正解情報であるバウンディングボックスの４つの頂点の座標を、複数の点の座標に変換する。そして、正解情報変換部３３は、複数の変換点に外接する矩形状の外接バウンディングボックスを特定する。正解情報変換部３３は、特定した外接バウンディングボックスが表現する正解情報を、撮像装置４によって撮像された第２訓練用画像に対応する第２正解情報として生成する。

図２７は、本第２実施形態における第２正解情報の生成処理を説明するための模式図である。ここで、第１記憶部２１から取得した第１訓練用画像に対応する第１正解情報であるバウンディングボックスの４つの頂点の座標は、（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）及び（ｕ４，ｖ４）である。図２６に示す変換テーブルから、座標（ｕ１，ｖ１）の頂点は、第２訓練用画像上の座標（ｘ１＿１，ｙ１＿１）及び座標（ｘ１＿２，ｙ１＿２）の点４１１，４１２に変換される。また、座標（ｕ２，ｖ２）の頂点は、第２訓練用画像上の座標（ｘ２＿１，ｙ２＿１）及び座標（ｘ２＿２，ｙ２＿２）の点４１３，４１４に変換される。また、座標（ｕ３，ｖ３）の頂点は、第２訓練用画像上の座標（ｘ３＿１，ｙ３＿１）及び座標（ｘ３＿２，ｙ３＿２）の点４１５，４１６に変換される。また、座標（ｕ４，ｖ４）の頂点は、第２訓練用画像上の座標（ｘ４＿１，ｙ４＿１）及び座標（ｘ４＿２，ｙ４＿２）の点４１７，４１８に変換される。この時、点４１１～点４１８に外接する外接バウンディングボックス４２０が、撮像装置４によって撮像された第２訓練用画像に対応する第２正解情報として生成される。

図２２に戻って、次に、記憶制御部２９Ａは、撮像装置４の撮像により得られた第２訓練用画像と、正解情報変換部３３によって変換された第２正解情報との組を含むデータセットを第２記憶部２２に記憶する（ステップＳ２１０）。

次に、画像取得部２３は、第１記憶部２１に記憶されている全ての第１訓練用画像を撮像装置４が撮像したか否かを判断する（ステップＳ２１１）。ここで、全ての第１訓練用画像を撮像装置４が撮像していないと判断された場合（ステップＳ２１１でＮＯ）、ステップＳ２０５に処理が戻り、画像取得部２３は、第１記憶部２１に記憶されている複数の第１訓練用画像の中から、撮像されていない第１訓練用画像を取得する。そして、訓練用画像表示制御部２４は、第１訓練用画像を表示装置３に表示させ、撮像制御部２７Ａは、表示された第１訓練用画像を撮像装置４に撮像させる。また、正解情報取得部２５Ａは、第１訓練用画像に対応する第１正解情報を取得する。そして、正解情報変換部３３は、変換テーブル生成部３１によって生成された変換テーブルを利用して、正解情報取得部２５Ａによって取得された第１正解情報を、撮像装置４によって撮像された第２訓練用画像に対応する第２正解情報に変換する。

一方、全ての第１訓練用画像を撮像装置４が撮像したと判断された場合（ステップＳ２１１でＹＥＳ）、処理が終了する。

以上のように、本第２実施形態の撮像システム１Ａは、視差に合わせた正解情報を取得できるため、より正確なデータセットを構築することができ、機械学習モデルの認識精度を向上させることができる。

以上の説明では、幾何的画像表示制御部３０は、１つの第１ドットを１画素ずつずらしながら表示させているが、複数の第１ドットを１画素ずつずらしながら表示させてもよい。図２８及び図２９を用いて、第２実施形態の第１変形例において、複数の第１ドットを同時に表示装置３に表示させる処理について説明する。

図２８は、第２実施形態の第１変形例において、表示装置３に表示される第１幾何的画像の一例を示す図である。

図２８に示すように、幾何的画像表示制御部３０は、複数の画素のうちの４点である座標（ｕ１１，ｖ１１）、座標（ｕ１２，ｖ１２）、座標（ｕ１３，ｖ１３）及び座標（ｕ１４，ｖ１４）に対応する第１ドット４０３～４０６のみを白色で表した第１幾何的画像８１Ｂを表示させる。第１ドット４０３～４０６以外の画素は黒色である。幾何的画像表示制御部３０は、４つの画素に対応する第１ドット４０３～４０６のみを白色で表した第１幾何的画像８１Ｂを表示させる。

図２９は、図２８に示す第１幾何的画像を撮像装置４が撮像することによって得られる第２幾何的画像の一例を示す図である。

図２９に示すように、表示装置３に表示した４つの第１ドット４０３～４０６は、局所的最高輝度値を有する複数の輝点として撮像される。変換テーブル生成部３１は、取得された第２幾何的画像８２Ｂに基づいて、第１幾何的画像８１Ｂの第１ドット４０３～４０６の画素位置（ｕ，ｖ）を、第２幾何的画像８２Ｂの複数の第２ドットの画素位置（ｘ，ｙ）に変換する変換テーブルを生成する。変換テーブル生成部３１は、表示装置３が表示した輝点に対応するように、第２幾何的画像８２Ｂを複数の領域に分割し、複数の領域ごとに輝点の局所最大値を算出する。変換テーブル生成部３１は、局所最大値の輝点の座標を、第１幾何的画像８１Ｂの第１ドット４０３～４０６の画素位置（ｕ，ｖ）に対応する第２幾何的画像８２Ｂの複数の第２ドットの画素位置（ｘ，ｙ）として算出してもよい。

具体的には、変換テーブル生成部３１は、表示装置３が表示した４つの輝点である第１ドット４０３～４０６に対応して、第２幾何的画像８２Ｂを複数の領域４３１～４３４に分割する。このとき、変換テーブル生成部３１は、ｋ平均法（ｋ－ｍｅａｎｓ法）などのクラスタリング手法を用いて、表示装置３が表示した複数の第１ドットの数に応じた数の領域に第２幾何的画像８２Ｂを分割する。そして、変換テーブル生成部３１は、領域４３１における輝度の局所最大値に対応する座標を、第１幾何的画像８１Ｂの第１ドット４０３に対応する第２幾何的画像８２Ｂの第２ドットの画素位置として特定する。また、変換テーブル生成部３１は、領域４３２における輝度の局所最大値に対応する座標を、第１幾何的画像８１Ｂの第１ドット４０４に対応する第２幾何的画像８２Ｂの第２ドットの画素位置として特定する。また、変換テーブル生成部３１は、領域４３３における輝度の局所最大値に対応する座標を、第１幾何的画像８１Ｂの第１ドット４０５に対応する第２幾何的画像８２Ｂの第２ドットの画素位置として特定する。また、変換テーブル生成部３１は、領域４３４における輝度の局所最大値に対応する座標を、第１幾何的画像８１Ｂの第１ドット４０６に対応する第２幾何的画像８２Ｂの第２ドットの画素位置として特定する。

また、幾何的画像表示制御部３０は、白色のみの複数の第１ドットを表示するのではなく、それぞれ色の異なる複数の第１ドットを表示してもよい。このような処理は、表示装置３に複数の第１ドットを同時に表示させる処理に有効である。つまり、表示装置３に表示する複数の第１ドットそれぞれの色を異ならせることで、撮像装置４が撮像した第２幾何的画像８２Ｂ上の複数の第２ドットのそれぞれが、どの第１ドットに対応するのかを特定することができる。

また、本第２実施形態では、第１ドットを含む第１幾何的画像を表示させ、第１幾何的画像を撮像することによって取得された第２幾何的画像から複数の第２ドットの位置を特定し、第１ドットの位置を複数の第２ドットの位置に変換するための変換テーブルを作成しているが、本開示は特にこれに限定されない。本第２実施形態の第２変形例において、第１幾何的画像は、画像上の所定の位置に配置される第１水平ライン及び第１垂直ラインを含んでもよい。そして、変換テーブル生成部３１は、第２幾何的画像から複数の第２水平ライン及び複数の第２垂直ラインの位置を特定し、第１水平ラインの位置を、特定複数の第２水平ラインの位置に変換するとともに、第１垂直ラインの位置を、特定した複数の第２垂直ラインの位置に変換するための変換テーブルを生成してもよい。

図３０は、第２実施形態の第２変形例において、表示装置３に表示される第１水平ラインを含む第１幾何的画像の一例を示す図である。

図３０に示すように、幾何的画像表示制御部３０は、表示画像を構成する複数の画素のうちの水平方向の画素列に対応する第１水平ライン５０１のみを白色で表した第１幾何的画像９１Ａを表示させる。第１水平ライン５０１以外の画素は黒色である。まず、幾何的画像表示制御部３０は、最上部の画素列に対応する第１水平ライン５０１のみを白色で表した第１幾何的画像９１Ａを表示させる。なお、第１水平ライン５０１の幅は、１つの画素ではなく、複数の画素であってもよい。

図３１は、図３０に示す第１幾何的画像を撮像装置４が撮像することによって得られる第２幾何的画像の一例を示す図である。

図３１に示す第２幾何的画像９２Ａにおいて、第２水平ライン５１１は、光軸上にあるピンホール２０１１を通過して撮像された第１水平ライン５０１であり、第２水平ライン５１２は、光軸上にないピンホール２０１２を通過して撮像された第１水平ライン５０１である。つまり、第１幾何的画像９１Ａ上における第１水平ライン５０１は、撮像装置４による視差の影響を受け、第２幾何的画像９２Ａ上では複数の第２水平ライン５１１，５１２に変換される。

変換テーブル生成部３１は、第２幾何的画像９２Ａから複数の第２水平ライン５１１，５１２の画素列（位置）を特定する。なお、第２水平ライン５１１，５１２の画素列は、水平方向の左端の画素の座標と、水平方向の右端の画素の座標とで表される。そして、変換テーブル生成部３１は、第１幾何的画像９１Ａの第１水平ライン５０１の画素列を、第２幾何的画像９２Ａの複数の第２水平ライン５１１，５１２の画素列に変換する変換テーブルを生成する。図３１に示すように、表示装置３に表示した第１水平ライン５０１は、第２水平ライン５１１，５１２の２つの直線として撮像される。

幾何的画像表示制御部３０は、最上部の第１水平ライン５０１を表示した後、１画素ずつ下方にずらしながら第１水平ラインを順次表示させる。撮像制御部２７Ａは、第１水平ラインが表示される毎に、第１幾何的画像９１Ａを撮像装置４に撮像させることにより第２幾何的画像９２Ａを取得する。変換テーブル生成部３１は、第２幾何的画像９２Ａが取得される毎に、第２幾何的画像９２Ａから複数の第２水平ラインの位置を特定する。変換テーブル生成部３１は、第１水平ラインの位置を、特定した複数の第２水平ラインの位置に変換するための変換テーブルを生成する。

図３２は、第２実施形態の第２変形例において、表示装置３に表示される第１垂直ラインを含む第１幾何的画像の一例を示す図である。

図３２に示すように、幾何的画像表示制御部３０は、複数の画素のうちの垂直方向の画素列に対応する第１垂直ライン５２１のみを白色で表した第１幾何的画像９１Ｂを表示させる。第１垂直ライン５２１以外の画素は黒色である。まず、幾何的画像表示制御部３０は、左端の画素列に対応する第１垂直ライン５２１のみを白色で表した第１幾何的画像９１Ｂを表示させる。なお、第１垂直ライン５２１の幅は、１つの画素ではなく、複数の画素であってもよい。

図３３は、図３２に示す第１幾何的画像を撮像装置４が撮像することによって得られる第２幾何的画像の一例を示す図である。

図３３に示す第２幾何的画像９２Ｂにおいて、第２垂直ライン５３１は、光軸上にあるピンホール２０１１を通過して撮像された第１垂直ライン５２１であり、第２垂直ライン５３２は、光軸上にないピンホール２０１２を通過して撮像された第１垂直ライン５２１である。つまり、第１幾何的画像９１Ｂ上における第１垂直ライン５２１は、撮像装置４による視差の影響を受け、第２幾何的画像９２Ｂ上では複数の第２垂直ライン５３１，５３２に変換される。

変換テーブル生成部３１は、第２幾何的画像９２Ｂから複数の第２垂直ライン５３１，５３２の画素列（位置）を特定する。なお、第２垂直ライン５３１，５３２の画素列は、垂直方向の上端の画素の座標と、垂直方向の下端の画素の座標とで表される。そして、変換テーブル生成部３１は、第１幾何的画像９１Ｂの第１垂直ライン５２１の画素列を、第２幾何的画像９２Ｂの複数の第２垂直ライン５３１，５３２の画素列に変換する変換テーブルを生成する。図３３に示すように、表示装置３に表示した第１垂直ライン５２１は、第２垂直ライン５３１，５３２の２つの直線として撮像される。

幾何的画像表示制御部３０は、左端の第１垂直ライン５２１を表示した後、１画素ずつ右方にずらしながら第１垂直ラインを順次表示させる。撮像制御部２７Ａは、第１垂直ラインが表示される毎に、第１幾何的画像９１Ｂを撮像装置４に撮像させることにより第２幾何的画像９２Ｂを取得する。変換テーブル生成部３１は、第２幾何的画像９２Ｂが取得される毎に、第２幾何的画像９２Ａから複数の第２垂直ラインの位置を特定する。変換テーブル生成部３１は、第１垂直ラインの位置を、特定した複数の第２垂直ラインの位置に変換するための変換テーブルを生成する。

もちろん、第２水平ライン又は第２垂直ラインの画素列は、水平方向の左端の画素の座標と水平方向の右端の画素の座標とで表したり、垂直方向の上端の画素の座標と垂直方向の下端の画素の座標とで表したりするのではなく、第２水平ライン又は第２垂直ライン上のすべての画素の座標で表してもよい。

以上が、本第２実施形態の第２変形例における変換テーブル生成処理についての説明である。

続いて、本第２実施形態の第２変形例における第２正解情報の生成処理について説明する。

図３４は、本第２実施形態の第２変形例における第１正解情報の一例を示す図であり、図３５は、本第２実施形態の第２変形例における第２正解情報の一例を示す図である。

図３４に示すように、矩形状のバウンディングボックス５５１は、第１訓練用画像に対応する第１正解情報である。バウンディングボックス５５１の各辺は、２本の第１水平ライン６０１，６０２及び２本の第１垂直ライン６０３，６０４の上にある。図３５に示すように、第１水平ライン６０１は、２本の第２水平ライン６１１，６１２に変換され、第１水平ライン６０２は、２本の第２水平ライン６１３，６１４に変換され、第１垂直ライン６０３は、２本の第２垂直ライン６１５，６１６に変換され、第１垂直ライン６０４は、２本の第２垂直ライン６１７，６１８に変換される。

すなわち、正解情報変換部３３は、変換テーブルを利用して、第１記憶部２１から取得した第１訓練用画像に対応する第１正解情報であるバウンディングボックス５５１の４本のラインを、複数のラインに変換する。そして、正解情報変換部３３は、第２水平ライン６１１，６１３及び第２垂直ライン６１５，６１７によって囲まれたバウンディングボックス５６１と、第２水平ライン６１２，６１４及び第２垂直ライン６１６，６１８によって囲まれたバウンディングボックス５６２とに外接する矩形状の外接バウンディングボックス５６３を特定する。正解情報変換部３３は、特定した外接バウンディングボックス５６３が表現する正解情報を、撮像装置４によって撮像された第２訓練用画像に対応する第２正解情報として生成する。

なお、本第２実施形態の第２変形例において、幾何的画像表示制御部３０は、１本の第１水平ラインを１画素列ずつずらしながら表示させ、１本の第１垂直ラインを１画素列ずつずらしながら表示させているが、本開示は特にこれに限定されない。幾何的画像表示制御部３０は、複数の第１水平ラインを１画素列ずつずらしながら表示させてもよい。撮像制御部２７Ａは、複数の第１水平ラインが表示される毎に、第１幾何的画像を撮像装置４に撮像させることにより第２幾何的画像を取得してもよい。変換テーブル生成部３１は、第２幾何的画像が取得される毎に、第２幾何的画像から複数の第２水平ラインの位置を特定してもよい。変換テーブル生成部３１は、複数の第１水平ラインの位置を、特定した複数の第２水平ラインの位置に変換するための変換テーブルを生成してもよい。

また、幾何的画像表示制御部３０は、複数の第１垂直ラインを１画素列ずつずらしながら表示させてもよい。撮像制御部２７Ａは、複数の第１垂直ラインが表示される毎に、第１幾何的画像を撮像装置４に撮像させることにより第２幾何的画像を取得してもよい。変換テーブル生成部３１は、第２幾何的画像が取得される毎に、第２幾何的画像から複数の第２垂直ラインの位置を特定してもよい。変換テーブル生成部３１は、複数の第１垂直ラインの位置を、特定した複数の第２垂直ラインの位置に変換するための変換テーブルを生成してもよい。

さらに、幾何的画像表示制御部３０は、少なくとも１本の第１水平ライン及び少なくとも１本の第１垂直ラインを１画素列ずつずらしながら同時に表示させてもよい。撮像制御部２７Ａは、少なくとも１本の第１水平ライン及び少なくとも１本の第１垂直ラインが表示される毎に、第１幾何的画像を撮像装置４に撮像させることにより第２幾何的画像を取得してもよい。変換テーブル生成部３１は、第２幾何的画像が取得される毎に、第２幾何的画像から複数の第２水平ライン及び複数の第２垂直ラインの位置を特定してもよい。変換テーブル生成部３１は、少なくとも１本の第１水平ライン及び少なくとも１本の第１垂直ラインの位置を、特定した複数の第２水平ライン及び複数の第２垂直ラインの位置に変換するための変換テーブルを生成してもよい。

また、本第２実施形態において、幾何的画像表示制御部３０は、第１正解情報に基づいて第１ドットを表示してもよい。例えば、幾何的画像表示制御部３０は、第１正解情報であるバウンディングボックスの外形線に沿って少なくとも１つの第１ドットを１画素ずつずらしながら表示してもよい。撮像制御部２７Ａは、少なくとも１つの第１ドットが表示される毎に、第１幾何的画像を撮像装置４に撮像させることにより第２幾何的画像を取得してもよい。変換テーブル生成部３１は、第２幾何的画像が取得される毎に、第２幾何的画像から複数の第２ドットの位置を特定してもよい。変換テーブル生成部３１は、少なくとも１つの第１ドットの位置を、特定した複数の第２ドットの位置に変換するための変換テーブルを生成してもよい。

なお、この場合、幾何的画像表示制御部３０は、バウンディングボックスの外形線に含まれる少なくとも１つの第１ドットを表示する前に変換テーブルを参照し、少なくとも１つの第１ドットの位置と複数の第２ドットの位置とが変換テーブルに既に対応付けられているか否かを判断してもよい。少なくとも１つの第１ドットの位置と複数の第２ドットの位置とが変換テーブルに既に対応付けられている場合、幾何的画像表示制御部３０は、当該少なくとも１つの第１ドットを表示しなくてもよい。一方、少なくとも１つの第１ドットの位置と複数の第２ドットの位置とが変換テーブルに対応付けられていない場合、幾何的画像表示制御部３０は、当該少なくとも１つの第１ドットを表示してもよい。

また、本第２実施形態において、幾何的画像表示制御部３０は、第１正解情報に基づいて第１水平ライン又は第１垂直ラインを表示してもよい。例えば、幾何的画像表示制御部３０は、第１正解情報であるバウンディングボックスの外形線の上辺又は下辺に対応する第１水平ラインを表示してもよく、バウンディングボックスの外形線の左辺又は右辺に対応する第１垂直ラインを表示してもよい。撮像制御部２７Ａは、第１水平ライン又は第１垂直ラインが表示される毎に、第１幾何的画像を撮像装置４に撮像させることにより第２幾何的画像を取得してもよい。変換テーブル生成部３１は、第２幾何的画像が取得される毎に、第２幾何的画像から複数の第２水平ライン又は複数の第２垂直ラインの位置を特定してもよい。変換テーブル生成部３１は、第１水平ライン又は第１垂直ラインの位置を、特定した複数の第２水平ライン又は複数の第２垂直ラインの位置に変換するための変換テーブルを生成してもよい。

なお、この場合、幾何的画像表示制御部３０は、バウンディングボックスの外形線に含まれる第１水平ライン又は第１垂直ラインを表示する前に変換テーブルを参照し、第１水平ライン又は第１垂直ラインの位置と複数の第２水平ライン又は複数の第２垂直ラインの位置とが変換テーブルに既に対応付けられているか否かを判断してもよい。第１水平ライン又は第１垂直ラインの位置と複数の第２水平ライン又は複数の第２垂直ラインの位置とが変換テーブルに既に対応付けられている場合、幾何的画像表示制御部３０は、当該第１水平ライン又は第１垂直ラインを表示しなくてもよい。一方、第１水平ライン又は第１垂直ラインの位置と複数の第２水平ライン又は複数の第２垂直ラインの位置とが変換テーブルに対応付けられていない場合、幾何的画像表示制御部３０は、当該第１水平ライン又は第１垂直ラインを表示してもよい。

（第３実施形態）
第１実施形態及び第２実施形態では、第２訓練用画像と第２正解情報との組を含むデータセットが第２記憶部に記憶されるが、第３実施形態では、第２記憶部に記憶された第２訓練用画像と第２正解情報との組を含むデータセットを利用して、機械学習モデルが訓練される。

図３６は、本開示の第３実施形態にかかる撮像システム１Ｂの全体構成の一例を示すブロック図である。図３６において、図１と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。

撮像システム１Ｂは、撮像制御装置２Ｂ、表示装置３及び撮像装置４を備える。

撮像制御装置２Ｂは、第１記憶部２１、第２記憶部２２、画像取得部２３、訓練用画像表示制御部２４、正解情報取得部２５、正解画像表示制御部２６、撮像制御部２７、正解情報生成部２８、記憶制御部２９、訓練部３４及びモデル記憶部３５を備える。

訓練部３４は、第２記憶部２２に記憶された第２訓練用撮像画像と第２正解情報との組を含むデータセットを利用して、機械学習モデルを訓練する。本第３実施形態では、識別器に適用される機械学習モデルは、ディープラーニング（深層学習）等のニューラルネットワークを用いた機械学習モデルであるが、他の機械学習モデルであってもよい。例えば、機械学習モデルは、ランダムフォレスト又は遺伝的プログラミング（Ｇｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）等を用いた機械学習モデルであってもよい。

訓練部３４における機械学習は、例えば、ディープラーニングなどにおける誤差逆伝播法（ＢＰ：ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）などによって実現される。具体的には、訓練部３４は、機械学習モデルに第２訓練用画像を入力し、機械学習モデルが出力する認識結果を取得する。そして、訓練部３４は、認識結果が第２正解情報となるように機械学習モデルを調整する。訓練部３４は、機械学習モデルの調整をそれぞれ異なる第２訓練用画像及び第２正解情報の複数の組（例えば数千組）について繰り返すことによって、機械学習モデルの認識精度を向上させる。

モデル記憶部３５は、訓練済みの機械学習モデルを記憶している。機械学習モデルは、画像認識に用いられる画像認識モデルでもある。

なお、本第３実施形態では、撮像制御装置２Ｂが訓練部３４及びモデル記憶部３５を備えているが、本開示は特にこれに限定されず、ネットワークを介して撮像制御装置２Ｂと接続された外部コンピュータが訓練部３４及びモデル記憶部３５を備えていてもよい。この場合、撮像制御装置２Ｂは、データセットを外部コンピュータへ送信する通信部をさらに備えてもよい。また、ネットワークを介して撮像制御装置２Ｂと接続された外部コンピュータがモデル記憶部３５を備えていてもよい。この場合、撮像制御装置２Ｂは、訓練済み機械学習モデルを外部コンピュータへ送信する通信部をさらに備えてもよい。

本第３実施形態における撮像システム１Ｂは、視差情報に含まれる、被写体の奥行情報を訓練用データに用いることができるため、機械学習モデルの認識能力向上に有効である。例えば、機械学習モデルは、画像内に小さく写っている物体が、遠方に存在する被写体であることを認識でき、ゴミとして認識されないこと、つまり無視されてしまうことを抑制できる。このため、第２訓練用画像を使用した機械学習により構築された機械学習モデルは、認識性能を向上することができる。

本第３実施形態における撮像システム１Ｂは、第１記憶部２１に記憶された第１訓練用画像を表示し、第１訓練用画像が撮像されることにより撮像装置４から第２訓練用画像を取得する。また、撮像システム１Ｂは、第１記憶部２１に記憶された第１正解情報に基づく第１正解画像を表示し、第１正解画像が撮像されることにより撮像装置４から第２正解画像を取得する。そして、撮像システム１Ｂは、第２正解画像に基づいて第２正解情報を生成し、第２訓練用画像と第２正解情報との組を含むデータセットを第２記憶部２２に記憶し、記憶したデータセットを訓練に利用する。

以上のように、撮像システム１Ｂは、機械学習のパラメータを訓練して最適化するだけではなく、撮像装置４のデバイスパラメータを最適化するためにも有効である。撮像装置４としてマルチピンホールカメラが利用される場合、撮像装置４の認識性能及びプライバシー保護性能は、各ピンホールの大きさ、各ピンホールの形状、各ピンホールの配置及びピンホールの数などのデバイスパラメータに依存する。そのため、最適な認識システムを実現するためには、機械学習のパラメータだけではなく、各ピンホールの大きさ、各ピンホールの形状、各ピンホールの配置及びピンホールの数などの撮像装置４のデバイスパラメータも最適化する必要がある。本第３実施形態における撮像システム１Ｂは、撮像装置４のデバイスパラメータを変更した際に得られる第２訓練用画像を訓練及び評価することにより、認識率が高く、かつプライバシー保護性能が高いデバイスパラメータを最適なデバイスパラメータとして選択することが可能である。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、プログラムを記録媒体に記録して移送することにより、又はプログラムをネットワークを経由して移送することにより、独立した他のコンピュータシステムによりプログラムが実施されてもよい。

本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本開示に係る技術は、被写体のプライバシーを保護しつつ、機械学習モデルの認識精度を向上させることができるので、機械学習モデルの訓練に用いられるデータセットを作成する技術として有用である。

Claims (11)

1. 機械学習モデルのボケのない第１訓練用画像を第１記憶部から取得する画像取得部と、
   前記第１訓練用画像を表示装置に表示させる訓練用画像表示制御部と、
   前記表示装置に表示された前記第１訓練用画像を、被写体との距離に応じて視差が変化するボケ画像を取得する撮像装置に撮像させて第２訓練用画像を取得する第１撮像制御部と、
   前記第１訓練用画像に対応する第１正解情報を前記第１記憶部から取得する正解情報取得部と、
   前記第１正解情報に基づく第１正解画像を前記表示装置に表示させる正解画像表示制御部と、
   前記表示装置に表示された前記第１正解画像を、前記撮像装置に撮像させて第２正解画像を取得する第２撮像制御部と、
   前記第２正解画像に基づいて、前記第２訓練用画像の視差に合わせた第２正解情報を生成する生成部と、
   前記第２訓練用画像と前記第２正解情報との組を含むデータセットを第２記憶部に記憶する記憶制御部と、
   を備える情報処理システム。
2. 前記第１正解画像は、前記第１正解情報の画像上の位置を示すオブジェクトを含む、
   請求項１記載の情報処理システム。
3. 前記オブジェクトは枠であり、
   前記撮像装置は、１つの被写体を撮像することにより、前記１つの被写体がずれて重なり合った重畳画像を取得し、
   前記第２撮像制御部は、前記枠を含む前記第１正解画像を前記撮像装置に撮像させることにより、複数の枠を重畳させた前記第２正解画像を取得し、
   前記生成部は、前記第２正解画像における前記複数の枠それぞれの輝度又は位置に基づいて、前記複数の枠の中から１つの枠を選択し、選択した前記１つの枠が表現する正解情報を前記第２正解情報として生成する、
   請求項２記載の情報処理システム。
4. 前記オブジェクトは枠であり、
   前記撮像装置は、１つの被写体を撮像することにより、前記１つの被写体がずれて重なり合った重畳画像を取得し、
   前記第２撮像制御部は、前記枠を含む前記第１正解画像を前記撮像装置に撮像させることにより、複数の枠を重畳させた前記第２正解画像を取得し、
   前記生成部は、前記第２正解画像から前記複数の枠に外接する外接枠を特定し、特定した前記外接枠が表現する正解情報を前記第２正解情報として生成する、
   請求項２記載の情報処理システム。
5. 前記オブジェクトは枠であり、
   前記撮像装置は、１つの被写体を撮像することにより、前記１つの被写体がずれて重なり合った重畳画像を取得し、
   前記第２撮像制御部は、前記枠を含む前記第１正解画像を前記撮像装置に撮像させることにより、複数の枠を重畳させた前記第２正解画像を取得し、
   前記生成部は、前記第２正解画像から前記複数の枠に外接する外接枠を特定し、特定した前記外接枠における中心を画像上の基準位置として決定し、決定した前記基準位置を中心とし前記枠と同一サイズの枠が表現する正解情報を前記第２正解情報として生成する、
   請求項２記載の情報処理システム。
6. 前記オブジェクトは第１平面図形であり、
   前記撮像装置は、１つの被写体を撮像することにより、前記１つの被写体がずれて重なり合った重畳画像を取得し、
   前記第２撮像制御部は、前記第１平面図形を含む前記第１正解画像を前記撮像装置に撮像させることにより、複数の第１平面図形を重畳させた前記第２正解画像を取得し、
   前記生成部は、前記第２正解画像から前記複数の第１平面図形が重畳された第２平面図形における輝度に基づいて画像上の基準位置を決定し、決定した前記基準位置を中心とし前記第１平面図形と同一サイズの平面図形が表現する正解情報を前記第２正解情報として生成する、
   請求項２記載の情報処理システム。
7. 前記オブジェクトは第１平面図形であり、
   前記撮像装置は、１つの被写体を撮像することにより、前記１つの被写体がずれて重なり合った重畳画像を取得し、
   前記第２撮像制御部は、前記第１平面図形を含む前記第１正解画像を前記撮像装置に撮像させることにより、複数の第１平面図形を重畳させた前記第２正解画像を取得し、
   前記生成部は、前記第２正解画像から前記複数の第１平面図形が重畳された第２平面図形に外接する外接枠を特定し、特定した前記外接枠が表現する正解情報を前記第２正解情報として生成する、
   請求項２記載の情報処理システム。
8. 前記オブジェクトは第１平面図形であり、
   前記撮像装置は、１つの被写体を撮像することにより、前記１つの被写体がずれて重なり合った重畳画像を取得し、
   前記第２撮像制御部は、前記第１平面図形を含む前記第１正解画像を前記撮像装置に撮像させることにより、複数の第１平面図形を重畳させた前記第２正解画像を取得し、
   前記生成部は、前記第２正解画像から前記複数の第１平面図形が重畳された第２平面図形に外接する外接枠を特定し、特定した前記外接枠における中心を画像上の基準位置として決定し、決定した前記基準位置を中心とし前記第１平面図形と同一サイズの平面図形が表現する正解情報を前記第２正解情報として生成する、
   請求項２記載の情報処理システム。
9. 前記生成部は、前記第２正解画像から複数のオブジェクトを包含する領域を特定し、特定した前記領域が表現する正解情報を前記第２正解情報として生成する、
   請求項２記載の情報処理システム。
10. 前記第２記憶部に記憶された前記第２訓練用画像と前記第２正解情報との組を含むデータセットを利用して、前記機械学習モデルを訓練する訓練部をさらに備える、
    請求項１～９のいずれか１項に記載の情報処理システム。
11. コンピュータが、
    機械学習モデルのボケのない第１訓練用画像を第１記憶部から取得し、
    前記第１訓練用画像を表示装置に表示させ、
    前記表示装置に表示された前記第１訓練用画像を、被写体との距離に応じて視差が変化するボケ画像を取得する撮像装置に撮像させて第２訓練用画像を取得し、
    前記第１訓練用画像に対応する第１正解情報を前記第１記憶部から取得し、
    前記第１正解情報に基づく第１正解画像を前記表示装置に表示させ、
    前記表示装置に表示された前記第１正解画像を、前記撮像装置に撮像させて第２正解画像を取得し、
    前記第２正解画像に基づいて、前記第２訓練用画像の視差に合わせた第２正解情報を生成し、
    前記第２訓練用画像と前記第２正解情報との組を含むデータセットを第２記憶部に記憶する、
    情報処理方法。