JP7828183B2

JP7828183B2 - 情報処理装置、画像判定方法及びプログラム

Info

Publication number: JP7828183B2
Application number: JP2022006045A
Authority: JP
Inventors: 航輝後藤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2022-01-19
Filing date: 2022-01-19
Publication date: 2026-03-11
Anticipated expiration: 2042-01-19
Also published as: JP2023105319A

Description

本開示は、情報処理装置、画像判定方法及びプログラムに関する。

非特許文献１は、ステレオカメラを用いてガラス越しに撮影した遠景夜景画像からガラス面に並行な映り込み物体を除去する手法を開示する。非特許文献２は、カメラをわずかに動かしながら、カメラから見た背景と遮蔽物との相対的な位置に存在する差異に基づいて、背景と遮蔽物とを分離し、遮蔽物が存在しないかのように背景シーンを復元する技術を開示する。

鶴見文哉、山下淳、金子徹、ステレオ画像を用いたガラス越し遠景夜景画像からの映り込み除去に関する検討、画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）、ＩＳ３－１２：９４２－９４７（https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=77776&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8） Tianfan Xue, Michael Rubinstein, Ce Liu, William T. Freeman, A Computational Approach for Obstruction-Free Photography, SIGGRAPH 2015（https://sites.google.com/site/obstructionfreephotography/）

非特許文献１、２に開示された技術では、遠景と近景とを分離する必要がある。しかし、非特許文献１、２に開示された技術を適用するためには、遠景と近景とを分離可能な十分に離れた距離から被写体が撮影され、且つ同一の方向を向いて適切に移動して撮影された２以上の撮影画像を取得することが求められる。そのため、十分に離れた距離から被写体が撮影されず、且つ同一の方向を適切に移動して撮影されない場合、非特許文献１、２に開示された技術を適用して、遠景と近景とを分離できないおそれがある。さらに、撮影者に適切な移動を行うための判断と操作を強いるおそれがある。つまり、非特許文献１、２に開示された技術を適用して映り込んだ物体の像を特定する場合、撮影環境が限定されるおそれがある。そこで、本開示の一態様は、撮影環境を限定せず、映り込んだ物体の像を特定できる情報処理装置、画像判定方法及びプログラムを提供することを目的とする。

本開示の一形態に係る情報処理装置は、第１撮像範囲を撮像して第１画像を取得する第１撮像部と、前記第１撮像範囲外である第２撮像範囲を撮像して第２画像を取得する第２撮像部と、前記第１画像に含まれる第１物体像の特徴と判定閾値を超える一致度を有する特徴を有する第２物体像が前記第２画像に含まれるか否かを判定する判定部と、を備える。

本開示の一形態に係る画像判定方法は、第１撮像範囲を撮像して第１画像を取得する工程と、前記第１撮像範囲外である第２撮像範囲を撮像して第２画像を取得する工程と、前記第１画像に含まれる第１物体像の特徴と判定閾値を超える一致度を有する特徴を有する第２物体像が前記第２画像に含まれるか否かを判定する工程と、を含む。

本開示の一形態に係るプログラムは、コンピュータに、第１撮像範囲を撮像して第１画像を取得する機能と、前記第１撮像範囲外である第２撮像範囲を撮像して第２画像を取得する機能と、前記第１画像に含まれる第１物体像の特徴と判定閾値を超える一致度を有する特徴を有する第２物体像が前記第２画像に含まれるか否かを判定する機能と、を実行させる。

情報処理装置の一例を示す正面図である。図１のＩＩ矢視側面図である。第１撮像範囲内で撮像される人物と、第２撮像範囲内の反射面に映り込む人物の顔の一例を示す図である。情報処理装置の構成の一例を示すブロック図である。第一実施形態に係る制御部の構成の一例を示すブロック図である。第一実施形態に係る情報処理装置の動作の一例を示すフローチャートである。図６に続く情報処理装置の動作の一例を示すフローチャートである。第１画像の一例を示す図である。第２画像の一例を示す図である。表示部に表示される表示画像の一例を示す図である。第二実施形態に係る制御部の構成の一例を示す図である。第二実施形態に係る情報処理装置の動作の一例を示すフローチャートである。反射面に映り込んだ互いに異なる表情である、二つの顔の像の一例を示す図である。互いに異なる表情の顔の像を含む、第２画像及び第２画像の一例を示す。第１撮像範囲内で撮像される人物、第２撮像範囲内の反射面に映り込んだ人物の像及び第２撮像範囲内の人物の一例を示す図である。動く人物の像である第１物体像を含む第１画像の一例を示す。図１４Ａに例示する第１物体像によって示される人物が第２撮像範囲に映り込んで撮像された第２画像の一例を示す。表示部に表示される表示画像の一例を示す図である。表示部に表示される表示画像の一例を示す図である。

（第一実施形態）
図１～図９を参照して、本実施形態に係る情報処理装置１００の構成について説明する。図１は、情報処理装置１００の一例を示す正面図である。図２は、図１のＩＩ矢視側面図である。以下の説明では、図１の右方向を＋Ｘ方向、上方向を＋Ｙ方向、及び手前方向を＋Ｚ方向と称する。また、以下の説明では、＋Ｚ方向を正面方向と称する。また、＋Ｚ方向の逆方向である－Ｚ方向を背面方向と称する。

情報処理装置１００は、筐体１０１、第１撮像部１０２、表示部１０３、タッチパネル１０４、第２撮像部２０１等を備える。情報処理装置１００は、例えば、スマートフォン、タブレット、デジタルカメラ、ビデオカメラ等である。

情報処理装置１００は、第１撮像部１０２によって撮像された物体像が、第２撮像部２０１によって取得された第２画像に含まれるか否かを判定する。つまり、情報処理装置１００は、一方の撮像部の撮像範囲に存在する物体が、他方の撮像部の撮像範囲内のガラス、鏡等の反射物に映り込んでいるか否かを判定する。

筐体１０１は、正面１０５と背面２０２とを有する。正面１０５には、第１撮像部１０２と表示部１０３とが配置される。また、背面２０２には、第２撮像部２０１が配置される。

第１撮像部１０２は、第１撮像範囲２１１を撮像して第１画像４１１（図４参照）を取得する。第１撮像範囲２１１は、正面１０５が向く方向にある。

第２撮像部２０１は、第１撮像範囲２１１外である第２撮像範囲２１２を撮像して第２画像４１２（図４参照）を取得する。第２撮像範囲２１２は、背面２０２が向く方向にある。図２に例示する情報処理装置１００においては、第２撮像部２０１は、第１撮像部１０２とは反対方向を撮像する。

表示部１０３は、第２画像４１２を表示する。さらに、表示部１０３は、第１画像４１１を表示してもよい。表示部１０３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等である。また、例えば、表示部１０３には、タッチパネル１０４が重ね合わせて構成される。つまり、表示部１０３は、タッチパネル１０４を有するタッチパネルディスプレイであってもよい。

図３は、第１撮像範囲２１１内で撮像される人物３０１と、第２撮像範囲２１２内の反射面３０２に映り込む人物３０１の一例を示す図である。図３に例示するように、第２撮像範囲２１２内の反射面３０２に人物３０１が映り込んだ場合、第２撮像部２０１によって取得される第２画像４１２は、人物３０１の像を含む。例えば、人物３０１が情報処理装置１００を操作して第２撮像範囲２１２を撮像する場合、撮影者である人物３０１が第２画像４１２に映り込んでいることになる。なお、図３においては、情報処理装置１００が反射面３０２に映り込むことについては図示することを省略する。

図４は、情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、第１撮像部１０２、表示部１０３、タッチパネル１０４、第２撮像部２０１、制御部４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３等を備える。第１撮像部１０２、表示部１０３、タッチパネル１０４及び第２撮像部２０１については、上記の通りであるため、詳細な説明は省略する。

制御部４０１は、ＲＯＭ４０２に格納されるプログラム及びデータに従って、各種処理を実行する。例えば、制御部４０１は、ＣＰＵ（Central Processing Unit）等のプロセッサを用いて実現される。

ＲＯＭ４０２は、情報処理装置１００を動作させるプログラムを格納する。ＲＡＭ４０３は、制御部４０１によって読み出された、ＲＯＭ４０２に格納されるプログラム、第１画像４１１、第２画像４１２、制御部４０１による処理結果等を一時的に格納する。

図５は、本実施形態に係る制御部４０１の構成の一例を示すブロック図である。制御部４０１は、第１物体検出部５０１、第２物体検出部５０２、第１特徴検出部５０３、第２特徴検出部５０４、判定部５０５、画像処理部５０６、通知部５０７等を備える。

第１物体検出部５０１は、第１画像４１１に含まれる第１物体像５１１を検出する。第２物体検出部５０２は、第２画像４１２に含まれる第２物体像５１２を検出する。

第１特徴検出部５０３は、第１物体像５１１から特徴量５１３を検出する。例えば、特徴量５１３は、第１物体像５１１の特徴点の特徴量を示す。第２特徴検出部５０４は、第２物体像５１２から特徴量５１４を検出する。例えば、特徴量５１４は、第２物体像５１２の特徴点の特徴量を示す。

判定部５０５は、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が第２画像４１２に含まれるか否かを判定する。具体的には、判定部５０５は、特徴量５１３と、特徴量５１４との対比結果に基づいて、一致度５１５を算出する。

画像処理部５０６は、第２画像４１２に、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が含まれると判定された場合、当該第２物体像５１２を非表示にする画像処理を第２画像４１２に行う。具体的には、画像処理部５０６は、第２画像４１２に、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が含まれると判定された場合、第２画像４１２において当該第２物体像５１２を非表示にした画像を表示部１０３に表示させる。

通知部５０７は、第２画像４１２に、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が含まれると判定された場合、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が含まれることを示すメッセージを出力する。

図６は、本実施形態に係る情報処理装置１００の動作の一例を示すフローチャートである。例えば、タッチパネル１０４が、撮像開始の操作を受け付けた場合、制御部４０１は、図６に例示するステップＳ６０１の処理を開始する。例えば、制御部４０１は、撮像開始のアイコンを表示部１０３に表示させてもよい。その場合、タッチパネル１０４が、撮像開始のアイコンの位置の接触を検出した場合、制御部４０１は、タッチパネル１０４が撮像開始の操作を受け付けたと判定し、図６に例示するステップＳ６０１の処理を開始する。

ステップＳ６０１において第１撮像部１０２は、第１撮像範囲２１１を撮像して第１画像４１１を取得する。ステップＳ６０２において第２撮像部２０１は、第２撮像範囲２１２を撮像して第２画像４１２を取得する。ステップＳ６０１の処理と、ステップＳ６０２の処理とは、同時に実行されてもよい。または、ステップＳ６０１で取得された第１画像４１１が、ＲＡＭ４０３に格納された後、ステップＳ６０２において第２撮像部２０１が第２画像４１２を取得してもよい。

ステップＳ６０３において第１物体検出部５０１は、第１画像４１１から第１物体像５１１を検出する。具体的には、第１物体検出部５０１は、パターンマッチング、エッジ検出、領域分割等の画像処理を第１画像４１１に行い、第１物体像５１１を検出する。例えば、第１物体検出部５０１は、検出対象の種別に応じた特徴を第１画像４１１から検出することで、第１画像４１１に含まれる第１物体像５１１を検出する。

例えば、検出対象の種別が人の顔であるとする。その場合、第１物体検出部５０１は、第１画像４１１から目、鼻、口等の端部の座標値を示す特徴点を検出することで、第１画像４１１に含まれる人の顔の像を、第１物体像５１１として検出する。

または、例えば、検出対象の種別が文字であるとする。その場合、第１物体検出部５０１は、第１画像４１１から文字を検出することで、第１画像４１１に含まれる文字の像を、第１物体像５１１として検出する。例えば、第１画像４１１に、車両のナンバープレート、看板、又は番地を示す標識等の文字の像が含まれる場合、第１物体検出部５０１は、第１画像４１１から文字を検出することで、第１画像４１１に含まれる車両のナンバープレート、看板、又は番地を示す標識の像を、第１物体像５１１として検出できる。

または、第１物体検出部５０１は、第１画像４１１において領域分割を行い、第１物体像５１１を検出してもよい。その場合、第１物体検出部５０１は、第１物体像５１１の種別を限定せず、第１画像４１１に含まれる複数の種別の物体像を検出する。

ステップＳ６０４において第１特徴検出部５０３は、ステップＳ６０３で検出された第１物体像５１１から特徴量５１３を検出する。

例えば、第１物体像５１１の種別が人の顔である場合、第１特徴検出部５０３は、第１物体像５１１に含まれる目、鼻、口等の端部の座標値を示す特徴点間の相対位置、画素値から決定される特徴等を、特徴量５１３として検出する。

また、例えば、第１物体像５１１の種別が人の顔である場合、第１特徴検出部５０３は、特定の表情を示す特徴を、特徴量５１３として検出してもよい。例えば、第１特徴検出部５０３は、特徴点間の相対位置から決定される表情の評価値を特徴量５１３として検出する。

また、例えば、第１物体像５１１の種別が文字である場合、第１特徴検出部５０３は、第１物体像５１１によって示される文字の形状等の特徴を、特徴量５１３として検出する。

ステップＳ６０５において第２物体検出部５０２は、第２画像４１２から第２物体像５１２を検出する。具体的には、第２物体検出部５０２は、第１物体検出部５０１と同一の画像処理を第２画像４１２に行い、第２物体像５１２を検出する。これにより、第２物体検出部５０２は、第２画像４１２に含まれる第１物体像５１１と同一の種別の物体像を、第２物体像５１２として検出する。

例えば、検出対象の種別が人の顔である場合、第２物体検出部５０２は、第２画像４１２から目、鼻、口等の端部の座標値を示す特徴点を検出することで、第２画像４１２に含まれる人の顔の像を、第２物体像５１２として検出する。

また、例えば、検出対象の種別が文字である場合、第２物体検出部５０２は、第２画像４１２から文字を検出することで、第２画像４１２に含まれる文字の像を、第２物体像５１２として検出する。

例えば、第２画像４１２に、車両のナンバープレート、看板、又は番地を示す標識等の文字の像が含まれる場合、第２物体検出部５０２は、第２画像４１２から文字を検出することで、第２画像４１２に含まれる車両のナンバープレート、看板、又は番地を示す標識の像を、第２物体像５１２として検出できる。

または、第２物体検出部５０２は、第２画像４１２において領域分割を行い、第２物体像５１２を検出してもよい。つまり、第２物体検出部５０２は、第２物体像５１２の種別を限定せず、第２画像４１２に含まれる複数の種別の物体像を検出してもよい。

ステップＳ６０６において第２特徴検出部５０４は、ステップＳ６０５で検出された第２物体像５１２から特徴量５１４を検出する。

例えば、第２物体像５１２の種別が人の顔である場合、第２特徴検出部５０４は、第２物体像５１２に含まれる目、鼻、口等の端部の座標値を示す特徴点の相対位置、画素値から決定される特徴等を、特徴量５１４として検出する。

また、例えば、第２物体像５１２の種別が人の顔である場合、第２特徴検出部５０４は、特定の表情を示す特徴を、特徴量５１４として検出してもよい。例えば、第２特徴検出部５０４は、特徴点間の相対位置から決定される表情の評価値を特徴量５１３として検出する。

また、例えば、第２物体像５１２の種別が文字である場合、第２特徴検出部５０４は、第２物体像５１２によって示される文字、文字を示す領域のエッジの形状等を、特徴量５１４として検出する。

ステップＳ６０７において判定部５０５は、ステップＳ６０４で検出された特徴量５１３と、ステップＳ６０６で検出された特徴量５１４との一致度５１５を算出する。例えば、判定部５０５は、パターンマッチ、深層学習等を用いて、特徴量５１３と特徴量５１４との一致度５１５を算出する。情報処理装置１００は、特徴量５１３を事前に学習した後、判定部５０５は、パターンマッチ、深層学習等を用いて、特徴量５１３と特徴量５１４との一致度５１５を算出してもよい。または、情報処理装置１００とは異なるサーバ装置が、特徴量５１３を事前に学習してもよい。その場合、情報処理装置１００は、ネットワークを介して当該サーバ装置に接続し、当該サーバ装置から、学習された特徴量５１３を取得してもよい。そして、制御部４０１は、処理を図７に例示するステップＳ７０１に移行する。

次に、図７を参照しながら、情報処理装置１００の動作について引き続き説明する。

ステップＳ７０１において判定部５０５は、図６に例示するステップＳ６０５で算出された一致度５１５が判定閾値を超えるか否かを判定する。ステップＳ７０１において一致度５１５が判定閾値を超えない場合、ステップＳ７０２において通知部５０７は、第２画像４１２を表示部１０３に表示させる。そして、制御部４０１は、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が含まれるか否かを判定する処理を終了する。一方、ステップＳ７０１において一致度５１５が判定閾値を超える場合、ステップＳ７０３において判定部５０５は、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が、第２画像４１２に含まれると判定する。

ステップＳ７０４において画像処理部５０６は、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２を非表示にする。具体的には、画像処理部５０６は、当該第２物体像５１２を非表示にする画像処理を第２画像４１２に行う。例えば、画像処理部５０６は、第２画像４１２において、当該第２物体像５１２を含む領域に、所定の画像を重畳するスタンプ、所定の色での塗りつぶし、明度及び彩度を変更することで視認不可にするレタッチ等の画像処理を行う。これにより、画像処理部５０６は、第２画像４１２に含まれる当該第２物体像５１２を非表示にする。つまり、画像処理部５０６は、第２画像４１２に含まれる当該第２物体像５１２を視認できないようにする。

ステップＳ７０５において通知部５０７は、第２画像４１２に含まれる、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２を非表示にした画像を表示部１０３に表示させる。これにより、情報処理装置１００は、第１撮像範囲２１１に存在する物体の像が表示部１０３に表示されることを防止できる。つまり、情報処理装置１００は、第１撮像範囲２１１に存在する物体の像を含む第２画像４１２が出力されることを防止できる。

例えば、特徴量５１３及び特徴量５１４が顔の特徴を示す場合、情報処理装置１００は、第１撮像範囲２１１に存在する人物の顔の像を含む第２画像４１２が出力されることを防止できる。例えば、情報処理装置１００は、撮影者の顔の像を含む第２画像４１２が出力されることを防止できる。

同様に、特徴量５１３及び特徴量５１４が特定の表情の特徴を示す場合、情報処理装置１００は、第１撮像範囲２１１に存在する撮影者の表情が、撮影者の意図しない表情であるときに、当該表情の顔の像を含む第２画像４１２が出力されることを防止できる。

また、例えば、情報処理装置１００は、車両のナンバープレート、看板、又は番地を示す標識等の第２物体像５１２を含む第２画像４１２が出力されることを防止できる。これにより、情報処理装置１００は、個人を特定可能な情報、又は撮影場所を特定可能な情報を含む第２画像４１２が出力されることを防止できる。

また、例えば、撮影者が、動画配信サービスを利用して、所謂ライブ配信により、第２撮像範囲２１２を撮像した第２画像４１２を、インターネットを介して配信するとする。その場合、撮影者は、第２画像４１２から第１撮像範囲２１１に含まれる物体の像を非表示にする編集作業を行うことが困難である。しかし、情報処理装置１００は、撮影者の操作を介することなく、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２を非表示にする画像処理を行うため、撮影者が、第２画像４１２から第１撮像範囲２１１に含まれる物体の像を非表示にする編集作業を行う必要がない。そのため、情報処理装置１００は、撮影者に煩雑な作業を行わせることなく、撮影者が意図しない不適切な物体の像が、第２画像４１２に含まれることを防止できる。その結果、情報処理装置１００は、撮影者に煩雑な作業を行わせることなく、動画配信サービス等を安全に撮影者に利用させることができる。

ステップＳ７０６において通知部５０７は、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が第２画像４１２に含まれることを示すメッセージを出力する。つまり、通知部５０７は、第２画像４１２に撮影者が意図しない不適切な物体が映り込んでいることを撮影者に通知する。

例えば、通知部５０７は、第１物体像５１１の特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が含まれることを示すメッセージを、表示部１０３に表示させる。または、情報処理装置１００が、スピーカ（不図示）を備える場合、通知部５０７は、当該第２物体像５１２が含まれることを示す音声を出力してもよい。

情報処理装置１００は、撮影者が意図しない不適切な物体が映り込んでいることを通知することで、撮影者が意図しない不適切な物体が映り込まないように、撮影者に第２撮像範囲２１２を調整させることができる。

図８Ａは、第１画像４１１の一例を示す図である。例えば、図８Ａに例示する第１画像４１１に含まれる第１物体像５１１は、撮影者の顔の像である。図８Ｂは、第２画像４１２の一例を示す図である。図８Ｂに例示する第２画像４１２には、反射面の像８０１の部分に、撮影者の顔の像である第２物体像５１２が含まれる。つまり、図８Ｂに例示する第２物体像５１２は、第２撮像範囲２１２に含まれる鏡等の反射面に映り込んだ撮影者の顔の像である。

例えば、図８Ｂに例示する第２物体像５１２が、図８Ａに例示する第１物体像５１１の特徴量と判定閾値を超える一致度５１５を有する特徴を有するとする。その場合、画像処理部５０６は、反射面の像８０１に含まれる第２物体像５１２を非表示にする画像処理を行う。なお、図８Ｂにおいては、情報処理装置１００が反射面に映り込むことについては図示することを省略する。

図９は、表示部１０３に表示される表示画像９０１の一例を示す図である。具体的には、表示画像９０１には、図８Ｂに例示する第２物体像５１２を含む領域を塗りつぶすマスク９０２が含まれる。例えば、画像処理部５０６は、表示画像９０１に例示するように、第２物体像５１２を含む領域を、塗りつぶす。そして、通知部５０７は、表示画像９０１に例示するように、第２物体像５１２を含む領域にマスク９０２を重畳した画像を、表示部１０３に表示させる。さらに、表示画像９０１に例示するように、通知部５０７は、第２画像４１２に「不適切なものが映り込んでいます」とのメッセージ９０３を重畳した画像を、表示部１０３に表示させてもよい。

（変形例）
第１撮像部１０２が配置される位置は、正面１０５に限定されない。例えば、第１撮像部１０２は、＋Ｙ方向を向く筐体１０１の上面に配置されてもよい。同様に、第２撮像部２０１が配置される位置は、背面２０２に限定されない。例えば、第２撮像部２０１は、＋Ｚ方向を向く筐体１０１の側面に配置されてもよい。

（第二実施形態）
図１０～図１６を参照して、第二実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。第一実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、第一実施形態と異なる点を説明する。

図１０は、本実施形態に係る制御部４０１の構成の一例を示す図である。図１０に例示する制御部４０１と、図５に例示する制御部４０１との相違点は、第１特徴検出部５０３、第２特徴検出部５０４及び判定部５０５に替えて、第１特徴検出部１００１、第２特徴検出部１００２及び判定部１００３を備える点にある。

第１特徴検出部１００１は、第１物体像５１１から検出された二以上の特徴点間の距離の変化率１０１１を算出する。第２特徴検出部１００２は、第２物体像５１２から検出された二以上の特徴点間の距離の変化率１０１２を算出する。

判定部１００３は、第１物体像５１１の動きと、第２物体像５１２の動きとの対比結果に基づいて、一致度５１５を算出する。具体的には、判定部１００３は、第１物体像５１１から検出された二以上の特徴点間の距離の変化率１０１１と、第２物体像５１２から検出された二以上の特徴点間の距離の変化率１０１２との対比結果に基づいて、一致度５１５を算出する。

本実施形態に係る通知部５０７は、第２画像４１２に、第１物体像５１１の動きの特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が含まれると判定された場合、第１物体像５１１の動きの特徴と判定閾値を超える一致度５１５を有する第２物体像５１２が含まれることを示すメッセージを出力する。または、本実施形態に係る通知部５０７は、第２画像４１２に含まれる各物体像の動きについて、一致度５１５を示す文字、記号等を第２画像４１２に重畳して表示部１０３に表示させてもよい。

図１１は、本実施形態に係る情報処理装置１００の動作の一例を示すフローチャートである。ステップＳ１１０１～ステップＳ１１０２の処理は、図６に例示するステップＳ６０１～ステップＳ６０２の処理と同様であるため、詳細な説明は省略する。

ステップＳ１１０３において第１物体検出部５０１が、ステップＳ１１０１で取得された第１画像４１１から第１物体像５１１を検出する。例えば、第１物体検出部５０１は、第１画像４１１に含まれる所定の種別の物体像を、第１物体像５１１として検出する。例えば、所定の種別とは、人の顔、人の身体等である。または、例えば、第１特徴検出部１００１は、第１画像４１１において領域分割を行い、第１物体像５１１を検出してもよい。その場合、第１特徴検出部１００１は、第１物体像５１１の種別を限定せず、第１画像４１１に含まれる複数の種別の物体像を検出する。

ステップＳ１１０４において第１特徴検出部１００１は、第１物体像５１１から二以上の特徴点を検出する。例えば、第１特徴検出部１００１は、第１物体像５１１の種別が人の顔である場合、第１物体像５１１に含まれる目、鼻、口等の端部の座標値を、特徴点として検出する。また、例えば、第１特徴検出部１００１は、第１物体像５１１の種別が人の身体である場合、第１物体像５１１に含まれる腕部、脚部等の座標値を、特徴点として検出する。または、第１特徴検出部１００１は、第１物体像５１１の種別が人の身体の像である場合、第１物体像５１１に含まれる腕部、脚部等の座標値の代表値を、特徴点として検出してもよい。

ステップＳ１１０５において第１特徴検出部１００１は、ステップＳ１１０４で検出された特徴点間の距離の変化率１０１１を算出する。例えば、第１特徴検出部１００１は、ステップＳ１１０４で検出された二以上の特徴点を頂点する多角形について、各辺の長さの時系列での変化率から、変化率１０１１を算出する。例えば、第１特徴検出部１００１は、二以上の特徴点を頂点する多角形について、各辺の長さの時系列での変化率の代表値を、変化率１０１１として算出する。

ステップＳ１１０６において第２物体検出部５０２が、ステップＳ１１０２で取得された第２画像４１２から第２物体像５１２を検出する。ステップＳ１１０７において第２特徴検出部１００２は、第２物体像５１２から二以上の特徴点を検出する。例えば、第２特徴検出部１００２は、第２物体像５１２の種別が人の顔である場合、第２物体像５１２に含まれる目、鼻、口等の端部の座標値を、特徴点として検出する。また、例えば、第２特徴検出部１００２は、第２物体像５１２の種別が人の身体である場合、第２物体像５１２に含まれる腕部、脚部等の座標値を、特徴点として検出する。または、第２特徴検出部１００２は、第２物体像５１２の種別が人の身体像である場合、腕部、脚部等の座標値の代表値を、特徴点として検出してもよい。

ステップＳ１１０８において第２特徴検出部１００２は、ステップＳ１１０７で検出された特徴点間の距離の変化率１０１２を算出する。例えば、第２特徴検出部１００２は、ステップＳ１１０７で検出された二以上の特徴点を頂点する多角形について、各辺の長さの時系列での変化率から、変化率１０１２を算出してもよい。例えば、第２特徴検出部１００２は、ステップＳ１１０７で検出された二以上の特徴点を頂点する多角形について、各辺の長さの時系列での変化率の代表値を、変化率１０１２として算出する。

ステップＳ１１０９において判定部５０５は、ステップＳ１１０５で算出された変化率１０１１と、ステップＳ１１０８で算出された変化率１０１２との対比結果に基づいて一致度５１５を算出する。そして、制御部４０１は、処理を図７に例示するＳ７０１に移行する。

図１２Ａは、反射面１２０１に映り込んだ、第１撮像範囲１２０３に存在する人物１２０５の一例を示す図である。図１２Ａに例示する人物の像１２０２ａ及び１２０２ｂは、第２撮像範囲２１２に存在する反射面１２０１に映り込んだ、異なる表情の人物１２０５の像を示す。図１２Ａに例示するように、人物の像１２０２ａによって示される表情は、人物の像１２０２ｂによって示される表情に変化する。

図１２Ｂは、図１２Ａに例示する第２撮像範囲１２０４を撮像した第２画像４１２ａ及び第２画像４１２ｂの一例を示す。図１２Ｂに例示する第２画像４１２ａは、人物の像１２０２ａの顔を示す第２物体像５１２ａを含む。また、図１２Ｂに例示する第２画像４１２ｂは、人物の像１２０２ｂの顔を示す第２物体像５１２ｂを含む。人物１２０５の像である第１物体像５１１における特徴点間の距離の変化率１０１１は、第２物体像５１２ａから第２物体像５１２ｂまでにおける特徴点間の距離の変化率１０１２と同等である。例えば、第１物体像５１１における口の端部の特徴点間の距離の変化率１０１１は、第２物体像５１２ａから第２物体像５１２ｂまでの口の端部の特徴点間の距離の変化率１０１２と同等になる。

そこで、判定部５０５は、第１物体像５１１における特徴点間の距離の時系列的な変化率１０１１と、第２物体像５１２ａから第２物体像５１２ｂまでにおける特徴点間の距離の時系列的な変化率１０１２とを比較することで、第１撮像範囲１２０３に存在する人物１２０５が、第２撮像範囲２１２に映り込んでいると判定する。

さらに、情報処理装置１００は、第１物体像５１１における特徴点間の距離の時系列的な変化率１０１１と、第２物体像５１２における特徴点間の距離の時系列的な変化率１０１２とを比較することで、第１物体像５１１の角度と、第２物体像５１２の角度とが異なる場合であっても、第１撮像範囲２１１に含まれる物体が、第２撮像範囲２１２に映り込んでいるか否かを判定できる。例えば、情報処理装置１００は、第１物体像５１１における特徴点間の距離の時系列的な変化率１０１１と、第２物体像５１２における特徴点間の距離の時系列的な変化率１０１２とを比較することで、第１物体像５１１である撮影者の顔の像の角度と、第２物体像５１２である撮影者の顔の像の角度とが異なる場合であっても、第２撮像範囲２１２に映り込んだ複数の物体の像から、撮影者の顔の像を識別できる。つまり、情報処理装置１００は、第１画像４１１及び第２画像４１２から大域的な特徴を検出できれば、第１物体像５１１の角度と、第２物体像５１２の角度とが異なる場合であっても、第２撮像範囲２１２に映り込んだ撮影者の顔の像を識別できる。

同様に、情報処理装置１００は、第１画像４１１及び第２画像４１２から大域的な特徴を検出できれば、第１物体像５１１の明度と、第２物体像５１２の明度とが異なる場合であっても、第２撮像範囲２１２に映り込んだ物体を識別できる。

以上より、情報処理装置１００は、第１画像４１１と第２画像４１２とにおいて、物体像の角度の差異、及び色調等の差異による影響を抑制して、第２撮像範囲２１２に映り込んだ第１撮像範囲２１１に存在する物体を識別できる。つまり、情報処理装置１００は、第１画像４１１と第２画像４１２とにおいて、物体像の角度の差異、及び色調等の差異による影響を抑制して、第２撮像範囲２１２に映り込んだ、第１撮像範囲２１１に存在する物体を識別できる。

図１３は、第１撮像範囲２１１内に存在する人物１３０１、第２撮像範囲２１２内の反射面１３０２に映り込んだ人物１３０１の像、第２撮像範囲２１２内に存在する人物１３０３及び人物１３０４の一例を示す図である。図１３に例示する人物１３０１が動いた場合、第１撮像部１０２は、動く人物１３０１を撮像し、第２撮像部２０１は、反射面１３０２に映り込んだ動く人物１３０１の像を撮像する。同様に、図１３に例示する人物１３０３及び人物１３０４が動いた場合、第２撮像部２０１は、動く人物１３０３及び動く人物１３０４を撮像する。なお、図１３においては、情報処理装置１００が反射面１３０２に映り込むことについては図示することを省略する。

図１４Ａは、図１３に例示する人物１３０１の像である第１物体像１４１１を含む第１画像４１１の一例を示す。図１４Ｂは、人物１３０１が、第２撮像範囲２１２に映り込んで撮像された第２画像４１２の一例を示す。図１４Ｂに例示する第２画像４１２には、人物１３０１の像である第２物体像５１２が含まれる。さらに、図１４Ｂに例示する第２画像４１２には、第２撮像範囲２１２に存在する人物の像である、物体像１４０１と物体像１４０２とを含む。なお、図１４Ｂにおいては、図１３と同様に、情報処理装置１００が反射面１３０２に映り込むことについては図示することを省略する。

図１４Ａに例示する第１物体像５１１の動きの変化と、図１４Ｂに例示する第２物体像５１２の動きの変化とは同等になる。そのため、図１４Ａに例示する第１物体像５１１における特徴点間の距離の変化率１０１１と、図１４Ｂに例示する第２物体像５１２における特徴点間の距離の変化率１０１２とは同等になる。

例えば、判定部５０５は、第１物体像５１１における腕の特徴点間の距離の変化率１０１１と、第２物体像５１２における腕の特徴点間の距離の変化率１０１２との対比結果に基づいて、一致度５１５を算出する。そして、一致度５１５が判定閾値を超える場合、判定部５０５は、第２画像４１２に、第１物体像５１１によって示される人物の像が含まれると判定する。

図１５は、表示部に表示される表示画像１５０１の一例を示す図である。具体的には、表示画像１５０１には、図１４Ｂに例示する第２物体像５１２が非表示である。具体的には、表示画像１５０１においては、第２物体像５１２を含む領域に、マスク１５０２が重畳されている。そのため、表示画像１５０１においては、第２物体像５１２が非表示となる。これにより、情報処理装置１００は、第１物体像５１１の動きとの一致度５１５が判定閾値を超える物体像を含む画像が出力されることを防止できる。

図１６は、表示部１０３に表示される表示画像１６０１の一例を示す図である。具体的には、表示画像１６０１には、第２物体像５１２、物体像１４０１及び物体像１４０２のそれぞれの動きと、第１物体像５１１の動きとの一致度５１５を示す文字が、図１４Ｂに例示する第２画像４１２に重畳されて表示される。図１４Ａに例示する第１物体像５１１の動きと、第２物体像５１２の動きとの一致度５１５は、１００％である。また、図１４Ａに例示する第１物体像５１１の動きと、物体像１４０１の動きとの一致度５１５は、６０％である。また、図１４Ａに例示する第１物体像５１１の動きと、物体像１４０２の動きとの一致度５１５は、５０％である。

このように、情報処理装置１００は、表示画像１６０１を表示部１０３に表示させることで、第１撮像範囲２１１に存在する物体の動きと、第２撮像範囲２１２に存在する物体の動きとの一致度５１５を提示できる。これにより、情報処理装置１００は、第２画像４１２に含まれる複数の物体像のうちで、何れの物体像が、第１撮像範囲２１１に存在する物体の像であるかを撮影者に認識させることができる。

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態に夫々開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態に夫々開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１００情報処理装置、１０１筐体、１０２第１撮像部、１０３表示部、１０４タッチパネル、１０５正面、２０１第２撮像部、２０２背面、２１１第１撮像範囲、２１２第２撮像範囲、３０１人物、３０２反射面、４０１制御部、４０２ＲＯＭ、４０３ＲＡＭ、４１１第１画像、４１２第２画像、４１２ａ第２画像、４１２ｂ第２画像、５０１第１物体検出部、５０２第２物体検出部、５０３第１特徴検出部、５０４第２特徴検出部、５０５判定部、５０６画像処理部、５０７通知部、５１１第１物体像、５１２第２物体像、５１２ａ第２物体像、５１２ｂ第２物体像、５１３特徴量、５１４特徴量、５１５一致度、８０１像、９０１表示画像、９０２マスク、９０３メッセージ、１００１第１特徴検出部、１００２第２特徴検出部、１００３判定部、１０１１変化率、１０１２変化率、１２０１反射面、１２０２ａ像、１２０２ｂ像、１２０４第１撮像範囲、１２０５人物、１３０１人物、１３０２反射面、１３０３人物、１３０４人物、１４０１物体像、１４０２物体像、１５０１表示画像、１５０２マスク、１６０１表示画像

Claims

第１撮像範囲を撮像して第１画像を取得する第１撮像部と、
前記第１撮像範囲外である第２撮像範囲を撮像して第２画像を取得する第２撮像部と、
前記第１画像に含まれる第１物体像の特徴と判定閾値を超える一致度を有する特徴を有する第２物体像が前記第２画像に含まれるか否かを判定する判定部と、を備え、
前記判定部は、前記第１物体像における二以上の特徴点間の距離の時系列的な変化率と、前記第２物体像における二以上の特徴点間の距離の時系列的な変化率との対比結果に基づいて、前記一致度を算出する情報処理装置。
前記第２画像に前記第２物体像が含まれると判定された場合、前記第２画像に前記第２物体像が含まれることを示すメッセージを出力する通知部をさらに備える、
請求項１に記載の情報処理装置。
前記第２画像に前記第２物体像が含まれると判定された場合、前記第２物体像を非表示にする画像処理を前記第２画像に行う画像処理部をさらに備える、
請求項１または２に記載の情報処理装置。
前記第２画像を表示する表示部をさらに備え、
前記画像処理部は、前記第２画像に前記第２物体像が含まれると判定された場合、前記第２画像において前記第２物体像を非表示にした画像を前記表示部に表示させる、
請求項３に記載の情報処理装置。
前記判定部は、前記第１物体像の動きと、前記第２画像に含まれる各物体像の動きとの対比結果に基づいて、前記各物体像について前記一致度を算出し、
前記第２画像を表示する表示部と、
前記各物体像について、前記一致度を示す情報を前記第２画像に重畳して前記表示部に表示させる通知部とをさらに備える
請求項１に記載の情報処理装置。
正面と背面とを有する筐体をさらに備え、
前記第１撮像範囲は、前記正面が向く方向にあり、
前記第２撮像範囲は、前記背面が向く方向にある
請求項１～５までのいずれか１項に記載の情報処理装置。
第１撮像範囲を撮像して第１画像を取得する工程と、
前記第１撮像範囲外である第２撮像範囲を撮像して第２画像を取得する工程と、
前記第１画像に含まれる第１物体像の特徴と判定閾値を超える一致度を有する特徴を有
する第２物体像が前記第２画像に含まれるか否かを判定する工程と、を備え、
前記判定する工程は、前記第１物体像における二以上の特徴点間の距離の時系列的な変化率と、前記第２物体像における二以上の特徴点間の距離の時系列的な変化率との対比結果に基づいて、前記一致度を算出する工程を含む画像判定方法。
コンピュータに、
第１撮像範囲を撮像して第１画像を取得する機能と、
前記第１撮像範囲外である第２撮像範囲を撮像して第２画像を取得する機能と、
前記第１画像に含まれる第１物体像の特徴と判定閾値を超える一致度を有する特徴を有する第２物体像が前記第２画像に含まれるか否かを判定する機能と、を実行させ、
前記判定する機能は、前記第１物体像における二以上の特徴点間の距離の時系列的な変化率と、前記第２物体像における二以上の特徴点間の距離の時系列的な変化率との対比結果に基づいて、前記一致度を算出する機能を実行するプログラム。
第１撮像範囲を撮像して第１画像を取得する第１撮像部と、
前記第１撮像範囲外である第２撮像範囲を撮像して第２画像を取得する第２撮像部と、
前記第１画像に含まれる第１物体像の特徴と判定閾値を超える一致度を有する特徴を有する第２物体像が前記第２画像に含まれるか否かを判定する判定部と、
前記第２画像を表示する表示部と、
通知部と、備え、
前記判定部は、前記第１物体像の動きと、前記第２画像に含まれる各物体像の動きとの対比結果に基づいて、前記各物体像について前記一致度を算出し、
前記通知部は、前記各物体像について、前記一致度を示す情報を前記第２画像に重畳して前記表示部に表示させる情報処理装置。
第１撮像範囲を撮像して第１画像を取得する工程と、
前記第１撮像範囲外である第２撮像範囲を撮像して第２画像を取得する工程と、
前記第１画像に含まれる第１物体像の特徴と判定閾値を超える一致度を有する特徴を有する第２物体像が前記第２画像に含まれるか否かを判定する工程と、
前記第２画像を表示部に表示させる工程と、備え、
前記判定する工程は、前記第１物体像の動きと、前記第２画像に含まれる各物体像の動きとの対比結果に基づいて、前記各物体像について前記一致度を算出し、
前記表示させる工程において、前記各物体像について、前記一致度を示す情報を前記第２画像に重畳して前記表示部に表示させる画像判定方法。
コンピュータに、
第１撮像範囲を撮像して第１画像を取得する機能と、
前記第１撮像範囲外である第２撮像範囲を撮像して第２画像を取得する機能と、
前記第１画像に含まれる第１物体像の特徴と判定閾値を超える一致度を有する特徴を有する第２物体像が前記第２画像に含まれるか否かを判定する機能と、
前記第２画像を表示部に表示させる機能と、を実行させ、
前記判定する機能は、前記第１物体像の動きと、前記第２画像に含まれる各物体像の動きとの対比結果に基づいて、前記各物体像について前記一致度を算出する機能を含み、
前記表示させる機能において、前記各物体像について、前記一致度を示す情報を前記第２画像に重畳して前記表示部に表示させるプログラム