JP7119348B2

JP7119348B2 - 情報処理システム、情報処理方法及びプログラム

Info

Publication number: JP7119348B2
Application number: JP2017221870A
Authority: JP
Inventors: 静生坂本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-11-17
Filing date: 2017-11-17
Publication date: 2022-08-17
Anticipated expiration: 2037-11-17
Also published as: JP2019095827A

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

特許文献１には、ニューラルネットワークを用いた画像認識方法が開示されている。当該画像認識方法では、入力画像を原画画像との相関を強く持つように圧縮し、圧縮された画像データを入力することでニューラルネットワークの学習を行わせる手法が採用されている。

特開平５－３０３６２６号公報

特許文献１に記載されているようなニューラルネットワークの学習方法において、入力される画像が対象物の分類対象とする領域の形状以外の情報を多く含んでいると、特徴抽出精度が低下する場合がある。

本発明は、上述の課題に鑑みてなされたものであって、より精度よく対象物の形状の特徴抽出を行うことができる情報処理システム、情報処理方法及びプログラムを提供することを目的とする。

本発明の一観点によれば、画像中の対象物のうちの着目領域の形状を含む形状データを取得する取得部と、前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出する特徴抽出部と、前記特徴抽出部により抽出された前記対象物の形状の特徴に基づいて、複数の形状をそれぞれ示す複数の画像同士を、形状が類似する当該画像を形状が類似しない当該画像同士よりも近い位置に配置した特徴マップを生成するマップ生成部と、を備え、前記特徴マップの各点には、形状を示す特徴情報が対応づけられており、前記特徴マップの位置を選択することで特徴を入力し、形状を示す画像が点に対応付けられていない箇所が選択された場合、当該特徴を有する形状が選択されたものとして扱う、ことを特徴とする情報処理システムが提供される。

本発明の他の観点によれば、画像中の対象物のうちの着目領域の形状を含む形状データを取得するステップと、前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出するステップと、抽出された前記対象物の形状の特徴に基づいて、複数の形状をそれぞれ示す複数の画像同士を、形状が類似する当該画像を形状が類似しない当該画像同士よりも近い位置に配置した特徴マップを生成するステップと、を備え、前記特徴マップの各点には、形状を示す特徴情報が対応づけられており、前記特徴マップの位置を選択することで特徴を入力し、形状を示す画像が点に対応付けられていない箇所が選択された場合、当該特徴を有する形状が選択されたものとして扱う、ことを特徴とする情報処理方法が提供される。

本発明の更に他の観点によれば、コンピュータに、画像中の対象物のうちの着目領域の形状を含む形状データを取得するステップと、前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出するステップと、抽出された前記対象物の形状の特徴に基づいて、複数の形状をそれぞれ示す複数の画像同士を、形状が類似する当該画像を形状が類似しない当該画像同士よりも近い位置に配置した特徴マップを生成するステップと、を実行させ、前記特徴マップの各点には、形状を示す特徴情報が対応づけられており、前記特徴マップの位置を選択することで特徴を入力し、形状を示す画像が点に対応付けられていない箇所が選択された場合、当該特徴を有する形状が選択されたものとして扱う、ことを特徴とするプログラムが提供される。

本発明によれば、より精度よく対象物の形状の特徴抽出を行うことができる情報処理システム、情報処理方法及びプログラムを提供することができる。

第１実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。第１実施形態に係る情報処理システムの機能ブロック図である。第１実施形態に係る情報処理システムにより行われる処理の概略を示すフローチャートである。第１実施形態に係る形状データの生成を示す模式図である。第１実施形態に係る特徴抽出部の構成を示す模式図である。第１実施形態に係る情報処理システムにより抽出された特徴パラメータを用いて生成された特徴マップの表示例を示す模式図である。第１実施形態に係る情報処理システムと、特徴マップを用いたＧＵＩを備える検索システムとを含む概略ブロック図である。第２実施形態に係る情報処理システムの機能ブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
以下、本発明の第１実施形態である情報処理システム１０について説明する。本実施形態の情報処理システム１０は、画像の中に含まれる物体のうちの分類対象として着目した箇所の形状の特徴を示すパラメータを抽出するための画像処理を行うシステムである。本実施形態では、主たる例として自転車の一部の形状を分類するための特徴抽出処理について具体的に説明するが、本実施形態の情報処理システム１０の適用対象はこれに限られるものではない。

なお、本明細書において、「画像」の文言は、２次元の静止画像のみならず、複数の静止画像により構成される動画像、奥行き方向の情報を含む３次元画像を含み得る。また、「画像」の文言は、ディスプレイ等に表示された画像自体のみならず、静止画像データ、動画像データ、３次元モデルデータ等の画像を構成するためのデータを指す場合がある。

また、本明細書において「自転車」とは、ペダル又はハンドクランクを用い、主に乗員の人力で駆動操縦され、かつ、駆動車輪をもち、地上を走行する車両の総称である。したがって、自転車に含まれる車輪の個数は特に限定されず、「自転車」は、２輪自転車だけではなく、３輪自転車、補助輪付き自転車等も含み得る。また、補助的な動力を有する電動アシスト自転車も「自転車」に含まれる。

図１は、本実施形態に係る情報処理システム１０のハードウェア構成例を示すブロック図である。情報処理システム１０は、例えば、サーバ、デスクトップＰＣ（Personal Computer）、ラップトップＰＣ、タブレットＰＣ等のコンピュータであり得る。また、情報処理システム１０は、スマートフォン、携帯電話等の情報通信端末であってもよい。

情報処理システム１０は、演算、制御及び記憶を行うコンピュータとしての機能を実現するため、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３及びＨＤＤ（Hard Disk Drive）１０４を備える。また、情報処理システム１０は、通信Ｉ／Ｆ（インターフェース）１０５、表示装置１０６及び入力装置１０７を備える。ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、通信Ｉ／Ｆ１０５、表示装置１０６及び入力装置１０７は、バス１０８を介して相互に接続される。なお、表示装置１０６及び入力装置１０７は、これらの装置を駆動するための不図示の駆動装置を介してバス１０８に接続されてもよい。

図１では、情報処理システム１０を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、表示装置１０６及び入力装置１０７は、ＣＰＵ１０１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。

ＣＰＵ１０１は、ＲＯＭ１０３、ＨＤＤ１０４等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理システム１０の各部を制御する機能をも有する。ＲＡＭ１０２は、揮発性記憶媒体から構成され、ＣＰＵ１０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１０３は、不揮発性記憶媒体から構成され、情報処理システム１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１０４は、不揮発性記憶媒体から構成され、画像データ、プログラム等の記憶を行う記憶装置である。

通信Ｉ／Ｆ１０５は、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１０６は、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１０７は、キーボード、ポインティングデバイス等であって、ユーザが情報処理システム１０を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル等が挙げられる。表示装置１０６及び入力装置１０７は、タッチパネルとして一体に形成されていてもよい。

なお、図１に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１０４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

図２は、本実施形態に係る情報処理システム１０の機能ブロック図である。情報処理システム１０は、画像取得部１１０、形状データ取得部１２０、特徴抽出部１３０、マップ生成部１４０及び記憶部１５０を有する。

ＣＰＵ１０１は、ＲＯＭ１０３等に記憶されたプログラムをＲＡＭ１０２にロードして実行することにより、画像取得部１１０、形状データ取得部１２０、特徴抽出部１３０及びマップ生成部１４０の機能を実現する。これらの各部で行われる処理については後述する。ＣＰＵ１０１は、ＨＤＤ１０４を制御することにより記憶部１５０の機能を実現する。記憶部１５０は、画像データ、形状データ、学習済みデータ、特徴パラメータ、特徴マップ等のデータを記憶するデータベースとして機能する。

図３乃至図６を参照して、本実施形態における処理の概要について説明する。図３は、本実施形態に係る情報処理システム１０により行われる処理の概略を示すフローチャートである。図４は、本実施形態に係る形状データの生成を示す模式図である。図５は、本実施形態に係る特徴抽出部１３０の構成を示す模式図である。図６は、本実施形態に係る情報処理システム１０により抽出された特徴パラメータを用いて生成された特徴マップの表示例を示す模式図である。図３のフローチャートの処理順に沿って、適宜図４乃至図６を参照しつつ、本実施形態における処理を説明する。

情報処理システム１０による処理が開始すると、ステップＳ１０１からステップＳ１０４のループにおいて特徴パラメータの抽出が行われる。このループでは、特徴を抽出しようとする対象物が含まれる複数の画像のそれぞれに対し、特徴パラメータの抽出が行われる。

ステップＳ１０１において、画像取得部１１０は、特徴を抽出しようとする対象物が含まれる画像をデータサーバ等の他の装置から取得し、記憶部１５０に記憶させる。なお、当該画像は、情報処理システム１０内の記憶部１５０にあらかじめ記憶されていてもよく、その場合ステップＳ１０１は省略可能である。また、当該画像は、縦方向及び横方向に並ぶ多数のピクセルにより構成される静止画像のデジタルデータである。

ステップＳ１０２において、形状データ取得部１２０は、記憶部１５０から画像を取得し、当該画像中の対象物のうちの分類対象として着目した着目領域の形状を示す形状データを取得する。なお、形状データ取得部１２０は、単に取得部と呼ばれることもある。形状データの取得について、図４を参照してより詳細に説明する。

図４には、ステップＳ１０１において取得された画像２００が図示されている。画像２００には、特徴を抽出しようとする対象物である自転車２１０が含まれている。自転車２１０の一部分であるフレーム２２１は、トップチューブ２２２、ダウンチューブ２２３及びシートチューブ２２４が大きな三角形をなしているという特徴的な形状を有している。そこで、フレーム２２１の形状を分類対象とするため、形状データ取得部１２０は、自転車２１０の中のフレーム２２１のうちのトップチューブ２２２、ダウンチューブ２２３及びシートチューブ２２４を含む領域を検出し、着目領域２２０として設定する。

その後、形状データ取得部１２０は、画像２００の一部を切り出すことにより、着目領域２２０内のフレーム２２１の形状を示す形状データとして、フレーム２３１を含む着目領域画像２３０を取得する。このように、形状データ取得部１２０は、分類対象として着目した着目領域２２０内の物体の形状以外の情報のうちの少なくとも一部を除外して着目領域画像２３０を取得する。これにより、後述の特徴抽出の処理の精度を向上させることができる。着目領域２２０の設定は、手動又は機械学習によりあらかじめ設定された座標によるものであってもよく、画像認識技術により画像２００の中の対象物の位置を検出して自動的に設定されるものであってもよい。手動又は自動による着目領域２２０の座標の設定方法の一例として以下の手法が挙げられる。ユーザが、キーボード等の入力装置１０７から直接座標の値を入力してもよい。また、直接座標そのものを入力するのではなく、ユーザが検出しようとする形状の特徴、検出目的等を文字、プルダウンメニュー等により入力し、その入力に基づいて自動的に着目領域２２０が設定されてもよい。また、過去に行われた処理の履歴に基づいて自動的に着目領域２２０が選択されてもよい。

ここで、形状データ取得部１２０は、グレースケール又は二値に変換する処理を行うことにより、フレーム２２１の色に関する情報を除去して着目領域画像２３０を取得することが望ましい。また、この処理はエッジ抽出等、色情報の除去とともに対象物の外形を得るものであってもよい。図４では、フレーム２２１の部分を二値化することにより、黒色に変換されたフレーム２３１を含む着目領域画像２３０を取得した例が示されている。フレーム２３１の色はフレーム２３１の特徴の１つではあるが、フレーム２３１との形状とは直接関係しない余分な情報であり、特徴抽出の精度劣化要因となることがある。そのため、色に関する情報を除去することにより後述の特徴抽出の処理の精度を向上させることができる。

また、形状データ取得部１２０は、特徴抽出対象として着目するフレーム２２１以外の物体を着目領域画像２３０から除去する処理を更に行うことが望ましい。図４では、着目領域２２０内には、ハンドル、タイヤ、ペダル等の物体の一部が含まれているが、取得された着目領域画像２３０からはフレーム２３１以外の物体が除去されている。着目領域画像２３０にフレーム２３１との形状とは直接関係しない物体が含まれていると、特徴抽出の精度劣化要因となることがある。そのため、フレーム２３１以外の物体を除去することにより後述の特徴抽出の処理の精度を向上させることができる。

なお、画像２００を取得し、画像２００から着目領域画像２３０を切り出して形状データを取得する作業は、上述の説明のようにコンピュータにより自動的に行われるものであってもよいが、ユーザの操作に基づいて行われるものであってもよい。例えば、ユーザが入力装置１０７であるポインティングデバイス等を用いて着目領域２２０の座標を入力することにより着目領域２２０が設定されてもよい。あるいは、画像処理ソフトウェアを用いて、ユーザがあらかじめ画像２００から着目領域画像２３０を切り出して記憶部１５０に記憶させておいてもよい。この場合、形状データ取得部１２０は、記憶部１５０に記憶されている着目領域画像２３０を読み出して、着目領域画像２３０を取得する。

図３のステップＳ１０３において、特徴抽出部１３０は、形状データ取得部１２０で取得された形状データに基づく入力データを用いた機械学習を行う。この機械学習について、図５を参照してより詳細に説明する。

特徴抽出部１３０は、オートエンコーダ３００を含む。オートエンコーダ３００は、入力データと出力データとが同一のデータとなることを特徴とするニューラルネットワークであり、複数のニューロン３０１が入力層、中間層及び出力層の少なくとも３層をなして配された構成をなしている。

着目領域画像２３０を構成する複数のピクセル２３２の値は、入力層の複数のニューロン３０１に入力される。ピクセル２３２の値が２値化されている場合には、入力値は、例えば、黒色を示す値又は白色を示す値である。入力層の複数のニューロン３０１は中間層の複数のニューロン３０１と結合されており、中間層の複数のニューロン３０１は出力層の複数のニューロン３０１と結合されている。出力層の複数のニューロン３０１から出力される値が入力層の複数のニューロン３０１に入力された複数のピクセル２３２の値と一致するように各ニューロン３０１のパラメータを調整することにより、オートエンコーダ３００の機械学習が行われる。

図３のステップＳ１０４において、特徴抽出部１３０は、機械学習により得られた中間層のニューロン３０１のパラメータを特徴パラメータとして抽出し、記憶部１５０に記憶させる。中間層のニューロン３０１は、入力されたフレーム２３１の形状の特徴を示す。したがって、中間層のニューロン３０１のパラメータは、着目領域画像２３０に含まれる物体の形状の特徴を示す特徴パラメータとして用いられ得る。

なお、入力層と出力層のニューロン３０１の個数（次元数）は同数とする。また、中間層のニューロン３０１の個数（次元数）は、入力層のニューロン３０１の個数及び出力層のニューロン３０１の個数よりも少なくなるように構成されることが望ましい。この構成により、中間層において入力データの次元を削減することができ、より少ないパラメータ数で特徴の抽出を行うことができる。

以上のように、本実施形態では、画像２００を着目領域の形状を示す形状データに変形してから特徴抽出部１３０に入力することで、入力データから着目した領域の形状とは関連性が小さい情報を少なくすることができる。これにより、機械学習での特徴抽出時に色、模様、着目領域２２０外の部分の形状等の要素による外乱を低減することができ、より精度よく対象物の形状の特徴抽出を行うことができる。また、入力データのデータ量を少なくすることができるため、処理負荷を小さくすることができる。

なお、図５では、着目領域画像２３０のピクセル２３２の値をオートエンコーダ３００にそのまま入力しているが、この処理は、ＣＮＮ（Convolutional Neural Network）に置き換えられてもよい。この場合、オートエンコーダ３００のニューロン３０１の構成は、ＣＮＮに対応可能なように畳み込み層、プーリング層等を含む構成に変形され得る。

ステップＳ１０１からステップＳ１０４までのループを繰り返し、特徴を抽出しようとする対象物が含まれる複数の画像のすべてに対して特徴パラメータの抽出が完了すると、処理はステップＳ１０５に移行する。

図３のステップＳ１０５において、マップ生成部１４０は、特徴抽出部１３０により抽出された複数の特徴パラメータと特徴パラメータに対応するフレームの画像とを用いて特徴マップの生成を行い、記憶部１５０に記憶させる。特徴マップとは、情報処理システム１０により抽出された対象物の形状の特徴に基づいて対象物の形状の分類を表示した画像である。特徴マップを参照することにより、ユーザは、対象物の形状の分類を視覚的に把握することができる。図６及び図７を参照して特徴マップとこれを用いたＧＵＩ（Graphical User Interface）への適用例を説明する。

図６に示されているように、特徴マップには、自転車の一部であるフレームの形状を示す多数の画像が２次元平面上に配置されている。図６において、複数のフレームの画像は、それぞれフレームの特徴に応じた位置に配置されている。この位置は、各フレームの形状の特徴パラメータに応じて定められる。図６の左側には、ステップスルー型と呼ばれる、フレームが斜めになっており乗り降りが容易なフレームが配されている。左上に近いほどフレームの形状が直線的であり、左下に近いほどフレームの形状が曲線的である。右側にはダイヤモンド型と呼ばれる、三角形の形状を有するフレームが配されており、左上から右下に向かうにつれて、トップチューブの形状が斜めから水平に変化するように配置されている。このように、形状が類似したフレーム同士は近い位置に、形状の違いが大きいフレーム同士は離れた位置に配置される。

この特徴マップは、例えば、自転車の検索システムのためのＧＵＩとして用いられ得る。図７は、本実施形態に係る情報処理システム１０と、特徴マップを用いたＧＵＩを備える検索システム４０とを含む概略ブロック図である。検索システム４０は、情報処理システム１０の記憶部１５０に記憶された特徴マップを取得する。特徴マップは、検索システム４０のＧＵＩの操作部に表示される。このＧＵＩでは、ユーザは、検索しようとする自転車に近いフレームを特徴マップの中から探し、類似したフレームの近傍の位置をポインティングデバイスで選択することにより、フレームの特徴を入力することができる。なお、図７では情報処理システム１０と検索システム４０とが別個のブロックとして示されているが、検索システム４０が情報処理システム１０の一機能として設けられていてもよく、情報処理システム１０が検索システム４０の一機能として設けられていてもよい。

一例として、ユーザが、図４の自転車２１０に近いフレームを持つ自転車を検索したいと考えた場合を想定する。図４の自転車２１０のフレーム２２１はトップチューブ２２２、ダウンチューブ２２３及びシートチューブ２２４が大きな三角形をなしており、上辺がほぼ水平であるという特徴を有している。ユーザは、図６の特徴マップを参照してこの中から自転車２１０のフレームに近いフレームを探す。右下付近のフレームが上述の特徴に近いため、ユーザは、図６の特徴マップの右下付近の位置をクリックする。２次元マップの各点には、自転車のフレームの形状を示す特徴情報が対応付けられている。そのため、ユーザは、特徴マップの位置を選択するだけで特徴を入力することができ、検索システム４０での内部処理に用いられる特徴情報自体を直接入力する必要はない。なお、類似するフレームが特徴マップ上に無い場合には、フレームが無い場所を選択することもできる。例えば、図６の下側中央付近を選択した場合には、左下のフレームと右下のフレームの中間的な形状を選択したものとして扱われる。

画像検索の技術において、文字、文章、数字等により画像の特徴を入力する手法が一般的である。この技術では、検索に先立ってユーザが自転車の特徴を文字、文章、数字等により表現する必要があるが、自転車のフレーム等の特徴部の形状を文字、文章等で表現することは容易ではない。フレームの形状には、ダイヤモンド型、ステップスルー型、ミキスト型等の名称があるが、これらの名称はあまり一般的なものではなく、ユーザがこれらを熟知しているとは限らない。これに対し、本実施形態の特徴マップを用いたＧＵＩであれば、似た形状のフレームの位置を選択するだけでよく、直感的な入力が可能であるため、ユーザは、容易に自転車の特徴を入力することができ、容易に検索を行うことができる。

なお、ステップＳ１０５の処理及びこれを用いたＧＵＩは、特徴パラメータの具体的な利用方法の一例であり、特徴パラメータは、これ以外の処理に適用されてもよい。

上述の処理では、画像中の対象物のうちの形状データを取得する部分として、自転車２１０のフレーム２２１が選択されているが、自転車２１０のフレーム２２１以外の部分であってもよい。例えば、チェーンカバー、ペダル、タイヤ、サドル、ハンドル、かご、発電機、ライト等の部分であってもよい。このように、分類対象として着目した領域がフレーム２２１以外の部分である場合にも同様の処理が可能である。

また、上述の処理において、対象物は、自転車以外の物体であってもよい。例えば対象物が二輪自動車である場合には、取得される形状データは、ハンドル、燃料タンク、マフラー等の形状を示す画像データであり得る。これにより、情報処理システム１０は、二輪自動車の形状の特徴を示す特徴パラメータの抽出を行うことができる。二輪自動車の場合も自転車の場合と同様にして特徴マップの生成を行うことができ、検索システム４０のＧＵＩに適用することができる。

また、本明細書において、「二輪自動車」とは、２個の車輪を備える２軸自動車を指す。ただし、「二輪自動車」は、側車付きのものを含むものとする。

また、上述の処理において、画像取得部１１０によって取得される画像データは、静止画像データに限られず、動画像データであってもよい。一例として、動画像に走っている人間が含まれているものとする。この場合、特徴を抽出しようとする対象物は人間である。形状データ取得部１２０は、人間の動きを示す動画像、すなわち、時間に応じて位置及び形状が変化する人間の動画像をシルエットに変換して形状データとして取得する。このとき、人間以外の部分、例えば、背景は除外される。これにより、情報処理システム１０は、動画像に含まれる人間の動きの分類を示す特徴パラメータの抽出を行うことができる。この例による情報処理システム１０は、具体的には走っている人間の体型及び動きの特徴を抽出することができ、ジェスチャーに基づく人物の照合、走り方の特徴分析の研究等の用途への応用が可能である。なお、画像の例の場合と同様の理由により、本例においてもシルエットへの変換時に色情報を削除することが望ましい。

また、上述の処理において、画像取得部１１０によって取得されるデータは、静止画像データ、動画像データ等の画像データに限られず、３次元モデルデータであってもよい。３次元モデルデータの例としては、３次元ＣＡＤ（Computer-Aided Design）データ、３次元測定装置等により得られた３次元形状測定データ等であり得る。この場合、特徴を抽出しようとする対象物は３次元物体である。形状データ取得部１２０は、対象物の３次元モデルデータをボクセル等のボリュームデータに変換して形状データとして取得する。このとき、３次元モデルデータのうち着目する部分以外のデータは除外される。これにより、情報処理システム１０は、３次元の対象物の形状の分類を示す特徴パラメータの抽出を行うことができる。この例による情報処理システム１０は、例えば、工業製品の形状解析、顔認証等、３次元形状の解析を行うことがある技術への応用が可能である。なお、２次元画像の例の場合と同様の理由により、本例においてもボリュームデータへの変換時に色情報を削除することが望ましい。

上述の実施形態において説明したシステムは以下の第２実施形態のようにも構成することができる。

［第２実施形態］
図８は、第２実施形態に係る情報処理システム５０の機能ブロック図である。情報処理システム５０は、取得部５１０及び特徴抽出部５２０を備える。取得部５１０は、画像中の対象物のうちの着目領域の形状を含む形状データを取得する。特徴抽出部５２０は、前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出する。

本実施形態によれば、より精度よく対象物の形状の特徴抽出を行うことができる情報処理システム５０を提供することができる。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

上述の実施形態において、形状データの例として、着目領域画像２３０等の画像を挙げたが、これに限定されるものではない。例えば形状データは、フレーム２３１の頂点の座標など、特徴となる形状を特定するための位置を示す数値データであってもよい。

また上述の実施形態において、形状データの取得の例として、着目領域画像２３０を画像２００から切り出す処理を行っているが、他の処理であってもよい。例えば着目領域２２０以外の領域のピクセルの値をランダムな値又は一様な値に変換することで、着目領域２２０以外の領域から特徴が抽出されないようにする処理を行っても同様の効果が得られる。

上述の特徴マップの生成において、特徴パラメータに基づいて特徴マップを生成する際に、特徴マップを人間が理解しやすいように調整する処理を行ってもよい。機械学習により自動的に抽出された特徴は、人間にとって理解しやすく整理されたものであるとは限らない。一方、特徴マップをＧＵＩ等の人間が直接利用する用途に用いる場合、抽出された特徴は人間が理解しやすいものであることが望ましい。そのため、特徴マップを人間が理解しやすいように調整することが有効である場合がある。

図６に示されている特徴マップは、視認性と特徴の網羅性のバランスが良い２次元平面状となっているが、特徴マップの次元数はこれに限定されない。特徴マップは、縦又は横に特徴画像が並ぶ１次元状であってもよく、奥行きを表現した３次元状であってもよい。１次元状であれば、特徴マップを視認性が良く直感的にわかりやすいものにすることができる。３次元状であれば、多数の特徴を表現できるため、特徴マップを特徴の網羅性が良いものにすることができる。その他にも、２次元平面状の特徴マップを奥行き方向に複数枚重ねることで２．５次元状としたものであってもよい。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
画像中の対象物のうちの着目領域の形状を含む形状データを取得する取得部と、
前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出する特徴抽出部と
を備えることを特徴とする情報処理システム。

（付記２）
前記特徴抽出部は、出力データが前記入力データと同一となるように機械学習を行うオートエンコーダを含む
ことを特徴とする付記１に記載の情報処理システム。

（付記３）
前記オートエンコーダは、入力層と、中間層と、出力層とを含み、
機械学習により得られた前記中間層のパラメータが、前記着目領域の特徴として抽出される
ことを特徴とする付記２に記載の情報処理システム。

（付記４）
前記中間層の次元数は、前記入力層の次元数及び前記出力層の次元数よりも小さい
ことを特徴とする付記３に記載の情報処理システム。

（付記５）
前記取得部は、前記着目領域の形状以外の情報のうちの少なくとも一部を除外するように前記形状データを取得する
ことを特徴とする付記１乃至４のいずれか１項に記載の情報処理システム。

（付記６）
前記形状データは、前記対象物の一部分の形状を示す
ことを特徴とする付記１乃至５のいずれか１項に記載の情報処理システム。

（付記７）
前記形状データは、前記対象物の色に関する情報を含まない
ことを特徴とする付記１乃至６のいずれか１項に記載の情報処理システム。

（付記８）
前記形状データは、静止画像データ、動画像データ又は３次元モデルデータである
ことを特徴とする付記１乃至７のいずれか１項に記載の情報処理システム。

（付記９）
前記対象物は自転車であり、前記形状データは、前記自転車のフレーム、チェーンカバー、ペダル、タイヤ、サドル、ハンドル、かご、発電機又はライトの形状を示す画像データである
ことを特徴とする付記１乃至８のいずれか１項に記載の情報処理システム。

（付記１０）
前記対象物は二輪自動車であり、前記形状データは、前記二輪自動車のハンドル、燃料タンク又はマフラーの形状を示す画像データである
ことを特徴とする付記１乃至８のいずれか１項に記載の情報処理システム。

（付記１１）
前記対象物は人間であり、前記形状データは、前記人間のシルエットの動きを示す動画像データである
ことを特徴とする付記１乃至８のいずれか１項に記載の情報処理システム。

（付記１２）
前記対象物は３次元物体であり、前記形状データは、前記３次元物体のボリュームデータである
ことを特徴とする付記１乃至８のいずれか１項に記載の情報処理システム。

（付記１３）
前記特徴抽出部により抽出された前記対象物の形状の特徴に基づいて、前記対象物の形状の分類を表示した特徴マップを生成するマップ生成部を更に備える
ことを特徴とする付記１乃至１２のいずれか１項に記載の情報処理システム。

（付記１４）
付記１３に記載の情報処理システムにより生成された特徴マップを用いたＧＵＩ（Graphical User Interface）を備える検索システム。

（付記１５）
画像中の対象物のうちの着目領域の形状を含む形状データを取得するステップと、
前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出するステップと
を備えることを特徴とする情報処理方法。

（付記１６）
コンピュータに、
画像中の対象物のうちの着目領域の形状を含む形状データを取得するステップと、
前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出するステップと
を実行させることを特徴とするプログラム。

１０、５０情報処理システム
１１０画像取得部
１２０形状データ取得部
１３０、５２０特徴抽出部
１４０マップ生成部
１５０記憶部
５１０取得部

Claims

画像中の対象物のうちの着目領域の形状を含む形状データを取得する取得部と、
前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出する特徴抽出部と、
前記特徴抽出部により抽出された前記対象物の形状の特徴に基づいて、複数の形状をそれぞれ示す複数の画像同士を、形状が類似する当該画像を形状が類似しない当該画像同士よりも近い位置に配置した特徴マップを生成するマップ生成部と、
を備え、
前記特徴マップの各点には、形状を示す特徴情報が対応づけられており、前記特徴マップの位置を選択することで特徴を入力し、形状を示す画像が点に対応付けられていない箇所が選択された場合、当該特徴を有する形状が選択されたものとして扱う、
ことを特徴とする情報処理システム。
前記特徴抽出部は、出力データが前記入力データと同一となるように機械学習を行うオートエンコーダを含む
ことを特徴とする請求項１に記載の情報処理システム。
前記オートエンコーダは、入力層と、中間層と、出力層とを含み、
前記機械学習により得られた前記中間層のパラメータが、前記着目領域の特徴として抽出される
ことを特徴とする請求項２に記載の情報処理システム。
前記中間層の次元数は、前記入力層の次元数及び前記出力層の次元数よりも小さい
ことを特徴とする請求項３に記載の情報処理システム。
前記取得部は、前記着目領域の形状以外の情報のうちの少なくとも一部を除外するように前記形状データを取得する
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
前記形状データは、前記対象物の一部分の形状を示す
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
前記形状データは、前記対象物の色に関する情報を含まない
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
前記形状データは、静止画像データ、動画像データ又は３次元モデルデータである
ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
前記対象物は自転車であり、前記形状データは、前記自転車のフレーム、チェーンカバー、ペダル、タイヤ、サドル、ハンドル、かご、発電機又はライトの形状を示す画像データである
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
前記対象物は二輪自動車であり、前記形状データは、前記二輪自動車のハンドル、燃料タンク又はマフラーの形状を示す画像データである
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
前記対象物は人間であり、前記形状データは、前記人間のシルエットの動きを示す動画像データである
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
前記対象物は３次元物体であり、前記形状データは、前記３次元物体のボリュームデータである
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
前記特徴マップは、前記対象物の形状の分類を表示する
ことを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理システム。
請求項１３に記載の情報処理システムにより生成された特徴マップを用いたＧＵＩ（Graphical User Interface）を備える検索システム。
前記特徴マップの配置は、形状の特徴パラメータに応じて定められ、当該特徴パラメータに該当しないほど、前記特徴マップにおいて中央から離れた位置に配置される、
ことを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理システム。
画像中の対象物のうちの着目領域の形状を含む形状データを取得するステップと、
前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出するステップと、
抽出された前記対象物の形状の特徴に基づいて、複数の形状をそれぞれ示す複数の画像同士を、形状が類似する当該画像を形状が類似しない当該画像同士よりも近い位置に配置した特徴マップを生成するステップと、
を備え、
前記特徴マップの各点には、形状を示す特徴情報が対応づけられており、前記特徴マップの位置を選択することで特徴を入力し、形状を示す画像が点に対応付けられていない箇所が選択された場合、当該特徴を有する形状が選択されたものとして扱う、
ことを特徴とする情報処理方法。
コンピュータに、
画像中の対象物のうちの着目領域の形状を含む形状データを取得するステップと、
前記形状データに基づく入力データを用いて、前記着目領域の形状の分類を示す特徴を抽出するステップと、
抽出された前記対象物の形状の特徴に基づいて、複数の形状をそれぞれ示す複数の画像同士を、形状が類似する当該画像を形状が類似しない当該画像同士よりも近い位置に配置した特徴マップを生成するステップと、
を実行させ、
前記特徴マップの各点には、形状を示す特徴情報が対応づけられており、前記特徴マップの位置を選択することで特徴を入力し、形状を示す画像が点に対応付けられていない箇所が選択された場合、当該特徴を有する形状が選択されたものとして扱う、
ことを特徴とするプログラム。