JP7188527B2 - 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム - Google Patents

Description

本発明は、測定対象の物体を撮影した撮影画像から物体の長さを測定する技術に関する。

魚の養殖技術の向上のために、養殖している魚の成長を観測することが行われている。特許文献１には、魚の観測に関わる技術が開示されている。この特許文献１における技術では、水槽の上方側（あるいは底側）と横側から撮影された魚の背側（あるいは腹側）の撮影画像と、頭側の正面の撮影画像とに基づいて、魚の頭、胴体、尾ひれ等の部位の形状や大きさが部位毎に推定される。その魚の部位毎の形状や大きさの推定は、各部位毎に与えられている複数のテンプレート画像を利用して行われる。すなわち、各部位毎の撮影画像がそれぞれ各部位毎のテンプレート画像に照合され、撮影画像に合うテンプレート画像中の魚の部位における大きさ等の既知の情報に基づいて、魚の各部位毎の大きさ等が推定される。

特許文献２には、水中の魚を動画カメラと静止画カメラによって撮影し、撮影された動画および静止画に基づいて、魚影を検知する技術が開示されている。また、特許文献２には、画像サイズ（画素数）によって、魚のサイズを推定する構成が示されている。

特開２００３－２５０３８２号公報 特開２０１３－２０１７１４号公報

特許文献１に記載されている技術では、テンプレート画像中の魚の部位における既知の大きさの情報に基づいて魚の部位の大きさが推定されている。つまり、特許文献１における技術では、テンプレート画像中の魚の部位の大きさが測定対象の魚の部位の大きさとして検知されているにすぎず、測定対象の魚の部位の大きさを測定していないので、大きさの検知精度を高めにくいという問題が生じる。

特許文献２には、魚影サイズとして画像サイズ（画素数）を検知する構成は示されているものの、魚の実際の大きさを検知する構成は開示されていない。

本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影画像に基づいて測定対象の物体の長さを容易に、かつ、精度良く検知できる技術を提供することにある。

本発明の魚体長さ測定システムは、
水中を泳ぐ魚体が撮影されている撮影画像から、測定対象の魚体における特徴部位である頭及び尾を、参考部位画像を用いて検知する検知手段と 、
検知した測定対象の魚体における頭と尾の間の長さを算出する算出手段と、
撮影画像上に、測定対象の魚体を囲む枠と、長さの両端に対応する頭と尾を示す表示と、を表示させる表示制御手段と 、を備え、
参考部位画像は、くねりが入っている特徴部位の画像または異なる水深における特徴部位の画像を含む。

本発明の魚体長さ測定方法は、
コンピュータが、
魚体が撮影されている撮影画像から、測定対象の魚体における特徴部位である頭及び尾を、くねりが入っている特徴部位の画像または異なる水深における特徴部位の画像を含む参考部位画像を用いて検知し、
測定対象の魚体における頭と尾の間の長さを算出し、
撮影画像上に、測定対象の魚体を囲む枠と、長さの両端に対応する頭と尾を示す表示と、を表示させる。

本発明の魚体長さ測定プログラムは、
コンピュータに、
魚体が撮影されている撮影画像から、測定対象の魚体における特徴部位である頭及び尾を、くねりが入っている特徴部位の画像または異なる水深における特徴部位の画像を含む参考部位画像を用いて検知する処理と、
測定対象の魚体における頭と尾の間の長さを算出する処理と、
撮影画像上に、測定対象の魚体を囲む枠と、長さの両端に対応する頭と尾を示す表示と、を表示させる処理と、を実行させる。

なお、本発明の主な目的は、本発明の魚体長さ測定方法によっても達成される。

また、本発明の主な目的は、本発明のコンピュータプログラムおよび当該コンピュータプログラムを記憶するプログラム記憶媒体によっても達成される。

本発明によれば、撮影画像に基づいて測定対象の物体の長さを容易に、かつ、精度良く検知できる。

本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。 第１実施形態の情報処理装置を備える長さ測定システムの構成を簡略化して表すブロック図である。 本発明に係る第２実施形態の情報処理装置の構成を簡略化して表すブロック図である。 第２実施形態の情報処理装置に撮影画像を提供する撮影装置（カメラ）を支持する支持部材を説明する図である。 第２実施形態の情報処理装置に撮影画像を提供する撮影装置（カメラ）を支持する支持部材におけるカメラの搭載例を説明する図である。 第２実施形態において、カメラが測定対象の物体である魚を撮影する態様を説明する図である。 測定対象の物体である魚を撮影した撮影画像を表示装置に表示する表示態様の一例を説明する図である。 第２実施形態の情報処理装置の処理で使用する調査範囲の一例を説明する図である。 魚の長さ測定に利用する特徴部位の参考データの例を表す図である。 第２実施形態では参考データとして採用されない魚の撮影画像の例を説明する図である。 第２実施形態の情報処理装置が測定対象の魚の長さを測定する処理を説明する図である。 さらに、第２実施形態における測定対象の魚の長さを測定する処理を説明する図である。 第２実施形態の情報処理装置における長さを測定する処理の手順を表すフローチャートである。 本発明に係る第３実施形態の情報処理装置の構成において特徴的な部分を抜き出して表すブロック図である。 第３実施形態の情報処理装置が撮影画像に調査範囲を確定する処理の一例を説明する図である。 第３実施形態において、調査範囲の確定に利用する参考データの例を表す図である。 さらに、調査範囲の確定に利用する参考データの例を表す図である。 第３実施形態の情報処理装置が撮影画像において確定した調査範囲の一例を表す図である。 参考データを教師付き機械学習により作成する場合における教師データの取得手法の一例を説明する図である。 測定対象の物体である魚の頭を検知する処理で利用する参考データの例を表す図である。 測定対象の物体である魚の頭を検知する処理で利用する参考データのさらに別の例を表す図である。 測定対象の物体である魚の尾を検知する処理で利用する参考データの例を表す図である。 測定対象の物体である魚の尾を検知する処理で利用する参考データのさらに別の例を表す図である。 本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。

以下に、本発明に係る実施形態を図面を参照しながら説明する。

＜第１実施形態＞
図１は、本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。この情報処理装置１は、図２に表されるような長さ測定システム１０に組み込まれ、測定対象の物体の長さを算出する機能を備えている。長さ測定システム１０は、情報処理装置１に加えて、複数の撮影装置１１Ａ，１１Ｂを備えている。撮影装置１１Ａ，１１Ｂは、間隔を介して並設され、測定対象の物体を共通に撮影する装置である。撮影装置１１Ａ，１１Ｂにより撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置１に提供される。又は、撮影装置１１Ａ，１１Ｂにより撮影された撮影画像は、撮影装置１１Ａ，１１Ｂにおいて可搬型記憶媒体（例えば、ＳＤ（Secure Digital）カード）に記憶され、当該可搬型記憶媒体から情報処理装置１に読み込まれてもよい。

情報処理装置１は、図１に表されるように、検知部２と、特定部３と、算出部４とを備えている。検知部２は、測定対象の物体が撮影されている撮影画像から、測定対象の物体における対を成す部位であって予め定められた特徴をそれぞれ持つ特徴部位を検知する機能を備えている。

特定部３は、その検知された特徴部位の位置を表す座標空間における座標を特定する機能を備えている。その座標を特定する処理では、特定部３は、測定対象の物体を互いに異なる位置から撮影した複数の撮影画像における特徴部位が表示されている表示位置情報を利用する。また、特定部３は、物体が撮影されている複数の撮影画像をそれぞれ撮影した撮影位置間の間隔を表す間隔情報をも利用する。

算出部４は、特定された特徴部位の位置の座標に基づいて、対を成す特徴部位間の長さを算出する機能を備えている。

第１実施形態の情報処理装置１は、測定対象の物体を互いに異なる位置から撮影した複数の撮影画像から、測定対象の物体における対を成す部位であって予め定められた特徴をそれぞれ持つ特徴部位を検知する。そして、情報処理装置１は、それら検知した特徴部位の位置を表す座標空間における座標を特定し、当該特定した特徴部位の位置の座標に基づいて、対を成す特徴部位間の長さを算出する。情報処理装置１は、そのような処理によって、測定対象の物体における対を成す特徴部位間の長さを測定することができる。

すなわち、情報処理装置１は、測定対象の物体が撮影されている撮影画像から、長さの測定に利用する対を成す特徴部位を検知する機能を備えている。このため、測定対象の物体の長さを測定する測定者は、測定対象の物体が撮影されている撮影画像から、長さの測定に利用する対を成す特徴部位を見つけ出すという作業を行う必要がない。また、測定者は、見つけ出した特徴部位の位置の情報を情報処理装置１に入力するという作業を行う必要もない。このように、第１実施形態の情報処理装置１は、測定対象の物体の長さを測定する測定者の手間を軽減することができる。

その上、情報処理装置１は、画像から検知した特徴部位における座標空間における位置の座標を特定し、当該座標を利用して測定対象の物体の長さを算出する。このように、情報処理装置１は、座標空間における位置の座標に基づいて、測定対象の物体の長さを算出するので、長さの測定の精度を高めることができる。すなわち、第１実施形態の情報処理装置１は、撮影画像に基づいて測定対象の物体の長さを容易に、かつ、精度良く検知できるという効果を得ることができる。なお、図２の例では、長さ測定システム１０は、複数の撮影装置１１Ａ，１１Ｂを備えているが、長さ測定システム１０を構成する撮影装置は、１台であってもよい。

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。

図３は、本発明に係る第２実施形態の情報処理装置の構成を簡略化して表すブロック図である。第２実施形態では、情報処理装置２０は、図４Ａに表されるような複数（２台）のカメラ４０Ａ，４０Ｂによって撮影された測定対象の物体である魚の撮影画像から、魚の長さを算出する機能を備えている。この情報処理装置２０は、カメラ４０Ａ，４０Ｂと共に、長さ測定システムを構成する。

第２実施形態では、カメラ４０Ａ，４０Ｂは、動画を撮影する機能を備えている撮影装置であるが、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ４０Ａ，４０Ｂとして採用してもよい。

ここでは、カメラ４０Ａ，４０Ｂは、図４Ａに表されるような支持部材４２に支持固定されることにより、図４Ｂに表されるように間隔を介して並設されている状態で、魚を撮影する。支持部材４２は、伸縮棒４３と、取り付け棒４４と、取り付け具４５Ａ，４５Ｂとを有して構成されている。この例では、伸縮棒４３は、伸縮自在な棒部材であり、さらに、伸縮可能な長さ範囲内における使用に適切な長さで長さを固定できる構成を備えている。取り付け棒４４は、例えばアルミニウム等の金属材料により構成されており、伸縮棒４３に直交するように接合されている。取り付け棒４４には、伸縮棒４３との接合部分を中心にして対称となる部位にそれぞれ取り付け具４５Ａ，４５Ｂが固定されている。取り付け具４５Ａ，４５Ｂは、カメラ４０Ａ，４０Ｂを搭載する搭載面４６Ａ，４６Ｂを備え、当該搭載面４６Ａ，４６Ｂに搭載されたカメラ４０Ａ，４０Ｂを例えば螺子等により搭載面４６Ａ，４６Ｂにがたつきなく固定する構成が設けられている。

カメラ４０Ａ，４０Ｂは、上述したような構成を持つ支持部材４２に固定されることにより、予め設定された間隔を介して並設されている状態を維持することができる。また、第２実施形態では、カメラ４０Ａ，４０Ｂに設けられているレンズが同じ方向を向き、かつ、レンズの光軸が平行となるように、カメラ４０Ａ，４０Ｂは支持部材４２に固定される。なお、カメラ４０Ａ，４０Ｂを支持固定する支持部材は、図４Ａ等に表される支持部材４２に限定されない。例えば、カメラ４０Ａ，４０Ｂを支持固定する支持部材は、支持部材４２における伸縮棒４３に代えて、１本あるいは複数本のロープを利用し、当該ロープによって取り付け棒４４や取り付け具４５Ａ，４５Ｂを吊下げる構成であってもよい。

カメラ４０Ａ，４０Ｂは、支持部材４２に固定されている状態で、例えば図５に表されるように魚が養殖されている生簀４８に進入し、魚の観測（換言すれば、測定対象の物体である魚の撮影）に適切と判断された水深およびレンズの向きで配設される。なお、生簀４８に進入させた支持部材４２（カメラ４０Ａ，４０Ｂ）を適宜な水深およびレンズの向きで配設固定する手法には様々な手法が考えられ、ここでは、何れの手法を採用してもよく、その説明は省略する。また、カメラ４０Ａ，４０Ｂのキャリブレーションは、生簀４８の環境や測定対象の魚の種類等を考慮した適宜なキャリブレーション手法によって行われる。ここでは、そのキャリブレーション手法の説明は省略する。

さらに、カメラ４０Ａ，４０Ｂによる撮影を開始する手法および撮影を停止する手法は、カメラ４０Ａ，４０Ｂの性能や生簀４８の環境などを考慮した適宜な手法が採用される。例えば、魚の観測者（測定者）が、カメラ４０Ａ，４０Ｂを生簀４８に進入させる前に手動により撮影を開始させ、また、カメラ４０Ａ，４０Ｂを生簀４８から退出させた後に手動により撮影を停止させる。また、カメラ４０Ａ，４０Ｂが無線通信あるいは有線通信の機能を備えている場合には、撮影開始と撮影停止を制御する情報を送信できる操作装置と、カメラ４０Ａ，４０Ｂとを接続する。そして、観測者による操作装置の操作により、水中のカメラ４０Ａ，４０Ｂの撮影開始と撮影停止が制御されてもよい。

また、カメラ４０Ａとカメラ４０Ｂの一方又は両方の撮影中の画像をカメラ４０Ａ，４０Ｂから有線通信あるいは無線通信により受信可能なモニタ装置が用いられてもよい。この場合には、観測者は、モニタ装置により撮影中の画像を見ることが可能となる。これにより、例えば、観測者は、撮影中の画像を見ながら、カメラ４０Ａ，４０Ｂの撮影方向や水深を変更することが可能となる。なお、モニタ機能を備えた携帯端末がモニタ装置として用いられてもよい。

ところで、情報処理装置２０は、魚の長さを算出する処理において、同時間に撮影されたカメラ４０Ａの撮影画像とカメラ４０Ｂの撮影画像とを用いる。このことを考慮し、同時間に撮影されたカメラ４０Ａによる撮影画像とカメラ４０Ｂによる撮影画像とを得やすくするために、撮影中に、時間合わせに用いる目印となる変化をもカメラ４０Ａ，４０Ｂに撮影させることが好ましい。例えば、時間合わせに用いる目印として、自動制御あるいは観測者の手動によって短時間発光する光を利用することとし、カメラ４０Ａ，４０Ｂがその光を撮影するようにしてもよい。これにより、カメラ４０Ａ，４０Ｂによる撮影画像に撮影されたその光に基づき、カメラ４０Ａによる撮影画像と、カメラ４０Ｂによる撮影画像との時間合わせ（同期）を行うことが容易となる。

上述したようなカメラ４０Ａ，４０Ｂにより撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置２０に取り込まれてもよいし、可搬型記憶媒体に格納された後に当該可搬型記憶媒体から情報処理装置２０に取り込まれてもよい。

情報処理装置２０は、図３に表されるように、概略すると、制御装置２２と、記憶装置２３とを備えている。また、情報処理装置２０は、例えば観測者の操作により情報を情報処理装置２０に入力する入力装置（例えば、キーボードやマウス）２５と、情報を表示する表示装置２６に接続されている。さらに、情報処理装置２０は、当該情報処理装置２０とは別体の外付けの記憶装置２４に接続されていてもよい。

記憶装置２３は、各種データやコンピュータプログラム（以下、プログラムとも記す）を記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置２０に備えられる記憶装置２３は一つには限定されず、複数種の記憶装置が情報処理装置２０に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置２３と記す。また、記憶装置２４も、記憶装置２３と同様に、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。なお、情報処理装置２０が記憶装置２４に接続されている場合には、記憶装置２４には適宜な情報が格納される。また、この場合には、情報処理装置２０は、適宜、記憶装置２４に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、記憶装置２４に関する説明を省略する。

第２実施形態では、記憶装置２３には、カメラ４０Ａ，４０Ｂによる撮影画像が、撮影したカメラを表す情報や、撮影時間の情報などの撮影状況に関わる情報と関連付けられた状態で格納される。

制御装置２２は、例えば、ＣＰＵ（Central Processing Unit）により構成される。制御装置２２は、例えばＣＰＵが記憶装置２３に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置２２は、機能部として、検知部３０と、特定部３１と、算出部３２と、分析部３３と、表示制御部３４とを備えている。

表示制御部３４は、表示装置２６の表示動作を制御する機能を備えている。例えば、表示制御部３４は、入力装置２５から、カメラ４０Ａ，４０Ｂの撮影画像を再生する要求を受け取った場合に、記憶装置２３から要求に応じたカメラ４０Ａ，４０Ｂの撮影画像を読み出し当該撮影画像を表示装置２６に表示する。図６は、表示装置２６におけるカメラ４０Ａ，４０Ｂの撮影画像の表示例を表す図である。図６の例では、二画面表示により、カメラ４０Ａによる撮影画像４１Ａとカメラ４０Ｂによる撮影画像４１Ｂが並んで表示される。

なお、表示制御部３４は、表示装置２６に同時に表示される撮影画像４１Ａ，４１Ｂの撮影時刻が同じとなるように、撮影画像４１Ａ，４１Ｂの同期が可能な機能を備える。例えば、表示制御部３４は、カメラ４０Ａ，４０Ｂに同時撮影された前述したような時間合わせの目印を利用して、観測者が撮影画像４１Ａ，４１Ｂの再生コマを調整可能な機能を備える。

検知部３０は、表示装置２６に表示（再生）されている撮影画像４１Ａ，４１Ｂにおいて、測定対象の魚を指定する情報の入力を観測者に促す機能を備えている。例えば、検知部３０は、表示制御部３４を利用して、図６のように撮影画像４１Ａ，４１Ｂが表示されている表示装置２６に、「測定対象の魚を指定（選択）して下さい」旨のメッセージを表示させる。第２実施形態では、観測者が入力装置２５を操作することにより、図７に表されるような枠５０で測定対象の魚が囲まれることにより、測定対象の魚が指定されるように設定されている。その枠５０は、例えば長方形状（正方形を含む）と成し、その大きさおよび縦横比が観測者により可変可能となっている。この枠５０は、検知部３０が撮影画像に行う検知処理の対象となる調査範囲である。なお、観測者が枠５０によって測定対象の魚を指定する作業を実行している場合には、撮影画像４１Ａ，４１Ｂは一時停止状態で静止している状態となっている。

第２実施形態では、撮影画像４１Ａ，４１Ｂのうちの一方側を表示する画面領域（例えば図６、図７における左側の画面領域）が操作画面として設定され、他方側を表示する画面領域（例えば図６、図７における右側の画面領域）が参照画面として設定されている。検知部３０は、カメラ４０Ａ，４０Ｂ間の間隔を表す間隔情報に基づき、撮影画像４１Ｂにおいて枠５０により指定されている領域と同じ領域を表す参照画面の撮影画像４１Ａでの枠５１の表示位置を算出する機能を備えている。なお、検知部３０は、撮影画像４１Ｂにおいて枠５０の位置や大きさが調整されている最中に、その位置や大きさに追従して撮影画像４１Ａにおける枠５１の位置や大きさを可変する機能を備える。あるいは、検知部３０は、撮影画像４１Ｂにおいて枠５０の位置および大きさが確定した後に、枠５１を撮影画像４１Ａに表示させる機能を備えていてもよい。さらにまた、検知部３０は、枠５０の位置や大きさの調整に追従して枠５１の位置や大きさを可変する機能と、枠５０の位置および大きさが確定した後に枠５１を表示させる機能とを共に備え、例えば観測者により択一的に選択された側の機能を実行してもよい。また、上記のような撮影画像４１Ｂにおいて指定された枠５０に基づいて撮影画像４１Ａにおける枠５１を設定する機能は、検知部３０に代えて、図３の点線に表されるような範囲追従部３５が実行してもよい。

検知部３０は、さらに、撮影画像４１Ａ，４１Ｂにおいて調査範囲として指定された枠５０，５１内で、測定対象の魚における予め定められた特徴を持つ対を成す特徴部位を検知する機能を備えている。第２実施形態では、魚の頭と尾が対を成す特徴部位として設定されている。撮影画像４１Ａ，４１Ｂから特徴部位である魚の頭と尾を検知する手法には様々な手法があり、ここでは、情報処理装置２０の処理能力等を考慮した適宜な手法が採用されるが、その一例を挙げると、次のような手法がある。

例えば、測定対象となる種類の魚の頭と尾について、魚の向きや形が異なる図８に表されるような複数の参考データ（参考部位画像）が記憶装置２３に格納されている。これら参考データは、特徴部位である魚の頭と尾のサンプル画像が表されている参考部位画像である。当該参考データは、測定対象となる種類の魚が撮影されている多数の撮影画像から、頭と尾のそれぞれの特徴部位が撮影されている領域の画像が教師データ（教師画像）として抽出され、当該教師データを利用した機械学習により作成される。

第２実施形態の情報処理装置２０は、魚の頭と尾との間の長さを魚の長さとして測定する。このことから、魚の頭と尾は、魚の長さを測定する際に測定部分の両端となる部位である。このことを考慮し、ここでは、魚の長さを測定する際に魚の測定部分の両端となる頭と尾のそれぞれの測定ポイントが中心となるように抽出された教師データを利用した機械学習により参考データが作成される。これにより、図８に表されるように、参考データの中心は、魚の頭あるいは尾の測定ポイントＰを表すという意味を持つ。

これに対し、測定ポイントＰを考慮せずに、図９に表されるように単に頭と尾が撮影されている領域が教師データとして抽出され、当該教師データに基づいて参考データが作成された場合には、参考データの中心は測定ポイントＰを表すとは限らない。つまり、この場合には、参考データの中心位置は、測定ポイントＰを表すという意味を持たない。

上述したような参考データと、撮影画像４１Ａ，４１Ｂにおいて指定された調査範囲（枠５０，５１）内の画像とが照合されることにより、枠５０，５１において参考データに合う画像領域が検知される。

検知部３０は、さらに、表示制御部３４を利用して、検知した特徴部位である魚の頭と尾の位置を表示装置２６に明示させる機能を備えている。図１０には、表示装置２６において、検知された魚の頭と尾のそれぞれの部位が枠５２，５３により明示されている表示例が表されている。

特定部３１は、検知部３０により検知された測定対象の魚における対を成す特徴部位（つまり、頭と尾）の座標空間における位置を表す座標を特定する機能を備えている。例えば、特定部３１は、検知部３０により検知された測定対象の魚の頭と尾が撮影画像４１Ａ，４１Ｂにおいて表示されている表示位置を表す表示位置情報を検知部３０から受け取る。また、特定部３１は、記憶装置２３から、カメラ４０Ａ，４０Ｂ（つまり、撮影位置）間の間隔を表す間隔情報を読み出す。そして、特定部３１は、それら情報を利用して、三角測量法によって測定対象の魚の頭と尾の座標空間における座標を特定（算出）する。この際、中心が測定ポイントＰとなっている参考データを利用して、検知部３０が特徴部位を検知している場合には、特定部３１は、検知部３０により検知された特徴部位の中心が表示されている撮影画像４１Ａ，４１Ｂの表示位置情報を利用する。

算出部３２は、特定部３１により特定された測定対象の魚の特徴部位（頭と尾）の空間座標を利用して、対を成す特徴部位（頭と尾）間の図１１に表されるような間隔Ｌを測定対象の魚の長さとして算出する機能を備えている。このように算出部３２により算出された魚の長さＬは、例えば観測日時等の予め定められた情報に関連付けられた状態で記憶装置２３に格納される。

分析部３３は、記憶装置２３に格納されている魚の長さＬの複数の情報と当該情報に関連付けられている情報を利用して、予め定められた分析を実行する機能を備えている。例えば、分析部３３は、観測日における生簀４８内の複数の魚の長さＬの平均値あるいは検知対象とした魚の長さＬの平均値を算出する。なお、検知対象とした魚の長さＬの平均値を算出する場合の一例としては、１秒間というような短時間に撮影された動画の複数フレームにおける検知対象の魚の画像により算出された検知対象の魚の複数の長さＬが利用される。また、生簀４８内の複数の魚の長さＬの平均値を算出する場合であって魚の個体識別をしていない場合には、平均値の算出に利用する魚の長さＬの値として同じ魚の値が重複利用されることが懸念される。ただ、千尾以上というような多数の魚の長さＬの平均値を算出する場合には、値を重複利用することに因る平均値の算出精度への悪影響は小さくなる。

また、分析部３３は、生簀４８内における魚の長さＬとその魚の数との関係 (魚の長さにおける魚体数分布)を算出してもよい。さらに、分析部３３は、魚の成長を表す魚の長さＬの時間的な推移を算出してもよい。

次に、情報処理装置２０における魚の長さＬの算出（測定）動作の一例を図１２を参照しつつ説明する。なお、図１２は、情報処理装置２０が実行する魚の長さＬの算出（測定）に関わる処理手順を表すフローチャートである。

例えば、情報処理装置２０の検知部３０は、操作画面における撮影画像４１Ｂにおいての調査範囲（枠５０）を指定する情報を受け付けると（ステップＳ１０１）、参照画面における撮影画像４１Ａの調査範囲（枠５１）の位置を算出する。そして、検知部３０は、撮影画像４１Ａ，４１Ｂの枠５０，５１内において、予め定められた特徴部位（頭と尾）を例えば参考データを利用して検知する（ステップＳ１０２）。

その後、特定部３１が、検知された特徴部位である頭と尾について、例えば、カメラ４０Ａ，４０Ｂ（撮影位置）間についての間隔情報等を利用し、三角測量法によって座標空間における座標を特定する（ステップＳ１０３）。

そして、算出部３２が、特定された座標に基づき、対を成す特徴部位（頭と尾）間の間隔Ｌを魚の長さとして算出する（ステップＳ１０４）。その後、算出部３２は、算出結果を予め定められた情報（例えば、撮影日時）に関連付けた状態で記憶装置２３に格納する（ステップＳ１０５）。

その後、情報処理装置２０の制御装置２２は、例えば観測者による入力装置２５の操作により魚の長さＬの測定を終了する旨の指示が入力されたか否かを判断する（ステップＳ１０６）。そして、制御装置２２は、終了の指示が入力されていない場合には、次の魚の長さＬの測定に備えて待機する。また、制御装置２２は、終了の指示が入力された場合には、魚の長さＬを測定する動作を終了する。

第２実施形態の情報処理装置２０は、検知部３０によって、カメラ４０Ａ，４０Ｂの撮影画像４１Ａ，４１Ｂにおいて、魚の長さＬの測定に必要な魚の頭と尾の部位を検知する機能を備えている。さらに、情報処理装置２０は、特定部３１によって、検知された魚の頭と尾の位置を表す座標空間における座標を特定する機能を備えている。さらにまた、情報処理装置２０は、算出部３２によって、特定された座標に基づき魚の頭と尾の間隔Ｌを魚の長さとして算出する機能を備えている。このため、撮影画像４１Ａ，４１Ｂにおける調査対象の範囲（枠５０）の情報を観測者が入力装置２５を利用して入力することにより、情報処理装置２０は、魚の長さＬを算出し、当該魚の長さＬの情報を観測者に提供できる。換言すれば、観測者は、撮影画像４１Ａ，４１Ｂにおける調査対象の範囲（枠５０）の情報を情報処理装置２０に入力することで、手間無く簡単に魚の長さＬの情報を得ることができる。

また、情報処理装置２０は、三角測量法により、魚の対を成す特徴部位（頭と尾）の空間座標を特定（算出）し、当該空間座標を利用して、特徴部位間の長さＬを魚の長さとして算出するので、長さの測定精度を高めることができる。

さらに、情報処理装置２０が特徴部位を検知する処理にて利用する参考データ（参考部位画像）の中心が、魚の長さを測定する部分の端部となっている場合には、測定する魚によって測定部分の端部位置がばらつくことを抑制できる。これにより、情報処理装置２０は、魚の長さＬの測定に対する信頼性をより高めることができる。

さらに、情報処理装置２０は、指定された調査範囲（枠５０，５１）内において特徴部位を検知する機能を備えている。このため、情報処理装置２０は、撮影画像全体に亘って特徴部位を検知する場合に比べて、処理の負荷を軽減できる。

さらに、情報処理装置２０は、複数の撮影画像のうちの一つの画像において、調査範囲（枠５０）が指定されることにより、他の撮影画像の調査範囲（枠５１）を決定する機能を備えている。情報処理装置２０は、複数の撮影画像において観測者が調査範囲を指定しなければならない場合に比べて、観測者の手間を軽減できる。

なお、第２実施形態では、検知部３０は、撮影画像４１Ａ，４１Ｂのうちの一方において測定対象の魚を指定する調査範囲（枠５０）が観測者等により指定された場合に、他方における調査範囲（枠５１）の位置を設定（算出）する機能を備えている。これに代えて、検知部３０は、撮影画像４１Ａ，４１Ｂのそれぞれにおいて、測定対象の魚を指定する調査範囲の情報を入力することを観測者等に促し、さらに、入力された情報に基づいて調査範囲（枠５０，５１）の位置を設定する機能を備えていてもよい。つまり、撮影画像４１Ａ，４１Ｂの両方において、調査範囲（枠５０，５１）の位置が観測者等により指定され、検知部３０は、その指定された位置の情報に基づいて、撮影画像４１Ａ，４１Ｂのそれぞれにおける調査範囲（枠５０，５１）の位置を設定してもよい。

＜第３実施形態＞
以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第２実施形態の情報処理装置および長さ測定システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

第３実施形態の情報処理装置２０は、第２実施形態の構成に加えて、図１３に表されるような設定部５５を備えている。なお、情報処理装置２０は、第２実施形態の構成を備えているが、図１３では、特定部３１と算出部３２と分析部３３と表示制御部３４の図示が省略されている。また、図１３において、記憶装置２４と入力装置２５と表示装置２６の図示も省略されている。

設定部５５は、撮影画像４１Ａ，４１Ｂにおいて検知部３０が特徴部位（頭と尾）の位置を調べる調査範囲を設定する機能を備えている。その調査範囲は、第２実施形態では、観測者により入力される情報であるのに対し、第３実施形態では、設定部５５が調査範囲を設定するので、観測者は調査範囲の情報を入力しなくて済む。このことにより、第３実施形態の情報処理装置２０は、利便性をより高めることができる。

第３実施形態では、記憶装置２３には、設定部５５が調査範囲を設定するために利用する情報として、調査範囲の形状および大きさを決定する情報が格納されている。例えば、調査範囲の形状および大きさが図１４の実線に示されるような形状および大きさを持つ枠５０である場合には、その形状を表す情報と、枠５０の縦と横の長さの情報とが記憶装置２３に格納される。なお、枠５０は、例えば観測者が測定に適切であると考えた撮影画像における魚１尾の大きさに応じた大きさを持つ範囲であり、その縦と横のそれぞれの長さは、観測者等による入力装置２５の操作により可変可能となっている。

さらに、記憶装置２３には、測定対象の物体全体（つまり、ここでは魚体）の撮影画像がサンプル画像として格納されている。ここでは、図１５および図１６に表されるように、撮影条件が互いに異なる複数のサンプル画像が格納されている。これら測定対象の物体全体（魚体）のサンプル画像も、特徴部位（頭と尾）のサンプル画像と同様に、多数の測定対象の物体を撮影した撮影画像を教師データ（教師画像）とした機械学習により得ることができる。

設定部５５は、次のようにして調査範囲を設定する。例えば、設定部５５は、観測者により、長さの測定を要求する情報が入力装置２５の操作により入力されると、記憶装置２３から枠５０に関する情報を読み出す。なお、長さの測定を要求する情報は、例えば、撮影画像４１Ａ，４１Ｂの再生中に画像の一時停止を指示する情報であってもよいし、撮影画像４１Ａ，４１Ｂの停止中に動画の再生を指示する情報であってよい。また、長さの測定を要求する情報は、表示装置２６に表示されている『測定開始』のマークが観測者の入力装置２５の操作により指示されたことを表す情報であってもよい。さらに、長さの測定を要求する情報は、測定開始を意味する予め定められた入力装置２５の操作（例えばキーボード操作）が行われたことを表す情報であってもよい。

設定部５５は、枠５０に関する情報を読み出した後に、撮影画像において、読み出した情報に表されている形状および大きさの枠５０を図１４に表される枠Ａ１→枠Ａ２→枠Ａ３→・・・→枠Ａ９→・・・のように、枠５０を所定の間隔で順次移動させる。なお、枠５０の移動の間隔は、例えば、観測者により適宜可変可能な構成を備えていてもよい。

また、設定部５５は、枠５０を移動させながら、当該枠５０における撮影画像部分と、図１５および図１６のような測定対象の物体のサンプル画像とのマッチ度（類似度）を例えばテンプレートマッチング手法で利用される手法により判定する。そして、設定部５５は、マッチ度が閾値（例えば、９０％）以上となる枠５０を調査範囲として確定する。例えば、図１７に表される撮影画像の例では、設定部５５により、１つの撮影画像において、２つの枠５０が確定されている。この場合には、２つの枠５０のそれぞれについて、第２実施形態で述べたように、検知部３０は、特徴部位を検知する処理を実行し、特定部３１は、座標空間における特徴部位の空間座標を特定する。そして、算出部３２は、２つの枠５０のそれぞれについて、対を成す特徴部位間の間隔（ここでは、魚の長さＬ）を算出する。なお、例えば、長さの測定を要求する情報として画像の一時停止を指示する情報が入力された場合、設定部５５は、一時停止中の撮影画像において調査範囲を設定する。このように調査範囲が設定されることにより、前記の如く、対を成す特徴部位間の間隔が算出される。また、例えば、長さの測定を要求する情報として動画の再生を指示する情報が入力された場合、設定部５５は、再生中の動画に対して、連続的に、調査範囲を設定する。このように調査範囲が設定されることにより、前記の如く、対を成す特徴部位間の間隔が算出される。

なお、設定部５５は、撮影画像４Ａ，４Ｂの一方において調査範囲（枠５０）の位置を上記の如く設定すると、他方における調査範囲（枠５１）の位置を枠５０の位置に応じて設定するが、これに代えて、設定部５５は、次のような機能を備えていてもよい。つまり、設定部５５は、撮影画像４Ａ，４Ｂのそれぞれにおいて、枠５０，５１を上記同様に移動（スキャン）させることにより、調査範囲（枠５０，５１）を設定してもよい。

また、設定部５５は、上記のように設定した調査範囲の位置を仮決定とし、仮決定の調査範囲（枠５０，５１）の位置を撮影画像４Ａ，４Ｂに明記すると共に、調査範囲の確認を観測者等に促すメッセージを表示制御部３４によって表示装置２６に表示させる機能を備えていてもよい。そして、設定部５５は、観測者等による入力装置２５の操作によって調査範囲（枠５０，５１）の位置（例えば、枠５０，５１が同じ魚を囲んでいること等）を確認した旨の情報が入力された場合に、調査範囲の位置を確定してもよい。また、設定部５５は、観測者等による入力装置２５の操作により調査範囲（枠５０，５１）の位置を変更したい旨の情報が入力された場合には、調査範囲（枠５０，５１）の位置を調整可能とし、変更された枠５０，５１の位置を調査範囲として確定してもよい。

第３実施形態の情報処理装置２０および長さ測定システムにおける上記以外の構成は、第２実施形態の情報処理装置２０と同様である。

第３実施形態の情報処理装置２０および長さ測定システムは、第２実施形態と同様の構成を備えているので、第２実施形態と同様の効果を得ることができる。その上、第３実施形態の情報処理装置２０および長さ測定システムは、設定部５５を備えているので、観測者が調査範囲を確定する情報を入力しなくて済むこととなり、観測者の手間を軽減できる。これにより、第３実施形態の情報処理装置２０および長さ測定システムは、物体の長さ測定に関する利便性をより高めることができる。例えば、情報処理装置２０は、撮影画像４１Ａ，４１Ｂの同期を取り、その後、撮影画像４１Ａ，４１Ｂを再生しながら設定部５５と検知部３０と特定部３１と算出部３２により魚の長さＬを算出していく処理を再生終了まで連続して行うことが可能となる。なお、情報処理装置２０が上記のような画像の同期から撮影画像の再生および魚の長さの算出を連続して行う一連の処理を開始する手法には様々な手法が考えられる。例えば、入力装置２５の操作により処理の開始が指示された場合に、情報処理装置２０は、上記一連の処理を開始してもよい。また、撮影画像４１Ａ，４１Ｂが情報処理装置２０の記憶装置２３に格納（登録）される際に、情報処理装置２０は、その登録を検知することにより、上記一連の処理を開始してもよい。さらに、再生する撮影画像４１Ａ，４１Ｂが選択された際に、情報処理装置２０は、その選択情報に基づいて上記一連の処理を開始してもよい。ここでは、そのような様々な手法の中から、適宜な手法が採用されてよいものとする。

＜その他の実施形態＞
なお、本発明は第１～第３の実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第２と第３の実施形態では、情報処理装置２０に分析部３３が備えられているが、魚の長さＬの観測により得られた情報の分析は、情報処理装置２０と別の情報処理装置により実行されてもよく、この場合には、分析部３３は省略されてもよい。

また、第２と第３の実施形態では、対を成す特徴部位が魚の頭と尾である例を示したが、例えば、対を成す特徴部位として、さらに、背びれと腹びれの組をも検知する構成とし、頭と尾の間の長さだけでなく、背びれと腹びれとの間の長さをも算出してもよい。それら特徴部位としての背びれと腹びれを撮影画像から検知する手法は、頭と尾の検知と同様の検知手法を用いることができる。

さらに、例えば、頭と尾の間の長さと、背びれと腹びれとの間の長さとを算出する場合であって、それら長さに基づいて魚の重さを推定できる長さと重さの関係が得られる場合には、分析部３３が、それら算出された長さに基づき魚の重さを推定してもよい。

さらに、第２実施形態の説明では、特徴部位の参考データとして図８の例が挙げられているが、特徴部位の参考データの種類は、図１９～図２２に表されているように、より多くてもよい。なお、図１９および図２０は、魚の頭に関する参考データの例であり、図２１および図２２は、魚の尾に関する参考データの例である。また、例えば、魚の尾の参考データとして、さらに、くねりが入っている魚の尾の画像が含まれていてもよい。また、魚の頭や尾の一部が撮影画像に映っていない見切りのデータが検知対象外の参考データとして与えられていてもよい。このように、参考データの種類や数は限定されない。

さらに、第２と第３の各実施形態において、教師データを利用した機械学習によって特徴部位（頭と尾）や測定対象の物体全体（魚体）のサンプル画像を作成する場合に、次のようにして教師データの削減が図られてもよい。例えば、教師データとして図１８に表されるような左向きの魚の撮影画像が取得された場合に、その左向きの魚の像を左右反転する処理を行って右向きの魚の教師データが得られるようにしてもよい。

さらに、第２実施形態において、情報処理装置２０が、特徴部位を検知する処理を開始する前などの適宜なタイミングで、撮影画像における水の濁りを軽減する画像処理や、水の揺らぎに因る魚体の歪みを補正する画像処理を行ってもよい。また、情報処理装置２０は、撮影画像を物体の水深や明るさ等の撮影条件を考慮して補正する画像処理を行ってもよい。さらに、第３実施形態において、情報処理装置２０が、調査範囲を確定する処理を開始する前などの適宜なタイミングで、上記同様の画像処理を実行してもよい。このように、情報処理装置２０が、撮影環境を考慮して撮影画像を画像処理（画像補正）することにより、測定対象の物体の長さ測定の精度をより高めることができる。また、情報処理装置２０は、そのように画像補正された撮影画像を利用することにより、参考データの数を少なくできるという効果を得ることができる。

さらに、第２と第３の実施形態では、測定対象の物体として魚を例にして説明しているが、第２と第３の実施形態で説明した構成を持つ情報処理装置２０は、他の物体にも適用可能である。すなわち、第２と第３の実施形態における情報処理装置２０は、魚でなくとも、長さを測定する部分の両端部分が他の部分と区別可能な特徴を持つ物体であれば、その物体の長さ測定に適用することもできる。

さらに、図２３には、本発明に係るその他の実施形態の情報処理装置の構成が簡略化して表されている。図２３における情報処理装置７０は、機能部として、検知部７１と、算出部７２とを備えている。検知部７１は、測定対象の物体が撮影されている撮影画像から、測定対象の物体における対を成す部位であって予め定められた特徴をそれぞれ持つ特徴部位を検知する機能を備えている。算出部７２は、検知部７１の検知結果に基づいた対を成す特徴部位間の長さを算出する機能を備えている。情報処理装置７０は、上記のような構成を備えることにより、撮影画像に基づいて測定対象の物体の長さを容易に、かつ、精度良く検知できるという効果を得ることができる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１６年９月３０日に出願された日本出願特願２０１６－１９４２６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
測定対象の物体が撮影されている撮影画像から、前記物体における対を成す部位であって予め定められた特徴をそれぞれ持つ特徴部位を検知する検知部と、
前記検知部の検知結果に基づいた対を成す前記特徴部位間の長さを算出する算出部と
を備える情報処理装置。

（付記２）
前記物体を互いに異なる位置から撮影した複数の撮影画像における前記検知された特徴部位が表示されている表示位置情報と、前記複数の撮影画像をそれぞれ撮影した撮影位置間の間隔を表す間隔情報とに基づいて、座標空間における前記特徴部位の位置を表す座標を特定する特定部をさらに備え、
前記算出部は、前記特定された前記特徴部位の位置の座標に基づいて、対を成す前記特徴部位間の長さを算出する付記１に記載の情報処理装置。

（付記３）
前記検知部は、前記撮影画像における指定された調査範囲内において前記特徴部位を検知する付記１又は付記２に記載の情報処理装置。

（付記４）
複数の前記撮影画像の中の一つにおいて前記検知部により前記特徴部位を検知する調査範囲が指定された場合に、前記調査範囲が指定された前記撮影画像における前記調査範囲の位置を表す情報と、前記撮影位置間の間隔情報とに基づいて、前記調査範囲が指定されていない前記撮影画像における前記調査範囲の位置を決定する範囲追従部をさらに備える付記２に記載の情報処理装置。

（付記５）
前記撮影画像において前記検知部が検知処理を実行する調査範囲を設定する設定部をさらに備える付記１又は付記２に記載の情報処理装置。

（付記６）
前記検知部は、前記特徴部位のサンプル画像が表されている参考部位画像に基づいて、前記撮影画像から前記特徴部位を検知する付記１乃至付記５の何れか一つに記載の情報処理装置。

（付記７）
前記検知部は、前記特徴部位のサンプル画像であって且つ画像中心が前記物体の長さを測定する測定部分の端部を表している参考部位画像に基づき、前記物体における前記測定部分の端部を中心にした部位を前記特徴部位として検知し、
前記特定部は、検知された前記特徴部位の中心位置を表す座標を特定し、
前記算出部は、対を成す前記特徴部位の中心間の長さを算出する付記２に記載の情報処理装置。

（付記８）
前記特定部は、三角測量法を用いて、座標空間における前記特徴部位の位置を表す座標を特定する付記１乃至付記７の何れか一つに記載の情報処理装置。

（付記９）
測定対象の物体を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像を利用して、前記物体における対を成す部位であって予め定められた特徴をそれぞれ持つ特徴部位間の長さを算出する情報処理装置と
を備え、
前記情報処理装置は、
測定対象の物体が撮影されている撮影画像から、前記物体における対を成す部位であって予め定められた特徴をそれぞれ持つ特徴部位を検知する検知部と、
前記検知部の検知結果に基づいた対を成す前記特徴部位間の長さを算出する算出部と
を備える長さ測定システム。

（付記１０）
測定対象の物体が撮影されている撮影画像から、前記物体における対を成す部位であって予め定められた特徴をそれぞれ持つ特徴部位を検知し、
前記検知された結果に基づいた対を成す前記特徴部位間の長さを算出する長さ測定方法。

（付記１１）
測定対象の物体が撮影されている撮影画像から、前記物体における対を成す部位であって予め定められた特徴をそれぞれ持つ特徴部位を検知する処理と、
前記検知された結果に基づいた対を成す前記特徴部位間の長さを算出する処理と
をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。

１，２０ 情報処理装置
２，３０ 検知部
３，３１ 特定部
４，３２ 算出部
１０ 長さ測定システム
１１Ａ，１１Ｂ 撮影装置
５０，５１ 枠
５５ 設定部

Claims (10)

1. 水中を泳ぐ魚体が撮影されている撮影画像から、測定対象の前記魚体における特徴部位である頭及び尾を、参考部位画像を用いて検知する検知手段と 、
   前記検知した前記測定対象の魚体における前記頭と前記尾の間の長さを算出する算出手段と、
   前記撮影画像上に、前記測定対象の魚体を囲む枠と、前記長さの両端に対応する前記頭と前記尾を示す表示と、を表示させる表示制御手段と 、を備え、
   前記参考部位画像は、くねりが入っている前記特徴部位の画像または異なる水深における前記特徴部位の画像を含む
   魚体長さ測定システム。
2. 複数の前記魚体の前記長さの平均値を算出する分析手段を備える
   請求項１に記載の魚体長さ測定システム。
3. 複数の前記魚体の前記長さの分布を算出する分析手段を備える
   請求項１または請求項２に記載の魚体長さ測定システム。
4. 前記魚体は生簀を泳ぐ魚体である
   請求項１から請求項３の何れか一項に記載の魚体長さ測定システム。
5. 前記撮影画像は、前記魚体が泳ぐ生簀においてステレオカメラにより撮影された画像である
   請求項１から請求項４の何れか一項に記載の魚体長さ測定システム。
6. 前記検知手段は、前記特徴部位である前記魚体の背びれ及び尾びれをさらに検知する
   請求項１から請求項５の何れか一項に記載の魚体長さ測定システム。
7. 前記算出手段は、前記背びれと前記尾びれの間の長さをさらに算出する
   請求項６に記載の魚体長さ測定システム。
8. 前記特徴部位に基づいて前記測定対象の魚体の重さを算出する分析手段を備える
   請求項１から請求項７の何れか一項に記載の魚体長さ測定システム。
9. コンピュータが、
   水中を泳ぐ魚体が撮影されている撮影画像から、測定対象の前記魚体における特徴部位である頭及び尾を、くねりが入っている前記特徴部位の画像または異なる水深における前記特徴部位の画像を含む参考部位画像を用いて検知し、
   前記検知した前記測定対象の魚体における前記頭と前記尾の間の長さを算出し、
   前記撮影画像上に、前記測定対象の魚体を囲む枠と、前記長さの両端に対応する前記頭と前記尾を示す表示と、を表示させる
   魚体長さ測定方法。
10. コンピュータに、
    水中を泳ぐ魚体が撮影されている撮影画像から、測定対象の前記魚体における特徴部位である頭及び尾を、くねりが入っている前記特徴部位の画像または異なる水深における前記特徴部位の画像を含む参考部位画像を用いて検知する処理と、
    前記検知した前記測定対象の魚体における前記頭と前記尾の間の長さを算出する処理と、
    前記撮影画像上に、前記測定対象の魚体を囲む枠と、前記長さの両端に対応する前記頭及び前記尾とを示す表示と、を表示させる処理と、
    を実行させる魚体長さ測定プログラム。

Images