JP7836068B2

JP7836068B2 - 個体管理システム、個体管理方法及びプログラム

Info

Publication number: JP7836068B2
Application number: JP2021204165A
Authority: JP
Inventors: 敏関口; 雅之椋木; 佳代子高塚
Original assignee: University of Miyazaki NUC
Current assignee: University of Miyazaki NUC
Priority date: 2021-12-16
Filing date: 2021-12-16
Publication date: 2026-03-26
Anticipated expiration: 2041-12-16
Also published as: JP2023089568A

Description

本発明は、個体管理システム、個体管理方法及びプログラムに関する。

わが国における１戸あたりの牛の飼養頭数が年々増加する中、家畜の飼養・衛生管理を行う労働者の負担増が問題となっている。多頭飼育になるに従って、牛の成長または健康状態に合わせたオーダーメイドの個体管理がますます困難になっている。

個体管理のボトルネックになっているのが、目的の牛を特定する作業である。個体を見分けるため、１０桁の耳標番号が記載されたタグが牛の耳に取り付けられている。耳のタグの耳標番号は小さくて読みづらいため、それを読み取るには、牛に接近して耳を保定し、目視で確認する必要がある。しかしながら、牛の中には耳毛が邪魔して耳標番号を認識できなかったり、タグが汚れていて耳標番号を確認することが困難であったりするものもある。また、タグが脱落して耳標番号が不明な牛も少なくない。

耳標番号を確認する以外に、牛の装着物に形成された２次元バーコード又はＱＲコード（登録商標）を読み取る方法が提案されている。また、牛の皮下に埋め込む埋め込み型のマイクロチップ型電子標識、牛に飲ませ第一胃又は第二胃に滞留させるボーラス型（飲み込み型）電子標識を使って牛を特定する技術が利用されている。非接触型無線タグで個体を識別する方法も提案されている（特許文献１参照）。これらの手法では、リーダを使ってバーコード又は電子標識を読み取ったり、牛を特殊なゲートに誘導して電子標識を認識させたりして個体を特定している。

特開２０１８－４２２８５号公報

しかしながら、いずれの方法も特殊な機器を要するだけでなく、手当たり次第に牛を調べることに変わりはない。また、複数の牛が接近した状態では、それぞれの電子標識を読み取ることが困難になるという課題もある。そこで、特殊な機器を設けずに多くの牛の中から目的の牛を効率よく発見・識別できるかがこの問題を解決するカギとなっている。また、個体を判別できたとしても、病原体を持つ牛もいるため、判別した個体に対する情報を速やかに得られるようにする必要がある。このような問題は、牛だけでなく豚のような他の家畜、犬又は猫の伴侶動物を個体毎に識別する際にも発生し得るものである。

本発明は、上記実情の下になされたものであり、動物を個体毎に容易に識別し、管理することができる個体管理システム、個体管理方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る個体管理システムは、
動物を撮像する撮像部と、
前記撮像部で撮像された撮像データを表示する表示部と、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部と、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別部と、
目的の物体の識別情報を入力する識別情報入力部と、
前記識別部で識別された個体の識別情報と、前記識別情報入力部に入力された識別情報とが一致するか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記識別情報入力部に入力された識別情報に対応する個体を探索する探索部と、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記識別部で識別され、前記探索部で探索された目的の個体に関する前記表示部における表示状態を調整する調整部と、
を備える。

前記調整部は、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記探索部で探索された個体が強調表示されるように前記表示部の表示状態を調整する、
こととしてもよい。

本発明の第２の観点に係る個体管理システムは、
動物を撮像する撮像部と、
前記撮像部で撮像された撮像データを表示する表示部と、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部と、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別部と、
個体の識別情報と属性情報とを対応づけて記憶する属性情報データベースと、
前記特徴量抽出部で抽出された特徴量を前記識別部に入力したときに前記識別部で識別された個体の識別情報に対応する属性情報を、前記属性情報データベースから読み出す属性情報読み出し部と、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記識別部で識別された個体に関する前記表示部における表示状態を調整する調整部と、を備え、
前記調整部は、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記識別部で識別された個体について、前記属性情報データベースから読み出された属性情報を示す画像を前記撮像データに位置合わせする。

前記切り出し部は、個体の顔の撮像データと全身の撮像データとを切り出し、
前記調整部は、前記切り出し部で切り出された個体の顔の撮像データの位置と全身の撮像データの位置とに基づいて、その個体の体の向きを検出し、
検出した個体の体の向きに基づいて、属性情報を示す画像を前記撮像データに位置合わせする、
こととしてもよい。

前記撮像部及び前記表示部は、携帯端末に実装されている、
こととしてもよい。

本発明の第２に観点に係る個体管理システムは、
動物を撮像する撮像部と、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部と、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別部と、
前記撮像部が搭載され、移動可能な移動体と、
前記切り出し部から切り出された撮像データの位置に基づいて、前記移動体を、前記識別部で識別された個体の近くに移動させ、その個体に対する作業を行う指令を生成して前記移動体に出力する指令生成部と、
を備える。

個体の識別情報と飼料情報とを対応付けて記憶する飼料情報データベースと、
前記識別部で識別された個体の識別情報に対応する飼料情報を前記飼料情報データベースから読み出す飼料情報読み出し部と、を備え、
前記移動体は、
前記飼料情報読み出し部で読み出された飼料情報に基づいて、前記識別部で識別された個体に対して給餌を行う自動給餌部を備える、
こととしてもよい。

個体の識別情報と前記特徴量抽出部で抽出された特徴量とを対応付けて記憶する特徴量データベースと、を備え、
前記識別部は、
前記特徴量データベースに記憶された特徴量と識別情報との関係に基づいて動物の個体を見分ける機械学習を行うことにより、特徴量を入力するとその特徴量に対応する識別情報を出力する、
こととしてもよい。

前記切り出し部は、一般物体認識用に学習された第１深層学習モデルを用いて、個体の撮像データを切り出し、
前記特徴量抽出部は、物体認識用に学習された第２深層学習モデルを用いて、個体の特徴量を抽出し、
前記識別部は、一対他分類を行うサポートベクタマシンにより、特徴量に対応する識別情報を出力する、
こととしてもよい。

前記第１深層学習モデルは、ＹＯＬＯ（You Only Look Once）であり、
前記第２深層学習モデルは、ＶＧＧ１６である、
こととしてもよい。

前記撮像データは、動画データであり、
前記撮像部は、入力操作により又は断続的に、前記動画データのフレーム画像を前記撮像データとして前記切り出し部に送り、
前記切り出し部は、前記フレーム画像を受信する度に、前記フレーム画像から、動物の個体の撮像データを切り出し、
前記特徴量抽出部は、前記切り出し部で撮像データが切り出される度に、前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出し、
前記識別部は、前記特徴量抽出部で特徴量が抽出される度に、その特徴量を有する個体を識別する、
こととしてもよい。

前記特徴量抽出部は、複数の前記フレーム画像から検出される動物の個体の体の動きに基づいて、動物の個体の動作に関する特徴量を抽出する、
こととしてもよい。

本発明の第４の観点に係る個体管理方法は、
個体管理システムによって実行される個体管理方法であって、
撮像部で動物を撮像するとともに、前記撮像部で撮像された撮像データを表示部で表示する撮像及び表示ステップと、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出しステップと、
前記切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別ステップと、
目的の物体の識別情報を入力する識別情報入力ステップと、
前記識別ステップで識別された個体の識別情報と、前記識別情報入力ステップで入力された識別情報とが一致するか否かを判定する判定ステップと、
前記判定ステップでの判定結果に基づいて、前記識別情報入力ステップで入力された識別情報に対応する個体を探索する探索ステップと、
前記切り出しステップで切り出された撮像データの位置及び大きさに基づいて、前記識別ステップで識別され、前記探索ステップで探索された目的の個体に関する前記表示部における表示状態を調整する調整ステップと、
を含む。
本発明の第５の観点に係る個体管理方法は、
個体管理システムによって実行される個体管理方法であって、
撮像部で動物を撮像するとともに、前記撮像部で撮像された撮像データを表示部で表示する撮像及び表示ステップと、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出しステップと、
前記切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別ステップと、
前記識別ステップで識別された個体の識別情報に対応する属性情報を、個体の識別情報と属性情報とを対応づけて記憶する属性情報データベースから読み出す属性情報読み出しステップと、
前記切り出しステップで切り出された撮像データの位置及び大きさに基づいて、前記識別ステップで識別された個体に関する前記表示部における表示状態を調整する調整ステップと、を含み、
前記調整ステップでは、
前記切り出しステップで切り出された撮像データの位置及び大きさに基づいて、前記識別ステップで識別された個体について、前記属性情報データベースから読み出された属性情報を示す画像を前記撮像データに位置合わせする。

本発明の第６の観点に係る個体管理方法は、
個体管理システムによって実行される個体管理方法であって、
移動可能な移動体に搭載された撮像部で動物を撮像する撮像ステップと、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出しステップと、
前記切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出された特徴量を入力し、その特徴量を有する個体を識別し、その個体の識別情報を出力する識別ステップと、
前記切り出しステップで切り出された撮像データの位置に基づいて、前記移動体を、前記識別ステップで識別された個体の近くに移動させ、その個体に対する作業を行う指令を生成して前記移動体に出力する指令生成ステップと、
を含む。

本発明の第７の観点に係るプログラムは、
コンピュータを、
動物を撮像する撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部、
前記特徴量抽出部で抽出された特徴量を入力し、その特徴量を有する個体を識別し、その個体の識別情報を出力する識別部、
目的の物体の識別情報を入力する識別情報入力部、
前記識別部で識別された個体の識別情報と、前記識別情報入力部に入力された識別情報とが一致するか否かを判定する判定部、
前記判定部の判定結果に基づいて、前記識別情報入力部に入力された識別情報に対応する個体を探索する探索部、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記撮像部で撮像された撮像データを表示する表示部における、前記識別部で識別され、前記探索部で探索された目的の個体に関する表示状態を調整する調整部、
として機能させる。
本発明の第８の観点に係るプログラムは、
コンピュータを、
動物を撮像する撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部、
前記特徴量抽出部で抽出された特徴量を入力し、その特徴量を有する個体を識別し、その個体の識別情報を出力する識別部、
個体の識別情報と属性情報とを対応づけて記憶する属性情報データベース、
前記特徴量抽出部で抽出された特徴量を前記識別部に入力したときに前記識別部で識別された個体の識別情報に対応する属性情報を、前記属性情報データベースから読み出す属性情報読み出し部、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記撮像部で撮像された撮像データを表示する表示部における、前記識別部で識別された個体に関する表示状態を調整する調整部、
として機能させ、
前記調整部は、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記識別部で識別された個体について、前記属性情報データベースから読み出された属性情報を示す画像を前記撮像データに位置合わせする。

本発明の第９の観点に係るプログラムは、
コンピュータを、
移動可能な移動体に搭載され動物を撮像する撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部、
前記特徴量抽出部で抽出された特徴量を入力し、その特徴量を有する個体を識別し、その個体の識別情報を出力する識別部、
前記切り出し部から切り出された撮像データの位置に基づいて、前記移動体を、前記識別部で識別された個体の近くに移動させ、その個体に対する作業を行う指令を生成して前記移動体に出力する指令生成部、
として機能させる。

本発明によれば、動物の個体の撮像データから得られるその個体の外見的な特徴により、動物の個体を自動的に見分け、見分けられた動物の個体の表示状態を調整することができる。これにより、動物を個体毎に容易に識別し、管理することができる。

本発明の実施の形態１に係る個体管理システムの構成を示すブロック図である。（Ａ）は、撮像部で撮像された撮像データの一例を示す図である。（Ｂ）は、切り出し部で切り出された撮像データの一例を示す図である。複数の牛が写り込む撮像データの一例を示す図である。図１の個体管理システムを構成する携帯端末のハードウエア構成を示すブロック図である。図１の個体管理システムの登録モードの処理のフローチャートである。図１の個体管理システムの探索モードの処理のフローチャートである。本発明の実施の形態２に係る個体管理システムの構成を示すブロック図である。図１の個体管理システムの属性表示モードの処理のフローチャートである。表示される属性情報の一例を示す図である。本発明の実施の形態３に係る個体管理システムの構成を示すブロック図である。図１０の個体管理システムにおける自動給餌処理のフローチャートである。

以下、本発明の実施の形態について図面を参照して詳細に説明する。各図面においては、同一又は同等の部分には同一の符号が付される。

実施の形態１
まず、本発明の実施の形態１について説明する。本実施の形態に係る個体管理システム１は、例えば農場で飼養されている牛の個体を識別対象とする。牛は、乳牛であってもよいし、肉牛であってもよいし、その両方であってもよい。

図１に示すように、本実施の形態に係る個体管理システム１は、携帯端末２と、サーバシステム３とを備えている。携帯端末２は、作業者が携帯可能な大きさの端末であり、例えばスマートフォンである。サーバシステム３は、所定の場所に備え付けられ、携帯端末２とデータ通信可能な情報処理装置である。

携帯端末２は、撮像部２０と、表示部２１と、識別情報入力部２２と、を備える。すなわち、撮像部２０、表示部２１及び識別情報入力部２２は、携帯端末２に実装されている。また、サーバシステム３は、切り出し部３０と、特徴量算出部３１と、特徴量データベース３２と、識別部３３と、判定部３４と、探索部３５と、調整部３６と、を備える。言い換えると、個体管理システム１は、撮像部２０と、表示部２１と、識別情報入力部２２と、切り出し部３０と、特徴量抽出部３１と、特徴量データベース３２と、識別部３３と、判定部３４と、探索部３５と、調整部３６と、を備える。

（撮像部）
撮像部２０は、識別対象の動物である牛を撮像する。撮像部２０は、携帯端末２に実装されているため、様々な角度及び距離で、牛を撮像することができる。撮像部２０では、様々な倍率での撮像が可能である。倍率を変更することにより、撮像部２０は、牛を、個体又は群れ単位で撮像可能である。撮像部２０では、例えば図２（Ａ）に示すように、正面から見た牛の顔画像が撮像される。

撮像部２０で撮像された撮像データは、サーバシステム３に送られる。撮像される撮像データは、静止画データであってもよいし、動画データであってもよい。撮像データが動画データである場合、撮像部２０は、動画データの各フレーム画像をサーバシステム３に送ってもよいし、入力操作により又は連続的に動画データのフレーム画像を撮像データとしてサーバシステム３に送ってもよい。入力操作されたときにフレーム画像をサーバシステム３に送るモードをステップモードといい、連続的にフレーム画像をサーバシステム３に送るモードをシームレスモードという。

（表示部）
表示部２１は、撮像部２０で撮像された撮像データを表示する。携帯端末２を操作する作業者は、表示データを見ながら、撮像するターゲットを撮像視野内に収め、フォーカスを合わせて撮像することが可能となっている。後述するように、表示部２１における撮像データの表示状態は、サーバシステム３の調整部３６により調整可能となっている。

（識別情報入力部）
識別情報入力部２２は、目的の牛の識別情報、すなわち耳標番号を入力する。耳標番号は、個体毎に割り振られた耳タグに付けられた番号である。耳標番号から、どの牛であるのかを特定することができるようになっている。耳標番号によって個体登録された牛は、出生日、性別、移動歴（場所と日付）といった記録が管理データベースに登録されている。また、農場によっては、各牛の発育ステージに合わせた配合飼料のメニュー又は出産履歴といった記録が管理データベースに登録されている。さらに、獣医師は、個体毎にカルテを作成し、耳標番号で治療歴を管理している。このように、耳標番号がわかれば、牛の個体に関する情報にアクセスすることができるようになる。識別情報入力部２２に入力された識別情報は、サーバシステム３に送られる。

（切り出し部）
切り出し部３０は、撮像部２０で撮像された撮像データから、牛の個体の撮像データを切り出す。ここで、撮像データに複数の牛が写っている場合には、個体毎に牛が切り出される。例えば、切り出し部３０は、図２（Ａ）に示す画像から、図２（Ｂ）に示す牛の正面の顔画像を切り出す。また、撮像部２０から、撮像データのフレーム画像が逐次送信されてきた場合に、それぞれのフレーム画像について個体の撮像データを切り出す。すなわち、切り出し部３０は、フレーム画像を受信する度に、フレーム画像から、動物の個体の撮像データを切り出す。

切り出し部３０は、一般物体認識用に学習された第１深層学習モデルを用いて、動物の個体の撮像データを切り出す。「一般物体認識」とは、制約のない実世界のシーンの画像に対して、計算機がその中に含まれる物体又は光景を一般的な名称で認識することを指す。これに対して「特定物体認識」とは、まったく同じ形状の物体に対する認識技術である。特定物体認識は、人の顔のように形状がある程度決まったものであれば、工業製品のように完全に形状が定まっていなくても用いることができる。マーカー又は人の顔を検出対象とする場合、主に自然特徴点を用いた特定物体認識が利用されている。しかし、牛の全身を対象とする場合、品種による模様、毛色の違い、姿勢の取り方によって見た目が大きく変わり、人間の顔ほど既知ではないため、特定物体認識では認識できない場合が多い。このため、本実施の形態では、一般物体認識用に学習されたモデルが採用される。

また、第１深層学習モデルは、学習済みのものである。一般に深層学習を行う場合には大量の学習データが必要となる。しかし、大規模な学習データの準備には多くの労力を必要とする。そこで、本実施の形態では、学習済みの第１深層学習モデルを利用した転移学習が用いられる。第１深層学習モデルは、大規模なデータセットを用いて学習された畳み込みニューラルネットワークで構成される。大規模な学習データにより学習済みの畳み込みニューラルネットワークに追加学習を行うことで、少ない学習データで高い精度を実現することが可能となる。

本実施の形態では、第１深層学習モデルはＹＯＬＯ（You Only Look Once）である。ＹＯＬＯは、入力画像全体を畳み込みニューラルネットワークに入力し、撮像データにおける物体を切り出し、その位置及び大きさを直接算出する仕組みになっている。ＹＯＬＯは、処理が高速であることを特徴とする。本実施の形態では、ＹＯＬＯでは、切り出した撮像データは、図２（Ｂ）に示すように、矩形状の撮像データとなる。

このように、切り出し部３０は、撮像部２０から送られた撮像データから切り出した撮像データの位置及び大きさも検出する。切り出した撮像データの位置及び大きさは、付帯情報として、特徴量抽出部３１、識別部３３、判定部３４、探索部３５及び調整部３６に伝えられる。検出された切り出し撮像データの位置及び大きさは、調整部３６における表示部２１の表示状態の調整に用いられる。

（特徴量抽出部）
特徴量抽出部３１は、切り出し部３０で切り出された撮像データに基づいて、その個体の特徴量を抽出する。特徴量抽出部３１は、物体を認識するように学習された第２深層学習モデルを用いて、動物の個体の特徴量を抽出する。本実施の形態では、第２深層学習モデルを、例えば一般物体認識用のＶＧＧ１６とすることができる。しかしながら、本発明はこれに限られない。第２深層学習モデルとして、同じ一般物体認識用のモデルであるＶＧＧ１９又はＲｅｓＮｅｔ５０を採用してもよい。これらは、ＩｍａｇｅＮｅｔという大規模データセットによって学習されたモデルである。

また、人の顔を認識する顔認識用モデルであるＦａｃｅＮｅｔ、ＶＧＧＦａｃｅを採用することも可能である。ＦａｃｅＮｅｔを採用した場合、特徴抽出用に設計された層の出力が特徴量として用いられる。また、ＶＧＧ１６、ＶＧＧ１９、ＲｅｓＮｅｔ５０、ＶＧＧＦａｃｅでは、全結合層の直前のプーリング層の出力が特徴量として用いられる。

特徴量抽出部３１は、切り出し部３０で撮像データが切り出される度に、切り出し部３０で切り出された撮像データに基づいて、その個体の特徴量を抽出する。抽出された特徴量は、平均が０、分散が１となるように正規化される。１枚の撮像データからは、１組の特徴量として、例えば５１２個の特徴量が抽出される。第２深層学習モデルも、大量のデータセットを用いた学習済みのものであるため、出力される特徴量を高品質なものとすることができる。

（特徴量データベース）
特徴量データベース３２は、識別情報入力部２２に入力された識別情報と、特徴量抽出部３１で抽出された特徴量とを対応付けて記憶する。本実施の形態では、個体管理システム１は、この特徴量データベース３２に関して、登録モード及び探索モードの２つの動作モードを有する。登録モードでは、特徴量データベース３２に、特徴量抽出部３１で抽出された特徴量と、識別情報入力部２２に入力された識別情報とを対応付けて記憶する。探索モードでは、特徴量データベース３２は、記憶された情報を識別部３３から読み出されるようになる。特徴量データベース３２は、登録モードにおいて、特徴量抽出部３１で特徴量が抽出される度に、識別情報と、特徴量とを記憶する。１つの識別情報に対応するのは、１組の特徴量に限られない。複数枚の撮像データに対応して複数組の特徴量が記憶される様にしてもかまわない。

（識別部）
識別部３３は、上述の転移学習の識別器に相当するものである。識別部３３は、特徴量抽出部３１で抽出された特徴量を用いたパターン認識により個体を識別する。より具体的には、識別部３３は、特徴量データベース３２に記憶された特徴量と識別情報との関係に基づいて牛の個体を見分ける機械学習を行う。このパターン認識の機械学習により、識別部３３は、牛の顔の特徴量を入力するとその特徴量に対応する識別情報、すなわち牛の耳標番号を出力するように学習される。

探索モードで動作する場合、識別部３３は、特徴量抽出部３１で抽出された特徴量を入力し、その特徴量に基づいて分類を行って、その特徴量に対応する耳標番号を出力する。識別部３３は、一対他分類、すなわち多クラス分類を行うサポートベクタマシンにより、特徴量に対応する識別情報、すなわち牛の耳標番号を出力する。牛の個体数、すなわちクラス数がＣ個ある場合、識別部３３は、正解クラスとその他のクラスの２値分類を行うＣ個の識別器を有するものとすることができる。推論時には、すべての識別器に予測を行わせ、正解であるという予測確率が最も高いクラスを最終的な予測結果とすることで、多クラス分類が実現される。正解のクラスはそれぞれ対応する耳標番号と結びつけられており、正解となったクラスの耳標番号が出力される。識別部３３は、特徴量抽出部３１で特徴量が抽出される度に、その特徴量を有する個体の識別情報を出力する。

（判定部）
判定部３４は、探索モードで動作する場合、特徴量抽出部３１で抽出された特徴量を識別部３３に入力することにより識別部３３で識別された個体の識別情報と、識別情報入力部２２に入力された識別情報とが一致するか否かを判定する。判定部３４は、識別部３３から個体の識別情報が出力される度に、判定を行う。

（探索部）
探索部３５は、判定部３４の判定結果に基づいて、識別情報入力部２２に入力された識別情報に対応する目的の牛の個体を探索する。探索部３５は、判定部３４で判定が行われる度に、判定部３４の判定結果が一致したか否か、すなわち目的の牛が探索されたか否かを確認する。判定部３４において、識別部３３で識別された牛の個体の識別情報が、識別情報入力部２２に入力された識別情報と一致すると、探索部３５は、目的の牛が探索されたことを調整部３６に出力する。

図３に示すように、撮像データに複数の牛が写っている場合、切り出し部３０は、牛の個体毎に撮像データを切り出し、特徴量抽出部３１は、牛の個体毎に特徴量を抽出する。識別部３３は、特徴量抽出部３１で特徴量が抽出された各個体に対して、抽出された特徴量を入力して対応する牛の個体毎の識別番号を出力する。判定部３４は、識別部３３から識別番号が出力される個体毎に、各個体の識別情報と識別情報入力部２２に入力された識別情報とが一致するか否かを判定する。探索部３５は、判定部３４での個体毎の判定結果に基づいて、判定部３４で識別情報が一致したと判定された個体を、識別情報入力部２２に入力された識別情報に対応する個体として特定する。

（調整部）
調整部３６は、切り出し部３０で切り出された個体の撮像データの位置及び大きさに基づいて、識別部３３で識別された個体に関する表示部２１における表示状態を調整する。より具体的には、調整部３６は、表示する撮像データにおいて、切り出し部３０で切り出された撮像データの位置及び大きさに基づいて、探索部３５で探索された目的の個体が強調表示されるように表示部２１の表示状態を調整する。例えば、図３に示すように、撮像データＰ１において、目的の牛の顔の撮像データＰ２を囲むような点線枠が表示される。この点線枠は、目的の牛、すなわちターゲットとなる個体をロックオンし、継続して強調表示するものである。強調表示は、点線枠以外の表現方法、例えば、実線枠でもよいし、目的の牛の周囲を変色して表示するものであってもよい。強調表示は、その強調する方法には、限定されない。

なお、調整部３６は、単に、探索された個体の耳標番号を表示するだけでもよい。調整部３６は、識別部３３で個体がされる度に、切り出し部３０で切り出された撮像データの位置及び大きさに基づいて、識別部３３で識別された個体に関する表示部２１における表示状態を調整する。

（ハードウエア構成）
図１に示す携帯端末２は、例えば、図４に示すハードウエア構成を有するコンピュータがソフトウエアプログラムを実現することにより実現される。

具体的には、携帯端末２は、装置全体の制御を司るＣＰＵ（Central Processing Unit）１１と、ＣＰＵ１１の作業領域等として動作する主記憶部１２と、ＣＰＵ１１の動作プログラム等を記憶する外部記憶部１３と、カメラ１４と、ディスプレイ１５と、操作入力部１６と、通信インターフェイス１７と、これらを接続する内部バス１８と、を備える。

ＣＰＵ１１は、ソフトウエアプログラム（以下、単に「プログラム」とする）を実行するプロセッサ（演算装置）である。主記憶部１２には、外部記憶部１３からプログラム１９が読み込まれる。ＣＰＵ１１は、主記憶部１２に格納されたプログラム１９を実行する。これにより、撮像部２０、表示部２１及び識別情報入力部２２の機能が実現される。

主記憶部１２は、ＲＡＭ（Random Access Memory）等から構成されている。主記憶部１２には、ＣＰＵ１１のプログラム１９が外部記憶部１３からロードされる。また、主記憶部１２は、ＣＰＵ１１の作業領域（データの一時記憶領域）としても用いられる。

外部記憶部１３は、フラッシュメモリ、ハードディスク等の不揮発性メモリから構成される。外部記憶部１３には、ＣＰＵ１１に実行させるためのプログラム１９が予め記憶されている。

カメラ１４は、撮像を行う。カメラ１４は静止画又は動画を撮像可能である。ＣＰＵ１１及びカメラ１４の協調動作により、撮像部２０の機能が実現される。

ディスプレイ１５は、画像表示を行う表示デバイスである。ＣＰＵ１１及びディスプレイ１５の協調動作により、表示部２１の機能が実現される。

操作入力部１６は、携帯端末２を操作する作業者の操作入力を入力するマンマシンインターフェイスである。ＣＰＵ１１及び操作入力部１６の協調動作により、識別情報入力部２２の動作が実現される。

通信インターフェイス１７は、通信ネットワークのインターフェイスである。通信インターフェイス１７を介して、通信端末とのデータ通信及び他のサーバコンピュータとのデータ通信が行われる。本実施の形態では、通信インターフェイスを介して、サーバシステム３とデータ通信可能となる。

サーバシステム３のハードウエアの構成は、ＣＰＵ１１、主記憶部１２、外部記憶部１３、通信インターフェイス１７を備えている点で、図４に示す携帯端末２の構成と共通する。ＣＰＵ１１、主記憶部１２、外部記憶部１３及び通信インターフェイス１７が協調動作することにより、切り出し部３０、特徴量抽出部３１、特徴量データベース３２、識別部３３、判定部３４、探索部３５及び調整部３６の機能が実現される。カメラ１４、ディスプレイ１５及び操作入力部１６については、サーバシステム３は、備えている必要はない。サーバシステム３は、通信インターフェイス１７を介して、携帯端末２とデータ通信可能に接続される。

携帯端末２において実行されるプログラム１９は、上記構成を有するコンピュータを、撮像部２０、表示部２１及び識別情報入力部２２として機能させるプログラムである。また、サーバシステム３において実行されるプログラム１９は、上記構成を有するコンピュータを、切り出し部３０、特徴量抽出部３１、特徴量データベース３２、識別部３３、判定部３４、探索部３５及び調整部３６、として機能させるプログラムである。

次に、本実施の形態に係る個体管理システム１の動作、すなわち個体管理システム１によって実行される個体管理方法について説明する。個体管理システム１の動作は、図５に示す登録モードの処理と、図６に示す探索モードの処理とに分かれている。

（登録モードの処理）
まず、登録モードの処理について説明する。図５に示すように、個体管理システム１は、携帯端末２において、撮像部２０が牛を撮像するとともに、表示部２１が、撮像部２０で撮像された撮像データを表示する（ステップＳ１；撮像及び表示ステップ）。登録モードは、同時に撮像される牛は一頭であり、本実施の形態では、図２（Ａ）に示すように、牛の正面の顔画像が撮像される。ここでは、同じ個体について複数枚の撮像データが得られるようにする。

続いて、携帯端末２において、識別情報入力部２２は、撮像された牛の個体の識別情報を入力する（ステップＳ２；識別情報入力ステップ）。ここでは、牛の耳標に付いている耳標番号を読み取って、読み取られた耳標番号が入力される。入力された識別情報は、サーバシステム３に送られる。なお、ステップＳ１とステップＳ２とは、順番が逆であってもよい。撮像部２０で撮像された撮像データ及び識別情報は、サーバシステム３に送られる。

続いて、サーバシステム３において、切り出し部３０は、撮像部２０で撮像された撮像データから、牛の個体の撮像データを切り出す（ステップＳ３；切り出しステップ）。同じ個体について複数の撮像データが得られている場合には、撮像データ毎に牛の個体の撮像データが切り出される。

続いて、サーバシステム３において、特徴量抽出部３１は、上記切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する（ステップＳ４；特徴量抽出ステップ）。同じ個体について複数の撮像データが得られている場合には、撮像データ毎に牛の個体の特徴量が抽出される。

続いて、サーバシステム３において、特徴量データベース３２は、個体の識別情報と特徴量抽出部３１で抽出された特徴量とを対応付けて記憶し、牛の個体登録を行う（ステップＳ５；登録ステップ）。同じ個体について複数の撮像データが得られている場合には、同じ識別情報について、複数組の特徴量が記憶される。

続いて、サーバシステム３において、識別部３３は、特徴量データベース３２への記憶が完了したか否かを判定する（ステップＳ６）。この判定は、識別対象となるすべての牛についての識別情報と特徴量との記憶が完了しているか否かで判定される。まだ、特徴量データベース３２への記憶が完了していない個体がある場合には、この判定は否定される。判定が否定されれば（ステップＳ６；Ｎｏ）、個体管理システム１は、ステップＳ１に戻り、まだ、登録が完了していない牛についてステップＳ１～Ｓ５の処理が実行される。

すべての個体について特徴量データベース３２への登録が完了した場合（ステップＳ６；Ｙｅｓ）、識別部３３は、特徴量データベース３２に記憶された特徴量と識別情報との関係に基づいて動物の個体を見分ける機械学習を行う（ステップＳ７；学習ステップ）。この機械学習により、識別部３３は、特徴量抽出部３１で抽出された特徴量を入力すると、その特徴量に対応する個体の識別情報を出力するように内部パラメータが調整される。

（探索モードの処理）
次に、探索モードの処理について説明する。図６に示すように、個体管理システム１は、携帯端末２において、撮像部２０が牛を撮像するとともに、表示部２１が、撮像部２０で撮像された撮像データを表示する（ステップＳ１１；撮像及び表示ステップ）。撮像部２０で撮像された撮像データは、サーバシステム３に送られる。同時に撮像される牛は一頭であってもよいし、複数頭であってもよい。

続いて、携帯端末２において、識別情報入力部２２は、探索する目的の牛の個体の識別情報を入力する（ステップＳ１２；識別情報入力ステップ）。入力された識別情報は、サーバシステム３に送られる。なお、ステップＳ１１とステップＳ１２とは、順番が逆であってもよい。

続いて、サーバシステム３において、切り出し部３０は、撮像部２０で撮像された撮像データから、牛の個体の撮像データを切り出す（ステップＳ１３；切り出しステップ）。撮像データに複数の牛の個体が写っている場合には、個体毎に撮像データが切り出される。

続いて、サーバシステム３において、特徴量抽出部３１は、上記切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する（ステップＳ１４；特徴量抽出ステップ）。撮像データに複数の牛の個体が写っている場合には、個体毎に特徴量が算出される。

続いて、サーバシステム３において、識別部３３は、特徴量抽出ステップで抽出された特徴量を用いたパターン認識により個体を識別する（ステップＳ１５；識別ステップ）。撮像データに複数の牛の個体が写っている場合には、個体毎に識別情報が得られる。

続いて、サーバシステム３において、判定部３４は、識別部３３で識別された個体の識別情報と、識別情報入力部２２に入力された識別情報とが一致するか否かを判定する（ステップＳ１６；判定ステップ）。撮像データに複数の牛の個体が写っている場合には、個体毎に判定が行われる。

続いて、サーバシステム３において、探索部３５は、判定部３４において識別番号が一致し、目的の牛が探索されたか否かを判定する（ステップＳ１７）。ここでは、撮像データに写る個体毎に判定が行われ、一体でも目的の牛と一致すれば、判定は肯定される。目的の牛が探索されていなければ（ステップＳ１７；Ｎｏ）、個体管理システム１の処理は、ステップＳ１の撮像及び表示ステップに戻る。その後、目的の牛が探索されない間は（ステップＳ１７；Ｎｏ）、ステップＳ１１～Ｓ１７が繰り返され。撮像データにうつる目的の牛の探索が続行される。

目的の牛が探索されると（ステップＳ１７；Ｙｅｓ）、サーバシステム３において、調整部３６は、切り出しステップで切り出された撮像データの位置及び大きさに基づいて、識別ステップで識別された個体に関する表示部２１における表示状態を調整する（ステップＳ１８；調整ステップ）。これにより、携帯端末２の表示部２１では、表示状態が調整された表示が行われる。例えば、目的となる牛の個体が強調表示される。

ステップＳ１８が完了した後、個体管理システム１は、探索終了判断を行う（ステップＳ１９）。この判断は、携帯端末２又はサーバシステム３での操作入力に従って行われる。探索を終了しない場合（ステップＳ１９；Ｎｏ）、個体管理システム１は、ステップＳ１１に戻り、ステップＳ１１～Ｓ１７を繰り返して、目的の牛を探索し、探索されれば、ステップＳ１８，Ｓ１９を実行して、目的の牛の表示状態を調整する。これにより、目的の個体の強調表示が続行される。強調表示を継続して行うことにより、その個体にロックオンした状態の表示とすることができる。

探索を終了する場合（ステップＳ１９；Ｙｅｓ）、個体管理システム１は、探索モードの処理を終了する。

以上詳細に説明したように、本実施の形態に係る個体管理システム１は、動物の個体の撮像データから得られるその個体の外見的な特徴により、動物の個体を自動的に見分け、見分けられた動物の個体の表示状態を調整することができる。これにより、動物を個体毎に容易に識別し、管理することができる。

本実施の形態によれば、タグリーダなどの特殊な機械を必要とせずに、牛の個体を識別して管理することができる。

本実施の形態によれば、牛に接近することなく目的の牛を発見することができるため、感染症の予防対策にも好適である。感染症には、例えば牛白血病がある。

なお、本実施の形態では、牛の顔で個体識別を行っている。しかしながら、本発明はこれには限られない。例えば、牛の全身で個体識別を行うようにしてもよい。また、牛の顔と全身とを、別々に識別して、個体を特定するようにしてもよい。

また、牛の個体の動作に関する特徴量で、個体を特定するようにしてもよい。この場合、特徴量抽出部３１は、牛の個体の動作、例えば、歩様に関する特徴量を算出する必要があり、このような特徴量は、複数のフレーム画像から検出される個体の体の動きに基づいて算出される。

また、本実施の形態では、識別情報が入力された一頭の牛の個体を探索している。しかしながら、これには限られない。複数の牛を同時に探索対象とするようにしてもよい。

実施の形態２
次に、本発明の実施の形態２について説明する。本実施の形態に係る個体管理システム１は、登録モードにおいて、特徴量データベース３２にデータを登録する構成及び動作は、上記実施の形態に係る個体管理システム１と同じである。本実施の形態に係る個体管理システム１は、拡張現実技術を用いて、探索された牛の個体と、その個体についての属性情報との重層表示を行う。

図７に示すように、本実施の形態に係る個体管理システム１では、サーバシステム３が、判定部３４、探索部３５の代わりに、属性情報データベース４０、属性情報読み出し部４１及び調整部４２を備えている点が、上記実施の形態１に係る個体管理システム１と異なっている。

属性情報データベース４０は、個体の識別情報と属性情報とを対応づけて記憶する。個体の属性情報には、例えば、その個体が保有している病原体の情報がある。

属性情報読み出し部４１は、属性情報表示モードで動作する場合、特徴量抽出部３１で抽出された特徴量の入力により識別部３３から出力された識別情報に対応する属性情報を、属性情報データベース４０から読み出す。

調整部４２は、切り出し部３０で切り出された撮像データの位置及び大きさに基づいて、識別部３３で特定された個体について、属性情報データベース４０から読み出された属性情報を示す画像の表示される撮像データに対する位置合わせを行う。

なお、切り出し部３０は、個体の顔の撮像データと、全身の撮像データとを切り出すようにしてもよい。この場合、調整部４２は、切り出し部３０で切り出された個体の顔の撮像データの位置と全身の撮像データの位置とに基づいて、その個体の体の向きを検出する。調整部４２は、検出した個体の体の向きに基づいて、属性情報を示す画像を調整するようにしてもよい。

次に、本実施の形態に係る個体管理システム１の動作、すなわち個体管理システム１によって実行される個体管理方法について説明する。個体管理システム１では、登録モードの処理と、図８に示す属性表示モードの処理とに分かれている。登録モード処理は、上記実施の形態に係る個体管理システム１の図５に示す処理と同じである。

（属性表示モードの処理）
属性表示モードの処理について説明する。図８に示すように、個体管理システム１は、携帯端末２において、撮像部２０が牛を撮像するとともに、表示部２１が、撮像部２０で撮像された撮像データを表示する（ステップＳ２１；撮像及び表示ステップ）。撮像部２０で撮像された撮像データは、サーバシステム３に送られる。同時に撮像される牛は一頭であってもよいし、複数頭であってもよい。

続いて、サーバシステム３において、切り出し部３０は、撮像部２０で撮像された撮像データから、牛の個体の撮像データを切り出す（ステップＳ２２；切り出しステップ）。撮像データに複数の牛の個体が写っている場合には、個体毎に撮像データが切り出される。

続いて、サーバシステム３において、特徴量抽出部３１は、上記切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する（ステップＳ２３；特徴量抽出ステップ）。撮像データに複数の牛の個体が写っている場合には、個体毎に特徴量が算出される。

続いて、サーバシステム３において、識別部３３は、特徴量抽出ステップで抽出された特徴量を用いたパターン認識により個体を識別する（ステップＳ２４；識別ステップ）。撮像データに複数の牛の個体が写っている場合には、個体毎に識別され、その識別情報が得られる。

続いて、サーバシステム３において、属性情報読み出し部４１は、特徴量抽出部３１で抽出された特徴量の入力により識別部３３から出力された識別情報に対応する属性情報を、属性情報データベース４０から読み出す（ステップＳ２５；属性情報読み出しステップ）。

続いて、サーバシステム３において、属性情報読み出し部４１は、読み出した属性情報が有るか否かを判定する（ステップＳ２６）。属性情報がない場合（ステップＳ２６；Ｎｏ）、個体管理システム１は、ステップＳ２１に戻る。識別ステップで識別された個体の識別情報に対応する属性情報が有るまで、ステップＳ２１～Ｓ２６が繰り返される。

属性情報が有る場合（ステップＳ２６；Ｙｅｓ）、調整部４２は、切り出し部３０で切り出された撮像データの位置及び大きさに基づいて、識別部３３で特定された個体について、属性情報データベース４０から読み出された属性情報を示す画像を撮像データに対して位置合わせするように調整を行う（ステップＳ２７；調整ステップ）。これにより、表示部２１には、その個体とその属性情報とが重ね合わせて表示される。

ステップＳ２７が完了した後、個体管理システム１は、表示終了判断を行う（ステップＳ２８）。この判断は、携帯端末２又はサーバシステム３での操作入力に従って行われる。表示を終了しない場合（ステップＳ２８；Ｎｏ）、個体管理システム１は、ステップＳ２１に戻り、ステップＳ２１～Ｓ２８を繰り返す。これにより、目的の牛の属性情報の表示が続行される。

探索を終了する場合（ステップＳ２８；Ｙｅｓ）、個体管理システム１は、属性表示モードの処理を終了する。

属性情報には様々なものがある。例えば、図９に示すように、目的の牛に、牛の３次元形状ＣＧ（Computer Graphics）モデル（３Ｄ牛モデル）を重ねて表示することが考えられる。この場合には、前述のように、切り出し部３０は、個体の顔の撮像データと全身の撮像データとを切り出す。基本的には、全身の撮像データの矩形領域に整合するように、３Ｄ牛モデルの位置及び大きさが決定される。

位置合わせを行うために必要な情報は、３Ｄ牛モデルの拡大率、３次元重心座標、回転角である。拡大率について、矩形領域の縦横の大きさに整合するように３Ｄ牛モデルの体高、体長及び幅を決定する。３次元重心座標のうち、Ｘ座標、Ｙ座標は、切り出された矩形状の撮像領域の重心座標とする。３Ｄ牛モデルの奥行きは、拡大率の変更により表現されるため、Ｚ座標は不変の固定値とする。

回転角は、３Ｄ牛モデルが右を向くか左を向くかを決定するためのものである。３Ｄ牛モデルの向きは、全身を検出した矩形の撮像領域の重心座標に対して、顔を検出した撮像領域のうち、重心座標に近いものが、全身の撮像領域よりも左右のどちら側にあるかで決定される。すなわち、調整部４２は、切り出し部３０で切り出された個体の顔の撮像データの位置と全身の撮像データの位置とに基づいて、その個体の体の向きを検出する。具体的には、調整部４２は、全身の撮像データの位置を牛の位置とし、全身の撮像データの位置に対する顔の位置により、体の向きを検出する。調整部４２は、検出した個体の体の向きに基づいて、個体に３Ｄ牛モデルを重ね合わせて表示するように３Ｄ牛モデルの位置を調整する。

拡張現実では、実際の３次元空間に合わせるため、重畳する情報は３次元的であることが望ましいが、一般物体認識により得られる情報は２次元的な情報である。上述のように、本実施の形態では、得られた２次元情報から得られる実際のターゲットの位置、大きさ及び体の向きを検出し、その検出結果に基づいて、属性情報を示す画像の表示状態を調整して、現実空間と仮想的な情報との空間的な整合性をとることにより、違和感の少ない表示を実現している。

拡張現実により、携帯端末２を通して牛の周囲に属性情報を画像として表示させることで、情報の内容を直感的に理解できるようになる（インフォグラフィックス）。例えば、単に「感染牛」と文字で表示させるよりも、牛の周囲からウイルスが湧いて出るような画像の方が印象的で感染するリスクを認識しやすくなる。

本実施の形態によれば、一般物体認識を用いることで撮像データ中から牛を検出し、重畳する属性情報の位置合わせを行うことで、特定のマーカーを必要としない拡張現実を提供することができる。

拡張現実は、位置情報の取得方法によりロケーションＡＲと、ビジョンベースＡＲに分類できる。ロケーションＡＲは、ＧＰＳ等を用いて取得した位置情報に紐付けてユーザに情報を提示する。ビジョンベースＡＲは、カメラ等を用いて取得した画像から情報を解析してユーザに情報を提示する。ビジョンベースＡＲは、マーカー型ＡＲと、マーカーレス型ＡＲに分類できる。

マーカー型ＡＲは、任意のマーカーを現実空間に設置し、検出したマーカーを基準に提示する情報の位置合わせを行う。マーカーレス型ＡＲは、マーカーを利用せずに自然特徴点を用いたパターンマッチング又は自己位置推定により提示する情報の位置合わせを行う。本実施の形態に係る個体管理システム１で用いられる拡張現実は、マーカーレス型ＡＲに分類されるものであるが、公知のマーカーレスＡＲとは異なる。公知のマーカーレスＡＲでは、自己位置推定を行って重畳する情報の位置合わせを行っているのに対し、本実施の形態では、一般物体認識により検出した対象との相対的な位置関係を用いて重畳する画像の位置合わせを行っている。この点が、公知のマーカーレスとは異なる点である。

実施の形態３
次に、本発明の実施の形態３について説明する。本実施の形態に係る個体管理システム１は、牛に対して給餌を行う。

図１０に示すように、本実施の形態に係る個体管理システム１は、移動体４を備えている。移動体４は、農場内を移動可能な車両である。撮像部２０は、携帯端末２ではなく、移動体４に搭載されている。移動体４は、自動給餌部２４を備えている。自動給餌部２４は、サーバシステム３からの指令に従って、牛に対して自動的に給餌を行う。

サーバシステム３は、切り出し部３０と、特徴量抽出部３１と、特徴量データベース３２と、識別部３３と、判定部３４と、探索部３５と、を備える点は、上記実施の形態１に係る個体管理システム１を構成するサーバシステム３と同じである。

切り出し部３０は、撮像部２０で撮像された撮像データから、動物の個体の撮像データを切り出す。特徴量抽出部３１は、切り出し部３０で切り出された撮像データに基づいて、その個体の特徴量を抽出する。特徴量データベース３２は、個体の識別情報と特徴量抽出部３１で抽出された特徴量とを対応付けて記憶する。識別部３３は、特徴量抽出部３１で抽出された特徴量を用いたパターン認識により個体を識別する。判定部３４は、識別部３３で識別された個体の識別情報と、識別情報入力部２２に入力された識別情報とが一致するか否かを判定する。探索部３５は、判定部３４の判定結果に基づいて、識別情報入力部２２に入力された識別情報に対応する個体を探索する。

サーバシステム３は、さらに、飼料情報データベース４５と、飼料情報読み出し部４６と、指令生成部４７と、を備える。飼料情報データベース４５は、牛の個体の識別情報と飼料情報とを対応付けて記憶する。飼料情報は、例えば、牛の発育ステージまたは健康状態に合わせた個別の飼料を示す情報である。飼料情報読み出し部４６は、探索部３５で探索された個体の識別情報に対応する飼料情報を飼料情報データベース４５から読み出す。指令生成部４７は、切り出し部３０から切り出された撮像データの位置に基づいて、移動体４を、識別部３３で識別され探索部３５で探索された個体の近くに移動させ、その個体に対する作業を行う指令を生成して移動体４に出力する。移動体４は、飼料情報読み出し部４６で読み出された飼料情報に基づいて、識別部３３で識別された個体に対して給餌を行う。

本実施の形態に係る個体管理システム１の動作、すなわち自動給餌処理について説明する。図１１に示すように、まず、移動可能な移動体４に搭載された撮像部２０は、動物を撮像する（ステップＳ３１；撮像ステップ）。

続いて、識別情報入力部２２は、識別情報を入力する（ステップＳ３２；識別情報入力ステップ）。

切り出し部３０は、撮像部２０で撮像された撮像データから、動物の個体の撮像データを切り出す（ステップＳ３３；切り出しステップ）。

特徴量抽出部３１は、切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する（ステップＳ３４；特徴量抽出ステップ）。

識別部３３は、特徴量抽出ステップで抽出された特徴量を入力し、その特徴量を有する個体を識別し、その識別情報を出力する（ステップＳ３５；識別ステップ）。

続いて、サーバシステム３において、判定部３４は、識別部３３から出力された識別情報と、識別情報入力部２２に入力された識別情報とが一致するか否かを判定する（ステップＳ３６；判定ステップ）。撮像データに複数の牛の個体が写っている場合には、個体毎に判定が行われる。

続いて、サーバシステム３において、探索部３５は、判定部３４において識別番号が一致し、目的の牛が探索されたか否かを判定する（ステップＳ３７）。ここでは、撮像データに写る個体毎に判定が行われ、一体でも一致するものがあれば、判定は肯定される。目的の牛が探索されていなければ（ステップＳ３７；Ｎｏ）、個体管理システム１の処理は、ステップＳ３１の撮像ステップに戻る。その後、目的の牛が探索されない間は（ステップＳ３７；Ｎｏ）、ステップＳ３１～Ｓ３７が繰り返され、撮像データにうつる目的の牛の探索が続行される。

目的の牛が探索されると（ステップＳ３７；Ｙｅｓ）、飼料情報読み出し部４６は、飼料情報データベース４５から、探索部３５で探索された個体の識別情報をキーとして、飼料情報を読み出す（ステップＳ４０；飼料情報読み出しステップ）。

続いて、指令生成部４７は、切り出しステップで切り出された撮像データの位置に基づいて、移動体４を、識別ステップ（ステップＳ３５）で識別された個体の近くに移動させ、その個体に対して給餌を行う指令を生成して移動体４に出力する（ステップＳ４１；指令生成ステップ）。生成された指令は、移動体４に送信される。

指令を受信した移動体４の自動給餌部２４は、飼料情報に基づいて、探索された牛の個体に対して給餌を行う（ステップＳ４２；給餌ステップ）。

ステップＳ４２が完了した後、個体管理システム１は、給餌終了判断を行う（ステップＳ４３）。この判断は、自動給餌部２４によって行われる。給餌が終了してしない場合（ステップＳ４３；Ｎｏ）、個体管理システム１は、ステップＳ３１に戻り、ステップＳ３１～Ｓ３７を繰り返して目的の牛を探索し、目的の牛が探索されると、ステップＳ４０～Ｓ４２を行って、その牛に給餌を行う。これにより、目的の牛への給餌が続行される。

給餌を終了する場合（ステップＳ４３；Ｙｅｓ）、個体管理システム１は、自動給餌処理を終了する。

酪農及び肉用牛経営において、給餌は、牛の健康と生産性に大きな影響を与える。一方、給餌作業は一日の作業時間の中でも多大な時間と労力を要する大変な作業である。毎日欠かすことができない搾乳または給餌作業、深夜対応も求められる分娩監視等、酪農家の労働負担が大きいことが、離農の原因または後継者による継承が進まないことの一因となっている。本実施の形態に係る個体管理システム１によれば、生産者の労働負担軽減・省力化及び飼養管理技術の高度化を支援し、労働条件を改善することができる。

なお、本実施の形態では、特定の識別情報に対応する牛の個体を探索し、その牛の個体の飼料情報に基づいて、給餌を行っている。しかしながら、本発明はこれには限られない。特定の識別情報に対応する牛の個体のみに対してだけでなく、撮像された牛の個体からその個体を識別し、識別された個体の飼料情報を飼料情報データベース４５から読み込んで、その飼料情報に基づいて給餌を行うようにしてもよい。

撮像部２０が搭載され遠隔で牛を見守るための移動体４を農場内で運用すれば、見回り回数の削減・省力化が可能となり、時間や場所を問わず、作業経験が少ない人でも牛の健康状態を把握することができる。また、このような遠隔監視は、牛の疾病等の早期発見にもつながる。なお、移動体４の撮像部２０で撮像される撮像データは、サーバシステム３と接続された管理センターの端末のディスプレイに表示されるようにすれば、遠隔監視が可能となる。

なお、本実施の形態に係る個体管理システム１では、探索された目的の牛を継続して移動体で追跡可能である。この個体管理システム１では、追跡する目的の牛の移動軌跡を記憶するようにしてもよい。牛の移動軌跡を記憶すれば、その牛の行動パターンを分析することが可能となる。

上記実施の形態では、携帯端末２をスマートフォンとしている。しかしながら、本発明はこれには限られない。携帯端末２として、タブレット型コンピュータ又は携帯電話を用いてもよい。また、携帯端末２として、目の前の光景と拡張現実の画像とを重ね合わせて表示可能なヘッドマウントディスプレイのようなものを用いてもよい。

上記実施の形態では、牛の耳標番号を識別情報として用いている。しかしながら、本発明はこれには限られない。牛のタグが欠落し、耳標番号が不明な場合には、耳標番号と重複することない番号体系を有する固有の識別番号を、牛の識別情報として用いるようにしてもよい。

上記実施の形態では、牛を識別対象としている。しかしながら、本発明はこれには限られない。豚といった家畜動物を識別対象としてもよい。また、犬、猫といった伴侶動物を識別対象としてもよい。

上記実施の形態によれば、養牛業界における働き方改革の実現及び効率的な飼養管理により生産性の向上が期待される。これは、他の家畜動物の飼育事業についても同様である。

個体管理システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

ＣＰＵ１１、主記憶部１２、外部記憶部１３、カメラ１４、ディスプレイ１５、操作入力部１６、通信インターフェイス１７などから構成される個体管理システム１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する個体管理システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで個体管理システム１を構成してもよい。

個体管理システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

本発明は、農業分野の飼育管理、獣医療、データ管理技術において利用することができる。特に、家畜動物又は伴侶動物である動物の個体の識別に利用することができる。

１個体管理システム、２携帯端末、３サーバシステム、４移動体、１１ＣＰＵ、１２主記憶部、１３外部記憶部、１４カメラ、１５ディスプレイ、１６操作入力部、１７通信インターフェイス、１８内部バス、１９プログラム、２０撮像部、２１表示部、２２識別情報入力部、２４自動給餌部、３０切り出し部、３１特徴量抽出部、３２特徴量データベース、３３識別部、３４判定部、３５探索部、３６調整部、４０属性情報データベース、４１属性情報読み出し部、４２調整部、４５飼料情報データベース、４６飼料情報読み出し部、４７指令生成部

Claims

動物を撮像する撮像部と、
前記撮像部で撮像された撮像データを表示する表示部と、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部と、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別部と、
目的の物体の識別情報を入力する識別情報入力部と、
前記識別部で識別された個体の識別情報と、前記識別情報入力部に入力された識別情報とが一致するか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記識別情報入力部に入力された識別情報に対応する個体を探索する探索部と、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記識別部で識別され、前記探索部で探索された目的の個体に関する前記表示部における表示状態を調整する調整部と、
を備える個体管理システム。
前記調整部は、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記探索部で探索された個体が強調表示されるように前記表示部の表示状態を調整する、
請求項１に記載の個体管理システム。
動物を撮像する撮像部と、
前記撮像部で撮像された撮像データを表示する表示部と、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部と、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別部と、
個体の識別情報と属性情報とを対応づけて記憶する属性情報データベースと、
前記特徴量抽出部で抽出された特徴量を前記識別部に入力したときに前記識別部で識別された個体の識別情報に対応する属性情報を、前記属性情報データベースから読み出す属性情報読み出し部と、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記識別部で識別された個体に関する前記表示部における表示状態を調整する調整部と、を備え、
前記調整部は、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記識別部で識別された個体について、前記属性情報データベースから読み出された属性情報を示す画像を前記撮像データに位置合わせする、
個体管理システム。
前記切り出し部は、個体の顔の撮像データと全身の撮像データとを切り出し、
前記調整部は、前記切り出し部で切り出された個体の顔の撮像データの位置と全身の撮像データの位置とに基づいて、その個体の体の向きを検出し、
検出した個体の体の向きに基づいて、属性情報を示す画像を前記撮像データに位置合わせする、
請求項３に記載の個体管理システム。
前記撮像部及び前記表示部は、携帯端末に実装されている、
請求項１から４のいずれか一項に記載の個体管理システム。
動物を撮像する撮像部と、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部と、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別部と、
前記撮像部が搭載され、移動可能な移動体と、
前記切り出し部から切り出された撮像データの位置に基づいて、前記移動体を、前記識別部で識別された個体の近くに移動させ、その個体に対する作業を行う指令を生成して前記移動体に出力する指令生成部と、
を備える個体管理システム。
個体の識別情報と飼料情報とを対応付けて記憶する飼料情報データベースと、
前記識別部で識別された個体の識別情報に対応する飼料情報を前記飼料情報データベースから読み出す飼料情報読み出し部と、を備え、
前記移動体は、
前記飼料情報読み出し部で読み出された飼料情報に基づいて、前記識別部で識別された個体に対して給餌を行う自動給餌部を備える、
請求項６に記載の個体管理システム。
個体の識別情報と前記特徴量抽出部で抽出された特徴量とを対応付けて記憶する特徴量データベースと、を備え、
前記識別部は、
前記特徴量データベースに記憶された特徴量と識別情報との関係に基づいて動物の個体を見分ける機械学習を行うことにより、特徴量を入力するとその特徴量に対応する識別情報を出力する、
請求項１から７のいずれか一項に記載の個体管理システム。
前記切り出し部は、一般物体認識用に学習された第１深層学習モデルを用いて、個体の撮像データを切り出し、
前記特徴量抽出部は、物体認識用に学習された第２深層学習モデルを用いて、個体の特徴量を抽出し、
前記識別部は、一対他分類を行うサポートベクタマシンにより、特徴量に対応する識別情報を出力する、
請求項８に記載の個体管理システム。
前記第１深層学習モデルは、ＹＯＬＯ（You Only Look Once）であり、
前記第２深層学習モデルは、ＶＧＧ１６である、
請求項９に記載の個体管理システム。
前記撮像データは、動画データであり、
前記撮像部は、入力操作により又は断続的に、前記動画データのフレーム画像を前記撮像データとして前記切り出し部に送り、
前記切り出し部は、前記フレーム画像を受信する度に、前記フレーム画像から、動物の個体の撮像データを切り出し、
前記特徴量抽出部は、前記切り出し部で撮像データが切り出される度に、前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出し、
前記識別部は、前記特徴量抽出部で特徴量が抽出される度に、その特徴量を有する個体を識別する、
請求項１から１０のいずれか一項に記載の個体管理システム。
前記特徴量抽出部は、複数の前記フレーム画像から検出される動物の個体の体の動きに基づいて、動物の個体の動作に関する特徴量を抽出する、
請求項１１に記載の個体管理システム。
個体管理システムによって実行される個体管理方法であって、
撮像部で動物を撮像するとともに、前記撮像部で撮像された撮像データを表示部で表示する撮像及び表示ステップと、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出しステップと、
前記切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別ステップと、
目的の物体の識別情報を入力する識別情報入力ステップと、
前記識別ステップで識別された個体の識別情報と、前記識別情報入力ステップで入力された識別情報とが一致するか否かを判定する判定ステップと、
前記判定ステップでの判定結果に基づいて、前記識別情報入力ステップで入力された識別情報に対応する個体を探索する探索ステップと、
前記切り出しステップで切り出された撮像データの位置及び大きさに基づいて、前記識別ステップで識別され、前記探索ステップで探索された目的の個体に関する前記表示部における表示状態を調整する調整ステップと、
を含む個体管理方法。
個体管理システムによって実行される個体管理方法であって、
撮像部で動物を撮像するとともに、前記撮像部で撮像された撮像データを表示部で表示する撮像及び表示ステップと、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出しステップと、
前記切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出された特徴量を用いたパターン認識により個体を識別し、その個体の識別情報を出力する識別ステップと、
前記識別ステップで識別された個体の識別情報に対応する属性情報を、個体の識別情報と属性情報とを対応づけて記憶する属性情報データベースから読み出す属性情報読み出しステップと、
前記切り出しステップで切り出された撮像データの位置及び大きさに基づいて、前記識別ステップで識別された個体に関する前記表示部における表示状態を調整する調整ステップと、を含み、
前記調整ステップでは、
前記切り出しステップで切り出された撮像データの位置及び大きさに基づいて、前記識別ステップで識別された個体について、前記属性情報データベースから読み出された属性情報を示す画像を前記撮像データに位置合わせする、
個体管理方法。
個体管理システムによって実行される個体管理方法であって、
移動可能な移動体に搭載された撮像部で動物を撮像する撮像ステップと、
前記撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出しステップと、
前記切り出しステップで切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出された特徴量を入力し、その特徴量を有する個体を識別し、その個体の識別情報を出力する識別ステップと、
前記切り出しステップで切り出された撮像データの位置に基づいて、前記移動体を、前記識別ステップで識別された個体の近くに移動させ、その個体に対する作業を行う指令を生成して前記移動体に出力する指令生成ステップと、
を含む個体管理方法。
コンピュータを、
動物を撮像する撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部、
前記特徴量抽出部で抽出された特徴量を入力し、その特徴量を有する個体を識別し、その個体の識別情報を出力する識別部、
目的の物体の識別情報を入力する識別情報入力部、
前記識別部で識別された個体の識別情報と、前記識別情報入力部に入力された識別情報とが一致するか否かを判定する判定部、
前記判定部の判定結果に基づいて、前記識別情報入力部に入力された識別情報に対応する個体を探索する探索部、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記撮像部で撮像された撮像データを表示する表示部における、前記識別部で識別され、前記探索部で探索された目的の個体に関する表示状態を調整する調整部、
として機能させるプログラム。
コンピュータを、
動物を撮像する撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部、
前記特徴量抽出部で抽出された特徴量を入力し、その特徴量を有する個体を識別し、その個体の識別情報を出力する識別部、
個体の識別情報と属性情報とを対応づけて記憶する属性情報データベース、
前記特徴量抽出部で抽出された特徴量を前記識別部に入力したときに前記識別部で識別された個体の識別情報に対応する属性情報を、前記属性情報データベースから読み出す属性情報読み出し部、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記撮像部で撮像された撮像データを表示する表示部における、前記識別部で識別された個体に関する表示状態を調整する調整部、
として機能させ、
前記調整部は、
前記切り出し部で切り出された撮像データの位置及び大きさに基づいて、前記識別部で識別された個体について、前記属性情報データベースから読み出された属性情報を示す画像を前記撮像データに位置合わせする、
プログラム。
コンピュータを、
移動可能な移動体に搭載され動物を撮像する撮像部で撮像された撮像データから、動物の個体の撮像データを切り出す切り出し部、
前記切り出し部で切り出された撮像データに基づいて、その個体の特徴量を抽出する特徴量抽出部、
前記特徴量抽出部で抽出された特徴量を入力し、その特徴量を有する個体を識別し、その個体の識別情報を出力する識別部、
前記切り出し部から切り出された撮像データの位置に基づいて、前記移動体を、前記識別部で識別された個体の近くに移動させ、その個体に対する作業を行う指令を生成して前記移動体に出力する指令生成部、
として機能させるプログラム。