JP7737795B2 - 把持位置演算システム、把持位置演算プログラム、学習済モデル、及び骨付き肉把持システム - Google Patents

Description

本開示は、把持位置演算システム、把持位置演算プログラム、学習済モデル、及び骨付き肉把持システムに関する。

従来、骨付き肉を把持する把持装置が知られている。例えば、骨付き肉が切り込みの入った肢首部を含む骨付き肢肉である場合、各骨付き肢肉の大きさに応じて、肢首部の切り込み位置の近くの部位を把持装置は把持する必要がある。特許文献１に開示される把持装置では、切り込み位置から肢首部の先端までの長さが、実測によりデータとして予め収集されている。収集されたデータに基づき、上記長さの平均値及び上記データの標準偏差が求められる。これらの値によって規定される規定量だけ肢首部の先端から変位した位置が把持位置とみなされ、この位置にある肢首部の部位を把持装置は把持する。

特開２０２０－１７８６３３号公報

特許文献１に開示の把持装置では、複数の骨付き肢肉のそれぞれに対して同じ規定量が適用されて把持動作が実行されるが、各骨付き肢肉の大きさ又は形状をさらに考慮に入れたうえで、把持位置が特定されることが好ましい。

本開示に係る一実施形態は、骨付き肉の大きさ又は形状に応じた適切な把持位置を特定できる把持位置演算システム、把持位置演算プログラム、学習済モデル、及び骨付き肉把持システムを提供することを目的とする。

本発明の少なくとも一実施形態に係る把持位置演算システムは、
骨付き肉の撮影画像に関する画像データを取得するための画像取得部と、
前記画像データが入力されると、前記骨付き肉の把持位置に関する把持位置データを出力するよう学習されたニューラルネットワークを用いた学習済モデルを記憶した記憶部と、
前記画像取得部によって取得された前記画像データを前記学習済モデルに入力して、前記把持位置データを取得するための把持位置取得部と
を備える。

本発明の少なくとも一実施形態に係る把持位置演算プログラムは、
コンピュータに、
骨付き肉の撮影画像に関する画像データを取得するための画像取得ステップと、
前記画像データが入力されると、前記骨付き肉の把持位置に関する把持位置データを出力するよう学習されたニューラルネットワークを用いた学習済モデルに、前記画像取得ステップによって取得された前記画像データを入力して、前記把持位置データを取得するための把持位置取得ステップと
を実行させる。

本発明の少なくとも一実施形態に係る学習モデルは、
ニューラルネットワークを用いた学習済モデルであって、
骨付き肉の撮影画像に関する画像データが入力されるための入力層と、
前記入力層に入力された前記画像データの前記骨付き肉の把持位置に関する把持位置データを出力するための出力層と、
教師用の前記画像データと前記画像データに含まれる前記骨付き肉の教師用の前記把持位置データとを対応付けた教師データに基づき、各ニューロン間の結合の重みとバイアスとを含むパラメータの学習がなされた複数の中間層と
を備え、
前記画像データが前記入力層に入力された場合に、前記複数の中間層による演算を経て前記把持位置データを前記出力層から出力するようにコンピュータを機能させる。

本発明の少なくとも一実施形態に係る骨付き肉把持システムは、
前記骨付き肉を撮影するための撮影装置と、
前記骨付き肉を把持するための把持装置と、
前記骨付き肉を撮影するよう前記撮影装置を制御するための撮影制御部と、
前記画像取得部が前記撮影装置によって撮影された画像に関する前記撮影画像の前記画像データを取得するよう構成された、前記把持位置演算システムと、
前記把持位置取得部によって取得された前記把持位置データに基づき、前記骨付き肉を把持するよう前記把持装置を制御するための把持制御部と
を備える。

幾つかの実施形態によれば、骨付き肉の大きさ又は形状に応じた適切な把持位置を特定できる把持位置演算システム、把持位置演算プログラム、学習済モデル、及び骨付き肉把持システムを提供できる。

一実施形態に係る骨付き肉把持システムの平面図である。 一実施形態に係る骨付き肉把持システムの正面図である。 一実施形態に係る撮影装置によって生成された画像を示す図である。 一実施形態に係る学習済モデルを示す図である。 一実施形態に係る教師データを示す図である。 一実施形態に係る骨付き肉把持システムの機能を示すブロック図である。 一実施形態に係る把持位置が特定される処理を示すフローチャートである。

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載され又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一つの構成要素を「備える」、「具える」、「具備する」、「含む」、又は「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

図１は、一実施形態に係る骨付き肉把持システム１の平面図であり、図２は、一実施形態に係る骨付き肉把持システム１の正面図である。骨付き肉把持システム１は、骨付き肉５を把持するよう構成される。骨付き肉５は、骨付きの牛肉、馬肉、鹿肉、猪肉、鯨肉又は魚肉などである。
一実施形態の骨付き肉５は、本体部５ａと、本体部５ａから突出する肢首部５ｂとを含む豚の肢肉である。

一実施形態では、骨付き肉把持システム１は、骨付き肉５を撮影する撮影装置４０、撮影された骨付き肉５の把持位置を特定する把持位置演算システム３００、特定された把持位置で骨付き肉５を把持する把持装置５０を備える。
一実施形態では、撮影される骨付き肉５は搬送装置１００によって位置決めされる。
搬送装置１００は、骨付き肉５を搬送する搬送部１０１と、搬送される骨付き肉５を位置決めする位置決め部材１０４とを含む。搬送部１０１は撮影装置４０の下方に位置するベルトコンベアである。位置決め部材１０４は一対の板状体１０４ａである。
一実施形態では、把持装置５０に把持された骨付き肉５は、運搬装置６０に受け渡されて運搬される。
他の実施形態では、骨付き肉把持システム１は搬送装置１００、及び運搬装置６０を備えなくてもよい。例えば、撮影装置４０は人力で運ばれた骨付き肉５を撮影してもよい。

一実施形態に係る把持位置演算システム３００は、撮影装置４０で撮影された画像に関するデータを画像データとして取得するための画像取得部３２２と、目標となる把持位置を示す把持位置データを出力するよう学習された学習済モデル３０５を記憶した記憶部３１０と、画像取得部３２２によって取得された画像データを学習済モデル３０５に入力して把持位置データを取得するための把持位置取得部３２４と、取得された把持位置データを把持装置５０に出力するための把持位置出力部３２７とを備える。

把持装置５０は、把持位置出力部３２７から出力された把持位置データが示す位置で骨付き肉５を把持する。
一実施形態の把持装置５０は、多関節ロボットアーム５２、及び多関節ロボットアーム５２の先端に設けられたクランプ５３を備える。多関節ロボットアーム５２の動作により、クランプ５３は、把持位置データが示す位置で骨付き肉５を把持する。
一実施形態では、クランプ５３は、固定部５３ａと、固定部５３ａに対して近づく方向及び遠ざかる方向に変位する可動部５３ｂとを備える。
一実施形態では、上記クランプ５３が骨付き肉５の肢首部５ｂを把持する。把持された骨付き肉５は、吊り下げられた姿勢で運搬装置６０に受け渡される。

一実施形態では、運搬装置６０は、受取部６２と、受取部６２が受け取った骨付き肉５を運搬する運搬部６４を備える。
一実施形態に係る受取部６２は、上下方向に開放された穴６３を含む。穴６３は、肢首部５ｂを案内するための案内穴６５と、案内された骨付き肉５が係合するための係合穴６６を備える。一実施形態では、係合穴６６は骨付き肉５の肢首部５ｂと係合するよう構成される。
一実施形態では、平面視において、案内穴６５は係合穴６６に向けて狭まっており、係合穴６６は案内穴６５から遠ざかる方向へ直線状に延在する。
一実施形態では、係合穴６６に係合した骨付き肉５は、運搬部６４によって運搬される。

一実施形態では、図３に示す通り、撮影装置４０の撮影により生成される画像４５には、骨付き肉５の一部が含まれる。より具体的には一例として、位置決めされた骨付き肉５の搬送方向の下流側部分が画像４５に含まれる。
一実施形態では、肢首部５ｂの他に、位置決め部材１０４と接触する本体部５ａの部位である接触部位５ｃが画像４５に含まれる。
他の実施形態では、画像４５には、位置決めされた骨付き肉５の全てが含まれてもよい。

一実施形態の画像４５には、規定領域４４が含まれる。規定領域４４の画像（以下、撮影画像４８ともいう）に関する画像データは、上述の画像取得部３２２に出力される。
一実施形態では、撮影画像４８は、骨付き肉５のうちで、目標把持位置となる部位を部分的に写す。一実施形態の目標把持位置は、骨付き肉５の肢首部５ｂである。より具体的には一例として、肢首部５ｂに形成された切込みＣが目標把持位置となる。この場合、上述の把持位置データは、切込みＣの位置を示す。
なお、切込みＣは一例として、作業者が、肢首部５ｂに含まれるアキレス腱を切断するよう、ナイフで肢首部５ｂを切り込むことで形成される。切込みＣは切断装置により自動的に形成されてもよい。
他の実施形態では、規定領域４４に含まれる肢首部５ｂに切込みＣが形成されていなくてもよい。また、規定領域４４に含まれる骨付き肉５の部位が目標把持位置とならなくてもよい。つまり、規定領域４４に写っていない骨付き肉５の部位が目標把持位置になってもよい。
また、撮影画像４８は、撮影装置４０の撮影により生成される画像４５に関連する画像であればどのような画像であってもよい。例えば、撮影画像４８が、規定領域４４の画像である代わりに、画像４５と同一の画像であってもよい。

図４は、一実施形態に係る記憶部３１０に記憶される学習済モデル３０５を示す図である。
ニューラルネットワークを用いた学習済モデル３０５は、画像データの入力に伴い、把持位置データを出力するよう機械学習されている。学習済モデル３０５は、入力層３１１、出力層３１３、及び複数の中間層３１２を備える。なお、図４では、複数の中間層３１２を単一の符号３１２を用いて簡略化して図示している。入力層３１１は画像データが入力されるよう構成される。出力層３１３は、骨付き肉５の把持位置データを出力するよう構成される。中間層３１２では、画像データと把持位置データとを対応付けた後述の教師データ４５０に基づき、各ニューロン間の結合の重みとバイアスとを含むハイパーパラメータの学習がなされている。画像データが入力層３１１に入力された場合に、学習済モデル３０５は、複数の中間層３１２による演算を経て把持位置データを出力層３１３から出力するよう把持位置取得部３２４を機能させる。
なお、出力層３１３から出力される把持位置データは、目標となる把持位置を示していれば、どのようなデータであってもよい。例えば、把持位置データは、撮影画像４８（又は画像４５）における座標データでもよい。より具体的な一例として、把持位置データは、任意の規定位置にある基準線Ｌｂから目標把持位置までの横方向の長さであってもよい（図３の寸法Ｌａ）。または、Ｌｃ＝Ｌｗ－Ｌａとして肢首部５ｂの先端部からの目標把持位置までの横方向の長さであってもよい（図３の寸法Ｌｃ）。あるいは他の実施形態として、把持位置データは、現実の３次元空間における座標データであってもよい。

図５は、学習済モデル３０５の学習がなされる前のモデルである学習モデルに、学習をさせるための一実施形態に係る教師データ４５０を示す図である。
一実施形態では、学習モデルから学習済モデル３０５が生成される工程には、教師データ４５０の生成工程と、学習モデルの学習工程とが含まれる。

教師データ４５０の生成工程では、教師用画像データが用意される。
一実施形態では、骨付き肉５を写した複数の教師用の画像４５が用意され、これらの画像４５から教師用の撮影画像４８が生成される。
一実施形態では、撮影画像４８の生成は、クロップ処理、又はトリミング処理などによって生成される。
生成された教師用の撮影画像４８の各々について、正解データとなる教師用把持位置データが特定される。
一実施形態では、教師用把持位置データの特定は、教師用の画像４５に基づいて行われる。より詳細には一例として、骨付き肉把持システム１のオペレータは、画像分析装置（図示外）を用いて各画像４５の切込みＣを指定し、基準線Ｌｂから切込みＣまでの横方向における長さ（図３の寸法Ｌａ）を特定する。
特定された教師用把持位置データが、教師用の各撮影画像４８に対応付けられることで、教師データ４５０は生成される。
なお、基準線Ｌｂは任意の規定位置である。一実施形態の基準線Ｌｂは、例えば、搬送装置１００によって搬送される骨付き肉５の搬送経路上の規定位置にある。より具体的には、一実施形態の基準線Ｌｂは、画像４５に含まれる位置に設定される。
他の実施形態の教師用把持位置データは、画像４５の一端（例えば左端）からの長さで特定されてもよい。あるいは、教師用把持位置データは、撮影画像４８の一端（例えば左端）からの長さで特定されてもよい。あるいは、教師用把持位置データは、画像分析装置に代えて実測により特定されてもよい。
さらに他の実施形態では、教師用の画像４５に写る骨付き肉５に切込みＣが写っていなくてもよい。この場合でも、教師用の把持位置データをオペレータが指定することができる。

教師データ４５０の生成工程に続く学習モデルの学習工程では、教師データ４５０が、トレーニングデータセットと、バリデーションセットとに分けられる。トレーニングデータセットが学習モデルに入力されると、ニューロン間の結合の重みとバイアスなどのハイパーパラメータが設定される。ハイパーパラメータは、学習モデルの学習係数、及びバッチサイズを含む。バッチサイズは、１回の学習で学習モデルが読み込む画像データのデータ量（つまり、教師用の撮影画像４８の枚数）である。チューニングの終了後、上記の教師データ４５０が学習モデルに再び入力されて、学習が行われる。これにより、学習済モデル３０５が生成され、学習モデルの学習工程は終了する。

図６は、一実施形態に係る骨付き肉把持システム１の機能を示すブロック図である。
一実施形態の骨付き肉把持システム１は、制御部９０、画像処理制御部２００、及び把持位置演算システム３００を含む。
一実施形態では、これらの構成要素のそれぞれに少なくとも一つのプロセッサユニットが設けられる。プロセッサユニットに含まれるプロセッサは、読み出したプログラムをメモリにロードし、ロードしたプログラム（把持位置演算プログラム１０）に含まれる命令を実行するように構成される。プロセッサは、例えば、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＤＳＰ、これら以外の各種演算装置、又はこれらの組み合わせである。プロセッサは、ＰＬＤ、ＡＳＩＣ、ＦＰＧＡ、及びＭＣＵ等の集積回路により実現されてもよい。
一実施形態では、これらの構成要素では有線又は無線によってデータ（信号）の送受信がなされる。

一実施形態では、制御部９０は、ＭＰＵを含んだプログラマブル・ロジック・コントローラ（ＰＬＣ）である。一実施形態では、制御部９０は、搬送制御部１０３、撮影指令部１０６、把持制御部１０９、及び運搬制御部１１２を備える。

搬送制御部１０３は、搬送装置１００を制御するよう構成される。
一実施形態では、搬送制御部１０３は、搬送部１０１を駆動するための搬送駆動部１０２を制御する。
一実施形態では、搬送制御部１０３は、タイマ３５又は搬送される骨付き肉５を検出するセンサ１０５の少なくとも一方に基づき搬送駆動部１０２を制御する。例えば、センサ１０５の検出結果が切り替わってからタイマ３５が規定時間を計時するまで、搬送制御部１０３は搬送駆動部１０２を駆動させる。これにより、骨付き肉５はその大きさ又は形状に関わらず、位置決め部材１０４に接触して位置決めされる。
なお、一実施形態では、センサ１０５は、搬送部１０１の下流端を通過した骨付き肉５を検出する光電センサである。

撮影指令部１０６は、搬送制御部１０３による制御時、画像処理制御部２００に撮影指示信号を出力するよう構成される。
幾つかの実施形態では、撮影指令部１０６は、撮影指示信号の他に、照明部１０７に照明指示信号を出力してもよい。照明部１０７は、撮影装置４０の撮影領域に向けて光を照らすように構成される。

把持制御部１０９は、把持位置データに基づき、把持装置５０を制御するよう構成される。
一実施形態では、把持制御部１０９は、把持装置５０に含まれる把持駆動部５５を制御する。
一実施形態の把持駆動部５５は、多関節ロボットアーム５２とクランプ５３を駆動する。例えば、把持駆動部５５は、多関節ロボットアーム５２を駆動する少なくとも１つのモータと、クランプ５３を駆動するエアシリンダを備える。
他の実施形態では、把持駆動部５５は、クランプ５３を駆動するためのモータをエアシリンダに代えて備えてもよい。

運搬制御部１１２は、把持制御部１０９による制御後、運搬部６４を制御するよう構成される。

一実施形態では、画像処理制御部２００は、ＣＰＵを含むプロセッサユニットにより実現される。
一実施形態では、画像処理制御部２００は、撮影制御部２０３と画像処理部２０５を備える。
撮影制御部２０３は、撮影装置４０に撮影を行わせるよう構成される。例えば、撮影指令部１０６から撮影指示信号を取得したことを契機として、撮影制御部２０３は撮影装置４０に撮影を行わせる。
一実施形態では、画像処理部２０５は、撮影装置４０によって生成された画像４５に画像処理を施し、画像４５の規定領域４４を取り出すよう構成される。規定領域４４を取り出す画像処理は、例えばクロップ処理、又はトリミング処理などである。
一実施形態では、画像処理部２０５によって生成された画像データは、把持位置演算システム３００に出力される。
他の実施形態では、画像処理制御部２００は、画像処理部２０５を備えなくてもよい。この場合、画像４５の画像データが画像処理を施されることなく、把持位置演算システム３００の画像取得部３２２に出力されてもよい。

一実施形態では、把持位置演算システム３００は、ＧＰＵを含むプロセッサユニットによって実現される。把持位置演算システム３００の構成の一例は上述した通りである。
一実施形態では、把持位置演算システム３００の画像取得部３２２は、画像処理部２０５から出力される画像データを取得する。一実施形態では、画像データは画素ごとのＲＧＢの輝度値を含む。把持位置出力部３２７は、把持位置取得部３２４によって取得された把持位置データを、画像処理部２０５を経由して把持制御部１０９に出力する。
他の実施形態では、把持位置出力部３２７は把持制御部１０９又は把持装置５０に直接的に把持位置データを出力してもよい。
さらに他の実施形態では、把持位置演算システム３００は把持位置出力部３２７を備えなくてもよい。この場合、把持位置演算システム３００は、制御部９０又は画像処理部２０５から離れた遠隔地に設けられてもよい。把持位置演算システム３００は、例えば、インターネットを介して制御部９０又は画像処理部２０５とデータ（信号）の送受信を行ってもよい。

図７を参照し、骨付き肉把持システム１が骨付き肉５を把持するときに実行する制御処理を説明する。

搬送制御部１０３は骨付き肉５の位置決めを搬送部１０１に実行させる（Ｓ１１）。一実施形態では、センサ１０５の検出結果が切り替わってから規定時間が経過した後、搬送制御部１０３が搬送駆動部１０２を停止することで、位置決めは実行される。

搬送制御部１０３による制御時、撮影制御部２０３は骨付き肉５の撮影を撮影装置４０に実行させる（Ｓ１３）。一実施形態では、撮影制御部２０３は、撮影指令部１０６から撮影指示信号を受信したことを契機として、撮影装置４０を制御する。位置決めされた骨付き肉５の画像４５が生成されて、画像処理部２０５に出力される。

撮影制御部２０３による制御後、画像処理部２０５は画像４５を画像処理する（Ｓ１５）。一実施形態では、画像処理部２０５は画像４５に対してクロップ処理を実行し、撮影画像４８の画像データを生成する（Ｓ１５）。画像取得部３２２は画像処理部２０５から画像データを取得する（Ｓ１７）。なお、他の実施形態では、撮影画像４８は画像４５と同一画像であってもよい。例えば、画像処理部２０５が設けられない一実施形態では、画像取得部３２２は画像４５の画像データを取得する（Ｓ１７）。

把持位置取得部３２４は把持位置データを取得する（Ｓ１９）。一実施形態では、把持位置取得部３２４は画像データを学習済モデル３０５の入力層３１１に入力することで、出力層３１３から把持位置データを取得する。一実施形態では、把持位置出力部３２７は、この把持位置データを取得して、画像処理部２０５を経由して把持制御部１０９に出力する。

把持制御部１０９は位置決めされた骨付き肉５の把持動作を把持装置５０に実行させる（Ｓ２１）。一実施形態では、把持位置データが示す位置にある肢首部５ｂの部位を把持するよう、把持制御部１０９は把持駆動部５５を制御する。
一実施形態では、把持装置５０は、クランプ５３で切込みＣを把持し、骨付き肉５を持ち上げて運搬装置６０に受け渡す。受け渡し後、クランプ５３は骨付き肉５の把持を解除する。なお、把持制御部１０９は、把持位置データに何かしらの処理が実行された結果に基づき把持装置５０を制御してもよい。

以下、幾つかの実施形態に係る把持位置演算システム３００、把持位置演算プログラム１０、学習済モデル３０５、及び骨付き肉把持システム１について概要を説明する。

（１）本発明の少なくとも一実施形態に係る把持位置演算システム３００は、
骨付き肉５の撮影画像４８に関する画像データを取得するための画像取得部３２２と、
前記画像データが入力されると、前記骨付き肉５の把持位置に関する把持位置データを出力するよう学習されたニューラルネットワークを用いた学習済モデル３０５を記憶した記憶部３１０と、
前記画像取得部３２２によって取得された前記画像データを前記学習済モデル３０５に入力して、前記把持位置データを取得するための把持位置取得部３２４と
を備える。

上記（１）の構成によれば、骨付き肉５の撮影画像４８が学習済モデル３０５に入力されることによって、把持位置取得部３２４は、撮影された骨付き肉５に応じた把持位置データを取得できる。よって、骨付き肉５の大きさ又は形状に応じた適切な把持位置を特定できる。
一実施形態では、把持位置が適切に特定されない場合、以下のような４つの不具合が想定され得る。
第１に、適切な把持位置よりも本体部５ａ側に変位し過ぎた太い部位を把持装置５０が把持しようした結果、把持装置５０が骨付き肉５を把持し損ねる不具合である。この場合、骨付き肉５のラインが停止し得る。
第２に、上記の太い部位を把持装置５０が把持できたとしても、骨付き肉５が運搬装置６０に受け渡される一実施形態において、把持された部位が案内穴６５に進入できず引っかかる不具合である。この場合も、ラインが停止し得る。
第３に、上記太い部位が案内穴６５に進入できたとしても、この部位が案内穴６５と過度に接触する不具合である。例えば把持装置５０が骨付き肉５を吊り下げるように把持する一実施形態において、骨付き肉５は、案内穴６５に過度に接触して、上下方向を軸方向として回転する。この場合、骨付き肉５は、不適切な姿勢で運搬部６４に運ばれ得る。
第４に、適切な把持位置よりも肢首部５ｂの先端側に変位し過ぎた部位を把持装置５０が把持した結果、把持中の骨付き肉５が自重などによって下方に変位してしまう不具合である。この場合、把持装置５０から運搬装置６０へ骨付き肉５が受け渡される一実施形態において、骨付き肉５が脱落し得る。
この点、一実施形態では、把持位置演算システム３００では、適切な把持位置が特定されて、把持装置５０は肢首部５ｂを適正に把持できるので、上記４つの不具合が抑制される。

（２）幾つかの実施形態では、上記（１）の構成において、
前記画像取得部３２２は、位置決め部材１０４により位置決めされた前記骨付き肉５のうち、前記位置決め部材１０４との接触部位５ｃから外れた端部の一例である肢首部５ｂを部分的に写した前記撮影画像４８に関する前記画像データを取得するように構成される。

上記（２）の構成によれば、位置決め部材１０４との接触部位５ｃから外れた端部の一例である肢首部５ｂを部分的に写した撮影画像４８は、骨付き肉５の大きさに応じて撮影画像４８の様子が全体的に大きく変化する。様子が変化し易い撮影画像４８の画像データが学習済モデル３０５に入力されることで、より適切な把持位置を把持位置取得部３２４は特定できる。
なお、撮影画像４８の様子は、例えば、撮影画像４８の横方向における肢首部５ｂの先端位置、縦方向における肢首部５ｂの先端位置、又は撮影画像４８に写る肢首部５ｂの領域の面積などを指す。
また、一実施形態では、撮影画像４８には、骨付き肉５の大きさに関わらず同じ様子を呈する搬送部１０１が写らない。従って、撮影画像４８の様子は骨付き肉５の大きさに応じてさらに変化が現れるようになり、より適切な把持位置が特定できる。

（３）幾つかの実施形態では、上記（２）の構成において、
前記画像取得部３２２は、前記接触部位５ｃと前記位置決め部材１０４との接触により搬送装置１００による搬送が阻止されて位置決めされた前記骨付き肉５のうち、前記搬送装置１００による搬送方向の一端部の一例である肢首部５ｂを部分的に写した前記撮影画像４８に関する前記画像データを取得するように構成される。

上記（３）の構成によれば、骨付き肉５が位置決め部材１０４により位置決めされた場合において、搬送方向における骨付き肉５の一端部の一例である肢首部５ｂの位置は、骨付き肉５に大きさに応じて変化する。この撮影画像４８に関する画像データが学習済モデル３０５に入力されることで、より適切な把持位置を把持位置取得部３２４は特定できる。

（４）幾つかの実施形態では、上記（１）から（３）のいずれかの構成において、
前記把持位置演算システム３００は、撮影された前記骨付き肉５を把持するように構成された把持装置５０に、前記把持位置取得部３２４によって取得された前記把持位置データを出力するための把持位置出力部３２７を備える。

上記（４）の構成によれば、把持位置取得部３２４により取得された把持位置データに基づき把持装置５０は骨付き肉５を適正に把持できる。

（５）本発明の少なくとも一実施形態に係る把持位置演算プログラム１０は、
コンピュータに、
骨付き肉５の撮影画像４８に関する画像データを取得するための画像取得ステップ（Ｓ１７）と、
前記画像データが入力されると、前記骨付き肉５の把持位置に関する把持位置データを出力するよう学習されたニューラルネットワークを用いた学習済モデル３０５に、前記画像取得ステップ（Ｓ１７）によって取得された前記画像データを入力して、前記把持位置データを取得するための把持位置取得ステップ（Ｓ１９）と
を実行させる。

上記（５）の構成によれば、上記（１）と同様の理由によって、骨付き肉５の大きさ又は形状に応じた適切な把持位置を特定できる。

（６）本発明の少なくとも一実施形態に係る学習済モデル３０５は、
ニューラルネットワークを用いた学習済モデル３０５であって、
骨付き肉５の撮影画像４８に関する画像データが入力されるための入力層３１１と、
前記入力層３１１に入力された前記画像データの前記骨付き肉５の把持位置に関する把持位置データを出力するための出力層３１３と、
教師用の前記画像データと前記画像データに含まれる前記骨付き肉の教師用の前記把持位置データとを対応付けた教師データ４５０に基づき、各ニューロン間の結合の重みとバイアスとを含むパラメータの学習がなされた複数の中間層３１２と
を備え、
前記画像データが前記入力層３１１に入力された場合に、前記複数の中間層３１２による演算を経て前記把持位置データを前記中間層３１２から出力するようにコンピュータを機能させる。

上記（６）の構成によれば、上記（１）と同様の理由によって、骨付き肉５の大きさ又は形状に応じた適切な把持位置を特定できる。

（７）本発明の少なくとも一実施形態に係る骨付き肉把持システム１は、
前記骨付き肉５を撮影するための撮影装置４０と、
前記骨付き肉５を把持するための把持装置５０と、
前記骨付き肉を撮影するよう前記撮影装置４０を制御するための撮影制御部２０３と、
前記画像取得部３２２が前記撮影装置４０によって撮影された画像４５に関する前記撮影画像４８の前記画像データを取得するよう構成された、上記（１）から（４）のいずれかに記載の把持位置演算システム３００と、
前記把持位置取得部３２４によって取得された前記把持位置データに基づき、前記骨付き肉５を把持するよう前記把持装置５０を制御するための把持制御部１０９と
を備える。

上記（７）の構成によれば、上記（１）と同様の理由によって、骨付き肉５の大きさ又は形状に応じた適切な把持位置を特定できる。

一実施形態に係る骨付き肉把持システム１には種々の変更が適用され得る。
把持装置５０は、肢首部５ｂを把持する代わりに、例えば肢首部５ｂとは反対側の本体部５ａの端部を把持してもよい。この場合、把持位置データは本体部５ａの端部の把持位置を示す。この把持位置データは、肢首部５ｂを部分的に写した上述の撮影画像４８に基づいて特定されてもよいし、本体部５ａの端部を部分的に写した画像に基づき特定されてもよい。

制御部９０、画像処理制御部２００、又は把持位置演算システム３００の少なくとも２つは単一のプロセッサユニットにより実現されてもよい。

１ ：骨付き肉把持システム
５ ：骨付き肉
５ｃ ：接触部位
１０ ：把持位置演算プログラム
４０ ：撮影装置
４５ ：画像
４８ ：撮影画像
５０ ：把持装置
９０ ：制御部
１００ ：搬送装置
１０４ ：位置決め部材
１０９ ：把持制御部
２０３ ：撮影制御部
３００ ：把持位置演算システム
３０５ ：学習済モデル
３１０ ：記憶部
３１１ ：入力層
３１２ ：中間層
３１３ ：出力層
３２２ ：画像取得部
３２４ ：把持位置取得部
３２７ ：把持位置出力部
４５０ ：教師データ

Claims (7)

1. 多関節ロボットによる骨付き肉の把持位置の演算システムであって、
   骨付き肉の撮影画像に関する画像データを取得するための画像取得部と、
   前記画像データが入力されると、前記骨付き肉の前記把持位置に関する把持位置データを出力するよう学習されたニューラルネットワークを用いた学習済モデルを記憶した記憶部と、
   前記画像取得部によって取得された前記画像データを前記学習済モデルに入力して、前記把持位置データを取得するための把持位置取得部と
   を備え、
   前記画像取得部は、位置決め部材との接触により搬送装置による搬送が阻止されて位置決めされた前記骨付き肉のうち、前記位置決め部材との接触部位から外れた端部を部分的に写した前記撮影画像であって、且つ、前記搬送装置が写っていない前記撮影画像に関する前記画像データを取得するように構成された
   把持位置演算システム。
2. 前記画像取得部は、前記位置決め部材により位置決めされた前記骨付き肉のうち、前記搬送装置の搬送部から搬送方向の下流側に突出した部位だけを部分的に写した前記撮影画像に関する前記画像データを取得するように構成された請求項１に記載の把持位置演算システム。
3. 前記画像取得部は、前記接触部位と前記位置決め部材との接触により前記搬送装置による搬送が阻止されて位置決めされた前記骨付き肉のうち、前記搬送装置による搬送方向の下流側端部を部分的に写した前記撮影画像に関する前記画像データを取得するように構成された請求項１又は２に記載の把持位置演算システム。
4. 撮影された前記骨付き肉を把持するように構成された把持装置に、前記把持位置取得部によって取得された前記把持位置データを出力するための把持位置出力部を備える請求項１から３のいずれかに記載の把持位置演算システム。
5. 多関節ロボットによる骨付き肉の把持位置を演算するためのプログラムであって、
   コンピュータに、
   骨付き肉の撮影画像に関する画像データを取得するための画像取得ステップと、
   前記画像データが入力されると、前記骨付き肉の前記把持位置に関する把持位置データを出力するよう学習されたニューラルネットワークを用いた学習済モデルに、前記画像取得ステップによって取得された前記画像データを入力して、前記把持位置データを取得するための把持位置取得ステップと
   を実行させるとともに、
   前記画像取得ステップでは、位置決め部材との接触により搬送装置による搬送が阻止されて位置決めされた前記骨付き肉のうち、前記位置決め部材との接触部位から外れた端部を部分的に写した前記撮影画像であって、且つ、前記搬送装置が写っていない前記撮影画像に関する前記画像データを取得するように構成された
   把持位置演算プログラム。
6. 多関節ロボットによる骨付き肉の把持位置を演算するためのニューラルネットワークを用いた学習済モデルであって、
   骨付き肉の撮影画像に関する画像データが入力されるための入力層と、
   前記入力層に入力された前記画像データの前記骨付き肉の前記把持位置に関する把持位置データを出力するための出力層と、
   教師用の前記画像データと前記画像データに含まれる前記骨付き肉の教師用の前記把持位置データとを対応付けた教師データに基づき、各ニューロン間の結合の重みとバイアスとを含むパラメータの学習がなされた複数の中間層と
   を備え、
   前記入力層は、位置決め部材との接触により搬送装置による搬送が阻止されて位置決めされた前記骨付き肉のうち、前記位置決め部材との接触部位から外れた端部を部分的に写した前記撮影画像であって、且つ、前記搬送装置が写っていない前記撮影画像に関する前記画像データが入力されるように構成され、
   前記画像データが前記入力層に入力された場合に、前記複数の中間層による演算を経て前記把持位置データを前記出力層から出力するようにコンピュータを機能させる学習済モデル。
7. 前記骨付き肉を撮影するための撮影装置と、
   前記骨付き肉を把持するための把持装置と、
   前記骨付き肉を撮影するよう前記撮影装置を制御するための撮影制御部と、
   前記画像取得部が前記撮影装置によって撮影された画像に関する前記撮影画像の前記画像データを取得するよう構成された、請求項１から４のいずれかに記載の把持位置演算システムと、
   前記把持位置取得部によって取得された前記把持位置データに基づき、前記骨付き肉を把持するよう前記把持装置を制御するための把持制御部と
   を備える骨付き肉把持システム。