JP7241309B2 - PRESENTATION SYSTEM, PRESENTATION DEVICE, AND PRESENTATION METHOD - Google Patents
PRESENTATION SYSTEM, PRESENTATION DEVICE, AND PRESENTATION METHOD Download PDFInfo
- Publication number
- JP7241309B2 JP7241309B2 JP2021527583A JP2021527583A JP7241309B2 JP 7241309 B2 JP7241309 B2 JP 7241309B2 JP 2021527583 A JP2021527583 A JP 2021527583A JP 2021527583 A JP2021527583 A JP 2021527583A JP 7241309 B2 JP7241309 B2 JP 7241309B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- pig
- specific
- presentation
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、家畜の飼育現場で用いられる、提示システム、提示装置、及び、提示方法に関する。 TECHNICAL FIELD The present invention relates to a presentation system, a presentation device, and a presentation method used in livestock breeding sites.
従来、動物の個体を識別し、動物の育成状態または健康状態などを管理する技術が知られている。特許文献1には、動物の飼育状況に関する情報が簡単に入手でき、トレーサビリティも非常に容易なものとなる動物管理システムが開示されている。 2. Description of the Related Art Conventionally, techniques for identifying an individual animal and managing the breeding state or health state of the animal are known. Patent Literature 1 discloses an animal management system that enables easy acquisition of information on animal rearing conditions and very easy traceability.
本発明は、飼育者等が家畜の個体を識別することを支援することができる提示システム、提示装置、及び、提示方法を提供する。 The present invention provides a presentation system, a presentation device, and a presentation method that can assist a breeder or the like in identifying individual livestock.
本発明の一態様に係る提示システムは、飼育現場に滞在する複数の家畜のそれぞれの位置情報が当該家畜の属性情報と対応づけて記憶された記憶部を備えるサーバと、特定の家畜の属性情報を指定する情報を前記サーバに送信し、前記特定の家畜の位置情報を前記サーバから取得する通信部と、取得された前記特定の家畜の位置情報に基づいて、前記特定の家畜の位置を前記飼育現場において提示する提示制御部とを備える。 A presentation system according to an aspect of the present invention includes a server having a storage unit in which position information of each of a plurality of livestock staying at a breeding site is stored in association with attribute information of the livestock, and attribute information of a specific livestock. a communication unit that transmits information specifying to the server and acquires the position information of the specific livestock from the server; and a presentation control unit for presentation at the breeding site.
本発明の一態様に係る提示装置は、飼育現場に滞在する複数の家畜のそれぞれの位置情報が当該家畜の属性情報と対応づけて記憶された記憶部を備えるサーバに、特定の家畜の属性情報を指定する情報を送信し、前記特定の家畜の位置情報を前記サーバから取得する通信部と、取得された前記特定の家畜の位置情報に基づいて、前記特定の家畜の位置を前記飼育現場において提示する提示制御部とを備える。 A presentation device according to an aspect of the present invention stores attribute information of a specific livestock in a server having a storage unit in which position information of each of a plurality of livestock staying at a breeding site is stored in association with attribute information of the livestock. and a communication unit that acquires the position information of the specific livestock from the server; and a presentation control unit for presentation.
本発明の一態様に係る提示方法は、飼育現場に滞在する複数の家畜のそれぞれの位置情報が当該家畜の属性情報と対応づけて記憶された記憶部を備えるサーバに、特定の家畜の属性情報を指定する情報を送信し、前記特定の家畜の位置情報を前記サーバから取得し、取得された前記特定の家畜の位置情報に基づいて、前記特定の家畜の位置を前記飼育現場において提示する。 A presentation method according to an aspect of the present invention stores attribute information of a specific domestic animal in a server having a storage unit in which position information of each of a plurality of domestic animals staying at a breeding site is stored in association with attribute information of the domestic animal. position information of the specific livestock is obtained from the server, and the position of the specific livestock is presented at the breeding site based on the obtained positional information of the specific livestock.
本発明の一態様に係るプログラムは、前記提示方法をコンピュータに実行させるためのプログラムである。 A program according to an aspect of the present invention is a program for causing a computer to execute the presentation method.
本発明の提示システム、提示装置、及び、提示方法は、飼育者等が家畜の個体を識別することを支援することができる。 The presentation system, presentation device, and presentation method of the present invention can assist a breeder or the like in identifying individual livestock.
以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 Hereinafter, embodiments will be described with reference to the drawings. It should be noted that the embodiments described below are all comprehensive or specific examples. Numerical values, shapes, materials, constituent elements, arrangement positions and connection forms of constituent elements, etc. shown in the following embodiments are examples, and are not intended to limit the present invention. Further, among the constituent elements in the following embodiments, constituent elements not described in independent claims will be described as optional constituent elements.
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。 Each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same code|symbol is attached|subjected to substantially the same structure, and the overlapping description may be abbreviate|omitted or simplified.
(実施の形態)
[概略構成]
以下、実施の形態に係る動物情報管理システムについて図面を参照しながら説明する。まず、実施の形態に係る動物情報管理システムの概略構成について説明する。図1は、実施の形態に係る動物情報管理システムの概略構成を示す図である。図2は、実施の形態に係る動物情報管理システムの機能構成を示すブロック図である。(Embodiment)
[Outline configuration]
An animal information management system according to an embodiment will be described below with reference to the drawings. First, a schematic configuration of an animal information management system according to an embodiment will be described. FIG. 1 is a diagram showing a schematic configuration of an animal information management system according to an embodiment. FIG. 2 is a block diagram showing the functional configuration of the animal information management system according to the embodiment.
図1に示されるように、動物情報管理システム100は、撮影装置10によって撮影される豚房70内の画像に基づいて、豚房70内の複数の豚80に関する情報を個別に管理することができるシステムである。豚80の飼育者等は、動物情報管理システム100を利用することで豚80の飼育状況を把握することができる。図2に示されるように、動物情報管理システム100は、撮影装置10と、情報処理装置20と、サーバ30と、提示装置40と、照明装置50とを備える。
As shown in FIG. 1, the animal
[撮影装置の構成]
撮影装置10は、豚房70の天井などに取り付けられ、豚房70内の全体を撮影することができるカメラである。撮影装置10は、パン、チルト、及び、ズーム機能を有する。撮影装置10は、例えば、レンズ、及び、イメージセンサなどによって実現される。なお、撮影装置10は、TOF(Time Of Flight)方式の測距機能を有していてもよい。つまり、複数の画素値のそれぞれが撮影装置10からの距離を示す距離画像を撮影する機能を有してもよい。[Structure of imaging device]
The photographing
[情報処理装置の構成]
情報処理装置20は、撮影装置10によって撮影された画像に基づいて、豚房70内に存在する複数の豚80を識別し、複数の豚80それぞれの個別育成情報(推定移動量、及び、推定体重など)を出力することができる装置である。情報処理装置20は、第一通信部21と、情報処理部22と、第二通信部23と、記憶部24とを備える。[Configuration of information processing device]
The
第一通信部21は、情報処理装置20が局所通信ネットワークを通じて撮影装置10及び照明装置50と通信を行うための通信回路(通信モジュール)である。第一通信部21は、例えば、撮影装置10によって撮影された画像(言い換えれば、画像データ)を取得する。第一通信部21によって行われる通信は、有線通信であってもよいし、無線通信であってもよい。第一通信部21によって行われる通信の通信規格についても特に限定されない。
The first communication unit 21 is a communication circuit (communication module) for the
情報処理部22は、第一通信部21によって取得された画像を用いて情報処理を行い、豚房70内に存在する複数の豚80それぞれの個別育成情報を推定する。情報処理部22は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。情報処理部22は、具体的には、識別情報取得部25と、制御部26と、位置情報取得部27とを備える。識別情報取得部25、制御部26、及び、位置情報取得部27の機能については後述する。
The
第二通信部23は、情報処理装置20がインターネット60などの広域通信ネットワークを通じて他の装置と通信を行うための通信回路(通信モジュール)である。第二通信部23は、例えば、複数の豚80それぞれの位置情報をサーバ30に送信する。これにより、サーバ30の記憶部31に複数の豚80の位置情報が記憶される。第二通信部23によって行われる通信は、有線通信であってもよいし、無線通信であってもよい。第二通信部23によって行われる通信の通信規格についても特に限定されない。
The
記憶部24は、情報処理部22が情報処理を行うために実行するプログラム、及び、情報処理に用いられる各種情報が記憶される記憶装置である。記憶部24は、具体的には、半導体メモリによって実現される。
The
なお、豚房70内の豚80には、識別タグ90が取り付けられている。識別タグ90は、豚80の個体を識別するために使用される円板状の部材であり、例えば、ポリウレタン樹脂によって形成される。識別タグ90は、複数の色の配列によって豚80の識別情報(言い換えれば、ID)を示すカラーコード91を含む。
An
カラーコード91は、白及び黒を除く、互いに異なる複数の色(例えば、R(赤)、G(緑)、B(青)の3色)の配列によって豚80の識別情報を示す。カラーコード91では、隣り合う色によってビットの値が定められる。例えば、カラーコード91において隣り合う色が、赤から青、青から緑、緑から赤へそれぞれ変化する場合、ビットが「1」であり、隣り合う色が、赤から緑、緑から青、青から赤へそれぞれ変化する場合に、ビットが「0」であるなど、カラーコード91をデジタルデータとして認識するためのルールがあらかじめ定められている。なお、識別タグ90では、複数の色がC字状(言い換えれば、ランドルト環状)に配列されているが、複数の色は直線状に配列されていてもよいし、マトリクス状に配列されてもよい。
The
[サーバの構成]
サーバ30は、豚房70内の豚80の位置情報を管理する装置である。サーバ30は、豚房70内に滞在する複数の豚80のそれぞれの位置情報が当該家畜の属性情報と対応づけて記憶された記憶部31を備える。属性情報には、豚80の識別情報(言い換えれば、識別番号)、体重情報、及び、出荷日情報などが含まれる。[Server configuration]
The
[提示装置の構成]
提示装置40は、飼育者等によって操作される、スマートフォンまたはタブレット端末などの携帯型の情報端末である。後述のように、提示装置40は、ウェアラブル型の情報端末であってもよい。提示装置40は、操作受付部41と、提示制御部42と、通信部43と、カメラ44と、記憶部45と、表示部46とを備える。[Configuration of presentation device]
The
操作受付部41は、飼育者等の操作を受け付ける。操作受付部41は、例えば、タッチパネル、及び、ハードウェアボタンなどによって実現される。
The
提示制御部42は、操作受付部41によって受け付けられた操作に基づいて、提示装置40に関する各種情報処理を行う。提示制御部42は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。
The
通信部43は、提示装置40がインターネット60などの広域通信ネットワークを通じて他の装置と通信を行うための通信回路(通信モジュール)である。通信部43は、例えば、移動通信システムを利用した無線通信を行う無線通信回路である。通信部43が行う通信の通信規格については特に限定されない。なお、提示装置40は、局所通信ネットワークを通じて情報処理装置20と通信を行ってもよい。
The
カメラ44は、提示制御部42の制御に基づいて画像を撮像する。カメラ44は、例えば、レンズ、及び、イメージセンサなどによって実現される。
The
記憶部45は、提示制御部42によって実行される制御プログラムなどが記憶される記憶装置である。記憶部45は、例えば、半導体メモリによって実現される。
The storage unit 45 is a storage device that stores control programs and the like executed by the
表示部46は、提示制御部42の制御に基づいて画像を表示する。表示部46は、具体的には、液晶パネルまたは有機ELパネルなどを表示デバイスとして含むディスプレイである。
The
[照明装置の構成]
照明装置50は、豚房70内に設置され、豚房70内を照明する。照明装置50は、例えば、制御部26からの制御信号に基づいて光の照射方向を変更可能なスポットライトであるが、照明装置50の具体的な態様は特に限定されない。例えば、照明装置50は、レーザポインタなどであってもよい。なお、照明装置50は、豚房70内に複数設置されてもよい。[Configuration of lighting device]
The
[位置情報の管理動作]
次に、動物情報管理システム100の位置情報の管理動作について説明する。図3は、位置情報の管理動作のフローチャートである。[Management operation of location information]
Next, the position information management operation of the animal
まず、情報処理部22の制御部26は、第一通信部21を介して撮影装置10に設定指示信号を送信することにより、撮影装置10のズーム設定を第一ズーム設定にする(S11)。第一ズーム設定においては、豚房70内の一部のみが撮影対象となるようにズーム倍率が高められている。ズーム倍率は、撮影装置10が備えるレンズの配置の変更などによって光学的に変更されてもよいし、画像に対する信号処理によって変更されてもよい。
First, the
次に、制御部26は、第一通信部21を介して撮影装置10に制御信号を送信することにより、撮影装置10に豚房70内を巡回撮影させる(S12)。図4は、巡回撮影を説明するための、豚房70の平面図である。
Next, the
図4に示されるように平面視において豚房70をマトリクス状に区画し、各領域を領域(1)、領域(2)、・・領域(32)のように定義すると、巡回撮影においては撮影対象が領域(1)、領域(2)、・・領域(32)の順に変更される。なお、各領域は、隣り合う領域と一部が重複していてもよい。また、このような区画の仕方、巡回撮影における撮影順序などは一例であり、巡回撮影の方法については特に限定されない。 As shown in FIG. 4, when the pig tassels 70 are partitioned in a matrix in plan view, and each region is defined as region (1), region (2), . The target is changed in order of area (1), area (2), . . . area (32). Note that each region may partially overlap adjacent regions. Also, the method of partitioning and the order of photographing in patrol photographing are examples, and the method of patrol photographing is not particularly limited.
巡回撮影中に、第一通信部21は撮影装置10から第一画像を取得し(S13)、識別情報取得部25は、第一画像を対象とした画像認識処理により識別情報の取得を試みる。図5は、第一画像の一例を示す図である。図5に示されるように第一画像に識別タグ90のカラーコード91が映っていれば、識別情報取得部25は、第一画像に映る豚80の識別情報を取得することができる。
During patrol photography, the first communication unit 21 acquires the first image from the imaging device 10 (S13), and the identification
制御部26は、識別情報取得部25が識別情報を取得したか否か(つまり、識別情報の取得に成功したか否か)を判定する(S14)。識別情報が取得されていないと判定された場合には(S14でNo)、巡回撮影(S12)、及び、第一画像の取得(S13)が継続される。一方、識別情報の取得に成功したと判定された場合(S14でYes)、制御部26は、第一通信部21を介して撮影装置10に設定指示信号を送信することにより、撮影装置10のズーム設定を第一ズーム設定から第二ズーム設定に変更する(S15)。第二ズーム設定は、第一ズーム設定よりもズーム倍率が低い設定であり、第一ズーム設定よりも広い範囲を撮影対象とする設定である。また、制御部26は、第一通信部21を介して撮影装置10に制御信号を送信することにより、撮影装置10に、ステップS14で取得された識別情報を有する豚80が映る第二画像を撮影させる(S16)。図6は、第二画像の一例を示す図である。
The
図6に示されるように、第二ズーム設定では、少なくとも豚80の全体が撮影できるように十分に広い範囲が撮影対象とされる。撮影された第二画像は第一通信部21によって取得される。
As shown in FIG. 6, at the second zoom setting, a wide enough area is captured so that at least the
次に、位置情報取得部27は、第二画像に基づいて、豚80の位置情報を取得する(S17)。具体的には、位置情報取得部27は、第二ズーム設定におけるズーム倍率、パン及びチルト状態、第二画像内における豚80の位置などの各種情報に基づいて、豚80の豚房70内の位置(座標)を位置情報として特定する。
Next, the positional
次に、制御部26は、識別情報と、位置情報と、時刻情報(例えば、第二画像の撮影時刻を示す情報)とを紐づけた情報を記憶部24に記憶しつつ、当該情報を第二通信部23にサーバ30へ送信させる。この結果、サーバ30の記憶部31には、識別情報と、位置情報と、時刻情報(例えば、第二画像の撮影時刻を示す情報)とを対応づけた情報が記憶される。つまり、識別情報と、位置情報と、時刻情報とを紐づけた情報が情報処理装置20の記憶部24、及び、サーバ30の記憶部31のそれぞれに記憶される(S18)。
Next, the
これらの情報の記憶が完了すると、制御部26は、第一通信部21を介して撮影装置10に設定指示信号を送信することにより、撮影装置10のズーム設定を第一ズーム設定に変更する(S11)。以降、巡回撮影(S12)、及び、第一画像の取得(S13)が継続される。
When the storage of these information is completed, the
このように図3のフローチャートの動作がある程度の期間行われると、豚房70内に滞在する複数の豚80のそれぞれの位置情報(座標)が当該豚80の識別情報と対応付けられてサーバ30の記憶部31に記憶される。また、図3のフローチャートの動作が継続して行われると位置情報は逐次(言い換えれば、リアルタイムに)更新される。
3 is performed for a certain period of time, the position information (coordinates) of each of the plurality of
[提示動作の動作例1]
豚房70内では、識別タグ90によって豚80が識別されるが、飼育者等が識別タグ90を見て豚80を識別することは容易ではない。例えば、飼育者等が豚房70内の豚80の仕分け作業を行うような場合、豚80の体に塗装用のスプレーなどで一時的に識別情報を書き込む(識別情報をメモする)方法があるが、このような方法は手間がかかる。また、このような方法は、豚80にストレスを与えてしまう懸念もある。[Operation example 1 of presentation operation]
そこで、動物情報管理システム100は、提示装置40を利用して特定の豚80の位置を提示する。以下、このような特定の豚80の位置の提示動作の動作例1について説明する。図7は、提示動作の動作例1のフローチャートである。
Therefore, the animal
提示装置40の操作受付部41は、飼育者等から、特定の豚80を直接または間接に指定する操作を受け付ける(S21)。この操作は、例えば、特定の豚80の識別情報を直接指定する操作である。図8は、識別情報(図中では識別番号)を直接指定するための画像の一例を示す図である。ステップS21では複数の特定の豚が指定されてもよい。
The
また、サーバ30の記憶部31に、豚80の出荷日(出荷日情報)が管理されているような場合、この操作は、出荷日を指定する操作であってもよい。この場合、指定された出荷日に出荷される予定の1頭または複数頭の豚80が特定の豚80となる。サーバ30の記憶部31に、豚80の体重(体重情報)が管理されているような場合、上記操作は、豚80の体重を指定する操作であってもよい。この場合、指定された体重(例えば、○○kg以下、など)に該当する1頭または複数頭の豚80が特定の豚80となる。
Further, when the shipping date (shipping date information) of the
次に、提示装置40の提示制御部42は、操作受付部41によって受け付けられた操作に応じて、要求情報を通信部43にサーバ30へ送信させる(S22)。要求情報は、特定の豚80の属性情報を指定する情報の一例であり、属性情報には、識別情報、出荷日情報、及び、体重情報などが含まれる。ステップS21において識別情報が指定された場合、要求情報は、識別情報を指定する情報である。
Next, the
次に、提示装置40の通信部43は、要求情報への応答として、特定の豚80の位置情報をサーバ30から取得する(S23)。提示制御部42は、カメラ44を起動し、カメラ44によって撮像された豚房70内の画像を表示部46にリアルタイムに表示させる(S24)。
Next, the
次に、提示制御部42は、ステップS23で取得された位置情報に基づいて、特定の豚80の位置を提示する(S25)。提示制御部42は、具体的には、画像に映る特定の豚80の位置を、当該画像にオブジェクトを重畳することにより提示する。図9は、特定の豚80の位置を示すオブジェクトが重畳された画像の一例を示す図である。図9の例では、オブジェクトは、特定の豚80を囲む枠であるが、矢印などであってもよく、オブジェクトの具体的態様は特に限定されない。また、図9に示されるように、画像には識別情報(具体的な識別番号など)が重畳されてもよい。
Next, the
なお、位置情報が示す実空間における位置とカメラ44によって撮像される画像内の位置との対応付けは、例えば、豚房70の壁などに位置情報が既知のマーカを設けておき、このマーカをカメラ44で撮像する画像内に含めることによって行なわれる。位置情報が示す実空間における位置と画像内の位置との対応付けは、GPS信号などによって特定される提示装置40の現在位置情報、及び、提示装置40が備える加速度センサ(図示せず)などのセンシング情報に基づいて、カメラ44の撮像範囲の実空間における座標が特定されることによって行われてもよい。
Note that the correspondence between the position in the real space indicated by the position information and the position in the image captured by the
以上説明したように、提示装置40は、豚房70内に位置する飼育者等に対して、特定の豚80の位置を提示することができる。提示装置40は、豚80の仕分け作業、及び、豚80の出荷作業を支援することができる。
As described above, the
なお、ステップS25において、提示制御部42は、画像に映る特定の豚80の位置を、画像に映る特定の豚80の色を変更することにより提示してもよい。図10は、特定の豚80の色が変更された画像の一例を示す図である。このような特定の豚80の色の変更は、例えば、画像内の、位置情報が示す位置に位置する豚80が映る領域に対して輪郭抽出処理を行い、抽出された輪郭内に含まれる画素の画素値を所定値に変更することにより実現される。
In step S25, the
また、動作例1では、飼育者等の操作によって特定の豚80が指定されたが、飼育者等の操作に代えて、または、飼育者等の操作に加えて、飼育者等の音声によって特定の豚80が指定されてもよい。この場合、提示装置40は、飼育者等の音声を取得するマイクロフォンを備え、マイクロフォンは「100キロ以下の豚を表示してください」「調子の悪い豚はどれ?」といった飼育者等の音声を取得する。このような音声は、提示装置40、サーバ30、及び、サーバ30以外の専用サーバの少なくとも1つによって音声認識処理されて最終的にサーバ30にどのような豚80が指定されたかが通知される。このように音声に基づいて特定の豚80を指定する構成は、後述の提示装置40aまたは提示装置40bのような頭部装着型の提示装置において特に有用である。
Further, in the operation example 1, the
[提示装置の変形例1]
提示装置40は、VR(Virtual Reality)型のヘッドマウントディスプレイとして実現されてもよい。図11は、このような変形例1に係る提示装置の外観図である。図11では詳細が図示されていないが、提示装置40aは、操作受付部と、提示制御部と、通信部と、カメラと、記憶部と、表示部と、マイクロフォンとを備える。つまり、提示装置40aは、提示装置40と実質的に同一の構成要素を備えている。上記動作例1は、このような提示装置40aによって行われてもよい。[Modification 1 of presentation device]
The
このように提示装置40aが頭部に装着されるウェアラブル端末であれば、飼育者等は、豚房70内で両手を使って作業を行うことができるため、作業性が向上する。
If the
[提示装置の変形例2]
提示装置40は、AR(Augmented Reality)型のヘッドマウントディスプレイ(言い換えれば、透過型のヘッドマウントディスプレイ)として実現されてもよい。図12は、このような変形例2に係る提示装置の外観図である。[
The
図12に示されるように、変形例2に係る提示装置40bは、メガネ型のヘッドマウントディスプレイであり、レンズは透明である。このような提示装置40bを装着した飼育者等は、レンズを通じて豚房70内の景色を視認することができる。提示装置40bは、操作受付部(図示せず)と、提示制御部(図示せず)と、通信部(図示せず)と、カメラ44bと、記憶部(図示せず)と、表示部46bと、マイクロフォン(図示せず)とを備える。提示装置40bの図示されていない構成要素は、提示装置40と実質的に同一の機能を有するものとして説明が省略される。
As shown in FIG. 12, a
提示装置40bが備えるカメラ44bは、飼育者等の視野に対応する画像を撮像する。カメラ44bによって撮像された画像は、飼育者等が現在どこを視認しているかを提示装置40bが認識するために用いられる。
A
表示部46bは、飼育者等が豚房70内を視認中に、オブジェクトを飼育者等の視野に表示する。つまり、オブジェクトは、飼育者等が視認している景色に重畳される。表示部46bは、例えば、プリズムなどの光学素子によって実現される投影装置であるが、レンズに重ね合わされた透明有機ELディスプレイによって実現されてもよい。なお、表示部46bは、カメラ44bによって撮像された画像の提示は行わない。
The
提示装置40bを用いて動作例1が行われる場合、ステップS24の画像の表示は行われず、ステップS25においては、飼育者等の視野のうち位置情報が示す位置にオブジェクトが現れるように、表示部46bがオブジェクトを表示する。
When the operation example 1 is performed using the
このように提示装置40bがAR型のヘッドマウントディスプレイであれば、飼育者等は、豚房70内で両手を使って作業を行うことができるため、作業性が向上する。また、飼育者等は、画像ではなく実際の光景を見て自然に作業を行うことができる。つまり、飼育者等が違和感を感じてしまうことが抑制される。
If the
[提示動作の動作例2]
そこで、動物情報管理システム100は、照明装置50を利用して特定の豚80の位置を提示してもよい。以下、このような特定の豚80の位置の提示動作の動作例2について説明する。図13は、提示動作の動作例2のフローチャートである。[Operation example 2 of presentation operation]
Therefore, the animal
提示装置40の操作受付部41は、飼育者等から、特定の豚80を直接または間接に指定する操作を受け付ける(S21)。次に、提示装置40の提示制御部42は、操作受付部41によって受け付けられた操作に応じて、要求情報を通信部43にサーバ30へ送信させる(S22)。また、提示装置40の通信部43は、要求情報への応答として、特定の豚80の位置情報をサーバ30から取得する(S23)。
The
提示制御部42は、取得された位置情報と、照明装置50を用いた特定の豚80の提示を指示する指示情報とを通信部43に情報処理装置20へ送信させる(S26)。
The
情報処理装置20の制御部26は、第二通信部23によって位置情報及び指示情報が受信されると、第一通信部21を介して照明装置50に制御信号を送信することにより、位置情報が示す位置(つまり、特定の豚80)を照明装置50によって照らす(S27)。図14は、特定の豚80が選択的に照らされる例を示す図である。
When the position information and the instruction information are received by the
なお、1つの照明装置50の光の照射方向が変更されることにより特定の豚80が選択的に照らされることは必須ではない。例えば、光の照射方向が固定された複数の照明装置50のうち光の照射位置が位置情報によって示される位置に最も近い照明装置50が選択的に発光することにより、特定の豚80が選択的に照らされてもよい。
It should be noted that it is not essential to selectively illuminate a
以上説明したように、動作例2において、提示装置40(提示制御部42)は、取得された特定の豚80の位置情報に基づいて、飼育現場に設置された照明装置50に特定の豚80に選択的に光を照射させることにより、特定の豚80の位置を提示する。
As described above, in Operation Example 2, the presentation device 40 (presentation control unit 42) controls the
このような提示装置40は、豚房70内に実在する特定の豚80に選択的に光を照射することにより、豚房70内で作業を行う飼育者等が豚80の個体を識別することを支援することができる。
Such a
[識別情報の取得方法の変形例]
上記実施の形態では、識別情報取得部25は、識別タグ90を用いて豚80の識別情報を取得したが、このような識別情報の取得方法は一例である。[Modified example of acquisition method of identification information]
In the above-described embodiment, the identification
例えば、複数の豚80のそれぞれには、耳刻が施され、識別情報取得部25は、第一画像に映る耳刻を検出することにより豚80の識別情報を取得してもよい。図15は、耳刻の施し方の一例を示す図である。
For example, each of a plurality of
図15に示されるように、耳刻は、耳の端部に切り欠きを形成することを意味する。切り欠きの数及び位置によって豚80を識別することができる。識別情報取得部25は、第一画像に映る耳刻の位置及び数を画像処理(例えば、輪郭抽出処理)によって特定し、豚80の識別情報を取得することができる。
As shown in FIG. 15, notching means forming a notch in the end of the ear.
また、識別情報取得部25は、第一画像に映る豚80の顔認識処理を行うことにより、当該豚80の識別情報を取得してもよい。この場合、豚房70内の複数の豚80のそれぞれの顔画像があらかじめ記憶部24に基準顔画像として記憶される。基準顔画像は、識別情報と対応付けて記憶される。
Further, the identification
識別情報取得部25は、第一画像に映る豚80の顔画像と、記憶部24に記憶された複数の基準顔画像のそれぞれとを比較し、最も類似する基準顔画像に対応付けられた識別情報を、第一画像に映る豚80の識別情報として取得することができる。
The identification
また、識別情報取得部25は、第一画像に映る豚80のシルエットを検出することにより豚80の識別情報を取得してもよい。ここでのシルエットは、豚80の全体のシルエットではなく、鼻、目、頭部(顔)の輪郭、尻尾、耳、または、角(対象が角を有する動物である場合)などの体の特定部位の形状を意味する。この場合、豚房70内の複数の豚80のそれぞれの特定部位のシルエットがあらかじめ記憶部24に基準シルエットとして記憶される。基準シルエットは、識別情報と対応付けて記憶される。
Further, the identification
識別情報取得部25は、第一画像に映る豚80の特定部位のシルエットを画像処理(例えば、輪郭抽出処理)によって検出する。識別情報取得部25は、検出したシルエットと、記憶部24に記憶された複数の基準シルエットのそれぞれとを比較し、最も類似する基準シルエットに対応付けられた識別情報を、第一画像に映る豚80の識別情報として取得することができる。
The identification
[効果等]
以上説明したように、動物情報管理システム100は、豚房70内に滞在する複数の豚80のそれぞれの位置情報が当該豚80の属性情報と対応づけて記憶された記憶部31を備えるサーバ30と、特定の豚80の属性情報を指定する要求情報をサーバ30に送信し、特定の豚80の位置情報をサーバ30から取得する通信部43と、取得された特定の豚80の位置情報に基づいて、特定の豚80の位置を豚房70内において提示する提示制御部42とを備える。動物情報管理システム100は、提示システムの一例であり、豚房70内は、飼育現場の一例であり、豚80は、家畜の一例である。[Effects, etc.]
As described above, the animal
このような動物情報管理システム100は、豚房70内で作業を行う飼育者等が豚80の個体を識別することを支援することができる。
Such an animal
また、例えば、動物情報管理システム100は、さらに、豚房70内を撮像するカメラ44と、撮像された豚房70内を画像として表示する表示部46とを備える。提示制御部42は、取得された特定の豚80の位置情報に基づいて、画像に映る特定の豚80の位置を、画像に関する処理を行うことにより提示する。
Further, for example, the animal
このような動物情報管理システム100は、画像の提示により、豚房70内で作業を行う飼育者等が豚80の個体を識別することを支援することができる。
Such an animal
また、例えば、提示制御部42は、画像に映る特定の豚80の位置を、画像にオブジェクトを重畳することにより提示する。
Also, for example, the
このような動物情報管理システム100は、オブジェクトが重畳された画像の提示により、豚房70内で作業を行う飼育者等が豚80の個体を識別することを支援することができる。
Such an animal
また、例えば、提示制御部42は、画像に映る特定の豚80の位置を、画像に映る特定の豚80の色を変更することにより提示する。
Also, for example, the
このような動物情報管理システム100は、特定の豚80の色が変更された画像の提示により、豚房70内で作業を行う飼育者等が豚80の個体を識別することを支援することができる。
Such an animal
また、例えば、提示装置40bは、さらに、ユーザの視野内にオブジェクトを重畳表示する表示部46bを備える。提示装置40bの提示制御部は、ユーザが飼育現場を視認しているときに、表示部46bに、取得された特定の豚80の位置情報に基づいて定まる位置にオブジェクトを重畳表示させることにより、特定の豚80の位置を提示する。
Also, for example, the
このような動物情報管理システム100は、ユーザの視野内にオブジェクトを重畳表示することにより、豚房70内で作業を行う飼育者等が豚80の個体を識別することを支援することができる。
Such an animal
また、例えば、提示制御部42は、取得された特定の豚80の位置情報に基づいて、豚房70内に設置された照明装置50に特定の豚80に選択的に光を照射させることにより、特定の豚80の位置を提示する。
Further, for example, the
このような動物情報管理システム100は、豚房70内に実在する特定の豚80に選択的に光を照射することにより、豚房70内で作業を行う飼育者等が豚80の個体を識別することを支援することができる。
Such an animal
また、提示装置40は、豚房70内に滞在する複数の豚80のそれぞれの位置情報が当該豚80の属性情報と対応づけて記憶された記憶部31を備えるサーバ30に、特定の豚80の属性情報を指定する要求情報を送信し、特定の豚80の位置情報をサーバ30から取得する通信部43と、取得された特定の豚80の位置情報に基づいて、特定の豚80の位置を豚房70内において提示する提示制御部42とを備える。豚房70内は、飼育現場の一例であり、豚80は、家畜の一例である。
In addition, the
このような提示装置40は、豚房70内で作業を行う飼育者等が豚80の個体を識別することを支援することができる。
Such a
また、提示装置40などのコンピュータが実行する提示方法は、豚房70内に滞在する複数の豚80のそれぞれの位置情報が当該豚80の属性情報と対応づけて記憶された記憶部31を備えるサーバ30に、特定の豚80の属性情報を指定する要求情報を送信し、特定の豚80の位置情報をサーバ30から取得し、取得された特定の豚80の位置情報に基づいて、特定の豚80の位置を豚房70内において提示する。豚房70内は、飼育現場の一例であり、豚80は、家畜の一例である。
Further, the presentation method executed by a computer such as the
このような提示方法は、豚房70内で作業を行う飼育者等が豚80の個体を識別することを支援することができる。
Such a presentation method can assist a breeder or the like working in the
(その他の実施の形態)
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。(Other embodiments)
Although the embodiments have been described above, the present invention is not limited to the above embodiments.
例えば、動物情報管理システムは、豚房内の豚の情報を管理したが、牛などの豚以外の家畜の情報を管理してもよい。また、動物情報管理システムが屋内で用いられることは必須ではなく、牧場(飼育現場の別の一例)などの屋外で用いられてもよい。 For example, although the animal information management system manages information about pigs in a pig pen, it may manage information about livestock other than pigs, such as cattle. Moreover, it is not essential that the animal information management system is used indoors, and it may be used outdoors such as on a ranch (another example of a breeding site).
また、サーバの記憶部に豚の位置情報と識別情報とを対応付けて記憶する方法は、上記実施の形態で説明された方法に限定されない。例えば、識別タグに識別情報(ID)を含むRFIDタグが埋め込まれ、情報処理装置がRFIDタグを用いたリアルタイム位置検出を行い、識別情報及び位置情報を適宜サーバの記憶部にアップロードしてもよい。 Further, the method of storing the pig position information and the identification information in association with each other in the storage unit of the server is not limited to the method described in the above embodiment. For example, an RFID tag containing identification information (ID) may be embedded in the identification tag, the information processing device may perform real-time position detection using the RFID tag, and upload the identification information and position information to the storage unit of the server as appropriate. .
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。 Further, in the above-described embodiments, the processing executed by a specific processing unit may be executed by another processing unit. In addition, the order of multiple processes may be changed, and multiple processes may be executed in parallel.
また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。 Also, in the above embodiments, each component may be realized by executing a software program suitable for each component. Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
また、各構成要素は、ハードウェアによって実現されてもよい。例えば、制御部などの構成要素は、回路(または集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。 Also, each component may be realized by hardware. For example, a component such as a controller may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 Also, general or specific aspects of the present invention may be implemented in a system, apparatus, method, integrated circuit, computer program or recording medium such as a computer-readable CD-ROM. Also, any combination of systems, devices, methods, integrated circuits, computer programs and recording media may be implemented.
例えば、本発明は、動物情報管理システム(言い換えれば、提示システム。以下同様。)などのコンピュータによって実行される提示方法として実現されてもよいし、提示方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。 For example, the present invention may be realized as a presentation method executed by a computer such as an animal information management system (in other words, a presentation system; the same shall apply hereinafter), or as a program for causing a computer to execute the presentation method. Alternatively, it may be realized as a computer-readable non-temporary recording medium in which such a program is recorded.
また、上記実施の形態では、動物情報管理システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。動物情報管理システムが複数の装置によって実現される場合、上記実施の形態で説明された動物情報管理システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。 Moreover, although the animal information management system is realized by a plurality of devices in the above embodiment, it may be realized by a single device. When the animal information management system is implemented by a plurality of devices, the components included in the animal information management system described in the above embodiment may be distributed to the plurality of devices in any way.
また、動物情報管理システムは、クライアントサーバシステムとして実現されてもよい。この場合、上記実施の形態において情報処理装置によって行われると説明された処理の一部または全部がサーバによって行われる。 Also, the animal information management system may be implemented as a client-server system. In this case, part or all of the processing described as being performed by the information processing apparatus in the above embodiment is performed by the server.
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。 In addition, forms obtained by applying various modifications to each embodiment that a person skilled in the art can think of, or realized by arbitrarily combining the constituent elements and functions of each embodiment without departing from the spirit of the present invention. Also included in the present invention.
30 サーバ
31 記憶部
40、40a、40b 提示装置
42 提示制御部
43 通信部
44 カメラ
46、46b 表示部
50 照明装置
80 豚(家畜)
100 動物情報管理システム(提示システム)30
100 animal information management system (presentation system)
Claims (4)
特定の家畜の属性情報を指定する情報を前記サーバに送信し、前記特定の家畜の位置情報を前記サーバから取得する通信部と、
取得された前記特定の家畜の位置情報に基づいて、前記飼育現場に設置された照明装置に前記特定の家畜に選択的に光を照射させることにより、前記特定の家畜の位置を提示する提示制御部とを備える
提示システム。 a server having a storage unit in which location information of each of a plurality of livestock staying at a breeding site is stored in association with attribute information of the livestock;
a communication unit that transmits information designating attribute information of a specific livestock to the server and acquires position information of the specific livestock from the server;
Presentation control for presenting the position of the specific domestic animal by selectively irradiating the specific domestic animal with light from a lighting device installed at the breeding site based on the acquired positional information of the specific domestic animal. and a presentation system.
取得された前記特定の家畜の位置情報に基づいて、前記飼育現場に設置された照明装置に前記特定の家畜に選択的に光を照射させることにより、前記特定の家畜の位置を提示する提示制御部とを備える
提示装置。 Information specifying attribute information of a specific domestic animal is transmitted to a server having a storage unit in which location information of each of a plurality of domestic animals staying at a breeding site is stored in association with attribute information of the domestic animal, a communication unit that acquires livestock location information from the server;
Presentation control for presenting the position of the specific domestic animal by selectively irradiating the specific domestic animal with light from a lighting device installed at the breeding site based on the acquired positional information of the specific domestic animal. and a presentation device.
飼育現場に滞在する複数の家畜のそれぞれの位置情報が当該家畜の属性情報と対応づけて記憶された記憶部を備えるサーバに、特定の家畜の属性情報を指定する情報を送信し、
前記特定の家畜の位置情報を前記サーバから取得し、
取得された前記特定の家畜の位置情報に基づいて前記飼育現場に設置された照明装置へ制御信号を送信することで、前記照明装置に前記特定の家畜に選択的に光を照射させることにより、前記特定の家畜の位置を提示する
提示方法。 A computer implemented method of presentation comprising:
transmitting information specifying attribute information of a specific domestic animal to a server having a storage unit in which location information of each of a plurality of domestic animals staying at a breeding site is stored in association with attribute information of the domestic animal;
Acquiring location information of the specific livestock from the server;
By transmitting a control signal to the lighting device installed at the breeding site based on the acquired positional information of the specific livestock, the lighting device selectively irradiates the specific livestock with light, A presentation method for presenting the position of the specific livestock.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019117270 | 2019-06-25 | ||
| JP2019117270 | 2019-06-25 | ||
| PCT/JP2020/022207 WO2020261927A1 (en) | 2019-06-25 | 2020-06-04 | Presentation system, presentation device, and presentation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020261927A1 JPWO2020261927A1 (en) | 2020-12-30 |
| JP7241309B2 true JP7241309B2 (en) | 2023-03-17 |
Family
ID=74059665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021527583A Active JP7241309B2 (en) | 2019-06-25 | 2020-06-04 | PRESENTATION SYSTEM, PRESENTATION DEVICE, AND PRESENTATION METHOD |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7241309B2 (en) |
| WO (1) | WO2020261927A1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7450561B2 (en) * | 2021-01-18 | 2024-03-15 | 日本ハム株式会社 | Pig breeding support device, pig breeding support method, and pig breeding support program |
| JP7822234B2 (en) * | 2022-03-31 | 2026-03-02 | 古河電気工業株式会社 | Information processing device, information processing method, and program |
| CN115361526A (en) * | 2022-08-16 | 2022-11-18 | 苏州数智赋农信息科技有限公司 | Pig farm inspection system and method based on image processing |
| JP2024055429A (en) * | 2022-10-07 | 2024-04-18 | 嘉創株式会社 | Livestock management system, method and program |
| JP7286207B1 (en) | 2022-12-13 | 2023-06-05 | 株式会社Eco‐Pork | Livestock breeding management device, livestock breeding management system, livestock breeding management method, and livestock breeding management program |
| CN116300649B (en) * | 2023-04-06 | 2023-08-29 | 重庆市畜牧技术推广总站 | Efficient monitoring system and method for free-range pigs |
| JP7410607B1 (en) | 2023-07-24 | 2024-01-10 | 株式会社Eco‐Pork | Feeding management system and feeding management method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018100883A1 (en) | 2016-11-29 | 2018-06-07 | ソニー株式会社 | Display control device, display control method, and program |
| WO2019058752A1 (en) | 2017-09-22 | 2019-03-28 | パナソニックIpマネジメント株式会社 | Livestock information management system, livestock barn, livestock information management program, and livestock information management method |
| WO2019068921A1 (en) | 2017-10-06 | 2019-04-11 | Claessens Antoon Willem Johan | Method and system for the management of production animals |
| JP2019205375A (en) | 2018-05-29 | 2019-12-05 | Necソリューションイノベータ株式会社 | Farm animal shipping determination display device, shipping determination display method, program and recording medium |
-
2020
- 2020-06-04 WO PCT/JP2020/022207 patent/WO2020261927A1/en not_active Ceased
- 2020-06-04 JP JP2021527583A patent/JP7241309B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018100883A1 (en) | 2016-11-29 | 2018-06-07 | ソニー株式会社 | Display control device, display control method, and program |
| WO2019058752A1 (en) | 2017-09-22 | 2019-03-28 | パナソニックIpマネジメント株式会社 | Livestock information management system, livestock barn, livestock information management program, and livestock information management method |
| WO2019068921A1 (en) | 2017-10-06 | 2019-04-11 | Claessens Antoon Willem Johan | Method and system for the management of production animals |
| JP2019205375A (en) | 2018-05-29 | 2019-12-05 | Necソリューションイノベータ株式会社 | Farm animal shipping determination display device, shipping determination display method, program and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020261927A1 (en) | 2020-12-30 |
| WO2020261927A1 (en) | 2020-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7241309B2 (en) | PRESENTATION SYSTEM, PRESENTATION DEVICE, AND PRESENTATION METHOD | |
| US10554829B2 (en) | Information processing device, photographing device, image sharing system, and method of information processing | |
| RU2689136C2 (en) | Automated determination of system behavior or user experience by recording, sharing and processing information associated with wide-angle image | |
| US10674077B2 (en) | Apparatus and method for providing mixed reality content | |
| US10169923B2 (en) | Wearable display system that displays a workout guide | |
| CN104487982B (en) | The optical detection of wearable object based on user's wearing provides service | |
| KR101397214B1 (en) | System and method for generating virtual object using augmented reality | |
| JP7047394B2 (en) | Head-mounted display device, display system, and control method for head-mounted display device | |
| US8786456B2 (en) | Positional locating system and method | |
| WO2015065386A1 (en) | Image capture feedback | |
| US11216066B2 (en) | Display device, learning device, and control method of display device | |
| WO2015159775A1 (en) | Image processing apparatus, communication system, communication method, and image-capturing device | |
| CN109002248A (en) | VR scene screenshot method, equipment and storage medium | |
| US20220070365A1 (en) | Mixed reality image capture and smart inspection | |
| WO2019085945A1 (en) | Detection device, detection system, and detection method | |
| JP2017136103A (en) | Imaging system, display device, and control method of imaging system | |
| JP6450890B2 (en) | Image providing system, image providing method, and program | |
| US11080942B2 (en) | Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product | |
| JP2017112504A (en) | Imaging apparatus, visible light communication identification information registration method, and program | |
| CN109683707A (en) | A kind of method and system for keeping AR glasses projected color adaptive | |
| WO2017195646A1 (en) | Work assistance device | |
| CN117119287A (en) | A method, device and medium for determining the shooting angle of a drone | |
| WO2012014837A1 (en) | Image providing system, image display device, image display program, and image display method | |
| CN112053444A (en) | Method for superimposing virtual objects based on optical communication device and corresponding electronic device | |
| CN118365847B (en) | Virtual electronic ear tag adding model training method, ear tag adding method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230106 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230106 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230117 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230222 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7241309 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |