JP6920873B2 - Air conditioner - Google Patents
Air conditioner Download PDFInfo
- Publication number
- JP6920873B2 JP6920873B2 JP2017086215A JP2017086215A JP6920873B2 JP 6920873 B2 JP6920873 B2 JP 6920873B2 JP 2017086215 A JP2017086215 A JP 2017086215A JP 2017086215 A JP2017086215 A JP 2017086215A JP 6920873 B2 JP6920873 B2 JP 6920873B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- air
- display
- conditioned space
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Air Conditioning Control Device (AREA)
Description
本発明は、空調対象空間の状態に応じて空調を行う空気調和機に関するものである。 The present invention relates to an air conditioner that performs air conditioning according to the state of an air-conditioned space.
従来、対象空間の状態に応じて空調制御を行う空気調和機が実用化されている。このような空気調和機は、例えば、赤外線センサを用いて熱画像を取得し、取得した熱画像から対象空間内の物体を識別し、識別結果に応じて空調制御を行う(例えば、特許文献1および特許文献2参照)。 Conventionally, an air conditioner that controls air conditioning according to the state of the target space has been put into practical use. Such an air conditioner acquires, for example, a thermal image using an infrared sensor, identifies an object in the target space from the acquired thermal image, and performs air conditioning control according to the identification result (for example, Patent Document 1). And Patent Document 2).
例えば、特許文献1に記載の空気調和機は、対象空間の熱画像を取得し、取得した熱画像に基づいて、当該熱画像に含まれる対象空間内の対象物を識別する。そして、取得した熱画像に、識別結果を示す情報を付加してユーザーに提示し、ユーザーの応答を受け付けるものである。これにより、特許文献1に記載の空気調和機では、対象空間内の対象物に対する誤った識別結果がユーザーの応答によって修正されるため、空調制御の精度を改善することができる。 For example, the air conditioner described in Patent Document 1 acquires a thermal image of the target space, and identifies an object in the target space included in the thermal image based on the acquired thermal image. Then, information indicating the identification result is added to the acquired thermal image and presented to the user, and the user's response is received. As a result, in the air conditioner described in Patent Document 1, the accuracy of air conditioning control can be improved because the erroneous identification result for the object in the target space is corrected by the response of the user.
また、例えば、特許文献2に記載の空気調和機は、CCD(Charge Coupled Devices)カメラを備えており、このCCDカメラで撮像した人が存在しない背景のみの画像と、現在の画像との差分をとる。そして、差分が検出された範囲に人が存在すると判断し、判断結果を空調制御に使用する。これにより、特許文献2に記載の空気調和機では、対象空間内に存在する人に対して適切な空調制御を行うことができる。
Further, for example, the air conditioner described in
しかしながら、特許文献1に記載の空気調和機では、誤って識別していた対象物の識別結果を、ユーザーの応答によって一時的に修正し、空調制御の精度を向上させることができるが、恒久的な精度の改善には至らない。例えば、対象空間の状態が変化し、改めて対象空間を識別した場合には、再び誤って識別してしまうため、ユーザーは、誤った識別結果を再度修正する必要があるという課題があった。 However, in the air conditioner described in Patent Document 1, the identification result of the object that has been erroneously identified can be temporarily corrected by the response of the user, and the accuracy of the air conditioning control can be improved, but it is permanent. It does not lead to an improvement in accuracy. For example, when the state of the target space changes and the target space is identified again, it is erroneously identified again, so that there is a problem that the user needs to correct the erroneous identification result again.
また、特許文献2に記載の空気調和機では、人が存在すると範囲を誤検出した場合であっても、その検出結果が正しいものとして空調制御を行うため、誤った制御を行ってしまうという課題があった。
Further, in the air conditioner described in
本発明は、上記従来の技術における課題に鑑みてなされたものであって、空調対象空間内の対象物に対するユーザーの修正機会を減らし、対象空間内の対象物をより正確に検出することができる空気調和機を提供することを目的とする。 The present invention has been made in view of the above problems in the prior art, and can reduce the user's chance of modifying the object in the air-conditioned space and detect the object in the target space more accurately. The purpose is to provide an air conditioner.
本発明の空気調和機は、対象物の温度を検出して温度データを取得する検出部と、前記検出部が接続され、前記温度データが入力される制御装置とを有する室内機と、前記対象物に関する情報を表示する表示部と、ユーザーの操作に応じた操作信号を出力する操作部とを有するリモートコントローラとを備え、前記制御装置は、前記表示部に表示される表示画面上の領域を複数の領域に分割し、分割された複数の前記領域毎に、前記対象物を検出する検出アルゴリズムを設定し、前記温度データに基づき、前記検出アルゴリズムに従って前記対象物を検出し、前記対象物が人体である場合に、前記対象物を前記リモートコントローラの前記表示部に表示させ、前記リモートコントローラの前記操作部に対する操作によって前記表示部の表示が修正された場合に、修正内容に応じて、分割された複数の前記領域のうち、前記表示部における修正位置に対応する領域の表示を更新するとともに、前記操作部からの修正内容を示す修正データに基づいて、前記検出アルゴリズムを修正し、前記修正データに基づき、複数の前記領域毎に設定された複数の前記検出アルゴリズムのうち、前記修正データが示す修正箇所を含む領域に対応する検出アルゴリズムを修正するものである。 The air conditioner of the present invention includes an indoor unit having a detection unit that detects the temperature of an object and acquires temperature data, a control device to which the detection unit is connected and input the temperature data, and the object. The control device includes a remote controller having a display unit for displaying information about an object and an operation unit for outputting an operation signal according to a user's operation, and the control device covers an area on a display screen displayed on the display unit. It is divided into a plurality of regions, a detection algorithm for detecting the object is set for each of the plurality of divided regions, the object is detected according to the detection algorithm based on the temperature data, and the object is In the case of a human body, when the object is displayed on the display unit of the remote controller and the display of the display unit is modified by an operation on the operation unit of the remote controller, the display is divided according to the modification content. Of the plurality of the areas, the display of the area corresponding to the correction position in the display unit is updated, and the detection algorithm is modified based on the correction data indicating the correction content from the operation unit, and the correction is performed. Based on the data, among the plurality of detection algorithms set for each of the plurality of regions, the detection algorithm corresponding to the region including the correction portion indicated by the correction data is modified .
以上のように本発明によれば、表示部に表示された対象物に対してユーザーが修正を行い、表示を更新することにより、空調対象空間内の対象物の誤検出に対するユーザーの修正機会を減らし、対象空間内の対象物をより正確に検出することができる。 As described above, according to the present invention, the user corrects the object displayed on the display unit and updates the display, thereby providing the user with an opportunity to correct the false detection of the object in the air-conditioned space. It can be reduced and the object in the target space can be detected more accurately.
実施の形態1.
以下、本発明の実施の形態1に係る空気調和機について説明する。本実施の形態1に係る空気調和機は、空調対象空間内の人体および物体等の対象物を検出し、検出結果に応じて風向、風量および風速等の空調制御を行うものである。
Embodiment 1.
Hereinafter, the air conditioner according to the first embodiment of the present invention will be described. The air conditioner according to the first embodiment detects objects such as a human body and an object in the air-conditioned space, and controls air-conditioning such as wind direction, air volume, and wind speed according to the detection result.
[空気調和機の設置例]
図1は、本実施の形態1に係る空気調和機100の設置例を示す概略図である。図1に示すように、空気調和機100は、室外機1、室内機2、制御装置3、およびリモートコントローラ4で構成されている。この空気調和機100では、室外機1および室内機2が配管によって接続されることにより、冷媒が流れる冷媒回路が形成されている。
[Installation example of air conditioner]
FIG. 1 is a schematic view showing an installation example of the
室外機1は、通常、室外空間に設置され、冷熱または温熱を生成して室内機2に供給する。室内機2は、建物の内部の空間、例えば居室等の空調対象空間に設置され、室外機1から供給された冷熱または温熱により、冷房用空気または暖房用空気を空調対象空間に供給する。本実施の形態1において、室内機2には、空調対象空間の温度または熱画像を検出する検出部24が設けられている。
The outdoor unit 1 is usually installed in an outdoor space, generates cold or hot heat, and supplies it to the
制御装置3は、この空気調和機100全体を制御するものである。例えば、制御装置3は、検出部24で検出された空調対象空間の状態に応じて、風向および風量等を制御する。リモートコントローラ4は、ユーザーによって操作され、空気調和機100における運転モード設定、温度設定および風量設定等の各種設定を行うことができる。リモートコントローラ4は、例えば、空調対象空間内に固定的に設置されてもよいし、ユーザーが携帯できるようにしてもよい。
The
なお、この例では、1台の室外機1と1台の室内機2とが接続される場合を示すが、室外機1および室内機2の台数は、それぞれ2台以上でもよい。例えば、1台の室外機1に対して複数台の室内機2が接続されてもよい。また、例えば、複数の室外機1に対して1または複数の室内機2が接続されてもよい。
In this example, one outdoor unit 1 and one
[空気調和機の構成]
図2は、本実施の形態1に係る空気調和機100の構成の一例を示す概略図である。図2に示すように、空気調和機100は、室外機1、室内機2、制御装置3、およびリモートコントローラ4で構成されている。この例では、1台の室外機1と1台の室内機2とで構成された空気調和機100を示す。
[Construction of air conditioner]
FIG. 2 is a schematic view showing an example of the configuration of the
(室外機)
室外機1は、圧縮機11、冷媒流路切替装置12、室外側熱交換器13、および室外側送風機14を備えている。
(Outdoor unit)
The outdoor unit 1 includes a
圧縮機11は、低温低圧の冷媒を吸入し、吸入した冷媒を圧縮して高温高圧の状態にして吐出する。圧縮機11は、例えば、駆動周波数を任意に変化させることにより、時間あたりの冷媒送出量である容量を制御するインバータ圧縮機等からなる。
The
冷媒流路切替装置12は、例えば四方弁であり、冷媒の流れる方向を切り替えることにより、冷房運転および暖房運転の切り替えを行う。冷媒流路切替装置12としては、上述した四方弁に限らず、例えば他の弁を組み合わせて使用してもよい。
The refrigerant flow
室外側熱交換器13は、ファン等の室外側送風機14によって供給される室外空気と冷媒との間で熱交換を行う。具体的には、室外側熱交換器13は、冷房運転の際に、冷媒を蒸発させ、その際の気化熱により空調対象空間内の室内空気を冷却する凝縮器として機能する。また、室外側熱交換器13は、暖房運転の際に、冷媒の熱を室内空気に放熱して冷媒を凝縮させる蒸発器として機能する。
The
(室内機)
室内機2は、絞り装置21、室内側熱交換器22、室内側送風機23、および検出部24を備えている。また、室内機2には、制御装置3が設けられている。
(Indoor unit)
The
絞り装置21は、冷媒を減圧して膨張させる。絞り装置21は、例えば、電子式膨張弁などの開度の制御を行うことができる弁で構成されている。
The
室内側熱交換器22は、ファン等の室内側送風機23によって供給される室内空気と冷媒との間で熱交換を行う。これにより、空調対象空間に供給される調和空気である暖房用空気または冷房用空気が生成される。室内側熱交換器22は、冷房運転の際に蒸発器として機能する。また、室内側熱交換器22は、暖房運転の際に凝縮器として機能する。
The
検出部24は、例えば赤外線センサ、サーモパイルまたは熱画像計測装置等であり、空調対象空間の温度または熱画像を取得するために設けられている。検出部24は、制御装置3に接続されている。検出部24は、制御装置3の制御に基づき、空調対象空間の温度または熱画像を取得し、温度データまたは熱画像データとして制御装置3に供給する。
The
(制御装置)
制御装置3は、室外機1および室内機2の各部から受け取る各種情報に基づき、空気調和機100全体の動作を制御する。具体的には、制御装置3は、例えば冷媒回路中に設けられた図示しない各種センサからの情報に基づき、圧縮機11の圧縮機周波数、冷媒流路切替装置12の流路の切替、室外側送風機14および室内側送風機23の回転数などを制御する。また、制御装置3は、後述するリモートコントローラ4が接続され、リモートコントローラ4に対するユーザーの操作に応じて、各部の動作を制御することができる。制御装置3とリモートコントローラ4とは、互いにデータの送受信を行うことができる。
(Control device)
The
このような制御装置3は、例えばマイクロコンピュータ、CPU(Central Processing Unit)などの演算装置上で実行されるソフトウェア、または各種機能を実現する回路デバイスなどのハードウェア等で構成されている。
Such a
図3は、図1および図2の制御装置3の構成の一例を示すブロック図である。図3に示すように、制御装置3は、熱画像作成部31、空間状態認識部32、表示制御部33、アルゴリズム修正部34、および記憶部35を備えている。なお、図3では、本発明の特徴に関連する部分についての機能ブロックのみを図示し、それ以外の部分については、図示および説明を省略する。
FIG. 3 is a block diagram showing an example of the configuration of the
熱画像作成部31は、検出部24で検出された空調対象空間の温度データが入力される。熱画像作成部31は、入力された温度データに基づき、空調対象空間の温度分布を示す熱画像データを作成する。
The thermal
なお、検出部24が熱画像を取得する熱画像計測装置である場合には、この熱画像作成部31は不要となる。その場合には、熱画像計測装置である検出部24から制御装置3に熱画像データが入力される。入力された熱画像データは、空間状態認識部32に入力される。
If the
空間状態認識部32は、熱画像データが入力される。空間状態認識部32は、記憶部35に予め記憶された検出アルゴリズムを読み出し、読み出した検出アルゴリズムに従って、入力された熱画像データから空調対象空間の状態を認識する。そして、空間状態認識部32は、認識された空調対象空間の状態に基づき、空調対象空間に存在する人体および物体等の対象物を検出する。なお、空調対象空間の状態を認識する処理の詳細については、後述する。
Thermal image data is input to the spatial
表示制御部33は、空間状態認識部32から空調対象空間の状態の認識結果を示す空間認識情報が入力される。この空間認識情報には、空調対象空間から検出された対象物の情報が含まれている。表示制御部33は、入力された空間認識情報に基づき、後述するリモートコントローラ4に表示させるための、空調対象空間の状態に関する表示データを作成する。表示データは、例えば、空調対象空間全体の情報、検出されたものが人体および物体のいずれかであることを示す情報、および検出された対象物の位置を示す情報を含むものである。
The
アルゴリズム修正部34は、リモートコントローラ4から修正データが入力される。修正データは、表示制御部33で作成された表示データに含まれる人体および物体を示す情報、ならびに対象物の位置を示す情報に対する修正内容を示す情報である。アルゴリズム修正部34は、記憶部35から検出アルゴリズムを読み出し、修正データに基づいて検出アルゴリズムを修正する。修正された検出アルゴリズムは、記憶部35に記憶される。
The
記憶部35は、この制御装置3で行われる処理に用いられる各種データ等を記憶する。例えば、記憶部35は、空間状態認識部32およびアルゴリズム修正部34で用いられる検出アルゴリズムを記憶している。記憶部35は、空間状態認識部32およびアルゴリズム修正部34からの要求に応じて、検出アルゴリズムの読み出しおよび書き込みを行う。
The
(リモートコントローラ)
説明は図2に戻り、リモートコントローラ4は、ユーザーが操作することにより、例えば、空気調和機100における運転モード設定、温度設定、風量設定等の各種設定を行い、空気調和機100の動作を制御するためのものである。リモートコントローラ4は、ユーザーの操作に応じた操作信号を制御装置3に送信する。また、リモートコントローラ4は、制御装置3による人体の検出結果に基づく空調対象空間の状態を示す情報を制御装置3から受け取り、この情報に基づき、空調対象空間の状態等を表示する。
(Remote controller)
The explanation returns to FIG. 2, and the
リモートコントローラ4は、操作部41および表示部42を備えている。操作部41は、例えば、ユーザーによって操作されるボタンおよびキー等で構成されている。操作部41は、ユーザーの操作に応じた操作信号を生成し、制御装置3に対して出力する。
The
表示部42は、例えば、LCD(Liquid Crystal Display)等で構成されている。表示部42は、操作部41に対する操作によって設定された内容を示す情報、例えば運転モード、設定温度、および風量等を表示する。また、表示部42は、制御装置3から受け取った表示データ基づき、対象物に関する情報を含む空調対象空間の状態を表示する。
The
なお、操作部41としては、例えば、タッチセンサを有するタッチパネルを用いることができる。この場合、表示部42としては、例えばLCD上にタッチパネルが積層されたタッチパネルディスプレイを用いることができる。また、操作部41および表示部42としてタッチパネルディスプレイを用いる場合には、各種ボタンまたはキーがソフトウェアボタンまたはソフトウェアキーとして表示部42に表示されるようにしてもよい。
As the
[空間認識処理および状態修正処理]
次に、本実施の形態1に係る空気調和機100における、空間認識処理および状態修正処理について説明する。本実施の形態1では、空調対象空間の状態を認識し、空調対象空間内に存在する対象物を検出する空間認識処理が行われる。そして、この空間認識処理によって認識された空調対象空間における対象物の検出結果に対するユーザーの修正操作に基づき、空調対象空間から検出された対象物に対する状態修正処理が行われる。なお、これらの処理は、予め設定された時間毎に巡回的に繰り返して行われるものとする。
[Spatial recognition processing and state correction processing]
Next, the space recognition process and the state correction process in the
(空調対象空間の状態の表示例)
まず、空調対象空間の状態が認識され、当該空間内で対象物が検出された場合の、空調対象空間の状態の表示例について説明する。
(Example of display of the state of the air-conditioned space)
First, an example of displaying the state of the air-conditioned space when the state of the air-conditioned space is recognized and an object is detected in the space will be described.
図4は、図2のリモートコントローラ4における表示部42に対する表示例を示す概略図である。図4に示すように、リモートコントローラ4の表示部42には、空調対象空間の状態と、当該空間内で検出された対象物が表示される。
FIG. 4 is a schematic view showing a display example for the
この例では、室内機2に設けられた検出部24と対向する側から見た場合の視点、すなわちユーザー側の視点で、空調対象空間全体が表示されている。また、この例では、視点から近い領域を大きく表示し、視点から遠い領域を小さく表示している。こうすることにより、空調対象空間全体の状態をユーザーが容易に認識することができる。なお、表示部42には、この例に限られず、例えば、検出部24側から見た場合の視点で、空調対象空間全体を表示させるようにしてもよい。
In this example, the entire space to be air-conditioned is displayed from the viewpoint when viewed from the side facing the
なお、この場合には、例えば、得られた空調対象空間内の情報に基づき、予め用意されたアイコン等を用いて対象物を空調対象空間内に表示してもよいし、取得した熱画像データをそのまま表示してもよい。 In this case, for example, based on the obtained information in the air-conditioned space, the object may be displayed in the air-conditioned space using an icon or the like prepared in advance, or the acquired thermal image data. May be displayed as it is.
また、表示部42には、例えば、検出された対象物の位置を含む、認識された空調対象空間の状態が正しいかどうかをユーザーに確認する「室内の状態はあっていますか?」という状態確認メッセージが表示される。ユーザーは、この状態確認メッセージに対して、操作部41を操作し、状態確認メッセージに含まれる「Yes/No」のいずれかを選択することにより、認識された空調対象空間の状態を修正することができるようになっている。
Further, the
さらに、表示部42には、例えば、空調対象空間の状態を修正可能な時間を示す「回答のタイムアウト時間あと××秒」という修正期限メッセージが表示される。ユーザーは、この修正期限メッセージに表示された時間内に、認識された空調対象空間の状態を修正するか否かを回答することができる。
Further, on the
(空調対象空間の状態の修正例)
次に、図4に示すように表示された空調対象空間の状態を修正する方法について説明する。以下では、空調対象空間の状態が正しく認識されていないときに、空調対象空間の状態を修正する場合の例について説明する。
(Example of modifying the state of the air-conditioned space)
Next, a method of correcting the state of the air-conditioned space displayed as shown in FIG. 4 will be described. In the following, an example of correcting the state of the air-conditioned space when the state of the air-conditioned space is not correctly recognized will be described.
図5および図6は、空調対象空間の状態を修正する場合について説明するための概略図である。まず、上述したように、表示部42には、図5(a)に示すように、認識された空調対象空間の状態が表示されるとともに、状態確認メッセージが表示される。ユーザーの操作部41に対する操作により、状態確認メッセージに含まれる「No」が選択されることにより、空調対象空間の状態の修正が開始される。
5 and 6 are schematic views for explaining a case of correcting the state of the air-conditioned space. First, as described above, as shown in FIG. 5A, the
空調対象空間の状態の修正が開始されると、表示部42の表示は、図5(b)に示す状態となり、「修正する部分を指定して下さい」というメッセージが表示される。また、当該表示において、空調対象空間内から検出された対象物が選択できるようになる。
When the correction of the state of the air-conditioned space is started, the display of the
この状態で、ユーザーの操作部41に対する操作により、修正対象となる対象物が選択されると、表示部42の表示は、図5(c)に示す状態となり、「正しいものを選択して下さい」というメッセージとともに、修正後の状態を示す一覧が表示される。この例では、修正後の状態として、「人」、「ペット」、「電子機器」および「その他」が表示される。
In this state, when the object to be corrected is selected by the user's operation on the
ここで、ユーザーにより、修正後の状態として「その他」が選択された場合には、図5(d)に示すように、さらに詳細な物体を選択するための一覧が表示される。この例では、詳細な物体として、「窓」、「ドア」、「廊下」が表示される。 Here, when "Other" is selected as the modified state by the user, a list for selecting a more detailed object is displayed as shown in FIG. 5 (d). In this example, "windows", "doors", and "corridors" are displayed as detailed objects.
このように、修正対象となる対象物を、一覧表示の中から選択させることにより、ユーザーが容易に修正を行うことができる。また、ユーザーが容易に修正できることにより、ユーザーからの回答頻度を増大させることができるため、対象物の検出精度を向上させることができる。 In this way, the user can easily make corrections by selecting the object to be corrected from the list display. In addition, since the user can easily make corrections, the frequency of responses from the user can be increased, so that the detection accuracy of the object can be improved.
なお、修正後の状態として「その他」以外の項目を選択した場合にも、さらに詳細な物体を選択するための一覧を表示してもよい。例えば、「人」を選択した場合には、性別または年齢層等を選択させるようにしてもよい。また、例えば、「電子機器」を選択した場合には、「冷蔵庫」または「テレビ」等の具体的な電子機器を選択させるようにしてもよい。これにより、空気調和機100は、選択された対象物に応じた空調制御を行うことができる。
Even when an item other than "Other" is selected as the corrected state, a list for selecting a more detailed object may be displayed. For example, when "person" is selected, the gender or age group may be selected. Further, for example, when "electronic device" is selected, a specific electronic device such as "refrigerator" or "television" may be selected. As a result, the
次に、修正後の状態が選択されると、表示部42の表示は、図6(a)に示す状態となり、選択された対象物の表示が修正後の対象物の表示に修正される。また、表示部42は、「室内の状態を学習させますか?」というメッセージが表示される。この状態で、ユーザーの操作部41に対する操作により、「Yes」が選択されると、制御装置3は、今回の修正内容を学習し、次の空間認識処理に反映されることになる。一方、「No」が選択されると、制御装置3は、空調対象空間内を今回の修正内容が示す状態として認識するが、この修正内容を次の空間認識処理に反映しないようにする。
Next, when the corrected state is selected, the display of the
そして、ユーザーの操作部41に対する操作により、修正内容の学習の要否が決定されると、表示部42の表示は、図6(b)に示す状態となり、これまでの修正内容が反映された空調対象空間の状態が表示される。また、表示部42には、図5(a)と同様に、「室内の状態はあっていますか?」という状態確認メッセージが表示される。
Then, when the necessity of learning the correction content is determined by the operation of the user on the
ここで、ユーザーの操作部41に対する操作により、状態確認メッセージに対して「Yes」が選択されると、空調対象空間の状態が決定される。一方、「No」が選択されると、図5(b)〜図6(b)に示す表示が、空調対象空間の状態が決定されるまで繰り返される。
Here, when "Yes" is selected for the state confirmation message by the operation of the user's
(空間認識処理)
次に、空間認識処理について説明する。制御装置3の熱画像作成部31は、室内機2に設けられた赤外線センサ等の検出部24からの温度データに基づき、熱画像を作成する。熱画像作成部31は、例えば、検出部24の赤外線センサが室内を走査することによって得られた温度情報が示す温度値を、走査した際に得られる座標位置に並べることにより、熱画像データを作成する。
(Spatial recognition processing)
Next, the spatial recognition process will be described. The thermal
空間状態認識部32は、熱画像作成部31によって作成された熱画像である熱画像データを用いて、空調対象空間の状態を認識する。また、空間状態認識部32は、認識された空調対象空間内に存在する対象物を検出する。
The spatial
空調対象空間の状態の認識は、例えば、取得した熱画像データと、予め用意した基準となる熱画像データ(以下、「基準熱画像データ」と適宜称する)とを比較する検出アルゴリズムを用いて行われる。基準熱画像データおよび検出アルゴリズムは、人体が存在しない場合における空調対象空間の熱画像データであり、記憶部35に予め記憶されている。
Recognition of the state of the air-conditioned space is performed using, for example, a detection algorithm that compares the acquired thermal image data with the reference thermal image data (hereinafter, appropriately referred to as “reference thermal image data”) prepared in advance. It is said. The reference thermal image data and the detection algorithm are thermal image data of the air-conditioned space in the absence of the human body, and are stored in advance in the
空間状態認識部32は、取得した熱画像データと、記憶部35から読み出した基準熱画像データとを比較し、温度が変化した部分を抽出することにより、対象物を検出することができる。具体的には、例えば、人体が存在する熱画像データと基準熱画像データとの差分を算出した場合、人体に対応する画素の差分値は、それ以外の画素の差分値よりも大きな値となる。
The spatial
そこで、本実施の形態1では、差分値に対する閾値を予め設定し、画素の差分値がこの閾値以上、例えば3℃以上の温度差に相当する値以上である場合に、当該画素が人体に対応する画素であるものとする。そして、このような処理をすべての画素に対して行うことにより、熱画像に含まれる人体を検出することができる。 Therefore, in the first embodiment, a threshold value for the difference value is set in advance, and when the difference value of the pixel is equal to or more than this threshold value, for example, a value corresponding to a temperature difference of 3 ° C. or more, the pixel corresponds to the human body. It is assumed that it is a pixel to be used. Then, by performing such processing on all the pixels, the human body included in the thermal image can be detected.
すなわち、空間状態認識部32は、取得した熱画像データと基準熱画像データとの差分を画素毎に算出する。そして、空間状態認識部32は、例えば、算出された差分が予め設定された閾値以上となる画素が人体に対応する画素であると判断し、このような画素を集めることによって人体を検出する。
That is, the spatial
一方、空間状態認識部32は、算出された差分が閾値未満となる画素が背景、または人体以外の物体に対応する画素であると判断する。このとき、背景または物体と判断された画素の集まりの中から対象物としての物体を検出するために、物体の形状が用いられる。例えば、一般的な冷蔵庫等は、ある程度形状が決まっている。そのため、背景または物体と判断された画素の集まりのうち、物体の形状と一致または類似する形状を有する画素の集まりを物体として判断することができる。
On the other hand, the spatial
そこで、本実施の形態1では、空調対象空間内に存在すると考えられる物体の一般的な形状を、記憶部35に予め記憶しておく。そして、記憶された物体の形状と、背景または物体と判断されたものの形状とを比較することにより、物体を検出することができる。
Therefore, in the first embodiment, the general shape of the object considered to exist in the air-conditioned space is stored in advance in the
検出された人体または物体である対象物の位置は、例えば、当該対象物の形状の大きさまたは熱量の大きさで判断することができる。例えば、空間状態認識部32は、対象物を検出する際に用いられる比較対象物の形状の大きさと、検出された対象物の大きさとを比較する。そして、空間状態認識部32は、検出された対象物が比較対象物よりも大きい場合に、検出部24に近い位置に存在すると判断し、検出された対象物が比較対象物よりも小さい場合に、検出部24に遠い位置に存在すると判断する。
The position of the detected object, which is a human body or an object, can be determined, for example, by the size of the shape or the amount of heat of the object. For example, the spatial
なお、検出された物体が窓、タンスまたは冷蔵庫等の、空調対象空間内で固定的に設置されたものである場合には、物体として検出せずに、背景として学習するようにしてもよい。これにより、固定的に設置された物体に対する修正回数を低減させることができる。 If the detected object is fixedly installed in the air-conditioned space such as a window, chest of drawers, or refrigerator, it may be learned as a background without being detected as an object. This makes it possible to reduce the number of corrections for a fixedly installed object.
ここで、作成された熱画像データから対象物を検出する場合には、熱画像データを複数の領域に分割して行われる。空間状態認識部32は、分割された領域毎に検出アルゴリズムを用いて対象物の検出を行う。なお、この場合の検出アルゴリズムは、分割された領域毎に同一のアルゴリズムを用いてもよいし、異なるアルゴリズムを用いてもよい。また、複数に分割された領域は、例えば、さらに細かく分割された領域の集合を、1つの領域としてもよい。
Here, when the object is detected from the created thermal image data, the thermal image data is divided into a plurality of regions. The spatial
空調対象空間を複数に分割する場合、分割される領域は、領域毎に同一の大きさおよび形状であると好ましい。その際の形状は、例えば、正三角形、正方形または正六角形等の平面充填型の多角形とする。 When the space to be air-conditioned is divided into a plurality of areas, it is preferable that the divided areas have the same size and shape for each area. The shape at that time is, for example, a tessellation type polygon such as an equilateral triangle, a square, or a regular hexagon.
なお、対象物を検出する際に用いられる上述の検出アルゴリズムは、一例であって、これに限られるものではない。例えば、人体または物体を区別して検出できるものであれば、どのような検出アルゴリズムを用いてもよい。 The above-mentioned detection algorithm used when detecting an object is an example, and is not limited to this. For example, any detection algorithm may be used as long as it can distinguish and detect a human body or an object.
(状態修正処理)
次に、状態修正処理について説明する。操作部41に対するユーザーの操作によって空調対象空間の状態が修正された場合には、リモートコントローラ4から空調対象空間の状態の修正内容に関する修正データが制御装置3のアルゴリズム修正部34に供給される。この修正データは、ユーザーによって修正された内容を示すデータであり、例えば、修正対象の領域を示す情報、ならびに、人体を冷蔵庫等の電子機器に修正した場合などの対象物に対する修正内容を示す情報が含まれている。
(Status correction process)
Next, the state correction process will be described. When the state of the air-conditioned space is corrected by the user's operation on the
制御装置3のアルゴリズム修正部34は、入力された修正データに基づき、空調対象空間が分割された複数の領域のうち、どの領域に対応する検出アルゴリズムを修正するかを判断する。アルゴリズム修正部34は、判断結果に基づき、記憶部35から修正する領域に対応する検出アルゴリズムを読み出す。そして、アルゴリズム修正部34は、入力された修正データに基づき、読み出した検出アルゴリズムを修正する。修正した検出アルゴリズムは、記憶部35に記憶される。
Based on the input correction data, the
このように、状態修正処理では、修正データに基づき、修正が必要な領域に対応する検出アルゴリズムのみを修正する。例えば、窓の近傍に人体が存在している場合には、窓に入射する太陽などの熱により、人体から発せられる熱を検出できないことがある。そこで、このような場合には、窓が設けられている領域の閾値を、人体が検出できるような閾値に変更する。これにより、窓からの熱による人体の誤検出を低減させることができる。 In this way, in the state correction process, only the detection algorithm corresponding to the region requiring correction is corrected based on the correction data. For example, when a human body is present in the vicinity of a window, the heat emitted from the human body may not be detected due to the heat of the sun or the like incident on the window. Therefore, in such a case, the threshold value of the area where the window is provided is changed to a threshold value that can be detected by the human body. This makes it possible to reduce erroneous detection of the human body due to heat from the window.
また、ユーザーによって修正された内容が、物体の位置の変更に関するものである場合、状態修正処理では、空間認識処理で判断された物体の位置と、修正された物体の位置との差異に応じて、表示位置を補正する。空間認識処理によって認識される空調対象空間は、本来3次元であるのに対して、表示部42には2次元で表示される。そのため、2次元で表示された物体の位置と、ユーザーの主観による物体の位置とは乖離する場合がある。そこで、物体の表示位置をユーザーの主観に合わせて表示することで、ユーザーの納得性が向上し、修正回数を低減することができる。
In addition, when the content corrected by the user is related to the change of the position of the object, in the state correction process, the position of the object determined by the space recognition process and the position of the corrected object are changed according to the difference. , Correct the display position. The air-conditioned space recognized by the space recognition process is originally three-dimensional, whereas it is displayed in two dimensions on the
次に、上述のように説明した空間認識処理および状態修正処理の全体的な流れについて、フローチャートを参照しながら説明する。図7は、本実施の形態1に係る空間認識処理および状態修正処理の流れの一例を示すフローチャートである。なお、このフローチャートに示す処理は、予め設定された時間で巡回的に繰り返されるものとする。 Next, the overall flow of the space recognition process and the state correction process described above will be described with reference to the flowchart. FIG. 7 is a flowchart showing an example of the flow of the space recognition process and the state correction process according to the first embodiment. The process shown in this flowchart is cyclically repeated at a preset time.
まず、ステップS1において、制御装置3の熱画像作成部31は、検出部24で検出された温度データに基づき、空調対象空間の熱画像データを作成する。次に、ステップS2において、空間状態認識部32は、作成された熱画像データと、記憶部35に記憶された基準熱画像データとに基づき、記憶部35から読み出した検出アルゴリズムに従って、空調対象空間の状態を認識する。また、空間状態認識部32は、記認識された空調対象空間から対象物を検出する。
First, in step S1, the thermal
そして、ステップS3において、表示制御部33は、空調対象空間の状態の認識結果を示す空間認識情報に基づき、表示データを作成する。作成された表示データは、リモートコントローラ4に供給され、リモートコントローラ4の表示部42は、表示データに基づく空調対象空間の状態を表示する。
Then, in step S3, the
ステップS4において、表示部42に表示された空調対象空間の状態に修正の必要がある場合には、表示された空調対象空間の状態に対して、ユーザーによる修正が入力される。次に、ステップS5において、リモートコントローラ4は、表示された空調対象空間の状態に対する修正が行われたか否かを判断する。
In step S4, when it is necessary to correct the state of the air-conditioned space displayed on the
修正が行われたと判断した場合(ステップS5;Yes)、ステップS6において、リモートコントローラ4は、修正内容を示す修正データを制御装置3に対して出力する。一方、修正が行われていないと判断した場合(ステップS5;No)には、処理がステップS1に戻る。
When it is determined that the correction has been performed (step S5; Yes), in step S6, the
修正データが制御装置3に供給されると、ステップS7において、アルゴリズム修正部34は、記憶部35に記憶された検出アルゴリズムを読み出し、読み出した検出アルゴリズムを、供給された修正データに基づいて修正する。そして、処理がステップS1に戻る。
When the correction data is supplied to the
以上のように、本実施の形態1に係る空気調和機100は、対象物の温度を検出して温度データを取得する検出部24と、検出部24が接続され、温度データが入力される制御装置3とを有する室内機2と、対象物に関する情報を表示する表示部42と、ユーザーの操作に応じた操作信号を出力する操作部41とを有するリモートコントローラ4とを備えている。制御装置3は、温度データに基づき、対象物が人体である場合に、対象物をリモートコントローラ4の表示部42に表示させ、リモートコントローラ4の操作部41に対する操作によって表示部42の表示が修正された場合に、修正内容に応じて、表示部42の表示を更新する。
As described above, in the
これにより、対象物を検出するたびに、ユーザーの修正によってリモートコントローラ4に表示される対象物が適正化されることになる。そのため、最終的には、対象物に対するユーザーの修正機会を減らし、対象物をより正確に検出することができる。
As a result, each time the object is detected, the object displayed on the
以上、本発明の実施の形態1について説明したが、本発明は、上述した本発明の実施の形態1に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、本実施の形態1では、認識した空調対象空間内の状態をリモートコントローラ4に表示させるようにしたが、これはこの例に限られない。リモートコントローラ4に代えて、例えば携帯電話、スマートフォン、またはタブレット端末等の外部に設けられた情報端末を用いてもよい。なお、この場合には、情報端末と接続可能な通信機器を空気調和機100に設けることで、情報端末とのやりとりを行うことができる。
Although the first embodiment of the present invention has been described above, the present invention is not limited to the first embodiment of the present invention described above, and various modifications and applications are made without departing from the gist of the present invention. Is possible. For example, in the first embodiment, the recognized state in the air-conditioned space is displayed on the
また、検出された対象物を修正する場合には、操作部41を操作して、表示された一覧の中から適切な物体を選択するようにしたが、これに限られず、例えば、音声等を用いて選択してもよい。
Further, when correcting the detected object, the
さらに、例えば、制御装置3に対して季節を識別する機能を設け、制御装置3は、対象物を検出する際に用いられる検出アルゴリズムを季節に応じて変更してもよい。この場合、制御装置3は、例えばカレンダー機能を備えることにより、季節を識別することができる。そして、制御装置3は、季節を示す表示を表示部42に表示させる。
Further, for example, the
例えば、対象物である人体が、背景である窓の手前側に存在した場合について考える。
季節が冬の場合には、人体の温度は窓の温度よりも高い。そのため、人体の温度と窓の温度との温度差は、正の値となる。一方、季節が夏の場合には、人体の温度が窓の温度よりも低くなることがある。そのため、人体の温度と窓の温度との温度差は、負の値となる。
For example, consider the case where the human body, which is an object, exists in front of the window, which is the background.
When the season is winter, the temperature of the human body is higher than the temperature of the windows. Therefore, the temperature difference between the temperature of the human body and the temperature of the window is a positive value. On the other hand, when the season is summer, the temperature of the human body may be lower than the temperature of the window. Therefore, the temperature difference between the temperature of the human body and the temperature of the window becomes a negative value.
このような場合において、季節に応じて検出アルゴリズムを変更し、例えば、季節が夏であるときには、人体と窓との温度差が負の値である場合に対象物が人体であると判断するような検出アルゴリズムを用いることにより、窓の手前側に存在する人体の検出を正確に行うことができる。 In such a case, change the detection algorithm according to the season, for example, when the season is summer, if the temperature difference between the human body and the window is a negative value, it is determined that the object is the human body. By using a different detection algorithm, it is possible to accurately detect the human body existing in front of the window.
なお、季節の識別は、この例に限られず、例えば、外気温度センサにより外気温度を取得すること、Webおよびクラウド等の外部の機器から情報を取得すること、または、空気調和機100の運転モード等によって、季節を識別してもよい。
The seasonal identification is not limited to this example, and for example, the outside air temperature is acquired by the outside air temperature sensor, the information is acquired from an external device such as the Web or the cloud, or the operation mode of the
1 室外機、2 室内機、3 制御装置、4 リモートコントローラ、11 圧縮機、12 冷媒流路切替装置、13 室外側熱交換器、14 室外側送風機、21 絞り装置、22 室内側熱交換器、23 室内側送風機、24 検出部、31 熱画像作成部、32 空間状態認識部、33 表示制御部、34 アルゴリズム修正部、35 記憶部、41 操作部、42 表示部、100 空気調和機。 1 outdoor unit, 2 indoor unit, 3 control device, 4 remote controller, 11 compressor, 12 refrigerant flow path switching device, 13 outdoor heat exchanger, 14 outdoor blower, 21 throttle device, 22 indoor heat exchanger, 23 Indoor blower, 24 Detection unit, 31 Thermal image creation unit, 32 Spatial state recognition unit, 33 Display control unit, 34 Algorithm correction unit, 35 Storage unit, 41 Operation unit, 42 Display unit, 100 Air conditioner.
Claims (6)
前記検出部が接続され、前記温度データが入力される制御装置と
を有する室内機と、
前記対象物に関する情報を表示する表示部と、
ユーザーの操作に応じた操作信号を出力する操作部と
を有するリモートコントローラと
を備え、
前記制御装置は、
前記表示部に表示される表示画面上の領域を複数の領域に分割し、
分割された複数の前記領域毎に、前記対象物を検出する検出アルゴリズムを設定し、
前記温度データに基づき、前記検出アルゴリズムに従って前記対象物を検出し、前記対象物が人体である場合に、前記対象物を前記リモートコントローラの前記表示部に表示させ、
前記リモートコントローラの前記操作部に対する操作によって前記表示部の表示が修正された場合に、修正内容に応じて、分割された複数の前記領域のうち、前記表示部における修正位置に対応する領域の表示を更新するとともに、前記操作部からの修正内容を示す修正データに基づいて、前記検出アルゴリズムを修正し、
前記修正データに基づき、複数の前記領域毎に設定された複数の前記検出アルゴリズムのうち、前記修正データが示す修正箇所を含む領域に対応する検出アルゴリズムを修正する
ことを特徴とする空気調和機。 A detector that detects the temperature of an object and acquires temperature data,
An indoor unit having a control device to which the detection unit is connected and to which the temperature data is input, and
A display unit that displays information about the object and
It is equipped with a remote controller having an operation unit that outputs an operation signal according to the user's operation.
The control device is
The area on the display screen displayed on the display unit is divided into a plurality of areas.
A detection algorithm for detecting the object is set for each of the plurality of divided regions.
Based on the temperature data, the object is detected according to the detection algorithm, and when the object is a human body, the object is displayed on the display unit of the remote controller.
When the display of the display unit is modified by the operation of the remote controller with respect to the operation unit, the display of the area corresponding to the correction position in the display unit among the plurality of the divided areas according to the modification content. Is updated , and the detection algorithm is modified based on the modification data indicating the modification content from the operation unit.
Based on the modified data, among the plurality of detection algorithms set for each of the plurality of regions, the detection algorithm corresponding to the region including the modified portion indicated by the modified data is modified. Air conditioner.
前記対象物の位置が修正された場合に、修正前後の位置の差異に応じて、前記対象物の表示位置を補正するように前記表示を更新する
ことを特徴とする請求項1に記載の空気調和機。 The control device is
If the position of the object is corrected in accordance with the difference in position before and after modification, the air according to claim 1, wherein said updating the display so as to correct the display position of the object Harmony machine.
修正された前記対象物が物体である場合に、前記物体を前記表示部に表示させない
ことを特徴とする請求項1または2に記載の空気調和機。 The control device is
The air conditioner according to claim 1 or 2 , wherein when the modified object is an object, the object is not displayed on the display unit.
前記対象物を含む空調対象空間内の温度を検出して温度データを取得し、
前記制御装置は、
前記温度データに基づき、前記空調対象空間内の状態を認識するとともに、前記空調対象空間から前記対象物を検出し、
認識された前記空調対象空間内の状態、および検出された前記対象物を前記表示部に表示させる
ことを特徴とする請求項1〜3のいずれか一項に記載の空気調和機。 The detection unit
The temperature in the air-conditioned space including the object is detected and the temperature data is acquired.
The control device is
Based on the temperature data, the state in the air-conditioned space is recognized, and the object is detected from the air-conditioned space.
The air conditioner according to any one of claims 1 to 3 , wherein the recognized state in the air-conditioned space and the detected object are displayed on the display unit.
季節を判断する機能を有し、
季節に応じて前記検出アルゴリズムを変更し、
季節を示す表示を前記表示部に表示させる
ことを特徴とする請求項1に記載の空気調和機。 The control device is
It has a function to judge the season,
Change the detection algorithm according to the season,
The air conditioner according to claim 1 , wherein a display indicating the season is displayed on the display unit.
前記温度データに基づき、前記対象物を含む空調対象空間の熱画像データを作成する熱画像作成部と、
作成された前記熱画像データに基づき、前記空調対象空間内の状態を認識するとともに、前記空調対象空間内に存在する前記対象物を検出する空間状態認識部と、
前記修正データに基づき、前記検出アルゴリズムを修正するアルゴリズム修正部と、
前記空調対象空間内の状態の認識および前記対象物の検出の際に用いられる基準熱画像データ、および前記検出アルゴリズムを記憶する記憶部と
を有する
ことを特徴とする請求項1〜5のいずれか一項に記載の空気調和機。 The control device is
A thermal image creation unit that creates thermal image data of the air-conditioned space including the object based on the temperature data.
Based on the created thermal image data, a spatial state recognition unit that recognizes the state in the air-conditioned space and detects the object existing in the air-conditioned space.
An algorithm correction unit that corrects the detection algorithm based on the correction data,
Any of claims 1 to 5 , further comprising a reference thermal image data used for recognizing a state in the air-conditioned space and detecting the object, and a storage unit for storing the detection algorithm. The air conditioner described in item 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017086215A JP6920873B2 (en) | 2017-04-25 | 2017-04-25 | Air conditioner |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017086215A JP6920873B2 (en) | 2017-04-25 | 2017-04-25 | Air conditioner |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018185086A JP2018185086A (en) | 2018-11-22 |
| JP6920873B2 true JP6920873B2 (en) | 2021-08-18 |
Family
ID=64355704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017086215A Expired - Fee Related JP6920873B2 (en) | 2017-04-25 | 2017-04-25 | Air conditioner |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6920873B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020188771A1 (en) * | 2019-03-19 | 2020-09-24 | 三菱電機株式会社 | Air conditioner |
| CN110307622A (en) * | 2019-07-13 | 2019-10-08 | 郭建明 | A kind of air-conditioning remote control |
| EP4011401B1 (en) * | 2020-12-11 | 2024-08-07 | The Boeing Company | Ultraviolet light sanitizing system and method with occupancy detection |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3216280B2 (en) * | 1992-12-11 | 2001-10-09 | 松下電器産業株式会社 | Control equipment for air conditioners and applied equipment for image processing equipment |
| JP4827798B2 (en) * | 2007-06-13 | 2011-11-30 | 三菱電機株式会社 | Remote controller for air conditioning, air conditioner and air conditioning system |
| JP5484205B2 (en) * | 2010-06-09 | 2014-05-07 | 三菱電機株式会社 | Air conditioner |
| CN104896685B (en) * | 2014-03-03 | 2019-06-28 | 松下电器(美国)知识产权公司 | Sensing method, sensing system, and air-conditioning apparatus including them |
| US20160069582A1 (en) * | 2014-09-08 | 2016-03-10 | Trane International Inc. | HVAC System with Motion Sensor |
-
2017
- 2017-04-25 JP JP2017086215A patent/JP6920873B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018185086A (en) | 2018-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11521391B2 (en) | Refrigerator, server and method of controlling thereof | |
| CN107883541B (en) | Air conditioner control method and device | |
| US12061006B2 (en) | Air flow control apparatus | |
| JP6920873B2 (en) | Air conditioner | |
| US20180299158A1 (en) | Thermostat with occupancy detection via proxy | |
| WO2020035912A1 (en) | Air-conditioning device, control device, air-conditioning method, and program | |
| CN103968507A (en) | Air conditioner and air conditioner control method and system | |
| JP6828713B2 (en) | Mental and physical condition recognition system | |
| JP2009103328A (en) | Air conditioner | |
| JP2015031473A (en) | Air conditioner | |
| JP6298323B2 (en) | Temperature environment control system and apparatus | |
| CN103839358A (en) | Intelligent air conditioner and anti-theft monitoring method and device thereof | |
| JP2015137836A (en) | Air conditioner and its indoor unit | |
| JP5787842B2 (en) | Remote controller for air conditioning, indoor unit, and air conditioning system | |
| JP6625233B2 (en) | Controller, air conditioning system, and control method of air conditioner | |
| WO2020035911A1 (en) | Air-conditioning device, control device, air-conditioning method, and program | |
| WO2020035913A1 (en) | Air-conditioning device, control device, air-conditioning method, and program | |
| JP2021121906A (en) | Device control system | |
| US10890348B2 (en) | Air conditioning system | |
| JPWO2018211592A1 (en) | Air conditioning system | |
| KR20170023465A (en) | System and method for providing management information of refregerator | |
| KR20090084477A (en) | Security system of air conditioner and its control method | |
| JP7527363B2 (en) | Control system, facility equipment system, and facility equipment control method | |
| WO2019221244A1 (en) | Object sensing system, sensor system, air conditioning system, object sensing method, and program | |
| JP7199593B2 (en) | HUMAN DETECTION DEVICE, HUMAN DETECTION SYSTEM, EQUIPMENT SYSTEM, HUMAN DETECTION METHOD AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210727 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6920873 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |