Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6801028B2 - Rgb−dカメラを利用したリハビリ訓練システム及び方法 - Google Patents
[go: Go Back, main page]

JP6801028B2 - Rgb−dカメラを利用したリハビリ訓練システム及び方法 - Google Patents

Rgb−dカメラを利用したリハビリ訓練システム及び方法 Download PDF

Info

Publication number
JP6801028B2
JP6801028B2 JP2019028819A JP2019028819A JP6801028B2 JP 6801028 B2 JP6801028 B2 JP 6801028B2 JP 2019028819 A JP2019028819 A JP 2019028819A JP 2019028819 A JP2019028819 A JP 2019028819A JP 6801028 B2 JP6801028 B2 JP 6801028B2
Authority
JP
Japan
Prior art keywords
user
main control
control unit
program
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019028819A
Other languages
English (en)
Other versions
JP2020126568A (ja
Inventor
リュル キム,ジン
リュル キム,ジン
テ ウォン,ヨン
テ ウォン,ヨン
Original Assignee
ユインケア コーポレーション
ユインケア コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユインケア コーポレーション, ユインケア コーポレーション filed Critical ユインケア コーポレーション
Publication of JP2020126568A publication Critical patent/JP2020126568A/ja
Application granted granted Critical
Publication of JP6801028B2 publication Critical patent/JP6801028B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075Means for generating exercise programmes or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012Comparing movements or motion sequences with a registered reference
    • A63B2024/0015Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0068Comparison to target or threshold, previous performance or not real time comparison to other individuals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/62Measuring physiological parameters of the user posture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Rehabilitation Tools (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、RGB−Dカメラを利用したリハビリ訓練システム及び方法に関し、さらに詳しくは、ユーザーの前面に位置したRGB−Dカメラでユーザーを撮影し、撮影した映像でユーザーの関節部位ごとにポイントを対応して対向する位置にあるディスプレイ部に表示し、特定動作ごとに正しい姿勢である場合、位置する関節の位置ポイントを共に表示して、実際のユーザーの関節ポイントと一致するか否かを分析し、ユーザーが身体部位を動かして真似するようにすることで、リハビリ訓練が行われるようにするRGB−Dカメラを利用したリハビリ訓練システム及び方法に関する。
物理療法やリハビリ療法は、機械及び器具治療を利用してマッサージ、機能訓練、身体矯正運動及びリハビリ訓練を通じて、患者の動きと機能的な身体能力を最大限に回復、増進して、正常化できるようにする。
しかし、上述した物理療法またはリハビリ療法は、主に家庭よりは病院でリハビリまたは物理療法が行われるため、リハビリが必要な患者が治療のために不自由な体で必ず病院に訪問しなければならないという厄介な問題点がある。
また、従来の物理療法またはリハビリ療法は、機械や器具を利用した多少硬くて無味乾燥に行われ、患者に興味を提供できないため、患者のリハビリへの意欲が大きくなく、リハビリ速度が遅くて効率が大きくないという問題点がある。
韓国登録特許公報第10−1569848号公報
上述した問題を解決するために、本発明は、ユーザーの前面に位置したRGB−Dカメラでユーザーを撮影し、撮影した映像でユーザーの関節部位ごとにポイントを対応して対向する位置にあるディスプレイ部に表示し、特定動作ごとに正しい姿勢である場合、位置する関節の位置ポイントを共に表示して、実際のユーザーの関節ポイントと一致するか否かを分析し、ユーザーが身体部位を動かして真似するようにすることで、家庭でも容易にリハビリ訓練が行われるようにし、リハビリゲームコンテンツを提供して、ユーザーの身体動きによってゲームが行われながらゲームスコアを獲得させることで、リハビリの意欲を極大化してリハビリ訓練が行われるようにするRGB−Dカメラを利用したリハビリ訓練システム及び方法を提供することに目的がある。
上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法は、(a)リハビリセットトップボックスの主制御部が表示部を通じてデータベース部に格納されたプログラム画面をユーザーに提供する段階と、(b)前記主制御部がタッチ方式の前記表示部を通じて入力されるプログラム選択情報を受信する段階と、(c)前記リハビリセットトップボックスが前記表示部を通じてユーザー情報入力画面を提供し、ユーザーが前記情報入力画面に入力するユーザー情報を受信する段階と、(d)前記主制御部が前記ユーザー情報に基づいて、前記(b)段階でユーザーが選択した選択プログラムを実行するか否かを判断する段階と、(e)前記(d)段階における判断によって前記主制御部が以前プログラムまたは選択プログラムを実行する段階と、(f)前記主制御部が以前のプログラムまたは選択プログラムの実行によって実行プログラムを行うユーザーをRGB−Dカメラで撮影して分析したユーザーの遂行評価結果を提供する段階とを含むことを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法は、前記(d)段階において、前記主制御部は、(d−1)前記(c)段階でユーザー情報を受信した後、RGB−Dカメラを利用したリハビリ訓練システムを利用した履歴があるか否かを判断する段階と、(d−2)前記(d−1)段階で利用した履歴がある場合、以前の遂行プログラムがあるか否かを判断する段階と、(d−3)前記(d−2)段階で以前の遂行プログラムが存在する場合、当該以前の遂行プログラムを続けて行うか否かをユーザーから確認する段階とを含むことを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法は、前記(e)段階において、前記主制御部は、前記(d−1)段階でRGB−Dカメラを利用したリハビリ訓練システムを利用した履歴がないか、前記(d−2)段階で以前の遂行プログラムが存在しないか、または前記(d−3)段階で以前の遂行プログラムをユーザーが続けないことが確認された場合、前記(b)段階で受信した選択プログラムを実行することを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法は、前記(e)段階において、前記主制御部は、前記(d−3)段階で以前の遂行プログラムをユーザーが続けることを確認した場合、選択プログラムに先行して以前のプログラムを実行することを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法のうち、前記(b)段階で受信したユーザーの選択プログラムが動作評価プログラムである場合、前記(e)段階は、(e−1)前記のリハビリセットトップボックスの主制御部がRGB−Dカメラを利用したリハビリ訓練システムの位置をセットするか、前記表示部を通じてユーザーをガイドする段階と、(e−2)前記主制御部が訓練動作を行うための映像を前記動作DBでアップロードして前記表示部に提供する段階と、(e−3)前記RGB−Dカメラが前記訓練動作に沿って行うユーザーの動作を撮影する段階と、(e−4)前記主制御部が前記(e−3)段階で撮影されたユーザーの映像に関節部位ごとにポイントを対応して前記表示部にディスプレイする段階と、(e−5)前記主制御部が提供した映像と撮影した映像との動作が一致するか否かを判断し、設定された動作の維持時間を判断する段階と、(e−6)前記主制御部が動作が一致するか否か及び維持時間を満たすか否かによって合格及び不合格を決定し、前記合格及び不合格回数をカウントする段階と、(e−7)前記主制御部がカウントした合格及び不合格回数を集合し、当該回数とユーザーが行わなければならない遂行回数と一致するか否かを判断する段階と、(e−8)前記(e−7)段階で前記合格及び不合格回数と前記遂行回数とが一致しなければ、前記(e−5)段階後の段階を繰り返し行い、一致すれば、正確度及び完了度を含む結果レポートを提供する段階とを含むことを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法のうち、前記(b)段階で受信したユーザーの選択プログラムが健康訓練プログラムである場合、前記(e)段階は、(e−21)前記リハビリセットトップボックスの主制御部がユーザーの健康訓練プログラム選択を受信する段階と、(e−22)前記主制御部が前記リハビリ訓練コンテンツDBに格納された健康訓練プログラムに該当するサブプログラムを前記表示部を通じて提供し入力する健康訓練プログラムを受信する段階と、(e−23)前記主制御部が前記表示部に受信した健康訓練プログラムに関する注意事項を提供する段階と、(e−24)前記主制御部が健康訓練プログラムの注意事項についてユーザーから確認を受けたか否かを判断する段階と、(e−25)前記主制御部が前記注意事項の確認を受けた場合、前記RGB−Dカメラでユーザーを認識し、前記健康訓練プログラムを行うのに適する位置に補正する段階と、(e−26)前記主制御部が選択した健康訓練プログラムに対する運動動作を説明する段階と、(e−27)前記主制御部が運動動作の説明についてユーザーから確認を受けたか否かを判断する段階を行い、確認を受けた場合、ユーザーが行う運動動作を受信し分析して結果を提供する段階とを含むことを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法のうち、前記(e−24)段階において訓練プログラムの注意事項についてユーザーから確認を受けなかった場合、前記主制御部が前記(e−23)段階を繰り返し行い、前記(e−27)段階において訓練プログラムの運動動作の説明についてユーザーから確認を受けなかった場合、前記(e−26)段階を繰り返し行うことを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法のうち、前記(b)段階で受信したユーザーの選択プログラムが健康ゲームプログラムである場合、前記(e)段階は、(e−31)前記リハビリセットトップボックスの主制御部がユーザーの健康ゲームプログラム選択を受信する段階と、(e−32)前記主制御部320が前記(e−31)段階でユーザーの健康ゲームプログラム選択によって複数のゲームリストを提供する段階と、(e−33)前記主制御部が前記ゲームリストでユーザーが選択したゲームを受信する段階と、(e−34)前記主制御部が選択したゲームに対するゲーム難易度設定画面及びゲーム説明を提供する段階と、(e−35)前記主制御部が前記表示部を通じて入力されるゲーム開始信号によってゲーム設定を反映してゲームを実行する段階と、(e−36)前記主制御部がユーザーの実行ゲーム遂行による結果を算出して提供する段階を含むことを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、前記主制御部は、前記(e−35)段階前に前記表示部に向かい合って位置したユーザーを認識し、選択したゲーム遂行に適した姿勢または位置にユーザーの姿勢と位置を補正する段階が先行されることを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法のうち、前記(b)段階で受信したユーザーの選択プログラムが体力評価プログラム(SFT)である場合、前記(e)段階は、(e−41)前記主制御部が前記表示部に示範動作を提供する段階と、(e−42)前記主制御部が前記示範動作をユーザーが真似する時、必要な条件を提示する段階と、(e−43)前記RGB−Dカメラが前記示範動作を真似するユーザーの人体を撮影する段階と、(e−45)前記主制御部が前記示範動作を真似したユーザーの人体撮影映像を分析して結果を集合する段階と、(e−46)前記主制御部が集合された結果として身体機能に該当する下半身筋力、上半身筋力、膝関節柔軟性は、肩関節柔軟性、動的バランス、及び持久力のうち前記示範動作が及ぼすいずれか一つを評価する段階と、(e−47)前記主制御部が評価結果図表を提供する段階とを含むことを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法のうち、前記(e−45)段階前に(e−44)前記主制御部が前記(S543)段階で前記RGB−Dカメラが撮影した人体関節認識を通じて評価動作を認識し、それに伴う時間、角度、回数を測定するようにユーザーの関節部位ごとにドット(DOT)を対応させて当該ドットを連結する段階をさらに含むことを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法のうち、(e−48)前記主制御部が前記(e−47)段階後に、前記評価結果図表に基づいて、年齢と身体部位によってテーブル形式で格納された運動データベースにおいて、下半身筋力、上半身筋力、膝関節柔軟性、肩関節柔軟性、動的バランス、及び持久力機能のうちユーザーに不足した機能を強化するための運動を推薦する段階をさらに含むことを特徴とする。
また、上述した目的を達成するための本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、前記主制御部は、前記評価結果図表において、男女健康体力年齢をそれぞれ、「Y(健康体力年齢:男)=45.5+7.4×X−2.6×X」と「Y(健康体力年齢:女)=120+0.1×X−5×X」で計算することを特徴とする。
本発明によるRGB−Dカメラを利用したリハビリ訓練システム及び方法は、家庭でもリハビリを可能にすることで、リハビリが必要な患者が治療のために不自由な体で必ず病院に訪問しなければならないという煩わしさが解消可能な効果がある。
また、本発明によるRGB−Dカメラを利用したリハビリ訓練システム及び方法は、リハビリゲームコンテンツを提供して、ユーザーの身体の動きによってゲームが行われながらゲームスコアを獲得させることで、リハビリの意欲を極大化してリハビリ訓練が行われるようにすることで、リハビリ効率を向上させることができる効果がある。
本発明によるRGB−Dカメラを利用したリハビリ訓練システム装置の2つの実施例を示した図面である。 本発明によるRGB−Dカメラを利用したリハビリ訓練システムのリハビリセットトップボックスの詳細ブロック図である。 本発明によるRGB−Dカメラを利用したリハビリ訓練方法のフローチャートである。 本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、選択プログラムを行うか否かを判断する詳細フローチャートである。 本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、動作評価プログラムを行う詳細フローチャートである。 本発明によるRGB−Dカメラを利用したリハビリ訓練方法によってユーザーが実際の動作評価プログラムを行っている状態図面である。 動作の一致及び不一致を青色と赤色でグラフ上に表示した図面である。 本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、健康訓練プログラムを行う詳細フローチャートである。 本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、健康ゲームプログラムを行う詳細フローチャートである。 本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、体力評価プログラム(SFT)を行うための詳細フローチャートである。 本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、体力評価プログラム(SFT)で提供する示範動作の一例である。 本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、体力評価プログラム(SFT)を行った後の評価結果図表である。 健康体力年齢を男女に区分して算出することを説明するための図表である。 身体機能年齢を男女に区分して算出することを説明するための図表である。 本発明によるRGB−Dカメラを利用したリハビリ訓練システムにおいて、推薦運動をテーブル方式でデータベース化した構造を示した図面である。
本発明は、多様な変更を加えることができ、様々な実施例を有することができるので、特定の実施例を図面を参照して詳しく説明する。しかし、これは、本発明を特定の実施形態に限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物または代替物を含むと理解されなければならない。各図面を説明しながら、類似した参照符号を類似した構成要素に使用した。
第1、第2、A、Bなどの用語は、多様な構成要素を説明することに使用されることができるが、上記構成要素は上記用語によって限定されてはならない。上記用語は、1つの構成要素を他に構成要素から区別する目的のみで使用される。例えば、本発明の権利範囲を逸脱せず、第1構成要素は第2構成要素として命名されることができ、同様に第2構成要素も第1構成要素として命名されることができる。及び/またはという用語は、複数の関連した記載項目の組み合わせまたは複数の関連した記載項目のうちいずれかの項目を含む。
ある構成要素が他の構成要素に「連結されて」いるか「接続されて」いると言及される場合は、その他の構成要素に直接的に連結されているかまたは接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。一方、ある構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いると言及された場合は、中間に他の構成要素が存在しないと理解されるべきである。
本出願で使用した用語は、単に特定の実施例を説明するために使用されたもので、本発明を限定する意図ではない。単数の表現は、文脈上明らかに異なって意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものであって、1つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除しないと理解されるべきである。
特に定義しない限り、技術的であるか科学的な用語を含み、ここで使用される全ての用語は、本発明が属する技術分野で通常の知識を持った者によって一般的に理解されるものと同一の意味を有する。一般的に使用される辞書に定義されているような用語は、関連技術の文脈上持つ意味と一致する意味を持つと解釈されなければならず、本出願で明らかに定義しない限り、理想的であるかまたは過度に形式的な意味で解釈されない。
明細書及び請求の範囲全体において、ある部分がある構成要素が含むというと、これは特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことができることを意味する。
以下では、本発明による好ましい実施例を添付の図面を参照して詳しく説明する。
図1は、本発明によるRGB−Dカメラを利用したリハビリ訓練システム装置を示した図面である。
図1aに示すように、本発明によるRGB−Dカメラを利用したリハビリ訓練システムは、移動式スタンド置き台100、RGB−D200、リハビリセットトップボックス300、及び表示部400を含む。
参考として、図1aには本発明によるRGB−Dカメラを利用したリハビリ訓練システム装置の前記RGB−Dカメラ200とリハビリセットトップボックス300が分離して示
されているが、図1bに示すように、前記RGB−Dカメラ200とリハビリセットトップボックス300を一体型で構成してもよい。
さらには、本発明によるRGB−Dカメラを利用したリハビリ訓練システム装置は、これに限らず、前記RGB−Dカメラ200とリハビリセットトップボックス300が前記表示部400に含まれてオールインワンで構成されてもよい。
前記移動式スタンド置き台100は、内部にパルス信号によって回転するステッピングモータなどを含み極性が異なるパルス信号の印加で上下に移動可能であり、ユーザーが本発明によるRGB−Dカメラを利用したリハビリ訓練システム装置前に立ち向かうと、当該ユーザーの身長に合わせて上下に移動して適切な高さでセットされる。
前記RGB−Dカメラ200は、前記リハビリセットトップボックス300、または表示部400の上部に形成され、対向しているユーザーを撮影する。
前記リハビリセットトップボックス300は、前記RGB−Dカメラ200が撮影した映像に対する信号処理を通じてユーザーの動作と格納された標準動作との一致度を導出して現在のユーザーの状態を把握し、現在のユーザーの状態に合ったリハビリ運動を提供したりゲームを提供する。
前記表示部400は、前記RGB−Dカメラ200が撮影した映像及び前記リハビリセットトップボックス300が提供するゲーム画面などをディスプレイする。
図2を参照して、本発明によるRGB−Dカメラを利用したリハビリ訓練システムのリハビリセットトップボックス300についてより具体的に説明する。
図2に示すように、本発明によるRGB−Dカメラを利用したリハビリ訓練システムのリハビリセットトップボックス300は、映像受信部310、主制御部320、置き台制御部330、通信部340、データベース部350を含む。
前記映像受信部310は、前記RGB−Dカメラ200と連結されて、RGB−Dカメラ200で深さを考慮して撮影したユーザーの3次元映像を受信する。
前記主制御部320は、前記映像受信部310が受信したユーザーの3次元映像に対して関節部分を検出し、検出された関節部位にポイントを対応させる。
前記置き台制御部330は、前記移動式スタンド置き台100と連結され、前記RGR−Dカメラ200と向かい合うユーザーの身長に合わせて前記移動式スタンド置き台100を上下に移動して適切な高さでセットする。
前記通信部340は、インターネットネットワークと連結され、本発明によるRGB−Dカメラを利用したリハビリ訓練システムによるリハビリ訓練結果または評価結果をユーザーが所持した端末機または病院サーバーなどに送信して、ユーザーの主治医などに提供可能にする。
前記データベース部350は、ユーザー情報DB351、動作分析評価DB352、リハビリ訓練コンテンツDB353、及びリハビリゲームコンテンツDB354を含む。
前記ユーザー情報DB351は、本発明によるRGB−Dカメラを利用したリハビリ訓練システムを利用するユーザーの全ての情報を格納し管理する。
前記動作分析評価DB352は、ユーザーに提供して真似できるようにする上肢、下肢、バランスなどの総30種余りの基本動作が格納されており、ユーザーの動作遂行による分析及び評価結果を格納し管理する。
前記リハビリ訓練コンテンツDB353は、Shoulder、Cervical、Lumbar、Hip、Knee、Ankle、Elbow、Wristなどの全身に対応する300種余りの専門リハビリ訓練コンテンツを格納し管理する。
前記リハビリゲームコンテンツDB354は、多様なリハビリ治療に活用できるように上肢、下肢、全身、バランス、ADL、認知などの多様なリハビリに対応する医学的にデザインされた複数のFull3Dリハビリゲーム訓練コンテンツを格納し管理する。
本発明による他の実施例として、上述したような構成を有するRGB−Dカメラを利用したリハビリ訓練システムによるリハビリ訓練方法について、図3を参照して説明する。
先ず、本発明によるRGB−Dカメラを利用したリハビリ訓練システムにユーザーが立ち向かうと、前記リハビリセットトップボックス300の主制御部320は、前記表示部400を通じて前記データベース部350に格納されたプログラム画面をユーザーに提供する段階を行う(S100)。
さらに具体的に、前記主制御部320は、前記表示部400に動作評価プログラム、健康訓練プログラム、健康ゲームプログラムのいずれか1つのプログラムを選択できるように、プログラム画面をユーザーに提供する。
前記主制御部320は、タッチ方式の前記表示部400を通じて入力されるユーザーのプログラム選択情報を受信する段階を行う(S200)。
一方、前記ユーザーのプログラム選択は、タッチ方式に限らず、リモコンなどの入力装置によって選択されてもよい。
前記リハビリセットトップボックス300は、前記表示部400を通じてユーザー情報入力画面を提供し、ユーザーが前記情報入力画面に入力するユーザー情報を受信する段階を行う(S300)。
前記リハビリセットトップボックス300の主制御部320は、前記(S200)段階でユーザーが選択したプログラムを行うか否かを判断する段階を行う(S400)。
前記ユーザーが選択したプログラムを行うか否かを判断する(S400)段階について、図4を参照してさらに詳しく説明する。
先ず、前記リハビリセットトップボックス300の主制御部320は、前記(S300)段階で受信したユーザー情報に基づいて、過去に本発明によるRGB−Dカメラを利用したリハビリ訓練システムを利用した履歴があるか否かを判断する段階を行う(S410)。
前記(S410)段階において、本発明によるRGB−Dカメラを利用したリハビリ訓練システムを利用した履歴がない場合、前記主制御部320は、前記(S200)段階でユーザーが選択したプログラムを行う段階(S500b)が進行されるようにする。
本発明によるRGB−Dカメラを利用したリハビリ訓練システムを利用した履歴がある場合、前記主制御部320は、以前の遂行プログラムが存在するか否かを判断する段階を行う(S420)。
前記(S420)段階において、前記主制御部320は、以前の遂行プログラムが存在しない場合、前記(S200)段階でユーザーが選択したプログラムを行う段階(S500b)が進行されるようにする。
前記主制御部320は、以前の遂行プログラムが存在する場合、当該以前の遂行プログラムを続けて行うか否かを判断する段階を行う(S430)。
前記(S430)段階において、前記主制御部320は、ユーザーが以前の遂行プログラムを続けて行う場合、以前のプログラムを行い、ユーザーが以前の遂行プログラムを続けて行わない場合、前記(S200)段階でユーザーが選択したプログラムを行う段階(S500b)が進行されるようにする。
上述したように、前記(S400)段階で選択プログラムを行うか否かによって、前記リサイクルセットトップボックス300の主制御部320は、以前のプログラムを行う段階(S500a)を進行するか、または前記(S200)段階でユーザーが選択したプログラムを行う段階(S500b)を進行する。
前記リハビリセットトップボックス300の主制御部320は、前記以前のプログラムを行う段階(S500a)、または選択したプログラムを行う段階(S500b)の進行によるユーザーを前記RGB−Dカメラで撮影して分析することで、遂行評価結果を前記表示部400に提供するか、前記通信部340を通じてユーザーの端末機または病院のサーバーなどに提供する段階を行う(S600)。
また、前記(S600)段階後、前記主制御部320は、前記遂行評価結果と前記(S300)段階で受信したユーザー情報のうち、年齢情報を基に前記データベース350に格納された複数の運動のうち、当該ユーザーに適切な運動を推薦する段階をさらに行うこともできる。
さらに具体的に、前記データベース350は、図15に示すように、縦方向の年齢と横方向の身体部位を配置し、これらの組み合わせ位置ごとに異なるレベルまたは種類の推薦運動をテーブル形式で格納している。
このとき、前記主制御部320は、前記遂行評価結果と年齢情報を基に運動を推薦するが、例えば、遂行評価の結果、下半身筋力が弱く、ユーザー情報のうち年齢情報が70代の場合、前記主制御部320は、右側尻関節運動、下半身基本運動、両側膝強化運動など、下半身を強化することができる運動を推薦可能なことが好ましい。
次に、前記(S200)段階において、ユーザーが動作評価プログラム、健康訓練プログラム、健康ゲームプログラムのうち、動作評価プログラムを選択した場合、選択した動作評価プログラムを行なう段階(S510b)について図5を参照して詳しく説明する。
前記リハビリセットトップボックス300の主制御部320は、ユーザーが前記表示部400と正面に位置すると、前記RGB−Dカメラ200で撮影されたユーザーを認識し位置を把握して、前記移動式スタッド置き台を制御することでプログラムを行うのに適切な位置にシステムをセットするか、ユーザーをガイドする段階を行う(S511b)。
ユーザーが前記(S511b)段階を通じて前記動作評価プログラムを行うための適切な場所に位置した場合、正しい訓練動作を行うための前記動作DB352に格納された教育映像を提供する段階を行う(S512b)。
前記動作DB352には、太ももが膝と水平になるまで座ってから立つことを15秒間繰り返す下半身筋力評価動作、肘を曲げてから最大限に伸ばすことを15秒間繰り返す上半身筋力評価動作、最大限膝を伸ばした状態でちんと音がするまで維持し、膝を最大限曲げてちんと音がするまで維持する股関節柔軟性評価動作、腕を外側に最大限回したままちんと音がするまで維持し、腕を内側に最大限回したままちんと音がするまで維持する肩関節柔軟性評価動作、2.4mほど先に行ってから戻る動的バランス評価動作、及び最大限足踏みを30秒間して持久力評価動作が格納されている。
前記(S512b)段階で訓練動作を提供した後、訓練動作を行うユーザーの動作を前記RGB−Dカメラ200が撮影する段階を行う(S513b)。
前記主制御部320は、前記RGB−Dカメラ200が撮影した映像で、ユーザーの関節部位ごとにポイントを対応させて対向する位置にある表示部にディスプレイする段階を行う(S514b)。
上述したように、前記(S514b)段階でユーザーの関節部位ごとにポイントを対応させることは、ユーザーの訓練動作が正確に行われるようにし、前記主制御部320がユーザーの訓練動作をより正確に分析できるようにするためである。
前記リハビリセットトップボックス300の主制御部320は、動作が一致するか否か及び維持時間を判断する段階を行う(S515b)。
つまり、前記(S515b)段階において、主制御部320は、前記(S512b)段階で提供した提供動作と、前記(S513b)段階でユーザーが行った遂行動作が一致するか否か及び/または設定した維持時間を満たすか否かによって遂行動作の合格可否を判断する。
つまり、前記主制御部320は、動作一致度(agreement of movement)またはソフトウェアを通じて設定された維持時間を基に遂行動作の合格可否を判断する。
前記(S515b)段階において、前記主制御部320は、前記遂行動作が動作と一致するか否か及び/または設定した維持時間を満した場合、合格としてカウントする段階を行い(S516b)、動作と一致するか否か及び/または設定した維持時間を満さなかった場合、不合格としてカウントする段階を行う(S516b’)。
例えば、図6に示すように、肩を90°(Shoulder abduction to 90°)外転する訓練動作1を行う場合、前記主制御部320は、下記の[数1]を用いて設定された目標関節角度90°によって測定された肩関節の角度が0°の場合に一致度を0%、90°の場合は一致度を100%として計算する。
また他の例として、尻を35°(Hip abduction to 35°)に外転する訓練動作2を行う場合、前記主制御部320は、前記[数1]を用いて一致度を計算し、(agreement>80%)を適用して動作の合格可否を決定する。
参考として、このような設定は、ソフトウェア開発に参加した医師らの判断に基づいて設定された。
前記主制御部320は、最初の条件(一致度)を満たすと同時に設定された2番目の条件である維持時間(プログラム内の運動遂行設定値、default=2sec)の間動作を維持するかによって合格可否を判別する。
図7に示すように、訓練結果レポートには動作一致度によるグラフを表示し、一致動作の場合に青色のグラフを、不一致の場合は赤色のグラフで示す。
前記主制御部320は、前記合格カウント段階(S516b)と前記不合格カウント段階(S516b’)で全てのカウント回数を集合する段階を行い(S517b)、集合したカウント回数がユーザーが行なわなければならない遂行回数と一致するか否かを判断する段階を行い(S518b)、一致した場合は、結果レポートを提供する段階を行う(S519b)。
前記(S518b)段階において、カウント回数がユーザーが行わなければならない遂行回数と一致しない場合、前記主制御部320は、一致するまで前記(S515b)段階を繰り返し行う。
一方、前記(S519b)段階において、前記主制御部320は、前記結果レポートに合格動作回数を全体動作回数(Total repetition)と比較して配分率で表し、正確度を「Accuracy」[performance metrics:uincare_protocol_result_Accuracy]と結果レポートに表記し、下記の[数2]を利用して計算する。
また、前記主制御部320は、合格/不合格動作回数の総計を通じてユーザーの動作完了度を「Completion」[performance metrics:uincare_protocol_result_Completion]と表記し、下記の[数3]を利用して計算する。
前記(S519b)段階後に、前記主制御部320は、前記結果レポートによって運動を推薦する段階をさらに含むことができる。
次に、前記(S200)段階において、ユーザーが動作評価プログラム、健康訓練プログラム、健康ゲームプログラムのうち、健康訓練プログラムを選択した場合、選択した健康訓練プログラムを行う段階(S520b)について図8を参考して詳しく説明する。
一方、以下の説明において、上述した動作評価プログラムを行う過程で重複する内容に対する説明は可能な限り省略する。
前記リハビリセットトップボックス300の主制御部320は、ユーザーの健康訓練プログラム選択を受信する段階を行う(S521b)。
前記主制御部320は、前記リハビリ訓練コンテンツDB353に格納された筋力、柔軟性、バランス、及び持久力の健康訓練プログラムに対する選択画面を前記表示部400に提供し、ユーザーがタッチ方式で前記表示部400を通じて入力する選択訓練プログラムを受信する段階を行う(S522b)。
前記主制御部320は、前記表示部400に選択した健康訓練プログラムに対する注意事項を提供する段階を行う(S523b)。
その後、前記主制御部320は、健康訓練プログラムの注意事項についてユーザーから確認を受けた否かを判断する段階(S524b)を行い、確認を受けた場合、前記主制御部320は、前記表示部400に向かい合って位置したユーザーを認識し、位置を補正する段階を行う(S525b)。
前記(S524b)段階において、訓練プログラムの注意事項についてユーザーから確認を受けなかった場合、前記主制御部320は、注意事項を提供する前記(S523b)段階を繰り返し行う。
前記主制御部320は、選択した健康訓練プログラムに対する運動動作を説明する段階を行う(S526b)。
その後、前記主制御部320は、訓練プログラムの運動動作の説明についてユーザーから確認を受けたか否かを判断する段階(S527b)を行い、確認を受けた場合、前記主制御部320は、ユーザーが行う運動動作を受信して分析し、結果を提供する段階を行う(S528b)。
前記(S527b)段階において、訓練プログラムの運動動作の説明についてユーザーから確認を受けなかった場合、前記主制御部320は、運動動作を説明する前記(S526b)段階を繰り返し行う。
最後に、前記(S200)段階において、ユーザーが動作評価プログラム、健康訓練プログラム、健康ゲームプログラムのうち、健康ゲームプログラムを選択した場合、選択した健康ゲームプログラムを行う段階(S530b)について図9を参考して詳しく説明する。
前記リハビリセットトップボックス300の主制御部320は、ユーザーの健康ゲームプログラム選択を受信する段階を行う(S531b)。
前記主制御部320は、前記(S531)段階でユーザーの健康ゲームプログラムの選択によって複数のゲームリストを提供する段階を行う(S532b)。
さらに詳しくは、前記主制御部320は、健康訓練ゲーム(レース、あっちに行け、足踏み、プショプショ、キャッチキャッチなど)と認知ゲーム(画像記憶ゲーム、組み合わせ、パターン記憶ゲーム、素早くタッチ、ボール追いかけなど)を提供する。
前記主制御部320は、提供したゲームリストでユーザーが選択したゲームを受信する段階を行い(S533b)、ユーザーに選択したゲームに対するゲーム難易度の設定画面及びゲーム説明を提供する段階を行う(S534b)。
前記主制御部320は、前記表示部400を通じて入力されるゲーム開始信号によって、前記ゲーム設定を反映してゲームを実行する段階を行う(S535b)。
このとき、前記主制御部320は、前記ゲーム実行段階(S535b)前に前記表示部400に向かい合って位置したユーザーを認識し、位置または姿勢を補正する段階が先行されることができる。
前記ユーザーのゲーム完了後、運動時間、ゲームスコアの成功率など、ゲーム結果を提供する段階を行う(S536b)。
さらに、前記(S200)段階で高齢者を対象とする体力評価プログラム(SFT)を行う段階(S540b)について、図10及び11を参照してさらに詳しく説明する。
図10は、本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、体力評価プログラム(SFT)遂行の詳細フローチャートである。
図11は、本発明によるRGB−Dカメラを利用したリハビリ訓練方法において、体力評価プログラム(SFT)で提供する示範動作の一例である。
前記主制御部320は、前記表示部400に高齢者の6つの機能、つまり、下半身筋力、上半身筋力、膝関節柔軟性、肩関節柔軟性、動的バランス、及び持久力を評価することができる示範動作を提供する段階を行う(S541b)。
同時に、前記主制御部320は、前記表示部に前記示範動作を真似するとき、必要な条件を提示する段階を行う(S542b)。
前記RGB−Dカメラ200は、条件によって前記示範動作を真似するユーザーの人体を撮影する段階を行う(S543b)。
前記(S543)段階において、前記RGB−Dカメラ200が撮影した人体関節認識を通じて評価動作を認識し、それによる時間、角度、回数などを容易に測定できるように、前記主制御部320は、撮影した映像でユーザーの関節部位ごとにドット(DOT)を対応させて当該ドットを連結する段階を行う(S544b)。
前記主制御部320は、ユーザーの前記示範動作を真似する結果を集合する段階を行い(S545b)、前記示範動作が及ぼす6つの身体機能のうちいずれか一つを評価する段階を行う(S546b)。
例えば、図11の左側に示すように、30秒間椅子から立っていることを示範動作として提供し(S541b)、両側の膝関節が座った姿勢で100°以下に立った姿勢から150°以上に条件を提示し(S542b)、条件によって示範動作を真似するユーザーを前記RGB−Dカメラ200が撮影した(S543b)映像を受信して、30秒間座ってから立つ回数をカウントした結果を集合(S545b)した後、前記示範動作によって影響を与える6つの身体機能のうちLower strengthを評価する段階を行う(S546)。
同様に、図11の右側に示した腕回転を示範動作として提供し、肘を伸ばすときに140°以上に伸ばし、肘を曲げるときに20°以下までと条件を提示し、30秒間腕の回転数をカウントした結果を集合した後、腕回転動作によって影響を与える6つの身体機能のうちUpper strengthを評価する段階を行う。
前記評価段階(S546b)後、図12に示すように、評価結果図表を提供する段階を行う(S547b)。
前記主制御部320は、図12に示した評価結果図表で健康体力年齢を図13に示すように男女と区分し、下記の[数4]のX、Xに下肢筋力(Lower Strength)、動的バランス(up and go tet)の測定値が入力として使用されて、それによる年齢結果を計算することが好ましい。
前記主制御部320は、図12に示した評価結果図表において、6つの機能に対する各年齢を男女に区分し、図14の数式(Equation)に測定値を入力して、それによる百分率(%)に換算して表示(ex>20歳−>100%、85歳−>50%)することが好ましい。
前記主制御部320は、図12に示した前記評価結果図表に基づいて6つの機能、つまり、下半身筋力、上半身筋力、膝関節柔軟性、肩関節柔軟性、動的バランス、及び持久力のうち、ユーザーに必要な運動を図15のようにテーブル方式でデータベース化して格納された運動を推薦する段階を行う(S548b)。
つまり、前記主制御部320は、縦方向の年齢と横方向の身体部位を配置し、これらの組み合わせた位置ごとに異なるレベルまたは種類の推薦運動がテーブル形式で格納されたデータベースから選択して推薦する。
以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を持った者であれば、本発明の本質的な特性から逸脱しない範囲で多様な修正及び変形が可能である。従って、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施例によって本発明の技術思想の範囲が限定されるわけではない。本発明の保護範囲は、下記の請求の範囲によって解釈されるべきであり、それと同等の範囲内にある全ての技術思想は、本発明の権利範囲に含まれると解釈されなければならない。
100:移動式スタンド置き台
200:RGB−Dカメラ
300:リハビリセットトップボックス
310:映像受信部
320:主制御部
330:置き台制御部
340:通信部
350:データベース部
400:表示部

Claims (9)

  1. (a)リハビリセットトップボックスの主制御部が表示部を通じてデータベース部に格納されたプログラム画面をユーザーに提供する段階と、
    (b)前記主制御部がタッチ方式の前記表示部を通じて入力されるプログラム選択情報を受信する段階と、
    (c)前記リハビリセットトップボックスが前記表示部を通じてユーザー情報入力画面を提供し、ユーザーが前記情報入力画面に入力するユーザー情報を受信する段階と、
    (d)前記主制御部が前記ユーザー情報に基づいて、前記(b)段階でユーザーが選択した選択プログラムを実行するか否かを判断する段階と、
    (e)前記(d)段階における判断によって前記主制御部が以前のプログラムまたは選択プログラムを実行する段階と、
    (f)前記主制御部が以前のプログラムまたは選択プログラムの実行によって実行プログラムを行うユーザーをRGB−Dカメラで撮影して分析したユーザーの遂行評価結果を提供する段階とを含み、
    前記(b)段階で受信したユーザーの選択プログラムが体力評価プログラム(SFT)である場合、前記(e)段階は、
    (e−41)前記主制御部が前記表示部に示範動作を提供する段階と、
    (e−42)前記主制御部が前記示範動作をユーザーが真似する時、必要な条件を提示する段階と、
    (e−43)前記RGB−Dカメラが前記示範動作を真似するユーザーの人体を撮影する段階と、
    (e−45)前記主制御部が前記示範動作を真似したユーザーの人体撮影映像を分析して結果を集合する段階と、
    (e−46)前記主制御部が集合された結果として身体機能に該当する下半身筋力、上半身筋力、膝関節柔軟性、肩関節柔軟性、動的バランス、及び持久力のうち前記示範動作が及ぼすいずれか一つを評価する段階と、
    (e−47)前記主制御部が評価結果図表を提供する段階とを含み、
    前記(e−45)段階前に
    (e−44)前記主制御部が前記(S543)段階で前記RGB−Dカメラが撮影した人体関節認識を通じて評価動作を認識し、それに伴う時間、角度、回数を測定するようにユーザーの関節部位ごとにドット(DOT)を対応させて前記ドットを連結する段階をさらに含み、
    (e−48)前記主制御部が前記(e−47)段階後に、前記評価結果図表に基づいて、年齢と身体部位によってテーブル形式で格納された運動データベースにおいて、下半身筋力、上半身筋力、膝関節柔軟性、肩関節柔軟性、動的バランス、及び持久力機能のうちユーザーに不足した機能を強化するための運動を推薦する段階をさらに含み、
    前記主制御部は、
    前記評価結果図表において、男女健康体力年齢をそれぞれ
    「Y(健康体力年齢:男)=45.5+7.4×X −2.6×X
    「Y(健康体力年齢:女)=120+0.1×X −5×X 」で計算し、前記X は動的バランスの測定値、前記X は下肢筋力測定値であるRGB−Dカメラを利用したリハビリ訓練方法。
  2. 前記(d)段階において、
    前記主制御部は、
    (d−1)前記(c)段階でユーザー情報を受信した後、RGB−Dカメラを利用したリハビリ訓練システムを利用した履歴があるか否かを判断する段階と、
    (d−2)前記(d−1)段階で利用した履歴がある場合、以前の遂行プログラムが存在するか否かを判断する段階と、
    (d−3)前記(d−2)段階で以前の遂行プログラムが存在する場合、前記以前の遂行プログラムを続けて行うか否かをユーザーから確認する段階とを含む請求項1に記載のRGB−Dカメラを利用したリハビリ訓練方法。
  3. 前記(e)段階において、前記主制御部は、
    前記(d−1)段階でRGB−Dカメラを利用したリハビリ訓練システムを利用した履歴がないか、前記(d−2)段階で以前の遂行プログラムが存在しないか、または前記(d−3)段階で以前の遂行プログラムをユーザーが続けないことが確認された場合、前記(b)段階で受信した選択プログラムを実行する請求項2に記載のRGB−Dカメラを利用したリハビリ訓練方法。
  4. 前記(e)段階において、前記主制御部は、
    前記(d−3)段階で以前の遂行プログラムをユーザーが続けることを確認した場合、選択プログラムに先行して以前のプログラムを実行する請求項2に記載のRGB−Dカメラを利用したリハビリ訓練方法。
  5. 前記(b)段階で受信したユーザーの選択プログラムが動作評価プログラムである場合、
    前記(e)段階は、
    (e−1)前記リハビリセットトップボックスの前記主制御部がRGB−Dカメラを利用したリハビリ訓練システムの位置をセットするか、前記表示部を通じてユーザーをガイドする段階と、
    (e−2)前記主制御部が訓練動作を行うための映像を前記動作DBでアップロードして前記表示部に提供する段階と、
    (e−3)前記RGB−Dカメラが前記訓練動作に沿って行うユーザーの動作を撮影する段階と、
    (e−4)前記主制御部が前記(e−3)段階で撮影されたユーザーの映像に関節部位ごとにポイントを対応して前記表示部にディスプレイする段階と、
    (e−5)前記主制御部が提供した映像と撮影した映像との動作が一致するか否かを判断し、設定された動作の維持時間を判断する段階と、
    (e−6)前記主制御部が動作が一致するか否か及び維持時間を満たすか否かによって合格及び不合格を決定し、前記合格及び不合格回数をカウントする段階と、
    (e−7)前記主制御部がカウントした合格及び不合格回数を集合し、前記回数とユーザーが行わなかればならない遂行回数と一致するか否かを判断する段階と、
    (e−8)前記(e−7)段階で前記合格及び不合格回数と前記遂行回数とが一致しなければ、前記(e−5)段階後の段階を繰り返し行い、一致すれば、正確度及び完了度を含む結果レポートを提供する段階とを含む請求項3に記載のRGB−Dカメラを利用したリハビリ訓練方法。
  6. 前記(b)段階で受信したユーザーの選択プログラムが健康訓練プログラムである場合、
    前記(e)段階は、
    (e−21)前記リハビリセットトップボックスの主制御部がユーザーの健康訓練プログラム選択を受信する段階と、
    (e−22)前記主制御部が前記リハビリ訓練コンテンツDBに格納された健康訓練プログラムに該当するサブプログラムを前記表示部を通じて提供し入力する健康訓練プログラムを受信する段階と、
    (e−23)前記主制御部が前記表示部に受信した健康訓練プログラムに関する注意事項を提供する段階と、
    (e−24)前記主制御部が健康訓練プログラムの注意事項についてユーザーから確認を受けたか否かを判断する段階と、
    (e−25)前記主制御部が前記注意事項の確認を受けた場合、前記RGB−Dカメラでユーザーを認識し、前記健康訓練プログラムを行うのに適する位置に補正する段階と、
    (e−26)前記主制御部が選択した健康訓練プログラムに対する運動動作を説明する段階と、
    (e−27)前記主制御部が運動動作の説明についてユーザーから確認を受けたか否かを判断する段階を行い、確認を受けた場合、ユーザーが行う運動動作を受信し分析して結果を提供する段階とを含む請求項3に記載のRGB−Dカメラを利用したリハビリ訓練方法。
  7. 前記(e−24)段階において、訓練プログラムの注意事項についてユーザーから確認を受けなかった場合、前記主制御部が前記(e−23)段階を繰り返し行い、前記(e−27)段階において訓練プログラムの運動動作の説明についてユーザーから確認を受けなかった場合、前記(e−26)段階を繰り返し行う請求項6に記載のRGB−Dカメラを利用したリハビリ訓練方法。
  8. 前記(b)段階で受信したユーザーの選択プログラムが健康ゲームプログラムである場合、
    前記(e)段階は、
    (e−31)前記リハビリセットトップボックスの主制御部がユーザーの健康ゲームプログラム選択を受信する段階と、
    (e−32)前記主制御部320が前記(e−31)段階でユーザーの健康ゲームプログラム選択によって複数のゲームリストを提供する段階と、
    (e−33)前記主制御部が前記ゲームリストでユーザーが選択したゲームを受信する段階と、
    (e−34)前記主制御部が選択したゲームに対するゲーム難易度設定画面及びゲーム説明を提供する段階と、
    (e−35)前記主制御部が前記表示部を通じて入力されるゲーム開始信号によってゲーム設定を反映してゲームを実行する段階と、
    (e−36)前記主制御部がユーザーの実行ゲーム遂行による結果を算出して提供する段階を含む請求項3に記載のRGB−Dカメラを利用したリハビリ訓練方法。
  9. 前記主制御部は、
    前記(e−35)段階前に前記表示部に向かい合って位置したユーザーを認識し、選択したゲーム遂行に適した姿勢または位置にユーザーの姿勢と位置を補正する段階が先行される請求項3に記載のRGB−Dカメラを利用したリハビリ訓練方法。
JP2019028819A 2019-01-31 2019-02-20 Rgb−dカメラを利用したリハビリ訓練システム及び方法 Expired - Fee Related JP6801028B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0012997 2019-01-31
KR1020190012997A KR20200095195A (ko) 2019-01-31 2019-01-31 Rgb-d 카메라를 이용한 재활훈련 시스템 및 방법

Publications (2)

Publication Number Publication Date
JP2020126568A JP2020126568A (ja) 2020-08-20
JP6801028B2 true JP6801028B2 (ja) 2020-12-16

Family

ID=71837184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019028819A Expired - Fee Related JP6801028B2 (ja) 2019-01-31 2019-02-20 Rgb−dカメラを利用したリハビリ訓練システム及び方法

Country Status (3)

Country Link
US (1) US20200246660A1 (ja)
JP (1) JP6801028B2 (ja)
KR (1) KR20200095195A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008771A1 (ja) * 2017-07-07 2019-01-10 りか 高木 治療及び/又は運動の指導プロセス管理システム、治療及び/又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
SE1950996A1 (en) * 2019-09-02 2021-03-03 Martin Karlsson Advancement manager in a handheld user device
US20220189195A1 (en) * 2020-12-15 2022-06-16 Digitrack Llc Methods and apparatus for automatic hand pose estimation using machine learning
KR102550721B1 (ko) * 2021-02-15 2023-07-04 (주)엘앤에이치랩스 개인체력 평가에 따른 트레이닝 시스템
KR102323492B1 (ko) * 2021-03-17 2021-11-09 주식회사 엑스바디 영상 분석을 통한 근골격계 균형 진단 및 이를 이용한 운동처방 방법
US20220406433A1 (en) * 2021-06-17 2022-12-22 Reactiv Inc. Matching Physical Rehabilitation Motions with a Gaming Experience Using Computer Vision on Mobile Phones
KR102428336B1 (ko) 2021-10-05 2022-08-02 박재형 공압 유수분 감지장치
KR102893757B1 (ko) * 2021-12-24 2025-12-01 서울대학교병원 이미지를 이용하여 임상 평가 정보를 제공하는 방법 및 장치
JP7373781B1 (ja) 2022-11-30 2023-11-06 アイスリーメディカル株式会社 システム、プログラム、及び方法。
EP4571760A4 (en) * 2023-04-17 2025-11-26 Xian Libang Contmedu Medical Tech Co Ltd SMART REHABILITATION DEVICE
KR102770200B1 (ko) * 2023-12-07 2025-02-21 한국신체정보(주) 카메라를 이용한 체력 검사 서비스 제공 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11133096B2 (en) * 2011-08-08 2021-09-28 Smith & Nephew, Inc. Method for non-invasive motion tracking to augment patient administered physical rehabilitation
JP6334925B2 (ja) * 2013-01-18 2018-05-30 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
US20140364230A1 (en) * 2013-06-06 2014-12-11 Universita' Degli Studi Di Milano Apparatus and Method for Rehabilitation Employing a Game Engine
KR101569848B1 (ko) 2014-04-16 2015-11-18 한국기계연구원 근거리 무선통신을 이용한 재활시스템 및 이를 이용한 재활방법
JP5715282B1 (ja) * 2014-05-21 2015-05-07 アルカディア・システムズ株式会社 運動支援システム、運動者側装置及びクラウドサーバ
EP3315068B1 (en) * 2015-06-26 2020-10-21 NEC Solution Innovators, Ltd. Device, method, and computer program for providing posture feedback during an exercise
JP2017085427A (ja) * 2015-10-29 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
CA2926440A1 (en) * 2016-04-07 2017-10-07 Javad Sadeghi Interactive mobile technology for guidance and monitoring of physical therapy exercises
JP6930995B2 (ja) * 2016-11-09 2021-09-01 株式会社システムフレンド 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム

Also Published As

Publication number Publication date
KR20200095195A (ko) 2020-08-10
JP2020126568A (ja) 2020-08-20
US20200246660A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
JP6801028B2 (ja) Rgb−dカメラを利用したリハビリ訓練システム及び方法
US12033076B2 (en) Systems and methods for assessing balance and form during body movement
JP7263432B2 (ja) 治療及び/又は運動の指導プロセス管理システム、治療及び/又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
JP4594157B2 (ja) 運動支援システムとその利用者端末装置及び運動支援プログラム
US20140371633A1 (en) Method and system for evaluating a patient during a rehabilitation exercise
US20170151500A9 (en) Personal digital trainer for physiotheraputic and rehabilitative video games
US20150202492A1 (en) Personal digital trainer for physiotheraputic and rehabilitative video games
EP2502169A2 (en) Remote physical therapy apparatus
JP7150387B1 (ja) プログラム、方法、および電子機器
Tannous et al. GAMEREHAB@ HOME: A new engineering system using serious game and multisensor fusion for functional rehabilitation at home
Cai et al. PoseBuddy: Pose estimation workout mobile application
CN118172833A (zh) 一种对羽毛球运动中运动损伤进行筛查的方法、装置及设备
KR101276734B1 (ko) 신체 각부의 유연성 테스트 시스템 및 유연성 테스트 방법
Georgiadis et al. A remote rehabilitation training system using Virtual Reality
CN113842622A (zh) 一种运动教学方法、装置、系统、电子设备及存储介质
Alazba et al. A proposed game for promoting physical activities among people with low back pain using virtual reality
TW201606693A (zh) 具遠距監控之物理肢體復健系統及方法
KR102891190B1 (ko) 스켈레톤 정보와 가상 오브젝트 간의 매칭 및 사용자 신체정보에 따른 적응적 운동 평가 장치
Bogliolo et al. Robot-Assisted Group Exercise Program for targeting Sarcopenia in Older Adults: Preliminary Results
JP4747846B2 (ja) 治療位置選択装置、治療位置選択システム、治療位置選択方法およびコンピュータプログラム
JP7373781B1 (ja) システム、プログラム、及び方法。
JP7662240B1 (ja) 情報処理装置、方法、プログラム、およびシステム
JP7688940B2 (ja) 情報処理装置、方法、プログラム、およびシステム
WO2025078550A1 (en) System, device, and method for rehabilitation and tele-rehabilitation using ai-based motion detection and dynamic body-weight support
Jayasree et al. Computer Vision-Augmented Exergaming for Spine Health

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201125

R150 Certificate of patent or registration of utility model

Ref document number: 6801028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees