JP5773421B2 - Information terminal equipment - Google Patents
Information terminal equipment Download PDFInfo
- Publication number
- JP5773421B2 JP5773421B2 JP2011123636A JP2011123636A JP5773421B2 JP 5773421 B2 JP5773421 B2 JP 5773421B2 JP 2011123636 A JP2011123636 A JP 2011123636A JP 2011123636 A JP2011123636 A JP 2011123636A JP 5773421 B2 JP5773421 B2 JP 5773421B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging target
- imaging
- unit
- region
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報を提示する情報端末装置に関し、特に、撮像部と撮像対象の相対的な位置および姿勢の変化によって表示部での表示情報を制御できる情報端末装置に関する。 The present invention relates to an information terminal device that presents information, and more particularly, to an information terminal device that can control display information on a display unit according to changes in the relative position and orientation of an imaging unit and an imaging target.
撮像部に対して撮像対象の位置を変化させ、撮像部と撮像対象の相対的な位置関係に応じて表示部での表示情報を制御して提示する装置は、提示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させる上で有用である。 An apparatus that changes the position of the imaging target with respect to the imaging unit and controls and presents the display information on the display unit according to the relative positional relationship between the imaging unit and the imaging target. This is useful for improving the convenience of the user.
これを実現する方法として、特許文献１では、物体の色に近似した色が付され、かつその外形および配置の組み合わせにより識別情報を構成する複数のマーカエレメントで構成されるマーカユニットを物体に配置し、該物体のカメラ映像を解析することによって、現実環境における物体に仮想情報を重畳表示する際の位置合わせを行う複合現実感システムが提案されている。 As a method for realizing this, in Patent Document 1, a marker unit composed of a plurality of marker elements that are provided with a color approximate to the color of the object and that constitute identification information by a combination of its outer shape and arrangement is arranged on the object. However, a mixed reality system has been proposed that performs alignment when virtual information is superimposed and displayed on an object in a real environment by analyzing a camera image of the object.
特許文献２には、位置姿勢センサが配置された現実空間の実写画像に、位置姿勢センサとカメラの計測範囲を重ね合わせた合成画像を生成する画像合成装置が提案されている。 Patent Document 2 proposes an image composition device that generates a composite image obtained by superimposing a measurement range of a position and orientation sensor and a camera on a real image in which a position and orientation sensor is arranged.
特許文献３には、モーションセンサが検出した移動、傾動の方向および量に応じて、表示する情報をスクロールまたはズームするとともに、キー入力の所定キーを操作することによりスクロールまたはズームを停止する機能を有するポータブル機器が提案されている。 Patent Document 3 has a function of scrolling or zooming information to be displayed or stopping scrolling or zooming by operating a predetermined key of key input in accordance with the movement and tilting direction and amount detected by the motion sensor. Portable devices having been proposed.
非特許文献１には、カメラで撮像した手の画像から曲率が大きな箇所を指先として検出し、楕円フィッティングの技術を利用して、検出された手の場所に位置合わせして情報を表示する手法が提案されている。 Non-Patent Document 1 discloses a method in which a portion having a large curvature is detected as a fingertip from an image of a hand imaged by a camera, and information is displayed by aligning with the detected hand location using an ellipse fitting technique. Has been proposed.
特許文献１の複合現実感システムでは、カメラ画像におけるマーカユニットの位置により現実環境に重畳表示する仮想情報の位置が制御されるが、物体に予め人工的なマーカエレメントを配置しておく必要がある。このため、この複合現実感システムでの手法を利用できる場所が限定されるという課題がある。 In the mixed reality system of Patent Document 1, the position of virtual information to be superimposed and displayed in the real environment is controlled by the position of the marker unit in the camera image. However, it is necessary to place an artificial marker element on the object in advance. . For this reason, there is a problem that a place where the method in the mixed reality system can be used is limited.
特許文献２の画像合成装置では、位置姿勢センサを必要としている。また、特許文献３のポータブル機器では、モーションセンサを必要としている。このため、これらにおける手法を利用できる装置が限定されるという課題がある。また、センサ類の搭載は、端末のコスト上昇を招くだけでなく、装置の小型化や省電力化を妨げるという課題もある。 The image synthesizing apparatus of Patent Document 2 requires a position and orientation sensor. In addition, the portable device disclosed in Patent Document 3 requires a motion sensor. For this reason, there exists a subject that the apparatus which can utilize the method in these is limited. In addition, the mounting of sensors not only causes an increase in the cost of the terminal, but also has a problem of hindering downsizing and power saving of the device.
非特許文献１の手法では、特に曲率が大きな箇所を指先として検出するので、情報を正しく位置合わせして表示するには、指が丸く見えるくらいの近距離かつ高解像度画像を必要とする。また、処理負荷が大きい楕円フィッティングを用いて指先を検出するので、全ての指の指先を検出するとなると、処理時間がかかりすぎるという課題もある。 In the method of Non-Patent Document 1, a portion having a particularly large curvature is detected as a fingertip. Therefore, in order to correctly align and display information, a short-distance and high-resolution image that allows the finger to appear round is required. In addition, since the fingertips are detected using ellipse fitting with a large processing load, there is a problem that it takes too much processing time to detect the fingertips of all fingers.
本発明の目的は、上記課題を解決し、マーカやセンサを用いることなく、撮像部に対して撮像対象の空間的位置や姿勢を変化させるだけで、表示部での表示情報を確実かつ高精度に制御できる情報端末装置を提供することにある。 The object of the present invention is to solve the above-mentioned problems, and to change the spatial position and orientation of the imaging target with respect to the imaging unit without using a marker or a sensor, so that the display information on the display unit can be reliably and highly accurate. It is to provide an information terminal device that can be controlled easily.
上記課題を解決するため、本発明は、撮像対象を撮像する撮像部と、前記撮像部からの入力画像における撮像対象領域を形成するとともに撮像対象の特徴点を抽出し、予め設定された撮像対象の基準点に対応付けることにより、前記撮像部に対する撮像対象の相対的な位置および姿勢を推定する推定部と、前記撮像部からの入力画像と前記推定部で形成された撮像対象領域を元に撮像対象が位置する領域を抽出する抽出部と、情報を表示する表示部と、前記表示部で表示する情報を記憶する記憶部と、前記記憶部から読み出して前記表示部で表示する情報を、前記抽出部で抽出された撮像対象が位置する領域で、前記推定部により推定された位置および姿勢に応じて制御する制御部とを備え、前記推定部は、前記撮像部からの入力画像から撮像対象の特徴点を検出するに当たり、予め一定範囲の色を指定して撮像対象領域を形成し、該撮像対象領域を包含する最小外接矩形を形成して該最小外接矩形を基に特徴点を検出し、該特徴点を、予め撮像対象の端点に設定された基準点に対応付けることを基本的特徴としている。 In order to solve the above-described problem, the present invention forms an imaging target area in an input image from the imaging unit and an imaging target for imaging the imaging target, extracts feature points of the imaging target, and sets a predetermined imaging target. The image is picked up based on the image capturing target area formed by the estimation unit that estimates the relative position and orientation of the image capturing target with respect to the image capturing unit, the input image from the image capturing unit, and the estimation unit. An extraction unit for extracting a region where the object is located, a display unit for displaying information, a storage unit for storing information to be displayed on the display unit, and information to be read from the storage unit and displayed on the display unit, in the region where the imaging object extracted by the extraction portion is positioned, and a control unit for controlling in accordance with the position and orientation estimated by the estimating unit, the estimation unit, Ta from the input image from the imaging unit When detecting a target feature point, a predetermined range of colors is specified in advance to form an imaging target area, a minimum circumscribed rectangle that includes the imaging target area is formed, and a feature point is detected based on the minimum circumscribed rectangle The basic feature is to associate the feature point with a reference point set in advance as an end point of the imaging target .
本発明によれば、撮像部と撮像対象の相対的な位置および姿勢を変化させるだけで表示部で表示する情報を制御して、表示部における撮像対象が位置する領域に表示させることができる。したがって、利用者は、撮像部に対する撮像対象の相対的な位置および姿勢を変化させるという直観的な操作で、表示部で表示する情報を制御できる。 ADVANTAGE OF THE INVENTION According to this invention, the information displayed on a display part can be controlled only by changing the relative position and attitude | position of an imaging part and an imaging target, and it can display on the area | region where the imaging target in a display part is located. Therefore, the user can control the information displayed on the display unit by an intuitive operation of changing the relative position and posture of the imaging target with respect to the imaging unit.
また、撮像部からの入力画像を解析し、撮像部に対する撮像対象の相対的な位置および姿勢の変化を基に表示部で表示する情報を制御するので、ソフトウェアで実現可能であり、センサ類の特別なハードウェアを情報端末に組み込む必要がない。 In addition, since the input image from the imaging unit is analyzed and the information displayed on the display unit is controlled based on the change in the relative position and orientation of the imaging target with respect to the imaging unit, it can be realized by software. There is no need to install special hardware in the information terminal.
さらに、本発明では、撮像部からの入力画像から抽出した撮像対象の特徴点を、基準となる位置および姿勢での撮像対象に予め設定された基準点に対応付けて撮像対象の位置および姿勢の変化を推定するようにしているので、撮像対象の位置および姿勢の変化を確実かつ高精度に推定でき、したがって、表示部で表示する情報を確実かつ高精度に制御できる。 Furthermore, in the present invention, the feature point of the imaging target extracted from the input image from the imaging unit is associated with the reference point preset for the imaging target at the reference position and orientation, and the position and orientation of the imaging target Since the change is estimated, the change in the position and orientation of the imaging target can be estimated reliably and with high accuracy, and therefore the information displayed on the display unit can be controlled with certainty and high accuracy.
以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯電話を利用し、撮像対象を手とし、撮像対象が位置する領域を机とした場合を例に挙げて説明する。しかし、本発明の情報端末装置は、携帯電話に限られず、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、コンピュータなどでもよい。また、撮像対象や撮像対象が位置する領域も手や机に限られない。 The present invention will be described below with reference to the drawings. Hereinafter, a case where a mobile phone is used as an information terminal device, an imaging target is a hand, and an area where the imaging target is located is a desk will be described as an example. However, the information terminal device of the present invention is not limited to a mobile phone, and may be any information terminal device provided with an imaging unit, such as a computer. Further, the imaging target and the region where the imaging target is located are not limited to a hand or a desk.
図１は、本発明の情報端末装置の第一実施形態を示す機能ブロック図である。本実施形態の情報端末装置は、撮像部11、推定部12、抽出部13、制御部14、記憶部15および表示部16を備える。 FIG. 1 is a functional block diagram showing a first embodiment of the information terminal device of the present invention. The information terminal device of this embodiment includes an imaging unit 11, an estimation unit 12, an extraction unit 13, a control unit 14, a storage unit 15, and a display unit 16.
利用者は、例えば、撮像対象としての手の平を机の上に位置させる。撮像部11は、所定のサンプリング周期で、撮像対象を含む領域を連続的に撮像し、その画像を推定部12、抽出部3および制御部14へ送出する。撮像部11としては携帯電話に標準装備されるデジタルカメラを用いることができる。 For example, the user places a palm as an imaging target on a desk. The imaging unit 11 continuously captures an area including the imaging target at a predetermined sampling period, and sends the images to the estimation unit 12, the extraction unit 3, and the control unit 14. As the imaging unit 11, a digital camera provided as a standard in a mobile phone can be used.
推定部13には、撮像対象の位置および姿勢の変化を判断する際の基準として既知(基準)の位置および姿勢での撮像対象における基準点が予め登録されている。ここで、基準点は、撮像対象の全体的な位置および姿勢の変化を示す点に設定するのが好ましい。例えば、撮像対象が手の場合、指先に基準点を設定すればよい。なお、撮像対象の位置、基準点の位置、後述する特徴点の位置、その他の位置は、座標位置として特定される。 In the estimation unit 13, a reference point in the imaging target at a known (reference) position and orientation is registered in advance as a reference for determining a change in the position and orientation of the imaging target. Here, the reference point is preferably set to a point indicating a change in the overall position and orientation of the imaging target. For example, when the imaging target is a hand, a reference point may be set at the fingertip. Note that the position of the imaging target, the position of the reference point, the position of a feature point to be described later, and other positions are specified as coordinate positions.
推定部12は、撮像部11からの入力画像における撮像対象領域を形成し、この撮像対象領域から基準点に対応する特徴点を検出する。さらに、推定部12は、検出された特徴点を基準点に対応付け、対応付けられた特徴点と基準点の座標位置から、予め設定された変換式に基づいて撮像部11に対する撮像対象の相対的な位置および姿勢を表す変換係数を推定する。推定部12において変換係数の推定に用いた変換式および推定された変換係数は、制御部14へ送出される。推定部12での処理の詳細は後述する。 The estimation unit 12 forms an imaging target region in the input image from the imaging unit 11, and detects a feature point corresponding to the reference point from the imaging target region. Further, the estimation unit 12 associates the detected feature point with the reference point, and the relative position of the imaging target with respect to the imaging unit 11 based on a preset conversion formula from the coordinate point of the associated feature point and the reference point A conversion coefficient representing a specific position and orientation is estimated. The conversion formula used for estimating the conversion coefficient in the estimation unit 12 and the estimated conversion coefficient are sent to the control unit 14. Details of the processing in the estimation unit 12 will be described later.
抽出部13は、撮像部11からの入力画像と推定部12で形成された撮像対象領域を入力とし、撮像対象が位置する領域を抽出する。これにより、例えば、手の平が位置する机上面の領域が抽出される。 The extraction unit 13 receives the input image from the imaging unit 11 and the imaging target region formed by the estimation unit 12, and extracts the region where the imaging target is located. Thereby, for example, the area of the desk surface where the palm is located is extracted.
撮像対象が位置する領域は、推定部12で形成された撮像対象領域の周囲外側に位置する画素の画素値(例えば、色)を基準とし、画素値の差が予め設定した一定範囲に収まる画素を同じ領域であるとして撮像対象が位置する領域に追加し、追加した画素の画素値を新たな基準として反復的に画素を撮像対象が位置する領域に追加するという処理で抽出できる。 The region where the imaging target is located is based on the pixel value (e.g., color) of the pixel located outside the imaging target region formed by the estimation unit 12, and the pixel value difference falls within a predetermined range Are added to the region where the imaging target is located as if they were the same region, and the pixel value of the added pixel is added as a new reference, and the pixels are repeatedly added to the region where the imaging target is located.
上記処理により撮像対象領域を含まない外側領域が抽出されるが、撮像対象が位置する領域に撮像対象領域を含ませてもよい。これは、撮像対象が存在しないとした場合の背景を推定して形成することで実現できる。 Although the outer region not including the imaging target region is extracted by the above processing, the imaging target region may be included in the region where the imaging target is located. This can be realized by estimating and forming the background when there is no imaging target.
これにより抽出された撮像対象が位置する領域は、撮像部11に対する相対的な姿勢が撮像対象と同じ領域として制御部14へ送出される。 The region where the extracted imaging target is located in this way is sent to the control unit 14 as a region where the relative posture with respect to the imaging unit 11 is the same as that of the imaging target.
図２は、撮像部11からの入力画像の具体例を示す。この具体例では、撮像部11により手Aと机上面Bが撮像され、抽出部13では、撮像対象としての手Aの平が位置する机の上面Bが撮像対象が位置する領域として抽出される。 FIG. 2 shows a specific example of an input image from the imaging unit 11. In this specific example, the imaging unit 11 captures the hand A and the desk top surface B, and the extraction unit 13 extracts the top surface B of the desk where the palm of the hand A as the imaging target is located as the region where the imaging target is located. .
抽出部13での撮像対象が位置する領域の抽出は、上記の手法に限らず、種々の手法で可能である。例えば、撮像対象はそのままの位置で動かないが、携帯電話のように、撮像対象に対して撮像部11が動くことが想定される場合、抽出部13で抽出された過去の撮像対象が位置する領域と変換係数とを用いて現在の撮像対象が位置する領域を抽出することができる。これにより、各フレームについて撮像対象が位置する領域を抽出する処理を行わなくても済む。 Extraction of the region where the imaging target is located by the extraction unit 13 is not limited to the above method, and can be performed by various methods. For example, when the imaging target does not move as it is, but the imaging unit 11 is assumed to move with respect to the imaging target like a mobile phone, the past imaging target extracted by the extraction unit 13 is located. A region where the current imaging target is located can be extracted using the region and the conversion coefficient. Thereby, it is not necessary to perform the process of extracting the region where the imaging target is located for each frame.
図３は、その場合の撮像対象が位置する領域の抽出処理の説明図である。同図に示すように、撮像対象の位置および姿勢の基準からの変化を時刻ｔの変換係数ｐtと変換式ｆ()で写像する場合、式(1)を用いて、時刻ｔ−１の変換係数ｐt-1で逆変換し、時刻tの変換係数で変換することで実現できる。 FIG. 3 is an explanatory diagram of extraction processing of an area where the imaging target is located in that case. As shown in the figure, when the change from the reference of the position and orientation of the imaging target is mapped by the conversion coefficient pt at time t and the conversion equation f (), the conversion at time t−1 is performed using equation (1). This can be realized by performing inverse conversion with the coefficient pt−1 and conversion with the conversion coefficient at time t.
ここで、ｘは、時刻ｔ−１において抽出された撮像対象が位置する領域に属する一部あるいは全部の座標を表す。式(1)におけるｆＰｔ−１ −１()は、時刻ｔ−１において抽出された撮像対象が位置する領域に属する座標を時刻ｔ−１の変換係数ｐt-1で逆変換することを表し(図３の(a))、ｆＰｔ()は、逆変換された座標を時刻ｔの変換係数ｐtで変換することを表している(図３の(b))。 Here, x represents some or all of the coordinates belonging to the region where the imaging target extracted at time t−1 is located. F Pt−1 −1 () in Expression (1) represents that the coordinates belonging to the region where the imaging target extracted at time t−1 is inversely transformed with the conversion coefficient pt−1 at time t−1. ((A) in FIG. 3), f Pt () represents that the inversely transformed coordinates are converted by the conversion coefficient pt at time t ((b) in FIG. 3).
式(1)による変換後の座標がフレーム内に収まっている領域を基準として、上記と同様に、画素値の差が予め設定した一定範囲に収まる画素を同じ領域であるとして撮像対象が位置する領域に追加する処理を反復的に行うことで、時刻ｔにおける撮像対象が位置する領域を抽出できる。 Using the region where the coordinates after conversion according to Equation (1) are within the frame as a reference, the imaging target is positioned as if the pixel within which the pixel value difference falls within a predetermined range is the same region, as described above. By repeatedly performing the process of adding to the area, the area where the imaging target is located at time t can be extracted.
記憶部15は、表示部16で表示する情報を予め複数蓄積している。利用者は、制御部14に対する入力操作で、記憶部15に蓄積されている情報の中から任意の情報を選択して表示部16で表示させることができる。 The storage unit 15 stores a plurality of pieces of information to be displayed on the display unit 16 in advance. The user can select arbitrary information from the information stored in the storage unit 15 and display it on the display unit 16 by an input operation on the control unit 14.
表示部16で情報を表示する際、制御部14は、表示する情報に推定部12から入力された変換式および変換係数を情報に適用する。これにより、表示する情報は、撮像対象と同じ姿勢に加工される。また、制御部14は、表示部16において抽出部13で抽出された撮像対象が位置する領域内に情報が表示されるように表示位置を制御する。ここで、表示する情報を自動あるいは手動で適宜拡大・縮小させるようにしてもよい。 When displaying information on the display unit 16, the control unit 14 applies the conversion formula and conversion coefficient input from the estimation unit 12 to the information to be displayed. Thereby, the information to be displayed is processed into the same posture as the imaging target. In addition, the control unit 14 controls the display position so that information is displayed in the area where the imaging target extracted by the extraction unit 13 is located on the display unit 16. Here, the information to be displayed may be appropriately enlarged or reduced automatically or manually.
表示部16における情報の表示位置は、撮像対象の位置により自動的に定めることができる。例えば、撮像対象が手である場合、その指先、重心や中心の位置に従って表示位置(表示中央や端部など)を定めることができる。また、利用者が手動で表示位置を定めるようにしてもよく、表示位置を自動で定めるモードと手動で定めるモードを選択できるようにしてもよい。 The display position of information on the display unit 16 can be automatically determined according to the position of the imaging target. For example, when the imaging target is a hand, the display position (display center, edge, etc.) can be determined according to the position of the fingertip, center of gravity, or center. Also, the display position may be manually determined by the user, or the mode for automatically determining the display position and the mode for manually determining the display position may be selected.
図３は、推定部12での処理手順を示すフローチャートである。推定部12は、処理選択S21に従って撮像対象領域形成処理S22および特徴点検出処理S23もしくは特徴点追跡処理S24並びに姿勢推定処理S25を所定のタイミング間隔で順次繰り返し実行する。 FIG. 3 is a flowchart showing a processing procedure in the estimation unit 12. The estimation unit 12 repeatedly executes the imaging target region formation process S22 and the feature point detection process S23 or the feature point tracking process S24 and the posture estimation process S25 sequentially at predetermined timing intervals according to the process selection S21.
ここで、撮像対象領域形成処理S22および特徴点検出処理S23と特徴点追跡処理S24は、処理選択S21に従って排他的に切り替えられる。この切り替えは、利用者が適宜行ってもよく、一定時間間隔ごと、あるいは姿勢推定の精度や処理負担に応じて行ってもよい。 Here, the imaging target region forming process S22, the feature point detecting process S23, and the feature point tracking process S24 are exclusively switched according to the process selection S21. This switching may be performed appropriately by the user, or may be performed at regular time intervals, or according to posture estimation accuracy and processing burden.
撮像対象領域形成処理S22、特徴点検出処理S23および姿勢推定処理S25による姿勢推定処理が選択された場合、まず、撮像対象領域形成処理S22では、撮像部11からの入力画像から撮像対象領域を抽出する。この抽出は、色空間を利用して利用者が手動で指定した色に基づいて行うことができる。撮像対象が手の場合、肌色を指定すればよい。例えば、撮像部11からの入力画像がRGB色空間で表現されている場合、RGBそれぞれの上限および下限で肌色を定義できる。RGB色空間に限らず、HSV色空間、YCbCr空間など他の色空間を利用することもできる。入力画像の色空間と色指定の色空間とが異なる場合には、それらの間での変換を行えばよい。 When the posture estimation processing by the imaging target region formation processing S22, the feature point detection processing S23, and the posture estimation processing S25 is selected, first, in the imaging target region formation processing S22, the imaging target region is extracted from the input image from the imaging unit 11. To do. This extraction can be performed based on the color manually designated by the user using the color space. When the imaging target is a hand, the skin color may be specified. For example, when the input image from the imaging unit 11 is expressed in the RGB color space, the skin color can be defined by the upper and lower limits of RGB. In addition to the RGB color space, other color spaces such as HSV color space and YCbCr space can also be used. If the color space of the input image is different from the color space for color designation, conversion between them may be performed.
また、色の指定は、半自動的に行うこともできる。例えば、表示部16に一定領域を示す枠線を描画しておき、この枠内部が撮像対象で占められるようにして撮像部11で撮像対象を撮像する。そして、この枠内部の色分布を求め、該色分布を撮像対象の色として指定すればよい。 The color can also be specified semi-automatically. For example, a frame line indicating a certain area is drawn on the display unit 16, and the imaging target is imaged by the imaging unit 11 so that the inside of the frame is occupied by the imaging target. Then, the color distribution inside the frame may be obtained and the color distribution may be designated as the color to be imaged.
枠内部の画像が撮像対象と背景領域を含む場合には、さらにエッジを利用して撮像対象領域と背景領域を区別し、撮像対象領域の色分布を撮像対象の色として指定することもできる。 When the image inside the frame includes an imaging target and a background area, the imaging target area and the background area can be further distinguished using an edge, and the color distribution of the imaging target area can be designated as the color of the imaging target.
また、撮像部11からの入力画像内に撮像対象と類似した色の非撮像対象が存在する場合には、上記枠とは別の別枠内部が非撮像対象で占められるようにして撮像し、別枠内部の色分布も求め、枠内部と別枠内部の色分布の相違により撮像対象と非撮像対象を区別することも好ましい。 In addition, when there is a non-imaging target of a color similar to the imaging target in the input image from the imaging unit 11, imaging is performed so that the inside of another frame different from the above frame is occupied by the non-imaging target. It is also preferable to obtain an internal color distribution and to distinguish between an imaging target and a non-imaging target based on a difference in color distribution inside the frame and inside the separate frame.
具体的には、上記のようにして求めた枠内部と別枠内部の色分布を最もよく分離する色空間上での分離境界を求め、この分離境界を境として撮像対象の色を指定すればよい。この分離境界を求めるに際しては、写像を利用することもできる。例えば、簡単化のための2次元の色空間(Cr,Cb)で説明するが、色空間(Cr,Cb)で撮像対象と非撮像対象の色分布が図４に示される場合、Cr→Cr′、Cb→Cb′の写像を利用すれば、撮像対象と非撮像対象の色分布の分離境界をCr′、Cb′の上限および下限で簡単に指定することができる。 Specifically, a separation boundary on the color space that best separates the color distribution inside the frame and the inside of the other frame obtained as described above is obtained, and the color to be imaged is specified using this separation boundary as a boundary. . In obtaining this separation boundary, a mapping can also be used. For example, a description will be given using a two-dimensional color space (Cr, Cb) for simplification. When the color distribution of the imaging target and the non-imaging target is shown in FIG. 4 in the color space (Cr, Cb), Cr → Cr If the mapping of ′, Cb → Cb ′ is used, the separation boundary between the color distribution of the imaging target and the non-imaging target can be easily specified by the upper and lower limits of Cr ′ and Cb ′.
また、色空間を予め複数に分離しておき、分離されたそれぞれの色空間(分離色空間)を適用した際に最も正しく撮像対象を抽出できた分離色空間を撮像対象の色として指定してもよい。例えば、撮像対象が手である場合、複数の指を横断するような枠を用意し、指と指間が交互に正しく抽出されるように撮像対象の色を指定する。 In addition, the color space is separated into a plurality of colors in advance, and when the separated color spaces (separated color spaces) are applied, the separation color space that can extract the imaging target most correctly is designated as the imaging target color. Also good. For example, when the imaging target is a hand, a frame that crosses a plurality of fingers is prepared, and the color of the imaging target is designated so that the distance between the fingers is correctly extracted.
また、色空間を用いずに、画素値(色や輝度)変化の極値やエッジなどの特徴を基に撮像対象領域を形成することもできる。図６は、撮像対象を手とし、画素値変化の極値を基に撮像対象領域を形成する場合の説明図である。 Further, it is possible to form an imaging target region based on features such as extreme values of pixel value (color and luminance) changes and edges without using a color space. FIG. 6 is an explanatory diagram in the case where the imaging target is a hand and the imaging target region is formed based on the extreme value of the pixel value change.
同図(a)に示すように、複数の指を横断するような枠を用意し、この枠内の画像を抽出する。そして、同図(b)に示すように、枠内の画像における画素値変化の極値a1〜a4とb1〜b3の中から最も類似する極値a2,b1の組み合わせを選択し、その平均値を求める。ここで、図示するように、背景の画素値より撮像対象の画素値の方が大きい場合、求められた平均値を下限とし、最大値を上限とする画素値範囲を撮像対象の画素値範囲とする。逆に、撮像対象の画素値より背景の画素値の方が大きい場合には、求められた平均値を上限とし、最小値を下限とする画素値範囲を撮像対象の画素値範囲とする。以上のようにして求められた撮像対象の画素値範囲の画素を、撮像部11からの入力画像から抽出して撮像対象領域を形成する。 As shown in FIG. 5A, a frame that crosses a plurality of fingers is prepared, and an image in the frame is extracted. Then, as shown in FIG. 4B, the most similar combination of extreme values a2 and b1 is selected from the extreme values a1 to a4 and b1 to b3 of the pixel value change in the image in the frame, and the average value thereof Ask for. Here, as shown in the figure, when the pixel value of the imaging target is larger than the pixel value of the background, the pixel value range having the obtained average value as the lower limit and the maximum value as the upper limit is defined as the pixel value range of the imaging target. To do. On the other hand, when the background pixel value is larger than the pixel value to be imaged, the pixel value range having the obtained average value as the upper limit and the minimum value as the lower limit is set as the pixel value range to be imaged. Pixels in the pixel value range of the imaging target obtained as described above are extracted from the input image from the imaging unit 11 to form an imaging target region.
いずれの場合でも、一定時間間隔ごと、あるいは姿勢推定の精度や処理負担に応じて切り替えられる撮像対象領域形成処理S21では、撮像対象の色や画素値範囲を一旦決定すれば、閾値による抽出処理で撮像対象領域を形成できる。また、撮像対象が手である場合、過去の画像における隣接する２つの指先とそれらの指の股の座標で形成される複数の三角形それぞれの重心を求め、隣接する重心間を結ぶ直線上の色分布から上記と同様にして画素値範囲を求め、更新するという手法を採用して、画素値範囲を適応的に求めることもできる。この手法によれば、光源環境の変化に対して頑健にすることができる。また、入力画像の色空間と色指定の色空間が異なっていても色空間の変換で対処可能であり、高速処理で撮像対象領域を形成できる。 In any case, in the imaging target area forming process S21 that is switched at regular time intervals or according to the accuracy and processing burden of posture estimation, once the color or pixel value range of the imaging target is determined, the extraction process using the threshold value is performed. An imaging target area can be formed. Further, when the imaging target is a hand, a color on a straight line connecting the adjacent centroids by obtaining the centroid of each of a plurality of triangles formed by the coordinates of two adjacent fingertips and crotch of those fingers in the past image The pixel value range can also be obtained adaptively by adopting a method of obtaining and updating the pixel value range from the distribution in the same manner as described above. According to this method, it is possible to be robust against changes in the light source environment. Further, even if the color space of the input image is different from the color space for color designation, it is possible to cope with the conversion of the color space, and the imaging target area can be formed by high-speed processing.
次に、特徴点検出処理S23では、撮像部11からの入力画像の中から予め設定された基準点に対応する点を特徴点として抽出し、その特徴点の位置座標を検出する。予め設定される基準点は、検出しやすく、後続する姿勢推定処理S25で姿勢推定を高精度で行うことができる点に設定するのが好ましい。撮像対象が手の場合、例えば、指先に基準点を設定すればよい。 Next, in the feature point detection process S23, a point corresponding to a preset reference point is extracted from the input image from the imaging unit 11 as a feature point, and the position coordinates of the feature point are detected. The reference point set in advance is preferably set to a point that is easy to detect and can perform posture estimation with high accuracy in the subsequent posture estimation process S25. When the imaging target is a hand, for example, a reference point may be set at the fingertip.
特徴点検出処理S23についてさらに詳細に説明する。撮像対象領域形成処理S22では撮像対象以外の小領域が形成されることもあるので、特徴検出処理S23では、まず、撮像対象領域形成処理S22で形成された領域のうちから最も大きな領域を撮像対象領域として選択する。次に、モルフォロジフィルタによって撮像対象領域の部分的な欠損を補う。撮像対象領域の欠損は、撮像対象への光の当たり具合などによって生じる。 The feature point detection process S23 will be described in more detail. In the imaging target area forming process S22, a small area other than the imaging target may be formed. Therefore, in the feature detection process S23, first, the largest area among the areas formed in the imaging target area forming process S22 is selected as the imaging target. Select as region. Next, a partial defect in the imaging target region is compensated by the morphology filter. The loss of the imaging target region is caused by the amount of light hitting the imaging target.
続いて、撮像対象領域全体を包含しかつ面積が最小の最小外接矩形を形成する。この最小外接矩形は、探索的手法により形成できる。図７は、撮像対象が手Aである場合の最小外接矩形a-b-c-dを示す。この最小外接矩形a-b-c-dを利用して特徴点を検出し、検出された特徴点を基準点に対応付ける。 Subsequently, a minimum circumscribed rectangle that includes the entire imaging target region and has the smallest area is formed. This minimum circumscribed rectangle can be formed by an exploratory method. FIG. 7 shows the minimum circumscribed rectangle ab-c-d when the imaging target is the hand A. A feature point is detected using the minimum circumscribed rectangle a-b-c-d, and the detected feature point is associated with a reference point.
撮像対象が手Aである場合、最小外接矩形a-b-c-dが指先から手首まで含むものとすると、最小外接矩形a-b-c-dの短辺a-b、c-dの内、撮像対象が接する画素の数もしくは短辺a-b、c-dから一定範囲内に存在する撮像対象領域の多少から指先方向と手首方向を判断できる。すなわち、指先方向では中指だけが短辺c-dに接するので接する画素の数は少ないが、手首方向では手首全体が短辺a-bに接するので接する画素の数が多い。また、指先方向では短辺c-dから一定範囲内に存在する撮像対象領域(肌色領域)は少ないが、手首方向では短辺a-bから一定範囲内に存在する撮像対象領域が多い。 When the imaging target is the hand A, if the minimum circumscribed rectangle abcd includes from the fingertip to the wrist, the number of pixels touching the imaging target or the short sides ab, cd of the minimum circumscribed rectangle abcd is constant from the short sides ab, cd The direction of the fingertip and the direction of the wrist can be determined from the amount of the imaging target area existing within the range. That is, in the fingertip direction, only the middle finger is in contact with the short side c-d, so the number of pixels in contact is small. In the wrist direction, the entire wrist is in contact with the short side ab, so that the number of pixels in contact is large. Further, although there are few imaging target areas (skin color areas) existing within a certain range from the short side c-d in the fingertip direction, there are many imaging target areas existing within a certain range from the short side ab in the wrist direction.
最小外接矩形a-b-c-dは、探索的手法によらず、他の手法でも形成できる。例えば、小領域ごとに撮像対象領域のエッジの傾きをそれぞれ算出し、それらの傾きの中央値を軸方向として最小外接矩形a-b-c-dを形成することもできる。この場合、軸方向に垂直の方向において、エッジの密度が高い方の辺に指先があり、他方に手首があると判断できる。 The minimum circumscribed rectangle a-b-c-d can be formed by other methods, not by the exploratory method. For example, the inclination of the edge of the imaging target area can be calculated for each small area, and the minimum circumscribed rectangle a-b-c-d can be formed with the median value of the inclinations as the axial direction. In this case, in the direction perpendicular to the axial direction, it can be determined that the fingertip is on the side with the higher edge density and the wrist is on the other side.
以上のようにして指先方向および手首方向が分かれば、指先があると判断された方の短辺c-dと撮像対象領域の接点が第３指の指先であると判断できる。 As described above, if the fingertip direction and the wrist direction are known, it is possible to determine that the contact point between the short side cd on which the fingertip is determined and the imaging target area is the third fingertip.
最後に、第３指以外の第１指ないし第５指の指先を判断する。ここでは、第３指が接する辺に垂直な両辺(長辺)b-c、d-aの接点e、fから第３指が接する辺c-dに向かって撮像対象領域の縁を辿ったとき、第３指との距離が極小値を取る点が指先であると判断できる。それら極小値の内の最大値を取る点が第１指の指先であり、それから順番に他の極小値を取る点が第２指、第４指、第５指の指先であると判断できる。 Finally, the fingertips of the first to fifth fingers other than the third finger are determined. Here, when the edge of the imaging target area is traced from the contact points e and f of both sides (long sides) bc and da perpendicular to the side in contact with the third finger toward the side cd in contact with the third finger, It can be determined that the fingertip is the point at which the distance of takes the minimum value. It can be determined that the point of taking the maximum value among these minimum values is the fingertip of the first finger, and the points of taking the other minimum values in turn are the fingertips of the second finger, the fourth finger, and the fifth finger.
以上のようにして第１指ないし第５指の指先を判断することができ、それらの指先を対応する基準点に対応付けることができる。これにより、指の開閉に依存せず、かつ指先が外接矩形に接していない場合においても、第１指ないし第５指を対応する基準点に正確に対応付けることができる。 As described above, the fingertips of the first finger to the fifth finger can be determined, and those fingertips can be associated with the corresponding reference points. Thereby, even when the fingertip does not depend on opening / closing of the finger and the fingertip is not in contact with the circumscribed rectangle, the first to fifth fingers can be accurately associated with the corresponding reference points.
特徴点追跡処理S24による姿勢推定処理が選択された場合には、過去の特徴点を用いて現在の特徴点を追跡する。具体的には、過去の入力画像で検出された特徴点を含む小領域をテンプレートとし、現在の入力画像からテンプレートとの差分二乗和が最小となる領域を探索する。差分二乗和最小値となる領域において過去の特徴点に対応する点を、撮像部11からの入力画像における特徴点として姿勢推定処理S25へ送出する。 When the posture estimation process by the feature point tracking process S24 is selected, the current feature point is tracked using the past feature point. Specifically, a small area including feature points detected in a past input image is used as a template, and an area where the sum of squares of differences from the template is minimized is searched from the current input image. A point corresponding to a past feature point in the area having the minimum sum of squared differences is sent to the posture estimation process S25 as a feature point in the input image from the imaging unit 11.
撮像対象領域形成処理S22、特徴点検出処理S23および姿勢推定処理S25による姿勢推定処理と、特徴点追跡処理S24および姿勢推定処理S25による姿勢推定処理は、排他的に切り替えられる。撮像対象領域形成処理S22、特徴点検出処理S23および姿勢推定処理S25による姿勢推定処理は、姿勢推定精度の面で優れているのに対し、特徴点追跡処理S24および姿勢推定処理S25による姿勢推定処理は、処理負担および処理速度の面で優れている。 The posture estimation processing by the imaging target region formation processing S22, the feature point detection processing S23 and the posture estimation processing S25, and the posture estimation processing by the feature point tracking processing S24 and the posture estimation processing S25 are exclusively switched. The posture estimation processing by the imaging target region formation processing S22, the feature point detection processing S23, and the posture estimation processing S25 is excellent in posture estimation accuracy, whereas the posture estimation processing by the feature point tracking processing S24 and the posture estimation processing S25 Is superior in terms of processing load and processing speed.
姿勢推定精度の面からは、撮像対象領域形成処理S22、特徴点検出処理S23を優先的に適用するのが好ましく、処理負担や処理速度の面からは、特徴点追跡処理S24を優先的に適用するのが好ましい。 From the viewpoint of posture estimation accuracy, it is preferable to preferentially apply the imaging target area forming process S22 and the feature point detection process S23, and from the aspect of processing load and processing speed, the feature point tracking process S24 is preferentially applied. It is preferable to do this.
特徴点追跡処理S24での特徴点追跡の精度が劣ると考えられる場合、例えば、特徴点追跡処理S24での追跡回数が一定回数を超えた場合や前回の追跡における差分二乗和が一定値を超えた場合、前回の特徴点検出処理S23で特徴点を検出できなかった場合や前々回と前回の特徴点の位置座標に大きな変化が存在する場合などには、領域形成処理S22および特徴点検出処理S23を適用するのが好ましい。したがって、領域形成処理S22および特徴点検出処理S23と特徴点追跡処理S24を上記の場合であるか否かに従って自動的に切り替えることもできる。これは、S21を上記の場合であるか否かの判断のステップに代えることによって実現できる。 When it is considered that the feature point tracking accuracy in the feature point tracking process S24 is inferior, for example, when the number of tracking times in the feature point tracking process S24 exceeds a certain number or the sum of squared differences in the previous tracking exceeds a certain value If the feature point cannot be detected in the previous feature point detection process S23 or if there is a large change in the position coordinates of the previous feature point and the previous feature point, the region formation process S22 and the feature point detection process S23 Is preferably applied. Therefore, the area formation process S22, the feature point detection process S23, and the feature point tracking process S24 can be automatically switched according to whether or not this is the case. This can be realized by replacing S21 with a step of determining whether or not this is the case.
姿勢推定処理S25では、特徴点検出処理S23あるいは特徴点追跡処理S24で検出された特徴点を予め同一平面上に登録されている基準点に対応付け、両者の位置座標を比較することにより、撮像部11に対する撮像対象の相対的な位置および姿勢を推定する。 In the posture estimation process S25, the feature point detected in the feature point detection process S23 or the feature point tracking process S24 is associated with a reference point registered in advance on the same plane, and the position coordinates of the two are compared to obtain an image. The relative position and orientation of the imaging target with respect to the unit 11 are estimated.
撮像部11に対する撮像対象の相対的な位置および姿勢を推定するために、まず、対応付けられたｎ個の特徴点と基準点の位置(座標)をそれぞれ(ｘ′ｊ，ｙ′ｊ)(１≦ｊ≦ｎ)、(ｘｊ，ｙｊ)(１≦ｊ≦ｎ)とし、予め設定した変換式において両者が一致するような変換係数ａｋを求める。 In order to estimate the relative position and orientation of the imaging target with respect to the imaging unit 11, first, the positions (coordinates) of the n feature points and the reference points associated with each other are respectively (x ′ j , y ′ j ) ( 1 ≦ j ≦ n), (x j , y j ) (1 ≦ j ≦ n), and a conversion coefficient a k that matches both in a predetermined conversion equation is obtained .
例えば、式(2)，(3)の射影変換を利用する変換式を用いる場合、ｍ＝２ｎならば、２ｎ元連立方程式で変換係数ａｋを求めることができる。また、ｍ＜２ｎならば、最小二乗法で変換係数ａｋを求めることができる。 For example, in the case of using a conversion expression that uses the projective conversion of Expressions (2) and (3), if m = 2n, the conversion coefficient a k can be obtained by a 2n simultaneous equation. If m <2n, the conversion coefficient ak can be obtained by the least square method.
姿勢推定処理S24で求められた変換係数ａｋは、変換式と共に制御部14へ送出される。 The conversion coefficient ak obtained in the posture estimation process S24 is sent to the control unit 14 together with the conversion formula.
制御部14は、姿勢推定処理24で求められた変換係数および変換式を表示する情報に適用する。これにより、表示する情報は、撮像対象と同じ姿勢に加工される。また、制御部14は、表示部16において抽出部13で抽出された撮像対象が位置する領域内に情報を位置させて表示する。 The control unit 14 applies the conversion coefficient and the conversion formula obtained in the posture estimation process 24 to information that is displayed. Thereby, the information to be displayed is processed into the same posture as the imaging target. In addition, the control unit 14 displays the information in the area where the imaging target extracted by the extraction unit 13 is located on the display unit 16.
図８は、本発明による表示部16での表示例を示す図である。図２に示すように、机上面に手の平を位置させることにより、図８に示すように、机の上に置かれているような態様で情報を表示させることができる。ここでは、表示部16で撮像対象(手)が表示されないようにしている。これは、抽出部13により手が存在しないとした場合の背景を推定して撮像対象が位置する領域を形成することで実現できる。表示部16で手を表示し、その画面において情報を重畳表示させてもよい。同図(a)は、単に机上に情報が表示される場合であるが、同図(b)にように、机上に置かれた物品(例えばコーヒーカップ)で見えなくなる部分の一部情報を欠如させて情報を表示させるよういなことも可能である。 FIG. 8 is a diagram showing a display example on the display unit 16 according to the present invention. As shown in FIG. 2, by placing the palm on the desk surface, information can be displayed in a manner as if it is placed on the desk as shown in FIG. Here, the imaging target (hand) is not displayed on the display unit 16. This can be achieved by estimating the background when the hand is not present by the extraction unit 13 and forming a region where the imaging target is located. The hand may be displayed on the display unit 16, and the information may be superimposed on the screen. Fig. (A) shows a case where information is simply displayed on the desk, but as shown in Fig. (B), there is a lack of information on the part that cannot be seen with the article placed on the desk (for example, a coffee cup). It is also possible to display information.
以上実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、種々に変形されたものも含む。例えば、撮像対象としての手の平を机上に垂直に立てるなど、撮像対象の姿勢を変えることにより、撮像対象が位置する領域での情報の表示態様を変えることができる。 Although the embodiment has been described above, the present invention is not limited to the above embodiment, and includes various modifications. For example, the display mode of information in the region where the imaging target is located can be changed by changing the posture of the imaging target, such as placing the palm as the imaging target vertically on the desk.
また、上記実施形態では、携帯電話のように常に動く情報端末装置を想定し、その都度、撮像対象を撮像して変換係数を求めているが、情報端末装置が固定であり、情報表示の態様が固定である場合には、一旦求めた変換係数を保持し、それを継続的に利用することができる。この場合、情報表示の態様を変えたいときにだけ撮像対象を撮像して変換係数を求めればよい。 Further, in the above embodiment, an information terminal device that always moves like a mobile phone is assumed, and each time an imaging target is imaged to obtain a conversion coefficient, the information terminal device is fixed, and an information display mode Is fixed, the conversion coefficient once obtained can be held and used continuously. In this case, it suffices to obtain the conversion coefficient by imaging the imaging target only when it is desired to change the information display mode.
さらに、推定部12で形成される撮像対象領域と抽出部13で抽出される撮像対象が位置する領域を別のものとし、撮像対象領域あるいは撮像対象が位置する領域に位置させて情報を表示させることもできる。 Further, the imaging target region formed by the estimation unit 12 and the region where the imaging target extracted by the extraction unit 13 is located are different, and information is displayed by being positioned in the imaging target region or the region where the imaging target is located. You can also
本発明によれば、種々の場所に撮像対象を位置させて種々の情報を種々の形態で表示させることができ、例えば、壁面などに仮想的にポスターが張り付けられた仮想表示なども行うことができる。 According to the present invention, it is possible to display an imaging target in various places and display various information in various forms. For example, virtual display in which a poster is virtually pasted on a wall surface or the like can be performed. it can.
11・・・撮像部、12・・・推定部、13・・・抽出部、14・・・制御部、15・・・記憶部、16・・・表示部 11 ... Imaging unit, 12 ... Estimation unit, 13 ... Extraction unit, 14 ... Control unit, 15 ... Storage unit, 16 ... Display unit
Claims (16)
前記撮像部からの入力画像における撮像対象領域を形成するとともに撮像対象の特徴点を抽出し、予め設定された撮像対象の基準点に対応付けることにより、前記撮像部に対する撮像対象の相対的な位置および姿勢を推定する推定部と、
前記撮像部からの入力画像と前記推定部で形成された撮像対象領域を元に撮像対象が位置する領域を抽出する抽出部と、
情報を表示する表示部と、
前記表示部で表示する情報を記憶する記憶部と、
前記記憶部から読み出して前記表示部で表示する情報を、前記抽出部で抽出された撮像対象が位置する領域で、前記推定部により推定された位置および姿勢に応じて制御する制御部とを備え、
前記推定部は、前記撮像部からの入力画像から撮像対象の特徴点を抽出するに当たり、予め一定範囲の色を指定して撮像対象領域を形成し、該撮像対象領域を包含する最小外接矩形を形成して該最小外接矩形を基に特徴点を検出し、該特徴点を、予め撮像対象の端点に設定された基準点に対応付けることを特徴とする情報端末装置。 An imaging unit for imaging an imaging target;
By forming an imaging target region in the input image from the imaging unit and extracting a feature point of the imaging target and associating it with a preset reference point of the imaging target, the relative position of the imaging target with respect to the imaging unit and An estimation unit for estimating a posture;
An extraction unit that extracts an area where an imaging target is located based on an input image from the imaging unit and an imaging target area formed by the estimation unit;
A display for displaying information;
A storage unit for storing information to be displayed on the display unit;
A control unit configured to control information read out from the storage unit and displayed on the display unit according to the position and orientation estimated by the estimation unit in an area where the imaging target extracted by the extraction unit is located ,
The estimation unit, when extracting the feature point of the imaging target from the input image from the imaging unit, forms an imaging target region by designating a predetermined range of colors in advance, and forms a minimum circumscribed rectangle that includes the imaging target region. An information terminal device comprising: forming and detecting a feature point based on the minimum circumscribed rectangle, and associating the feature point with a reference point set in advance as an end point of an imaging target .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011123636A JP5773421B2 (en) | 2011-06-01 | 2011-06-01 | Information terminal equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011123636A JP5773421B2 (en) | 2011-06-01 | 2011-06-01 | Information terminal equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012252465A JP2012252465A (en) | 2012-12-20 |
| JP5773421B2 true JP5773421B2 (en) | 2015-09-02 |
Family
ID=47525238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011123636A Expired - Fee Related JP5773421B2 (en) | 2011-06-01 | 2011-06-01 | Information terminal equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5773421B2 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3530772B2 (en) * | 1999-06-11 | 2004-05-24 | キヤノン株式会社 | Mixed reality device and mixed reality space image generation method |
| DE102007045835B4 (en) * | 2007-09-25 | 2012-12-20 | Metaio Gmbh | Method and device for displaying a virtual object in a real environment |
-
2011
- 2011-06-01 JP JP2011123636A patent/JP5773421B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012252465A (en) | 2012-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
| US20130002551A1 (en) | Instruction input device, instruction input method, program, recording medium, and integrated circuit | |
| US20180075620A1 (en) | Method and system for determining a pose of camera | |
| US9779699B2 (en) | Image processing device, image processing method, computer readable medium | |
| JP5534432B2 (en) | Information terminal equipment | |
| CN111930226A (en) | Gesture tracking method and device | |
| CN101593022A (en) | A Fast Human-Computer Interaction Method Based on Fingertip Tracking | |
| CN104914988A (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
| JP5456175B2 (en) | Video surveillance device | |
| JP5887264B2 (en) | Object recognition apparatus, method, program, and computer-readable medium storing the software | |
| JP5464661B2 (en) | Information terminal equipment | |
| JP5569973B2 (en) | Information terminal device, method and program | |
| Hartanto et al. | Real time hand gesture movements tracking and recognizing system | |
| JP2017103607A (en) | Image processing apparatus, image processing method, and program | |
| KR20110087407A (en) | Camera simulation system and position sensing method using the same | |
| JP6086474B2 (en) | Information terminal equipment | |
| JP2019045989A (en) | Information processing apparatus, information processing method and computer program | |
| JP6971788B2 (en) | Screen display control method and screen display control system | |
| JP5773421B2 (en) | Information terminal equipment | |
| JP5876121B2 (en) | Image processing apparatus, method, and program | |
| JP4972013B2 (en) | Information presenting apparatus, information presenting method, information presenting program, and recording medium recording the program | |
| US11881045B2 (en) | Region extraction device, region extraction method, and region extraction program | |
| JP2011071746A (en) | Video output device, and video output method | |
| JP2013257830A (en) | Information processor | |
| JP5983132B2 (en) | POSITION DETERMINING DEVICE, POSITION DETERMINING SYSTEM, POSITION DETERMINING METHOD, AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150624 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150625 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5773421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |