Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7395953B2 - Imaging device - Google Patents
[go: Go Back, main page]

JP7395953B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP7395953B2
JP7395953B2 JP2019192789A JP2019192789A JP7395953B2 JP 7395953 B2 JP7395953 B2 JP 7395953B2 JP 2019192789 A JP2019192789 A JP 2019192789A JP 2019192789 A JP2019192789 A JP 2019192789A JP 7395953 B2 JP7395953 B2 JP 7395953B2
Authority
JP
Japan
Prior art keywords
pair
imaging
support
imaging units
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019192789A
Other languages
Japanese (ja)
Other versions
JP2021067798A (en
Inventor
陽介 江口
龍生 奥田
崇文 大熊
陽一郎 松野
貴宏 麻生
俊光 河
一郎 田口
雅実 白井
真 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019192789A priority Critical patent/JP7395953B2/en
Publication of JP2021067798A publication Critical patent/JP2021067798A/en
Application granted granted Critical
Publication of JP7395953B2 publication Critical patent/JP7395953B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging device.

特許文献1には、危険警告情報を提供するウェアラブルスマート装置が開示されている。ウェアラブルスマート装置は、マイクロフォンと、カメラと、プロセッサとを有している。マイクロフォンは、潜在的危険に関係するオーディオデータを検出するように構成されている。カメラは、潜在的危険に関係する画像データを検出するように構成されている。プロセッサは、マイクロフォン及びカメラに結合されると共に潜在的危険が実際の危険を提示するかどうかを、検出されたオーディオデータ又は検出された画像データのうちの少なくとも1つに基づいて決定するように構成されている。 Patent Document 1 discloses a wearable smart device that provides danger warning information. The wearable smart device has a microphone, a camera, and a processor. The microphone is configured to detect audio data related to a potential hazard. The camera is configured to detect image data related to a potential hazard. A processor is coupled to the microphone and the camera and configured to determine whether the potential hazard presents an actual hazard based on at least one of the detected audio data or the detected image data. has been done.

特許文献2には、全天球動画の撮影システムが開示されている。全天球動画の撮影システムは、取得手段と、算出手段と、生成手段とを有している。取得手段は、撮像素子から原画像データを取り込む第1の周期よりも短い「1/整数」の第2の周期で撮像素子の鉛直方向に対する傾き角を取得する。算出手段は、原画像データを取得したタイミングで取得した撮像素子の鉛直方向に対する傾き角と、その前後のタイミングで取得した撮像素子の鉛直方向に対する傾き角とに基づいて平均傾き角を算出する。生成手段は、平均傾き角に基づいて原画像データを補正した補正画像データを生成する。 Patent Document 2 discloses a spherical video shooting system. The omnidirectional video shooting system includes an acquisition means, a calculation means, and a generation means. The acquisition means acquires the inclination angle of the image sensor with respect to the vertical direction at a second cycle of "1/integer" that is shorter than the first cycle of capturing original image data from the image sensor. The calculation means calculates the average tilt angle based on the tilt angle of the image sensor with respect to the vertical direction acquired at the timing when the original image data was acquired, and the tilt angle of the image sensor with respect to the vertical direction acquired at timings before and after the original image data. The generating means generates corrected image data by correcting the original image data based on the average tilt angle.

特開2016-186786号公報Japanese Patent Application Publication No. 2016-186786 特開2017-017689号公報Japanese Patent Application Publication No. 2017-017689

しかしながら、特許文献1のウェアラブルスマート装置及び特許文献2の全天球動画の撮影システムは、必ずしも、ユーザの使い勝手の良さや利便性に優れたものとは言えず、改善の余地があった。 However, the wearable smart device of Patent Document 1 and the omnidirectional video shooting system of Patent Document 2 cannot necessarily be said to be excellent in user-friendliness and convenience, and there is room for improvement.

本発明は、以上の問題意識に基づいてなされたものであり、好適な撮像装置を提供することを目的とする。 The present invention has been made based on the above-mentioned awareness of the problem, and an object of the present invention is to provide a suitable imaging device.

本実施形態の撮像装置は、一対の腕部と、該一対の腕部を接続する接続部と、を有する装着部と、前記一対の腕部に支持される一対の撮像部と、前記一対の腕部に対する前記一対の撮像部の支持位置を調整する調整機構と、を有し、前記調整機構は、前記一対の腕部の各々に設けられた先端側と中間側に位置する少なくとも2つの支持突起と、前記一対の撮像部の各々に設けられた前記少なくとも2つの支持突起に選択的に挿入される支持孔とを有し、前記支持孔が前記中間側に位置する前記支持突起に挿入されたときに、前記接続部の中央部と、前記一対の撮像部とを結んだ線の角度が60°~180°の範囲内であり、前記支持孔が前記先端側に位置する前記支持突起に挿入されたときに、前記接続部の中央部と、前記一対の撮像部とを結んだ線の角度が60°~180°の範囲内でない、ことを特徴とする。 The imaging device of the present embodiment includes: a mounting section having a pair of arms and a connecting section connecting the pair of arms; a pair of imaging sections supported by the pair of arms; an adjustment mechanism that adjusts the support position of the pair of imaging units with respect to the arm portions , and the adjustment mechanism includes at least two portions provided on each of the pair of arm portions, located on the distal end side and the intermediate side. a support protrusion; and a support hole that is selectively inserted into the at least two support protrusions provided on each of the pair of imaging units , and the support hole is inserted into the support protrusion located on the intermediate side. when the angle of the line connecting the central part of the connecting part and the pair of imaging parts is within the range of 60° to 180°, and the supporting protrusion has the supporting hole located on the tip side. When the device is inserted into the device, the angle of a line connecting the center portion of the connecting portion and the pair of imaging portions is not within a range of 60° to 180° .

本発明によれば、好適な撮像装置を提供することができる。 According to the present invention, a suitable imaging device can be provided.

本実施形態のウェアラブル装置の正面図である。FIG. 1 is a front view of the wearable device of this embodiment. 本実施形態のウェアラブル装置の背面図である。It is a rear view of the wearable device of this embodiment. 本実施形態のウェアラブル装置の上面図である。It is a top view of a wearable device of this embodiment. 本実施形態のウェアラブル装置を上斜め方向から見た斜視図である。FIG. 1 is a perspective view of the wearable device according to the present embodiment, viewed obliquely from above. 本実施形態のウェアラブル装置を下斜め方向から見た斜視図である。FIG. 2 is a perspective view of the wearable device according to the present embodiment, viewed diagonally from below. 本実施形態のウェアラブル装置の構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a wearable device according to the present embodiment. 本実施形態のウェアラブル装置をユーザに装着した状態を示す図である。FIG. 2 is a diagram showing a state in which the wearable device of the present embodiment is worn by a user. ネックマウント部に対する一対の撮像部の取付位置を最適化した場合の第1の例を示す図である。FIG. 6 is a diagram illustrating a first example in which the mounting positions of a pair of imaging units with respect to the neck mount are optimized. ネックマウント部に対する一対の撮像部の取付位置を最適化した場合の第2の例を示す図である。FIG. 7 is a diagram illustrating a second example in which the mounting positions of the pair of imaging units with respect to the neck mount are optimized. ネックマウント部及びこれに配置する撮像部の変形例を示す図である。It is a figure which shows the modification of the neck mount part and the imaging part arrange|positioned here. レンズ回転と画像カバーエリアの工夫を示す第1の図である。FIG. 3 is a first diagram showing the idea of lens rotation and image coverage area. レンズ回転と画像カバーエリアの工夫を示す第2の図である。FIG. 7 is a second diagram showing the lens rotation and the improvement of the image coverage area. レンズ回転と画像カバーエリアの工夫を示す第3の図である。FIG. 7 is a third diagram illustrating the lens rotation and the improvement of the image cover area. レンズ回転と画像カバーエリアの工夫を示す第4の図である。FIG. 4 is a fourth diagram illustrating the lens rotation and the improvement of the image cover area.

図1、図2、図3、図4、図5は、本実施形態のウェアラブル装置(撮像装置)1の正面図、背面図、上面図、上斜め方向から見た斜視図、下斜め方向から見た斜視図である。図6は、本実施形態のウェアラブル装置1の構成を示すブロック図である。図7は、本実施形態のウェアラブル装置1をユーザに装着した状態を示す図である。なお、図7では、ユーザに装着されたウェアラブル装置1の外観が図1~図5とは異なっているが、これは作図の便宜上の理由によるものである。図7はウェアラブル装置1がユーザの首に掛けて使用するものであることを概念的に示すものであり、本実施形態のウェアラブル装置1の特徴的な構成は、例えば、図1~図5や後述する図8、図9等に表現されている。 1, FIG. 2, FIG. 3, FIG. 4, and FIG. 5 are a front view, a back view, a top view, a perspective view seen from an upper diagonal direction, and a lower diagonal view of a wearable device (imaging device) 1 of the present embodiment. FIG. FIG. 6 is a block diagram showing the configuration of the wearable device 1 of this embodiment. FIG. 7 is a diagram showing a state in which the wearable device 1 of this embodiment is worn by a user. Note that in FIG. 7, the appearance of the wearable device 1 worn by the user is different from FIGS. 1 to 5, but this is for convenience of drawing. FIG. 7 conceptually shows that the wearable device 1 is used by hanging it around the user's neck, and the characteristic configuration of the wearable device 1 of this embodiment is, for example, as shown in FIGS. This is expressed in FIGS. 8, 9, etc., which will be described later.

以下の説明における上、下、前、後、左、右の各方向は、図中に示す矢線方向を基準とする。 In the following description, each direction of top, bottom, front, back, left, and right is based on the arrow direction shown in the figure.

ウェアラブル装置1は、ユーザの首に掛けられるように、ユーザの首の形状に沿った略U字形状(略C字形状)をなすネックマウント部(装着部)100を有している。ネックマウント部100は、例えば、中空の天然ゴム、柔軟性織物、合成樹脂、革、金属、非金属のいずれか又はこれらの少なくとも一部の組み合わせから構成されている。ネックマウント部100の内部には、信号伝送用ケーブル(図示略)が引き回されていてもよい。 The wearable device 1 includes a neck mount portion (attachment portion) 100 that is approximately U-shaped (approximately C-shaped) along the shape of the user's neck so that it can be hung around the user's neck. The neck mount portion 100 is made of, for example, hollow natural rubber, flexible fabric, synthetic resin, leather, metal, non-metal, or a combination of at least a portion of these. A signal transmission cable (not shown) may be routed inside the neck mount section 100.

ネックマウント部100は、略U字(略C字)形状の頂点部101と、この頂点部101を挟んだ両腕部102R、102Lとを有している。両腕部102R、102Lは「一対の腕部」を構成しており、頂点部101は、両腕部102R、102L(一対の腕部)を接続する「接続部の中央部」を構成している。この頂点部101は、略U字(略C字)形状における、湾曲部の中央部、すなわち略U字(略C字)形状の対称の軸上(線対称)に位置しているとも定義できる。ネックマウント部100は、頂点部101のうち略U字形状の開放側の反対側に位置する支持ホルダ103を有している。支持ホルダ103には、本体ボックス104が支持されている。なお、支持ホルダ103は、ネックマウント部100の両腕部102R、102L(一対の腕部)と頂点部101(接続部)の少なくとも1つに設けられていればよい。 The neck mount portion 100 has a substantially U-shaped (substantially C-shaped) apex portion 101 and both arm portions 102R and 102L that sandwich this apex portion 101. Both arm portions 102R and 102L constitute a “pair of arm portions”, and the apex portion 101 constitutes a “center portion of a connecting portion” that connects both arm portions 102R and 102L (a pair of arm portions). There is. This apex portion 101 can also be defined as being located at the center of the curved portion of the approximately U-shape (approximately C-shape), that is, on the axis of symmetry (line symmetry) of the approximately U-shape (approximately C-shape). . The neck mount section 100 has a support holder 103 located on the opposite side of the generally U-shaped open side of the apex section 101 . A main body box 104 is supported by the support holder 103 . Note that the support holder 103 may be provided on at least one of the arms 102R and 102L (a pair of arms) and the vertex 101 (connection part) of the neck mount part 100.

ネックマウント部100の両腕部102R、102Lには、側方突出腕105R、105Lが設けられている。側方突出腕105R、105Lは、両腕部102R、102Lの構成要素である。側方突出腕105Rには、前方に突出する支持突起105RFと、上方に突出する支持突起105RUとが設けられている。側方突出腕105Lには、前方に突出する支持突起105LFと、上方に突出する支持突起105LUとが設けられている。支持突起105RU、105LUは、図1、図2のみに破線で描いている。ネックマウント部100の両腕部102R、102Lには、前方に突出する支持突起102RF、102LFが設けられている。 Both arm parts 102R and 102L of the neck mount part 100 are provided with side projecting arms 105R and 105L. The lateral protruding arms 105R, 105L are components of both arm portions 102R, 102L. The side projecting arm 105R is provided with a support projection 105RF that projects forward and a support projection 105RU that projects upward. The side protruding arm 105L is provided with a support protrusion 105LF that protrudes forward and a support protrusion 105LU that protrudes upward. The support protrusions 105RU and 105LU are drawn with broken lines only in FIGS. 1 and 2. Both arm parts 102R and 102L of the neck mount part 100 are provided with support protrusions 102RF and 102LF that project forward.

ネックマウント部100の両腕部102R、102Lの側方突出腕105R、105Lには、一対の撮像部110R、110Lが支持されている。一対の撮像部110R、110Lは、ネックマウント部100の略U字形状の頂点部101を挟んだ両腕部102R、102L(側方突出腕105R、105L)に支持されている。具体的に、ネックマウント部100の側方突出腕105R、105Lの支持突起105RU、105LUには、一対の撮像部110R、110Lが支持されている。一対の撮像部110R、110Lは、支持孔110RH、110LHを有しており、この支持孔110RH、110LHに支持突起105RU、105LUを挿入することにより、一対の撮像部110R、110Lが支持される。一対の撮像部110R、110Lの支持孔110RH、110LHは、図1、図2のみに破線で描いている。 A pair of imaging units 110R and 110L are supported by side protruding arms 105R and 105L of both arms 102R and 102L of the neck mount unit 100. The pair of imaging sections 110R and 110L are supported by both arm sections 102R and 102L (lateral protruding arms 105R and 105L) that sandwich the approximately U-shaped apex section 101 of the neck mount section 100. Specifically, a pair of imaging units 110R and 110L are supported by the support protrusions 105RU and 105LU of the lateral protruding arms 105R and 105L of the neck mount unit 100. The pair of imaging units 110R and 110L have support holes 110RH and 110LH, and by inserting support protrusions 105RU and 105LU into the support holes 110RH and 110LH, the pair of imaging units 110R and 110L are supported. The support holes 110RH and 110LH of the pair of imaging units 110R and 110L are drawn with broken lines only in FIGS. 1 and 2.

ここで、一対の撮像部110R、110Lの支持孔110RH、110LHは、支持突起105RU、105LUの他にも、支持突起105RF、105LFあるいは支持突起102RF、102LFにも挿入可能となっている。すなわち、一対の撮像部110R、110Lの支持孔110RH、110LHを、支持突起102RF、102LF、支持突起105RF、105LF又は支持突起105RU、105LUに選択的に挿入することにより、ネックマウント部100の両腕部102R、102Lに対する一対の撮像部110R、110Lの支持位置を調整することができる(調整機構を構成することができる)。 Here, the support holes 110RH and 110LH of the pair of imaging units 110R and 110L can be inserted into the support projections 105RF and 105LF or the support projections 102RF and 102LF in addition to the support projections 105RU and 105LU. That is, by selectively inserting the support holes 110RH and 110LH of the pair of imaging units 110R and 110L into the support protrusions 102RF and 102LF, the support protrusions 105RF and 105LF, or the support protrusions 105RU and 105LU, both arms of the neck mount unit 100 The support positions of the pair of imaging units 110R and 110L relative to the units 102R and 102L can be adjusted (an adjustment mechanism can be configured).

ネックマウント部100の両腕部102R、102Lに対する一対の撮像部110R、110Lの支持位置を調整する調整機構は、例えば、ネックマウント部100の両腕部102R、102Lの各々に設けられた先端側と中間側に位置する少なくとも2つの支持突起と、一対の撮像部110R、110Lの各々に設けられた少なくとも2つの支持突起に選択的に挿入される支持孔とを有していればよい。また、一対の撮像部110R、110Lに設ける支持孔の数は、上述した支持孔110RH、110LHのように1つずつでもよいし、2つ以上ずつでもよい。 The adjustment mechanism for adjusting the support position of the pair of imaging units 110R and 110L with respect to both arm parts 102R and 102L of neck mount part 100 is, for example, a distal end side provided in each of both arm parts 102R and 102L of neck mount part 100. and at least two support protrusions located on the intermediate side, and a support hole that is selectively inserted into the at least two support protrusions provided on each of the pair of imaging units 110R and 110L. Further, the number of support holes provided in the pair of imaging units 110R and 110L may be one each like the above-mentioned support holes 110RH and 110LH, or two or more each.

あるいは、ネックマウント部100の両腕部102R、102Lに対する一対の撮像部110R、110Lの支持位置を調整する調整機構として、ネックマウント部100の両腕部102R、102Lに対して一対の撮像部110R、110Lを先端側又は基端側にスライドさせるスライド機構を適用することも可能である。このスライド機構は、例えば、一対の撮像部110R、110Lの各々に形成された、ネックマウント部100の両腕部102R、102Lを咥え込むリング部と、所定の位置でリング部のスライドを規制するストッパ部とを有することができる。 Alternatively, as an adjustment mechanism for adjusting the support position of the pair of imaging units 110R and 110L with respect to both arm parts 102R and 102L of the neck mount part 100, the pair of imaging units 110R and 110R with respect to both arm parts 102R and 102L of the neck mount part 100 may be , 110L may be applied to the distal end or the proximal end. This slide mechanism includes, for example, a ring part formed on each of the pair of imaging parts 110R and 110L that holds both arm parts 102R and 102L of the neck mount part 100, and a ring part that restricts the sliding of the ring part at a predetermined position. It can have a stopper part.

ネックマウント部100の両腕部102R、102Lは、一対の撮像部110R、110Lと接続される電気接続部(例えばワイヤーハーネスやフレキシブル回路基板など)を収納(内蔵)していてもよい。 Both arm parts 102R and 102L of the neck mount part 100 may house (incorporate) an electrical connection part (for example, a wire harness, a flexible circuit board, etc.) that is connected to the pair of imaging parts 110R and 110L.

図3、図4に示すように、ネックマウント部100の腕部102Lの先端部の近傍には、ウェアラブル装置1の撮影操作や設定操作などの各種操作を実行するための操作スイッチ111が設けられている。 As shown in FIGS. 3 and 4, an operation switch 111 is provided near the tip of the arm 102L of the neck mount 100 for performing various operations such as photographing and setting operations on the wearable device 1. ing.

図6に示されるように、撮像部110Rには、撮影レンズ10R及び撮像素子12Rが備えられ、撮像部110Lには、撮影レンズ10L及び撮像素子12Lが備えられている。 As shown in FIG. 6, the imaging section 110R is equipped with a photographic lens 10R and an image sensor 12R, and the imaging section 110L is equipped with a photographic lens 10L and an image sensor 12L.

本実施形態では、以下に説明するように、各2組の撮影レンズ10R、10L及び撮像素子12R、12Lによって撮影された2枚の撮影画像を繋ぎ合せて単一の合成画像(全天球画像)を生成する構成となっているが、別の実施形態では、各3組以上の撮影レンズ及び撮像素子によって撮影された3枚以上の撮影画像を繋ぎ合せて単一の合成画像を生成する構成としてもよい。 In this embodiment, as described below, two images taken by two sets of photographic lenses 10R, 10L and image sensors 12R, 12L are combined to form a single composite image (a spherical image). ), but in another embodiment, three or more photographed images taken by three or more sets of photographic lenses and image sensors are combined to generate a single composite image. You can also use it as

ウェアラブル装置1は、撮影レンズ10R、10L、撮像素子12R、12Lに加えて、画像処理部14、CPU(Central Processing Unit)16、ROM(Read Only Memory)18、RAM(Random Access Memory)20、RAMインタフェース22、ストレージ24、ストレージインタフェース26、3軸加速度センサ28、バッテリ30、モータ32、34及び操作スイッチ111を備える。 The wearable device 1 includes, in addition to photographic lenses 10R and 10L, and image sensors 12R and 12L, an image processing unit 14, a CPU (Central Processing Unit) 16, a ROM (Read Only Memory) 18, a RAM (Random Access Memory) 20, and a RAM. It includes an interface 22, a storage 24, a storage interface 26, a three-axis acceleration sensor 28, a battery 30, motors 32 and 34, and an operation switch 111.

操作スイッチ111には、電源スイッチやレリーズスイッチ、操作ダイヤル、操作キーなど、ユーザがウェアラブル装置1を操作するために必要な各種操作部が含まれる。ユーザにより電源スイッチが押されると、バッテリ30からウェアラブル装置1の各部に電源が供給される。CPU16は、ROM18にアクセスして制御プログラムをワークエリアにロードし、ロードされた制御プログラムを実行することにより、ウェアラブル装置1の全体の制御を行う。 The operation switch 111 includes various operation units necessary for the user to operate the wearable device 1, such as a power switch, a release switch, an operation dial, and an operation key. When the user presses the power switch, power is supplied from the battery 30 to each part of the wearable device 1 . The CPU 16 controls the entire wearable device 1 by accessing the ROM 18, loading a control program into the work area, and executing the loaded control program.

撮影レンズ10Rと撮影レンズ10Lは、同一の光学性能を有する魚眼レンズ(又は広角レンズ)であり、180度を超える画角(撮影範囲)を有している。 The photographic lens 10R and the photographic lens 10L are fisheye lenses (or wide-angle lenses) having the same optical performance, and have an angle of view (photographing range) exceeding 180 degrees.

撮像素子12Rは、撮像面の中心(有効画素領域の中心)が撮影レンズ10Rの光軸と直交し且つ撮像面が撮影レンズ10Rの結像面となる位置に設置されている。撮像素子12Lは、撮像面の中心(有効画素領域の中心)が撮影レンズ10Lの光軸と直交し且つ撮像面が撮影レンズ10Lの結像面となる位置に設置されている。 The imaging element 12R is installed at a position where the center of the imaging surface (the center of the effective pixel area) is perpendicular to the optical axis of the photographic lens 10R, and the imaging surface is the imaging surface of the photographic lens 10R. The imaging element 12L is installed at a position where the center of the imaging surface (the center of the effective pixel area) is perpendicular to the optical axis of the photographing lens 10L, and the imaging surface is the imaging surface of the photographing lens 10L.

一対の撮像部110R、110Lは、支持突起105RU、105LUに対する支持孔110RH、110LHの回動位置(回転位置)を調整することにより、撮影レンズ10R、10Lの光軸と直交する第1軸周りであるロール方向に回転可能となっている。 The pair of imaging units 110R and 110L can be rotated around a first axis perpendicular to the optical axes of the photographing lenses 10R and 10L by adjusting the rotational positions (rotational positions) of the support holes 110RH and 110LH with respect to the support protrusions 105RU and 105LU. It can be rotated in a certain roll direction.

一対の撮像部110R、110Lは、支持孔110RH、110LHが支持突起102RF、102LF又は支持突起105RF、105LFに挿入されている状態で、支持突起102RF、102LF又は支持突起105RF、105LFに対する支持孔110RH、110LHの回動位置(回転位置)を調整することにより、撮影レンズ10R、10Lの光軸と直交しかつ第1軸と直交する第2軸周りであるヨー方向に回転可能となっている。 The pair of imaging units 110R and 110L have the support holes 110RH and 110LH inserted into the support projections 102RF and 102LF or the support projections 105RF and 105LF; By adjusting the rotational position (rotational position) of the lens 110LH, it can be rotated in the yaw direction about a second axis that is perpendicular to the optical axes of the photographic lenses 10R and 10L and perpendicular to the first axis.

このように、一対の撮像部110R、110Lは、撮影レンズ10R、10Lの光軸と直交する第1軸周りであるロール方向と、撮影レンズ10R、10Lの光軸と直交しかつ第1軸と直交する第2軸周りであるヨー方向との少なくとも一方に回転可能となっている。その際、一対の撮像部110R、110Lは、所定の角度ピッチで回転可能となっている。 In this way, the pair of imaging units 110R and 110L have a roll direction that is around the first axis that is perpendicular to the optical axes of the photographic lenses 10R and 10L, and a first axis that is perpendicular to the optical axes of the photographic lenses 10R and 10L. It is rotatable in at least one of the yaw direction and the yaw direction around the orthogonal second axis. At this time, the pair of imaging units 110R and 110L are rotatable at a predetermined angular pitch.

撮像素子12R、12Lは、同一仕様(有効画素数や画素サイズ等が同一)のイメージセンサである。例示的には、撮像素子12R、12Lは、ベイヤ配列フィルタを搭載したCMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、それぞれ、対応する撮影レンズ10R、10Lを介して撮像面上の各画素で結像した光学像を光量に応じた電荷として蓄積する。撮像素子12R、12Lは、蓄積された電荷をフローティングディフュージョンアンプにて電圧(以下「画像信号」と記す。)に変換する。撮像素子12R、12Lより出力された画像信号は、画像処理部14に入力される。撮像素子12R、12Lは、CCD(Charge Coupled Device)イメージセンサであってもよく、また、補色系フィルタを搭載したイメージセンサであってもよい。また、撮像素子12R、12Lは、暗視や好感度が求められる用途などにおいては、白黒イメージセンサであってもよい。 The image sensors 12R and 12L are image sensors with the same specifications (the number of effective pixels, pixel size, etc. are the same). Illustratively, the image sensors 12R and 12L are CMOS (Complementary Metal Oxide Semiconductor) image sensors equipped with Bayer array filters, and images are formed at each pixel on the imaging surface via corresponding photographic lenses 10R and 10L, respectively. The imaged optical image is accumulated as a charge according to the amount of light. The image sensors 12R and 12L convert accumulated charges into voltages (hereinafter referred to as "image signals") using floating diffusion amplifiers. Image signals output from the image sensors 12R and 12L are input to the image processing section 14. The image sensors 12R and 12L may be CCD (Charge Coupled Device) image sensors, or may be image sensors equipped with complementary color filters. Furthermore, the image sensors 12R and 12L may be black and white image sensors in applications where night vision or favorable sensitivity is required.

画像処理部14は、撮像素子12R、12Lより入力される画像データに対して所定の信号処理を施す。なお、説明の便宜上、各画素の画像信号を含む撮影画像一枚分のデータを「画像データ」と記す。また、説明の便宜上、撮像素子12Rより入力されて画像処理部14内で処理される画像データを「画像データDA」と記し、撮像素子12Lより入力されて画像処理部14内で処理される画像データを「画像データDB」と記す。 The image processing unit 14 performs predetermined signal processing on image data input from the image sensors 12R and 12L. For convenience of explanation, data for one photographed image including the image signal of each pixel will be referred to as "image data." For convenience of explanation, the image data input from the image sensor 12R and processed within the image processing unit 14 will be referred to as "image data DA," and the image data input from the image sensor 12L and processed within the image processing unit 14 will be referred to as "image data DA." The data will be referred to as "image data DB".

画像処理部14は、画像データDA、DBに対して、OB(Optical Black)補正処理、欠陥画素補正処理、リニア(Linear)補正処理、シェーディング(Shading)補正処理、領域分割平均処理を行い、領域分割平均処理後の画像データDA、DBをRAMインタフェース22によってRAM20に保存する。 The image processing unit 14 performs OB (Optical Black) correction processing, defective pixel correction processing, linear correction processing, shading correction processing, and region division averaging processing on the image data DA and DB, and The image data DA and DB after the dividing and averaging process are stored in the RAM 20 by the RAM interface 22.

ROM18には、例えば製造時の検査工程で検出された撮像素子12R、12Lの欠陥画素の情報(アドレス)が予め記憶されている。欠陥画素補正処理では、ROM18に記憶されたアドレスの欠陥画素に対し、隣接する複数の画素からの合成信号に基づく画素値の補正が行われる。 The ROM 18 stores in advance information (addresses) of defective pixels of the image sensors 12R and 12L detected, for example, in an inspection process during manufacturing. In the defective pixel correction process, the pixel value of the defective pixel at the address stored in the ROM 18 is corrected based on a composite signal from a plurality of adjacent pixels.

画像処理部14は、次いで、RAM20に保存された画像データDA、DBに対して、ホワイトバランス処理、ガンマ(γ)補正処理、ベイヤ補間処理、YUV変換処理、エッジ強調処理及び色補正処理を行い、色補正処理後の画像データDA、DBをRAMインタフェース22によってRAM20に保存する。 The image processing unit 14 then performs white balance processing, gamma (γ) correction processing, Bayer interpolation processing, YUV conversion processing, edge enhancement processing, and color correction processing on the image data DA and DB stored in the RAM 20. , the image data DA and DB after color correction processing are stored in the RAM 20 by the RAM interface 22.

画像処理部14は、RAM20に保存された色補正処理後の画像データDA、DBに対してクロップ処理を施し、次いで、歪曲補正処理及び合成処理を施す。歪曲補正処理では、2つの画像データDA、DBに対して、3軸加速度センサ28より出力される情報をもとに歪曲補正及び天地補正(傾き補正)が施される。合成処理では、歪曲補正処理後の2つの画像データDA、DBが合成されて(言い換えると、撮像素子12R、12Lによって撮像された2枚の撮影画像が繋ぎ合わされて)、全天球画像(立体角4πラジアンの画像)データが生成される。 The image processing unit 14 performs a crop process on the image data DA and DB after the color correction process stored in the RAM 20, and then performs a distortion correction process and a compositing process. In the distortion correction process, distortion correction and vertical correction (tilt correction) are performed on the two image data DA and DB based on information output from the three-axis acceleration sensor 28. In the compositing process, the two image data DA and DB after the distortion correction process are combined (in other words, the two captured images captured by the image sensors 12R and 12L are joined) to create a spherical image (stereoscopic image). Image data with an angle of 4π radians is generated.

なお、画像処理部14は、画像データDA、DBの夫々を単独の画像データとして別個に保存することもできる。 Note that the image processing unit 14 can also separately save each of the image data DA and DB as independent image data.

画像処理部14は、全天球画像データをJPEG(Joint Photographic Experts Group)等の所定のフォーマットで圧縮する。圧縮後の全天球画像データは、ストレージインタフェース26を介してストレージ24に保存される。ストレージ24は、例えばmicroSDカードである。 The image processing unit 14 compresses the spherical image data in a predetermined format such as JPEG (Joint Photographic Experts Group). The compressed spherical image data is stored in the storage 24 via the storage interface 26. The storage 24 is, for example, a microSD card.

全天球画像データは、Wi-FiやBluetooth(登録商標)等の無線経由でPCやスマートフォン等の外部装置に転送されてもよい。ユーザは、撮影した全天球画像を外部装置の画面で見ることができる。なお、ウェアラブル装置1と外部装置との接続は無線に限らず有線であってもよい。 The spherical image data may be transferred to an external device such as a PC or a smartphone via wireless communication such as Wi-Fi or Bluetooth (registered trademark). The user can view the captured spherical image on the screen of the external device. Note that the connection between the wearable device 1 and the external device is not limited to wireless, and may be wired.

なお、図6に示す一対の撮像部110R、110L以外の構成要素、例えば、画像処理部14やCPU16等は、本体ボックス104の構成要素とすることができる。すなわち、一対の撮像部110R、110Lによる撮像画像データは、有線又は無線を通じて、本体ボックス104の画像処理部14やCPU16に伝送することができる。 Note that components other than the pair of imaging units 110R and 110L shown in FIG. 6, such as the image processing unit 14 and the CPU 16, can be components of the main body box 104. That is, image data captured by the pair of imaging units 110R and 110L can be transmitted to the image processing unit 14 and CPU 16 of the main body box 104 via wire or wireless.

本体ボックス104は、支持ホルダ103に支持されることなく、ウェアラブル装置1と分離された形で配置してもよい。例えば、本体ボックス104は、ウェアラブル装置1と有線又は無線で通信可能として、ユーザのポケットに入れられてもよい。例えば、本体ボックス104が大容量バッテリを搭載する場合は、本体ボックス104の重量が大きくなるので、本体ボックス104をウェアラブル装置1から分離して、ユーザの首に与える重さの負担を小さくすることが好ましい。また、ウェアラブル装置1が熱を帯びる場合は、本体ボックス104をウェアラブル装置1から分離して、ユーザの首に熱が伝わることを防止することが好ましい。 The main body box 104 may be placed separately from the wearable device 1 without being supported by the support holder 103. For example, the main box 104 may be placed in a user's pocket so that it can communicate with the wearable device 1 by wire or wirelessly. For example, when the main body box 104 is equipped with a large capacity battery, the weight of the main body box 104 becomes large. Therefore, the main body box 104 may be separated from the wearable device 1 to reduce the burden of weight on the user's neck. is preferred. Further, when the wearable device 1 becomes hot, it is preferable to separate the main body box 104 from the wearable device 1 to prevent heat from being transferred to the user's neck.

ところで、本実施形態の撮像装置1は、ユーザの首に掛けて、当該ユーザを中心とした全天球画像(360°画像)を取得することができるウェアラブル装置である。従って、当該ユーザ以外の者が全天球画像を見たとき、当該全天球画像を、あたかも、当該ユーザと同じ場所にいた全天球画像、当該ユーザになり代わった全天球画像、当該ユーザに憑依した全天球画像として捉えることができる。これにより、当該ユーザの見る景色、環境をそのまま体感し、いわゆる追体験することが可能となる。自分視点の映像を共有して、ハンズフリーで遠くにいる人に憑依することで、例えば、現場作業者や障がい者への支援やセキュリティ強化を図ったり、技術の伝承や教育の支援を図ったりすることが可能になる。さらには、優れたアスリートに憑依してその実体験画像を得ることが可能になる。 By the way, the imaging device 1 of this embodiment is a wearable device that can be hung around a user's neck to obtain a spherical image (360° image) centered on the user. Therefore, when a person other than the user views the spherical image, the spherical image is treated as if the spherical image was in the same place as the user, the spherical image in place of the user, or the spherical image in place of the user. It can be perceived as a spherical image possessing the user. This makes it possible to experience the scenery and environment that the user sees as they are, so-called reliving the experience. By sharing images from your own perspective and possessing people far away with hands-free hands-free control, you can, for example, provide support for on-site workers and people with disabilities, strengthen security, pass on technology, and support education. It becomes possible to do so. Furthermore, it becomes possible to possess excellent athletes and obtain images of their actual experiences.

本発明者は、鋭意研究の結果、ユーザの首に掛けて使用するようなウェアラブル装置1において、当該ユーザを中心とした全天球画像を取得するに当たって、ネックマウント部100に対する一対の撮像部110R、110Lの取付位置が重要であることを見出した。ネックマウント部100に対する一対の撮像部110R、110Lの取付位置が不適切であると、ユーザの体の少なくとも一部(例えば肩や胸や首等)が邪魔になって全天球画像に写り込む結果、好適な全天球画像を取得することが困難になってしまう。 As a result of intensive research, the present inventors have determined that, in a wearable device 1 that is worn around the user's neck, when acquiring a spherical image centered on the user, a pair of imaging units 110R for the neck mount unit 100 is used. , found that the mounting position of the 110L is important. If the mounting positions of the pair of imaging units 110R and 110L with respect to the neck mount unit 100 are inappropriate, at least a part of the user's body (for example, shoulders, chest, neck, etc.) will get in the way and be reflected in the spherical image. As a result, it becomes difficult to obtain a suitable spherical image.

図8は、ネックマウント部100に対する一対の撮像部110R、110Lの取付位置を最適化した場合の第1の例を示す図である。 FIG. 8 is a diagram showing a first example in which the mounting positions of the pair of imaging units 110R and 110L with respect to the neck mount unit 100 are optimized.

図8において、ネックマウント部100の両腕部(一対の腕部)102R、102Lを接続する接続部の中央部である頂点部101を規定する。また、一対の撮像部110R、110Lの位置を規定する。図8では、「一対の撮像部110R、110Lの位置」として、一対の撮像部110R、110Lの本体中央部分を例示している。しかし、「一対の撮像部110R、110Lの位置」は、一対の撮像部110R、110Lの撮影レンズ10R、10Lあるいは撮像素子12R、12Lであってもよい。さらに、「一対の撮像部110R、110Lの位置」は、支持孔110RH、110LHに対する支持突起105RU、105LUの挿入部であってもよいし、側方突出腕(一対の腕部)105R、105Lの所定位置であってもよい。このように、「一対の撮像部110R、110Lの位置」をどのように規定するかには自由度があり、種々の設計や解釈の変更が可能である。 In FIG. 8, an apex portion 101 is defined, which is a central portion of a connecting portion that connects both arm portions (a pair of arm portions) 102R and 102L of the neck mount portion 100. Furthermore, the positions of the pair of imaging units 110R and 110L are defined. In FIG. 8, the central portions of the main bodies of the pair of imaging units 110R and 110L are illustrated as “positions of the pair of imaging units 110R and 110L”. However, the "positions of the pair of imaging units 110R and 110L" may be the photographing lenses 10R and 10L of the pair of imaging units 110R and 110L or the imaging elements 12R and 12L. Furthermore, the "positions of the pair of imaging units 110R and 110L" may be the insertion parts of the support protrusions 105RU and 105LU into the support holes 110RH and 110LH, or the positions of the side protruding arms (pair of arm parts) 105R and 105L. It may be a predetermined position. In this way, there is a degree of freedom in how "the positions of the pair of imaging units 110R and 110L" are defined, and various changes in design and interpretation are possible.

図8において、ネックマウント部100の頂点部101(接続部の中央部)と、一対の撮像部110R、110Lとを結んだ線の角度αは、60°~180°の範囲内であること(60≦α≦180)が好ましく、80°~120°の範囲内であること(80≦α≦120)がより好ましい。この条件を満足することで、一対の撮像部110R、110Lがユーザの両肩の上部かつ首の左右に配置され、ユーザの体が全天球画像に写り込むことなく、好適な全天球画像を取得することができる。角度αが60°を下回ると(α<60)、一対の撮像部110R、110Lがネックマウント部100の両腕部102R、102Lの先端部に近すぎるため、ユーザの体が全天球画像に写り込む結果、好適な全天球画像を取得することが困難になってしまう。角度αが180°を上回ると(α>180)、ネックマウント部100をユーザに装着する(ユーザの首に掛ける)ことが困難になってしまう。 In FIG. 8, the angle α of the line connecting the vertex 101 of the neck mount section 100 (the center of the connection section) and the pair of imaging sections 110R and 110L is within the range of 60° to 180° ( 60≦α≦180), and more preferably within the range of 80° to 120° (80≦α≦120). By satisfying this condition, the pair of imaging units 110R and 110L are placed above both shoulders of the user and on the left and right sides of the neck, and the user's body is not included in the spherical image, and a suitable spherical image can be obtained. can be obtained. When the angle α is less than 60° (α<60), the pair of imaging units 110R and 110L are too close to the tips of the arms 102R and 102L of the neck mount unit 100, and the user's body is captured in a spherical image. As a result, it becomes difficult to obtain a suitable spherical image. When the angle α exceeds 180° (α>180), it becomes difficult to attach the neck mount section 100 to the user (hang it around the user's neck).

図9は、ネックマウント部100に対する一対の撮像部110R、110Lの取付位置を最適化した場合の第2の例を示す図である。「一対の撮像部110R、110Lの位置」の定義については、図8で説明したものと同様である。 FIG. 9 is a diagram showing a second example in which the mounting positions of the pair of imaging units 110R and 110L with respect to the neck mount unit 100 are optimized. The definition of "the positions of the pair of imaging units 110R and 110L" is the same as that described in FIG. 8.

図9において、一対の撮像部110R、110Lは、共通光軸を形成するように対向配置されている。また、共通光軸と平行をなすとともに、一対の撮像部110R、110Lから所定距離だけ離れた位置でネックマウント部100の頂点部101(接続部の中央部)を含むように延びる仮想軸を規定する。 In FIG. 9, a pair of imaging units 110R and 110L are arranged to face each other so as to form a common optical axis. Further, a virtual axis is defined that is parallel to the common optical axis and extends to include the apex portion 101 (the center of the connection portion) of the neck mount portion 100 at a position separated by a predetermined distance from the pair of imaging units 110R and 110L. do.

図9において、仮想軸から一対の撮像部110R、110Lの各々までの角度βは、0°~60°の範囲内であること(0≦β≦60)が好ましく、30°~50°の範囲内であること(30≦β≦50)がより好ましい。この条件を満足することで、一対の撮像部110R、110Lがユーザの両肩の上部かつ首の左右に配置され、ユーザの体が全天球画像に写り込むことなく、好適な全天球画像を取得することができる。角度βが0°を下回ると(β<0)、ネックマウント部100をユーザに装着する(ユーザの首に掛ける)ことが困難になってしまう。角度βが60°を上回ると(β>60)、一対の撮像部110R、110Lがネックマウント部100の両腕部102R、102Lの先端部に近すぎるため、ユーザの体が全天球画像に写り込む結果、好適な全天球画像を取得することが困難になってしまう。 In FIG. 9, the angle β from the virtual axis to each of the pair of imaging units 110R and 110L is preferably in the range of 0° to 60° (0≦β≦60), and is in the range of 30° to 50°. More preferably, it is within (30≦β≦50). By satisfying this condition, the pair of imaging units 110R and 110L are placed above both shoulders of the user and on the left and right sides of the neck, and the user's body is not included in the spherical image, and a suitable spherical image can be obtained. can be obtained. When the angle β is less than 0° (β<0), it becomes difficult to attach the neck mount section 100 to the user (hang it around the user's neck). When the angle β exceeds 60° (β>60), the pair of imaging units 110R and 110L are too close to the tips of the arms 102R and 102L of the neck mount unit 100, and the user's body is captured in a spherical image. As a result, it becomes difficult to obtain a suitable spherical image.

図10A、図10Bは、ネックマウント部100及びこれに配置する撮像部の変形例を示す図である。 FIGS. 10A and 10B are diagrams showing modified examples of the neck mount section 100 and the imaging section disposed thereon.

図10Aでは、ネックマウント部100がユーザの頭と首を取り囲む略コ字形状をなし、互いに平行に延びる一対の対向部120と、一対の対向部120の端部どうしを接続する接続部130とを有している。なお、本変形例では略U字(略C字)形状の湾曲部を備えないかわりに、一対の対向部を直角に接続する直線状の接続部130を備えている。また、一対の対向部120と接続部130の接続部に2つの撮像部140Aが設けられており、一対の対向部120の中間部に2つの撮像部140Bが設けられている。そして、例えば、接続部130の中央部と、2つの撮像部140Bとを結んだ線の角度α’は、60°~180°の範囲内であること(60≦α’≦180)が好ましく、80°~120°の範囲内であること(80≦α’≦120)がより好ましい。 In FIG. 10A, the neck mount part 100 has a substantially U-shape that surrounds the user's head and neck, and includes a pair of opposing parts 120 that extend parallel to each other, and a connecting part 130 that connects the ends of the pair of opposing parts 120. have. Note that this modification does not include a substantially U-shaped (substantially C-shaped) curved portion, but instead includes a linear connecting portion 130 that connects a pair of opposing portions at right angles. Furthermore, two imaging units 140A are provided at the connecting portion between the pair of opposing portions 120 and the connecting portion 130, and two imaging portions 140B are provided at the intermediate portion of the pair of opposing portions 120. For example, it is preferable that the angle α' of the line connecting the central part of the connecting part 130 and the two imaging parts 140B is within the range of 60° to 180° (60≦α'≦180), More preferably, the angle is within the range of 80° to 120° (80≦α'≦120).

図10Bでは、ネックマウント部100がユーザの頭と首を取り囲む中空リング形状をなし、互いに平行に延びる一対の対向部150と、一対の対向部150の端部どうしを接続する中空リング接続部(接続部)160とを有している。また、一対の対向部150と中空リング接続部160の接続部に2つの撮像部170Aが設けられており、一対の対向部150の中間部に2つの撮像部170Bが設けられている。そして、例えば、中空リング接続部160の中央部と、2つの撮像部170A又は2つの撮像部170Bとを結んだ線の角度α”は、60°~180°の範囲内であること(60≦α”≦180)が好ましく、80°~120°の範囲内であること(80≦α”≦120)がより好ましい。なお、中空リング形状は曲線形状を呈しているが、ユーザの頭と首を取り囲む形状であればよく、例えば直線形状の略ロ字であっても構わない。 In FIG. 10B, the neck mount part 100 has a hollow ring shape that surrounds the user's head and neck, and includes a pair of opposing parts 150 extending parallel to each other, and a hollow ring connecting part ( connection portion) 160. Further, two imaging units 170A are provided at the connection portion between the pair of opposing portions 150 and the hollow ring connection portion 160, and two imaging portions 170B are provided at the intermediate portion of the pair of opposing portions 150. For example, the angle α'' of the line connecting the central part of the hollow ring connection part 160 and the two imaging units 170A or the two imaging units 170B is within the range of 60° to 180° (60≦ α”≦180) is preferable, and it is more preferable that it is within the range of 80° to 120° (80≦α”≦120).Although the hollow ring shape has a curved shape, the user's head and neck The shape may be any shape as long as it surrounds, for example, it may be a straight, substantially square shape.

なお、本発明は上記の実施形態に限定されず、種々変更して実施することが可能である。上記の実施形態において、添付図面に図示されている構成要素の大きさや形状、機能などについては、これに限定されず、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。 Note that the present invention is not limited to the above-described embodiments, and can be implemented with various modifications. In the embodiments described above, the sizes, shapes, functions, etc. of the components illustrated in the accompanying drawings are not limited to these, and can be changed as appropriate within the scope of achieving the effects of the present invention. Other changes can be made as appropriate without departing from the scope of the invention.

例えば、以上の実施形態では、ウェアラブル装置1をユーザの首に掛けるネックレス型とした場合を例示して説明したが、ユーザの頭部や手首などの別の部位に掛けるタイプに適用することも可能である。 For example, in the above embodiment, the wearable device 1 is described as a necklace type that is hung around the user's neck, but it can also be applied to a type that is hung on another part such as the user's head or wrist. It is.

例えば、以上の実施形態では、撮像装置をウェアラブル装置1に適用した場合を例示して説明したが、撮像装置をウェアラブル装置以外の各種装置に適用することも可能である。 For example, in the above embodiment, the case where the imaging device is applied to the wearable device 1 has been described as an example, but the imaging device can also be applied to various devices other than the wearable device.

また、一対の撮像部110R、110Lの各々の光軸が互いに平行になる位置で撮影処理を行った場合に、立体画像に関する処理を行うために必要な情報を取得・解析したり、当該情報を撮影画像データに付加したりしてもよい。 In addition, when photographing processing is performed at a position where the optical axes of the pair of imaging units 110R and 110L are parallel to each other, it is possible to obtain and analyze information necessary to perform processing regarding a stereoscopic image, and to use the information. It may also be added to photographed image data.

例えば、一対の撮像部110R、110Lを内側のユーザに向けて、当該ユーザの顔情報を取得・解析することにより、当該ユーザに関する状態(例えば、喜怒哀楽のレベル等の心理状態、交感神経や副交感神経の状態、脈拍や血圧等の生体の状態、疲労の状態など)を把握することができる。さらには、ユーザの特定情報と一緒に周囲の状況を撮影画像データに含ませることにより、撮影画像データを証拠として用いることが可能になる(例えば、ユーザがいつどこで何をしたか等の証拠情報として残すことができる)。 For example, by pointing the pair of imaging units 110R and 110L toward the inner user and acquiring and analyzing facial information of the user, the user's state (e.g., psychological state such as level of joy, anger, sorrow, etc., sympathetic nervous system, etc.) It is possible to grasp the state of the parasympathetic nervous system, the state of the body such as pulse and blood pressure, the state of fatigue, etc.). Furthermore, by including the user's specific information and the surrounding situation in the captured image data, it becomes possible to use the captured image data as evidence (e.g., evidence information such as what the user did, when, where, etc.) ).

例えば、一対の撮像部110R、110Lを前方に向けて情報を取得することにより、当該情報に基づく物体検出処理(測距処理)を行うことができる。つまり、ウェアラブル装置1をステレオカメラ(測距装置)として使用することができる。 For example, by acquiring information with the pair of imaging units 110R and 110L facing forward, object detection processing (distance measurement processing) can be performed based on the information. That is, the wearable device 1 can be used as a stereo camera (distance measuring device).

また、一対の撮像部110R、110Lの各々の光軸を互いに異ならせてもよい。例えば、一対の撮像部110R、110Lの一方を前に向けて他方を横に向けてもよい。 Further, the optical axes of the pair of imaging units 110R and 110L may be made different from each other. For example, one of the pair of imaging units 110R and 110L may face forward and the other may face sideways.

また、一対の撮像部110R、110Lの取付位置にフォーカスすることに代えて/加えて、回転によるステッチ距離を短くする態様も可能である。つまり、一対の撮像部110R、110Lの位置と回転の応用例である。図11~図14は、レンズ回転と画像カバーエリアの工夫を示す第1~第4の図である。 Furthermore, instead of/in addition to focusing on the mounting positions of the pair of imaging units 110R and 110L, it is also possible to shorten the stitch distance by rotation. In other words, this is an application example of the position and rotation of the pair of imaging units 110R and 110L. FIGS. 11 to 14 are first to fourth diagrams showing the lens rotation and the improvement of the image cover area.

図11において、魚眼レンズが広角になればなるほど、カバー範囲は大きくなり、ステッチポイントは近くなる。つまり、両側画像がステッチされる位置が近くなり、近距離の両側画像を繋ぐことができる。広角レンズにするほど、レンズは大型化、高コスト化するため、185°~230°程度が望ましい。大型化は、ウェアラブルデバイスには致命的に好ましくない。図11のように、両側の魚眼レンズを配置して、イメージセンサ面の角度を平行にした場合、ステッチポイントまでの距離はA=Bである。この場合、360°ステッチして正面から背面まで全周囲を等距離まで撮像する場合に好都合である。しかし、正面、例えば手元の作業を重視して撮像したい場合(例えば、手術、工芸、アート、工作など)、距離Bを短くしたい場合がある。距離Bが長いと、画像がステッチされない問題があるためである。 In FIG. 11, the wider the fisheye lens, the larger the coverage area and the closer the stitch points are. In other words, the positions where the images on both sides are stitched become closer, and the images on both sides at a short distance can be connected. The wider the angle of the lens, the larger and more expensive the lens becomes, so the angle is preferably about 185° to 230°. Increased size is fatally undesirable for wearable devices. As shown in FIG. 11, when the fisheye lenses on both sides are arranged and the angles of the image sensor surfaces are made parallel, the distance to the stitch point is A=B. In this case, it is convenient to perform 360° stitching and image the entire periphery from the front to the back at an equal distance. However, if you want to capture images from the front, focusing on the work at hand (for example, surgery, crafts, art, crafts, etc.), you may want to shorten the distance B. This is because if the distance B is long, there is a problem that the images will not be stitched.

そこで、図12に示すように、両側の魚眼レンズを回転して外を向いた状態で固定して撮像することで、正面方向を重視して、ステッチ距離を短くすることが考えられる。この場合、背面方向は犠牲にすることになる。これは、手元作業を重視して撮像する用途に対して有効な方式である。 Therefore, as shown in FIG. 12, it is conceivable to focus on the front direction and shorten the stitch distance by rotating the fisheye lenses on both sides and fixing them facing outward to take an image. In this case, the back direction will be sacrificed. This is an effective method for applications in which images are taken with emphasis on the work at hand.

あるいは、図13に示すように、両側の魚眼レンズを正面に向けて回転させて固定して撮像することでステレオイメージングを可能としてもよい。この場合、両画像のステッチは行わない。この場合、距離情報が重要なステレオ視に適する。特にヘッドマウントディスプレイでステレオ視鑑賞するときに、遠近感ある手元作業などに適する。 Alternatively, as shown in FIG. 13, stereo imaging may be made possible by rotating and fixing the fisheye lenses on both sides toward the front. In this case, both images are not stitched. This case is suitable for stereo viewing where distance information is important. It is especially suitable for stereoscopic viewing on a head-mounted display, and when working at hand with a sense of perspective.

あるいは、図14に示すように、両側の魚眼レンズを、内側に回転させて固定させて撮像すると、自分の顔を画像に含めることができる。この場合、装着者の顔が映る程度の画角が得られるようにレンズ画角やレンズ間距離を設定する必要がある。当然ながら正面方向の画角は狭くなるが、正面の被写体と自分の顔の両方が画像に写り込む。自分と相手の表情データを取得したり、顔や首表面画像から脈拍をセンシングしたりするような用途にも使うことができる。 Alternatively, as shown in FIG. 14, if the fisheye lenses on both sides are rotated inward and fixed, the user's own face can be included in the image. In this case, it is necessary to set the lens angle of view and the distance between the lenses so that an angle of view that allows the wearer's face to be seen is obtained. Naturally, the angle of view in the front direction is narrower, but both the subject in front of you and your face are reflected in the image. It can also be used for purposes such as acquiring facial expression data of yourself and the other person, and sensing pulses from images of the face and neck surface.

1 ウェアラブル装置(撮像装置)
10R 10L 撮影レンズ
12R 12L 撮像素子
14 画像処理部
16 CPU(Central Processing Unit)
18 ROM(Read Only Memory)
20 RAM(Random Access Memory)
22 RAMインタフェース
24 ストレージ
26 ストレージインタフェース
28 3軸加速度センサ
30 バッテリ
32 34 モータ
100 ネックマウント部(装着部)
101 頂点部(接続部の中央部)
102R 102L 両腕部(一対の腕部)
102RF 102LF 支持突起(調整機構)
103 支持ホルダ
104 本体ボックス
105R 105L 側方突出腕(一対の腕部)
105RF 105RU 105LF 105LU 支持突起(調整機構)
110R 110L 撮像部(一対の撮像部)
110RH 110LH 支持孔(調整機構)
111 操作スイッチ
120 一対の対向部
130 接続部
140A 140B 撮像部
150 一対の対向部
160 中空リング接続部(接続部)
170A 170B 撮像部
1 Wearable device (imaging device)
10R 10L Photographic lens 12R 12L Image sensor 14 Image processing section 16 CPU (Central Processing Unit)
18 ROM (Read Only Memory)
20 RAM (Random Access Memory)
22 RAM interface 24 Storage 26 Storage interface 28 3-axis acceleration sensor 30 Battery 32 34 Motor 100 Neck mount part (installation part)
101 Vertex (center of connection)
102R 102L Both arms (pair of arms)
102RF 102LF Support protrusion (adjustment mechanism)
103 Support holder 104 Main box 105R 105L Laterally protruding arms (pair of arms)
105RF 105RU 105LF 105LU Support protrusion (adjustment mechanism)
110R 110L Imaging unit (pair of imaging units)
110RH 110LH Support hole (adjustment mechanism)
111 Operation switch 120 Pair of opposing parts 130 Connecting parts 140A 140B Imaging part 150 Pair of facing parts 160 Hollow ring connecting part (connecting part)
170A 170B Imaging section

Claims (9)

一対の腕部と、該一対の腕部を接続する接続部と、を有する装着部と、
前記一対の腕部に支持される一対の撮像部と、
前記一対の腕部に対する前記一対の撮像部の支持位置を調整する調整機構と、
を有し
記調整機構は、前記一対の腕部の各々に設けられた先端側と中間側に位置する少なくとも2つの支持突起と、前記一対の撮像部の各々に設けられた前記少なくとも2つの支持突起に選択的に挿入される支持孔とを有し、
前記支持孔が前記中間側に位置する前記支持突起に挿入されたときに、前記接続部の中央部と、前記一対の撮像部とを結んだ線の角度が60°~180°の範囲内であり、
前記支持孔が前記先端側に位置する前記支持突起に挿入されたときに、前記接続部の中央部と、前記一対の撮像部とを結んだ線の角度が60°~180°の範囲内でない、
ことを特徴とする撮像装置。
a mounting part having a pair of arms and a connecting part that connects the pair of arms;
a pair of imaging units supported by the pair of arms;
an adjustment mechanism that adjusts the support position of the pair of imaging units with respect to the pair of arms;
has
The adjustment mechanism includes at least two support protrusions provided on each of the pair of arm parts, located at a distal end side and an intermediate side, and the at least two support protrusions provided on each of the pair of imaging units. a support hole that is selectively inserted ;
When the support hole is inserted into the support protrusion located on the intermediate side, the angle of the line connecting the center part of the connection part and the pair of imaging parts is within a range of 60° to 180°. can be,
When the support hole is inserted into the support protrusion located on the distal end side, the angle of the line connecting the center part of the connection part and the pair of imaging parts is not within the range of 60° to 180°. ,
An imaging device characterized by:
前記支持孔が前記中間側に位置する前記支持突起に挿入されたときに、前記接続部の中央部と、前記一対の撮像部とを結んだ線の角度が80°~120°の範囲内である、
ことを特徴とする請求項1に記載の撮像装置。
When the support hole is inserted into the support protrusion located on the intermediate side, the angle of the line connecting the center part of the connection part and the pair of imaging parts is within a range of 80° to 120°. be,
The imaging device according to claim 1, characterized in that:
前記一対の撮像部は、共通光軸を形成するように対向配置され、
前記支持孔が前記中間側に位置する前記支持突起に挿入された場合において、前記共通光軸と平行をなすとともに、前記一対の撮像部から所定距離だけ離れた位置で前記接続部の中央部を含むように延びる仮想軸を規定したとき、前記接続部の中央部と前記一対の撮像部の一方又は他方とを結んだ線と前記仮想軸のなす角度が、0°~60°の範囲内である、
ことを特徴とする請求項1又は請求項2に記載の撮像装置。
The pair of imaging units are arranged to face each other so as to form a common optical axis,
When the support hole is inserted into the support protrusion located on the intermediate side, the central part of the connection part is parallel to the common optical axis and is separated from the pair of imaging parts by a predetermined distance. When an imaginary axis is defined that extends to include the imaginary axis, the angle formed by the imaginary axis and a line connecting the central part of the connecting portion and one or the other of the pair of imaging units is within the range of 0° to 60°. be,
The imaging device according to claim 1 or 2, characterized in that:
前記支持孔が前記中間側に位置する前記支持突起に挿入された場合において、前記接続部の中央部と前記一対の撮像部の一方又は他方とを結んだ線と前記仮想軸のなす角度が、30°~50°の範囲内である、
ことを特徴とする請求項3に記載の撮像装置。
When the support hole is inserted into the support protrusion located on the intermediate side, the angle formed by the virtual axis and a line connecting the center part of the connection part and one or the other of the pair of imaging parts is, is within the range of 30° to 50°,
The imaging device according to claim 3, characterized in that:
前記一対の撮像部は、自身の光軸と直交する第1軸周りであるロール方向と、自身の光軸と直交しかつ前記第1軸と直交する第2軸周りであるヨー方向との少なくとも一方に回転可能である、
ことを特徴とする請求項1から請求項4のいずれかに記載の撮像装置。
The pair of imaging units has at least one of a roll direction around a first axis perpendicular to its own optical axis and a yaw direction around a second axis perpendicular to its own optical axis and perpendicular to the first axis. can be rotated to one side,
The imaging device according to any one of claims 1 to 4, characterized in that:
前記一対の撮像部は、所定の角度ピッチで回転可能である、
ことを特徴とする請求項5に記載の撮像装置。
the pair of imaging units are rotatable at a predetermined angular pitch;
The imaging device according to claim 5, characterized in that:
前記一対の腕部と前記接続部の少なくとも1つは、バッテリを有する本体ボックスを支持する支持ホルダを有する、
ことを特徴とする請求項1から請求項6のいずれかに記載の撮像装置。
At least one of the pair of arm portions and the connection portion has a support holder that supports a main body box having a battery.
The imaging device according to any one of claims 1 to 6, characterized in that:
前記一対の腕部は、前記一対の撮像部と接続される電気接続部を収納する、
ことを特徴とする請求項1から請求項7のいずれかに記載の撮像装置。
The pair of arm portions house electrical connection portions connected to the pair of imaging portions;
The imaging device according to any one of claims 1 to 7, characterized in that:
前記装着部は、略U字形状をなし、
前記一対の撮像部は、前記装着部の前記略U字形状の頂点部を挟んだ両腕部に支持される、
ことを特徴とする請求項1から請求項8のいずれかに記載の撮像装置。
The mounting portion has a substantially U-shape,
The pair of imaging units are supported by both arms sandwiching the apex of the approximately U-shape of the mounting unit.
The imaging device according to any one of claims 1 to 8, characterized in that:
JP2019192789A 2019-10-23 2019-10-23 Imaging device Active JP7395953B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019192789A JP7395953B2 (en) 2019-10-23 2019-10-23 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019192789A JP7395953B2 (en) 2019-10-23 2019-10-23 Imaging device

Publications (2)

Publication Number Publication Date
JP2021067798A JP2021067798A (en) 2021-04-30
JP7395953B2 true JP7395953B2 (en) 2023-12-12

Family

ID=75637162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019192789A Active JP7395953B2 (en) 2019-10-23 2019-10-23 Imaging device

Country Status (1)

Country Link
JP (1) JP7395953B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076202A (en) 2014-10-07 2016-05-12 エルジー エレクトロニクス インコーポレイティド Mobile terminal
WO2018051815A1 (en) 2016-09-15 2018-03-22 ソニー株式会社 Information processing apparatus and method and program
JP2018067773A (en) 2016-10-18 2018-04-26 キヤノン株式会社 IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
US20180321580A1 (en) 2015-11-05 2018-11-08 Berliner Kta Shareholder Gmbh Camera mounting for stereoscopic panoramic recordings

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076202A (en) 2014-10-07 2016-05-12 エルジー エレクトロニクス インコーポレイティド Mobile terminal
US20180321580A1 (en) 2015-11-05 2018-11-08 Berliner Kta Shareholder Gmbh Camera mounting for stereoscopic panoramic recordings
WO2018051815A1 (en) 2016-09-15 2018-03-22 ソニー株式会社 Information processing apparatus and method and program
JP2018067773A (en) 2016-10-18 2018-04-26 キヤノン株式会社 IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM

Also Published As

Publication number Publication date
JP2021067798A (en) 2021-04-30

Similar Documents

Publication Publication Date Title
CN115086547B (en) Image pickup apparatus, portable device, calibrator, control method thereof, and storage medium
JP7408678B2 (en) Image processing method and head mounted display device
JP2020191650A (en) Imaging system, method, program, moving image display device, and image processing apparatus
KR102235231B1 (en) Imaging control apparatus and control method therefor
KR102318013B1 (en) Electronic device composing a plurality of images and method
JP5720068B1 (en) Smart glasses with self-photographing function
CN115695960A (en) Image pickup apparatus, control method thereof, and storage medium
CN115695961B (en) Image pickup apparatus, control method thereof, calibration system, and storage medium
CN103780817A (en) Camera shooting assembly
CN104333690A (en) Photographing apparatus and photographing method
JP2021005831A (en) Imaging system, image processing apparatus, imaging apparatus, and program
JP6808740B2 (en) Omnidirectional image imaging method and device for performing the method
US11122202B2 (en) Imaging device, image processing system, and image processing method
KR20180111991A (en) Image processing apparatus, image processing method, and image processing system
JP7395953B2 (en) Imaging device
JP6649010B2 (en) Information processing device
JP2020086014A (en) Wearable device
JP2023154539A (en) Imaging device, control method for imaging device, display device, and imaging system
JP6885133B2 (en) Image processing equipment, imaging system, image processing method and program
US20200412928A1 (en) Imaging device, imaging system, and imaging method
TW201926251A (en) Panoramic camera, image processing system, and image processing method
JP6953961B2 (en) Image processing equipment, image processing methods and programs
CN210745404U (en) Wearable visual display device
JP2022140424A (en) IMAGING DEVICE, CONTROL METHOD AND PROGRAM THEREOF
JP2022140417A (en) IMAGING DEVICE, CALIBRATION SYSTEM, IMAGING DEVICE CONTROL METHOD AND PROGRAM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231006

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R151 Written notification of patent or utility model registration

Ref document number: 7395953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151