JP7547310B2 - 撮像システム、移動装置、撮像方法およびプログラム - Google Patents

Description

本発明は、撮像システム、移動装置、撮像方法およびプログラムに関するものである。

近年、車両に搭載されるルームミラー（後写鏡）を電子ルームミラーで置き換えるという要望がある。たとえば特許文献１には、車両外の後方を撮像範囲とする撮像手段と車両内の表示手段を有し、撮像手段で撮像した画像を車両内の表示手段で表示することにより、ドライバーが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。

一方で、カメラ台数を削減する目的で電子ルームミラー用と、後進時の後方確認モニタ（以下バックモニタ）用の映像を１台のカメラで撮影する手法が検討されている。電子ルームミラーには、より遠方を高解像で撮影した映像が求められる一方で、バックモニタには後方の死角を映せるようにより広画角で撮影した映像が求められる。そのため、こうしたカメラの出力映像には、電子ルームミラー用の低歪曲な高解像度領域と、バックモニタ用の広画角な低解像度領域が含まれている。

特開２０１９－１６６８８７号公報

ルームミラーに映る視野を調整したい場合、従来の光学的なルームミラーであればルームミラー自体の傾きを変えることで調整が可能である。一方で電子ルームミラーの場合、ルームミラー本体を動かしても表示される映像は変わらないため、光学ミラーのように直感的に視野を調整することは困難であった。

また、前述のように低歪曲な高解像度領域と広画角な低解像度領域の両方を有するカメラの場合、高解像度領域を電子ルームミラーに表示することが好ましい。しかし、高解像度領域は狭画角であるため、電子ルームミラーに表示可能な後方の視野が制限されてしまうという課題があった。

そこで本発明は、従来の光学的なルームミラーのように、直感的に視野を調整することができる表示部を有する撮像システムを提供することを目的とする。

上記目的を達成するために、本発明の１つの側面の撮像システムは、
撮像素子と前記撮像素子の受光面に光学像を形成する光学系とを有する撮像ユニットと、
前記撮像ユニットによって取得された画像データを表示する表示部と、
前記表示部に前記光学像の高解像度領域を含む領域が表示されるように、前記光学系の光軸と前記受光面の中心との相対的な位置を変更する領域設定手段と、
前記表示部の表示面の傾き角を検知する角度検知手段と、
前記角度検知手段によって得られた前記表示面の前記傾き角に応じて前記領域設定手段により設定される前記高解像度領域の位置を変更させる制御手段と、を有する。

本発明によれば、従来の光学的なルームミラーのように、直感的に視野を調整することができる表示部を有する撮像システムを実現できる。

実施形態１における撮像システム１００を説明する機能ブロック図である。 （Ａ）、（Ｂ）は、実施形態１における電子ルームミラー２０を側方から見た模式図である。 実施形態１における撮像システム１００の動作を説明するフローチャートである。 （Ａ）、（Ｂ）は実施形態１における車両３０の後部に取り付けられた撮像ユニット１０の画角を説明するための図である。 （Ａ）、（Ｂ）は実施形態１における表示部１６に表示される自車両後方の映像の領域を説明するための図である。 （Ａ）、（Ｂ）は、実施形態２における光学系１１の光学特性を説明するための図である。 実施形態３における撮像システム１００を説明する機能ブロック図である。 実施形態３における統合処理部の動作を説明するためのフローチャートである。 実施形態４における撮像システム１００を説明する機能ブロック図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、図面において、同一の部材または要素については同一の参照番号を付し、それらの重複する説明については省略または簡略化する。

[実施形態１]
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の実施形態１における撮像システム１００を説明する図である。尚、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されても良い。あるいは、撮像システム１００に含まれる不図示のＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されても良い。又、ソフトウェアとハードウェアの組み合わせによって実現されても良い。

従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアを主体として実現されうる。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

又、図１に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。尚、図１に関する上記の説明は、図７、図９についても同様に当てはまる。

撮像システム１００は、図４に示すように、車両３０後方を撮像するように配置された撮像ユニット１０にて撮像した映像を、車内の表示装置に表示するシステムであり、撮像システム１００全体が移動装置としての車両３０に搭載されている。また、移動装置としての車両３０には移動装置を駆動して移動するための不図示のエンジンやモータ等の駆動装置が搭載されている。

撮像システム１００は、撮像ユニット１０、統合処理部１５、電子ルームミラー２０を有している。なお、電子ルームミラー２０は光学的なルームミラーの代わりに、撮像ユニット１０で撮像された後方の画像を表示するためものである。撮像ユニット１０は車両後方を監視するために車両３０に設置される撮像機器であり、光学系１１、撮像素子１２、カメラ処理部１３、領域設定部１４を有している。

光学系１１は、少なくとも１枚のレンズにより、外部から入射した光を、撮像素子１２の受光面に結像する。撮像素子１２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の画像センサであり、光学系１１により結像された光学的な被写体像を電気信号に変換し、カメラ処理部１３に伝送する。

カメラ処理部１３は、撮像素子１２から伝送された電気信号を映像（画像データ）に現像し、ＷＤＲ（Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）補正、ガンマ補正、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）処理、歪曲補正、切り出し等の処理を行う。カメラ処理部１３が処理した映像は統合処理部１５に伝達される。

また、カメラ処理部１３は、画像データの画面の一部領域（高解像度領域）の画像データの解像度を部分的に他の領域よりも高解像化するための解像度変換を行う解像度変換手段として機能している。また、カメラ処理部１３は、高解像度領域の位置を領域設定部１４から受信する制御信号に基づいて変更することができる。

領域設定部１４は統合処理部１５から得られる電子ルームミラー２０の角度情報に基づき、カメラ処理部１３に対し撮像領域のうち高解像で表示すべき領域の座標を指示し設定することができる。すなわち、領域設定部１４は、画面の中の一部に高解像度領域を設定する領域設定手段として機能している。

角度情報から座標情報への変換方法は、たとえば初期（車両始動時など）の入力角度および出力座標を保持しておき、入力角度の変化量から出力座標の変化量を算出し、出力値を決定してもよい。例えば、垂直方向の入力角度の変化量をΔθｖ、水平方向の入力角度の変化量をΔθｈ、高解像度領域の水平方向の移動量をΔｙ、高解像度領域の垂直方向の移動量Δｘとし、Ｃｙ、Ｃｘを定数としたとき、Δｙ＝Ｃｙ・Δθｖ、Δｘ＝Ｃｘ・Δθｈとすればよい。

定数Ｃｙ、Ｃｘは任意に変更してよく、本定数を変更することにより電子ルームミラー２０を傾けたときにどれだけ高解像度領域を移動させるか、すなわち感度を変更することができる。あるいは、入力角度と出力座標を対応付ける表をメモリ等に保持しておき、これに基づき出力値を決定してもよい。このように、実施形態１においては、領域設定部１４は表示部１６の回転量に対する高解像度領域の移動量を変更可能である。

カメラ処理部１３が部分的に高解像な画像を出力する手段としては、たとえば平均化などの処理を用いて、領域設定部１４が設定する領域以外を相対的に低解像化する手法が考えられる。また、複数のフレームを用いて本来の撮像素子１２が撮像可能な解像度を超えた画像を生成する技術（超解像）を用いて、領域設定部１４が設定する領域を超解像化することで高解像度化しても良い。

なお、光学系１１の光軸方向を変更できる不図示のパンチルト機構を設け、電子ルームミラー２０の角度変化が所定角度よりも大きい場合には、領域設定部１４が設定する領域の方向に撮影光軸の方向を変更するようにしても良い。その場合には、領域設定部１４の出力に応じて撮影光軸の変更と、画面の一部を高解像度化処理する動作を組み合わることによってより広い範囲を高解像度に表示することができる。

一般的にカメラ処理部１３から統合処理部１５へ信号を伝達する際、数十センチメートルから十数メートルの距離を伝送させる必要があり、高いビットレートで信号品質を保ったまま映像を伝送することが困難な場合がある。しかし、上記のようなに部分的に解像度を変更する手法により、必要最低限の領域のみ高解像度にして、信号のビットレートを低く抑えることができ、伝送帯域幅から外れないようにすることができる。

統合処理部１５は、ＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コンピュータとしてのＣＰＵ、記憶媒体としてのメモリを有する。ＣＰＵはメモリに記憶されたコンピュータプログラムを実行することによって、撮像システム１００全体の各種制御を行う。

また、統合処理部１５は、カメラ処理部１３から受信した映像信号を表示部１６に送信する。この際、統合処理部１５は後述するミラー角度検出部１７からの情報に基づき、カメラ処理部１３における画像データから、高解像度領域画像を含む画像を切り出し、表示部１６が表示可能な形式で映像信号を送信する。すなわち、表示部１６は、撮像ユニット１０によって取得された画像データの画面を表示する。

切り出し領域の決定方法は、たとえば高解像度領域の中央を表示部１６の表示可能な画像サイズで切り出すなどが考えられるが、これに限定されず、たとえば後述のミラー角度検出部１７からの角度情報に応じて切り出し座標を変動させてもよい。

また、統合処理部１５は後述するミラー角度検出部１７からの電子ルームミラー２０の表示部１６の角度情報に基づき、領域設定部１４に角度情報を転送する。入力値に対する出力値の決定方法は、たとえば出力値を入力値の１次関数とするなどが考えられる。すなわち、入力値をθ、出力値をθ’としたとき、係数ａ、ｂを用いてθ’＝ａ・θ＋ｂとすればよい。係数ａを調整することで感度を、係数ｂを調整することで角度の基準値を変更することができる。上記のような計算を水平方向及び垂直方向のそれぞれの角度情報に対して行う。

また、撮像ユニット１０が高解像度領域で撮像可能な範囲を超えた高解像度領域設定がされないよう、一定の閾値を超える入力値に対しては出力値を一定の範囲内に収めるような、非線形な関数であってもよい。加えて、角度検知手段が所定の範囲を超える傾き角を検知した場合など、所定の閾値を超える入力が発生した場合は、カメラ処理部１３からの映像信号に警告を表すマークまたはテキストを重畳した上で、表示部１６に映像信号を出力してもよい。また、カメラ処理部１３および領域設定部１４の一部または全部の機能を統合処理部１５の内部に持たせてもよい。

図２（Ａ）、（Ｂ）は車両に取り付けられた電子ルームミラー２０を側方から見た模式図である。電子ルームミラー２０は後述の図３で示すように、車室内に取り付けられる車両後方確認用の表示手段であり、表示部１６およびミラー角度検出部１７を有する。電子ルームミラー２０はヒンジなどの可動機構を介して車両３０に保持されており、搭乗者が手動で電子ルームミラー２０の向きを一定の範囲内で変えることができる。表示部１６は液晶パネル等の表示手段で、統合処理部１５から受信した車両後方の映像を表示する。

ミラー角度検出部１７は電子ルームミラー２０の表示部１６の表示面が向いている方向（傾き角）を検出する角度検知手段として機能している。表示面の方向の検知手段としては、たとえばエンコーダーを用いて、電子ルームミラー２０を保持する可動機構のヒンジ角の値を取得するなどの方法で良い。ミラー角度検出部１７は、搭乗者から見て上下方向の回転角（ピッチ角）および水平方向の回転角（ヨー角）の少なくとも一方の傾き角を検知可能である。ミラー角度検出部１７は検知した角度情報を統合処理部１５に送信する。

図３は、実施形態１における撮像システム１００の動作を説明するフローチャートであり、電子ルームミラー２０を手動で傾けた際に表示部１６に表示される領域を制御するためのフローの例を示している。本フローは例えば車両３０の電源オンに伴いスタートし、統合処理部１５のＣＰＵがメモリ内のコンピュータプログラムを実行することにより順次行われる。

まず、ステップＳ０２においてミラー角度検出部１７が現在の電子ルームミラー２０の傾き角を取得し統合処理部１５に送信する。ステップＳ０３では、統合処理部１５は、現在の傾き角に基づき角度情報を算出し、算出した角度情報を領域設定部１４に送信する。そして領域設定部１４は、受信した角度情報に基づき、電子ミラーの表示領域とするべき高解像度領域の座標を決定し、カメラ処理部１３に送信する。

ステップＳ０４において、カメラ処理部１３は、領域設定部１４が設定した領域が高解像度領域となるように撮像素子１２からの映像信号を例えば補間等により高解像度化処理し、統合処理部１５に伝達する。また、統合処理部１５では高解像度領域を切り出して表示部１６が表示可能な形式で映像信号を送信する。

ステップＳ０５では、表示部１６が画面を更新し、実際に電子ルームミラー２０の傾き角に応じた映像が表示部１６に表示される。すなわち、制御手段としての統合処理部１５は、角度検知手段によって得られた表示面の傾き角に応じて領域設定手段により設定される高解像度領域の位置を変更させる制御ステップ（ステップＳ０２～Ｓ０５）を実行する。

そして、たとえば、電子ルームミラー２０が上下左右のいずれかの方向に回転した場合には、同じ方向である上下左右方向に高解像度領域の位置を移動させる。すなわち、領域設定部１４は表示面の回転方向と同じ方向に高解像度領域の位置を移動させる。

ステップＳ０６では処理の停止を判定する。例えば車両３０の電源オフなどに伴う終了指示があった場合には図３のフローを終了し、終了指示がなければステップＳ０２からの処理を繰り返す。

次に図４、図５を用いて本実施形態における動作について説明する。電子ルームミラー２０を図３（Ａ）の向きから図３（Ｂ）の向きに、手動で例えば下方向へ傾けることができる。

図４（Ａ）、（Ｂ）は実施形態１における車両３０の後部に取り付けられた撮像ユニット１０の画角を説明するための図である。図４（Ａ）、（Ｂ）において画角ｒ１は撮像ユニット１０で撮像可能な最大画角を表し、画角ｒ２は高解像度領域として撮像される画角を表している。図３で説明したフローにより、電子ルームミラー２０を図３（Ａ）の向きから図３（Ｂ）のように下向きに傾けた場合、高解像度領域として撮像する画角を図４（Ａ）で示す方向から図４（Ｂ）で示す方向へ、下方向に変化させることができる。

図５（Ａ）、（Ｂ）は実施形態１における表示部１６に表示される自車両後方の映像の領域を説明するための図である。図５（Ａ）、（Ｂ）において、Ｒ１で示された領域が表示部１６に表示される領域であり、４０は後方の車両、４１は車線の境界線である。

電子ルームミラー２０を図３（Ａ）の向きから図３（Ｂ）の向きに傾けることにより表示部１６に表示される領域を図５（Ａ）で示した領域から図５（Ｂ）で示した領域へ、下方向へ変化させることができる。

上記の動作により、搭乗者はあたかも従来の光学的なルームミラーを動かしているかのように、電子ルームミラー２０に映る映像を調整することができる。なお、電子ルームミラー２０を下方向に傾けた場合について説明したが、上方向や左右方向や時計方向や反時計方向などに回転させた場合も同様の動作が行われる。

[実施形態２]
実施形態１では領域設定部１４により設定された領域の画像データを解像度変換することによって相対的に高解像度化している。実施形態２では、光学系１１の光軸中心付近の光学特性を、周辺領域よりも撮像素子１２の１ピクセルあたりに結像される画角を小さくし、望遠寄りの光学性能を持たせ、光軸中心付近を高解像とし、周辺部を低解像で広画角な画像を撮影できるようにする。そして上記の光学系１１と撮像素子１２との相対位置を不図示のシフト機構により変更することによって撮像素子からの画像の周辺領域の画像を表示する場合であっても、高解像度領域の画像が表示されるようにする。

実施形態２における光学系１１の光学特性について、図６を用いて具体的に説明する。光学系１１は、撮影画角のうち光軸周辺の狭い画角において、高精細な像を得ることができるようなイメージサークルを持つ光学特性を備え、撮像素子１２の受光面に被写体像を形成する。

図６（Ａ）、（Ｂ）は、実施形態２における光学系１１の光学特性を説明するための図であり、図６（Ａ）は、実施形態２における光学系１１の、撮像素子１２の受光面上での各半画角における結像高さ（像高）ｙを等高線状に示した図である。

図６（Ｂ）は、実施形態２における光学系１１の、像高ｙと半画角θとの関係を表す射影特性を表した図である。図６（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、撮像素子の受光面上（像面上）での像高ｙを縦軸として示している。

実施形態２における光学系１１は、図６（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。したがって、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。

すなわち、図６（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。また、図６（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

実施形態２においては、光学系１１を通して撮像素子１２面上に形成される結像面図６（Ａ）の３００をイメージサークルと呼び正立像を結像する特性であるとする。なお、半画角θが所定の半画角θａ未満のときに撮像素子の受光面上に形成される中心寄りの領域を高解像度領域３００ａ、半画角θが所定の半画角θａ以上の外寄りの領域を低解像度領域３００ｂと呼ぶ。

また、実施形態２では、高解像度領域３００ａと低解像度領域３００ｂの境界の円を解像度境界と呼ぶ。このように実施形態２の光学系は、撮像素子の受光面に高解像度領域と低解像度領域を有する光学像を形成することができる。なお、本実施形態における光学系１１は、高解像度領域３００ａにおいてその射影特性ｙ（θ）がｆ×θよりも大きくなるように構成されている（ｆは光学系１１の焦点距離）。

また、θｍａｘを光学系１１が有する最大の半画角とするとき、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。また、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θａを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。

さらに、光学系１１は、その射影特性ｙ（θ）が、以下の数式１も満足するように構成されている。

ここで、ｆは前述のように光学系１１の焦点距離であり、Ａは所定の定数である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（ｙ＝ｆ×ｓｉｎθ）の魚眼レンズよりも中心解像度を高くすることができ、上限値をＡとすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。所定の定数Ａは、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９となるようにするのが望ましい。

以上のように光学系１１を構成することで、高解像度領域３００ａにおいては、高解像度が得られる一方、低解像度領域３００ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。従って、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域３００ａにおいては、高い解像度を得ることができる。

また、実施形態２では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近似した特性としている。従って、光学歪曲が小さく、精細に表示することが可能となる。従って、周囲を目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。なお、上述の数式１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、実施形態２は図６（Ｂ）に示した射影特性に限定されない。

なお、光軸であるイメージサークルの中心を基準に同心円方向に同じ特性である光学系として説明するが、イメージサークルの中心は光軸とずれていても良い。

実施形態２においては、図１の領域設定部１４は、統合処理部１５から、領域を変更する指示が出た場合には、イメージサークルの中心（光学系の光軸）と撮像素子中心の相対的な位置を変更する。

たとえば実施形態１では、電子ルームミラー２０を図３（Ａ）の向きから図３（Ｂ）の向きに傾けることにより表示部１６に表示される領域を図５（Ａ）で示した領域から図５（Ｂ）で示した領域へ、下方向へ変化させることができる。しかしその場合、図６の高解像度領域３００よりも下側の低解像度領域の画像が表示されることになり、その画像を高解像度化することになる。

実施形態２においては、上記の際に、正立像が撮像素子の受光面に形成されている場合には、受光面の中心をイメージサークルの中心から上方に移動することによって、受光面の下方に高解像度領域を移動することができる。したがって、図５（Ｂ）の表示状態においても高解像度領域の画像データを表示することができる。

なお、イメージサークルに対する撮像素子の相対的な位置変更は、たとえば、ラックピニオンギア等の物理的な移動機構を用いて撮像素子を水平に移動させることで実現できる。なお、実施形態２において、さらに、実施形態１のように画像データの一部に対して高解像度化のための解像度変換をおこなっても良い。

[実施形態３]
以上の実施形態では、電子ルームミラー２０が液晶パネル等の電子的な映像表示デバイスである場合について述べた。一方、実施形態３では、電子ルームミラー２０が従来の光学的なルームミラーとしての機能と、電子的な映像表示デバイスとしての機能の両方を有し、どちらのモードで表示するかを搭乗者が選択可能とする。すなわち、実施形態３においては、表示部は光学ミラーモードと電子ミラーモードとを選択可能であって、電子ミラーモードが選択された場合に表示領域を制御し、高解像度領域の位置を変更させる。

図７は実施形態３における撮像システム１００を説明する機能ブロック図であり、図７において、図３と同じ番号は同じ機能ブロックを示すので説明は省略する。

モード切替部１８は、たとえば電子ルームミラー２０に取り付けられたスイッチであり、搭乗者が電子ルームミラーモード（電子ミラーモード）か光学ルームミラーモード（光学ミラーモード）のいずれかに設定を切り替えるためのインターフェースである。

モード切替部１８において光学ルームミラーモードが設定された場合、モード切替部１８は表示部１６の表示を消灯する指示を出力する。反対に電子ルームミラーモードが設定された場合、表示部１６に対して表示を点灯する指示を出力する。なお、本指示は統合処理部１５を介して行ってもよい。

また、モード切替部１８において光学ルームミラーモードが設定された場合、モード切替部１８はミラー角度検出部１７を介して統合処理部１５に対し、表示モードが光学ルームミラーモードになったことを通知する。また、ミラー角度検出部１７における角度検出動作を停止する。一方、電子ルームミラーモードが設定された場合には、モード切替部１８はミラー角度検出部１７を介して統合処理部１５に対し、表示モードが電子ルームミラーモードになったことを通知する。また、ミラー角度検出部１７における角度検出動作を開始する。なお、ミラー角度検出部１７を介さず統合処理部１５に直接通知してもよい。

ハーフミラー１９は表示部１６の前面に配置され、部分的に光を透過および反射させることができる。表示部１６が消灯している場合はハーフミラー１９の反射光により、光学ルームミラーモードとして動作する。すなわち、運転者はハーフミラーを介して後方の光学的な像を観察できる。一方、表示部１６が点灯している場合は、反射光よりも表示部１６からの透過光が支配的となり、電子ルームミラーモードとして動作する。すなわち、運転者はハーフミラーを介して表示部１６に表示された電子的な像を観察できる。

図８は、実施形態３における統合処理部の動作を説明するためのフローチャートである。本フローは、車両３０の電源オンまたは表示モード切替時に動作を開始し、第１の実施形態と同様、統合処理部１５のＣＰＵがメモリ内のコンピュータプログラムを実行することにより順次行われる。

まず、ステップＳ０１では、モード切替部１８において現在の表示モードが判定される。現在の表示が光学ルームミラーモードの場合、ステップＳ０７に進み、モード切替部１８は表示部１６を消灯し、ステップＳ０６に進む。

現在の表示モードが電子ルームミラーモードの場合はステップＳ０２に進み、ステップＳ２～ステップＳ０５までの処理は第１の実施形態のフローと同一である。

ステップＳ６で動作停止か否かを判別し、Ｎｏの場合には、ステップＳ０１に戻り、Ｙｅｓの場合には図７のフローを終了する。上記の動作により、表示領域の制御を電子ルームミラーモードの場合のみ実行することができる。

[実施形態４]
以上の実施形態において、搭乗者が電子ルームミラー２０を斜めから見ると、表示部１６の視野角によっては著しく視認性が低下する可能性がある。一方で、視認性を確保するために電子ルームミラー２０を見やすい角度に調整しようとすると、意図せず表示領域が変わってしまうことが想定される。このような状況を鑑み、実施形態４では、電子ルームミラー２０の向きがどのような角度であっても表示領域を初期設定に戻すことができるように構成している。

図９は、実施形態４における撮像システム１００を説明する機能ブロック図であり、図３と同じ番号は同じ機能ブロックを示すので説明は省略する。

リセットボタン２１はたとえば電子ルームミラー２０に取り付けられたスイッチであり、搭乗者が表示領域（高解像度領域）を初期設定に戻す際に押下するインターフェースである。すなわち、リセットボタン２１は、高解像度領域を所定の領域にリセットするためのリセット手段として機能している。

リセットボタン２１が押下された際の動作としては、まずリセットボタン２１が押下されたことをミラー角度検出部１７に通知する。通知を受けたミラー角度検出部１７は現在の電子ルームミラー２０の向きにおいて角度情報を初期化する。すなわち、現在の各角度値をたとえば０°として再定義し、統合処理部１５に角度情報を送信する。あるいは、リセットボタン２１が押下されたことを統合処理部１５に通知し、同様の初期化処理を統合処理部１５で行ってもよい。より具体的には、第１の実施形態で述べた角度情報の入出力関係式θ’＝ａ・θ＋ｂにおいて、係数ｂを変更し、出力値θ’が０になるようにする。

［実施形態５］
上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態５では、上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムＸ」と呼ぶ。さらに、実施形態５では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵなどは、コンピュータＹの一例である。上述した実施形態における統合処理部１５等のコンピュータも、コンピュータＹの一例である。

上述した実施形態において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態５におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。さらに、実施形態５におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙな記憶媒体である。

［実施形態６］
上述の実施形態における移動装置は、自動車に限るものではなく、自動二輪車、自転車、電動カートなどの移動が可能であって電子ミラーを有する装置であれば、どのようなものであってもよい。

［実施形態７］
また、以上の実施形態では電子ミラーの角度調整に応じて高解像度領域を変化させるように構成した。しかし、たとえば撮像ユニットの光軸方向を変更するためのパンチルト駆動機構等の光軸方向変更手段を設け、電子ミラーの表示面の前記傾き角に応じて光軸方向変更手段により、撮像ユニットの光軸を変更させてもよい。

［実施形態８］
また、電子ミラーの角度調整をユーザーが直接電子ミラーに力を加えて行う例を説明したが、例えば表示部の表示面の傾き角を変更するためのモータを設けても良い。そして、移動装置にジョイスティックや十字キーやタッチパネルなどの操作部を設け、前記操作部からの制御信号を前記モータ等の駆動源に供給して前記電子ミラーの傾き角を変更させるようにしても良い。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。また、本発明によれば、移動体に限らず、どのような用途においても従来の光学的なルームミラーのように、直感的に視野を調整することができる表示部を実現できる。

１００ 撮像システム
１０ 撮像ユニット
１１ 光学系
１２ 撮像素子
１３ カメラ処理部
１４ 領域設定部
１５ 統合処理部
１６ 表示部
１７ ミラー角度検出部
１８ モード切替部
１９ ハーフミラー
２０ 電子ルームミラー
２１ リセットボタン

Claims (16)

1. 撮像素子と前記撮像素子の受光面に光学像を形成する光学系とを有する撮像ユニットと、
   前記撮像ユニットによって取得された画像データを表示する表示部と、
   前記表示部に前記光学像の高解像度領域を含む領域が表示されるように、前記光学系の光軸と前記受光面の中心との相対的な位置を変更する領域設定手段と、
   前記表示部の表示面の傾き角を検知する角度検知手段と、
   前記角度検知手段によって得られた前記表示面の前記傾き角に応じて前記領域設定手段により設定される前記高解像度領域の位置を変更させる制御手段と、を有することを特徴とする撮像システム。
2. 前記領域設定手段により設定された前記高解像度領域の画像データを高解像度化する解像度変換手段を含むことを特徴とする請求項１に記載の撮像システム。
3. 前記光学系は、前記撮像素子の受光面に高解像度領域と低解像度領域からなる光学像を形成することを特徴とする請求項１または２に記載の撮像システム。
4. 前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
   前記高解像度領域におけるｙ（θ）はｆ×θよりも大きく、前記低解像度領域における前記射影特性とは異なることを特徴とする請求項３に記載の撮像システム。
5. 前記高解像度領域は、中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されていることを特徴とする請求項３に記載の撮像システム。
6. θｍａｘを前記光学系が有する最大の半画角、Ａを所定の定数とするとき、
   

   

   を満足するように構成されていることを特徴とする請求項３～５のいずれか１項に記載の撮像システム。
7. 前記表示部は光学ミラーモードと電子ミラーモードとを選択可能であって、前記電子ミラーモードが選択された場合に、前記制御手段は、前記高解像度領域の位置を変更させることを特徴とする請求項１～６のいずれか１項に記載の撮像システム。
8. 前記角度検知手段は前記表示面の上下方向の回転または左右方向の回転の少なくとも一方の前記傾き角を検知可能であることを特徴とする請求項１～７のいずれか１項に記載の撮像システム。
9. 前記領域設定手段は前記表示面の回転方向と同じ方向に前記高解像度領域の位置を移動させることを特徴とする請求項８に記載の撮像システム。
10. 前記領域設定手段は前記表示部の回転量に対する前記高解像度領域の移動量を変更可能であることを特徴とする請求項９に記載の撮像システム。
11. 更に、前記高解像度領域を所定の領域にリセットするためのリセット手段を有することを特徴とする請求項１～１０のいずれか１項に記載の撮像システム。
12. 前記制御手段は、前記角度検知手段が所定の範囲を超える前記傾き角を検知した場合に前記表示部に警告を表示することを特徴とする請求項１～１１のいずれか1項に記載の撮像システム。
13. 前記表示部の前記表示面の前記傾き角を変更するためのモータと、
    前記モータに対して制御信号を供給するための操作部と、を有することを特徴とする請求項１～１２のいずれか1項に記載の撮像システム。
14. 請求項１～１３のいずれか１項に記載の撮像システムを搭載した移動装置であって、
    前記撮像ユニットは移動装置の後方を撮像するように配置され、
    前記移動装置を駆動して移動させるための駆動装置を有することを特徴とする移動装置。
15. 撮像素子と前記撮像素子の受光面に光学像を形成する光学系とを有する撮像ユニットと、
    前記撮像ユニットによって取得された画像データを表示する表示部と、
    前記表示部に前記光学像の高解像度領域を含む領域が表示されるように、前記光学系の光軸と前記受光面の中心との相対的な位置を変更する領域設定手段と
    前記表示部の表示面の傾き角を検知する角度検知手段と、を有する撮像システムを用いた撮像方法であって、
    前記角度検知手段によって得られた前記表示面の前記傾き角に応じて前記領域設定手段により設定される前記高解像度領域の位置を変更させる制御ステップを有することを特徴とする撮像方法。
16. 撮像素子と前記撮像素子の受光面に光学像を形成する光学系とを有する撮像ユニットと、
    前記撮像ユニットによって取得された画像データの画面を表示する表示部と、
    前記表示部に前記光学像の高解像度領域を含む領域が表示されるように、前記光学系の光軸と前記受光面の中心との相対的な位置を変更する領域設定手段と
    前記表示部の表示面の傾き角を検知する角度検知手段と、を有する撮像システムのコンピュータに、
    前記角度検知手段によって得られた前記表示面の前記傾き角に応じて前記領域設定手段により設定される前記高解像度領域の位置を変更させる制御ステップを実行させるためのコンピュータプログラム。
    

Images