Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6284980B2 - 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム - Google Patents
[go: Go Back, main page]

JP6284980B2 - 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム - Google Patents

主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム Download PDF

Info

Publication number
JP6284980B2
JP6284980B2 JP2016119907A JP2016119907A JP6284980B2 JP 6284980 B2 JP6284980 B2 JP 6284980B2 JP 2016119907 A JP2016119907 A JP 2016119907A JP 2016119907 A JP2016119907 A JP 2016119907A JP 6284980 B2 JP6284980 B2 JP 6284980B2
Authority
JP
Japan
Prior art keywords
image
wide
images
correction
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016119907A
Other languages
English (en)
Other versions
JP2017011702A (ja
Inventor
ヴェルナー・ラング
マティアス・ツィンク
ステファン・バウアー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mekra Lang GmbH and Co KG
Original Assignee
Mekra Lang GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=56567359&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6284980(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mekra Lang GmbH and Co KG filed Critical Mekra Lang GmbH and Co KG
Publication of JP2017011702A publication Critical patent/JP2017011702A/ja
Application granted granted Critical
Publication of JP6284980B2 publication Critical patent/JP6284980B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Description

本発明は、ドイツに関してはたとえば欧州経済委員会規則ECE R46で定義されているような、主ミラーおよび広角ミラーの法的に定められた視野(視野IIまたは視野IV)を、商用車の運転者に対して視認可能に表示することができる商用車用の視覚システムに関する。
原動機付きの車両(motor vehicle)の場合、たとえばオートバイ、人輸送のための原動機付きの車両、物資輸送のための原動機付きの車両などのような原動機付きの車両のタイプに応じて、いわゆる視野が法的に定められている。この視野は、ミラーなどの間接視界用のデバイスによって結像されなければならず、かつ運転席に座っている運転者によって、間接視界用のデバイスを介していつでも視認可能でなければならない。
たとえばトラックまたはバンのような商用車の場合、運転者側および同乗者側の主ミラーがこの間接視界用のデバイスに属している。主ミラーにより、車両運転者は、運転者の目の位置の後方に法的に規定された距離をおいて地平線まで延びている、車道の平らで水平な部分を、ある程度の幅で視認することができる。また、運転者の目の位置の後方に比較的短い距離をおいて始まっている比較的幅の狭い地帯が、このミラーによって運転者に視認可能でなければならない。以下の説明では、主ミラーによって法的に視認可能と定められた車両付近の領域を、主ミラーの視野と言う。
商用車には、主ミラーの視野だけでなく、通常は広角ミラーによって結像される視野も視認可能であることが求められている。広角ミラーでは、車両の長手方向にある程度の距離をおいて運転者の目の位置の後方の領域が視認される。この領域は、主ミラーによって視認可能な領域より幅が広い一方、車両に沿った長さはある程度の長さだけ延びていればよい。ここで、広角ミラーとは、人間の目の自然な印象に対応する画角(人間の目が自然に知覚する画角)より大きな画角、つまり40〜50°より大きな画角を捕捉できるミラーをいうものとする。
通常は、それぞれの法的に定められた視野が結像される主ミラーおよび広角ミラーが、車両サイドにそれぞれ、たとえば上下に配置されている。しかし、このことは、事故の危険性のある状況を回避できるように運転者が車両周囲を認識するためには、一方の車両サイドを視認するだけでも2つのミラーを同時に観察しなければならないことを意味している。同時に、主ミラーと広角ミラーとはミラーの画角が異なるために歪みが異なっており、ミラーに結像された物体が車両に対してどこに存在しているのかという不安を運転者に感じさせる可能性がある。
これらのミラーの代わりとして、車両用の、なかでも商用車用の視覚システムが開発されている。この視覚システムにより、車両運転者は車両周囲の領域を一目瞭然に簡単に観察することができる。同時に、この視覚システムは、ミラーに比べて車両周囲の気流への影響を最小限にすることができるため、燃料消費量を低減させることが期待できる。このような視覚システムは、たとえばカメラまたはその他の画像センサーによって実現可能な少なくとも1つの撮影部と、たとえばディスプレイなどの運転室内の表示部と、を含む。撮影部によって撮影された画像は、運転室内の表示部で表示される。
独国特許出願公開第102011010624号明細書には、法的に定められた視野を結像できる商用車用の視覚システムが記載されている。この文献に記載された視覚システムでは、走行中に永続的に表示するよう法的に定められている視野の少なくとも2つが、継続的かつリアルタイムで運転室内の表示部に表示される。これらの視野は、1つの共通表示で、たとえば相並べて示される。これらの視野を重ね合わせて表示部に表示することも知られている。
また、独国特許発明第19900498号明細書に開示されているように、原動機付きの車両において後方の観察空間を視認するための方法および機構が知られている。この方法および機構の場合、観察空間は真っ直ぐ後方の領域および死角領域を含んでおり、スクリーンに結像される。この死角領域は、真っ直ぐ後方の領域よりも大きな角度範囲で捕捉される。それぞれの領域の角度範囲は、互いに独立したカメラ素子によって撮影される。さらに、それぞれの領域は、分割されたまたは2つのセグメントから成るスクリーンに、各領域の角度範囲の大きさに反比例する幅比率で並べて表示される。
また、独国特許出願公開第102012001835号明細書に開示されているように、同じ車両サイドの主ミラーおよび広角ミラーの法的に定められた視野を商用車の運転室内で表示するための商用車用の視覚システムが知られている。この視覚システムは、運転室内の表示部、取得部、および計算部を含んでいる。取得部は、少なくとも、主ミラーの視野を内包する第1の画像と、広角ミラーの視野のうち少なくとも主ミラーの視野の部分ではない部分を内包する第2の画像とを取得するよう構成されている。少なくとも第2の画像は、広角方向において人間の目が自然に知覚するよりも大きな広角画角を有しており、したがって歪んでいる。一方、第1の画像は、第2の画像の広角方向において実質的に歪んでいない。計算部は、第1の画像および第2の画像が共通の視点を有するように、かつ、第2の画像が少なくとも修正領域では広角方向の画像の伸びが減少するように修正して、第1の画像および第2の画像を継目なく直接的に隣り合わせた共通画像を組み立てるよう構成されている。第1の画像および第2の画像の表現は、広角方向に直角な商用車の長手方向では揃っている。
独国特許出願公開第102011010624号明細書 独国特許発明第19900498号明細書 独国特許出願公開第102012001835号明細書
本発明の課題は、同じ車両サイドの主ミラーおよび広角ミラーの法的に定められた視野(視野IIおよびIV)を商用車の運転室内で表示するための商用車用の視覚システムであって、運転者がその車両に対する障害物の空間的な位置関係を簡単に認識できると同時に、継続的に、つまりたとえばイグニッションで中断されることなく、かつ確実にリアルタイムで、同じ車両サイドの主ミラーおよび広角ミラーの視野が表示される商用車用の視覚システムを提供することである。さらにこのシステムは、人間工学的に好ましく設計されるべきである。つまりこの視覚システムは、運転者が、可能な限り、画像を把握するために長時間を要することなく、問題なく車両周囲の視認された領域内で位置関係を認識できるように設計されるとよい。
この課題は、請求項1の特徴を有する商用車用の視覚システムによって解決される。好ましい実施形態は従属請求項に提示されている。
本発明の基礎となる思想は、通常は一方の車両サイドの主ミラーおよび広角ミラーで見ることができる眺望を、1つの共通画像に組み立てることである。この共通画像は、持続的であり、かつ少なくとも2つの個々の画像を、重ね合わせてまたは直接的に隣り合わせて組み立てられる。このため、運転者は、2つの表現(画角または歪みが異なる2つの画像)を同時に観察する必要はなく、1つの表現(画角または歪みが揃えられた画像)だけを観察すればよく、また1つの表現を観察するだけで少なくとも一方の車両サイドの周囲を完全に見通すことができる。さらに、共通画像は運転者のために可能な限り人間工学に則って、すなわち画像が可能な限り現実に近くなるように形成されるとよい。したがって本発明の基礎となるアイディアは、広角ミラー視野および主ミラー視野をそれぞれ1つ内包しているとともに互いに画角または歪みが異なっている画像を、広角ミラー視野および主ミラー視野を同時にカバーできるように共通画像へと組み立てることである。また、組み立ての際、人間の目の自然な印象の画角に対応していない比較的大きな画角を有する画像の少なくとも1つである第1の修正領域は、組み立てられた共通画像上での位置認識に関する本質的な情報または人間工学を損なわないように、視角が異なることによって引き起こされた歪みが画像間で唐突に変化するのではなく、混ざり込むように、境をはっきりさせずに移行するように、つまり画像間で異なる歪みに関係する唐突な変化が現れないように、修正されるとともに、比較的広角な画像の伸び(表現の歪み)が、縮小されるように修正される。その際、修正領域と非修正領域の間の境界線の少なくとも1つは、アーチ状の非線形関数または非定数の線形関数を描きうる。
共通画像での修正領域と非修正領域の間の境界線の軌道が「非定数の線形関数」を描くとは、共通画像での修正領域と非修正領域の間の境界線の軌道が、デカルト座標系の軸の1つに対して平行でないということである。このデカルト座標系の1つの軸とは、車両中央面(路面に垂直かつ車両長軸に平行な面)と地面の交差軸であり、この交差軸上を車両が移動する。つまり、たとえば車両長手軸が共通画像の一方の側縁に平行に走っている長方形の共通画像では、境界線は、共通画像のどちらの側縁にも平行に走っていない区間を少なくとも1つ有している。したがって境界線の少なくとも1つの区間は、共通画像の一方の側縁に対してある所定の角度をなす。
共通画像での修正領域と非修正領域の間の境界線の軌道が「非線形関数」を描くとは、修正領域および/または画像の境界線の軌道が、少なくとも部分的にアーチ状の、つまり曲率が0ではない少なくとも1つの区間を有するということである。
非線形関数または非定数の線形関数としての修正領域と非修正領域の間の境界線の少なくとも1つの形態により、特定の領域、とりわけ危険性のある領域での共通画像を、運転者に対してより良好に表示することができ、より現実に近い表現を生じさせ得る。
また、共通画像は、第1の修正領域とは異なる少なくとも1つの第2の修正領域を含んでもよい。この第2の修正領域では、複数の画像の少なくとも1つ(好ましくは第1および第2の画像とは違う画像)が、商用車の長手方向および/または複数の画像の広角方向において、当該方向での画像の伸びが減少するように修正されている。この広角方向は、たとえば第1もしくは第2の画像の広角方向またはそれぞれ修正される画像の広角方向である。
計算部はさらに、複数の画像のうち第1および第2の画像を内包しない少なくとも1つの画像を、共通画像内に重ねてもよい。この重畳する画像は、好ましくは、共通画像のうちその時の走行状態では危険性のない領域が含まれている位置で、共通画像に挿入される。この重ねる位置は、たとえば比較的速い速度での直線走行の際には、共通画像のうち車両後方の地平線付近または車両のサイド前方の領域であり、曲がる際は、共通画像のうち後方の地平線のある領域である。これにより、たとえばそれぞれの走行状況に応じて、車両周囲の特に危険性のある領域を、十分に、かつ高い解像度または大きな情報量で示すことができる。このため、車両周囲の領域への視界を拡張することができ、かつ、車両運転者のための利便性を改善する。さらにこれにより、危険性のある領域の情報量を増やすことができるとともに、危険性のない領域が不必要に表示されない。
計算部は、すべての複数の画像が共通の視点を有するように、すべての複数の画像を共通画像へと、互いに継目なく直接的に隣り合うように組み立てることが好ましい。この場合、比較的現実に近く知覚される共通画像を組み立てることができるとともに、この共通画像上では運転者が迅速に位置認識することができる。また、この場合、たとえ広角ミラーまたは広角レンズでは通常の歪みが画像の広角領域で相変わらず存在しているがゆえに大きな画像領域が表示され得るとしても、共通画像を比較的現実に近く知覚させることができる。これに加え、共通画像内に車両基準が存在していると、より現実に近い表現または運転者の画像上での位置認識を改善することができる。この車両基準は、たとえば画像取得部によって撮影された画像内に一緒に含まれる車両領域(たとえば運転室の後部の縁、運転室の側面の部分、もしくはそれに類する領域)であってもよいし、これらの車両領域に対応するもので後から画像に重ねられるものであってもよい。
複数の画像を、その長手方向および広角方向での広さが揃うように組み立てることも、画像上での簡単で混乱のない位置認識に寄与する。これにより、画像領域に応じて解像度が異なる1つの画像という印象が生じる。広角画像に関しては、画像中央では、共通画像の歪んでいない部分、つまり第1の画像に由来する部分とそれほど異なっていない。一方、車両長手軸に実質的に直角な広角方向に対応する画像幅方向、および/または車両長手軸に平行な画像長手方向には、この処理がされていない(撮影されたままの)画像に比べて圧縮されている。
したがって本発明による表現により、広角ミラーの大きな視界も表示することができ、運転者にとって見慣れているように、あまり歪んでいない主ミラー視界も表示することができる。さらに、車両周囲領域への視界を拡大するために、かつ好ましくは走行状況に起因する危険性のある領域を表示または注意喚起するために、運転者に対し、車両周囲のさらなる領域を表示することができる。
「広角」とは、通常は、人間の目が自然に知覚する画角より大きな画角のことであり、これは通常は40〜50°超の画角である。また、共通の視点とは、複数の画像間で視線方向が実質的に同一ということであり、第1の画像および第2の画像が互いに回転しておらず、たとえば逆さまに配置されていないということである。「広角方向」とは、以下では、水平で一般的には地面に平行な方向のことであり、この広角方向に沿って、広角レンズまたは広角ミラーが広角モードで結像する。
光学的な歪みまたは歪曲とは、光学系の幾何的な結像欠陥のことであり、この結像欠陥は結像倍率を局所的に変化させる。この局所的な倍率変化は、光軸からの画素の距離が増すにつれて拡大率が変化することに由来する。たとえば、画像の撮影のために広角機構を使用する場合、画像エリアの周縁に向かって拡大が減っていくいわゆる樽型歪曲または樽型歪みが存在している。樽型歪みの場合、画像中央では歪みが比較的少なく、ほとんど知覚できず、歪みが人間の目の自然な印象によって生じる知覚に実質的に対応している。
また、第2の画像について、第2の画像がすべての画像方向で広角画像として生成されるか、または少なくとも1つの広角方向を有するように生成されることが考えられる。この広角方向は、少なくとも、商用車の長手軸に対して実質的に直角な水平方向である。
少なくとも第1の画像および第2の画像を含む複数の画像は、取得部により、次の2つの異なる適切な方式で取得することができる。
1つの適切な方式を実現する好ましい一実施形態によれば、取得部は、主ミラーの視野も広角ミラーの視野も内包する1つの画像を広角機構によって撮影するためのたとえば画像センサーまたはカメラのような1つの共通の撮影部を有するとよい。この場合、主ミラーの視野は、撮影された画像の中央領域にあることが好ましく、このとき主ミラーの視野は実質的に歪んでいない。この場合、好ましい一実施形態では、画角がほぼ180°であることができ、画像を生成するためにたとえば魚眼レンズまたはその類似物を使用することができる。この好ましい実施形態ではさらに変換ユニットが設けられる。この変換ユニットは、たとえば計算部または取得部に組み込むことができ、撮影部によって撮影された共通画像を複数の画像に分割する。
もう1つの適切な方式を実現する代替的な好ましい一実施形態によれば、取得部は、複数の画像のそれぞれ少なくとも1つを取得する複数の撮影部を有する。たとえば、第1の画像および第2の画像のためにそれぞれ1つの撮影部が設けられる。この場合、第1の画像のための第1の撮影部は、人間の目の自然な印象の画角に対応する画角を有することができる一方、第2の撮影部は広角機構であることができる。撮影部には、ここでもたとえばカメラまたは画像センサーを使用することができる。
有利な一実施形態によれば、第1の画像は、40〜50°の仮想的な(バーチャルな)視円錐を有しており、これは、人間の目の視円錐に対応する視円錐である。第1の画像は、広角画像からこのバーチャルな視円錐に対応する中心領域を切り取ることによって生成されてもよいし、40〜50°の画角を有するレンズを用いて生成されてもよい。これは第1の画像が実質的に歪んでいない、という印象を運転者に与えることを意味している。
さらに、取得部は、さらなる画像のためにそれぞれ別々の撮影部を有してもよい。これらの撮影部は、それぞれさらなる視界を有する少なくとも1つの画像を撮影し、これらの画像は、計算部により共通画像へと加工処理されてもよい。さらなる画像に対応する視界は、たとえば、少なくとも部分的にアンダーミラーの視野(視野V)および/または少なくとも部分的にフロントミラーの視野(視野VI)を含んでいる。
複数の画像の生成は、たとえばカメラまたは画像センサーのような適切な撮影部によって行うことができる。撮影部としては、個々の画像センサーのような1つもしくは複数の部分ユニットを備えた1つの撮影部や、互いに別々に車両に配置されている1つもしくは複数の互いに独立した撮影部などが考えられる。撮影部または部分ユニットの少なくとも1つは、広角での画像を生成するよう構成され、この広角画像は、必要に応じて第1および第2の画像を、または第2の画像だけを内包することができる。さらに、撮影部または部分ユニットの少なくとも1つを、少なくとも部分的には第1および第2の画像の部分ではないさらなる車両周囲領域を含む画像を生成するよう構成してもよい。
第2の画像を第1の画像とともに組み立てる際に、一方向でのみ、好ましくは商用車中央面(路面に垂直かつ車両長軸に平行な車両中央面)に直角な方向でのみ修正処理する場合、画像を組み立てた後の印象が特に自然なものとなる。したがってこの場合、運転者は、画像に順応するために、および画像に示される有り得る障害物に対する車両位置の位置を認識するために、長い適応時間を必要としない。つまり運転者は、観察の際に修正処理をほとんど知覚しない。これには、商用車長手軸方向に沿って画像が揃っていることも寄与している。
さらに、共通画像の上側または下側の画像領域に配置する画像について、一方向でのみ、好ましくは商用車中央面に平行な方向でのみ処理すると、画像を組み立てた後の印象が特に自然なものとなる。したがってこの場合、運転者は、画像に順応するために、および有り得る障害物に対する車両位置の位置を認識するために、長い適応時間を必要としない。
好ましい一実施形態によれば、複数の画像の1つまたは共同で撮影された画像が、商用車のサイド領域および/またはフロント領域を内包している。この撮影された商用車サイド領域および/または商用車フロント領域が共通画像内に表示されるように、計算部または変換ユニットは、第1および/または第2の画像を修正するまたははめ込むことができる。この方法としては、商用車サイド領域を第1の画像そのものとする方法や、共同で撮影された画像から商用車サイド領域が第1の画像に含まれるように第1の画像を切り取り、第1の画像の両側のうち商用車サイド領域側とは反対側で第2の画像が第1の画像に対して隣接するように、複数の画像を共通画像へと組み立てる方法などが考えられる。さらに、車両フロント領域を共通画像の複数の画像の1つに含むことができる。
特に、第1および第2の画像を別々に撮影する際には、商用車サイド領域が第2の画像に含まれるように撮影してもよい。この場合、商用車サイド領域が示されるように第1および第2の画像を組み立てる際には、第2の画像に含まれる商用車サイド領域のとなりに主ミラー視野を有する第1の画像の実質的に歪んでいない領域が表示され、そのとなりに広角ミラー視野を有する第2の画像の歪んだ領域が表示されるように、この順序で各領域を隣接させるとよい。この場合には、第1の画像と第2の画像の歪んだ領域との間以外では計算部による修正が必要ないことが好ましい。一方、第2の画像に含まれる車両サイド領域は、好ましい位置では広角画像内で実質的に歪みなく表現され得るので、修正せずに配置するだけでよい。ただし、この場合に2つの移行領域を設けてもよい。2つの移行領域を設ける場合、第2の画像の実質的に中央の領域に第1の画像を埋め込み、この埋め込んだ第1の画像の両側に隣接する各々の移行領域で、第2の画像の修正を広角方向において行うとよい。
複数の画像は、車両長手軸に実質的に平行な方向に延びている方向(車両長手方向)に見て揃えて組み立てられている。このため、地平線と運転室に隣接する共通の起点とを利用できる。車両長手軸に揃えて組み立てることにより、運転者が容易に方角の見当をつけることができるような通常の長方形の共通画像が生成される。これは、複数の画像が1つの共通の撮影部によって撮影される場合に容易に実現することができる。1つの共通の撮影部によって撮影される場合、複数の画像は当然に望ましいように揃っているからである。
一実施形態では、取得部が、複数の画像を内包する1つの画像を撮影するための1つの共通の撮影部と、撮影された画像から複数の画像を抽出する変換ユニットとを備えている。したがって複数の画像は既に共通の視点を有している。
さらなる一実施形態では、共通画像内の上側の画像領域内の少なくとも1つの第2の修正領域および/または下側の画像領域内の少なくとも1つの第2の修正領域がそれぞれ、第1の画像および第2の画像に隣り合って存在しており、かつ商用車の長手方向において第1の修正領域に隣り合っている。
さらなる一実施形態では、上側の画像領域内の少なくとも1つの第2の修正領域および/または下側の画像領域内の少なくとも1つの第2の修正領域がそれぞれ、第1の画像にのみ隣り合って存在しており、かつ第1の修正領域には広角方向において隣り合っている。
さらなる一実施形態では、上側の画像領域内の少なくとも1つの第2の修正領域および/または下側の画像領域内の少なくとも1つの第2の修正領域がそれぞれ、第1の画像にのみ隣り合って存在しており、かつ第1の修正領域に対して少なくとも部分的に重なり合っている。
さらなる一実施形態では、少なくとも1つの第2の修正領域が、第2の画像の広角方向における第1の画像の商用車側において、たとえば第1の画像にのみ隣り合っている。すなわち、この実施形態では、少なくとも1つの第2の修正領域は、第1の画像の両側に隣接する領域のうち第2の画像とは反対側の領域で、第1の画像にのみ隣り合って存在している。
好ましい一実施形態では、計算部がさらに、少なくとも第1の画像および第2の画像が継目なく直接的に隣り合うように組み立てられている共通画像に対して、複数の画像の少なくとも1つを重ねるよう構成されている。この共通画像に重ねるように挿入された画像は、たとえば第1および第2の画像とは関連しておらず、したがって結果として生じる共通画像には共通の視点がなくてもよい。挿入される画像に含まれる車両周囲領域は、たとえば商用車の走行状態に応じて選択することができる。たとえば、ゆっくり前進している際にはフロントミラーの視野を挿入してもよいし、カーブ走行の際にはたとえばアンダーミラーの視野などの商用車のすぐ横の領域の視野を挿入してもよい。
好ましい一実施形態では、複数の画像のうち共通画像に重なっている少なくとも1つの画像が、未処理で挿入されており、つまりこの画像には修正領域がない。さらなる一実施形態では、複数の画像のうち共通画像に重なっている少なくとも1つの画像内に、少なくとも1つの第2の修正領域が存在している。
計算部が、複数の画像のうち第1の画像および第2の画像ではない少なくとも1つの画像を共通画像に重ねるよう適合されている好ましい一実施形態では、取得部が、第1の画像および/または第2の画像ならびに共通画像に重ねる画像の少なくとも1つを撮影する1つの共通の撮影部を備えている。この場合、計算部は、共通の撮影部によって撮影された画像から、第1の画像および/または第2の画像に対応する領域を共通画像のために使用するとともに、共通の撮影部によって撮影された画像のうちの、共通画像に重なるように挿入されるさらなる画像領域を使用する。
さらなる一実施形態では、共通画像内で視認可能に明示的に表示されている境界線により、修正領域および/または複数の画像が視覚的に明確に分離される。画像の境界線(画像境界線)は、修正領域の境界線に関連して上述したように、非線形関数または非定数の線形関数を描くことができる。好ましい一実施形態では、複数の画像間の画像境界線が、修正領域と非修正領域の間の境界線と一致している。修正領域と非修正領域の間の境界線(または画像境界線)の形状は、商用車の走行状態に応じて選択してもよい。たとえば、走行状況にとって危険性のある領域内で一時的に視野を拡張するために、たとえばカーブ走行であれば、線形で定数の境界線を非線形の境界線または非定数で線形の境界線へと変更することができる。
修正領域内での修正は、たとえば、修正すべき修正領域が存在しているそれぞれの画像内で、広角方向および/または長手方向に向かって、n列ごとに1列のピクセル列を除外することによって行うことができる(ただしnはn≧2の自然数)。もう1つの好ましい修正方法は、k列ごとに1列のピクセル列をそのままに残留させておくことである(ただしkはk≧2の自然数)。k列ごとに残留させる場合、たとえばk=3の場合は、それぞれ2つの連続するピクセル列を削除し、各々3番目のピクセル列を残留させるとよい。
たとえば、nまたはkは、表示すべき画像幅全体にわたって(広角方向で)一定および/または表示すべき画像高さ全体にわたって(長手方向で)一定である。
この広角方向とは、第2の画像で表現されており、かつ第2の画像で実質的に画像幅方向に現れる開き角度方向である。
計算部は、それぞれの画像内の一部を修正領域として修正を行ってもよいし、それぞれの画像の表示すべき幅および/または高さの全体にわたって修正を行ってもよい。
また、nまたはkは、それぞれの画像の修正領域内で可変であってもよい。この場合、好ましくは車両の近くでより大きなnが使用され、車両からの距離が増すにつれて小さなnが使用される。または、車両からの距離が増すにつれてより大きなkが使用される。つまり、両方の場合において、車両から遠ざかるほど間引きがより強くなる。このnの減少またはkの増加は、連続的または段階的に行うことができる。
nまたはkを用いてピクセル列を除外する方法は、移行領域および歪んだ広角領域内でそれぞれの画像を圧縮しつつ第1の画像の画角との歪みの整合を保つための、簡単で安価な方法であり、計算の手間を比較的必要としない。
その代わりに、またはそれに加えて、修正領域は、修正領域全体にわたって延びる修正線を複数有してもよい。この場合、ピクセル列の除外について例を用いて上述したように、たとえば修正線が走っているピクセルを除外することで修正領域を修正することができる。類似のやり方では、上に修正線が走っていないピクセルをそのままに残留させることができる。修正線は、線形の定数関数、非線形関数、または非定数の線形関数を描くことができる。好ましい一実施形態では、複数の修正線は、それぞれの修正領域の境界線に平行に走る。
複数の画像は、それぞれの画像のために異なる画像センサーもしくは異なるカメラまたは撮影用の部分ユニットを使用することにより、異なる解像度または異なる角度分解能で生成されてもよい。その際、第1の画像の解像度または角度分解能は、第2の画像の解像度または角度分解能よりも高いことが好ましい。これは、運転者が通常の主ミラーおよび広角ミラーの観察によって見慣れていること、つまり主ミラーでの表現が広角ミラーでの表現よりも鮮明なことに対応するためである。また、この場合、車両に近い領域では、高い精度で結像することができる一方、第2の画像は、修正された領域で一種の解像度の減少が生じる。
好ましい一実施形態によれば、広角方向は、商用車長手軸に実質的に直角で、かつ水平である。これは、現在は広角ミラーによって一般に表現されている方向に対応している。
共通画像内の修正領域の修正により、共通画像に表示される視野を少しの歪みだけで表現することができる。このため、観察者に対して、車両周囲の視野のうち特に法的に定められた視野において、ほぼ現実に近い画像を提示することができる。また、共通画像内でその時の走行状況にとって危険性のない領域の上に、危険性のある領域を的確に重ねて表示することができるため、運転者の注意がこの挿入された危険性のある領域に向けられる。
運転室内の表示部は、Aピラーに配置することが人間工学の観点から有利である。これは、Aピラーの位置が、法定視野IIおよびIVのための間接的な視覚システムを商用車の運転者が期待する位置に実質的に対応しているためである。この表示部は、好ましくはディスプレイによって、または直接的にたとえばAピラーもしくは別の車両構造部材に画像を投影する投影装置によって、実現される。
もちろん、1つの視覚システムを、運転者サイド領域のためにも同乗者サイド領域のためにも設けることができるし、両サイドの一方だけのために設けることもできる。両サイドに1つの視覚システムを用いる場合、これを1つの視覚システムに組み合わせることができる。つまり、この場合、たとえば1つの計算部を両サイドのために利用するか、または2つの完全に互いに独立した視覚システムを用いることができる。
好ましい一実施形態によれば、同じ車両サイドの主ミラーおよび広角ミラーの法的に定められた視野を商用車の運転室内で表示するための商用車用の視覚システムは、運転室内の表示部と、取得部と、取得部によって取得された画像を加工処理して表示のために表示部に与える計算部と、を含んでいる。取得部は、少なくとも、主ミラーの視野を内包する第1の画像と、広角ミラーの視野のうち少なくとも主ミラーの視野の部分とは異なる部分を内包する第2の画像と、を含む複数の画像を取得する。計算部は、第1の画像および第2の画像が共通の視点を有するように、第1の画像および第2の画像を共通画像へと、互いに継目なく直接的に隣り合うように組み立てる。このとき、第1の画像および第2の画像の表現は、商用車の長手方向では揃っている。また、少なくとも第2の画像は、画像視線方向に実質的に直角で、かつ水平である少なくとも1つの広角方向において、人間の目が自然に知覚するよりも大きな広角画角を有するがゆえに歪んでいる。一方、第1の画像は、第2の画像の広角方向において実質的に歪んでいない。少なくとも第2の画像は、少なくとも修正領域において、広角方向での画像の伸びが減少するよう広角方向において修正されている。計算部はさらに、複数の画像のうち第1の画像および第2の画像ではない少なくとも1つの画像を共通画像に重ねる。
以下に、添付の図に基づいて本発明を例示的に説明する。
本発明による視覚システムを示す図。 商用車の両サイドでの主ミラーおよび広角ミラーの法的に定められた視野ならびにフロントミラーおよびアンダーミラーの法的に定められた視野を上から見た概略図。 商用車の、撮影部によって撮影されるバーチャルな視円錐を上から見た概略図。 第1および第2の画像のための1つの共通の撮影部を備えた例を示す図。 表示部での本発明による表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での例示的な表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での例示的な表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での本発明によるさらなる表示を示す図。 表示部での本発明による例示的な表示を示す図。 直線走行の際の表示部での本発明によるさらなる表示を示す図。 図20の表示から修正された、カーブ走行の際の表示部での表示を示す図。
図1は、本発明に係る商用車用の視覚システム10の概略図である。視覚システム10は、同じ車両サイドの主ミラーおよび広角ミラーの法的に定められた視野を商用車の運転室内で表示するための表示部20を含んでいる。図1の概略図では、表示部20の商用車の運転室内での位置は示されていない。
表示部20は、計算部38からデータを取得する。計算部38は、取得部40から入力データが供給される。図1に示した一実施形態では、取得部40は、4つのたとえばカメラで構成される撮影部41、42、43、44を有し、画角が異なる第1の画像および第2の画像を撮影部41、42によって取得し、複数のさらなる画像を撮影部43、44によって生成されるように形成されている。本実施形態では、第1のカメラまたは撮影部41が第1の画像を撮影し、第2のカメラまたは撮影部42が第2の画像を生成する。第1の画像は、主ミラーの視野を内包しており、好ましくは高い解像度で、実質的に歪みなく、つまり人間の自然な知覚の画角に対応する画角で撮影される。一方、第2の画像は、少なくとも1つの広角方向が人間の目が自然に知覚する画角より大きな画角を有しており、広角ミラーの視野(視野IV)を結像している。また、第3のカメラまたは撮影部43は、たとえばフロントミラーの視野を内包するさらなる画像を撮影し、第4のカメラまたは撮影部44は、たとえばアンダーミラーの視野を内包するさらなる画像を撮影する。カメラの代わりに、撮影部41、42、43、44が様々な画像センサーまたはその類似物によって構成されてもよい。
本発明による視覚システムが車両の両サイドで適用される場合には、商用車の第2のサイドのために、(図1では示されていない)相応の追加的なカメラまたはその他の撮影部が設けられるとともに、場合によってはさらなる別個の表示部が設けられる。もしくはその代わりに、共通の表示部上で、商用車のそれぞれのサイドの画像を、たとえば線によって分離して示してもよい。計算部38は、車両の両サイドのために共同で使用されてもよいし、車両の各々のサイドに1つの別個の計算部を設けてもよい。
図1ではさらに、本発明に係る視覚システム10の代替的な一実施形態を、破線によって示唆している。代替的な一実施形態では、取得部40を構成する撮影部41、42、43、44の代わりに、取得部40が1つの共通の撮影部45によって構成される。この撮影部45も、カメラ、画像センサー、またはその類似物によって形成することができる。この場合、撮影部45は1つの画像を撮影する。このとき、この1つの画像は、主ミラーの視野を内包する第1の画像および広角ミラーの視野を内包する第2の画像を含む複数の画像を含有することが好ましく、したがって、大きな画角を有する広角機構によって撮影されることが好ましい。この画角は、たとえば最大180°であることができ、たとえば魚眼レンズを使用することで実現することができる。図1に破線によって示した実施形態では、撮影部45によって共同で撮影された1つの画像は、計算部38に組み込まれた変換ユニット39に送られる。なお、変換ユニット39をたとえば撮影部45に割り当てても、ディスプレイ、つまり表示部20に組み込んでも、または撮影部45と計算部38の間に接続される別の機構として設けてもよい。
図1に破線で示した実施形態では、変換ユニット39は、撮影された画像を画像処理により、第1の画像、第2の画像、およびさらなる複数の画像に分離する。その際、第1の画像は、撮影部45によって共同で撮影された画像の画像中央から切り取られることが好ましい。なぜならこの領域は実質的に歪んでおらず、かつ共同で撮影された画像は、画像の中央にある領域で主ミラーの視野が結像されるように方向づけられているためである。この場合、第2の画像は、たとえば第1の画像に直接的に隣り合って共通画像から切り取られる。より具体的には、第2の画像は、第1の画像に隣り合う第1の画像の側縁領域のうち商用車に面していない側の領域をカバーするように、かつ垂直方向に対応する画像高さ方向において同じ広さを有するように、共通画像から切り取られる。この実施形態では、計算部38が第1および第2の画像を処理し、かつ処理した画像を共通画像として表示させるために表示部20に送る。このとき、撮影された画像全体は、第1の画像、第2の画像、およびさらなる複数の画像に分解されてもよいし、撮影された画像がカバーしている全域が、組み合わされた共通画像がカバーする全域より大きくてもよく、この場合は撮影された画像の一部を使用しなくてもよい。
図2は、商用車1の周囲の表示すべき視野の一部を示している。商用車1の周囲の表示すべき視野には、たとえば左サイドの主ミラーの視野51(視野II)、左サイドの広角ミラーの視野52(視野IV)、右サイドの主ミラーの視野61、および右サイドの広角ミラーの視野62が含まれる。さらに、フロントミラーの視野63(視野VI)およびアンダーミラーの視野64(視野V)が含まれてもよい。もちろん、商用車1用の視覚システムを一方の車両サイドでのみ用いることもできる。つまり、たとえば右サイドの視野61、62だけを視覚システム10によって表示部20に表示する一方、運転者サイドである左の商用車サイドはミラーのような間接視界のための通常の手段を使用するなどして、たとえば運転者位置が左サイドの場合は運転者が視認しづらい右サイドでのみ、視覚システム10を用いてもよい。
図3および図4は、撮影部41、42、43、44、45によって撮影される画角を概略的に示している。
図3に示す第1または第2の画像のために別々の撮影部41、42が設けられている実施形態(図1で実線で示した実施形態に対応)では、カメラ(撮影部)42が、カメラ(撮影部)41によって撮影される画角より大きな画角を有する第2の画像を生成する。図3には、これらの画角を第2のカメラ42の視円錐46および第1のカメラ41の視円錐47によって概略的に示している。図3に示すように、カメラ41、42は、車両サイド領域3を一緒に撮影するように配置されることが好ましい。なお、車両サイド領域3の撮影については、カメラ41、42の一方を適切に配置すれば十分である。この結果、商用車サイド領域3(図3では、視認システムは例示的に左の商用車サイドに示してある)を撮影することができ、表示部20に表示される共通画像内に領域3を含めることができる。商用車サイド領域3は、図3に示す平面図において概略的に示されている。また、図3に示したように、カメラ(撮影部)43はフロントミラーの視野を内包するさらなる画像を生成し、カメラ(撮影部)44はアンダーミラーの視野を内包するさらなる画像を生成する。このとき、カメラ43は視円錐48を撮影し、かつカメラ44は視円錐49を撮影する。
また、図4に示す実施形態(図1に破線で示した実施形態に対応)では、1つだけのたとえばカメラのような撮影部45が、(バーチャルな)視円錐46と(バーチャルな)視円錐47の両方を内包する視円錐48を撮影する。したがって視円錐48は強い広角で撮影される視円錐である。この視円錐48では、図4に概略的に示したように、主ミラー視界をカバーすべき(バーチャルな)視円錐47が実質的に画像中央(視円錐48の中央)にあるとともに、商用車サイド領域3も一緒に結像されている。
図5〜図21は、表示部20に表示される共通画像21の複数の形態を例示的および概略的に示している。
図5の表示部20に示された共通画像21は、第1の画像22を含む。第1の画像22は、第1のカメラ41およびその視円錐47によって生成されるか、または撮影部45によって共同で撮影された画像から視円錐47に対応して切り取られる。共同で撮影された画像から切り取られる場合は、好ましくは、共同で撮影された画像のその画像中央にあるほぼ歪んでいない部分から切り取られる。また、共通画像21は第2の画像23を含む。第2の画像23は、たとえばカメラ42によって生成された画像をベースとして作成されるか、または撮影部45によって共同で撮影された画像のうち、より強くもしくは明らかに歪んでいる部分から視円錐46に対応して作成される。共同で撮影された画像から切り取られる場合は、共同で撮影された画像のうち、車両に面しておらず、第1の画像の歪みより大きな画角の領域、または少なくとも1つの歪みを有する領域が使用されている。これは、第2の画像23が、第1の画像22より歪んでいることを意味している。第1の画像22および第2の画像23は、2つの異なる撮影部41、42によって撮影された画像を表すことができる。
図5の共通画像21はさらに、共通画像21の上側の画像領域に、第1の画像22および第2の画像23に車両長手方向において隣り合って配置されているさらなる画像25を含む。また、共通画像21は、下側の画像領域に、第1の画像22および第2の画像23に車両長手方向において隣り合って配置されているさらなる画像27を含んでいる。したがって、画像22、23、25、27は、共通画像21を構成しており、図5に一例を示した実施形態では、すべてが共通の視点を有している。このとき、たとえば画像25は後方への水平視界または車両後部領域を表しており、画像27は車両客室の後部領域の付近の領域(たとえばホイールハウスなど)を表している。
図面内でハッチングされている領域は、それぞれの画像の当該領域が修正されていることを示している。たとえば、図5に示したハッチングは、画像23、25、27の画像全体がそれぞれ修正されていることを示している。この例では、共通画像21は、第2の画像23全体を修正した領域である第1の修正領域24を含んでいる。また、この第1の修正領域24内では、第2の画像23の歪みが第1の画像22の歪みとあまり異なっていないとともに、第1の修正領域24は同時に画像幅方向(図5では左右方向)での広さに関して間引かれて短縮されている。この間引きは、図5では少なくとも1つの左右方向である広角方向において、第2の画像23のn列ごとに1列のピクセル列を削除することによって行うことができる。
また、画像25、27は、画像長手方向(図5では上下方向)において間引かれて短縮されている。共通画像21は、この画像25内に配置されている第2の修正領域26を含んでいる。画像25は、第2の修正領域26内で、図5では少なくとも1つの上下方向である長手方向において、たとえば画像25のピクセル列がn列ごとに1列削除されるように、修正されている。同様に、共通画像21は、画像27内に配置されているさらなる第2の修正領域28を含んでいる。画像27は、第2の修正領域28内で、図5では少なくとも1つの上下方向である長手方向において、たとえば画像27のピクセル列がn列ごとに1列除外されように、修正されている。
さらに、図5に示すように、共通画像21は、画像22、23、25、27を左右方向にも上下方向にも実質的に画像を揃えて組み立てられている。
たとえば第2の画像23の歪みが第1の画像22の歪みに近づいていくことに対応するように画像23、25、27が修正されることにより、あまり歪んでいない領域から強く歪んだ領域へ(図5の左から右へおよび上から下へ)と滑らかに移行させることができる。これは、視覚システムの取扱いおよび運転者の位置認識にとって、特に共通画像21に表示される障害物に対する運転者の位置認識にとって、人間工学的に非常に有利であることが分かっている。特に、広角ミラーの視界全体が小さな空間で表示されており、第1および第2の画像が互いに連続的な画像であるとともに、これらの画像が広角方向においてほとんど継目がなく、かつ広角方向に直角な車両長手軸方向に対応する方向に沿っても揃っているように組み立てられている場合に、人間工学的に非常に有利であることが分かった。
なお、図5には、第1の修正領域24および第2の修正領域26、28がそれぞれ、広角方向または長手方向において画像23、25、27全体にわたって延びている場合の例を示してある。ただし、第1の修正領域24および第2の修正領域26、28は、それぞれの画像23、25、27を部分的にしかカバーしなくてもよいことをここで明示的に確認しておく。たとえば第2の画像23に対応する第1の修正領域24は、その広角方向での広さにおいて、広角ミラーの視野の少なくとも一部を内包する第2の画像23の広角方向での広さより小さくてもよい。同じことが第2の修正領域26、28に当てはまり、第2の修正領域26、28は、その長手方向での広さにおいて、対応する画像25、27の長手方向での広さより小さくてよい。このとき、第1の修正領域24ならびに第2の修正領域26および28は、それぞれの画像に隣り合う画像と境を接していることが好ましい。
図5に示す例では、画像25および27ならびに第2の修正領域26および28は、共通画像21の幅全体にわたって延びており、第2の修正領域26、28は、それぞれ長手方向において、画像22、23および第1の修正領域24に隣り合っている。
図6は、表示部20での表示のさらなる一例を示している。図6に示す例では、画像25および27ならびに第2の修正領域26および28は、第1の画像22の幅にわたってのみ延びている。したがって、第2の修正領域26、28は、商用車の長手方向ではそれぞれ第1の画像22にのみ隣り合っており、第1の修正領域24には広角方向において隣り合っている。
図7は、表示部20での表示のさらなる一例を示している。図7の共通画像21は、画像27および第2の修正領域28が共通画像21の左右側縁領域(画像サイド領域)の一方で第1の画像22の隣にある点で図6の共通画像21と異なっている。また、図7に示す例では、第2の修正領域26と第2の修正領域28、および第2の修正領域26と第1の修正領域24が、少なくとも部分的に重なり合っている。
図8は、たとえばカメラ(撮影部)43または44によって撮影された画像29が、好ましくは危険性のない位置に挿入されており、かつ画像22および23に少なくとも部分的に重なっている共通画像21の一例を概略的に示している。挿入された画像29は、図8の例では修正領域なしで設けられているとともに、画像29は画像22および23とは直接的な関連はなく、画像22および23とは共通の視点を有していない。
図9は、共通画像21の表示の図8に類似の一実施形態を示している。図9に示す共通画像21の例では、画像29が右上に挿入されている。図9に示す例では、画像29の実質的に幅方向(左右方向)に延びている第2の修正領域30を含む画像29が挿入されている。画像29は、たとえばフロントミラーの視野(視野VI)の少なくとも一部分を内包している。
図10は、共通画像21の表示の図9に類似の一実施形態を示している。図10に示す共通画像21の例では、画像29が右下に挿入されている。図10に示す例では、画像29の実質的に長手方向(上下方向)に延びている第2の修正領域30を含む画像29が挿入されている。画像29は、たとえばアンダーミラーの視野(視野V)の少なくとも一部を内包している。多くの実施形態で、共通画像21は、図9の第2の修正領域30を含む挿入画像29および図10の第2の修正領域30を含む挿入画像29を含むことができる。
図11には、第2の画像23が、第1の修正領域24において、広角方向にも商用車の長手方向にも修正されている場合の例を示した。この場合、長手方向においても縮められていることから、商用車の長手方向における第2の画像23の広さは、この方向での共通画像21の広さ全体よりも小さい。
図5〜図11では、修正領域24、26、28、30と非修正領域の間の移行部または境界線、および複数の画像23、25、27、29どうしの間の移行部または境界線は、共通画像21上で明示的に表示されてはいない。つまり、図5〜図11に表現された移行部または境界線は、共通画像21の観察者には見えない。
図12は、共通画像21の表示の図9に類似の一実施形態を示しており、この形態では、第1の修正領域24と非修正領域の間の移行部が、破線の境界線31によって明示的に表示されている。また、画像29と画像22および23との間の移行部が、破線の画像境界線33によって表されている。図12ではさらに、画像29内にある第2の修正領域30が、さらなる破線の境界線31によって示唆される。同様に、第1の画像22と第2の画像23との境界は、図12で示すように、境界線31と同一の線種である破線によって表示することができる。また、修正領域または画像を隣り合う非修正領域または隣り合う画像から視覚的に切り離すため、破線の境界線31や画像境界線33の代わりに、実線、点線、鎖線、または線のためのあらゆるその他の表現形式を使用してもよい。
図13〜図18は、表示に関するさらなる例を示している。これらの例では、境界線31は、観察者に見えるか見えないかにかかわらず、修正領域と非修正領域の間で非線形関数または非定数の線形関数を描いている。
図13では、第2の画像23の第1の修正領域24と非修正領域の間の境界線31がアーチ状であることが示されている。この例では、第1の画像22と第2の画像23の間の画像境界線33は、定数の線形関数として表現されており、この画像境界線33は、さらなる形態では非線形または非定数の線形であることができる。図13では、第1の修正領域24は実質的に凸状に形成されている。
図13にはさらに、修正領域24が多数の修正線24Aを有していることが示されており、この修正線24Aに沿ってそれぞれの画像の修正が行われる。図13に示した例では、修正線24Aは車両長手軸に平行に延びており、したがって境界線31に平行には走っていない。
図14に示す例では、図13とは異なり、境界線31が共通画像21の上端から共通画像21の下端まで完全に延びているのではなく、境界線31がアーチ状に形成されており、共通画像21の上端から共通画像21の側端へと延びている。図14に示した共通画像21の修正線24Aは、それぞれ非定数の線形関数を描いており、かつ境界線31に平行には走っていない。
図15に示す例では、第1の修正領域24が実質的に凹状に形成されているとともに第2の修正領域26が設けられている。この第2の修正領域26は、実質的に広角方向に延びており、かつ第1の修正領域24と少なくとも部分的に重なり合っている。第2の修正領域26の境界線31はアーチ状であり、第2の修正領域26は実質的に凸状に形成されている。図15の第2の修正領域26の修正線26Aは、非定数の線形関数を描いており、かつ第2の画像23の実質的に広角方向に走っている。
図16には、表示のさらなる例示的な一実施形態が示されている。図16では、第2の修正領域24が、線形で定数の区間31Aおよびそれに隣接する非線形の区間31Bから構成された境界線31を有している。図16に示す例では、線形で定数の区間31Aは、共通画像21の上端から共通画像21の中央領域に延びており、そこでアーチ状の区間31Bに移行し、アーチ状の区間31Bは共通画像21の下端まで延びている。図16では、修正線24Aが境界線31に平行に走っていることが示されている。
図17および図18では、さらなる表示の例が示されており、いずれの例においても、第1の修正領域24の境界線31が非定数の線形関数を描いている。図17に示す例では、第1の修正領域24の境界線31が、共通画像21の上端から斜めに共通画像21の下端へと延びている。一方、図18に示す例では、第1の修正領域24の境界線31が、第1の線形の区間31Aおよび第2の線形の区間31Bから構成されており、これらの区間はそれぞれ斜めに延びている。
図19には、画像22、23、25、および29から構成された共通画像21の一例が示されており、画像29は第2の画像23に少なくとも部分的に重なっている。図19では、矢印2が商用車の前進方向を表示している。第2の画像23は第1の修正領域24を、画像25は第2の修正領域26を、および画像29はさらなる第2の修正領域30を、それぞれ含んでいる。画像25には、後方の地平線72および物体82(たとえば木など)が表示されている。図19に示す例では、フロントミラーの視野を内包するとともに画像25に重なっている画像29は、前方の地平線74および物体84(たとえば建物など)を含んでいる。また、図19に示す例では、第2の修正領域26は、広角方向および長手方向において画像25全体にわたって延びているとともに、第2の修正領域30は、広角方向では画像29の幅全体にわたって伸びている一方、長手方向には部分的にのみ延びている。
また、図19に示すように、共通画像21には商用車サイド領域3Aおよび商用車フロント領域3Bが挿入されており、商用車サイド領域3Aは第1の画像22で、および商用車フロント領域3Bは画像29で、それぞれ表示される。これらの領域3Aおよび3Bを挿入することにより、運転者はさらに容易に位置認識することができる。また、図19に示す例では、位置認識のさらなる改善のため、第1の画像22には、たとえば実線の形態で車道端70が含まれている。
図20および図21は、様々な走行状況に応じて共通画像21を修正する様子について説明するための図である。図20は、商用車の直線走行中の共通画像21の一例であり、図21は、右カーブ走行中の共通画像21の一例である。直線走行中には図20に示すように軌道が線形で定数の修正領域24の境界線31を、カーブ走行の際には、危険性のある領域の視野を一時的に拡張するために、図21に示すような非線形の軌道に修正することができる。境界線31の軌道の修正は、たとえば速度その他の車両パラメータに応じて行ってもよい。さらなる例では、境界線31の軌道の修正を、商用車の運転者が手動で行うこともできる。
上述した視覚システム10は、次の態様をとることもできる。
(態様1)
同じ車両サイドの主ミラーおよび広角ミラーの法的に定められた視野(51、52、61、62)を商用車(1)の運転室内で表示するための商用車用の視覚システム(10)であって、
前記運転室内の表示部(20)と、
取得部(40、41、42、43、44、45)と、
前記取得部(40、41、42、43、44、45)によって取得された画像を処理して表示のために前記表示部(20)に与える計算部(38)と、
を備え、
前記取得部(40、41、42、43、44、45)は、
少なくとも、前記主ミラーの視野を内包する第1の画像(22)と、前記広角ミラーの視野のうち少なくとも前記主ミラーの視野とは異なる部分を内包する第2の画像(23)と、を含む複数の画像を取得し、
前記計算部(38)は、
前記第1の画像(22)および前記第2の画像(23)が共通の視点を有するように、前記複数の画像が互いに継目なく直接的に隣り合うように共通画像(21)を組み立て、
前記第1の画像(22)および前記第2の画像(23)は、
前記商用車の長手方向では表現が揃っており、少なくとも前記第2の画像(23)は、画像視線方向に実質的に直角で水平な少なくとも1つの広角方向において、人間の目が自然に知覚するよりも大きな広角画角を有するために歪んでいる一方、前記第1の画像(22)は、前記第2の画像の広角方向において実質的に歪んでおらず、
少なくとも前記第2の画像(23)が、少なくとも第1の修正領域(24)において、広角方向での画像の伸びが減少するよう広角方向において修正されており、
前記共通画像(21)は、
前記第1の修正領域(24)とは異なる少なくとも1つの第2の修正領域(26、28、30)を含んでおり、前記第2の修正領域では、前記複数の画像の少なくとも1つが、前記商用車の長手方向および前記複数の画像の広角方向の少なくとも一方の方向において、当該方向での画像の伸びが減少するように修正された、
視覚システム。
(態様2)
修正領域(24、26、28、30)と非修正領域の間の境界線(31)が、アーチ状の非線形関数または非定数の線形関数を描く、
態様1に記載の視覚システム(10)。
上述の好ましい実施形態は、これらの態様1および2に対しても適用することができる。
1 商用車
2 前進方向
3A 商用車サイド領域
3B 商用車フロント領域
10 視覚システム
20 表示部
21 共通画像
22 第1の画像
23 第2の画像
24 第1の修正領域
24A 修正線
25、27、29 画像
26、28、30 第2の修正領域
26A 修正線
31 修正領域と非修正領域の間の境界線
31A (境界線の)第1の区間
31B (境界線の)第2の区間
33 画像間の境界線
38 計算部
39 変換ユニット
40 取得部
41、42、43、44、45 撮影部
46、47、48、49 視円錐
51、52、61、62、63、64 視野
70 車道端
72 後方の地平線
74 前方の地平線
82、84 物体

Claims (21)

  1. 同じ車両サイドの主ミラーおよび広角ミラーの法的に定められた視野(51、52、61、62)を商用車(1)の運転室内で表示するための商用車用の視覚システム(10)であって、
    前記運転室内の表示部(20)と、
    取得部(40、41、42、43、44、45)と、
    前記取得部(40、41、42、43、44、45)によって取得された画像を処理して表示のために前記表示部(20)に与える計算部(38)と、
    を備え、
    前記取得部(40、41、42、43、44、45)は、
    少なくとも、前記主ミラーの視野を内包する第1の画像(22)と、前記広角ミラーの視野のうち少なくとも前記主ミラーの視野とは異なる部分を内包する第2の画像(23)と、を含む複数の画像を取得し、
    前記計算部(38)は、
    前記第1の画像(22)および前記第2の画像(23)が共通の視点を有するように、前記複数の画像が互いに継目なく直接的に隣り合うように共通画像(21)を組み立て、
    前記第1の画像(22)および前記第2の画像(23)は、
    前記商用車の長手方向では表現が揃っており、少なくとも前記第2の画像(23)は、画像視線方向に実質的に直角で水平な少なくとも1つの広角方向において、人間の目が自然に知覚するよりも大きな広角画角を有するために歪んでいる一方、前記第1の画像(22)は、前記第2の画像(23)の広角方向において実質的に歪んでおらず、
    少なくとも前記第2の画像(23)が、少なくとも第1の修正領域(24)において、広角方向での画像の伸びが減少するよう広角方向において修正されており、
    少なくとも前記第1の修正領域を含む修正領域(24、26、28、30)と非修正領域との境界線(31)が、アーチ状の非線形関数または非定数の線形関数を描く、
    視覚システム。
  2. 前記共通画像(21)は、
    前記第1の修正領域(24)とは異なる少なくとも1つの第2の修正領域(26、28、30)を含んでおり、前記第2の修正領域では、前記複数の画像の少なくとも1つが、前記商用車の長手方向および前記複数の画像の広角方向の少なくとも一方の方向において、当該方向での画像の伸びが減少するように修正された、
    請求項1記載の視覚システム。
  3. 前記複数の画像の2つの間の画像境界線(33)が、アーチ状の非線形関数を描いているか、または
    前記複数の画像の2つの間の画像境界線(33)が、非定数の線形関数を描いており、
    修正領域(24、26、28、30)と非修正領域の間の前記境界線(31)が、前記複数の画像の2つの間の前記画像境界線(33)と同一の線種で表される、
    請求項1記載の視覚システム(10)。
  4. 前記計算部(38)は、
    すべての前記複数の画像が共通の視点を有するように、すべての前記複数の画像を前記共通画像(21)へと、互いに継目なく直接的に隣り合うように組み立てる、
    請求項1ないし3のいずれか1項に記載の視覚システム(10)。
  5. 前記取得部(40、41、42、43、44、45)は、
    前記複数の画像の少なくとも2つを撮影するために、各画像に対応する別々の撮影部(41、42、43、44)を備えた、
    請求項1ないし4のいずれか1項に記載の視覚システム(10)。
  6. 前記取得部(40、41、42、43、44、45)は、
    前記複数の画像の少なくとも2つを内包する画像を撮影するための1つの共通の撮影部(45)を備えた、
    請求項1ないし5のいずれか1項に記載の視覚システム(10)。
  7. 前記共通画像(21)の上側の画像領域内の少なくとも1つの第2の修正領域(26)および下側の画像領域内の少なくとも1つの第2の修正領域(28)の少なくとも一方は、
    前記第1の画像(22)に前記商用車の長手方向において隣り合い、前記第2の画像(23)に前記商用車の長手方向において隣り合い、かつ、前記商用車の長手方向において前記第1の修正領域(24)に隣り合う、
    請求項6記載の視覚システム(10)。
  8. 前記共通画像(21)の上側の画像領域内の少なくとも1つの第2の修正領域(26)および下側の画像領域内の少なくとも1つの第2の修正領域(28)の少なくとも一方は、
    前記第1の画像(22)に前記商用車の長手方向において隣り合い、かつ、前記第1の修正領域(24)に前記第2の画像(23)の広角方向において隣り合う、
    請求項6または7に記載の視覚システム(10)。
  9. 前記共通画像(21)の上側の画像領域内の少なくとも1つの第2の修正領域(26)および下側の画像領域内の少なくとも1つの第2の修正領域(28)の少なくとも一方は、
    前記第1の画像(22)に前記商用車の長手方向において隣り合い、かつ、前記第1の修正領域(24)に少なくとも部分的に重なり合う、請求項6ないし8のいずれか1項に記載の視覚システム(10)。
  10. 少なくとも1つの第2の修正領域(28)は、
    前記第1の画像(22)にのみ、前記第2の画像(23)の広角方向における前記第1の画像(22)の前記商用車側において隣り合う、
    請求項6ないし9のいずれか1項に記載の視覚システム(10)。
  11. 前記計算部(38)は、
    少なくとも前記第1の画像(22)および前記第2の画像(23)が継目なく直接的に隣り合うように組み立てられた前記共通画像(21)に対し、さらに前記複数の画像のうちの少なくとも1つを重ねる、
    請求項1ないし3のいずれか1項に記載の視覚システム(10)。
  12. 前記第2の修正領域(30)は、
    前記共通画像(21)に重ねられた前記複数の画像のうちの前記少なくとも1つの画像内に存在する、
    請求項11記載の視覚システム(10)。
  13. 前記計算部(38)は、
    前記商用車が所定の走行状態である場合に、少なくとも前記第1の画像(22)および前記第2の画像(23)が継目なく直接的に隣り合うように組み立てられた前記共通画像(21)に対し、さらに前記複数の画像のうちの少なくとも1つを重ねる、請求項11または12に記載の視覚システム(10)。
  14. 前記共通画像(21)はさらに、
    2つの隣接する画像にそれぞれ含まれた前記修正領域(24、26、28、30)どうしを互いに視覚的に分離するための視認可能な画像境界線(33)を有する、
    請求項1ないし13のいずれか1項に記載の視覚システム(10)。
  15. 前記複数の画像の少なくとも1つは、
    商用車サイド領域(3A)および商用車フロント領域(3B)の少なくとも一方を含み、
    前記計算部(38)は、
    前記共通画像(21)内で前記商用車サイド領域(3A)および前記商用車フロント領域(3B)の少なくとも一方が示されるように前記複数の画像を組み立てる、
    請求項1ないし14のいずれか1項に記載の視覚システム(10)。
  16. 前記計算部(38)は、
    前記修正領域(24、26、28、30)の少なくとも1つについて、広角方向および長手方向の少なくとも一方において、n列ごとに1列のピクセル列を除外することによっておよび/または広角方向および長手方向の少なくとも一方においてにおいてk列ごとに1列のピクセル列を残留させることによって間引きを行い、nはn≧2の自然数であり、kはk≧2の自然数である、
    請求項1ないし15のいずれか1項に記載の視覚システム(10)。
  17. 前記ピクセル列におけるn列ごとの除外またはk列ごとの残留は、それぞれの前記画像の全体において、間引きの対象となる広角方向および長手方向の少なくとも一方について当該方向わたって均等に行われる、
    請求項16記載の視覚システム(10)。
  18. 前記計算部(38)は、
    前記修正領域(24、26、28、30)の少なくとも1つについて、広角方向および長手方向の少なくとも一方において、ピクセル列を除外することによって間引きを行うとともに、前記除外されたピクセル列の数は、前記商用車(1)からの距離が増すにつれて増加し、好ましくは均一に増加する、
    請求項1ないし16のいずれか1項に記載の視覚システム(10)。
  19. 前記間引きは、前記第1の修正領域(24)では広角方向に関してのみ行われ、および/または前記第2の修正領域(26、28、30)の1つでは長手方向に関してのみ行われる、
    請求項16または18に記載の視覚システム(10)。
  20. 前記間引きは、それぞれの前記画像の全体にわたって、間引きの対象となる広角方向および長手方向の少なくとも一方において前記商用車(1)からの距離が増すにつれて前記除外されるピクセル列の数が均一に増加するように行われる、
    請求項18記載の視覚システム(10)。
  21. 前記複数の画像の1つが、アンダーミラーの視野(視野V)を内包しており、かつ/または前記複数の画像の1つが、フロントミラーの視野(視野VI)を内包している、
    請求項1ないし20のいずれか1項に記載の視覚システム(10)。
JP2016119907A 2015-06-16 2016-06-16 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム Active JP6284980B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015007673.6 2015-06-16
DE102015007673.6A DE102015007673A1 (de) 2015-06-16 2015-06-16 Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels

Publications (2)

Publication Number Publication Date
JP2017011702A JP2017011702A (ja) 2017-01-12
JP6284980B2 true JP6284980B2 (ja) 2018-02-28

Family

ID=56567359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016119907A Active JP6284980B2 (ja) 2015-06-16 2016-06-16 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム

Country Status (6)

Country Link
EP (1) EP3106349B1 (ja)
JP (1) JP6284980B2 (ja)
DE (1) DE102015007673A1 (ja)
ES (1) ES2676280T3 (ja)
PL (1) PL3106349T3 (ja)
TR (1) TR201808798T4 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018119024B4 (de) 2018-08-06 2024-11-07 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Kameraüberwachungssystem, Nutzfahrzeug und Verfahren zur Unterstützung eines Fahrerassistenzsystems oder eines autonomen Fahrens
DE102020106967A1 (de) 2020-03-13 2021-09-16 Valeo Schalter Und Sensoren Gmbh Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter
DE102023132641A1 (de) 2023-11-23 2025-05-28 Valeo Schalter Und Sensoren Gmbh Verfahren und System zum Bereitstellen eines Umgebungsbildes für eine Teleoperation eines Kraftfahrzeugs
DE102024100037A1 (de) * 2024-01-02 2025-07-03 Zf Cv Systems Global Gmbh Fahrzeug, Server und Verfahren zur Unfalldokumentation für ein Fahrzeug
CN120725935B (zh) * 2025-08-27 2025-12-09 上海秋葵扩视仪器有限公司 一种坐标映射方法以及图像显示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19900498B4 (de) 1999-01-08 2009-01-29 Volkswagen Ag Verfahren und Einrichtung zur Einsichtnahme des rückwärtigen Beobachtungsraumes bei Kraftfahrzeugen
JP4560716B2 (ja) 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
EP1696669B1 (en) 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
TWI361396B (en) 2008-01-18 2012-04-01 Univ Nat Chiao Tung Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method
US8830319B2 (en) 2008-04-29 2014-09-09 Magna Electronics Europe Gmbh & Co. Kg Device and method for detecting and displaying the rear and/or side view of a motor vehicle
EP2166766B1 (en) 2008-09-18 2016-05-18 Magneti Marelli S.p.A. On-board system for auxillary viewing of the surroundings of a vehicle
DE102009036200A1 (de) 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
US20110115913A1 (en) * 2009-11-17 2011-05-19 Werner Lang Automated vehicle surrounding area monitor and display system
EP2377725B2 (de) 2010-04-19 2017-01-25 SMR Patents S.à.r.l. Außenspiegelsimulation
DE102011010624B4 (de) 2011-02-08 2014-10-16 Mekra Lang Gmbh & Co. Kg Anzeigevorrichtung für Sichtfelder eines Nutzfahrzeugs
JP5724446B2 (ja) * 2011-02-21 2015-05-27 日産自動車株式会社 車両の運転支援装置
DE102012001835B4 (de) * 2012-01-31 2023-03-02 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102013220022B4 (de) 2013-10-02 2021-11-11 Application Solutions (Electronics and Vision) Ltd. Fahrzeugkamera zur Erfassung von Bildern aus einem Umgebungsbereich eines Fahrzeugs und Fahrzeug

Also Published As

Publication number Publication date
TR201808798T4 (tr) 2018-07-23
EP3106349A1 (de) 2016-12-21
EP3106349B1 (de) 2018-05-09
ES2676280T3 (es) 2018-07-18
DE102015007673A1 (de) 2016-12-22
JP2017011702A (ja) 2017-01-12
PL3106349T3 (pl) 2018-10-31

Similar Documents

Publication Publication Date Title
JP5671186B1 (ja) メインミラー及び広角ミラーによる法定視界を表示するための輸送車両用の視認システム
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP4596978B2 (ja) 運転支援システム
JP5684144B2 (ja) 周辺映像生成方法および装置
JP6284980B2 (ja) 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
US7245275B2 (en) Image display controller
US20160044284A1 (en) Vehicle vision system with panoramic view
JP2007109166A (ja) 運転支援システム
JP2012147149A (ja) 画像生成装置
CN107438538A (zh) 用于显示车辆的车辆周围环境的方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2021111854A (ja) 車両用電子ミラーシステム
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP6032219B2 (ja) 運転支援装置
KR101657673B1 (ko) 파노라마뷰 생성 장치 및 방법
JP7391940B2 (ja) カメラ監視システム
KR20160034681A (ko) 차량의 주변 감시 장치 및 방법
JP7632687B2 (ja) 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
JP4706896B2 (ja) 広角画像の補正方法及び車両の周辺監視システム
KR101750156B1 (ko) 차량의 파노라마 영상 표시장치 및 방법
JP6332331B2 (ja) 電子ミラー装置
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP7693643B2 (ja) 撮像設定装置、撮像装置および撮像設定方法
WO2016157667A1 (ja) 画像処理装置、運転支援システム及び画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180131

R150 Certificate of patent or registration of utility model

Ref document number: 6284980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250