JP6480267B2 - Imaging apparatus, motion analysis system, vehicle, and motion analysis method - Google Patents
Imaging apparatus, motion analysis system, vehicle, and motion analysis method Download PDFInfo
- Publication number
- JP6480267B2 JP6480267B2 JP2015107901A JP2015107901A JP6480267B2 JP 6480267 B2 JP6480267 B2 JP 6480267B2 JP 2015107901 A JP2015107901 A JP 2015107901A JP 2015107901 A JP2015107901 A JP 2015107901A JP 6480267 B2 JP6480267 B2 JP 6480267B2
- Authority
- JP
- Japan
- Prior art keywords
- history information
- processing
- information
- unit
- vehicle network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
本発明は、撮像装置、動作解析システム、車両、および動作解析方法に関する。 The present invention relates to an imaging device, a motion analysis system, a vehicle, and a motion analysis method.
従来、例えば車両の周辺を視認可能な画像を表示させるために、車両に撮像装置を設置することが行われている。また従来、車両に備えられた装置の動作異常が発生した場合に、異常の発生原因を解析することが行われている。例えば特許文献1には、車両に備えられた複数のECUの何れかが自己診断機能によって異常を検出すると、当該複数のECUに関する情報を記憶させることで、異常検出時の車両状態の解析に資する技術が開示されている。 2. Description of the Related Art Conventionally, for example, an imaging device is installed in a vehicle in order to display an image in which the periphery of the vehicle can be viewed. Conventionally, when an operation abnormality of a device provided in a vehicle occurs, the cause of the abnormality is analyzed. For example, in Patent Document 1, when any of a plurality of ECUs provided in a vehicle detects an abnormality by a self-diagnosis function, information related to the plurality of ECUs is stored, which contributes to an analysis of a vehicle state at the time of detecting the abnormality. Technology is disclosed.
しかしながら、従来技術においては、ECUに関する情報を蓄積しておき、専用の読み出しツール等を用いて当該情報を読み出して解析を行うため、異常が発生した際の情報をリアルタイムに読み出すものではない。一方、異常発生の解析を効率的に行うためには、異常が発生した際の情報出力のリアルタイム性が求められる。 However, in the prior art, information related to the ECU is accumulated, and the information is read and analyzed using a dedicated reading tool or the like, so that information when an abnormality occurs is not read in real time. On the other hand, in order to efficiently analyze the occurrence of an abnormality, a real-time property of information output when an abnormality occurs is required.
かかる事情に鑑みてなされた本発明の目的は、車両に設置された撮像装置が実行する処理の履歴情報出力のリアルタイム性を向上させる撮像装置、動作解析システム、車両、および動作解析方法を提供することにある。 An object of the present invention made in view of such circumstances is to provide an imaging device, an operation analysis system, a vehicle, and an operation analysis method that improve the real-time performance of history information output of processing executed by the imaging device installed in the vehicle. There is.
上記課題を解決するために本発明に係る撮像装置は、
撮像画像を生成する撮像素子と、
所定のプログラムを記憶する記憶部と、
自装置が設置される車両の車載ネットワークを介して情報の入出力を行う通信部と、
前記プログラムの処理を実行し、該処理の実行中、前記通信部に該処理の履歴情報を前記車載ネットワークへ出力させる処理部と、を備える
ことを特徴とする。
In order to solve the above problems, an imaging apparatus according to the present invention provides:
An image sensor for generating a captured image;
A storage unit for storing a predetermined program;
A communication unit that inputs and outputs information via the in-vehicle network of the vehicle in which the device is installed;
And a processing unit that executes the processing of the program and causes the communication unit to output history information of the processing to the in-vehicle network during the execution of the processing.
また、本発明に係る動作解析システムは、
撮像画像を生成する撮像素子と、所定のプログラムを記憶する記憶部と、自装置が設置される車両の車載ネットワークを介して情報の入出力を行う通信部と、前記プログラムの処理を実行し、該処理の実行中、前記通信部に該処理の履歴情報を前記車載ネットワークへ出力させる処理部と、を有する撮像装置と、
前記車載ネットワークに接続して前記履歴情報を取得する接続部と、前記履歴情報に基づく所定の画面を表示させるための表示情報を生成する制御部と、前記表示情報に基づいて前記画面を表示する表示部と、を有する情報処理装置と、を備える
ことを特徴とする。
Further, the motion analysis system according to the present invention is:
An image sensor that generates a captured image, a storage unit that stores a predetermined program, a communication unit that inputs and outputs information via an in-vehicle network of a vehicle in which the device is installed, and executes the processing of the program, A processing unit that causes the communication unit to output history information of the process to the in-vehicle network during execution of the process;
A connection unit for connecting to the in-vehicle network to acquire the history information, a control unit for generating display information for displaying a predetermined screen based on the history information, and displaying the screen based on the display information And an information processing apparatus having a display unit.
また、本発明に係る車両は、
車載ネットワークと、
撮像画像を生成する撮像素子と、所定のプログラムを記憶する記憶部と、前記車載ネットワークを介して情報の入出力を行う通信部と、前記プログラムの処理を実行し、該処理の実行中、前記通信部に該処理の履歴情報を前記車載ネットワークへ出力させる処理部と、を有する撮像装置と、を備える
ことを特徴とする。
The vehicle according to the present invention is
An in-vehicle network,
An image sensor that generates a captured image, a storage unit that stores a predetermined program, a communication unit that inputs and outputs information via the in-vehicle network, and the processing of the program are executed. And a processing unit that causes the communication unit to output history information of the processing to the in-vehicle network.
また、本発明に係る動作解析方法は、
前記撮像装置に記憶されたプログラムの処理を実行するステップと、
前記処理の実行中、前記処理の履歴情報を、自装置が設置される車両の車載ネットワークへ出力するステップと、を含む
ことを特徴とする。
Further, the operation analysis method according to the present invention includes:
Executing processing of a program stored in the imaging apparatus;
Outputting the history information of the process to the in-vehicle network of the vehicle in which the apparatus is installed during execution of the process.
本発明に係る撮像装置、動作解析システム、車両、および動作解析方法によれば、車両に設置された撮像装置が実行する処理の履歴情報出力のリアルタイム性が向上する。 According to the imaging device, the motion analysis system, the vehicle, and the motion analysis method according to the present invention, the real-time property of the history information output of the processing executed by the imaging device installed in the vehicle is improved.
以下、本発明の実施形態について、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
はじめに、図1を参照して、本発明の第1の実施形態に係る撮像装置10が設置された車両11について説明する。車両11は、撮像装置10と、表示装置12と、を備える。また車両11は、例えばCAN等の車載ネットワークを備える。本実施形態において車両11は1つの撮像装置10を備えるが、任意の数の撮像装置10を備えてもよい。
First, a vehicle 11 provided with an
撮像装置10は、例えば車両11の後方周辺領域等を撮像可能となるように、車両11に設置される。また撮像装置10は、車載ネットワークに接続される。撮像装置10は、生成した撮像画像を、例えば専用線を介して表示装置12へ出力する。
The
表示装置12は、例えば液晶ディスプレイや有機ELディスプレイであって、車両11の運転者が視認可能な車両11上の位置に設置される。表示装置12は、撮像装置10から専用線を介して取得した撮像画像を表示する。表示装置12に表示される撮像画像を視認することによって運転者は、例えば車両11が駐車する際に車両11後方の様子を認識可能である。
The
次に図2を参照して、本実施形態に係る撮像装置10を含む動作解析システム13について説明する。概略として動作解析システム13は、撮像装置10の動作確認作業およびデバッグ作業等のために用いられる。
Next, the
動作解析システム13は、撮像装置10と、情報処理装置14と、を備える。情報処理装置14は、例えば撮像装置10の動作確認作業およびデバッグ作業を行う際に、車載ネットワーク15に接続される。以下、動作解析システム13の各構成要素について具体的に説明する。
The
撮像装置10は、光学系16と、撮像素子17と、AFE18と、通信部19と、記憶部20と、処理部21と、を備える。
The
光学系16は、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系16は広い画角を有しており、例えば車両11の周辺領域の被写体像や、車両11内の被写体像を結像可能である。
The
撮像素子17は、例えばCMOS撮像素子であって、光学系16によって結像される被写体像を撮像して、アナログの撮像画像を生成する。ここで撮像素子17は、上述したように光学系16が広い画角を有するので、広角撮影された撮像画像を生成可能である。
The
AFE18は、例えばCDS、AGC、およびADCを含んで構成される。AFE18は、撮像素子17によって生成されたアナログの撮像画像に対し、CDS、ゲイン調整(AGC)、およびA/D変換(ADC)等の所定の前段画像処理を施す。
The AFE 18 includes, for example, CDS, AGC, and ADC. The AFE 18 performs predetermined pre-stage image processing such as CDS, gain adjustment (AGC), and A / D conversion (ADC) on the analog captured image generated by the
通信部19は、専用線22および車載ネットワーク15を介して情報の入出力を行うインターフェースである。
The communication unit 19 is an interface that inputs and outputs information via the
記憶部20は、例えばメモリであって、撮像装置10の動作に必要な種々の情報および種々のプログラムを記憶する。
The storage unit 20 is, for example, a memory, and stores various information and various programs necessary for the operation of the
ここで図3を参照して、記憶部20が記憶する種々のプログラムのうち、本実施形態に係るプログラム23について具体的に説明する。プログラム23は、例えば撮像装置10に実行させる機能毎に、複数のブロックに分割されている。各ブロックには、各ブロックを一意に識別可能なブロックIDが対応付けられている。
Here, with reference to FIG. 3, among the various programs stored in the storage unit 20, the
本実施形態において、プログラム23には、処理部21によるプログラム23の処理の履歴情報を生成するための所定の命令文(以下、履歴生成コードという)24が、任意の箇所に挿入されている。履歴生成コード24が処理されることによって、履歴情報が生成される。
In the present embodiment, a predetermined command statement (hereinafter referred to as history generation code) 24 for generating history information of processing of the
具体的には、例えば履歴生成コード24が「tool_print(時刻,処理箇所ID,重要度,ブロックID,変数a,変数b)」と記述されている場合、当該履歴生成コード24が処理されると、時刻,処理箇所ID、重要度、ブロックID、変数aの値、および変数bの値を含む履歴情報が生成される。履歴生成コード24の記述および履歴情報に含まれる情報は、上述のものに限られない。
Specifically, for example, when the
時刻は、履歴生成コード24が処理された時刻を示す情報である。
The time is information indicating the time when the
処理箇所IDは、プログラム23において処理が実行された箇所、すなわちプログラム23全体における履歴生成コード24の位置(例えば、当該命令文が記述された行番号等)を示す情報である。
The processing location ID is information indicating the location where the processing is executed in the
重要度パラメータは、履歴生成コード24の処理によって生成される履歴情報の重要度を示す情報である。重要度は、当該所定の命令文よりも前段のコードの内容に応じて、プログラマが予め適宜に設定する。
The importance parameter is information indicating the importance of history information generated by the processing of the
例えば、エラーが発生した場合のみ実行されるコードの直後に挿入された履歴生成コード24が処理されると、例えばエラーが重大である程高い重要度(例えば、重要度が高い順に“A”、“B”、“C”、“D”の何れか1つ)が設定された履歴情報が生成される。
For example, when the
一方、プログラム23においてエラーが発生していない場合のみ実行されるコードの直後に挿入された履歴生成コード24が処理されると、最低の重要度(例えば、重要度の値が“E”)が設定された履歴情報が生成される。
On the other hand, when the
ブロックIDは、複数のブロックを含むプログラム23において処理が実行されたブロックを示すブロックID、すなわち履歴生成コード24が挿入されているブロックのブロックIDである。
The block ID is a block ID indicating a block that has been processed in the
変数は、履歴生成コード24が処理された時点における、当該履歴生成コード24で指定された所望の変数の値を示す情報である。
The variable is information indicating the value of a desired variable designated by the
ここでプログラム23に含まれる履歴生成コード24は、後述するように撮像装置10の動作態様がデバッグモードであるときにのみ処理されるように予め記述されてもよい。このようにして、撮像装置10の動作態様がデバッグモードであるときにのみ履歴情報が生成される。一方、撮像装置10の動作態様がデバッグモードでないとき、履歴生成コード24は処理されず、履歴情報は生成されない。
Here, the
処理部21は(図2参照)、記憶部20に記憶されたプログラム23の処理を行う。本実施形態において、処理部21は、画像処理サブ部25と、制御サブ部26と、を含む。画像処理サブ部25および制御サブ部26の何れかまたは両方が、プログラム23の少なくとも一部の処理を行う。
The processing unit 21 (see FIG. 2) performs processing of the
画像処理サブ部25は、例えばDSP等の画像処理専用のプロセッサを含む。画像処理サブ部25は、記憶部20に記憶されたプログラム23の一部、例えばプログラム23内の所定のブロックを処理することによって、AFE18によって前段画像処理が施された撮像画像に対して所定の後段画像処理を施す。後段画像処理は、例えば露出調整処理、ホワイトバランス処理、色補間処理、歪み補正処理、視点変換処理、切り出し処理、被写体認識処理、および所定の画像(例えば、車両11後方進行時における進行方向を示すガイド線)を撮像画像に重畳する処理等を含むが、これらに限られない。
The image
ここで画像処理サブ部25は、記憶部20に記憶されたプログラム23に含まれる履歴生成コード24を処理すると、履歴情報を生成する。そして画像処理サブ部25は、生成した履歴情報を制御サブ部26に取得させる。ここで画像処理サブ部25は、撮像装置10の動作態様がデバッグモードであるときにのみ、履歴生成コード24を処理する。
Here, when the
制御サブ部26は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のCPUである。制御サブ部26は、記憶部20に記憶されたプログラム23の一部、例えばプログラム23内の所定のブロックを処理することによって、撮像装置10全体の動作を制御する。
The control sub-unit 26 is, for example, a dedicated microprocessor or a general-purpose CPU that executes a specific process by reading a specific program. The
例えば制御サブ部26は、撮像素子17の動作を制御して、周期的に、例えば30fpsで撮像画像を生成させる。また例えば、制御サブ部26は、通信部19の動作を制御して、画像処理サブ部25によって後段画像処理が施された撮像画像を、専用線22を介して表示装置12へ出力させる。
For example, the control sub-unit 26 controls the operation of the
また制御サブ部26は、車載ネットワーク15及び通信部19を介して、撮像装置10の動作態様を指定する情報(第1情報)を情報処理装置14から取得する。そして制御サブ部26は、当該指示に応じて撮像装置10の動作態様を決定する。例えば、制御サブ部26は、撮像装置10の動作態様としてデバッグモードを指定する第1情報を取得すると、撮像装置10の動作態様を通常の動作モードからデバッグモードに切り替える。
In addition, the
また制御サブ部26は、情報処理装置14から車載ネットワーク15及び通信部19を介して、履歴処理設定を取得すると、当該履歴処理設定を記憶部20に記憶させる。ここで履歴処理設定は、例えば図4に示すように、出力条件と、記憶条件と、ブロック優先度と、を含む。
Further, when the
出力条件は、履歴情報を車載ネットワーク15へ出力するか否かを決定するための条件である。例えば出力条件は、複数のブロックのうち少なくとも一部のブロックを示すブロックID(図4では「01」、「02」、および「14」)を指定する情報(第2情報)と、重要度パラメータの値(図4では「A」、「B」、および「C」)を指定する情報(第3情報)と、の少なくとも一方を含む。後述するように、生成された履歴情報に含まれるブロックIDおよび重要度パラメータの何れか(または両方)が出力条件に含まれているとき、当該履歴情報は車載ネットワーク15へ出力される。一方、履歴情報に含まれるブロックIDおよび重要度パラメータの両方(または何れか)が出力条件に含まれていないとき、当該履歴情報の車載ネットワーク15への出力が停止される。
The output condition is a condition for determining whether or not to output history information to the in-
記憶条件は、履歴情報を記憶部20に記憶させるか否かを決定するための条件である。例えば記憶条件は、複数のブロックのうち少なくとも一部のブロックを示すブロックID(図4では「01」、「03」、および「15」)を指定する情報と、重要度パラメータ(図4では「C」、「D」、および「E」)を指定する情報と、の少なくとも一方を含む。後述するように、生成された履歴情報に含まれるブロックIDおよび重要度パラメータの何れかまたは両方が記憶条件に含まれるとき、当該履歴情報は記憶部20に記憶される。一方、履歴情報に含まれるブロックIDおよび重要度パラメータの両方または何れかが記憶条件に含まれていないとき、当該履歴情報は記憶部20に記憶されることなく破棄される。 The storage condition is a condition for determining whether or not history information is stored in the storage unit 20. For example, the storage condition includes information specifying block IDs (“01”, “03”, and “15” in FIG. 4) indicating at least some of the plurality of blocks, and an importance parameter (“ C ”,“ D ”, and“ E ”). As will be described later, when one or both of the block ID and the importance parameter included in the generated history information are included in the storage condition, the history information is stored in the storage unit 20. On the other hand, when both or any of the block ID and the importance parameter included in the history information are not included in the storage condition, the history information is discarded without being stored in the storage unit 20.
ブロック優先度は、出力条件に含まれるブロックIDの優先度を定める情報である。例えば図4において、優先度が高い順に「02」、「14」、「01」のブロックIDが定められている。 The block priority is information that determines the priority of the block ID included in the output condition. For example, in FIG. 4, block IDs “02”, “14”, and “01” are defined in descending order of priority.
また制御サブ部26は、記憶部20に記憶されたプログラム23に含まれる履歴生成コード24を処理すると、履歴情報を生成する。ここで制御サブ部26は、後述するように撮像装置10の動作態様がデバッグモードであるときにのみ、履歴生成コード24を処理する。
Further, when the
また制御サブ部26は、履歴情報を生成したとき、および画像処理サブ部25から履歴情報を取得したときに、記憶部20が記憶する履歴処理設定に基づいて、当該履歴情報を車載ネットワーク15へ出力させるか否かを決定する。
In addition, when the history information is generated and when the history information is acquired from the
例えば、履歴情報のブロックIDおよび重要度パラメータの何れかまたは両方が、履歴処理設定の出力条件に含まれているとき、すなわち履歴情報が出力条件を満たすときに、制御サブ部26は、通信部19に当該履歴情報を車載ネットワーク15へ出力させる。一方、ブロックIDおよび重要度パラメータの両方または何れかが、履歴処理設定の出力条件に含まれていないときに、制御サブ部26は、当該履歴情報の出力を停止させる。
For example, when either or both of the block ID of the history information and the importance parameter are included in the output condition of the history processing setting, that is, when the history information satisfies the output condition, the control sub-unit 26 19 causes the history information to be output to the in-
好適には、制御サブ部26は、履歴情報を出力させる際に、通信部19から車載ネットワーク15へのデータ転送レートが所定の閾値未満であるか否かを判定する。データ転送レートが所定値未満であるときに、制御サブ部26は、通信部19に当該履歴情報を車載ネットワーク15へ出力させる。
Preferably, the
一方、データ転送レートが閾値以上であるとき、例えば短時間に多数の履歴情報が生成され複数の未出力の履歴情報が存在するときに、制御サブ部26は、データ転送レートが所定の目標値を超えない範囲において、当該複数の未出力の履歴情報のうち、履歴処理設定に基づくブロック優先度が高い履歴情報、および重要度が高い履歴情報を優先して、通信部19に当該複数の未出力の履歴情報を車載ネットワーク15へ順次出力させる。
On the other hand, when the data transfer rate is equal to or higher than the threshold value, for example, when a lot of history information is generated in a short time and there are a plurality of unoutput history information, the control sub-unit 26 sets the data transfer rate to a predetermined target value. Of the plurality of unoutput history information, the history information having a high block priority based on the history processing setting and the history information having a high importance are given priority to the communication unit 19 in the range of the plurality of unoutput history information. The output history information is sequentially output to the in-
また制御サブ部26は、履歴情報の出力可否の決定後に、記憶部20が記憶する履歴処理設定に基づいて、当該履歴情報を記憶部20に記憶させるか否かを決定する。 Further, after determining whether or not history information can be output, the control sub-unit 26 determines whether or not to store the history information in the storage unit 20 based on the history processing setting stored in the storage unit 20.
例えば、履歴情報のブロックIDおよび重要度パラメータの何れかまたは両方が、履歴処理設定の記憶条件に含まれているとき、すなわち履歴情報が記憶条件を満たすときに、当該履歴情報を記憶部20に記憶させる。一方、履歴情報のブロックIDおよび重要度パラメータの両方または何れかが、履歴処理設定の記憶条件に含まれていないときに、当該履歴情報を破棄する。 For example, when either or both of the block ID and importance parameter of the history information are included in the storage condition of the history processing setting, that is, when the history information satisfies the storage condition, the history information is stored in the storage unit 20. Remember. On the other hand, when either or both of the block ID and the importance parameter of the history information are not included in the history processing setting storage condition, the history information is discarded.
また制御サブ部26は、車載ネットワーク15および通信部19を介して、記憶部20に記憶された履歴情報の取得要求を情報処理装置14から取得すると、記憶部20に記憶された履歴情報を通信部19に車載ネットワーク15へ出力させる。ここで制御サブ部26は、出力させた履歴情報を記憶部20から消去させてもよい。
In addition, when the
情報処理装置14は、接続部27と、操作部28と、記憶部29と、表示部30と、制御部31と、を備える。
The
接続部27は、車載ネットワーク15を介して情報の入出力を行うインターフェースである。接続部27は、例えば撮像装置10の動作確認作業およびデバッグ作業を行う際に、車載ネットワーク15に接続される。
The
操作部28は、例えばキーボードおよびマウス等を含み、情報処理装置14に対するユーザ入力を受け付ける。
The
記憶部29は、例えばメモリであって、情報処理装置14の動作に必要な種々の情報およびプログラムを記憶する。
The
表示部30は、例えば液晶ディスプレイや有機ELディスプレイである。表示部30は、制御部31によって生成された表示情報に基づいて、種々の画面を表示する。
The
制御部31は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のCPUである。制御部31は、情報処理装置14全体の動作を制御する。
The
例えば制御部31は、接続部27および車載ネットワーク15を介して、撮像装置10の動作態様を指定する第1情報を撮像装置10へ出力する。具体的には、制御部31は、操作部28が受け付けたユーザ入力に応じて、撮像装置10の動作態様としてデバッグモードを指定する第1情報を撮像装置10へ出力する。
For example, the
また制御部31は、接続部27および車載ネットワーク15を介して、履歴処理設定を撮像装置10へ出力する。履歴処理設定は、例えば操作部28が受け付けたユーザ入力に基づいて決定される。
Further, the
また制御部31は、接続部27および車載ネットワーク15を介して、撮像装置10の記憶部20に記憶された履歴情報の取得要求を撮像装置10へ出力する。取得要求の出力は、例えば操作部28が受け付けたユーザ入力に応じて行われる。
In addition, the
また制御部31は、撮像装置10が車載ネットワーク15へ出力した履歴情報を、接続部27に取得させる。続いて制御部31は、取得された履歴情報に基づく所定の画面(以下、解析画面ともいう)を表示させるための表示情報を生成する。そして制御部31は、生成された表示情報に基づいて、解析画面を表示部30に表示させる。
In addition, the
ここで解析画面について説明する。解析画面は、ユーザが撮像装置10の動作履歴を視認するための画面であって、履歴情報に基づく多様な表示を行う。
Here, the analysis screen will be described. The analysis screen is a screen for the user to visually recognize the operation history of the
例えば解析画面は、図5に示すように、履歴情報が生成された時刻(図5中の「Time」)順に、履歴情報に含まれるブロックIDおよび重要度パラメータと、ログと、をリスト表示する画面である。ログは、例えば履歴情報に含まれる変数の値である。 For example, as shown in FIG. 5, the analysis screen displays a list of block IDs and importance parameters included in the history information, and logs in the order in which the history information was generated (“Time” in FIG. 5). It is a screen. The log is, for example, a variable value included in the history information.
また例えば、解析画面は、図6に示すように、履歴情報が生成された時間を横軸、履歴情報に含まれるブロックIDを縦軸としてグラフ表示する画面であってもよい。かかる解析画面を見たユーザは、時間変化に応じて何れのブロックの処理が実行されていたかを視覚的に認識可能である。 Further, for example, as shown in FIG. 6, the analysis screen may be a screen that displays a graph with the time when the history information is generated as the horizontal axis and the block ID included in the history information as the vertical axis. A user who sees such an analysis screen can visually recognize which block processing has been executed in accordance with a change in time.
次に図7に示すフローチャートを参照して、本実施形態に係る撮像装置10および情報処理装置14の動作の例について説明する。本動作は、情報処理装置14の接続部27が車載ネットワーク15に接続された状態で実行される。
Next, an example of operations of the
ステップS100:はじめに情報処理装置14の制御部31は、接続部27および車載ネットワーク15を介して、撮像装置10の動作態様としてデバッグモードを指定する第1情報を撮像装置10へ出力する。
Step S <b> 100: First, the
ステップS101:次に撮像装置10の制御サブ部26は、ステップS100の第1情報を取得すると、撮像装置10の動作態様を通常の動作モードからデバッグモードに切り替える。
Step S101: Next, when the control sub-unit 26 of the
ステップS102:次に情報処理装置14の制御部31は、接続部27および車載ネットワーク15を介して、履歴処理設定を撮像装置10へ出力する。
Step S102: Next, the
ステップS103:次に撮像装置10の制御サブ部26は、ステップS102の履歴処理設定を取得すると、当該履歴処理設定を記憶部20に記憶させる。
Step S103: Next, when the
ステップS104:続いて撮像装置10の処理部21は、プログラム23の処理を開始する。
Step S104: Subsequently, the
ステップS105:続いて撮像装置10の処理部21は、プログラム23に含まれる履歴生成コード24を処理すると、履歴情報を生成する。
Step S105: Subsequently, when the
ステップS106:続いて撮像装置10の制御サブ部26は、ステップS105の履歴情報が出力条件を満たすか否かを判定する。履歴情報が出力条件を満たすとき(ステップS106−Yes)、ステップS107に進む。一方、履歴情報が出力条件を満たさないとき(ステップS106−No)、ステップS111に進む。
Step S106: Subsequently, the
ステップS107:ステップS106において履歴情報が出力条件を満たすとき(ステップS106−Yes)、撮像装置10の制御サブ部26は、通信部19から車載ネットワーク15へのデータ転送レートが所定の閾値未満であるか否かを判定する。データ転送レートが閾値未満であるとき(ステップS107−Yes)、ステップS108に進む。一方、データ転送レートが閾値以上であるとき(ステップS107−No)、ステップS109に進む。
Step S107: When the history information satisfies the output condition in Step S106 (Step S106-Yes), the control sub-unit 26 of the
ステップS108:ステップS107においてデータ転送レートが閾値未満であるとき(ステップS107−Yes)、撮像装置10の制御サブ部26は、通信部19にステップS105の履歴情報を車載ネットワーク15へ出力させ、ステップS111に進む。
Step S108: When the data transfer rate is less than the threshold value in Step S107 (Step S107-Yes), the control sub-unit 26 of the
ステップS109:ステップS107においてデータ転送レートが閾値以上であるとき(ステップS107−No)、撮像装置10の制御サブ部26は、通信部19に、ブロック優先度が高い履歴情報、および重要度が高い履歴情報を優先して車載ネットワーク15へ出力させ、ステップS111に進む。
Step S109: When the data transfer rate is equal to or higher than the threshold value in Step S107 (No in Step S107), the
ステップS110:ここで情報処理装置14の制御部31は、車載ネットワーク15および接続部27を介して、ステップS108またはステップS109で出力された履歴情報を取得すると、当該履歴情報に基づく解析画面を表示部30に表示させる。
Step S110: When the
ステップS111:ステップS106において履歴情報が出力条件を満たさないとき(ステップS106−Yes)、ステップS108の後、またはステップS109の後、撮像装置10の制御サブ部26は、ステップS105の履歴情報が記憶条件を満たすか否かを判定する。履歴情報が記憶条件を満たすとき(ステップS111−Yes)、ステップS112に進む。一方、履歴情報が記憶条件を満たさないとき(ステップS111−No)、ステップS113に進む。
Step S111: When the history information does not satisfy the output condition in Step S106 (Step S106-Yes), after Step S108 or after Step S109, the
ステップS112:ステップS111において履歴情報が記憶条件を満たすとき(ステップS111−Yes)、撮像装置10の制御サブ部26は、ステップS105の履歴情報を記憶部20に記憶させ、ステップS114に進む。
Step S112: When the history information satisfies the storage condition in Step S111 (Step S111-Yes), the
ステップS113:ステップS111において履歴情報が記憶条件を満たさないとき(ステップS111−No)、撮像装置10の制御サブ部26は、ステップS105の履歴情報を破棄し、ステップS114に進む。
Step S113: When the history information does not satisfy the storage condition in Step S111 (Step S111-No), the control sub-unit 26 of the
ステップS114:ステップS112の後、またはステップS113の後、撮像装置10の制御サブ部26は、プログラム23の処理の終了条件が満たされるか否かを判定する。終了条件は、例えば処理を終了させる指示を情報処理装置14から取得したとき、またはプログラム23の所定のブロックの処理が終了したとき等、任意に定められる条件である。終了条件が満たされるとき(ステップS114−Yes)、撮像装置10は処理を終了する。一方、終了条件が満たされていないとき(ステップS114−No)、ステップS105に戻る。
Step S114: After step S112 or after step S113, the control sub-unit 26 of the
このように、本実施形態に係る撮像装置10は、プログラム23の処理の実行中に、当該処理の履歴情報を車載ネットワーク15へ出力するので、撮像装置10が実行する処理の履歴情報の出力のリアルタイム性が向上される。また、CAN等の車載ネットワーク15に出力するため、解析用の専用ポートを撮像装置10に設けることなく、車両11に設置された状態で撮像装置10の動作解析が実行可能となる。
Thus, since the
また一般的に、CAN等の車載ネットワーク15は、車両11に設置される多様な装置が、CAN等の車載ネットワーク15を用いて通信を行う。したがって、多様な装置の通信を阻害しないように、撮像装置10から車載ネットワーク15へ出力される情報量は少ないことが望ましい。本実施形態に係る撮像装置10は、自装置の動作態様を指定する第1情報によって指定された動作態様に応じて、動作態様がデバッグモードであるときのみ履歴情報を出力する。このため、常に履歴情報を出力する構成と比較して、車載ネットワーク15へ出力する情報量が抑制される。
In general, in the in-
また撮像装置10は、第2情報によって指定されたブロックIDを含む履歴情報を出力し、当該ブロックIDを含まない履歴情報の出力を停止する。このため、車載ネットワーク15へ出力する情報量が抑制される。
In addition, the
また撮像装置10は、第3情報によって指定された値の重要度パラメータを含む履歴情報を出力し、当該値の重要度パラメータを含まない履歴情報の出力を停止する。このため、車載ネットワーク15へ出力する情報量が抑制される。
The
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを1つに組み合わせたり、あるいは分割したりすることが可能である。 Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various changes and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each means, each step, etc. can be rearranged so as not to be logically contradictory, and a plurality of means, steps, etc. can be combined into one or divided. .
例えば上述の実施形態では、撮像装置10の制御サブ部26が、履歴処理設定に含まれる記憶条件に基づいて、生成された履歴情報を記憶部20に記憶させるか否かを決定したが、他の条件に基づいて決定してもよい。例えば制御サブ部26は、履歴処理設定に含まれる出力条件に基づいて車載ネットワーク15への出力が停止された履歴情報を、記憶部20に記憶させてもよい。このようにして、出力が停止された履歴情報のみが記憶部20に記憶されるので、記憶部20に記憶させる情報量が低減する。
For example, in the above-described embodiment, the
10 撮像装置
11 車両
12 表示装置
13 動作解析システム
14 情報処理装置
15 車載ネットワーク
16 光学系
17 撮像素子
18 AFE
19 通信部
20 記憶部
21 処理部
22 専用線
23 プログラム
24 履歴生成コード
25 画像処理サブ部
26 制御サブ部
27 接続部
28 操作部
29 記憶部
30 表示部
31 制御部
DESCRIPTION OF
19 Communication Unit 20
Claims (9)
所定のプログラムを記憶する記憶部と、
自装置が設置される車両の車載ネットワークを介して情報の入出力を行う通信部と、
前記プログラムの処理を実行し、該処理の実行中、前記通信部に該処理の履歴情報を前記車載ネットワークへ出力させる処理部と、
を備える、撮像装置。 An image sensor for generating a captured image;
A storage unit for storing a predetermined program;
A communication unit that inputs and outputs information via the in-vehicle network of the vehicle in which the device is installed;
A processing unit that executes the processing of the program and causes the communication unit to output history information of the processing to the in-vehicle network during the execution of the processing;
An imaging apparatus comprising:
前記処理部は、前記車載ネットワークおよび前記通信部を介して自装置の動作態様を指定する第1情報を取得すると、該第1情報によって指定された動作態様に応じて前記履歴情報を前記通信部に出力させる、撮像装置。 The imaging apparatus according to claim 1,
When the processing unit obtains the first information designating the operation mode of the own device via the in-vehicle network and the communication unit, the processing unit transmits the history information according to the operation mode designated by the first information. An imaging device that outputs to
前記履歴情報は、前記プログラムにおいて処理が実行された箇所を示す処理箇所ID、該履歴情報の重要度を示す重要度パラメータ、複数のブロックを含む前記プログラムにおいて処理が実行されたブロックを示すブロックID、および処理が実行された際の所定の変数のうち、少なくとも1つを含む、撮像装置。 The imaging apparatus according to claim 1, wherein:
The history information includes a processing location ID indicating a location where processing is executed in the program, an importance parameter indicating the importance of the history information, and a block ID indicating a block where processing is executed in the program including a plurality of blocks And an imaging device including at least one of predetermined variables when the process is executed.
前記履歴情報は、前記ブロックIDを含み、
前記処理部は、前記車載ネットワークおよび前記通信部を介して、前記複数のブロックのうち少なくとも一部のブロックを示すブロックIDを指定する第2情報を取得すると、該第2情報によって指定されたブロックIDを含む前記履歴情報を出力させ、指定されたブロックIDを含まない前記履歴情報の出力を停止させる、撮像装置。 The imaging apparatus according to claim 3,
The history information includes the block ID,
When the processing unit obtains second information designating a block ID indicating at least some of the plurality of blocks via the in-vehicle network and the communication unit, the block designated by the second information An imaging apparatus that outputs the history information including an ID and stops outputting the history information that does not include a specified block ID.
前記履歴情報は、前記重要度パラメータを含み、
前記処理部は、前記車載ネットワークおよび前記通信部を介して、重要度パラメータの値を指定する第3情報を取得すると、該第3情報によって指定された値の重要度パラメータを含む前記履歴情報を出力させ、指定された前記値以外の値の重要度パラメータを含む前記履歴情報の出力を停止させる、撮像装置。 The imaging apparatus according to claim 3 or 4,
The history information includes the importance parameter,
When the processing unit obtains the third information specifying the value of the importance parameter via the in-vehicle network and the communication unit, the history information including the importance parameter of the value specified by the third information is obtained. An imaging apparatus that outputs and stops the output of the history information including importance parameters of values other than the specified value.
前記処理部は、出力が停止された前記履歴情報を前記記憶部に記憶させる、撮像装置。 The imaging apparatus according to claim 4 or 5, wherein
The said processing part is an imaging device which memorize | stores the said log | history information by which the output was stopped in the said memory | storage part.
前記車載ネットワークに接続して前記履歴情報を取得する接続部と、前記履歴情報に基づく所定の画面を表示させるための表示情報を生成する制御部と、前記表示情報に基づいて前記画面を表示する表示部と、を有する情報処理装置と、
を備える、撮像装置の動作解析システム。 An image sensor that generates a captured image, a storage unit that stores a predetermined program, a communication unit that inputs and outputs information via an in-vehicle network of a vehicle in which the device is installed, and executes the processing of the program, A processing unit that causes the communication unit to output history information of the process to the in-vehicle network during execution of the process;
A connection unit for connecting to the in-vehicle network to acquire the history information, a control unit for generating display information for displaying a predetermined screen based on the history information, and displaying the screen based on the display information An information processing apparatus having a display unit;
An operation analysis system for an imaging apparatus.
撮像画像を生成する撮像素子と、所定のプログラムを記憶する記憶部と、前記車載ネットワークを介して情報の入出力を行う通信部と、前記プログラムの処理を実行し、該処理の実行中、前記通信部に該処理の履歴情報を前記車載ネットワークへ出力させる処理部と、を有する撮像装置と、
を備える、車両。 An in-vehicle network,
An image sensor that generates a captured image, a storage unit that stores a predetermined program, a communication unit that inputs and outputs information via the in-vehicle network, and the processing of the program are executed. A processing unit that causes the communication unit to output history information of the process to the in-vehicle network; and
A vehicle comprising:
前記撮像装置に記憶されたプログラムの処理を実行するステップと、
前記処理の実行中、前記処理の履歴情報を、自装置が設置される車両の車載ネットワークへ出力するステップと、
を含む、動作解析方法。 An operation analysis method for an imaging apparatus,
Executing processing of a program stored in the imaging apparatus;
During the execution of the process, outputting the history information of the process to an in-vehicle network of a vehicle in which the apparatus is installed;
An operation analysis method including
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015107901A JP6480267B2 (en) | 2015-05-27 | 2015-05-27 | Imaging apparatus, motion analysis system, vehicle, and motion analysis method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015107901A JP6480267B2 (en) | 2015-05-27 | 2015-05-27 | Imaging apparatus, motion analysis system, vehicle, and motion analysis method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016222017A JP2016222017A (en) | 2016-12-28 |
| JP6480267B2 true JP6480267B2 (en) | 2019-03-06 |
Family
ID=57745128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015107901A Active JP6480267B2 (en) | 2015-05-27 | 2015-05-27 | Imaging apparatus, motion analysis system, vehicle, and motion analysis method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6480267B2 (en) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0944357A (en) * | 1995-07-27 | 1997-02-14 | Hitachi Ltd | Object transition status display method |
| JP2000311102A (en) * | 1999-04-27 | 2000-11-07 | Denso Corp | Electronic control unit |
| JP2001331343A (en) * | 2000-05-18 | 2001-11-30 | Toyota Motor Corp | Electronic control device for moving object and evaluation method thereof |
| JP2003084998A (en) * | 2001-09-12 | 2003-03-20 | Denso Corp | Failure diagnosis system and electronic control unit |
| JP4258539B2 (en) * | 2006-08-31 | 2009-04-30 | 株式会社日立製作所 | Multiple angle of view camera |
| JP5032180B2 (en) * | 2007-03-31 | 2012-09-26 | 渉 堀川 | Eco-drive support device, car navigation system and eco-drive support program |
| JP2012190219A (en) * | 2011-03-10 | 2012-10-04 | Fujitsu Ltd | Information processing device and trace log acquisition method |
| US20150143342A1 (en) * | 2013-11-15 | 2015-05-21 | Microsoft Corporation | Functional validation of software |
-
2015
- 2015-05-27 JP JP2015107901A patent/JP6480267B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016222017A (en) | 2016-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114715139B (en) | Automatic parking abnormal data collection method, device, storage medium and product | |
| JP6572345B2 (en) | Method and apparatus for lane detection | |
| US20180074202A1 (en) | Data acquisition method and apparatus for driverless vehicle | |
| CN111198790B (en) | Robot testing method, robot testing device and robot | |
| CN112298070A (en) | Pedal fault diagnosis method and device | |
| JP2009048556A (en) | Electronics | |
| CN115525347B (en) | Operating system scheduling delay diagnosis method and device, electronic equipment and storage medium | |
| JP5499212B1 (en) | Remote operation reception system, remote operation system and program | |
| CN114093199A (en) | A vehicle actuator dynamic monitoring method, device, vehicle and storage medium | |
| US20190205515A1 (en) | Fingerprint image acquisition apparatus and method for user authentication | |
| JP2022043130A5 (en) | ||
| JP6480267B2 (en) | Imaging apparatus, motion analysis system, vehicle, and motion analysis method | |
| CN113067984B (en) | Binocular shooting correction method, binocular shooting correction device and electronic equipment | |
| CN112766023A (en) | Target object posture determining method, device, medium and equipment | |
| CN107662560B (en) | Vehicle boundary detection | |
| CN111354216A (en) | Vehicle parking position identification method and device and related equipment | |
| JP6647367B1 (en) | Image processing program, image processing device, image processing system, and image processing method | |
| CN118784983A (en) | Vehicle-mounted camera control method, device, equipment and storage medium | |
| JP2008174075A (en) | Vehicle periphery-monitoring device, and its displaying method | |
| CN112669489A (en) | Shooting method and device of automobile data recorder, automobile data recorder and storage medium | |
| JP5583291B1 (en) | Remote operation reception system, remote operation system and program | |
| JP2019151307A (en) | Parking area detection device and parking area detection method | |
| CN111143305B (en) | Data storage method, device, device and medium based on distributed storage system | |
| CN115014423A (en) | Sensor diagnosis method and device and server | |
| CN118560405B (en) | Vehicle computer control method, device and vehicle computer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6480267 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |