JP7628418B2 - Gain adjustment method, information processing device, and imaging system - Google Patents
Gain adjustment method, information processing device, and imaging system Download PDFInfo
- Publication number
- JP7628418B2 JP7628418B2 JP2020188667A JP2020188667A JP7628418B2 JP 7628418 B2 JP7628418 B2 JP 7628418B2 JP 2020188667 A JP2020188667 A JP 2020188667A JP 2020188667 A JP2020188667 A JP 2020188667A JP 7628418 B2 JP7628418 B2 JP 7628418B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- camera
- information processing
- gain
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 146
- 238000000034 method Methods 0.000 title claims description 52
- 238000003384 imaging method Methods 0.000 title claims description 23
- 238000011156 evaluation Methods 0.000 claims description 105
- 230000008859 change Effects 0.000 claims description 46
- 230000015654 memory Effects 0.000 claims description 30
- 230000000737 periodic effect Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 230000005856 abnormality Effects 0.000 description 17
- 238000003860 storage Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000032258 transport Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 3
- 238000003754 machining Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Description
本開示は、カメラのゲイン調整方法、カメラのゲインを調整する情報処理装置、およびカメラと情報処理装置とを備える撮像システムに関する。 The present disclosure relates to a camera gain adjustment method, an information processing device that adjusts the camera gain, and an imaging system that includes a camera and an information processing device.
従来、特開２０１６－３９４７３号公報に示すように、イベントの発生を示す情報を外部から受信したことを契機として、イベントが発生した時刻の前後所定時間に撮像手段が撮像した画像データを記憶手段に記憶させる装置が知られている。 As disclosed in JP 2016-39473 A, a device is known that, upon receiving information indicating the occurrence of an event from outside, stores image data captured by an imaging means at a predetermined time before and after the time the event occurred in a storage means.
また、国際公開第２０１９／００８８５５号にも開示されているように、プレス機械等の産業機械（生産用機械）の動作をカメラで撮像し、異常が発生した時刻を含む予め定められた設定時間の動画像データを保護するシステムも知られている。 Also, as disclosed in International Publication No. 2019/008855, a system is known in which a camera captures the operation of an industrial machine (production machine) such as a press machine, and protects video data for a predetermined set period of time, including the time when an abnormality occurred.
さらに、適切な明るさの画像を出力するために動画の撮像中にゲインを自動調整するオートゲインコントロール（ＡＧＣ：Automatic Gain Control）という機能を備えたカメラも知られている。 Furthermore, cameras are also known that have a function called automatic gain control (AGC), which automatically adjusts the gain during video capture in order to output images with appropriate brightness.
たとえばプレス機械では、金型が取り付けられるスライドが一定の周期で上下移動する。このように周期的に動作する部位を有する産業機械の動作をカメラで撮像する場合、カメラの撮像素子に入射する光量は、短い周期で連続的に変化する。 For example, in a press machine, the slide on which the die is attached moves up and down at a constant cycle. When capturing images of the operation of industrial machinery that has parts that move periodically like this with a camera, the amount of light entering the camera's imaging element changes continuously in short cycles.
しかしながら、オートゲインコントロールでは、このような光量の短時間の変化（明るさの変化）に追従したゲイン調整ができない。このような状況で、産業機械に異常が発生すると、ユーザがカメラによる撮像画像（映像）を後から確認したとしても、画像の「黒つぶれ」または画像の「白飛び」により、異常の原因を正確に判別できない状況が生じることがある。 However, auto gain control is unable to adjust the gain to follow such short-term changes in the amount of light (changes in brightness). In such a situation, when an abnormality occurs in industrial machinery, even if the user later checks the image (video) captured by the camera, the cause of the abnormality may not be accurately identified due to "crushed up shadows" or "blown out highlights" in the image.
本開示は、上記の問題点に鑑みなされたものであって、その目的は、周期的に動作する部位を有する産業機器の周囲環境に変化があったときでも、ユーザが許容できる明るさの画像を得ることが可能なゲイン調整方法、情報処理装置、および撮像システムを提供する。 The present disclosure has been made in consideration of the above problems, and its purpose is to provide a gain adjustment method, information processing device, and imaging system that can obtain an image with a brightness that is acceptable to the user, even when there is a change in the surrounding environment of an industrial device that has parts that operate periodically.
本開示のある局面に従うと、情報処理装置によるカメラのゲイン調整方法は、カメラの出力画像についての明るさの評価値の許容範囲を情報処理装置が記憶するステップを備える。カメラは、産業機械に含まれる周期的に動作する部位を撮像するものである。ゲイン調整方法は、許容範囲が記憶された後のカメラによる撮像に基づき、情報処理装置が、出力画像と、出力画像の明るさの評価値の周期的な変化を示したデータとを取得するステップと、情報処理装置が、データから、動作の直近の１周期以上の所定期間における明るさの評価値の最大値および最小値のうちの少なくとも一方の値を取得するステップと、取得した値が許容範囲に含まれていないことを条件に、情報処理装置が、カメラのゲインを調整するステップとをさらに備える。 According to an aspect of the present disclosure, a method for adjusting the gain of a camera by an information processing device includes a step in which the information processing device stores an acceptable range of a brightness evaluation value for an output image of the camera. The camera captures an image of a periodically operating part included in an industrial machine. The gain adjustment method further includes a step in which the information processing device acquires an output image and data indicating a periodic change in the brightness evaluation value of the output image based on the image captured by the camera after the acceptable range has been stored, a step in which the information processing device acquires from the data at least one of a maximum value and a minimum value of the brightness evaluation value for a predetermined period of one or more most recent cycles of the operation, and a step in which the information processing device adjusts the gain of the camera on condition that the acquired value is not within the acceptable range.
本開示の他の局面に従うと、カメラのゲインを調整する情報処理装置は、プロセッサと、カメラの出力画像についての明るさの評価値の許容範囲を記憶したメモリとを備える。カメラは、産業機械に含まれる周期的に動作する部位を撮像するものである。プロセッサは、許容範囲が記憶された後のカメラによる撮像に基づき、出力画像と、出力画像の明るさの評価値の周期的な変化を示したデータとを取得する。プロセッサは、データから、動作の直近の１周期以上の所定期間における明るさの評価値の最大値および最小値の少なくとも一方の値を取得する。プロセッサは、取得した値が許容範囲に含まれていないことを条件に、カメラのゲインを調整する。 According to another aspect of the present disclosure, an information processing device that adjusts the gain of a camera includes a processor and a memory that stores an acceptable range of a brightness evaluation value for an output image of the camera. The camera captures an image of a periodically operating part included in an industrial machine. The processor acquires an output image and data indicating a periodic change in the brightness evaluation value of the output image based on the image captured by the camera after the acceptable range has been stored. The processor acquires from the data at least one of the maximum and minimum values of the brightness evaluation value during a predetermined period of one or more cycles immediately preceding the operation. The processor adjusts the gain of the camera on the condition that the acquired value is not within the acceptable range.
本開示のさらに他の局面に従うと、撮像システムは、産業機械に含まれる周期的に動作する部位を撮像するカメラと、カメラのゲインを調整する情報処理装置とを備える。情報処理装置は、カメラの出力画像についての明るさの評価値の許容範囲を記憶している。情報処理装置は許容範囲が記憶された後のカメラによる撮像に基づき、出力画像と、出力画像の明るさの評価値の周期的な変化を示したデータとを取得する。情報処理装置は、データから、動作の直近の１周期以上の所定期間における明るさの評価値の最大値および最小値の少なくとも一方の値を取得する。情報処理装置は、取得した値が許容範囲に含まれていないことを条件に、カメラのゲインを調整する。 According to yet another aspect of the present disclosure, an imaging system includes a camera that captures an image of a periodically operating part included in an industrial machine, and an information processing device that adjusts the gain of the camera. The information processing device stores an acceptable range of a brightness evaluation value for an output image of the camera. The information processing device acquires an output image and data indicating a periodic change in the brightness evaluation value of the output image based on imaging by the camera after the acceptable range has been stored. The information processing device acquires, from the data, at least one of the maximum and minimum values of the brightness evaluation value during a predetermined period of one or more cycles immediately preceding the operation. The information processing device adjusts the gain of the camera on the condition that the acquired value is not within the acceptable range.
上記の開示によれば、周期的に動作する部位を有する産業機器の周囲環境に変化があったときでも、ユーザが許容できる明るさの画像を得ることが可能となる。 According to the above disclosure, it is possible to obtain images with brightness acceptable to the user even when there is a change in the surrounding environment of an industrial device that has parts that operate periodically.
以下、実施形態について図に基づいて説明する。なお、以下の説明では、同一部品には、同一の符号を付している。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 The following describes the embodiment with reference to the drawings. In the following description, identical parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed descriptions of them will not be repeated.
また、以下の実施の形態では、産業機械（生産用機械）の一例として、鍛圧機械の一種であるプレス機械を有するプレスシステムを例に挙げて説明する。なお、産業機械は、プレスシステムに限定されるものではなく、たとえばプレス機械のスライドのように、周期的に動作する部位を備える機械であればよい。 In the following embodiments, a press system having a press machine, which is a type of forging machine, will be described as an example of industrial machinery (production machinery). Note that the industrial machinery is not limited to press systems, and may be any machine that has a part that operates periodically, such as the slide of a press machine.
＜Ａ．システム構成＞
図１は、本実施の形態に係るプレスシステム１の概略構成を表した図である。
A. System Configuration
FIG. 1 is a diagram showing a schematic configuration of a
図１に示されるように、プレスシステム１は、コイルホルダ１０と、レベラフィーダ２０と、プレス機械３０と、搬送コンベア４０と、カメラ６１，６２とを備えている。プレス機械３０は、プレス機械本体３１と、プレスコントローラ３２とを有する。プレス機械本体３１は、本体フレーム３１１と、ベッド３１２と、ボルスタ３１３と、スライド３１４と、警告灯３１９とを備える。
As shown in FIG. 1, the
コイルホルダ１０には、コイルが巻き付けられておりレベラフィーダ２０を介してプレス機械本体３１にコイルＷが搬送される。本例においては、ワーク（材料，被加工部材）としてコイルＷをプレス加工する場合について説明する。
A coil W is wound around the
レベラフィーダ２０は、コイルホルダ１０からプレス機械本体３１に搬送するコイルの送り高さの位置を調整するとともにプレス機械本体３１に対してコイルＷを所定タイミングで搬送する。
The
プレス機械本体３１の本体フレーム３１１の略中央部には、スライド３１４が上下動自在に支持されている。スライド３１４に対する下方には、ベッド３１２上に取り付けられたボルスタ３１３が配置されている。スライド３１４の下面には、上金型３１６が装着される。ボルスタ３１３の上面には、下金型３１５が装着される。
A
プレス機械本体３１は、レベラフィーダ２０から搬送されたコイルＷに対して、加工パターンに従ってプレス加工する。プレス機械本体３１は、上金型３１６と下金型３１５とから構成される金型に対応するコイルＷを下金型３１５に位置させた後、上金型３１６をスライド３１４と共に降下させることにより、プレス加工を行う。
The
プレスコントローラ３２は、プレス機械本体３１の動作を制御する装置である。プレスコントローラ３２は、スライド３１４を周期的に上下に動作させる。これにより、上金型３１６も、スライド３１４の動作に従って周期的に上下に動作する。
The
プレスコントローラ３２は、プレス機械本体３１を制御するために必要な各種データを入力するものであり、データを入力するためのスイッチやテンキー、および設定画面やプレス機械３０から出力されるデータを表示する表示器を有している。
The
プレスコントローラ３２は、ＣＰＵ（Central Processing Unit）、高速数値演算プロセッサ、およびメモリ等を主体に構成され、決められた手順に従って入力データの算術演算および論理演算を行うコンピュータ装置と、指令電流を入出力する入出力インターフェイスとを備えて構成されている。
The
プレスコントローラ３２のメモリは、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の適宜な記憶媒体を含んで構成されている。このメモリは、プレスコントローラ３２が各種の機能を実現するためのプログラムが格納されている。なお、当該メモリは、各種演算処理を実行するためのワーク領域としても用いられる。
The memory of the
搬送コンベア４０は、プレス機械本体３１にてプレス加工により成形した成形品Ｐを、製品箱５０に搬送する。なお、これに限定されず、次のプレス機械に成形品Ｐを搬送ロボット等を用いて搬送することも可能である。
The
警告灯３１９は、プレスコントローラ３２に接続されている。警告灯３１９は、プレス機械本体３１において異常が発生すると、プレスコントローラ３２から送られてくる信号（異常を表すビット）に基づき、点灯するように構成されている。警告灯３１９は、たとえば、加工工程において異常が発生すると、赤色の光を点滅させる。なお、異常としては、プレス機械本体３１の稼働停止、ワークのミスフィード等が挙げられる。
The
カメラ６１，６２は、プレス機械本体３１によるコイルＷ（ワーク）の加工工程を動画撮影する。カメラ６１，６２による動画撮影によって得られた動画像データは、情報処理装置８０（図２参照）のメモリに記憶される。
The
カメラ６１，６２は、たとえば、ＣＣＤ（Charge Coupled Device）カメラである。カメラ６１は、プレス機械本体３１の外部空間に配置される。カメラ６２は、たとえば、プレス機械本体３１の内部空間（ワークの加工領域）に配置される。
カメラ６１は、下金型３１５と上金型３１６とスライド３１４とに加えて、搬送されるコイルＷおよび成形品Ｐと、警告灯３１９とを被写体として含むように配置されている。
The
カメラ６２は、下金型３１５と上金型３１６とスライド３１４とを被写体として含むように配置されている。カメラ６２により、下金型３１５と上金型３１６とによるプレス加工の状態を撮像することができる。
The
プレスシステム１では、カメラ６１によってプレス工程全体の状態が撮像され、かつカメラ６２によって加工状態の詳細が撮像される。
In
なお、プレスシステム１のカメラの数は、２台に限定されるものではない。また、カメラの配置も、上記の配置に限定されるものではない。金型によるプレス加工の状態を撮像可能な構成であることが好ましい。また、プレス加工前後のコイルＷおよび成形品Ｐを撮像可能な構成であることが好ましい。さらに、警告灯３１９を撮像可能な構成であることが好ましい。
The number of cameras in the
プレスシステム１の各部は同期しており、一連の作業が順次連続して実行される。コイルホルダ１０からコイルＷがレベラフィーダ２０を介してプレス機械本体３１に搬送される。そして、プレス機械本体３１でプレス加工され、加工されたワーク（成形品Ｐ）は搬送コンベア４０により搬送される。上記一連の処理が繰り返される。
All parts of the
なお、上記プレスシステム１の構成は、一例であり、特に当該構成に限られるものではない。
Note that the configuration of the
図２は、プレスシステム１を構成する機器の接続関係を説明するための図である。
図２に示されるように、プレスシステム１は、カメラ６１，６２とプレス機械本体３１とプレスコントローラ３２とに加えて、ハブ７０と、情報処理装置８０とをさらに備えている。
FIG. 2 is a diagram for explaining the connection relationship of devices constituting the
As shown in FIG. 2 , the
カメラ６１，６２は、動画を撮像する。カメラ６１，６２は、ハブ７０を介して情報処理装置８０と通信可能に接続されている。カメラ６１，６２は、Ethernet（登録商標）のケーブル等のＬＡＮ（Local Area Network）ケーブルＬ１，Ｌ２によってハブ７０に有線接続されている。
The
カメラ６１，６２は、撮像により得られた動画像データを、ハブ７０を介して情報処理装置８０に逐次送信する。動画像データは、複数の画像フレームにより構成されている。各画像フレームは、タイムスタンプを含む。
The
ハブ７０は、たとえば、ＰｏＥ（Power over Ethernet）に対応したスイッチングハブである。
プレスコントローラ３２は、ハブ７０を介する通信経路とハブ７０を介さない通信経路との２つの通信経路によって、情報処理装置８０に接続している。プレスコントローラ３２は、ハブ７０を介さない通信経路によって、さらに警告灯３１９に接続されている。プレスコントローラ３２は、ネットワークＮＷを介して、サーバ装置１２０と通信可能に構成されている。
The
詳しくは、プレスコントローラ３２は、ＬＡＮケーブルＬ４によってハブ７０に有線接続されている。また、プレスコントローラ３２は、ハブ７０を介さずに、リアルタイム性の高いＩ／Ｏ（Input/Output）接続ケーブルＬ９によって、情報処理装置８０と警告灯３１９に接続されている。
More specifically, the
プレスコントローラ３２は、プレス機械本体３１の運転状態を表した運転情報を、ＬＡＮケーブルＬ３，Ｌ４を利用し、ハブ７０を介して情報処理装置８０に逐次送信する。運転状態の一部は、たとえばプレス機械本体３１に備えられたセンサ３１８によって検出される。
The
運転情報は、時刻に関連付けられた情報である。運転情報は、少なくとも、各種の波形データと、各種の入出力信号データ（オン／オフ信号）と、基本情報とを含んでいる。 The operating information is information associated with time. The operating information includes at least various waveform data, various input/output signal data (on/off signals), and basic information.
また、プレスコントローラ３２は、プレス機械本体３１に異常が発生した場合、Ｉ／Ｏ接続ケーブルＬ９によって、ハブ７０を介さずに、異常を表したビットを情報処理装置８０と警告灯３１９とに送信する。
In addition, if an abnormality occurs in the
情報処理装置８０は、本例では、タブレット端末８０１と、クレードル８０２とを含む。タブレット端末８０１は、クレードル８０２に設置されている。タブレット端末８０１は、クレードル８０２を介して、ハブ７０と、プレスコントローラ３２とに通信可能に接続されている。クレードル８０２は、ＬＡＮケーブルＬ３によってハブ７０に有線接続されている。情報処理装置８０は、ハブ７０およびネットワークＮＷを介して、サーバ装置１２０にアクセス可能である。
In this example, the
情報処理装置８０は、プレスコントローラ３２から異常を表すビットを受信すると、当該ビットを受信した時刻（異常が発生した時刻）を含む予め定められた設定時間（以下、「設定時間Ｔｓ」と称する）の動画像データおよび運転情報を保護する。設定時間Ｔｓとしては、一例として、異常が発生した時刻の直前の５秒間と、当該時刻の直後の１５秒とすることができる。
When the
ユーザは、保護された動画像データおよび運転情報を情報処理装置８０で確認することにより、異常の内容とともに、異常が発生したときの動画像（映像）を確認することができる。
By checking the protected video data and driving information on the
なお、タブレット端末８０１およびクレードル８０２の代わりに、情報処理装置８０を、ラップトップ型、デスクトップ型のパーソナルコンピュータとしてもよい。
Instead of the
なお、プレス機械３０は、本発明における「産業機械」の一例である。情報処理装置８０は、本発明における「情報処理装置」の一例である。カメラ６１，６２は、本発明における「カメラ」の一例である。カメラ６１，６２と、情報処理装置８０と、ハブ７０とからなるシステム構成が、本発明における「撮像システム」の一例である。
The press machine 30 is an example of an "industrial machine" in the present invention. The
スライド３１４および上金型３１６は、本発明における「産業機械に含まれる周期的に動作する部位」の一例である。スライド３１４に上金型３１６が装着されていない状態では、スライド３１４および上金型３１６のうちスライド３１４のみが、本発明における「産業機械に含まれる周期的に動作する部位」の一例となる。
The
＜Ｂ．カメラの構成＞
図３は、カメラ６１，６２の機能的構成を表すブロック図である。
<B. Camera Configuration>
FIG. 3 is a block diagram showing the functional configuration of the
図３に示されているように、カメラ６１，６２は、バンドパスフィルタ６０４と、カラーフィルタ６０５と、撮像素子６０６と、アナログ信号処理部６０７と、Ａ／Ｄ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）変換器６０８と、デジタル信号処理部６０９と、通信部６１０と、ズーム駆動部６１１と、フォーカス駆動部６１２と、絞り駆動部６１３と、撮像素子駆動部６１４と、制御部６１５と、撮像光学系６３０とを備える。アナログ信号処理部６０７は、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路６７０を含む。
3, the
撮像光学系６３０は、ズームレンズ６０１と、フォーカスレンズ６０２と、絞りユニット６０３とを有する。ズームレンズ６０１は、光軸方向に移動して焦点距離を変更する。フォーカスレンズ６０２は、光軸方向に移動して焦点調節を行う。絞りユニット６０３は、光量を調整する。
The imaging
撮像光学系６３０を通過した光は、バンドパスフィルタ６０４およびカラーフィルタ６０５を介して、撮像素子６０６上に被写体像を形成する。被写体像は、撮像素子６０６によって光電変換される。
Light passing through the imaging
撮像素子６０６から出力されたアナログ信号は、アナログ信号処理部６０７によってゲインの調整がなされる。ゲインの調整がなされたアナログ信号は、Ａ／Ｄ変換器６０８によってデジタル信号に変換された後、デジタル信号処理部６０９に入力される。
The analog signal output from the
デジタル信号処理部６０９では、デジタル撮像信号に対して各種画像処理を行って映像信号を生成する。映像信号は、通信部６１０を介して、情報処理装置８０に出力される。詳細については後述するが、情報処理装置８０は、通信部６１０を介して、制御部６１５に指示を送る。
The digital
制御部６１５は、オートフォーカスでのピント制御の設定値、および露出制御の設定値の算出を行う。制御部６１５は、アナログ信号処理部６０７と、ズーム駆動部６１１と、フォーカス駆動部６１２と、絞り駆動部６１３と、撮像素子駆動部６１４とに対して設定値を指示する。
The
ズーム駆動部６１１は、制御部６１５からの指示に基づき、ズームレンズ６０１の位置を制御する。フォーカス駆動部６１２は、制御部６１５からの指示に基づき、フォーカスレンズ６０２の位置を制御する。絞り駆動部６１３は、制御部６１５からの指示に基づき、絞りユニット６０３の絞りを制御する。撮像素子駆動部６１４は、制御部６１５からの指示に基づき、撮像光学系６３０の光軸に対して撮像素子６０６を傾ける。
The
アナログ信号処理部６０７について、さらに詳しく説明する。
アナログ信号処理部６０７は、ＡＧＣ回路６７０を機能させるモードと、ＡＧＣ回路６７０の機能を停止させるモードとを有する。
The analog
The analog
アナログ信号処理部６０７は、制御部６１５からの指示により、ＡＧＣ回路６７０を機能させたり、当該機能を停止させたりする。このような機能のオンおよびオフの切換指示は、カメラ６１，６２の操作部（図示せず）または情報処理装置８０から行うことができる。
The analog
アナログ信号処理部６０７は、ＡＧＣ回路６７０の機能を停止させているときには、予め指定されたゲインで、入力された信号を増幅または減衰させる。当該ゲインの指定は、情報処理装置８０から可能である。また、当該ゲインの設定は、カメラ６１の操作部に対するユーザ操作によっても可能である。
When the
一方、ＡＧＣ回路６７０が機能している場合（以下、「ＡＧＣモード」とも称する）には、ＡＧＣ回路６７０は、入力された信号に基づき、ゲインを自動で調整する。ＡＧＣ回路６７０は、ゲインを上げることにより、入力された信号を増幅する。これにより、ＡＧＣ回路６７０は、出力される画像（映像）を明るくする。ＡＧＣ回路６７０は、ゲインを下げることにより、入力された信号を減衰させる。これにより、ＡＧＣ回路６７０は、出力される画像を暗くする。
On the other hand, when the
ＡＧＣ回路６７０は、ゲインを自動的に調整することにより、画像を適した明るさにする。このように、ＡＧＣ回路６７０は、自動で画像の明るさを調整する機能（以下、「オートゲインコントロール」とも称する）を有する。
The
プレス機械３０では、スライド３１４が一定の周期で上下移動する。このように周期的に動作する部位を有するプレス機械３０の動作をカメラ６１で撮像する場合、カメラ６１の撮像素子６０６に入射する光量は、短い周期で連続的に変化する。しかしながら、オートゲインコントロールでは、このような光量の短時間の変化（明るさの変化）に追従したゲイン調整ができない。このため、本実施の形態では、ＡＧＣ回路６７０によるオートゲインコントロールをオフ状態としておく。
In the press machine 30, the
さらに、プレス機械３０の実運用環境（明るさ等）を考慮して、ユーザがゲインを適切な値に事前設定(指定）する。したがって、アナログ信号処理部６０７では、指定されたゲイン（固定値）で、入力される信号の増幅処理または減衰処理が行われる。
Furthermore, the user pre-sets (specifies) the gain to an appropriate value, taking into account the actual operating environment (brightness, etc.) of the press machine 30. Therefore, the analog
詳細については後述するが、本例では、情報処理装置８０から、ゲインの値を含むゲイン設定の指示が、通信部６１０を介して制御部６１５に送られる。制御部６１５は、情報処理装置８０から指示されたゲイン（値）を、アナログ信号処理部６０７に設定する。これにより、アナログ信号処理部６０７は、情報処理装置８０から指示されたゲインにて、入力される信号の増幅処理または減衰処理を行う。このように、本例では、アナログ信号処理部６０７におけるゲインが、情報処理装置８０によって設定される。
Details will be described later, but in this example, a gain setting instruction including a gain value is sent from the
ところで、上記のようにゲインを設定（固定）した場合、以下のような問題が生じる。たとえば、プレス機械３０の自動運転時において、プレス機械３０が設置されている建屋からオペレータが退出する際に当該建屋内の照明がオフされた場合、カメラ６１、６２から出力される画像において「黒つぶれ」が生じるおそれがある。また、当該建屋のカーテンが実運用環境では通常開けられているにもかかわらず閉じられた場合には、カメラ６１，６２から出力される画像において「黒つぶれ」が生じるおそれがある。逆の態様として、当該建屋のカーテンが実運用環境では通常閉じられているにもかかわらず開けられた場合には、カメラ６１，６２から出力される画像において「白飛び」が生じるおそれがある。
However, when the gain is set (fixed) as described above, the following problems occur. For example, during automatic operation of the press machine 30, if the lights in the building in which the press machine 30 is installed are turned off when the operator leaves the building, "blackout" may occur in the images output from the
以下では、主として、このような「黒つぶれ」および「白飛び」といった現象の発生を抑制するための構成および処理を説明する。 Below, we will mainly explain the configuration and processing for suppressing the occurrence of such phenomena as "blackout" and "whiteout."
＜Ｃ．情報処理装置のハードウェア構成＞
図４は、情報処理装置８０のハードウェア構成の例を表した図である。
<C. Hardware configuration of information processing device>
FIG. 4 is a diagram showing an example of a hardware configuration of the
図４に示されるように、情報処理装置８０は、プロセッサ８１と、メモリ８２と、通信ＩＦ（Interface）８３，８４と、ディスプレイ８５と、タッチパネル８９とを備える。なお、ディスプレイ８５と、タッチパネル８９とで、タッチスクリーンが構成される。
As shown in FIG. 4, the
メモリ８２は、一例として、ＲＯＭ（Read Only Memory）８２１と、ＲＡＭ（Random Access Memory）８２２ａ，８２２ｂと、フラッシュメモリ８２３とを含む。なお、メモリ８２は、フラッシュメモリ８２３の代わりに、あるいはフラッシュメモリ８２３に加えて、ＨＤＤ（Hard Disc Drive）を含んでいてもよい。
The
通信ＩＦ８３は、ハブ７０と通信するためのインターフェイスである。通信ＩＦ８４は、プレスコントローラ３２と通信するためのインターフェイスである。
The communication IF 83 is an interface for communicating with the
プロセッサ８１は、メモリ８２に記憶されたオペレーティングシステムおよび各種のプログラムを実行する。プロセッサ８１は、ディスプレイ８５に各種の情報を表示させる（図６参照）。
The
ＲＡＭ８２２ａ，８２２ｂは、巡回メモリとも称されるメモリである。プロセッサ８１は、ＲＡＭ８２２ａに動画像データを記憶させる。プロセッサ８１は、ＲＡＭ８２２ｂに上述した運転情報を記憶させる。
プロセッサ８１は、ＲＡＭ８２２ａの空き容量が不足すると最も古いデータを最新のデータで上書きする方式によって、カメラ６１，６２による動画撮影によって得られた動画像データをＲＡＭ８２２ａに順次記憶する。プロセッサ８１は、典型的には、ＲＡＭ８２２ａのメモリ領域を２つの領域に分けて、一方にカメラ６１による動画像データを記憶させ、かつ他方にカメラ６２による動画像データを記憶させる。
The
また、プロセッサ８１は、ＲＡＭ８２２ｂの空き容量が不足すると最も古いデータを最新のデータで上書きする方式によって、運転情報をＲＡＭ８２２ｂに順次記憶する。プロセッサ８１は、典型的には、ＲＡＭ８２２ｂのメモリ領域を複数の領域に分けて、運転情報に含まれる各種のデータを領域ごとに区分して記憶させる。
In addition, the
なお、上記では、ＲＡＭ８２２ａとＲＡＭ８２２ｂとを備える構成であるが、これに限定されるものではない。プロセッサ８１が１つのＲＡＭにおけるメモリ空間の領域を区分して管理する構成の場合、ＲＡＭは１つでもよい。また、データ種別毎にＲＡＭを設けてもよい。
In the above, the configuration includes RAM 822a and
なお、プロセッサ８１は、本発明における「プロセッサ」の一例である。
＜Ｄ．ゲインの調整処理＞
（ｄ１．全体的な処理の流れ）
以下では、カメラ６１，６２のうち、カメラ６１のゲイン調整を例に挙げて説明する。なお、カメラ６２においてもカメラ６１と同様のゲイン調整が行われるため、カメラ６２のゲイン調整については繰り返し説明しない。
The
<D. Gain Adjustment Processing>
(d1. Overall processing flow)
In the following, an example of gain adjustment of the
図５は、情報処理装置８０で実施されるカメラ６１のゲイン調整の処理の流れを説明するためのフロー図である。
Figure 5 is a flow diagram for explaining the process flow of the gain adjustment of the
図５に示されているように、ステップＳ１において、ゲインの初期値の設定がなされる。詳細については後述するが、ステップＳ１においては、情報処理装置８０を介したユーザ操作に基づき、カメラ６１のゲインの初期値が設定される。アナログ信号処理部６０７におけるゲインの初期値が設定される。なお、ステップＳ１の処理が、プレス機械３０の実運用環境（明るさ等）を考慮した、ユーザによるゲインの事前設定処理に対応する。
As shown in FIG. 5, in step S1, the initial gain value is set. Details will be described later, but in step S1, the initial gain value of the
ステップＳ２において、情報処理装置８０において、カメラ６１の出力画像についての明るさの評価値の許容範囲が設定される。典型的には、情報処理装置８０において、カメラ６１の出力画像についての明るさの評価値の上限値と下限値とが設定される。
In step S2, the
「出力画像の明るさの評価値」とは、カメラ６１のデジタル信号処理部６０９から出力される画像の明るさを示す値である。たとえば、出力画像の明るさの評価値は、画素値で規定される。
The "evaluation value of brightness of the output image" is a value indicating the brightness of the image output from the digital
カメラ６１がカラー画像をモノクロ画像（典型的には、２５６階調のグレースケール画像）に変換し、モノクロの画像を情報処理装置８０に出力する場合には、「出力画像の明るさの評価値」は、カメラ６１の各有効画素の画素値に基づき規定される。この場合、「出力画像の明るさの評価値」は、本例では各有効画素の画素値の平均をとるため、０から２５５までの範囲内の数値となる。なお、カメラ６１が、カラーフィルタ６０５を備えていない場合には、上記の変換処理は不要である。
When the
カメラ６１がカラーの映像（典型的には、ＲＧＢのカラー画像）を出力する場合には、「出力画像の明るさの評価値」は、補間処理を行った後の画素値に基づき規定される。
When the
以下では、説明の便宜上、カメラ６１がモノクロ画像を情報処理装置８０に出力する場合を例に挙げて説明する。カメラ６１がカラー画像を出力する場合については、変形例で説明する。
For ease of explanation, the following will be described using an example in which the
ステップＳ３において、ゲインの更新処理がなされる。詳しくは、情報処理装置８０がゲインを調整し、調整後のゲインとなるように、カメラ６１に指示を送る。なお、ステップＳ３の処理が、「黒つぶれ」および「白飛び」の発生を抑制するための処理に対応する。
In step S3, a gain update process is performed. More specifically, the
以下では、図６～図８に基づき、ステップＳ１およびステップＳ２の処理の詳細を説明する。さらに、図９～図１２に基づき、ステップＳ３の処理の詳細を説明する。 The following describes the details of the processing in steps S1 and S2 with reference to Figures 6 to 8. Furthermore, the following describes the details of the processing in step S3 with reference to Figures 9 to 12.
（ｄ２．ステップＳ１およびＳ２の詳細）
図６は、出力画像の明るさの評価値の算出方法を説明するための図である。なお、以下では、便宜上、「出力画像の明るさの評価値」を「明るさの評価値Ｍ」とも称する。
(d2. Details of steps S1 and S2)
6 is a diagram for explaining a method for calculating an evaluation value of brightness of an output image. Note that, hereinafter, for convenience, the "evaluation value of brightness of an output image" is also referred to as the "evaluation value M of brightness."
図６に示すように、カメラ６１の有効画素の縦方向（Ｙ方向）の個数がＨ個、横方向（Ｘ方向）の個数がＷ個とする。この場合、カメラ６１の撮像素子６０６には、Ｈ×Ｗ個の有効画素が存在する。また、図６では、各画素の画素値を、ｄ（ｉ，ｊ）で表している（０≦ｉ≦Ｈ－１,０≦ｊ≦Ｗ－１）。
As shown in FIG. 6, the number of effective pixels in the vertical direction (Y direction) of the
本例では、明るさの評価値Ｍを、以下の式（１）を用いて算出する。
Ｍ＝ΣΣｄ（ｉ，ｊ）÷（Ｈ×Ｗ） … （１）
なお、式(１)のΣΣの項の計算では、ｉおよびｊのすべての組み合わせの和をとる。すなわち、ΣΣの項の計算では、Ｈ×Ｗ個の画素の画素値の和（詳しくは、ｄ（０，０）＋ｄ（０，１）＋…＋ｄ（Ｈ－１，Ｗ－１））をとる。
In this example, the brightness evaluation value M is calculated using the following formula (1).
M=ΣΣd(i,j)÷(H×W)…(1)
In addition, in the calculation of the ΣΣ term in equation (1), the sum of all combinations of i and j is taken. In other words, in the calculation of the ΣΣ term, the sum of the pixel values of H×W pixels (more specifically, d(0,0)+d(0,1)+...+d(H-1,W-1)) is taken.
このように、式（１）では、全ての有効画素の画素値の平均値が算出される。８ビット表示の場合、各画素の画素値は、０以上２５５以下の自然数で表される。それゆえ、Ｍの値は、０以上２５５以下の値となる。 In this way, equation (1) calculates the average value of the pixel values of all valid pixels. In the case of an 8-bit display, the pixel value of each pixel is expressed as a natural number between 0 and 255. Therefore, the value of M is between 0 and 255.
なお、式（１）は、明るさの評価値Ｍの算出方法の一例であり、評価値Ｍの算出方法は式（１）に限定されるものではない。 Note that formula (1) is an example of a method for calculating the brightness evaluation value M, and the method for calculating the evaluation value M is not limited to formula (1).
図７は、プレス機械本体３１のスライド３１４が周期的に動作している状態でカメラ６１によって撮像された画像を、情報処理装置８０のディスプレイ８５（本例では、タブレット端末８０１のディスプレイ）に表示させた状態を表した図である。
Figure 7 shows an image captured by the
図７に示されているように、情報処理装置８０は、ユーザ操作に基づき、カメラ６１のゲインを調整するための画面８９０を表示する。情報処理装置８０は、カメラ６１によって撮像された画像（映像）に重畳した状態で、複数の画像８６０，８７０，８８０を表示する。
As shown in FIG. 7, the
画像８６０は、カメラ６１のＡＧＣ回路６７０（図３参照）によるオートゲインコントロールをオンまたはオフにするためのプルダウンメニュー８６１と、ゲインを調整するためのスライダー８６２およびスピンボタン８６３とを含む。
上述したように、本例では、オートゲインコントロールをオフにする必要があるため、プルダウンメニュー８６１によって、機能のオフを示す“Ｏｆｆ”が選択されている。
As described above, in this example, the auto gain control needs to be turned off, so "Off" is selected in the pull-
スライダー８６２およびスピンボタン８６３によってゲインの値が変更されると、情報処理装置８０は、カメラ６１のゲイン調整を行なう。情報処理装置８０は、カメラ６１のゲインが、スライダー８６２およびスピンボタン８６３によって変更された値となるように、カメラ６１に指示を送る。
When the gain value is changed by the
情報処理装置８０は、変更後のゲインでの、出力画像の明るさの評価値Ｍの最大値と最小値とを表示かつ記憶する。本例では、画像８７０に、最大値と最小値とが表示される。当該ゲインにおける最大値と最小値とは、ユーザによってゲインが別の値に変更されるまで更新され続ける。
The
情報処理装置８０のユーザは、画面８９０を視認しつつ、ゲインを調整する。詳しくは、スライド３１４が上下することによる画像の明るさの変化を確認しつつ、ゲインを調整する。ユーザは、画面８９０に表示された画像の明るさが適切であると判断すると、設定ボタンを示す画像８８０を選択する。これにより、情報処理装置８０は、画像８８０が選択されたときのゲインの値を、ゲインの初期値に設定する（図５のステップＳ１）。
The user of the
さらに、情報処理装置８０は、画像８８０が選択されたときのゲインにおける最大値を明るさの評価値Ｍの許容範囲の上限値に設定し、かつ最小値を当該許容範囲の上限値に設定する（図５のステップＳ２）。
Furthermore, the
たとえば、ユーザがゲインをＧｐに設定したときの明るさの評価値Ｍの範囲の最大値がＭ１であり、かつ最小値がＭ２である場合において、ゲインをＧｐとした状態でユーザが画像８８０を選択すると、情報処理装置８０は、Ｍ１を明るさの評価値Ｍの許容範囲の上限値Ｍ＿ＵＬに、Ｍ２を許容範囲の下限値Ｍ＿ＬＬに設定する。
For example, when the user sets the gain to Gp and the maximum value of the range of the brightness evaluation value M is M1 and the minimum value is M2, if the user selects
図８は、明るさの評価値Ｍの変化を説明するためのグラフである。
図８に示されるように、ゲインを一定にした状態（たとえば、ゲインをＧｐに維持した状態）でカメラ６１による撮像が行なわれると、情報処理装置８０は、上記の式（１）に基づき、明るさの評価値Ｍの周期的な変化を示すデータＤ１を生成する。波形９０１は、当該データＤ１をグラフとして表したものである。データＤ１は、評価値Ｍを時系列で記録したものである。
FIG. 8 is a graph for explaining the change in the brightness evaluation value M.
8, when an image is captured by the
波形９０１として示されているように、周期性を持って評価値Ｍが変化する理由は、スライド３１４が周期的に上下移動するためである。
As shown by
このようなデータＤ１が得られている状態で、ユーザが画像８８０（図７）を選択すると、データＤ１の最大値が許容範囲Ｒの上限値Ｍ＿ＵＬとして設定され、かつデータＤ１の最小値が許容範囲Ｒの下限値Ｍ＿ＬＬとして設定される。なお、許容範囲Ｒは、下限値Ｍ＿ＬＬから上限値Ｍ＿ＵＬまでの範囲である。 When such data D1 is obtained, if the user selects image 880 (Figure 7), the maximum value of data D1 is set as the upper limit value M_UL of the allowable range R, and the minimum value of data D1 is set as the lower limit value M_LL of the allowable range R. Note that the allowable range R ranges from the lower limit value M_LL to the upper limit value M_UL.
このような、ユーザインターフェイスを介したゲイン調整に基づく許容範囲Ｒの設定は、上金型３１６と下金型３１５とから構成される金型が交換される度に行なうことが好ましい。金型の形状によって、適切な許容範囲Ｒは異なるためである。
It is preferable to set the tolerance range R based on gain adjustment via the user interface in this manner every time the mold consisting of the
（ｄ３．ステップＳ３の詳細）
図９は、許容範囲Ｒが設定された後における、明るさの評価値Ｍの変化を説明するためのグラフである。
(d3. Details of step S3)
FIG. 9 is a graph for explaining the change in the brightness evaluation value M after the allowable range R is set.
図９に示されるように、情報処理装置８０は、上記の式（１）に基づき、明るさの評価値Ｍの周期的な変化を示すデータＤ２を生成する。波形９０２は、当該データＤ２をグラフとして表したものである。
As shown in FIG. 9, the
波形９０２にて示されているように、データＤ２の最大値Ｍ＿ＭＡＸは、設定された許容範囲Ｒの上限値Ｍ＿ＵＬを下回っている。しかしながら、データＤ２の最小値Ｍ＿ＭＩＮも許容範囲Ｒの下限値Ｍ＿ＬＬを下回っている。
As shown in
このように、最小値Ｍ＿ＭＩＮが許容範囲Ｒの下限値Ｍ＿ＬＬを下回わる理由としては、たとえば以下のような場合が挙げられる。 In this way, the minimum value M_MIN may fall below the lower limit value M_LL of the allowable range R for the following reasons, for example:
（i）プレスシステム１の自動運転時において、プレスシステム１が設置されている建屋からオペレータが退出した際に、当該建屋内の照明がオフされた場合。
(i) When the
（ii）プレスシステム１が設置されている建屋のカーテンが実運用環境では通常開けられているにもかかわらず閉じられた場合。
(ii) If the curtain of the building in which the
情報処理装置８０は、データＤ２の最小値Ｍ＿ＭＩＮが許容範囲Ｒの下限値Ｍ＿ＬＬを下回っていると判断すると、カメラ６１のゲインを上げるための指示をカメラ６１に送る。
When the
情報処理装置８０は、たとえば、予め定められた値（たとえば、１ｄｂ）だけゲインの値を下げる指示をカメラ６１に送る。あるいは、情報処理装置８０は、ゲインの値そのものを、カメラ６１に送ってもよい。また、情報処理装置８０は、最小値Ｍ＿ＭＩＮと下限値Ｍ＿ＬＬとの差分の大きさに基づき、当該予め定められた値をまたはゲインの値そのものを決定してもよい。
For example, the
図１０は、許容範囲Ｒが設定された後における、明るさの評価値Ｍの変化を説明するための他のグラフである。 Figure 10 is another graph illustrating the change in the brightness evaluation value M after the acceptable range R is set.
図１０に示されるように、情報処理装置８０は、上記の式（１）に基づき、明るさの評価値Ｍの周期的な変化を示すデータＤ３を生成する。波形９０３は、当該データＤ３をグラフとして表したものである。
As shown in FIG. 10, the
波形９０３にて示されているように、データＤ３の最小値Ｍ＿ＭＩＮは、設定された許容範囲Ｒの下限値Ｍ＿ＬＬを上回っている。しかしながら、データＤ３の最大値Ｍ＿ＭＡＸも許容範囲Ｒの上限値Ｍ＿ＵＬを上回っている。
As shown in
このように、最大値Ｍ＿ＭＡＸが許容範囲Ｒの上限値Ｍ＿ＵＬを下回わる理由としては、たとえば、プレスシステム１が設置されている建屋のカーテンが実運用環境では通常閉じられているにもかかわらず開けられた場合が挙げられる。
In this way, the maximum value M_MAX may fall below the upper limit value M_UL of the tolerance range R if, for example, the curtains of the building in which the
情報処理装置８０は、データＤ３の最大値Ｍ＿ＭＡＸが許容範囲Ｒの上限値Ｍ＿ＵＬを上回っていると判断すると、カメラ６１のゲインを下げるための指示をカメラ６１に送る。
When the
情報処理装置８０は、たとえば、予め定められた値（たとえば、１ｄｂ）だけゲインの値を上げる指示をカメラ６１に送る。あるいは、情報処理装置８０は、ゲインの値そのものを、カメラ６１に送ってもよい。また、情報処理装置８０は、最大値Ｍ＿ＭＡＸと上限値Ｍ＿ＵＬとの差分の大きさに基づき、当該予め定められた値をまたはゲインの値そのものを決定してもよい。
For example, the
図１１は、図１０の状態からの遷移後における、明るさの評価値Ｍの変化を説明するためのグラフである。詳しくは、図１１は、図１０の状態において情報処理装置８０からカメラ６１に対してゲインの値を下げる指示を送った後における、明るさの評価値Ｍの変化を説明するためのグラフである。
Figure 11 is a graph for explaining the change in the brightness evaluation value M after a transition from the state of Figure 10. In detail, Figure 11 is a graph for explaining the change in the brightness evaluation value M after an instruction to lower the gain value is sent from the
図１１に示されるように、情報処理装置８０は、上記の式（１）に基づき、明るさの評価値Ｍの周期的な変化を示すデータＤ４を生成する。波形９０４は、当該データＤ４をグラフとして表したものである。
As shown in FIG. 11, the
波形９０４にて示されているように、データＤ４の最小値Ｍ＿ＭＩＮは、図１０と同様に、設定された許容範囲Ｒの下限値Ｍ＿ＬＬを上回っている。データＤ４の最大値Ｍ＿ＭＡＸは、図１０とは異なり、許容範囲Ｒの上限値Ｍ＿ＵＬを下回っている。
As shown in
このように、カメラ６１のゲインを情報処理装置８０から制御することにより、データＤ４の最小値Ｍ＿ＭＩＮと最大値Ｍ＿ＭＩＮとを、明るさの評価値Ｍの許容範囲Ｒ内に収めることが可能となる。
In this way, by controlling the gain of the
なお、上記では、説明の便宜上、１回のゲイン変更により、データＤ４の最小値Ｍ＿ＭＩＮと最大値Ｍ＿ＭＩＮとが明るさの評価値の許容範囲Ｒ内に収まる例を説明した。しかしながら、１回のゲイン変更では最小値Ｍ＿ＭＩＮと最大値Ｍ＿ＭＩＮとが許容範囲Ｒ内に収まらない場合には、情報処理装置８０は、最小値Ｍ＿ＭＩＮと最大値Ｍ＿ＭＩＮとが許容範囲Ｒ内に収まるまで、ゲイン変更の指示をカメラ６１に対して繰り返り送信すればよい。
In the above, for the sake of convenience, an example has been described in which the minimum value M_MIN and maximum value M_MIN of data D4 fall within the allowable range R of the brightness evaluation value with a single gain change. However, if the minimum value M_MIN and maximum value M_MIN do not fall within the allowable range R with a single gain change, the
なお、情報処理装置８０は、図９の場合も上記と同様な処理を実行することにより、データの最小値Ｍ＿ＭＩＮと最大値Ｍ＿ＭＩＮとを明るさの評価値Ｍの許容範囲Ｒ内に収める。
In addition, the
図１１で示した状態に遷移した後も、情報処理装置８０は、データの取得処理を続ける。情報処理装置８０は、当該データの最小値Ｍ＿ＭＩＮと最大値Ｍ＿ＭＩＮとが明るさの評価値Ｍの許容範囲Ｒ内に収まっているかを監視する。情報処理装置８０は、収まっていないと判断すると、上述したように、ゲインを変更する指示をカメラ６１に再度送信する。
Even after transitioning to the state shown in FIG. 11, the
このような処理により、情報処理装置８０に記録される画像（映像）については、概ね、明るさの評価値Ｍが、設定された許容範囲Ｒに収まる。それゆえ、プレス機械本体３１に以上が発生した場合において、情報処理装置８０にて異常が発生したときの画像を確認する際において、当該画像が黒つぶれまたは白飛びの状態となっていることを防ぐことが可能となる。したがって、情報処理装置８０によれば、異常発生時における動画像を利用した異常発生要件の解析処理を促進させることが可能となる。
By this processing, the brightness evaluation value M of the image (video) recorded in the
図１２は、ステップＳ３の処理の流れの詳細を説明するためのフロー図である。
図１２を参照して、ステップＳ２（図５）の後にプレス機械本体３１の電源がオフされている場合には、ステップＳ１０１において、オペレータが、プレス機械本体３１の電源をオンする。ステップＳ１０２において、カメラ６１による撮像が開始される。なお、カメラ６１への撮像開始指示は、プレスコントローラ３２からの自動的な指示であっても、あるいは情報処理装置８０に対するユーザ操作に基づく指示であってもよい。ステップＳ１０３において、プレス機械本体３１が稼働する。これにより、上金型３１６が装着されたスライド３１４が周期的に上下移動する。
FIG. 12 is a flowchart for explaining the details of the process flow of step S3.
12, if the power supply of the
ステップＳ１０４において、情報処理装置８０は、カメラ６１による撮像画像に基づき、明るさの評価値Ｍの周期的な変化を示したデータの取得を開始する。
In step S104, the
ステップＳ１０５において、情報処理装置８０は、判定タイミングとなったか否かを判断する。たとえば、情報処理装置８０は、データの取得開始時刻または前回の判定タイミングから、所定の時間が経過したか否かを判定する。情報処理装置８０は、所定の時間として、たとえばスライド３１４の上下移動の周期のＮ倍（たとえばＮは２以上自然数）を用いることができる。情報処理装置８０は、周期的に到来する判定タイミングとなったか否かを判断する。
In step S105, the
判定タイミングとなったと判断された場合（ステップＳ１０５においてＹＥＳ）、ステップＳ１０６において、周期的な変化を示したデータから、判定タイミングの直近の１周期（動作周期）以上の所定期間Ｔｐの明るさの評価値Ｍの最大値Ｍ＿ＭＡＸと最小値Ｍ＿ＭＩＮとを取得する。詳しくは、所定期間Ｔｐは、判定タイミングの直近の期間であって、かつ、スライド３１４の上下動作の１周期以上の期間である。所定期間Ｔｐがスライド３１４の上下動作の１周期以上の期間である理由は、少なくとも、１回の明の状態と１回の暗の状態とのデータを含むためである。
If it is determined that the judgment timing has arrived (YES in step S105), in step S106, the maximum value M_MAX and minimum value M_MIN of the brightness evaluation value M for a predetermined period Tp that is at least one cycle (operation cycle) immediately preceding the judgment timing are obtained from the data showing the periodic change. In more detail, the predetermined period Tp is the period immediately preceding the judgment timing and is at least one cycle of the up and down movement of the
判定タイミングとなっていないと判断された場合（ステップＳ１０５においてＮＯ）、情報処理装置８０は、処理をステップＳ１０５に戻す。
If it is determined that the judgment timing has not arrived (NO in step S105), the
ステップＳ１０７において、情報処理装置８０は、評価値Ｍの最大値Ｍ＿ＭＡＸが許容範囲Ｒの上限値Ｍ＿ＵＬを上回っている否かを判断する。最大値Ｍ＿ＭＡＸが許容範囲Ｒの上限値Ｍ＿ＵＬを上回っていると判断された場合（ステップＳ１０７においてＹＥＳ）、情報処理装置８０は、ステップＳ１０８において、カメラ６１のゲインを下げる制御を行なう。情報処理装置８０は、ステップＳ１０８の後、処理をステップＳ１０９に進める。
In step S107, the
最大値Ｍ＿ＭＡＸが許容範囲Ｒの上限値Ｍ＿ＵＬを上回っていないと判断された場合（ステップＳ１０７においてＮＯ）、ステップＳ１１０において、情報処理装置８０は、評価値Ｍの最小値Ｍ＿ＭＩＮが許容範囲Ｒの下限値Ｍ＿ＬＬを下回っているか否かを判断する。
If it is determined that the maximum value M_MAX does not exceed the upper limit value M_UL of the tolerance range R (NO in step S107), in step S110, the
最小値Ｍ＿ＭＩＮが許容範囲Ｒの下限値Ｍ＿ＬＬを下回っていると判断された場合（ステップＳ１１０においてＹＥＳ）、情報処理装置８０は、ステップＳ１１１において、カメラ６１のゲインを上げる制御を行なう。情報処理装置８０は、ステップＳ１１１の後、処理をステップＳ１０９に進める。最小値Ｍ＿ＭＩＮが許容範囲Ｒの下限値Ｍ＿ＬＬを下回っていないと判断された場合（ステップＳ１１０においてＮＯ）、情報処理装置８０は、処理をステップＳ１０９に進める。
If it is determined that the minimum value M_MIN is below the lower limit value M_LL of the allowable range R (YES in step S110), the
ステップＳ１０９において、情報処理装置８０は、プレス機械本体３１の電源がオフされた否かを判断する。電源がオフされていないと判断された場合（ステップＳ１０９においてＮＯ）、情報処理装置８０は、処理をステップＳ１０５に戻す。電源がオフされたと判断された場合（ステップＳ１０９においてＹＥＳ）、情報処理装置８０は、ステップＳ３の処理を終了する。
In step S109, the
なお、上記においては、ステップＳ１０７の後にステップＳ１１０が実行される例を説明したが、これに限定されない。ステップＳ１０７とステップＳ１１０との判定の順序を入れ換えてもよい。 In the above, an example in which step S110 is executed after step S107 has been described, but this is not limiting. The order of the determinations in steps S107 and S110 may be reversed.
（ｄ４．小括）
プレスシステム１にて実行される処理の一部を小括すると、以下のとおりである。
(d4. Summary)
Some of the processes executed by the
（１）情報処理装置８０は、カメラ６１（あるいはカメラ６２）の出力画像についての明るさの評価値Ｍの許容範囲Ｒを記憶する。カメラ６１は、少なくとも、プレス機械本体３１に含まれる周期的に動作するスライド３１４および上金型３１６を撮像する。
(1) The
情報処理装置８０は、許容範囲Ｒが記憶された後のカメラ６１による撮像に基づき、出力画像と、出力画像の明るさの評価値Ｍの周期的な変化を示したデータ（以下、データＤ）とを取得する。情報処理装置８０は、データＤから、上記動作の直近の１周期以上の所定期間Ｔｐにおける明るさの評価値Ｍの最大値Ｍ＿ＭＡＸおよび最小値Ｍ＿ＭＩＮを取得する。
The
情報処理装置８０は、最大値Ｍ＿ＭＡＸが許容範囲Ｒに含まれていないことを条件に、カメラ６１のゲインを調整する。情報処理装置８０は、最大値Ｍ＿ＭＡＸが許容範囲Ｒを上回っていることを条件に、カメラ６１のゲインを現在の設定値から当該現在の設定値よりも低い値に変更する。
The
情報処理装置８０は、最小値Ｍ＿ＭＩＮが許容範囲Ｒに含まれていないことを条件に、カメラ６１のゲインを調整する。情報処理装置８０は、最小値Ｍ＿ＭＩＮが許容範囲Ｒを下回っていることを条件に、カメラ６１のゲインを現在の設定値から当該現在の設定値よりも高い値に変更する。
The
このような構成により、周期的に動作するスライドを有するプレスシステム１（詳しくは、プレス機械本体３１）の周囲環境に変化があったときでも、ユーザが許容できる明るさの画像を得ることが可能となる。 This configuration makes it possible to obtain an image with a brightness acceptable to the user even when there is a change in the surrounding environment of the press system 1 (more specifically, the press machine main body 31) that has a periodically operating slide.
（２）情報処理装置８０は、明るさの評価値Ｍの許容範囲Ｒを以下のような処理で設定する。情報処理装置８０は、図７に示したように、ディスプレイ８５に出力画像が表示された状態で、ユーザ操作に基づくゲイン調整を受け付ける。情報処理装置８０は、当該ユーザ操作に基づくゲイン調整がなされた状態において、明るさの評価値Ｍの上限値Ｍ＿ＵＬと下限値Ｍ＿ＬＬとを取得する。情報処理装置８０は、上限値Ｍ＿ＵＬと下限値Ｍ＿ＬＬとの間の数値範囲を、許容範囲Ｒに設定する。
(2) The
＜Ｅ．情報処理装置の機能的構成＞
図１３は、情報処理装置８０の機能的構成を説明するためのブロック図である。
<E. Functional configuration of information processing device>
FIG. 13 is a block diagram for explaining the functional configuration of the
図１３に示されるように、情報処理装置８０は、制御部８１０と、記憶部８２０と、通信部８３０と、操作部８４０と、表示部８５０とを備える。
As shown in FIG. 13, the
制御部８１０は、上限値設定部８１１と、上限値読出部８１２と、下限値設定部８１３と、下限値読出部８１４と、データ生成部８１５と、最大値取得部８１６と、最小値取得部８１７と、ゲイン変更指示部８１８と、表示制御部８１９とを含む。
The
制御部８１０は、情報処理装置８０の各種の動作を制御する。制御部８１０は、プロセッサ８１（図４）に対応する。詳しくは、制御部８１０は、プロセッサ８１がメモリ８２に記憶されたオペレーティングシステムおよび各種のプログラムを実行することにより、実現される。
The
記憶部８２０には、カメラ６１，６２による撮像により得られた画像データ（動画像データ）が記憶される。記憶部８２０は、メモリ８２（図４）に対応する。
The
操作部８４０は、ユーザ操作を受け付ける。たとえば、操作部８４０は、スライダー８６２（図７）を移動させる操作、スピンボタン８６３によってゲインの値が変更する操作等を受け付ける。操作部８４０は、受け付けた操作に応じた信号を制御部８１０に送る。操作部８４０は、タッチパネル８９（図４）に対応する。
The
通信部８３０は、カメラ６１，６２等の外部機器と通信するためのインターフェイスである。通信部８３０は、通信ＩＦ８３，８４（図４）に対応する。
The
表示部８５０は、各種の情報を表示する。表示部８５０は、ディスプレイ８５（図４）に対応する。
The
以下では、許容範囲Ｒを設定する局面と、許容範囲Ｒが設定された後の局面とに分けて説明する。以下でも、説明の便宜上、カメラ６１，６２のうちカメラ６１に着目して説明する。
In the following, the situation will be explained separately: when the allowable range R is set, and when the allowable range R has been set. For the sake of convenience, the following explanation will focus on
（ｅ１．許容範囲Ｒを設定する局面）
表示制御部８１９は、カメラ６１から撮像により得られた画像データ（出力画像）を、表示部８５０に表示させる。また、表示制御部８１９は、図７に示したように、複数の画像８６０，８７０，８８０を出力画像に重畳させた状態で、表示部８５０に表示させる。
(e1. Setting the allowable range R)
The
操作部８４０は、ユーザによるゲインの設定操作を受け付ける。カメラ６１のゲインが、操作部８４０が受け付けた値となるように、制御部８１０は、通信部８３０を介してカメラ６１に指示を送る。
The
制御部８１０は、通信部８３０を介して、カメラ６１から撮像により得られた画像データ（出力画像）を受信する。制御部８１０は、当該画像データを逐次、記憶部８２０に記憶させる。この場合、表示制御部８１９は、当該画像データを表示部８５０に表示させる。
The
制御部８１０のデータ生成部８１５は、記憶部８２０に記憶された画像データに基づき、明るさの評価値Ｍを逐次算出し、出力画像の明るさの評価値Ｍの周期的な変化を示したデータＤを生成する。データ生成部８１５は、生成されたデータＤを記憶部８２０に記憶させる。
The
上限値設定部８１１は、記憶部８２０に記憶されたデータＤに基づき、上限値Ｍ＿ＵＬを設定する。上限値設定部８１１は、データＤの最大値を上限値Ｍ＿ＵＬに設定する。上限値設定部８１１は、設定された上限値Ｍ＿ＵＬを記憶部８２０に記憶させる。
The upper
下限値設定部８１３は、記憶部８２０に記憶されたデータＤに基づき、下限値Ｍ＿ＬＬを設定する。下限値設定部８１３は、データＤの最小値を下限値Ｍ＿ＬＬに設定する。下限値設定部８１３は、設定された下限値Ｍ＿ＬＬを記憶部８２０に記憶させる。
The lower
以上の処理により、情報処理装置８０では、上限値Ｍ＿ＵＬと下限値Ｍ＿ＬＬとで規定される許容範囲Ｒが設定される。
By the above processing, the
（ｅ２．許容範囲Ｒが設定された後の局面）
制御部８１０は、通信部８３０を介して、カメラ６１から撮像により得られた画像データ（出力画像）を受信する。制御部８１０は、当該画像データを逐次、記憶部８２０に記憶させる。
(e2. Situation after the allowable range R is set)
The
上限値読出部８１２は、記憶部８２０から上限値Ｍ＿ＵＬを読み出す。上限値読出部８１２は、読み出した上限値Ｍ＿ＵＬをゲイン変更指示部８１８に送る。
The upper
下限値読出部８１４は、記憶部８２０から下限値Ｍ＿ＬＬを読み出す。下限値読出部８１４は、読み出した下限値Ｍ＿ＬＬをゲイン変更指示部８１８に送る。
The lower
データ生成部８１５は、記憶部８２０に記憶された画像データに基づき、明るさの評価値Ｍを逐次算出し、出力画像の明るさの評価値Ｍの周期的な変化を示したデータＤを生成する。データ生成部８１５は、生成されたデータＤを記憶部８２０に記憶させる。
The
最大値取得部８１６は、判定タイミングが到来すると、現在のゲイン設定において、更新され続けているデータＤにおける、明るさの評価値Ｍの最大値Ｍ＿ＭＡＸを取得する。最大値取得部８１６は、当該データＤから、直近の１周期（スライド３１４の動作周期）以上の所定期間Ｔｐにおける明るさの評価値Ｍの最大値Ｍ＿ＭＡＸを取得する。最大値取得部８１６は、取得された最大値Ｍ＿ＭＡＸをゲイン変更指示部８１８に送る。
When the determination timing arrives, the maximum
最小値取得部８１７は、判定タイミングが到来すると、現在のゲイン設定において、更新され続けているデータＤにおける、明るさの評価値Ｍの最小値Ｍ＿ＭＩＮを取得する。最小値取得部８１７は、当該データＤから、上記所定期間Ｔｐにおける明るさの評価値Ｍの最小値Ｍ＿ＭＩＮを取得する。最小値取得部８１７は、取得された最小値Ｍ＿ＭＩＮをゲイン変更指示部８１８に送る。
When the determination timing arrives, the minimum
ゲイン変更指示部８１８は、最大値Ｍ＿ＭＡＸが上限値Ｍ＿ＵＬを上回っているか否かを判断する。また、ゲイン変更指示部８１８は、最小値Ｍ＿ＭＩＮが下限値Ｍ＿ＬＬを下回っているか否かを判断する。
The gain
ゲイン変更指示部８１８は、最大値Ｍ＿ＭＡＸが上限値Ｍ＿ＵＬを上回っていると判断した場合、通信部８３０を介して、カメラ６１にゲイン変更指示を送る。具体的には、ゲイン変更指示部８１８は、カメラ６１のゲインを下げる指示をカメラ６１に送る。
When the gain
ゲイン変更指示部８１８は、最大値Ｍ＿ＭＩＮが下限値Ｍ＿ＬＬを下回っていると判断した場合、通信部８３０を介して、カメラ６１にゲイン変更指示を送る。具体的には、ゲイン変更指示部８１８は、カメラ６１のゲインを上げる指示をカメラ６１に送る。
When the gain
＜Ｆ．変形例＞
（１）第１の変形例
上記の実施の形態では、出力画像の全領域を用いて、出力画像の明るさの評価値Ｍの周期的な変化を示したデータＤを取得し、かつ当該データＤに基づき許容範囲Ｒを設定した。しかしながら、これに限定されるものではない。たとえば、情報処理装置８０は、出力画像の一部領域のみを用いてもよい。具体的には、情報処理装置８０は、以下の処理を行なってもよい。
F. Modifications
(1) First Modification In the above embodiment, the entire region of the output image is used to obtain data D indicating periodic changes in the evaluation value M of the brightness of the output image, and the allowable range R is set based on the data D. However, this is not limited to this. For example, the
情報処理装置８０は、カメラ６１，６２からの出力画像のうち周期的に動作する部位（スライド３１４）を含む一部領域（以下、「特定領域」とも称する）の画像の明るさの評価値Ｍの周期的な変化を示したデータＤを取得する。特定領域は、オペレータ操作等に基づき予め指定されている。
The
情報処理装置８０は、当該特定領域の評価値Ｍの最大値を上限値Ｍ＿ＵＬとし、かつ最小値を下限値Ｍ＿ＬＬとて設定する。これにより、特定領域における許容範囲Ｒが設定される。
The
その後、図５，図１２に示したステップＳ３の処理において、情報処理装置８０は、特定領域の画素値から算出された評価値Ｍに基づき、ゲインを上げる指示またはゲインを下げる指示をカメラ６１に送ってもよい。
After that, in the processing of step S3 shown in Figures 5 and 12, the
このような処理によれば、出力画像のうち重要な箇所に着目した、ゲインの調整処理を行なうことができる。それゆえ、プレス機械本体３１の周囲環境に変化があったときでも、ユーザにとってより好ましい明るさの画像を得ることが可能となる。
This type of processing allows the gain adjustment process to be performed with a focus on important parts of the output image. Therefore, even when there is a change in the environment around the
（２）第２の変形例
上記の実施の形態に示した式（１）の代わりに、以下の式（２）を用いて評価値Ｍを算出してもよい。
(2) Second Modification Instead of the formula (1) shown in the above embodiment, the evaluation value M may be calculated using the following formula (2).
Ｍ＝ΣΣ（ｄ（ｉ，ｊ）×ｗ（ｉ，ｊ））÷（Ｈ×Ｗ） … （２）
ｗ（ｉ，ｊ）は、重みである。式(２)のΣΣの項の計算においても、式（１）と同様に、ｉおよびｊのすべての組み合わせの和をとる。すなわち、Σの計算では、Ｈ×Ｗ個の画素値の和（詳しくは、ｄ（０，０）×ｗ（０，０）＋ｄ（０，１）×ｗ（０，１）＋…＋ｄ（Ｈ－１，Ｗ－１）×ｗ（Ｈ－１，Ｗ－１））をとる。
M=ΣΣ(d(i,j)×w(i,j))÷(H×W)…(2)
w(i,j) is a weight. In the calculation of the ΣΣ term in equation (2), the sum of all combinations of i and j is taken, as in equation (1). That is, in the calculation of Σ, the sum of H×W pixel values (more specifically, d(0,0)×w(0,0)+d(0,1)×w(0,1)+...+d(H-1,W-1)×w(H-1,W-1)) is taken.
たとえば、中心領域の画素の重みを周辺領域の画素の重みよりも大きくすることにより、評価値Ｍの算出の際に、中心領域の明るさが周辺領域の明るさよりも考慮される。特に、上述した特定領域（出力画像のうち周期的に動作する部位を含む一部領域）の重みを残りの領域の重みよりも大きくすることにより、出力画像のうち重要な箇所に着目した、ゲインの調整処理を行なうことができる。それゆえ、プレス機械本体３１の周囲環境に変化があったときでも、ユーザにとってより好ましい明るさの画像を得ることが可能となる。
For example, by weighting the pixels in the central region greater than the pixels in the peripheral regions, the brightness of the central region is taken into consideration more than the brightness of the peripheral regions when calculating the evaluation value M. In particular, by weighting the specific region (a portion of the output image that includes a part that operates periodically) greater than the weighting of the remaining regions, it is possible to perform gain adjustment processing that focuses on important parts of the output image. Therefore, even when there is a change in the environment surrounding the
なお、上記特定領域の重みを一定とし、残りの領域の重みをゼロとした場合には、結果的に、第1の変形例と同一の処理となる。 Note that if the weight of the specific region is set to a constant value and the weight of the remaining regions is set to zero, the result will be the same as the first modified example.
（３）第３の変形例
上記の実施の形態においては、モノクロ画像の場合の評価値Ｍの算出方法を説明した。以下では、カラー画像の場合の評価値Ｍの算出方法を説明する。具体的には、出力画像がＲＧＢ画像である場合の評価値Ｍの算出方法を説明する。
(3) Third Modification In the above embodiment, a method for calculating the evaluation value M in the case of a monochrome image has been described. Below, a method for calculating the evaluation value M in the case of a color image will be described. Specifically, a method for calculating the evaluation value M in the case where the output image is an RGB image will be described.
以下では、便宜上、赤（Ｒ）のフィルタが適用されている画素を「Ｒの画素」と、緑（Ｇ）のフィルタが適用されている画素を「Ｇの画素」と、青（Ｂ）のフィルタが適用されている画素を「Ｂの画素」とも称する。 For convenience, in the following, pixels to which a red (R) filter is applied will be referred to as "R pixels", pixels to which a green (G) filter is applied will be referred to as "G pixels", and pixels to which a blue (B) filter is applied will be referred to as "B pixels".
図１４は、カメラ６１の撮像素子６０６のＲＧＢの各画素を表した図である。詳しくは、カラーフィルタ６０５における色（Ｒ，Ｇ，Ｂ）の配置を表した図である。
Figure 14 is a diagram showing each of the RGB pixels of the
図１４に示されるように、ＲＧＢの色の配置は、緑（Ｇ）が一つおきに配置されるベイヤー型となっている。なお、配置の型は一例であって、ベイヤー型に限定されるもではない。たとえば、配置の型は、緑（Ｇ）だけの列が一列おきにできるものであってもよい。 As shown in FIG. 14, the RGB color arrangement is a Bayer type in which green (G) is arranged alternately. Note that this arrangement type is just one example and is not limited to the Bayer type. For example, the arrangement type may be one in which there are rows of only green (G) every other row.
赤（Ｒ）の画素の画素値は、Ｒ（ｉ，ｊ＋１）等のＲで始まる記号で表記されている。Ｇの画素の画素値は、Ｇ（ｉ，ｊ）等のＧで始まる記号で表記されている。Ｂの画素の画素値は、Ｂ（ｉ＋１，ｊ）等のＢで始まる記号で表記されている。人の目は緑の成分に対する感度が高いため、Ｇの画素が、Ｒの画素およびＢの画素よりも多くなっている。なお、上述したように、ｉは、０以上Ｈ－１以下の自然数である。ｊは、０以上Ｗ－１以下の自然数である。 The pixel value of a red (R) pixel is represented by a symbol beginning with R, such as R(i,j+1). The pixel value of a G pixel is represented by a symbol beginning with G, such as G(i,j). The pixel value of a B pixel is represented by a symbol beginning with B, such as B(i+1,j). Because the human eye is highly sensitive to the green component, there are more G pixels than R and B pixels. As mentioned above, i is a natural number between 0 and H-1. j is a natural number between 0 and W-1.
図１５は、データ補間を説明するための図である。詳しくは、図１５は、Ｒの画素のデータ補間を説明するための図である。 Figure 15 is a diagram for explaining data interpolation. In detail, Figure 15 is a diagram for explaining data interpolation of R pixels.
図１５に示されるように、カメラ６１は、Ｇの画素およびＢの画素の画素領域に関しては、周囲のＲの画素の画素値に基づき、データ補間を行なう。たとえば、カメラ６１（詳しくは、デジタル信号処理部６０９）は、Ｇの画素では、上下のＲの画素から画素値を推測する。
As shown in FIG. 15, the
これにより、Ｇの画素およびＢの画素の画素領域に、Ｒの画素値が対応付けられる。これにより、Ｈ×Ｗ個のＲの画素からなるＲのフレームが生成される。同様の処理により、カメラ６１では、Ｈ×Ｗ個のＧの画素からなるＧのフレームと、Ｈ×Ｗ個のＢの画素からなるＢのフレームとを生成する。
As a result, the R pixel value is associated with the pixel area of the G pixels and B pixels. This generates an R frame consisting of H x W R pixels. Through similar processing, the
上記の３種類のフレームを組み合わせることにより、表示用の１つのフレームが生成される。このように、カメラ６１では、画素混合方式により色再現を行う。
A single frame for display is generated by combining the above three types of frames. In this way,
この場合、情報処理装置８０は、たとえば、評価値Ｍを以下の式（３）を用いて算出する。
In this case, the
Ｍ＝（ΣΣＲ（ｉ，ｊ）÷（Ｈ×Ｗ）＋ΣΣＧ（ｉ，ｊ）÷（Ｈ×Ｗ）＋ΣΣＢ（ｉ，ｊ）÷（Ｈ×Ｗ））÷３ … （３）
なお、式(３)のΣΣの項の計算では、式（１）と同様に、ｉおよびｊのすべての組み合わせの和をとる。式（３）では、８ビット表示の場合、式（１）と同様に、Ｍの値は０以上２５５以下の値となる。
M=(ΣΣR(i,j)÷(H×W)+ΣΣG(i,j)÷(H×W)+ΣΣB(i,j)÷(H×W))÷3... (3)
In addition, in the calculation of the ΣΣ term in equation (3), the sum of all combinations of i and j is taken, as in equation (1). In equation (3), in the case of 8-bit representation, the value of M is between 0 and 255, as in equation (1).
なお、式（３）は、明るさの評価値Ｍの算出方法の一例であり、評価値Ｍの算出方法は式（３）に限定されるものではない。 Note that formula (3) is an example of a method for calculating the brightness evaluation value M, and the method for calculating the evaluation value M is not limited to formula (3).
また、上記の実施の形態においては、カメラ６１が、カラーフィルタ６０５としてＲＧＢのフィルタ（原色フィルタ）を備える構成を例に挙げて説明したが、カラーフィルタ６０５は、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙ）、緑（Ｇ）の4色からなるフィルタ（補色フィルタ）であってもよい。この場合における評価値Ｍは、式（３）において、Ｒ，Ｇ，Ｂの代わりに、Ｃｙ，Ｍｇ,Ｙ，Ｇを用いた演算によって算出すればよい。
In the above embodiment, the
（４）第４の変形例
上記の実施の形態においては、図１２に示すように、評価値Ｍの最大値Ｍ＿ＭＡＸが上限値Ｍ＿ＵＬを上回った場合と、評価値Ｍの最小値Ｍ＿ＭＩＮが下限値Ｍ＿ＬＬを下回った場合との両方において、ゲイン調整が実行された（ステップＳ１０８，Ｓ１１１）。
(4) Fourth Modification In the above embodiment, as shown in FIG. 12, gain adjustment was performed both when the maximum value M_MAX of the evaluation value M exceeded the upper limit value M_UL and when the minimum value M_MIN of the evaluation value M fell below the lower limit value M_LL (steps S108, S111).
しかしながら、必ずしもこれに限定されず、評価値Ｍの最大値Ｍ＿ＭＡＸが上限値Ｍ＿ＵＬを上回った場合、および評価値Ｍの最小値Ｍ＿ＭＩＮが下限値Ｍ＿ＬＬを下回った場合のいずれか一方の場合のみ、ゲイン調整を行うように、情報処理装置８０を構成してもよい。
However, this is not necessarily limited to the above, and the
（５）第５の変形例
たとえば、評価値Ｍの最大値Ｍ＿ＭＡＸが上限値Ｍ＿ＵＬを上回り、かつ、評価値Ｍの最小値Ｍ＿ＭＩＮが下限値Ｍ＿ＬＬを下回る場合も想定される。また、評価値Ｍの最大値Ｍ＿ＭＡＸが上限値Ｍ＿ＵＬを上回った場合にゲインを下げると、評価値Ｍの最小値Ｍ＿ＭＩＮが下限値Ｍ＿ＬＬを下回ってしまう状況も起こり得る。反対に、評価値Ｍの最小値Ｍ＿ＭＩＮが下限値Ｍ＿ＬＬを下回った場合にゲインを上げると、評価値Ｍの最大値Ｍ＿ＭＡＸが上限値Ｍ＿ＵＬを上回ってしまう状況も起こり得る。
(5) Fifth Modification For example, a case is assumed in which the maximum value M_MAX of the evaluation value M exceeds the upper limit value M_UL and the minimum value M_MIN of the evaluation value M falls below the lower limit value M_LL. In addition, if the gain is lowered when the maximum value M_MAX of the evaluation value M exceeds the upper limit value M_UL, a situation may occur in which the minimum value M_MIN of the evaluation value M falls below the lower limit value M_LL. Conversely, if the gain is increased when the minimum value M_MIN of the evaluation value M falls below the lower limit value M_LL, a situation may occur in which the maximum value M_MAX of the evaluation value M exceeds the upper limit value M_UL.
このような場合に対処すべく、情報処理装置８０は、ゲイン調整後の最大値Ｍ＿ＭＡＸおよび最小値Ｍ＿ＭＩＮのうちの少なくとも、ユーザ操作によって選択（指定）された一方が、許容範囲Ｒに収まるように、ゲインの調整を行ってもよい。
To deal with such cases, the
たとえば、黒つぶれよりも白飛びを防止したい場合には、オペレータは、ゲイン調整後の最大値Ｍ＿ＭＡＸが許容範囲Ｒに収まるように上限値側の規制を優先する設定を、情報処理装置８０に対して行えばよい。反対に、白飛びよりも黒つぶれを防止したい場合には、オペレータは、ゲイン調整後の最小値Ｍ＿ＭＩＮが許容範囲Ｒに収まるように下限値側の規制を優先する設定を、情報処理装置８０に対して行えばよい。このようなオペレータ操作は、情報処理装置８０が提供するユーザインターフェイスを介して実現し得る。
For example, if it is desired to prevent white blowout rather than black crush, the operator can set the
（６）第６の変形例
上記の実施の形態においては、周期的に動作する部位として、スライド３１４を例に挙げて説明したが、これに限定されるものではない。
(6) Sixth Modification In the above embodiment, the
たとえば、プレス機器本体同士の間においてワーク（典型的には、仕掛品）を搬送する搬送装置（典型的には、上流側のプレス機器本体と下流側のプレス機器本体との間でワークの受け渡しを行うアーム型のロボット）は、周期的に動作する。それゆえ、カメラによって、当該搬送装置を撮像する局面に、上述したゲイン調整処理を適用できる。 For example, a conveying device (typically an arm-type robot that transfers the work between an upstream press body and a downstream press body) that conveys a work (typically a work in progress) between press bodies operates periodically. Therefore, the above-mentioned gain adjustment process can be applied to situations where the conveying device is imaged by a camera.
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed herein are illustrative and are not limited to the above. The scope of the present invention is defined by the claims, and is intended to include all modifications within the scope and meaning equivalent to the claims.
１ プレスシステム、１０ コイルホルダ、２０ レベラフィーダ、３０ プレス機械、３１ プレス機械本体、３２ プレスコントローラ、４０ 搬送コンベア、５０ 製品箱、６１，６２ カメラ、７０ ハブ、８０ 情報処理装置、８５ ディスプレイ、１２０ サーバ装置、３１１ 本体フレーム、３１２ ベッド、３１３ ボルスタ、３１４ スライド、３１５ 下金型、３１６ 上金型、３１８ センサ、３１９ 警告灯、６０１ ズームレンズ、６０２ フォーカスレンズ、６０３ ユニット、６０４ バンドパスフィルタ、６０５ カラーフィルタ、６０６ 撮像素子、６３０ 撮像光学系、８０１ タブレット端末、８０２ クレードル、８６０，８７０，８８０ 画像、８６１ プルダウンメニュー、８６２ スライダー、８６３ スピンボタン、８９０ 画面、９０１，９０２，９０３，９０４ 波形、Ｌ１，Ｌ２，Ｌ３，Ｌ４ ＬＡＮケーブル、Ｌ９ 接続ケーブル、ＮＷ ネットワーク、Ｐ 成形品、Ｗ コイル。 1 Press system, 10 Coil holder, 20 Straightener feeder, 30 Press machine, 31 Press machine body, 32 Press controller, 40 Transport conveyor, 50 Product box, 61, 62 Camera, 70 Hub, 80 Information processing device, 85 Display, 120 Server device, 311 Body frame, 312 Bed, 313 Bolster, 314 Slide, 315 Lower die, 316 Upper die, 318 Sensor, 319 Warning light, 601 Zoom lens, 602 Focus lens, 603 Unit, 604 Band pass filter, 605 Color filter, 606 Imaging element, 630 Imaging optical system, 801 Tablet terminal, 802 Cradle, 860, 870, 880 Image, 861 Pull-down menu, 862 Slider, 863 Spin button, 890 Screen, 901, 902, 903, 904 waveform, L1, L2, L3, L4 LAN cable, L9 connection cable, NW network, P molded product, W coil.
Claims (14)
前記カメラの出力画像についての明るさの評価値の許容範囲を前記情報処理装置が記憶するステップを備え、前記カメラは、産業機械に含まれる周期的に動作する部位を撮像するものであり、
前記許容範囲が記憶された後の前記カメラによる撮像に基づき、前記情報処理装置が、前記出力画像と、前記出力画像の明るさの評価値の周期的な変化を示したデータとを取得するステップと、
前記情報処理装置が、前記データから、前記動作の直近の１周期以上の所定期間における前記明るさの評価値の最大値および最小値のうちの少なくとも一方の値を取得するステップと、
前記取得した値が前記許容範囲に含まれていないことを条件に、前記情報処理装置が、前記カメラのゲインを調整するステップとをさらに備える、ゲイン調整方法。 A camera gain adjustment method using an information processing device, comprising:
a step of storing an allowable range of an evaluation value of brightness for an output image of the camera by the information processing device, the camera capturing an image of a periodically operating part included in an industrial machine,
a step in which the information processing device acquires the output image and data indicating a periodic change in an evaluation value of brightness of the output image based on an image captured by the camera after the allowable range has been stored;
The information processing device acquires, from the data, at least one of a maximum value and a minimum value of the brightness evaluation value during a predetermined period of one or more cycles immediately preceding the operation;
The gain adjustment method further comprises a step of adjusting a gain of the camera by the information processing device on condition that the acquired value is not within the allowable range.
前記カメラのゲインを調整するステップでは、前記最小値が前記許容範囲を下回っていることを条件に、前記ゲインを現在の設定値から前記現在の設定値よりも高い値に変更する、請求項１に記載のゲイン調整方法。 the one value being the minimum value,
2. The gain adjustment method according to claim 1, wherein in the step of adjusting the gain of the camera, the gain is changed from a current setting value to a value higher than the current setting value on condition that the minimum value is below the allowable range.
前記カメラのゲインを調整するステップでは、前記最大値が前記許容範囲を上回っていることを条件に、前記ゲインを現在の設定値から前記現在の設定値よりも低い値に変更する、請求項１に記載のゲイン調整方法。 the one value being the maximum value,
2. The gain adjustment method according to claim 1, wherein in the step of adjusting the gain of the camera, the gain is changed from a currently set value to a value lower than the currently set value on condition that the maximum value is greater than the allowable range.
前記最大値および前記最小値のうちの少なくとも一方の値を取得するステップでは、少なくとも前記選択した値を取得し、
前記カメラのゲインを調整するステップでは、前記選択した値が前記許容範囲に含まれていないことを条件に、前記情報処理装置が、前記選択した値が前記許容範囲に含まれるように、前記カメラのゲインを調整する、請求項１に記載のゲイン調整方法。 The method further includes a step of selecting one of the maximum value and the minimum value based on a first user operation,
In the step of obtaining at least one of the maximum value and the minimum value, obtaining at least the selected value;
2. The gain adjustment method according to claim 1, wherein in the step of adjusting the gain of the camera, on condition that the selected value is not included in the acceptable range, the information processing device adjusts the gain of the camera so that the selected value is included in the acceptable range.
前記出力画像と、前記出力画像の明るさの評価値の周期的な変化を示したデータとを取得するステップでは、前記データとして、前記一部領域の画像の明るさの評価値の周期的な変化を示したデータを取得する、請求項１から４のいずれか１項に記載のゲイン調整方法。 the acceptable range is a range of evaluation values of brightness of an image of a partial region of the output image that includes the part,
5. A gain adjustment method according to claim 1, wherein in the step of acquiring the output image and data indicating a periodic change in an evaluation value of the brightness of the output image, data indicating a periodic change in an evaluation value of the brightness of the image of the partial area is acquired as the data.
ディスプレイに前記出力画像が表示された状態で、第２のユーザ操作に基づくゲイン調整を受け付けるステップと、
前記第２のユーザ操作に基づくゲイン調整がなされた状態において、前記明るさの評価値の上限値と下限値とを取得するステップと、
前記上限値と前記下限値との間の数値範囲を、前記許容範囲に設定するステップとを含む、請求項１から５のいずれか１項に記載のゲイン調整方法。 The step of storing an allowable range of the brightness evaluation value includes:
receiving a gain adjustment based on a second user operation while the output image is displayed on a display;
acquiring an upper limit value and a lower limit value of the brightness evaluation value in a state in which gain adjustment based on the second user operation has been performed;
The gain adjustment method according to claim 1 , further comprising the step of: setting a numerical range between the upper limit value and the lower limit value as the allowable range.
前記部位は、金型と、前記金型が取付けられるスライドとであり、
前記明るさの評価値の許容範囲を記憶するステップでは、前記金型が交換される度に、前記第２のユーザ操作に基づくゲイン調整を受け付ける、請求項６に記載のゲイン調整方法。 the industrial machine is a press machine,
The part is a die and a slide to which the die is attached,
The gain adjustment method according to claim 6 , wherein in the step of storing the allowable range of the brightness evaluation value, the gain adjustment based on the second user operation is accepted every time the mold is replaced.
プロセッサと、
前記カメラの出力画像についての明るさの評価値の許容範囲を記憶したメモリとを備え、前記カメラは、産業機械に含まれる周期的に動作する部位を撮像するものであり、
前記プロセッサは、
前記許容範囲が記憶された後の前記カメラによる撮像に基づき、前記出力画像と、前記出力画像の明るさの評価値の周期的な変化を示したデータとを取得し、
前記データから、前記動作の直近の１周期以上の所定期間における前記明るさの評価値の最大値および最小値の少なくとも一方の値を取得し、
前記取得した値が前記許容範囲に含まれていないことを条件に、前記カメラのゲインを調整する、情報処理装置。 An information processing device that adjusts a gain of a camera,
A processor;
a memory that stores an allowable range of an evaluation value of brightness for an output image of the camera, the camera capturing an image of a periodically operating part included in an industrial machine,
The processor,
acquiring the output image and data indicating a periodic change in an evaluation value of brightness of the output image based on an image captured by the camera after the allowable range has been stored;
From the data, at least one of a maximum value and a minimum value of the evaluation value of the brightness during a predetermined period of at least one cycle immediately preceding the operation is obtained;
The information processing device adjusts a gain of the camera on condition that the acquired value is not within the allowable range.
前記プロセッサは、前記最小値が前記許容範囲を下回っていることを条件に、前記ゲインを現在の設定値から前記現在の設定値よりも高い値に変更する、請求項８に記載の情報処理装置。 the one value being the minimum value,
The information processing apparatus according to claim 8 , wherein the processor changes the gain from a current setting value to a value higher than the current setting value on condition that the minimum value is lower than the allowable range.
前記プロセッサは、前記最大値が前記許容範囲を上回っていることを条件に、前記ゲインを現在の設定値から前記現在の設定値よりも低い値に変更する、請求項８に記載の情報処理装置。 the one value being the maximum value,
The information processing apparatus according to claim 8 , wherein the processor changes the gain from a current setting value to a value lower than the current setting value on condition that the maximum value is greater than the allowable range.
第１のユーザ操作に基づき、前記最大値および前記最小値の一方の値を選択し、
前記最大値および前記最小値のうちの少なくとも前記選択した値を取得し、
前記選択した値が前記許容範囲に含まれていないことを条件に、前記選択した値が前記許容範囲に含まれるように、前記カメラのゲインを調整する、請求項８に記載の情報処理装置。 The processor,
selecting one of the maximum value and the minimum value based on a first user operation;
obtaining at least the selected value of the maximum value and the minimum value;
The information processing apparatus according to claim 8 , further comprising: adjusting a gain of the camera such that the selected value is included in the acceptable range on condition that the selected value is not included in the acceptable range.
前記プロセッサは、前記データとして、前記一部領域の画像の明るさの評価値の周期的な変化を示したデータを取得する、請求項８から１１のいずれか１項に記載の情報処理装置。 the acceptable range is a range of evaluation values of brightness of an image of a partial region of the output image that includes the part,
The information processing apparatus according to claim 8 , wherein the processor acquires, as the data, data indicating a periodic change in an evaluation value of brightness of the image of the partial region.
前記情報処理装置は、前記ディスプレイに前記出力画像が表示された状態で、ゲイン調整のための第２のユーザ操作を受け付け、
前記プロセッサは、
前記第２のユーザ操作に基づくゲイン調整がなされた状態において、前記明るさの評価値の上限値と下限値とを取得し、
前記上限値と前記下限値との間の数値範囲を、前記許容範囲に設定する、請求項８から１２のいずれか１項に記載の情報処理装置。 Further equipped with a display,
the information processing device accepts a second user operation for gain adjustment while the output image is displayed on the display;
The processor,
obtaining an upper limit value and a lower limit value of the brightness evaluation value in a state in which the gain adjustment based on the second user operation has been performed;
The information processing apparatus according to claim 8 , wherein a numerical range between the upper limit value and the lower limit value is set as the allowable range.
産業機械に含まれる周期的に動作する部位を撮像するカメラと、
前記カメラのゲインを調整する情報処理装置とを備え、
前記情報処理装置は、
前記カメラの出力画像についての明るさの評価値の許容範囲を記憶しており、
前記許容範囲が記憶された後の前記カメラによる撮像に基づき、前記出力画像と、前記出力画像の明るさの評価値の周期的な変化を示したデータとを取得し、
前記データから、前記動作の直近の１周期以上の所定期間における前記明るさの評価値の最大値および最小値の少なくとも一方の値を取得し、
前記取得した値が前記許容範囲に含まれていないことを条件に、前記カメラのゲインを調整する、撮像システム。 1. An imaging system, comprising:
A camera that captures an image of a periodically operating part included in an industrial machine;
an information processing device for adjusting a gain of the camera;
The information processing device includes:
A tolerance range for an evaluation value of brightness of an output image of the camera is stored,
acquiring the output image and data indicating a periodic change in an evaluation value of brightness of the output image based on an image captured by the camera after the allowable range has been stored;
From the data, at least one of a maximum value and a minimum value of the evaluation value of the brightness during a predetermined period of at least one cycle immediately preceding the operation is obtained;
and adjusting a gain of the camera on condition that the acquired value is not within the tolerance range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020188667A JP7628418B2 (en) | 2020-11-12 | 2020-11-12 | Gain adjustment method, information processing device, and imaging system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020188667A JP7628418B2 (en) | 2020-11-12 | 2020-11-12 | Gain adjustment method, information processing device, and imaging system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022077709A JP2022077709A (en) | 2022-05-24 |
| JP7628418B2 true JP7628418B2 (en) | 2025-02-10 |
Family
ID=81706676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020188667A Active JP7628418B2 (en) | 2020-11-12 | 2020-11-12 | Gain adjustment method, information processing device, and imaging system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7628418B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115835027B (en) * | 2022-11-16 | 2025-08-01 | 浙江大华技术股份有限公司 | Light supplementing lamp switch control method, device and equipment of image pickup equipment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008290126A (en) | 2007-05-25 | 2008-12-04 | Komatsu Ltd | Industrial machine control device and control method |
| US20190034889A1 (en) | 2017-07-26 | 2019-01-31 | Square, Inc. | Cryptocurrency Payment Network |
| JP2019016055A (en) | 2017-07-04 | 2019-01-31 | コマツ産機株式会社 | Machine system and control method |
| JP2019122492A (en) | 2018-01-12 | 2019-07-25 | オリンパス株式会社 | Endoscope device, and operation method and program of endoscope device |
-
2020
- 2020-11-12 JP JP2020188667A patent/JP7628418B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008290126A (en) | 2007-05-25 | 2008-12-04 | Komatsu Ltd | Industrial machine control device and control method |
| JP2019016055A (en) | 2017-07-04 | 2019-01-31 | コマツ産機株式会社 | Machine system and control method |
| US20190034889A1 (en) | 2017-07-26 | 2019-01-31 | Square, Inc. | Cryptocurrency Payment Network |
| JP2019122492A (en) | 2018-01-12 | 2019-07-25 | オリンパス株式会社 | Endoscope device, and operation method and program of endoscope device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022077709A (en) | 2022-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101450200B1 (en) | Motion detecting device, motion detecting method, imaging device, and monitoring system | |
| US8081233B2 (en) | Imaging device and imaging method | |
| CN101964874B (en) | Image processing apparatus and image processing method | |
| US8665343B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP4329125B2 (en) | White balance control method, white balance control device, and imaging device | |
| TWI859433B (en) | Video camera and method for assessing ambient light level during video acquisition with the same | |
| US7852400B2 (en) | Image pickup apparatus having a movably controllable neutral-density filter | |
| US12177573B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US20070189752A1 (en) | Photography apparatus, photography method, and photography program | |
| US6757020B1 (en) | Detecting/setting the on/off state of a display in a video camera with manual and automatic function | |
| JP7628418B2 (en) | Gain adjustment method, information processing device, and imaging system | |
| JP4468276B2 (en) | Digital camera | |
| JP2006324834A (en) | Imaging apparatus and imaging method | |
| US20210297573A1 (en) | Imaging device, control method, and storage medium | |
| JP2012142823A (en) | Display controller, imaging apparatus and display control program | |
| JP2015186155A (en) | Electronic apparatus | |
| JP3730630B2 (en) | Imaging apparatus and imaging method | |
| JP4141716B2 (en) | Television monitoring system | |
| KR101427651B1 (en) | Apparatus and method for adjusting face detection processing speed in digital image processing device | |
| JP7426396B2 (en) | Imaging device | |
| JP3992476B2 (en) | Image processing device | |
| JP4239219B2 (en) | Auto white balance adjustment method and apparatus | |
| JP2018137762A (en) | Electronics | |
| JP4353813B2 (en) | Exposure control device | |
| JP2014220762A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20231012 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7628418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |