Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7746340B2 - 光電変換装置及びその駆動方法 - Google Patents
[go: Go Back, main page]

JP7746340B2 - 光電変換装置及びその駆動方法 - Google Patents

光電変換装置及びその駆動方法

Info

Publication number
JP7746340B2
JP7746340B2 JP2023123110A JP2023123110A JP7746340B2 JP 7746340 B2 JP7746340 B2 JP 7746340B2 JP 2023123110 A JP2023123110 A JP 2023123110A JP 2023123110 A JP2023123110 A JP 2023123110A JP 7746340 B2 JP7746340 B2 JP 7746340B2
Authority
JP
Japan
Prior art keywords
signal
circuit
group
circuits
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023123110A
Other languages
English (en)
Other versions
JP2025019477A (ja
Inventor
尚希 磯田
和浩 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2023123110A priority Critical patent/JP7746340B2/ja
Priority to US18/760,394 priority patent/US12587762B2/en
Priority to CN202411003032.7A priority patent/CN119450249A/zh
Priority to DE102024121331.0A priority patent/DE102024121331A1/de
Publication of JP2025019477A publication Critical patent/JP2025019477A/ja
Application granted granted Critical
Publication of JP7746340B2 publication Critical patent/JP7746340B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、光電変換装置及びその駆動方法に関する。
近年、イメージセンサや測距システムなどにおいて多画素化・読み出し高速化等の性能向上が図られており、画素全体の持つ情報量の増加に対応した画素情報の読み出し方式について幾つかの提案がなされている。特許文献1及び特許文献2には、受光部の画像情報を他の受光部を介して画像処理部に転送するように構成することで複数の受光部に接続される配線の長さを短くした画像読み取り装置が記載されている。
特開2012-070170号公報 特開2018-186478号公報
しかしながら、特許文献1に記載の技術では、画素行が複数になった場合に画素信号を画素回路の外側で順番に処理せざるをえず、全画素を読み出すための時間を要することがあった。また、特許文献2に記載の技術においても、複数画素列ごとに画素外の読み出し回路が処理を担っており、特許文献1と本質的に同様の課題があった。
本発明の目的は、画素信号の読み出しに要する時間を短縮しうる光電変換装置及びその駆動方法を提供することにある。
本明細書の一開示によれば、複数の行及び複数の列をなすように配された複数の画素回路と、前記複数の画素回路を駆動する制御回路と、を有し、前記複数の画素回路の各々は、光電変換部を有する信号生成回路と、前記信号生成回路から出力される信号を保持するメモリと、前記メモリからの信号が入力される第1入力ノードと、前記制御回路からの制御信号が入力される第2入力ノードと、第3入力ノードと、出力ノードと、を有する順序回路と、を有し、前記複数の画素回路は、同じ行又は同じ列に配された前記画素回路の第1群及び第2群を含み、前記第1群及び前記第2群の各々を構成する前記画素回路の前記順序回路は、隣り合う前記画素回路の前記順序回路の前記出力ノードと前記第3入力ノードとを接続するように直列に接続されており、前記制御回路は、前記第1群を構成する前記画素回路の各々の信号と、前記第2群を構成する前記画素回路の各々の信号と、を並列に出力するように構成されている光電変換装置が提供される。
また、本明細書の他の一開示によれば、複数の行及び複数の列をなすように配された複数の画素回路と、前記複数の画素回路を駆動する制御回路と、を有し、前記複数の画素回路の各々は、光電変換部を有する信号生成回路と、前記信号生成回路で生成された信号を保持するメモリと、前記メモリから前記信号が転送される順序回路と、を有し、前記複数の画素回路は、同じ行に配された2以上の前記画素回路を各々が含む第1群及び第2群を含み、前記第1群及び前記第2群の各々を構成する前記画素回路の前記順序回路は、行方向に沿って直列に接続されており、前記制御回路からの制御信号に応じて、各々が保持する前記信号を、前記行方向に沿って一方の側から他方の側に順次転送するように構成されており、前記制御回路は、前記第1群の前記画素回路と前記第2群の前記画素回路とに共通の制御信号を供給することにより、前記第1群の前記画素回路における前記信号の転送動作と、前記第2群の前記画素回路における前記信号の転送動作と、を並行して実施するように構成されている光電変換装置が提供される。
また、本明細書の更に他の一開示によれば、複数の行及び複数の列をなすように配された複数の信号保持回路と、前記複数の信号保持回路を駆動する制御回路と、を有し、前記複数の信号保持回路の各々は、所定の信号を保持するメモリと、前記メモリから前記信号が転送される順序回路と、を有し、前記複数の信号保持回路は、同じ行に配された2以上の前記信号保持回路を各々が含む第1群及び第2群を含み、前記第1群及び前記第2群の各々を構成する前記信号保持回路の前記順序回路は、行方向に沿って直列に接続されており、前記制御回路からの制御信号に応じて、各々が保持する前記信号を、前記行方向に沿って一方の側から他方の側に順次転送するように構成されており、前記制御回路は、前記第1群の前記信号保持回路と前記第2群の前記信号保持回路とに共通の制御信号を供給することにより、前記第1群の前記信号保持回路における前記信号の転送動作と、前記第2群の前記信号保持回路における前記信号の転送動作と、を並行して実施するように構成されている信号出力装置が提供される。
また、本明細書の更に他の一開示によれば、光電変換部を有する信号生成回路と、前記信号生成回路で生成された信号を保持するメモリと、前記メモリから前記信号が転送される順序回路と、を各々が有する複数の画素回路を有し、同じ行に配された2以上の前記画素回路を各々が含む第1群及び第2群を含み、前記第1群及び前記第2群の各々を構成する前記画素回路の前記順序回路が行方向に沿って直列に接続された光電変換装置の駆動方法であって、前記複数の画素回路の各々において、光の入射により前記光電変換部で生じた電荷に基づく信号を前記メモリに保持するステップと、前記複数の画素回路の各々において、前記メモリに保持されている前記信号を前記順序回路に転送するステップと、前記第1群及び前記第2群の各々において、各々を構成する前記画素回路の前記順序回路が保持する前記信号を、前記行方向に沿って一方の側から他方の側に順次転送するステップと、を有し、前記順次転送するステップでは、前記第1群の前記画素回路と前記第2群の前記画素回路とに共通の制御信号を供給し、前記第1群の前記画素回路における前記信号の転送動作と、前記第2群の前記画素回路における前記信号の転送動作と、を並行して実施する光電変換装置の駆動方法が提供される。
本発明によれば、複数の画素回路を備える光電変換装置において、画素信号の読み出しに要する時間を短縮することができる。
本発明の第1実施形態による信号出力装置の概略構成を示すブロック図である。 本発明の第1実施形態による信号出力装置における信号保持回路の構成例を示すブロック図である。 本発明の第1実施形態による信号出力装置におけるクロックバッファ回路の構成例を示すブロック図(その1)である。 本発明の第1実施形態による信号出力装置におけるクロックバッファ回路の構成例を示すブロック図(その2)である。 本発明の第1実施形態による信号出力装置におけるクロックバッファ回路の構成例を示すブロック図(その3)である。 本発明の第1実施形態による信号出力装置におけるクロックバッファ回路の構成例を示すブロック図(その4)である。 本発明の第1実施形態による信号出力装置の駆動方法を示すタイミング図である。 本発明の第2実施形態による信号出力装置の概略構成を示す回路図である。 本発明の第3実施形態による信号出力装置の概略構成を示すブロック図である。 本発明の第3実施形態による信号出力装置の他の構成例を示す回路図である。 本発明の第4実施形態による光電変換装置の概略構成を示すブロック図である。 本発明の第5実施形態による光検出システムの概略構成を示すブロック図である。 本発明の第6実施形態による距離画像センサの概略構成を示すブロック図である。 本発明の第7実施形態による内視鏡手術システムの構成例を示す概略図である。 本発明の第8実施形態による移動体の構成例を示す概略図である。 本発明の第8実施形態による光検出システムの概略構成を示すブロック図である。 本発明の第8実施形態による光検出システムの動作を示すフロー図である。 本発明の第9実施形態による光検出システムの概略構成を示す概略図である。
[第1実施形態]
本発明の第1実施形態による信号出力装置及びその駆動方法について、図1乃至図7を用いて説明する。図1は、本実施形態による信号出力装置の概略構成を示すブロック図である。図2は、本実施形態による信号出力装置における信号保持回路の構成例を示すブロック図である。図3乃至図6は、本実施形態による信号出力装置におけるクロックバッファ回路の構成例を示す回路図である。図7は、本実施形態による信号出力装置の駆動方法を示すタイミング図である。
はじめに、本実施形態による信号出力装置の概略構成について、図1を用いて説明する。本実施形態による信号出力装置50は、図1に示すように、信号保持領域10と、クロックバッファ回路40と、を有する。
信号保持領域10には、複数の行及び複数の列をなすように行列状に配された複数の信号保持回路12が設けられている。図1では、信号保持領域10がM行×N列の行列状に配された複数の信号保持回路12により構成されている場合を想定している。複数の信号保持回路12の各々には、行番号及び列番号に対応する座標を付記している。例えば、第m行、第n列に配された信号保持回路12のブロックには、符号12に加え、その座標(m,n)を付記している。ここで、mは1~Mの整数であり、nは1~Nの整数である。信号保持領域10を構成する信号保持回路12の数は、Mが1以上の整数、Nが2以上の整数であれば、特に限定されるものではない。なお、行及び列は任意に定義することができ、本実施形態において説明する行が列であり、本実施形態において説明する列が行であってもよい。
信号保持領域10の各行に配されたN個の信号保持回路12は、信号保持回路群14を構成する。図1には、各行の信号保持回路群14の符号に、対応する行番号を付記している。例えば、第m行に配された信号保持回路群14は、符号14で表している。信号保持回路群14を構成するN個の信号保持回路12は、直列に接続されている。例えば、信号保持回路群14を例にして説明すると、信号保持回路12(m,1)の入力ノードは接地電圧ノードに接続され、信号保持回路12(m,1)の出力ノードは図示しない信号保持回路12(m,2)の入力ノードに接続されている。信号保持回路12(m,n)の入力ノードは信号保持回路12(m,n-1)の出力ノードに接続され、信号保持回路12(m,n)の出力ノードは信号保持回路12(m,n+1)の入力ノードに接続されている。信号保持回路12(m,N)の入力ノードは図示しない信号保持回路12(m,N-1)の出力ノードに接続され、信号保持回路12(m,N)の出力ノードは出力線18に接続されている。
信号保持領域10の各列には、信号線16が配されている。図1には、各列の信号線16の符号に、対応する列番号を付している。例えば、第n列に配された信号線16は、符号16で表している。信号線16の各々は、対応する列に配された信号保持回路12に接続されている。例えば、信号線16は、第n列に配された信号保持回路12(1,n),…,12(m-1,n),12(m,n),12(m+1,n),…,12(M,n)に接続されている。信号線16は、クロックバッファ回路40に接続されている。
クロックバッファ回路40は、信号保持回路12を駆動する制御回路としての役割を有する。クロックバッファ回路40は、クロック信号が入力される1つの入力ノードと、信号保持領域10の各列に対応する数の出力ノードTAPと、を有する。図1には、各列の出力ノードTAPの符号に、対応する列番号を付している。例えば、第n列に配された出力ノードTAPは、符号TAPで表している。出力ノードTAPの各々からは、クロックバッファ回路40に入力されその内部回路により処理されたクロック信号が出力される。
なお、図1では、M個の信号保持回路群14~14に対して1つのクロックバッファ回路40を設けているが、クロックバッファ回路40は任意の行の単位で設けることができる。例えば、複数の信号保持回路群14~14の各々に対応するM個のクロックバッファ回路40を設けてもよいし、2以上の任意の数の信号保持回路群14ごとに1つのクロックバッファ回路40を設けてもよい。なお、クロックバッファ回路40の数を減らすことには、装置全体の電力効率を向上できる利点がある。
次に、信号保持回路12の構成例について、図2を用いて説明する。図2には、信号保持領域10を構成する複数の信号保持回路12のうち、信号保持回路群14の隣り合う列に配された3つの信号保持回路12(m,n-1),12(m,n),12(m,n+1)を抜き出して示している。その他の信号保持回路12の内部回路の構成や接続関係も、図2に示す信号保持回路12と同様である。なお、信号保持回路12を構成する回路は、信号を保持する機能を備えるものであれば特に限定されるものではないが、ここでは光電変換装置の画素回路を例にして説明するものとする。
信号保持回路12は、例えば図2に示すように、信号生成回路24と、メモリ26と、順序回路28と、により構成され得る。信号生成回路24は、メモリ26に接続されている。メモリ26は、順序回路28に接続されている。信号生成回路24は、光電変換素子を含み、光電変換素子への入射光に応じた信号を生成し、メモリ26に出力する。メモリ26は、信号生成回路24から入力される信号を保持し、外部からの制御信号に応じて保持する信号を順序回路28に出力する。順序回路28は、外部からの入力信号と保持されている内部状態との組み合わせによって出力状態が決定される回路であり、例えばセット端子付きのD型フリップフロップにより構成され得る。
セット端子付きD型フリップフロップは、2つの入力端子(D端子及びS端子)と、1つのクロック入力端子(CK端子)と、1つの出力端子(Q端子)と、を含む。S端子に信号が入力されると、順序回路28のQ端子から出力されるデータは、CK端子に入力されるクロック信号に関わらず、S端子に入力された信号のレベルとなる。D端子に信号が入力された場合には、順序回路28のQ端子から出力されるデータは、CK端子に入力されるクロック信号のレベル遷移に同期して、D端子に入力された信号のレベルとなる。CK端子に入力されるクロック信号は、順序回路28の制御信号とも言える。
なお、クロック信号の立ち上がり(ポジティブエッジ)のタイミングに合わせてQ端子から出力される信号のレベルが変化するD型フリップフロップを、ポジティブエッジトリガのD型フリップフロップと呼ぶ。クロック信号の立ち下がり(ネガティブエッジ)のタイミングに合わせてQ端子から出力される信号のレベルが変化するD型フリップフロップを、ネガティブエッジトリガのD型フリップフロップと呼ぶ。順序回路28は、どちらのD型フリップフロップで構成してもよいが、ここではポジティブエッジトリガのD型フリップフロップで構成されているものとする。
順序回路28のS端子は、メモリ26の出力ノードに接続されている。順序回路28のD端子は、信号保持回路12の入力ノード20に接続されている。順序回路28のCK端子は、信号保持回路12の入力ノード22に接続されている。順序回路のQ端子は、信号保持回路12の出力ノード30に接続されている。
同じ行に配され1つの信号保持回路群14を構成するN個の信号保持回路12は、前述のように、直列に接続されている。例えば、信号保持回路12(m,n)の入力ノード20は信号保持回路12(m,n-1)の出力ノード30に接続され、信号保持回路12(m,n)の出力ノード30は信号保持回路12(m,n+1)の入力ノード20に接続されている。信号保持回路12の入力ノード22には、対応する列に配された信号線16が接続されている。例えば、信号保持回路12(m,n)の入力ノード22は、クロックバッファ回路40の出力ノードTAPに接続された信号線16に接続されている。これにより、信号保持回路群14の各列の信号保持回路12に含まれる順序回路28の直列接続体は、シフトレジスタを構成している。
各行の信号保持回路群14は、全体として1つの入力ノードと1つの出力ノードとを有するとも言える。例えば、信号保持回路12(m,1)の入力ノード20は信号保持回路群14の入力ノードであり、信号保持回路12(m,N)の出力ノード30は信号保持回路群14の出力ノードであり得る。図1では、信号保持回路12(m,1)の入力ノード20を接地電圧ノードに接続しているが、信号保持回路12(m,1)の入力ノード20から任意の論理信号を入力するように構成することも可能である。
次に、クロックバッファ回路40の構成例について、図3乃至図6を用いて説明する。クロックバッファ回路40は、前述のように、1つの入力ノードCINと、信号保持領域10を構成する列の数に対応するN個の出力ノードTAP~TAPと、を有する。入力ノードCINにはクロック信号が入力され、出力ノードTAP~TAPからは内部回路により成形されたクロック信号が出力される。クロックバッファ回路40は、例えば図3乃至図6に示すように、複数のバッファ回路42や複数の反転バッファ回路46を含んで構成され得る。クロックバッファ回路40は、ツリー型やリピータ型などのバッファ構造によって構成され得るが、ここでは一例としてリピータ型のバッファ構造を念頭に説明を行う。
図3に示すクロックバッファ回路40は、信号保持領域10を構成する列の数に対応するN個のバッファ回路42が直列に接続されてなる。N個のバッファ回路42の各々の出力ノードが、入力ノードCINに近い側から順に、クロックバッファ回路40の出力ノードTAP,TAPN-1,…,TAPn+1,TAP,TAPn-1,…,TAP,TAPとなる。
図4に示すクロックバッファ回路40は、各列の出力ノードTAPとバッファ回路42の出力ノードとの間に論理回路44を接続した構成例である。ここで論理回路44は、例えばバッファやインバータ等の電圧波形の鈍りを改善する回路のことである。すなわち、論理回路44を設けることにより、出力ノードTAP~TAPの電圧波形とバッファ回路42の持つ出力インピーダンスとの依存関係を減らし、回路設計の自由度を向上することができる。
図5に示すクロックバッファ回路40は、バッファ回路42を反転バッファ回路46に置き換えたものである。クロックバッファ回路40は、必ずしも非反転バッファ回路である必要はなく、反転バッファ回路であってもよい。反転バッファ回路46は、図4の構成例に適用してもよい。
図6に示すクロックバッファ回路40は、信号保持領域10を構成する列の数をNとして、(N/2)個のバッファ回路42が直列に接続されてなる。(N/2)個のバッファ回路42の各々の出力ノードには、クロックバッファ回路40の出力ノードTAPが2つずつ接続されている。例えば、入力ノードCINから最も近い位置に配されたバッファ回路42の出力ノードは、出力ノードTAP及びTAPN-1に接続されている。入力ノードCINから(N/2)個目のバッファ回路42の出力ノードは、出力ノードTAP及びTAPが接続されている。同じバッファ回路42の出力ノードに接続された2つの出力ノードTAPからは、同じタイミングでクロックパルスが出力される。なお、ここでは同じバッファ回路42の出力ノードに2つの出力ノードTAPを接続する例を示したが、同じバッファ回路42の出力ノードに3つ以上の出力ノードTAPを接続してもよい。本構成は、図4又は図5の構成例に適用してもよい。
なお、クロックバッファ回路40の入力ノードCINは、信号保持回路群14の第1列目の側に設けてもよいが、タイミング設計制御性の観点から、図3乃至図6に示すように信号保持回路群14の第N列目の側に設けることがより好ましい。この場合、例えば第(n-1)列の信号保持回路12の順序回路28に供給されるクロック信号が通過するバッファ回路42の数は、例えば第n列の信号保持回路12の順序回路28に供給されるクロック信号が通過するバッファ回路42の数よりも多くなる。
次に、本実施形態による信号出力装置の動作について、図7を用いて説明する。図7には、第Jフレーム及び第(J+1)フレームにおける信号出力装置の動作の概略を示している。時刻t0から時刻t2が第Jフレーム期間であり、時刻t2から時刻t4が第(J+1)フレーム期間である。
時刻t1から時刻t2は、第Jフレームの露光期間である。露光期間の間に信号保持領域10に光が入射すると、各信号保持回路12の信号生成回路24は、入射光に応じた論理H又は論理Lの論理信号を生成し、生成した論理信号をメモリ26に出力する。信号生成回路24から出力された論理信号は、メモリ26に記憶される。なお、第Jフレームの露光期間の間にメモリ26に記憶された論理信号は、次の第(J+1)フレーム期間の間に読み出される。
時刻t2において各信号保持回路12の信号生成回路24の論理信号が確定した後、各信号保持回路12のメモリ26は、不図示の制御回路からの制御信号に応じて、保持する論理信号を順序回路28のS端子に出力する。これにより、順序回路28には、メモリ26から転送される論理信号がその出力として保持される。
各信号保持回路12におけるメモリ26から順序回路28への論理信号の転送が完了した後の時刻t3から時刻t4の期間において、不図示の制御回路は、一定数以上の数のクロックパルスをクロックバッファ回路40の入力ノードCINから入力する。これにより、クロックバッファ回路40の各出力ノードTAPからは、入力ノードCINへのクロックパルスの入力タイミングと各出力ノードTAPまでのバッファ回路42の数とに応じた所定のタイミングでクロックパルスが出力される。なお、クロックバッファ回路40に入力するクロックパルスの数(上述の一定数以上の数)は、信号保持回路群14を構成する信号保持回路12の数(列の数)をNとして、(N-1)以上であればよい。
信号保持回路群14を構成する各列の信号保持回路12の順序回路28は、クロックバッファ回路40の対応する出力ノードTAPから出力されるクロックパルスによって駆動される。順序回路28は、クロックパルスを受信するごとにセットされている論理信号を後段の順序回路28へと送り出す。例えば、信号保持回路12(m,n)の順序回路28にセットされていた論理信号は、信号保持回路12(m,n)へのクロックパルスの入力を受け、後段の信号保持回路12(m,n+1)の順序回路28にセットされる。また、信号保持回路12(m,n-1)の順序回路28にセットされていた論理信号は、信号保持回路12(m,n-1)へのクロックパルスの入力を受け、後段の信号保持回路12(m,n)の順序回路28にセットされる。これにより、各列の信号保持回路12に保持されている論理信号は出力線18の側に順次転送され、信号保持回路群14の出力線18には、クロックバッファ回路40に入力したクロックパルスの数に応じた数の論理信号が、ビットストリームとして出力される。
このようにして、各信号保持回路群14を構成する信号保持回路12の数に応じた数のクロックパルスを入力することで、総ての行の信号保持回路群14のビットストリームを出力することができる。すなわち、信号保持領域10を構成する総ての信号保持回路12のデータを読み出し、不図示の後段の装置に出力することができる。例えば、信号保持領域10が1000行×1000列の行列状に配された信号保持回路12で構成される場合、信号保持領域10が保持する1Mビットの情報を999回のクロックパルスの入力によって読み出すことができ、読み出し時間の短縮が可能となる。
また、出力ノードTAP~TAPから出力されるクロックパルスの位相はそれぞれ異なっており、各列の信号保持回路12の順序回路28が論理信号を後段に送り出すタイミングも時間的に異なっている。例えば、出力ノードTAPから出力されるクロックパルスの位相は、出力ノードTAPから出力されるクロックパルスの位相よりも遅れている。これにより、第n列の信号保持回路12の順序回路28の駆動タイミングは、第N列の信号保持回路12の順序回路28の駆動タイミングよりも遅くなる。したがって、信号保持領域10からの論理信号の読み出し動作によって生じる電源バウンスは、読み出し時間の全体にわたって位相の異なる小さな電圧ピークの重ね合わせとなる。この電源バウンスの強度が時間的に拡散される効果により、読み出し動作の高速化への障害を低減することができる。
また、クロックバッファ回路40の入力ノードCINが信号保持領域10の第N列の側にある場合、不図示の制御回路が入力するクロック信号の位相と、信号保持回路群14から出力されるビットストリームの位相とのタイミング制御が容易となる。タイミングに関して設計上の制約が緩和できることは、読み出し高速化に対する利点となる。
また、第Jフレームの露光期間の間に取得した論理信号を出力するための転送動作を行う転送期間は、次のフレーム(第(J+1)フレーム)の露光期間と並行して実施することが可能である。これにより、読み出し速度の更なる高速化を図ることが可能である。
このように、本実施形態によれば、複数の画素回路を備える光電変換装置において、画素信号の読み出しに要する時間を短縮することができる。
[第2実施形態]
本発明の第2実施形態による信号出力装置及びその駆動方法について、図8を用いて説明する。第1実施形態による信号出力装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図8は、本実施形態による信号出力装置の概略構成を示す回路図である。
本実施形態による信号出力装置の概略構成について、図8を用いて説明する。図8には、信号保持領域10を構成する信号保持回路12のうち、信号保持回路群14の隣り合う列に配された2つの信号保持回路12(m,n),12(m,n+1)と、クロックバッファ回路40の対応する部分を抜き出して示している。
本実施形態による信号出力装置は、同じ行の隣り合う列に配された信号保持回路12における順序回路28の構成が異なっている。具体的には、隣り合う2つの信号保持回路12は、一方がポジティブエッジトリガのD型フリップフロップ(順序回路28P)を用いて構成され、他方がネガティブエッジトリガのD型フリップフロップ(順序回路28N)を用いて構成されている。例えば、信号保持回路12(m,n)をポジティブエッジトリガの順序回路28Pで構成する場合、信号保持回路12(m,n-1)及び信号保持回路12(m,n+1)をネガティブエッジトリガの順序回路28Nで構成する。また、クロックバッファ回路40は、順序回路28P,28Nの動作に好適なクロック駆動に適合させるため、反転バッファ回路46により構成している。
信号生成回路24は、ここではSPAD(Single Photon Avalanche Diode)回路を想定し、光の入射を検出したときに論理Hの論理信号を出力するものとする。このような信号生成回路24は、例えば図8に示すように、アバランシェフォトダイオードPDと、クエンチ素子Mqと、波形整形回路INVと、論理回路AND1と、により構成され得る。アバランシェフォトダイオードPDのカソードにはクエンチ素子Mqを介して電圧Vbias1が供給され、アバランシェフォトダイオードPDのアノードには電圧Vbias2が供給される。アバランシェフォトダイオードPDのカソードとクエンチ素子Mqとの間の接続ノードには波形整形回路INVの入力ノードが接続されている。波形整形回路INVの出力ノードは、論理回路AND1の一方の入力ノードに接続され、論理回路AND1の他方の入力ノードには図示しない制御回路から制御信号selが供給される。論理回路AND1の出力ノードが、信号生成回路24の出力ノードとなる。
アバランシェフォトダイオードPDに電圧Vbias1と電圧Vbias2との間の電位差に相当する逆バイアス電圧が印加された状態で光が入射すると、光電変換によって電子-正孔対が生成され、この電荷を種としてアバランシェ電流が流れる。波形整形回路INVは、アバランシェフォトダイオードPDにアバランシェ電流が流れることによる電圧変化をパルス信号に整形し、光入射に応じた論理Hの論理信号を出力する。論理回路AND1は、波形整形回路INVの出力信号及び制御信号selがともに論理Hのときに、論理Hの論理信号を出力する。
メモリ26は、例えば図8に示すように、RS型フリップフロップ回路FFと、論理回路AND2と、により構成され得る。RS型フリップフロップ回路FFは、2つの入力端子(S端子とR端子)と、1つの出力端子(Q端子)と、を含む。RS型フリップフロップ回路FFのS端子は信号生成回路24の出力ノードに接続され、RS型フリップフロップ回路FFのQ端子は論理回路AND2の一方の入力ノードに接続されている。RS型フリップフロップ回路FFのR端子には図示しない制御回路から制御信号clearが供給され、論理回路AND2の他方の入力ノードには図示しない制御回路から制御信号WRTが供給される。論理回路AND2の出力ノードが、メモリ26の出力ノードとなる。
RS型フリップフロップ回路FFは、双安定性を持ち、信号生成回路24から論理Hの論理信号を受信すると、これを保持するとともに、Q端子から出力する。また、RS型フリップフロップ回路FFは、図示しない制御回路から論理Hの制御信号clearを受信すると、保持する論理信号をリセットする。論理回路AND1は、RS型フリップフロップ回路FFの出力信号及び制御信号WRTがともに論理Hのときに、論理Hの論理信号を出力する。
順序回路28P,28Nの構成及び動作は、第1実施形態において説明した通りである。すなわち、順序回路28PはポジティブエッジトリガのD型フリップフロップ回路により構成され、順序回路28NはネガティブエッジトリガのD型フリップフロップ回路により構成され得る。順序回路28P,28Nは、メモリ26の出力が論理Hの場合に、不図示の制御回路からの適切なタイミングの制御信号に応じてQ端子の出力が論理Hとなる。この適切なタイミングの前には、信号保持回路群14を構成する総ての信号保持回路12の順序回路28のQ端子が論理Lでなければならない。これは、信号保持回路群14の入力ノードを論理Lに固定しつつ、クロックバッファ回路40の入力ノードCINに、信号保持回路群14を構成する信号保持回路12の数以上のクロックパルスを入力することで実現することができる。
本実施形態による信号出力装置においては、クロックバッファ回路40及び順序回路28P,28Nの設計がシンプルになり、回路面積や消費電力の削減が可能となる。また、クロックバッファ回路40の反転リピートバッファの出力駆動力が信号の立ち上がりと立ち下がりでアンバランスを生じた場合でも、反転繰り返し伝搬の中で駆動力アンバランスを相殺していく。これにより、電圧波形のデューティの縮小や拡大が信号保持回路12の上流側のタップに伝搬する悪影響を緩和することができる。これら面積及び消費電力の削減やバッファ回路の設計性の向上は、読み出し動作の高速化に対する利点となる。
このように、本実施形態によれば、複数の画素回路を備える光電変換装置において、画素信号の読み出しに要する時間を短縮することができる。
[第3実施形態]
本発明の第3実施形態による信号出力装置及びその駆動方法について、図9及び図10を用いて説明する。第1又は第2実施形態による信号出力装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図9は、本実施形態による信号出力装置の概略構成を示すブロック図である。図10は、本実施形態による信号出力装置の構成例を示す回路図である。
図9は、本実施形態による信号出力装置の構成要素のうち、1つの行を構成する複数の信号保持回路12を抜き出して示したものである。本実施形態において、1つの行(例えば、第m行)を構成する複数の信号保持回路12は、2つの信号保持回路群14A,14Bに分けられている。2つの信号保持回路群14A,14Bへの信号保持回路12の振り分け方法は、特に限定されるものではないが、例えば、所定数の列を単位として信号保持回路群14A,14Bに交互に振り分けることができる。2列ごとに信号保持回路群14A,14Bに交互に振り分ける場合は、例えば図9に示すように、信号保持回路12(m,1),12(m,2),…,12(m,N-3),12(m,N-2)を信号保持回路群14Aに振り分けることができる。また、信号保持回路12(m,3),12(m,4),…,12(m,N-1),12(m,N)を信号保持回路群14Bに振り分けることができる。なお、信号保持回路群14A,14Bへの信号保持回路12の振り分けは、1列ごとに行ってもよいし、3列以上の所定数の列ごとに行ってもよい。また、1つの行を構成する複数の信号保持回路12を、3つ以上の信号保持回路群14に振り分けてもよい。
各行に配される出力線18 は、信号保持回路群14A 14B に対応して、出力線18A,18Bに分割されている。クロックバッファ回路40は、信号保持回路群14A,14Bにおいて共通であり、第1実施形態と同様、各出力ノードTAPから出力されるクロック信号を対応する列の信号保持回路12に入力するように構成している。これにより、信号保持回路群14Aに属する信号保持回路12から出力線18Aへの信号の読み出しと、信号保持回路群14Bに属する信号保持回路12から出力線18Bへの信号の読み出しと、を並列に行うことができる。
図10は、本実施形態による信号出力装置の構成要素のうち、2つの行(第m行及び第(m+1)行)を構成する複数の信号保持回路12のうちの一部の順序回路28を抜き出して示したものである。図10の構成例では、順序回路28Pを含む信号保持回路12と順序回路28Nを含む信号保持回路12とを4列ごとに交互に配置し、当該4列ごとに共通のクロック信号を入力するように構成している。また、各行の複数の信号保持回路12は、1列ごとに信号保持回路群14A,14Bに交互に振り分けられている。例えば、奇数列に配された信号保持回路12は信号保持回路群14Aに属し、偶数列に配された信号保持回路12は信号保持回路群14Bに属している。
本実施形態においては、信号保持回路群14A,14Bの各々が含む信号保持回路12の数が、第1又は第2実施形態の信号保持回路群14が含む信号保持回路12の数の半分となる。また、クロックバッファ回路40を新たに組み換えることなく、信号保持回路群14Aからの信号の読み出しと信号保持回路群14Bからの信号の読み出しとを並列して行うことができる。したがって、本実施形態によれば、第1又は第2実施形態による信号出力装置と比較して、各行の信号保持回路12からの信号の読み出し時間を半分に短縮することができる。また、本実施形態においては、1つの行を構成する複数の信号保持回路12から信号を読み出すのに必要となるクロックパルスの数も半分となる。これにより、回路信号処理の低消費電力化を図ることができる。
このように、本実施形態によれば、複数の画素回路を備える光電変換装置において、画素信号の読み出しに要する時間を短縮することができる。
[第4実施形態]
本発明の第4実施形態による光電変換装置について、図11を用いて説明する。第1乃至第3実施形態による信号出力装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図11は、本実施形態による光電変換装置の概略構成を示すブロック図である。
本実施形態では、第1実施形態による信号出力装置の構成を光電変換装置に適用した例を示す。なお、ここでは第1実施形態による信号出力装置を適用した例を示すが、第2又は第3実施形態による信号出力装置についても同様に適用可能である。また、第1乃至第3実施形態による信号出力装置の構成は、光電変換装置のみならず、複数の信号保持部から信号を出力するように構成された種々の装置に適用可能である。
本実施形態による光電変換装置100は、例えば図11に示すように、画素領域110と、垂直駆動回路120と、制御回路130と、クロックバッファ回路140と、信号処理回路150と、出力回路160と、により構成され得る。
画素領域110には、複数の行及び複数の列をなすようにアレイ状に配された複数の画素112が設けられている。各々の画素112は、第1乃至第3実施形態の信号保持回路12に対応する機能ブロックであり、光電変換素子を含む光電変換部と、光電変換部から出力される信号を処理する画素信号処理部と、を含んで構成され得る。なお、画素領域110を構成する画素112の数は、特に限定されるものではない。例えば、一般的なデジタルカメラのように数千行×数千列のアレイ状に配された複数の画素112により画素領域110を構成することができる。或いは、1行又は1列に並べた複数の画素112により画素領域110を構成してもよい。
画素領域110の画素アレイの各行には、第1の方向(図11において横方向)に延在して、制御線114が配されている。制御線114は、第1の方向に並ぶ画素112にそれぞれ接続され、これら画素112に共通の信号線をなしている。制御線114の延在する第1の方向は、行方向或いは水平方向と呼ぶことがある。制御線114の各々は、複数種類の制御信号を画素112に供給するための複数の信号線を含み得る。各行の制御線114は、垂直駆動回路120に接続されている。垂直駆動回路120から画素112に供給される制御信号には、例えば、第2実施形態において説明した制御信号sel,clear,WRTが含まれ得る。
画素領域110の画素アレイの各行に配された画素112は、第1の方向に直列に接続されている。各行の第1の方向の端部に位置する画素112の出力ノードには、出力線118が接続されている。各行の出力線118は、信号処理回路150に接続されている。
画素領域110の画素アレイの各列には、第1の方向と交差する第2の方向(図11において縦方向)に延在して、信号線116が配されている。信号線116は、第2の方向に並ぶ画素112にそれぞれ接続され、これら画素112に共通の信号線をなしている。信号線116の延在する第2の方向は、列方向或いは垂直方向と呼ぶことがある。各列の信号線116は、クロックバッファ回路140に接続されている。
クロックバッファ回路140は、第1乃至第3実施形態におけるクロックバッファ回路と同様、各列の画素112に所定のタイミングでクロックパルスを供給する役割を有する。
信号処理回路150は、各行の出力線118から出力される画素信号に対して所定の信号処理を施す機能ブロックである。信号処理回路150が実施する信号処理は、特に限定されるものではないが、例えば、補正処理、ビニング処理、加算平均処理などが挙げられる。
出力回路160は、外部インターフェース回路を有し、信号処理回路150で処理された画素信号を光電変換装置100の外部へ出力するための機能ブロックである。出力回路160が備える外部インターフェース回路は、特に限定されるものではない。外部インターフェース回路には、例えば、LVDS(Low Voltage Differential Signaling)回路、SLVS(Scalable Low Voltage Signaling)回路等のSerDes(SERializer/DESerializer)送信回路を適用可能である。
制御回路130は、垂直駆動回路120、クロックバッファ回路140、信号処理回路150の動作やそのタイミングを制御する制御信号を生成し、各機能ブロックに供給するための制御回路である。なお、垂直駆動回路120、クロックバッファ回路140、信号処理回路150の動作やそのタイミングを制御する制御信号の少なくとも一部は、光電変換装置100の外部から供給してもよい。制御回路130からクロックバッファ回路140に供給される制御信号には、第1乃至第3実施形態において説明したクロック信号が含まれ得る。
このように、本実施形態によれば、第1乃至第3実施形態による信号出力装置を適用することで画素信号の高速読み出しを可能にした光電変換装置を実現することができる。
[第5実施形態]
本発明の第5施形態による光検出システムについて、図12を用いて説明する。図12は、本実施形態による光検出システムの概略構成を示すブロック図である。本実施形態では、第4実施形態による光電変換装置100を適用した光検出センサについて説明する。
上記第4実施形態で述べた光電変換装置100は、種々の光検出システムに適用可能である。適用可能な光検出システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などの撮像システムが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、光検出システムに含まれる。図12には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
図12に例示した光検出システム200は、光電変換装置201、被写体の光学像を光電変換装置201に結像させるレンズ202、レンズ202を通過する光量を可変にするための絞り204、レンズ202の保護のためのバリア206を有する。レンズ202及び絞り204は、光電変換装置201に光を集光する光学系である。光電変換装置201は、第4実施形態で説明した光電変換装置100であって、レンズ202により結像された光学像を画像データに変換する。
光検出システム200は、また、光電変換装置201より出力される出力信号の処理を行う信号処理部208を有する。信号処理部208は、光電変換装置201が出力するデジタル信号から画像データの生成を行う。また、信号処理部208は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。光電変換装置201は、信号処理部208で処理されるデジタル信号を生成するAD変換部を備え得る。AD変換部は、光電変換装置201の光電変換素子が形成された半導体層(半導体基板)に形成されていてもよいし、光電変換装置201の光電変換素子が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部208が光電変換装置201と同一の半導体基板に形成されていてもよい。
光検出システム200は、更に、画像データを一時的に記憶するためのバッファメモリ部210、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)212を有する。更に光検出システム200は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体214、記録媒体214に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)216を有する。なお、記録媒体214は、光検出システム200に内蔵されていてもよく、着脱可能であってもよい。また、記録媒体制御I/F部216と記録媒体214との間の通信や外部I/F部212からの通信は無線によってなされてもよい。
更に光検出システム200は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部218、光電変換装置201と信号処理部208に各種タイミング信号を出力するタイミング発生部220を有する。ここで、タイミング信号などは外部から入力されてもよく、光検出システム200は少なくとも光電変換装置201と、光電変換装置201から出力された出力信号を処理する信号処理部208とを有すればよい。タイミング発生部220は、光電変換装置201に搭載されていてもよい。また、全体制御・演算部218及びタイミング発生部220は、光電変換装置201の制御機能の一部又は全部を実施するように構成されていてもよい。
光電変換装置201は、撮像信号を信号処理部208に出力する。信号処理部208は、光電変換装置201から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部208は、撮像信号を用いて、画像を生成する。信号処理部208は、光電変換装置201から出力される信号に対して測距演算を行うように構成されていてもよい。
このように、本実施形態によれば、第4実施形態の光電変換装置を用いて光検出システムを構成することにより、画像を迅速に取得しうる光検出システムを実現することができる。
[第6実施形態]
本発明の第6実施形態による距離画像センサについて、図13を用いて説明する。図13は、本実施形態による距離画像センサの概略構成を示すブロック図である。本実施形態では、第4実施形態による光電変換装置100を適用した光検出システムの一例として距離画像センサを説明する。
本実施形態による距離画像センサ300は、図13に示すように、光学系302と、光電変換装置304と、画像処理回路306と、モニタ308と、メモリ310と、を含んで構成され得る。この距離画像センサ300は、光源装置320から被写体330に向かって照射され被写体330の表面で反射された光(変調光やパルス光)を受光し、被写体330までの距離に応じた距離画像を取得するものである。
光学系302は、1枚又は複数枚のレンズにより構成され、被写体330からの像光(入射光)を光電変換装置304の受光面(センサ部)に結像させる役割を有する。
光電変換装置304は、第4実施形態で説明した光電変換装置100であって、被写体330からの像光に基づいて被写体330までの距離を示す距離信号を生成し、生成した距離信号を画像処理回路306へと供給する機能を備える。
画像処理回路306は、光電変換装置304から供給された距離信号に基づいて距離画像を構築する画像処理を行う機能を備える。
モニタ308は、画像処理回路306における画像処理によって得られた距離画像(画像データ)を表示する機能を備える。また、メモリ310は、画像処理回路306における画像処理によって得られた距離画像(画像データ)を記憶(記録)する機能を備える。
このように、本実施形態によれば、第4実施形態の光電変換装置を用いて距離画像センサを構成することにより、距離画像を迅速に取得可能な距離画像センサを実現することができる。
[第7実施形態]
本発明の第7実施形態による内視鏡手術システムについて、図14を用いて説明する。図14は、本実施形態による内視鏡手術システムの構成例を示す概略図である。本実施形態では、第4実施形態の光電変換装置100を適用した光検出システムの一例として内視鏡手術システムを説明する。
図14には、術者(医師)460が、内視鏡手術システム400を用いて、患者ベッド470上の患者472に手術を行っている様子が図示されている。
本実施形態の内視鏡手術システム400は、図14に示すように、内視鏡410と、術具420と、内視鏡下手術のための各種の装置が搭載されたカート430と、を含んで構成され得る。カート430には、CCU(カメラコントロールユニット:Camera Control Unit)432、光源装置434、入力装置436、処置具制御装置438、表示装置440などが搭載され得る。
内視鏡410は、先端から所定の長さの領域が患者472の体腔内に挿入される鏡筒412と、鏡筒412の基端に接続されるカメラヘッド414と、を含んで構成される。図14には、硬性の鏡筒412を有するいわゆる硬性鏡として構成される内視鏡410を図示しているが、内視鏡410は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。内視鏡410は、アーム416により移動可能な状態で保持されている。
鏡筒412の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡410には光源装置434が接続されており、光源装置434によって生成された光が、鏡筒412の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者472の体腔内の観察対象に向かって照射される。なお、内視鏡410は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド414の内部には図示しない光学系及び光電変換装置が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該光電変換装置に集光される。当該光電変換装置は、観察光を光電変換し、観察光に対応する電気信号、すなわち観察像に対応する画像信号を生成する。当該光電変換装置としては、第4実施形態で説明した光電変換装置100を用いることができる。当該画像信号は、RAWデータとしてCCU432に送信される。
CCU432は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡410及び表示装置440の動作を統括的に制御する。更に、CCU432は、カメラヘッド414から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置440は、CCU432からの制御により、当該CCU432によって画像処理が施された画像信号に基づく画像を表示する。
光源装置434は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡410に供給する。
入力装置436は、内視鏡手術システム400に対する入力インターフェースである。ユーザは、入力装置436を介して、内視鏡手術システム400に対して各種の情報の入力や指示入力を行うことができる。
処置具制御装置438は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具450の駆動を制御する。
内視鏡410に術部を撮影する際の照射光を供給する光源装置434は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置434において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド414の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置434は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド414の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置434は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置434は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
このように、本実施形態によれば、第4実施形態の光電変換装置を用いて内視鏡手術システムを構成することにより、画像を迅速に取得しうる内視鏡手術システムを実現することができる。
[第8実施形態]
本発明の第8実施形態による光検出システム及び移動体について、図15乃至図17を用いて説明する。図15は、本実施形態による移動体の構成例を示す概略図である。図16は、本実施形態による光検出システムの概略構成を示すブロック図である。図17は、本実施形態による光検出システムの動作を示すフロー図である。本実施形態では、第4実施形態の光電変換装置100を適用した光検出システムとして、車載カメラへの適用例を示す。
図15は、本実施形態による移動体(車両システム)の構成例を示す模式図である。図15には、第4実施形態による光電変換装置を適用した光検出システムが組み込まれた車両システムの一例として、車両500(自動車)の構成を示している。図15(a)は車両500の正面模式図であり、図15(b)は車両500の平面模式図であり、図15(c)は車両500の背面模式図である。車両500は、正面に一対の光電変換装置502を備えている。ここで、光電変換装置502は、第4実施形態で説明した光電変換装置100である。また、車両500は、集積回路503、警報装置512及び主制御部513を備える。
図16は、車両500に搭載された光検出システム501の構成例を示すブロック図である。光検出システム501は、光電変換装置502と、画像前処理部515と、集積回路503と、光学系514と、を含む。光電変換装置502は、第4実施形態で説明した光電変換装置100である。光学系514は、光電変換装置502に被写体の光学像を結像する。光電変換装置502は、光学系514により結像された被写体の光学像を電気信号に変換する。画像前処理部515は、光電変換装置502から出力された信号に対して所定の信号処理を行う。画像前処理部515の機能は、光電変換装置502内に組み込まれていてもよい。光検出システム501には、光学系514、光電変換装置502及び画像前処理部515の組が、少なくとも2組設けられており、各組の画像前処理部515からの出力が集積回路503に入力されるようになっている。
集積回路503は、撮像システム用途向けの集積回路であり、画像処理部504、光学測距部506、視差演算部507、物体認知部508、異常検出部509を含む。画像処理部504は、画像前処理部515から出力された画像信号を処理する。例えば、画像処理部504は、画像前処理部515の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。画像処理部504は、画像信号を一時的に保持するメモリ505を備える。メモリ505には、例えば光電変換装置502内の既知の欠陥画素の位置が記憶され得る。
光学測距部506は、被写体の合焦や測距を行う。視差演算部507は、複数の光電変換装置502により取得された複数の画像データ(視差画像)から測距情報(距離情報)の算出を行う。光電変換装置502の各々が、距離情報などの各種情報を取得可能な構成を備えていてもよい。物体認知部508は、車、道、標識、人等の被写体の認知を行う。異常検出部509は、光電変換装置502の異常を検出すると、主制御部513に異常を通知する。
集積回路503は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
主制御部513は、光検出システム501、車両センサ510、制御ユニット520等の動作を統括・制御する。なお、車両500が主制御部513を備えていなくてもよい。この場合、光電変換装置502、車両センサ510、制御ユニット520が通信ネットワークを介して制御信号の送受を行う。この制御信号の送受には、例えばCAN規格が適用され得る。
集積回路503は、主制御部513からの制御信号を受け或いは自身の制御部によって、光電変換装置502へ制御信号や設定値を送信する機能を有する。
光検出システム501は、車両センサ510に接続されており、車速、ヨーレート、舵角などの自車両走行状態及び自車外環境や他車・障害物の状態を検出することができる。車両センサ510は、対象物までの距離情報を取得する距離情報取得手段でもある。また、光検出システム501は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部511に接続されている。特に、衝突判定機能に関しては、光検出システム501や車両センサ510の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。
また、光検出システム501は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置512にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部513は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置512は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を光検出システム501で撮影する。図15(b)に、車両前方を光検出システム501で撮像する場合の光検出システム501の配置例を示す。
光電変換装置502は、前述のように、車両500の前方に配される。具体的には、車両500の進退方位又は外形(例えば車幅)に対する中心線を対称軸に見立て、その対称軸に対して2つの光電変換装置502が線対称に配されると、車両500と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置502は、運転者が運転席から車両500の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置512は、運転者の視野に入りやすい配置が好ましい。
次に、光検出システム501における光電変換装置502の故障検出動作について、図17を用いて説明する。光電変換装置502の故障検出動作は、図17に示すステップS110~S180に従って実施され得る。
ステップS110は、光電変換装置502のスタートアップ時の設定を行うステップである。すなわち、光検出システム501の外部(例えば主制御部513)又は光検出システム501の内部から、光電変換装置502の動作のための設定を送信し、光電変換装置502の撮像動作及び故障検出動作を開始する。
次いで、ステップS120において、有効画素から画素信号を取得する。また、ステップS130において、故障検出用に設けた故障検出画素からの出力値を取得する。この故障検出画素は、有効画素と同じく光電変換素子を備える。この光電変換素子には、所定の電圧が書き込まれる。故障検出画素は、この光電変換素子に書き込まれた電圧に対応する信号を出力する。なお、ステップS120とステップS130とは逆でもよい。
次いで、ステップS140において、故障検出画素の出力期待値と、実際の故障検出画素からの出力値との該非判定を行う。ステップS140における該非判定の結果、出力期待値と実際の出力値とが一致している場合は、ステップS150に移行し、撮像動作が正常に行われていると判定し、処理ステップがステップS160へと移行する。ステップS160では、走査行の画素信号をメモリ505に送信して一次保存する。そののち、ステップS120に戻り、故障検出動作を継続する。一方、ステップS140における該非判定の結果、出力期待値と実際の出力値とが一致していない場合は、処理ステップはステップS170に移行する。ステップS170において、撮像動作に異常があると判定し、主制御部513又は警報装置512に警報を通知する。警報装置512は、表示部に異常が検出されたことを表示させる。その後、ステップS180において光電変換装置502を停止し、光検出システム501の動作を終了する。
なお、本実施形態では、1行毎にフローチャートをループさせる例を例示したが、複数行毎にフローチャートをループさせてもよいし、1フレーム毎に故障検出動作を行ってもよい。ステップS170の警報の発報は、無線ネットワークを介して、車両の外部に通知するようにしてもよい。
また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、光検出システム501は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
[第9実施形態]
本発明の第9実施形態による光検出システムについて、図18を用いて説明する。図18は、本実施形態による光検出システムの構成例を示す概略図である。本実施形態では、第1実施形態の光電変換装置100を適用した光検出システムとして、眼鏡(スマートグラス)への適用例を説明する。
図18(a)は、1つの適用例に係る眼鏡600(スマートグラス)を示している。眼鏡600は、レンズ601と、光電変換装置602と、制御装置603と、を有する。
光電変換装置602は、第1実施形態で説明した光電変換装置100であって、レンズ601に設けられている。光電変換装置602は1つでもよいし、複数でもよい。また、複数の光電変換装置602を用いる場合にあっては、複数種類の光電変換装置602を組み合わせて用いてもよい。光電変換装置602の配置位置は図18(a)に限定されるものではない。レンズ601の裏面側には、OLEDやLED等の発光装置を含む表示装置(図示せず)が設けられていてもよい。
制御装置603は、光電変換装置602と上記の表示装置に電力を供給する電源として機能する。また、制御装置603は、光電変換装置602及び表示装置の動作を制御する機能を備える。レンズ601には、光電変換装置602に光を集光するための光学系が設けられている。
図18(b)は、他の1つの適用例に係る眼鏡610(スマートグラス)を示している。眼鏡610は、レンズ611と、制御装置612と、を有する。制御装置612には、光電変換装置602に相当する不図示の光電変換装置と表示装置とが搭載され得る。
レンズ611には、制御装置612内の光電変換装置と、表示装置からの光を投影するための光学系とが設けられており、画像が投影される。制御装置612は、光電変換装置及び表示装置に電力を供給する電源として機能するとともに、光電変換装置及び表示装置の動作を制御する機能を備える。
制御装置612は、装着者の視線を検知する視線検知部を更に有してもよい。この場合、制御装置612に赤外発光部を設け、赤外発光部から発せられた赤外線を視線の検知に用いることができる。具体的には、赤外発光部は、表示画像を注視しているユーザの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減することができる。
表示画像に対するユーザの視線は、赤外光の撮像により得られた眼球の撮像画像から検出することができる。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き(回転角度)を表す視線ベクトルが算出されることにより、ユーザの視線が検出される。
本実施形態の表示装置は、受光素子を有する光電変換装置を備え、光電変換装置からのユーザの視線情報に基づいて表示画像を制御するように構成されてもよい。具体的には、表示装置は、視線情報に基づいて、ユーザが注視する第1の視界領域と、第1の視界領域以外の第2の視界領域とを決定する。第1の視界領域及び第2の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定してもよい。外部の制御装置が決定する場合は、通信を介して表示装置に伝えられる。表示装置の表示領域において、第1の視界領域の表示解像度は、第2の視界領域の表示解像度よりも高くなるように制御してもよい。つまり、第2の視界領域の解像度は、第1の視界領域の解像度よりも低くしてもよい。
また、表示領域は、第1の表示領域、第1の表示領域とは異なる第2の表示領域とを有し、視線情報に基づいて、第1の表示領域及び第2の表示領域から優先度が高い領域を決定するように構成されてもよい。第1の表示領域及び第2の表示領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定してもよい。外部の制御装置が決定する場合は、通信を介して表示装置に伝えられる。優先度の高い領域の解像度は、優先度が高い領域以外の領域の解像度よりも高くなるように制御してもよい。つまり、優先度が相対的に低い領域の解像度は低くしてもよい。
なお、第1の視界領域や優先度が高い領域の決定には、AIを用いてもよい。AIは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。AIプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して表示装置に伝えられる。
視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
また、第1乃至第3実施形態では、説明の簡略化のため、信号保持領域10を構成する複数の信号保持回路12の各々が保持する信号を1ビットの信号としたが、必ずしも1ビットの信号である必要はなく、複数ビットの信号であってもよい。例えば、信号保持回路12から出力されるパルス信号を計数してその計数値をメモリ26で保持し、メモリ26に保持されている複数ビットの信号を順序回路28に転送するように構成することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上記実施形態の開示は、以下の構成及び方法を含む。
(構成1)
複数の行及び複数の列をなすように配された複数の画素回路と、
前記複数の画素回路を駆動する制御回路と、を有し、
前記複数の画素回路の各々は、
光電変換部を有する信号生成回路と、
前記信号生成回路から出力される信号を保持するメモリと、
前記メモリからの信号が入力される第1入力ノードと、前記制御回路からの制御信号が入力される第2入力ノードと、第3入力ノードと、出力ノードと、を有する順序回路と、を有し、
前記複数の画素回路は、同じ行又は同じ列に配された第1画素回路及び第2画素回路を含み、前記第1画素回路の前記順序回路の前記出力ノードは、前記第2画素回路の前記順序回路の前記第3入力ノードに接続されている
ことを特徴とする光電変換装置。
(構成2)
前記複数の画素回路は、同じ行又は同じ列に配された前記画素回路の群を含み、前記群を構成する前記画素回路の前記順序回路は、隣り合う前記画素回路の前記順序回路の前記出力ノードと前記第3入力ノードとを接続するように直列に接続されている
ことを特徴とする構成1記載の光電変換装置。
(構成3)
前記制御回路は、各々が前記画素回路の群を含む2以上の行の各列の前記画素回路又は各々が前記画素回路の群を含む2以上の列の各行の前記画素回路に、共通の前記制御信号を供給するように構成されている
ことを特徴とする構成2記載の光電変換装置。
(構成4)
前記制御回路は、直列に接続された複数のバッファ回路のうちの少なくとも一部のバッファ回路を介して前記同じ行又は同じ列に配された前記画素回路に前記制御信号を供給するように構成されており、
前記第1画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数は、前記第2画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数よりも多い
ことを特徴とする構成1乃至3のいずれかに記載の光電変換装置。
(構成5)
前記複数のバッファ回路の各々は、非反転バッファ回路により構成されている
ことを特徴とする構成4記載の光電変換装置。
(構成6)
前記複数のバッファ回路の各々は、反転バッファ回路により構成されており、
前記第1画素回路の前記順序回路は前記制御信号の立ち上がりに同期して動作し、前記第2画素回路の前記順序回路は前記制御信号の立ち下がりに同期して動作するように構成されている
ことを特徴とする構成4記載の光電変換装置。
(構成7)
前記制御回路は、前記複数のバッファ回路の各々の出力と、前記画素回路の前記順序回路の前記第2入力ノードとの間に配された論理回路を更に有する
ことを特徴とする構成1乃至6のいずれかに記載の光電変換装置。
(構成8)
前記複数の画素回路は、同じ行又は同じ列に配された前記画素回路の第1群及び第2群を含み、前記第1群及び前記第2群の各々を構成する前記画素回路の前記順序回路は、隣り合う前記画素回路の前記順序回路の前記出力ノードと前記第3入力ノードとを接続するように直列に接続されている
ことを特徴とする構成1記載の光電変換装置。
(構成9)
前記第1群を構成する前記画素回路と前記第2群を構成する前記画素回路とは、所定の数ごとに交互に配されている
ことを特徴とする構成8記載の光電変換装置。
(構成10)
前記制御回路は、前記第1群を構成する前記画素回路の各々の信号と、前記第2群を構成する前記画素回路の各々の信号と、を並列に出力するように構成されている
ことを特徴とする構成8又は9記載の光電変換装置。
(構成11)
前記第1群は前記第1画素回路及び前記第2画素回路を含み、前記第2群は第3画素回路を含み、
前記制御回路は、直列に接続された複数のバッファ回路のうちの少なくとも一部のバッファ回路を介して前記同じ行又は同じ列に配された前記画素回路に前記制御信号を供給するように構成されており、
前記第1画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数は、前記第2画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数よりも多く、
前記第2画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数と、前記第3画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数とが同じである
ことを特徴とする構成8又は9記載の光電変換装置。
(構成12)
前記順序回路の前記出力ノードが他の画素回路の前記第3入力ノードに接続されている前記画素回路は、保持する信号を前記他の画素回路を介して出力するように構成されている
ことを特徴とする構成1乃至11のいずれかに記載の光電変換装置。
(構成13)
前記順序回路は、前記メモリから前記第1入力ノードに入力される前記信号を保持するとともに、保持する前記信号を前記出力ノードから出力するように構成されている
ことを特徴とする構成1乃至12のいずれかに記載の光電変換装置。
(構成14)
前記順序回路は、前記第2入力ノードに入力される前記制御信号に応じて、前記第3入力ノードから入力される信号を保持するとともに、保持する前記信号を前記出力ノードから出力するように構成されている
ことを特徴とする構成1乃至13のいずれかに記載の光電変換装置。
(構成15)
複数の行及び複数の列をなすように配された複数の画素回路と、
前記複数の画素回路を駆動する制御回路と、を有し、
前記複数の画素回路の各々は、光電変換部を有する信号生成回路と、前記信号生成回路で生成された信号を保持するメモリと、前記メモリから前記信号が転送される順序回路と、を有し、
前記複数の画素回路は、同じ行に配された2以上の前記画素回路を各々が含む第1群及び第2群を含み、
前記第1群及び前記第2群の各々を構成する前記画素回路の前記順序回路は、行方向に沿って直列に接続されており、前記制御回路からの制御信号に応じて、各々が保持する前記信号を、前記行方向に沿って一方の側から他方の側に順次転送するように構成されており、
前記制御回路は、前記第1群の前記画素回路と前記第2群の前記画素回路とに共通の制御信号を供給することにより、前記第1群の前記画素回路における前記信号の転送動作と、前記第2群の前記画素回路における前記信号の転送動作と、を並行して実施するように構成されている
ことを特徴とする光電変換装置。
(構成16)
前記第1群を構成する前記画素回路と前記第2群を構成する前記画素回路とは、別の行に配されている
ことを特徴とする構成15記載の光電変換装置。
(構成17)
前記第1群を構成する前記画素回路と前記第2群を構成する前記画素回路とは、同じ行に配されている
ことを特徴とする構成15記載の光電変換装置。
(構成18)
複数の行及び複数の列をなすように配された複数の信号保持回路と、
前記複数の信号保持回路を駆動する制御回路と、を有し、
前記複数の信号保持回路の各々は、所定の信号を保持するメモリと、前記メモリから前記信号が転送される順序回路と、を有し、
前記複数の信号保持回路は、同じ行に配された2以上の前記信号保持回路を各々が含む第1群及び第2群を含み、
前記第1群及び前記第2群の各々を構成する前記信号保持回路の前記順序回路は、行方向に沿って直列に接続されており、前記制御回路からの制御信号に応じて、各々が保持する前記信号を、前記行方向に沿って一方の側から他方の側に順次転送するように構成されており、
前記制御回路は、前記第1群の前記信号保持回路と前記第2群の前記信号保持回路とに共通の制御信号を供給することにより、前記第1群の前記信号保持回路における前記信号の転送動作と、前記第2群の前記信号保持回路における前記信号の転送動作と、を並行して実施するように構成されている
ことを特徴とする信号出力装置。
(方法1)
光電変換部を有する信号生成回路と、前記信号生成回路で生成された信号を保持するメモリと、前記メモリから前記信号が転送される順序回路と、を各々が有する複数の画素回路を有し、同じ行に配された2以上の前記画素回路を各々が含む第1群及び第2群を含み、前記第1群及び前記第2群の各々を構成する前記画素回路の前記順序回路が行方向に沿って直列に接続された光電変換装置の駆動方法であって、
前記複数の画素回路の各々において、光の入射により前記光電変換部で生じた電荷に基づく信号を前記メモリに保持するステップと、
前記複数の画素回路の各々において、前記メモリに保持されている前記信号を前記順序回路に転送するステップと、
前記第1群及び前記第2群の各々において、各々を構成する前記画素回路の前記順序回路が保持する前記信号を、前記行方向に沿って一方の側から他方の側に順次転送するステップと、を有し、
前記順次転送するステップでは、前記第1群の前記画素回路と前記第2群の前記画素回路とに共通の制御信号を供給し、前記第1群の前記画素回路における前記信号の転送動作と、前記第2群の前記画素回路における前記信号の転送動作と、を並行して実施する
ことを特徴とする光電変換装置の駆動方法。
(方法2)
前記順次転送するステップは、次のフレームにおける前記保持するステップと時間的に重なっている
ことを特徴とする方法1記載の光電変換装置の駆動方法。
(構成19)
構成1乃至17のいずれかに記載の光電変換装置と、
前記光電変換装置から出力される信号を処理する信号処理装置と
を有することを特徴とする光検出システム。
(構成20)
前記信号処理装置は、前記信号に基づいて対象物までの距離情報を表す距離画像を生成する
ことを特徴とする構成19記載の光検出システム。
(構成21)
移動体であって、
構成1乃至17のいずれかに記載の光電変換装置と、
前記光電変換装置から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。
10…信号保持領域
12…信号保持回路
24…信号生成部
26…メモリ
28…順序回路
40…クロックバッファ回路
42…バッファ回路
50…信号出力装置
100…光電変換装置

Claims (19)

  1. 複数の行及び複数の列をなすように配された複数の画素回路と、
    前記複数の画素回路を駆動する制御回路と、を有し、
    前記複数の画素回路の各々は、
    光電変換部を有する信号生成回路と、
    前記信号生成回路から出力される信号を保持するメモリと、
    前記メモリからの信号が入力される第1入力ノードと、前記制御回路からの制御信号が入力される第2入力ノードと、第3入力ノードと、出力ノードと、を有する順序回路と、を有し、
    前記複数の画素回路は、同じ行又は同じ列に配された前記画素回路の第1群及び第2群を含み、前記第1群及び前記第2群の各々を構成する前記画素回路の前記順序回路は、隣り合う前記画素回路の前記順序回路の前記出力ノードと前記第3入力ノードとを接続するように直列に接続されており、
    前記制御回路は、前記第1群を構成する前記画素回路の各々の信号と、前記第2群を構成する前記画素回路の各々の信号と、を並列に出力するように構成されている
    ことを特徴とする光電変換装置。
  2. 前記制御回路は、前記第1群及び前記第2群が異なる行に配されている場合における各列の前記第1群の前記画素回路及び前記第2群の前記画素回路、又は、前記第1群及び前記第2群が異なる列に配されている場合における各行の前記第1群の前記画素回路及び前記第2群の前記画素回路に、共通の前記制御信号を供給するように構成されている
    ことを特徴とする請求項1記載の光電変換装置。
  3. 前記第1群を構成する前記画素回路と前記第2群を構成する前記画素回路とは、所定の数ごとに交互に配されている
    ことを特徴とする請求項記載の光電変換装置。
  4. 前記第1群は、第1画素回路と、前記順序回路の前記第3入力ノードに前記第1画素回路の前記順序回路の前記出力ノードが接続された第2画素回路と、を含み、前記第2群は、第3画素回路を含み、
    前記制御回路は、直列に接続された複数のバッファ回路のうちの少なくとも一部のバッファ回路を介して前記同じ行又は同じ列に配された前記画素回路に前記制御信号を供給するように構成されており、
    前記第1画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数は、前記第2画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数よりも多く、
    前記第2画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数と、前記第3画素回路の前記順序回路に供給される前記制御信号が通過する前記バッファ回路の数とが同じである
    ことを特徴とする請求項1乃至3のいずれか1項に記載の光電変換装置。
  5. 前記複数のバッファ回路の各々は、非反転バッファ回路により構成されている
    ことを特徴とする請求項4記載の光電変換装置。
  6. 前記複数のバッファ回路の各々は、反転バッファ回路により構成されており、
    前記第1画素回路の前記順序回路は前記制御信号の立ち上がりに同期して動作し、前記第2画素回路の前記順序回路は前記制御信号の立ち下がりに同期して動作するように構成されている
    ことを特徴とする請求項4記載の光電変換装置。
  7. 前記制御回路は、前記複数のバッファ回路の各々の出力と、前記画素回路の前記順序回路の前記第2入力ノードとの間に配された論理回路を更に有する
    ことを特徴とする請求項4記載の光電変換装置。
  8. 前記順序回路の前記出力ノードが他の画素回路の前記第3入力ノードに接続されている前記画素回路は、保持する信号を前記他の画素回路を介して出力するように構成されている
    ことを特徴とする請求項1乃至3のいずれか1項に記載の光電変換装置。
  9. 前記順序回路は、前記メモリから前記第1入力ノードに入力される前記信号を保持するとともに、保持する前記信号を前記出力ノードから出力するように構成されている
    ことを特徴とする請求項1乃至3のいずれか1項に記載の光電変換装置。
  10. 前記順序回路は、前記第2入力ノードに入力される前記制御信号に応じて、前記第3入力ノードから入力される信号を保持するとともに、保持する前記信号を前記出力ノードから出力するように構成されている
    ことを特徴とする請求項1乃至3のいずれか1項に記載の光電変換装置。
  11. 複数の行及び複数の列をなすように配された複数の画素回路と、
    前記複数の画素回路を駆動する制御回路と、を有し、
    前記複数の画素回路の各々は、光電変換部を有する信号生成回路と、前記信号生成回路で生成された信号を保持するメモリと、前記メモリから前記信号が転送される順序回路と、を有し、
    前記複数の画素回路は、同じ行に配された2以上の前記画素回路を各々が含む第1群及び第2群を含み、
    前記第1群及び前記第2群の各々を構成する前記画素回路の前記順序回路は、行方向に沿って直列に接続されており、前記制御回路からの制御信号に応じて、各々が保持する前記信号を、前記行方向に沿って一方の側から他方の側に順次転送するように構成されており、
    前記制御回路は、前記第1群の前記画素回路と前記第2群の前記画素回路とに共通の制御信号を供給することにより、前記第1群の前記画素回路における前記信号の転送動作と、前記第2群の前記画素回路における前記信号の転送動作と、を並行して実施するように構成されている
    ことを特徴とする光電変換装置。
  12. 前記第1群を構成する前記画素回路と前記第2群を構成する前記画素回路とは、別の行に配されている
    ことを特徴とする請求項11記載の光電変換装置。
  13. 前記第1群を構成する前記画素回路と前記第2群を構成する前記画素回路とは、同じ行に配されている
    ことを特徴とする請求項11記載の光電変換装置。
  14. 複数の行及び複数の列をなすように配された複数の信号保持回路と、
    前記複数の信号保持回路を駆動する制御回路と、を有し、
    前記複数の信号保持回路の各々は、所定の信号を保持するメモリと、前記メモリから前記信号が転送される順序回路と、を有し、
    前記複数の信号保持回路は、同じ行に配された2以上の前記信号保持回路を各々が含む第1群及び第2群を含み、
    前記第1群及び前記第2群の各々を構成する前記信号保持回路の前記順序回路は、行方向に沿って直列に接続されており、前記制御回路からの制御信号に応じて、各々が保持する前記信号を、前記行方向に沿って一方の側から他方の側に順次転送するように構成されており、
    前記制御回路は、前記第1群の前記信号保持回路と前記第2群の前記信号保持回路とに共通の制御信号を供給することにより、前記第1群の前記信号保持回路における前記信号の転送動作と、前記第2群の前記信号保持回路における前記信号の転送動作と、を並行して実施するように構成されている
    ことを特徴とする信号出力装置。
  15. 光電変換部を有する信号生成回路と、前記信号生成回路で生成された信号を保持するメモリと、前記メモリから前記信号が転送される順序回路と、を各々が有する複数の画素回路を有し、同じ行に配された2以上の前記画素回路を各々が含む第1群及び第2群を含み、前記第1群及び前記第2群の各々を構成する前記画素回路の前記順序回路が行方向に沿って直列に接続された光電変換装置の駆動方法であって、
    前記複数の画素回路の各々において、光の入射により前記光電変換部で生じた電荷に基づく信号を前記メモリに保持するステップと、
    前記複数の画素回路の各々において、前記メモリに保持されている前記信号を前記順序回路に転送するステップと、
    前記第1群及び前記第2群の各々において、各々を構成する前記画素回路の前記順序回路が保持する前記信号を、前記行方向に沿って一方の側から他方の側に順次転送するステップと、を有し、
    前記順次転送するステップでは、前記第1群の前記画素回路と前記第2群の前記画素回路とに共通の制御信号を供給し、前記第1群の前記画素回路における前記信号の転送動作と、前記第2群の前記画素回路における前記信号の転送動作と、を並行して実施する
    ことを特徴とする光電変換装置の駆動方法。
  16. 前記順次転送するステップは、次のフレームにおける前記保持するステップと時間的に重なっている
    ことを特徴とする請求項15記載の光電変換装置の駆動方法。
  17. 請求項1乃至3のいずれか1項に記載の光電変換装置と、
    前記光電変換装置から出力される信号を処理する信号処理装置と
    を有することを特徴とする光検出システム。
  18. 前記信号処理装置は、前記信号に基づいて対象物までの距離情報を表す距離画像を生成する
    ことを特徴とする請求項17記載の光検出システム。
  19. 移動体であって、
    請求項1乃至3のいずれか1項に記載の光電変換装置と、
    前記光電変換装置から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。
JP2023123110A 2023-07-28 2023-07-28 光電変換装置及びその駆動方法 Active JP7746340B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023123110A JP7746340B2 (ja) 2023-07-28 2023-07-28 光電変換装置及びその駆動方法
US18/760,394 US12587762B2 (en) 2023-07-28 2024-07-01 Photoelectric conversion device and method of driving photoelectric conversion device
CN202411003032.7A CN119450249A (zh) 2023-07-28 2024-07-25 光电转换装置及其驱动方法、信号输出装置、光检测系统和可移动体
DE102024121331.0A DE102024121331A1 (de) 2023-07-28 2024-07-26 Photoelektrische umwandlungsvorrichtung und verfahren zum ansteuern einer photoelektrischen umwandlungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023123110A JP7746340B2 (ja) 2023-07-28 2023-07-28 光電変換装置及びその駆動方法

Publications (2)

Publication Number Publication Date
JP2025019477A JP2025019477A (ja) 2025-02-07
JP7746340B2 true JP7746340B2 (ja) 2025-09-30

Family

ID=94212949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023123110A Active JP7746340B2 (ja) 2023-07-28 2023-07-28 光電変換装置及びその駆動方法

Country Status (4)

Country Link
US (1) US12587762B2 (ja)
JP (1) JP7746340B2 (ja)
CN (1) CN119450249A (ja)
DE (1) DE102024121331A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020094057A1 (en) 2001-01-10 2002-07-18 Yoshihiro Shibuya Shift register
JP2011182095A (ja) 2010-02-26 2011-09-15 Panasonic Corp 固体撮像装置および撮像装置
JP2012070170A (ja) 2010-09-22 2012-04-05 Fuji Xerox Co Ltd 画像読取装置及び受光装置
JP2016163156A (ja) 2015-02-27 2016-09-05 キヤノン株式会社 電子回路およびカメラ
JP2021158483A (ja) 2020-03-26 2021-10-07 キヤノン株式会社 光電変換装置、撮像システム、移動体
US20210337150A1 (en) 2020-04-28 2021-10-28 Commissariat à I'Energie Atomique et aux Energies Alternatives Event-driven image sensor and method of reading the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3068394B2 (ja) * 1993-12-16 2000-07-24 株式会社東芝 センサシステム
JP2000067577A (ja) * 1998-06-10 2000-03-03 Mitsubishi Electric Corp 同期型半導体記憶装置
JP6711634B2 (ja) * 2016-02-16 2020-06-17 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び撮像システム
US10706348B2 (en) * 2016-07-13 2020-07-07 Google Llc Superpixel methods for convolutional neural networks
JP2018186478A (ja) 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US12119334B2 (en) 2020-10-14 2024-10-15 Canon Kabushiki Kaisha Photoelectric conversion apparatus, photo-detection system, and movable body
US12581761B2 (en) 2022-01-01 2026-03-17 Canon Kabushiki Kaisha Photoelectric conversion apparatus and photoelectric conversion system
US12477853B2 (en) 2022-01-01 2025-11-18 Canon Kabushiki Kaisha Photoelectric conversion apparatus and photoelectric conversion system
JP7786823B2 (ja) 2022-01-01 2025-12-16 キヤノン株式会社 光電変換装置及び光電変換システム
JP7799488B2 (ja) 2022-01-01 2026-01-15 キヤノン株式会社 光電変換装置、光電変換システム、および機器
JP2025034789A (ja) * 2023-08-31 2025-03-13 キヤノン株式会社 光電変換装置及びその駆動方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020094057A1 (en) 2001-01-10 2002-07-18 Yoshihiro Shibuya Shift register
JP2002208292A (ja) 2001-01-10 2002-07-26 Seiko Instruments Inc シフトレジスタ
JP2011182095A (ja) 2010-02-26 2011-09-15 Panasonic Corp 固体撮像装置および撮像装置
US20120305752A1 (en) 2010-02-26 2012-12-06 Yusuke Shimizu Solid-state imaging device, and imaging device
JP2012070170A (ja) 2010-09-22 2012-04-05 Fuji Xerox Co Ltd 画像読取装置及び受光装置
JP2016163156A (ja) 2015-02-27 2016-09-05 キヤノン株式会社 電子回路およびカメラ
JP2021158483A (ja) 2020-03-26 2021-10-07 キヤノン株式会社 光電変換装置、撮像システム、移動体
US20210337150A1 (en) 2020-04-28 2021-10-28 Commissariat à I'Energie Atomique et aux Energies Alternatives Event-driven image sensor and method of reading the same

Also Published As

Publication number Publication date
US12587762B2 (en) 2026-03-24
US20250039573A1 (en) 2025-01-30
JP2025019477A (ja) 2025-02-07
CN119450249A (zh) 2025-02-14
DE102024121331A1 (de) 2025-01-30

Similar Documents

Publication Publication Date Title
JP2024160505A (ja) 光電変換装置、光検出システム、移動体および光電変換装置の制御方法
JP7851445B2 (ja) 光電変換装置、光検出システム
JP7636898B2 (ja) 光電変換装置、光検出システム、および移動体
US12149854B2 (en) Photoelectric conversion device
US12133011B1 (en) Photoelectric conversion device and photodetection system
JP7753044B2 (ja) 光電変換装置
TW202318862A (zh) 光電轉換裝置
JP2022106649A (ja) 光電変換装置、光検出システム
JP7817836B2 (ja) 光電変換装置及び光検出システム
JP7414748B2 (ja) 光電変換装置及び光検出システム
JP2023159648A (ja) 光電変換装置および光電変換システム
US12575221B2 (en) Apparatus and system
US20250080878A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
CN114725141A (zh) 光电转换装置和光检测系统
JP7814885B2 (ja) 半導体装置
JP7746340B2 (ja) 光電変換装置及びその駆動方法
JP2023061644A (ja) 光電変換装置
US12244953B2 (en) Photoelectric conversion device and photodetection system
JP2025047287A (ja) 光電変換装置
JP2023099399A (ja) 光電変換装置及び光検出システム
US20250227393A1 (en) Photoelectric conversion device and light detection system
JP2025031227A (ja) 半導体装置
JP2026038827A (ja) 光電変換装置及び光検出システム
WO2025089112A1 (ja) 光電変換装置
JP2025033666A (ja) 光電変換装置、光電変換システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250917

R150 Certificate of patent or registration of utility model

Ref document number: 7746340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150