Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
WO2021234924A1 - 撮像素子及び撮像装置 - Google Patents
[go: Go Back, main page]

WO2021234924A1 - 撮像素子及び撮像装置 - Google Patents

撮像素子及び撮像装置 Download PDF

Info

Publication number
WO2021234924A1
WO2021234924A1 PCT/JP2020/020177 JP2020020177W WO2021234924A1 WO 2021234924 A1 WO2021234924 A1 WO 2021234924A1 JP 2020020177 W JP2020020177 W JP 2020020177W WO 2021234924 A1 WO2021234924 A1 WO 2021234924A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
light
polarization
wavelength
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/020177
Other languages
English (en)
French (fr)
Inventor
将司 宮田
成 根本
光雅 中島
俊和 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2020/020177 priority Critical patent/WO2021234924A1/ja
Priority to US17/918,909 priority patent/US12155915B2/en
Priority to JP2022524816A priority patent/JP7364066B2/ja
Publication of WO2021234924A1 publication Critical patent/WO2021234924A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H10F39/8023—Disposition of the elements in pixels, e.g. smaller elements in the centre of the imager compared to larger elements at the periphery
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8067—Reflectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present invention relates to an image pickup device and an image pickup device.
  • a general image pickup device uses a lens optical system and a two-dimensional image pickup element such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor to provide light intensity information and color information from an image pickup target. Acquires a two-dimensional image consisting of.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • a color reduction type color filter made of an organic material or an inorganic material is arranged facing each pixel.
  • a general color image pickup device uses a color filter to transmit only light in a desired wavelength band and absorbs or reflects light in an unnecessary wavelength band to obtain red (R) and green (G) for each pixel.
  • Blue (B) signals can be acquired to generate a two-dimensional image having color information.
  • the polarization information of light includes useful information that cannot be obtained only by the intensity and color of light, such as information on the shape of the surface of an object and the state of a material.
  • the polarized color image sensor acquires the light intensity of each linear polarization direction component of 0 °, 45 °, 90 °, and ⁇ 45 ° with reference to an arbitrary axis on the image plane. Thereby, the polarized color image sensor can obtain three parameters among the Stokes parameters describing the polarized state, and obtains information on the polarization direction and the degree of polarization in addition to the color information.
  • the image processing apparatus can perform applications such as estimation of the object surface shape, acquisition of the stress state of the material, and object recognition.
  • Non-Patent Document 1 As a method for realizing a polarized color image sensor, a method using microfabrication technology has been proposed (see, for example, Non-Patent Document 1).
  • a method using microfabrication technology has been proposed (see, for example, Non-Patent Document 1).
  • four different polarization directions are acquired for each pixel by integrating a plurality of metal wire grid polarizing filters having different polarization transmission axes on each pixel of the sensor.
  • FIG. 26 is a diagram illustrating an outline of the configuration of a conventional polarized color image sensor.
  • FIG. 27 is a diagram showing a part of a cross-sectional view of a conventional polarized color image sensor.
  • the color information of the image pickup target is obtained by accumulating the dimming type (absorption type) polarizing filter 440 and the conventional color filter 450 side by side in a cascade. And a two-dimensional image (polarized color image) including polarization information is acquired.
  • the layer 27 is transparent between the microlens 420 and the pixel array 410 having the wiring layer 412 and the pixels 411 including the photoelectric conversion elements arranged in a two-dimensional array.
  • the layer 430 has a polarizing filter 440 and a color filter 450.
  • the polarizing filter transmits only the light in the polarization direction parallel to the transmission axis, so that only 1/2 of the incident light amount is transmitted at the maximum, and the color filter corresponds to any of R, G, and B.
  • the color filter corresponds to any of R, G, and B.
  • only light in the wavelength band is transmitted, so only about 1/3 of the incident light amount is transmitted. The remaining light thus lost is a loss due to absorption or reflection by each filter and cannot be used for image composition.
  • the light utilization efficiency of the conventional polarized color image sensor is about 17% at the maximum, and its sensitivity is greatly limited.
  • In-vehicle cameras and IoT devices which are promising destinations for polarized color image sensors, generally have a limitation on the amount of light that can be used for image pickup, and further, due to the recent miniaturization of sensor pixels (higher resolution of images). The amount of light received by one pixel is inevitably reduced. Therefore, in order to mount a polarized color image sensor on an in-vehicle camera or an IoT device, it is required to improve the sensitivity deterioration of the polarized color image sensor shown above. Further, in the conventional polarized color image sensor, since it is necessary to stack two layers of filter arrays having completely different manufacturing methods and composition materials on the pixel, the manufacturing process is increased as compared with the general color image sensor, and the manufacturing cost is increased. Will rise.
  • Non-Patent Document 2 a polarizing image sensor using a polarizing element having a fine structure capable of branching incident light according to the polarization direction.
  • the polarized light image sensor described in Non-Patent Document 2 has a fine structure capable of separating incident light for each polarized light component, thereby eliminating light loss in polarization information extraction in principle and utilizing light. It is improving efficiency.
  • FIG. 28 is a diagram showing a part of a cross-sectional view of a conventional polarized light image sensor.
  • the incident light is separated to the left and right according to the polarization direction by the fine structure pattern 560 arranged on the bottom surface of the transparent substrate 570 corresponding to the pixels of the pixel array 410, and the incident light is separated into different pixels 411 directly below. Condensate.
  • the fine structure pattern 560 functions as a polarizing separation lens having different focusing positions depending on the polarization direction due to the effective birefringence effect of each structure and its spatial arrangement. .. Therefore, the polarized light imaging device shown in FIG.
  • Non-Patent Document 3 describes a method of improving light utilization efficiency by eliminating light loss in color information extraction in principle by using a fine structure capable of separating incident light for each wavelength region. ..
  • FIG. 29 is a diagram showing a part of a cross-sectional view of a conventional color image sensor.
  • the incident light is directed in three directions according to the wavelength region (three colors of RGB) by the fine structure pattern 660 arranged corresponding to the pixels. It is separated and focused on different pixels 411 directly under it.
  • the microstructure pattern 660 functions as a color splitter having different deflection directions depending on the wavelength region due to the effective optical phase delay effect depending on the wavelength of each microstructure and its spatial arrangement.
  • the image processing device can generate a color image by reproducing the color information of the photoelectric conversion signal output from each photoelectric conversion element by signal processing using a matrix calculation or an inverse problem solving method. ..
  • Non-Patent Documents 2 and 3 it is essential to use a color filter or a polarizing filter together as described above. Therefore, in the methods described in Non-Patent Documents 2 and 3, at least the light loss due to the color filter or the polarizing filter exists, so that the effect of increasing the total received light amount is limited. Further, in the method described in Non-Patent Documents 2 and 3, at least one filter layer and one polarization separation layer and / or color separation layer need to be laminated on the pixel, so that a two-layer filter array is used. Similar to the case of using it, there is a problem that the number of manufacturing processes increases and the manufacturing cost increases as compared with a general color image sensor.
  • Non-Patent Documents 2 and 3 are laminated in a cascade to maximize the effect of increasing the total light receiving amount.
  • the two polarizing separation layers and the color separation layer are indispensable as described above, the number of manufacturing steps increases and the manufacturing cost increases as compared with a general color image sensor.
  • the optimization design and pixel arrangement of the rear-stage element that strictly considers the effects of light deflection (light incident angle, emission angle, etc.) by the front-stage element are performed. It needs to be done anew, and it is not feasible at this point.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an image pickup device and an image pickup apparatus capable of generating a color image and a polarized image with high accuracy while having a simple configuration. ..
  • the image pickup device is arranged with a pixel array in which a plurality of pixels including a photoelectric conversion element are arranged in a two-dimensional array and facing the pixel array.
  • a spectroscopic element array in which spectroscopic elements composed of a plurality of microstructures that condense incident light at different positions on a pixel array according to the polarization direction and wavelength component of the incident light are arranged in a two-dimensional array. It is characterized by having.
  • the image pickup apparatus processes the image pickup element described above, an image pickup optical system for forming an optical image on the image pickup surface of the image pickup element, and an electric signal output by the image pickup element, and processes a polarized image and a color. It is characterized by having a signal processing unit that generates an image.
  • an image pickup device and an image pickup apparatus capable of generating a color image and a polarized image with high accuracy while having a simple configuration.
  • FIG. 1 is a side view showing a schematic configuration of an image pickup apparatus according to an embodiment.
  • FIG. 2-1 is a diagram schematically showing a part of a cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the embodiment.
  • FIG. 2-2 is a diagram schematically showing a part of a cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the embodiment.
  • FIG. 2-3 is a diagram schematically showing a part of a cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the embodiment.
  • FIG. 3-1 is a diagram schematically showing another example of a part of the cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the embodiment.
  • FIG. 3-2 is a diagram schematically showing another example of a part of the cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the embodiment.
  • FIG. 3-3 is a diagram schematically showing another example of a part of the cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the embodiment.
  • FIG. 4 is a plan view of a schematic configuration of a part of the image pickup device according to the first embodiment.
  • FIG. 5-1 is a cross-sectional view taken along the line AA of FIG. FIG.
  • FIG. 5-2 is a cross-sectional view taken along the line AA of FIG. 5-3 is a cross-sectional view taken along the line AA'of FIG.
  • FIG. 6-1 is a cross-sectional view taken along the line BB'of FIG.
  • FIG. 6-2 is a cross-sectional view taken along the line BB'of FIG.
  • FIG. 6-3 is a cross-sectional view taken along the line BB'of FIG.
  • FIG. 7 is a plan view of a columnar structure constituting the polarization wavelength separation lens according to the first embodiment.
  • FIG. 8 is a side view of a columnar structure constituting the polarized wavelength separation lens according to the first embodiment.
  • FIG. 9 is a side view of a columnar structure constituting the polarized wavelength separation lens according to the first embodiment.
  • FIG. 10-1 is a diagram showing an example of a side view of the columnar structure of the polarized wavelength separation lens according to the first embodiment.
  • FIG. 10-2 is a view taken along the line C of FIG. 10-1.
  • FIG. 11 is a diagram showing the calculation results of the phase delay characteristics in the columnar structure shown in FIGS. 10-1 and 10-2.
  • FIG. 12 is a diagram showing calculation results of phase delay characteristics in the columnar structure shown in FIGS. 10-1 and 10-2.
  • FIG. 13 is a diagram showing an example of an ideal phase delay spatial distribution that realizes the polarized wavelength separation lens according to the first embodiment.
  • FIG. 14 is a diagram showing an arrangement example of a columnar structure constituting the polarized wavelength separation lens according to the first embodiment.
  • FIG. 15 is a diagram schematically showing the shift of the focusing position when the wavelength changes from the design center wavelength ⁇ 0 to ⁇ in the polarized wavelength separation lens.
  • FIG. 16-1 is a plan view of an image pickup device that serves as a calculation model.
  • FIG. 16-2 is a cross-sectional view taken along the line DD'of FIG. 16-1.
  • FIG. 17 is a diagram showing a light intensity distribution on a pixel array when light of a predetermined polarization state and a combination of a predetermined wavelength is vertically incident on the image pickup device shown in FIG. 16-1.
  • FIG. 16-1 is a plan view of an image pickup device that serves as a calculation model.
  • FIG. 16-2 is a cross-sectional view taken along the line DD'of FIG. 16-1.
  • FIG. 17 is a diagram showing a light intensity distribution on a pixel array when light of a predetermined polarization state and a combination of a predetermined wavelength is vertically incident on the image pickup device shown
  • FIG. 18 is a diagram showing a light intensity distribution on a pixel array when light of a predetermined polarization state and a combination of a predetermined wavelength is vertically incident on the image pickup device shown in FIG. 16-1.
  • FIG. 19 is a diagram showing a light intensity distribution on a pixel array when light of a predetermined polarization state and a combination of a predetermined wavelength is vertically incident on the image pickup device shown in FIG. 16-1.
  • FIG. 20 is a diagram showing a light intensity distribution on a pixel array when light of a predetermined polarization state and a combination of a predetermined wavelength is vertically incident on the image pickup device shown in FIG. 16-1.
  • FIG. 21 is a cross-sectional view taken along the line EE, a cross-sectional view taken along the line FF', and a cross-sectional view taken along the line GG'shown in FIG.
  • FIG. 22 is a diagram showing a wavelength spectrum received by the pixels of the pixel unit according to the first embodiment when linearly polarized light in the 90 ° direction is incident.
  • FIG. 23 is a diagram showing another example of the wavelength spectrum received by each pixel of the pixel unit according to the first embodiment when linearly polarized light in the 90 ° direction is incident.
  • FIG. 24 is a diagram schematically showing a part of a cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the second embodiment.
  • FIG. 25 is a diagram schematically showing another example of a part of the cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the second embodiment.
  • FIG. 26 is a diagram illustrating an outline of the configuration of a conventional polarized color image sensor.
  • FIG. 27 is a diagram showing a part of a cross-sectional view of a conventional polarized color image sensor.
  • FIG. 28 is a diagram showing a part of a cross-sectional view of a conventional polarized light image sensor.
  • FIG. 29 is a diagram showing a part of a cross-sectional view of a conventional color image sensor.
  • FIG. 1 is a side view showing a schematic configuration of an image pickup apparatus according to an embodiment.
  • the image pickup device 10 includes a lens optical system 11, an image pickup device 12, and a signal processing unit 13.
  • the lens optical system 11 has a photoelectric conversion element such as a CCD or CMOS.
  • the signal processing unit 13 processes the photoelectric conversion signal output from the image pickup device 12 to generate an image signal.
  • the lens optical system 11 is composed of a lens group composed of a plurality of lenses arranged along an optical axis in order to correct various optical aberrations.
  • the drawing is simplified to form a single lens. Shows.
  • the signal processing unit 13 has an image signal output for transmitting the generated image signal to the outside.
  • the image pickup apparatus 10 may include known components such as an optical filter for cutting infrared light, an electronic shutter, a viewfinder, a power supply (battery), and a flashlight, but the description thereof is particularly useful for understanding the present invention. Omitted because it is not necessary. Further, the above configuration is merely an example, and in the embodiment, known elements can be appropriately combined and used as components excluding the lens optical system 11, the image pickup device 12, and the signal processing unit 13.
  • the image pickup element 12 according to the embodiment is a pixel array in which a plurality of pixels including a photoelectric conversion element are arranged in a two-dimensional array, and a polarization wavelength separation in which a plurality of polarization wavelength separation lenses (spectral elements) are arranged in a two-dimensional manner. It has a lens array (spectral element array).
  • FIGS. 2-1 to 2-3 are diagrams schematically showing a part of a cross section of the pixel array and the polarization wavelength separation array of the image pickup device according to the embodiment. In FIGS. 2-1 to 2-3, a part of the image pickup device 12 will be described as the image pickup device 100.
  • FIGS. 2-1 to 2-3 show the case where unpolarized light and light having different wavelengths ⁇ are incident on the sensor of the image sensor 100.
  • the polarization wavelength separation lens array 120 faces the pixel array 110 and is arranged on the side where the light from the lens optical system 11 is incident.
  • the polarization wavelength separation lens array 120 is composed of each polarization wavelength separation lens 160 arranged in a two-dimensional array on the bottom surface of the transparent substrate 170.
  • the pixel array 110 has a wiring layer 180 and pixels 130 including photoelectric conversion elements arranged in a two-dimensional array.
  • Each of the polarization wavelength separation lenses 160 has a plurality of constant thicknesses (lengths in the z-axis direction in the figure) for condensing incident light at different positions on the pixel array 110 according to the polarization direction and wavelength component of the incident light.
  • Consists of a microstructure of. The design wavelength of the microstructure is set to ⁇ 0.
  • FIG. 2-1 shows the case where the incident light having the wavelength ⁇ ( ⁇ 0 ) is incident on the image sensor 100
  • FIG. 2-3 shows a case where incident light having a wavelength of ⁇ (> ⁇ 0 ) is incident on the image pickup device 100.
  • the polarization wavelength separation lens 160 determines the polarization direction of the light incident on the image pickup element 100 with a first polarization direction (see direction Y1) arbitrarily determined and the same. It is separated into a second polarization direction (see direction Y2) that is orthogonal to each other. Further, the polarizing wavelength separation lens 160 classifies the light incident on the image sensor 100 into a first wavelength region, a second wavelength region, and a third wavelength region for each wavelength region.
  • the combination of the first to third wavelength regions is generally, but is not limited to, the three primary colors of red (R), green (G), and blue (B). Further, the number of classifications in the wavelength region may be increased or decreased depending on the application.
  • the polarization wavelength separation lens 160 utilizes the polarization-dependent phase delay effect caused by the fine structure of the polarization wavelength separation lens 160, which will be described later, and the structural dimensional dependence thereof, in FIGS. 2-1 to 2-3. As shown in, the propagation direction of the incident light is changed according to the first polarization direction and the second polarization direction to spatially separate each polarization component, and the separated light is separated into wavelength bands. It has a polarization separation function that leads to different positions on the pixel array 110 according to the light. Further, the polarization wavelength separation lens 160 has an eccentricity (off-axis) lens function, and can collect the separated light according to the polarization direction to different positions on the pixel array 110, and also. As will be described later, the focusing position shifts according to the wavelength.
  • the polarization wavelength separation lens 160 has both the polarization separation and the wavelength separation functions by the polarization separation function and the off-axis lens function. Therefore, the light incident on the polarization wavelength separation lens 160 is focused at different positions on the pixel array 110 according to the polarization direction and the wavelength component without reducing the total amount of light.
  • the pixel unit 140L is arranged at a position where the polarization component in the first polarization direction of the light incident on the polarization wavelength separation lens 160 is focused, and the pixel unit 140R is the first of the light incident on the polarization wavelength separation lens 160. It is arranged at a position where the polarized light component in the polarization direction of 2 is focused.
  • each pixel of the left pixel unit 140L is different from each other.
  • the wavelength components received by each pixel of the right pixel unit 140R are different from each other.
  • the arrangement position of each pixel of each pixel unit 140L and 140R is set according to the wavelength dependence of the light collection position. Further, as will be described later, the light receiving area of each pixel of each of the pixel units 140L and 140R is set according to the wavelength dependence of the condensing position.
  • the signal processing unit 13 can extract the first polarization direction component from the photoelectric conversion signal of the left pixel unit 140L, and uses a matrix calculation or an inverse problem solving method for the photoelectric conversion signal of the left pixel unit 140L. By performing the signal processing, it is possible to reproduce color information having different wavelength components.
  • the signal processing unit 13 can extract the second polarization direction component from the photoelectric conversion signal of the right pixel unit 140R, and uses a matrix calculation or an inverse problem solving method for the photoelectric conversion signal of the right pixel unit 140R. By performing the signal processing, it is possible to reproduce color information having different wavelength components.
  • the polarization information and the color information of the optical image of the object 1 can be acquired by the optical separation of the polarization component and the wavelength component using the polarization wavelength separation lens 160. That is, according to the image sensor 100, if the first polarization direction is set to 0 ° and 45 ° and the first to third wavelength regions are the three primary colors of R, G, and B, the color image and each color A polarization direction image and a polarization degree image can be acquired at the same time.
  • the image pickup device 100 does not use a filter, the light utilization efficiency can be maximized, and the image pickup sensitivity can be increased as compared with the conventional image pickup device using a two-layer filter array.
  • the image pickup device 100 can acquire color information and polarization information with a simple configuration of only one layer of the polarization wavelength separation lens 160, it is compared with a conventional image pickup device using a two-layer filter array. Since the productivity is excellent and the number of parts is small, the cost can be reduced.
  • the polarized wavelength separation lens 160 is not limited to the above configuration, and may take various forms in terms of number, spacing, structural shape, and arrangement pattern. Further, the microstructures constituting each polarization wavelength separation lens 160 may be connected to each other, or may be embedded in a transparent material.
  • FIGS. 2-1 to 2-3 six pixels are located directly under one polarizing wavelength separation lens 160, but the present invention is not limited to this.
  • the image pickup device 100 may be provided with known components such as a microlens and a light-shielding wall, but since the description thereof is not particularly necessary for understanding the outline of the present embodiment, FIGS. 2-1 to 2-3. I'm omitting it.
  • the polarization wavelength separation lens array 120 is formed on the bottom surface of the independent transparent substrate 170, and faces the pixel array 110 with the transparent layer 150 sandwiched between them. Not limited to this.
  • FIGS. 3-1 to 3-3 are diagrams schematically showing another example of a part of the cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the embodiment.
  • the polarization wavelength separation lens array 120A is formed on the upper surface of the transparent layer 150A formed on the pixel array 110 and faces the pixel array 110. It may be the configuration that is used. This also applies to the following description.
  • FIG. 4 is a plan view of a schematic configuration of a part of the image pickup device according to the first embodiment.
  • 5-1 to 5-3 are cross-sectional views taken along the line AA'of FIG. 6-1 to 6-3 are cross-sectional views taken along the line BB'of FIG.
  • the transparent layer 150 and the polarization wavelength are placed on the pixel array 110.
  • Separation lens arrays 120-1 and 120-2 are laminated.
  • the pixel array 110 is arranged so that the pixels 130 including the photoelectric conversion element form a two-dimensional array.
  • the polarization wavelength separation lens arrays 120-1 and 120-2 are composed of a fine structure pattern formed of a material such as SiN or TiO 2 having a refractive index higher than that of the transparent layer 150.
  • the transparent layer 150 is a transparent layer having a low refractive index made of a material such as air or SiO 2.
  • the three pixels constituting the pixel units 140L-1, 140R-1, 140L-2, 140R-2 in the z-axis in the direction perpendicular to the pixel array surface of the pixel array 110 and parallel to the pixel array 110 An xyz Cartesian coordinate system is set in which the direction in which the 130s are lined up is the x-axis (horizontal direction) and the direction orthogonal to the x-axis is the y-axis (vertical direction). Further, an angle ⁇ with respect to the x-axis is set on the xy plane parallel to the pixel array plane of the pixel array 110.
  • FIG. 4 shows an example in which each pixel of the pixel array 110 has a rectangular shape with the y-axis direction as the long axis, and the sizes of some pixels are different.
  • the arrangement, shape, size, etc. of pixels are not limited to the examples in this figure depending on the element area and spectral performance of the wavelength separation lens 160-1 and the second polarization wavelength separation lens 160-2. That is, it is also possible to adopt a pixel array composed of pixels of the same size.
  • the first polarization wavelength separation lens 160-1 and the second polarization wavelength separation lens 160-2 are generically referred to without distinction, they are referred to as the polarization wavelength separation lens 160.
  • the polarization wavelength separation lens array 120- is provided by the first polarization wavelength separation lens 160-1 that separates and condenses the incident light in the polarization directions parallel to the x-axis direction and the y-axis direction, respectively. 1 is formed.
  • Array 120-2 is formed.
  • the polarization wavelength separation lens array 120-1 and the polarization wavelength separation lens array 120-2 are arranged in a grid pattern on the xy plane.
  • one polarizing wavelength separation lens and a plurality of adjacent pixels existing immediately below it are regarded as one polarizing unit.
  • the first polarizing wavelength separation lens 160-1 and the pixel units 140L-1 and 140R-1 having three adjacent pixels immediately below the first polarizing wavelength separation lens 160-1 are referred to as the first polarizing unit 200-1. do.
  • the second polarization wavelength separation lens 160-2 and the pixel units 140L-2 and 140R-2 having three adjacent pixels immediately below the second polarization wavelength separation lens 160-2 are referred to as a second polarization unit 200-2.
  • the pixel units 140L-1, 140R-1, 140L-2, and 140R-2 are collectively referred to as the pixel unit 140 without distinction.
  • the left pixel unit 140L-1 of the first polarization unit 200-1 having the first polarization wavelength separation lens 160-1 is a 90 ° polarized pixel group
  • the right pixel unit 140R-1 is 0 ° polarized. It is a pixel group.
  • the pixel unit 140L-2 of the second polarization unit 200-2 having the second polarization wavelength separation lens 160-2 is a 45 ° polarized pixel group
  • the right pixel unit 140R-2 is a ⁇ 45 ° polarized pixel group. ..
  • the polarization wavelength separation lenses having the same function are arranged along the x-axis direction, and the first polarization wavelength separation lens 160-1 and the second polarization wavelength separation lens 160 are arranged in the y-axis direction. -2 and are arranged alternately. Further, the first polarization wavelength separation lens 160-1 and the second polarization wavelength separation lens 160-2 have a rectangular shape and have the same area, but the arrangement, shape, size, etc. of the elements are the same. The example is not limited, and various arrangements, shapes, and sizes may be adopted. For example, the first polarization wavelength separation lens 160-1 and the second polarization wavelength separation lens 160-2 may be arranged so as to form a checkered pattern.
  • the image sensor 200 shown in FIGS. 4, 5-1 to 5-3 and 6-1 to 6-3 has a back-illuminated structure that receives light from the opposite side of the wiring layer 180.
  • the structure is not limited to such a structure, and a surface-illuminated structure that receives light from the side of the wiring layer 180 may be provided.
  • the image pickup element 200 includes the pixel array 110 and the first polarization wavelength separation lens 160-1. Alternatively, it operates as an internal microlens between the second polarized wavelength separation lens 160-2 and the light from the first polarization wavelength separation lens 160-1 or the second polarization wavelength separation lens 160-2 is included in the pixel.
  • FIGS. 4, 5-1 to 5-3 and 6-1 to 6-3 can be manufactured by known semiconductor manufacturing techniques.
  • the polarization direction to be separated can be freely changed depending on the configuration of the polarization wavelength separation lens. Further, since the focusing position on each pixel group has a wavelength dependence due to the off-axis lens described later, the wavelength component of the light received by each pixel constituting each pixel group is different.
  • the first polarized wavelength separation lens 160-1 and the second polarized wavelength separation lens 160-2 in which light having a wavelength corresponding to green (G) is focused on the central pixel of each pixel unit 140. Is shown. Therefore, light containing a large amount of the green (G) wavelength component is incident on the central pixel of each pixel unit 140. Light containing a large amount of blue (B) or red (R) wavelength components is incident on the left and right pixels of each pixel unit 140.
  • the right pixel of the pixel unit 140L-1 which is a group of 90 ° polarized pixels, receives light containing a large amount of the wavelength component of B (see FIG. 5-1), and the central pixel is the wavelength component of G. (See FIG. 5-2), and the left pixel receives light containing a large amount of the wavelength component of R (see FIG. 5-3).
  • the signal processing unit 13 applies RGB color information to the three signals including these wavelength information by applying signal processing based on matrix calculation, an inverse problem solving method, or the like (see, for example, Non-Patent Document 3). Extract.
  • the polarization wavelength separation lens 160 in the first embodiment is composed of a fine structure pattern.
  • a microstructure pattern a pattern composed of a plurality of or a single columnar structure (microstructure), a pattern composed of a plurality of or a single pore structure, and the like can be adopted.
  • the interval between the columnar structures is determined by the wavelength of the light to be detected or the wavelength of the incident light in order to suppress unnecessary diffracted light. Short intervals are also desirable.
  • the fine structure pattern in the polarization wavelength separation lens 160 may be embedded in the transparent material of the transparent layer 150.
  • the polarization wavelength separation lens 160 is configured by a plurality of fine columnar structures formed on the surface of an independent transparent substrate.
  • FIG. 7 is a plan view of a columnar structure constituting the polarization wavelength separation lens 160 according to the first embodiment.
  • 8 and 9 are side views of a columnar structure constituting the polarization wavelength separation lens 160 according to the first embodiment.
  • the polarization wavelength separation lens 160 is configured by arranging a plurality of columnar structures 161 illustrated in FIGS. 7 to 9.
  • the columnar structure 161 is formed of a material around the structure or a material having a refractive index n 1 higher than the refractive index n 0 of the space, and the thickness of the structure, that is, the length h in the z-axis direction is constant. .. Further, as shown in FIG. 7, the bottom surface and the upper surface of the columnar structure 161 are quadrangles having a width w 1 in the x-axis direction and a width w 2 in the y-axis direction.
  • the columnar structure 161 operates as an optical waveguide in which light is confined and propagated in the structure due to the difference in refractive index from the material or space around the structure.
  • the phase delay amount ⁇ due to the columnar structure is the wavelength of the light in a vacuum. If ⁇ is set, it is expressed by the equation (1).
  • the refractive index n eff is a function of structural dimensions, and that strong polarization dependence occurs depending on the structural shape.
  • the columnar structure 161 example if it has a rectangular structural cross section as shown in FIG. 7, different refractive indexes n eff can be independently given to orthogonal incident polarized light.
  • the phase delay amount for the polarization component in the horizontal direction (x-axis direction) of FIG. 7 is ⁇ h
  • the phase delay amount for the polarization component in the vertical direction (y-axis direction) is ⁇ v
  • the phase delay amount is ⁇ v for the polarization component in the vertical direction (x-axis direction).
  • the effective refraction rate for the polarization component in the direction (direction) is n effh
  • the effective refraction rate for the polarization component in the vertical direction (y-axis direction) is n effv
  • the refractive index n effh and the refractive index n effv can be controlled by the combination of the width w 1 and the width w 2 , respectively, and n 0 ⁇ n effh ⁇ n 1 and n 0 ⁇ , respectively. It takes a value of n effv ⁇ n 1.
  • the phase delay amount ⁇ h and the phase delay amount ⁇ v can be arbitrarily controlled by the combination of the width w 1 and the width w 2. That is, in the examples shown in FIGS. 7 to 9, by designing the width w 1 and the width w 2 of the columnar structure 161, the phase delay amounts ⁇ h and ⁇ v for each polarization direction are arbitrarily set. Is possible.
  • the imaging element 200 x-axis, depending on the position on the plane of the y-axis, the columnar structure 161 having a width w 1, w 2 that is suitable to place each as a polarization wavelength separation lens 160, the polarization Arbitrary phase delay spatial distribution can be given to the direction, and as a result, arbitrary wavefront control can be performed for each polarization direction.
  • FIG. 10-1 is a diagram showing an example of a side view of the columnar structure of the polarized wavelength separation lens 160 according to the first embodiment.
  • FIG. 10-2 is a view taken along the line C of FIG. 10-1.
  • the columnar structure 161 is formed on the bottom surface of the quartz substrate 172.
  • FIGS. 10-1 and 10-2 are diagrams showing the calculation results of the phase delay characteristics in the columnar structure 161 shown in FIGS. 10-1 and 10-2.
  • FIG. 11 is a heat map showing the value of the phase delay amount for each combination of the width w 1 in the x-axis direction and the width w 2 in the y-axis direction of the columnar structure 161 of the polarizing wavelength separation lens 160 in shades of light.
  • FIG. 11 (1) corresponds to the phase delay amount ⁇ h
  • FIG. 11 (2) corresponds to the phase delay amount ⁇ v.
  • a combination of the width w 1 and the width w 2 of the columnar structure 161 based on the relationship between the width w 1 and the width w 2 , the phase delay amount ⁇ h, and the phase delay amount ⁇ v shown in FIGS. 11 (1) and 11 (2).
  • various combinations of the phase delay amount ⁇ h and the phase delay amount ⁇ v can be realized.
  • FIG. 12 shows the width w 1 in the x-axis direction or the width w 2 in the y-axis direction of the columnar structure 161 for a combination of an arbitrary phase delay amount ⁇ h and a phase delay amount ⁇ v (range of 0 to 2 ⁇ ). It is a heat map expressed in shades. (1) in FIG. 12 corresponds to the x-axis direction width w 1 of the columnar structure 161, in FIG. 12 (2) corresponds to the width w 2 of the y-axis direction of the columnar structure 161. The relationship between each of these widths w 1 and w 2 and the combination of the phase delay amount ⁇ h and the phase delay amount ⁇ v can be obtained from the calculation results shown in FIG. From FIG. 12, the shape and arrangement of the columnar structure 161 may be determined so as to match the phase delay spatial distribution suitable for any wavefront control including the polarization separation function and the off-axis lens function.
  • FIG. 13 is a diagram showing an example of an ideal phase delay space distribution that realizes the polarization wavelength separation lens 160 according to the first embodiment.
  • FIG. 11 shows mapping of the phase delay amount ⁇ h and the phase delay amount ⁇ v on a two-dimensional plane (on the xy plane) according to the equations (2) and (3), respectively.
  • the phase delay amounts ⁇ h and ⁇ v are shown in the range of 0 to 2 ⁇ .
  • the aperture of the lens is 8 ⁇ m in width and 4 ⁇ m in length.
  • FIG. 14 is a diagram showing an arrangement example of the columnar structure 161 constituting the polarization wavelength separation lens 160 in the first embodiment.
  • FIG. 14 is a plan view of a columnar structure constituting the polarizing wavelength separation lens 160.
  • FIG. 14 shows an arrangement example in which the columnar structure 161 is arranged on the xy plane so as to match the ideal phase delay space distribution.
  • An example is shown in which the second polarization wavelength separation lens 160-2, which separates and collects light, is arranged side by side.
  • the second polarization wavelength separation lens 160-2 is obtained by rotating each columnar structure constituting the first polarization wavelength separation lens 160-1 by 45 ° on the xy plane.
  • each columnar structure 161 depending on the position on the xy plane is changed each width w 1 and a width w 2.
  • the columnar structure 161 has a different size on the xy plane, and the size of the columnar structure 161 on the xy plane is such that the light transmitted through the columnar structure is given a different phase delay amount in each polarization direction.
  • the transmitted light is spatially transmitted according to the polarization direction. It is possible to separate the light into different positions and collect light at different positions.
  • the above description is an example, and the combination of the polarization direction and the condensing position can be freely changed depending on the dimensions of each columnar structure.
  • FIG. 15 is a diagram schematically showing the shift of the focusing position when the wavelength changes from the design center wavelength ⁇ 0 to ⁇ in the polarized wavelength separation lens 160.
  • a case where 90 ° polarized light is vertically incident on the first polarized wavelength separation lens 160-1 is shown.
  • the first polarized wavelength separation lens 160-1 directs incident light (wavelength ⁇ 0 + ⁇ ) at each position on the x-axis at an angle ⁇ (x) determined by Eq. (4). ) (See Non-Patent Document 4 for details).
  • the focusing position shift ⁇ x'along the x'axis (the axis perpendicular to the light propagating at the angle ⁇ ) in the figure when the wavelength changes by ⁇ is expressed by the equation (7).
  • the image pickup element 200 has each pixel 130 constituting each pixel unit 140L-1, 140R-1, 140L-2, 140R-2 directly under the polarizing wavelength separation lens by shifting the focusing position depending on the wavelength. It is possible to inject light having different wavelength components with respect to the light.
  • the polarizing wavelength separation lens 160 and the pixel array 110 are used.
  • a lens design may be made in which the distance z f is reduced and the focal length x f along the x-axis is increased.
  • the polarized wavelength separation lens 160 hardly absorbs light in each columnar structure 161 and does not cause unnecessary light diffraction due to an arrangement interval shorter than the wavelength of light. Therefore, according to the image pickup device 200, the incident light is polarized and separated with almost no loss of power, and is focused on the pixel array 110 at a position corresponding to the wavelength, so that the light utilization efficiency is high. Therefore, according to the image sensor 200, the total amount of light reaching the pixel array 110 is dramatically increased as compared with the conventional image sensor in which the light utilization efficiency is greatly limited by the use of the dimming type polarizing filter and the color filter. It can be increased and the image pickup sensitivity can be increased.
  • each columnar structure 161 may be connected, and the same effect can be expected in a pattern composed of a plurality of or a single hole structure.
  • the image pickup device 200 having a polarization separation function and an off-axis lens function can be formed by performing thin film deposition and patterning by a known semiconductor manufacturing technique. Since the polarized wavelength separation lens 160 according to the first embodiment has a simple structure having a fine structure pattern having a constant thickness, it is considered that the manufacturing cost can be reduced. Further, since the polarization wavelength separation lens 160 has only one layer of the fine structure pattern and has the functions of polarization separation and wavelength separation, the image pickup device 200 according to the first embodiment is compared with the conventional image pickup device. It is considered that the number of parts is small and the manufacturing cost can be reduced.
  • FIG. 16-1 is a plan view of the image pickup device 200 as a calculation model.
  • FIG. 16-2 is a cross-sectional view taken along the line DD'of FIG. 16-1.
  • the calculation of the light receiving characteristics of each pixel 130 is based on the strict coupling wave theory, and the two types of the first polarizing unit 200-1 and the second polarizing unit 200-2 shown in the figure are periodically arranged infinitely. Suppose.
  • the first polarization wavelength separation lens 160-1 and the second polarization wavelength separation lens 160-2 are assumed to be configured by the arrangement of the columnar structure 161 shown in FIG. 14, and the distance between the lens and the pixel array is assumed.
  • z f is 6 ⁇ m.
  • the sizes of the pixel units 140L-1, 140R-1, 140L-2, 140R-2 are all 4 ⁇ m square, and the pixel units 140L-1, 140R-1, 140L-2, 140R-2 are all 4 ⁇ m square. It is assumed that it is composed of 3 pixels.
  • the left and right pixels of the three pixels of each pixel unit 140L-1, 140R-1, 140L-2, 140R-2 (for example, pixels L 90 ° , R 90 ° , L 0 ° , R shown in FIG. 16-2).
  • the width w 1 in the x-axis direction is 1.67 ⁇ m
  • the width w 2 in the y-axis direction is 4 ⁇ m.
  • the size of the center pixel (for example, pixels C 90 ° and C 0 ° shown in FIG. 16-2) of the three pixels of each pixel unit 140L-1, 140R-1, 140L-2, 140R-2 is in the x-axis direction.
  • the width w 1 of the above is 0.67 ⁇ m, and the width w 2 in the y-axis direction is 4 ⁇ m.
  • the light receiving area of the central pixels C 90 ° and C 0 ° of each pixel unit 140 is smaller than the light receiving area of the other pixels.
  • the dimensions of each of the above pixels are not limited to this, and can be changed according to the lens design and the required spatial resolution.
  • FIGS. 17 to 20 are diagrams showing the light intensity distribution on the pixel array 110 when light of a predetermined polarization state and a combination of a predetermined wavelength is vertically incident on the image sensor 200 shown in FIG. 16-1. ..
  • the arrangement of the pixel units of FIGS. 17 to 20 is the same as the arrangement of the pixel units 140L-1, 140R-1, 140L-2, 140R-2 shown in FIG. 16-1.
  • 17 to 20 show the light intensity distribution in each pixel unit when light having a wavelength of 430 nm, a wavelength of 520 nm, and a wavelength of 625 nm is vertically incident on the image sensor 200, respectively.
  • FIG. 17 corresponds to the case where the polarization state of the incident light is 0 °
  • FIG. 17 corresponds to the case where the polarization state of the incident light is 0 °
  • FIG. 17 corresponds to the case where the polarization state of the incident light is 0 °
  • FIG. 17 corresponds to the case
  • FIG. 18 corresponds to the case where the polarization state of the incident light is 90 °
  • FIG. 19 shows the case where the polarization state of the incident light is 45 °
  • FIG. 20 corresponds to the case where the polarization state of the incident light is ⁇ 45 °.
  • the light is focused on the pixel unit corresponding to the polarized state, and the focusing position is wavelength-dependent.
  • the input polarization angle when the input polarization angle is 0 °, light is focused on the pixel unit 140R-1 which is a group of 0 ° polarization pixels in the lower right (see FIG. 17), and the input polarization angle is When it is 90 °, light is focused on the pixel unit 140L-1, which is a group of 90 ° polarized pixels at the lower left (see FIG. 18).
  • the input polarization angle is 45 °
  • the light is focused on the pixel unit 140L-2, which is the 45 ° polarization pixel group on the upper left (see FIG. 19), and the input polarization angle is ⁇ 45 °.
  • the light is focused on the pixel unit 140R-2, which is a group of ⁇ 45 ° polarized pixels on the upper right (see FIG. 20).
  • FIG. 21 is a cross-sectional view taken along the line EE, a cross-sectional view taken along the line FF', and a cross-sectional view taken along the line GG'shown in FIG.
  • FIG. 21 shows the light intensity distribution in the cross section of each pixel L 90 ° , C 90 ° , R 90 ° , L 0 ° , C 0 ° , R 0 ° in the pixel units 140L-1 and 140R-1. , It can be said that it shows the light propagation in the first polarized wavelength separation lens 160-1.
  • the polarization state of the incident light is linearly polarized light in the 90 ° direction, and the wavelengths are wavelengths corresponding to RGB (625 nm, 520 nm, 430 nm), respectively.
  • the focusing position is shifted according to the wavelength. Specifically, the wavelength 430 nm corresponding to B is focused on the pixel R 90 ° on the right side of the pixel unit 140L-1, and the wavelength 520 nm corresponding to G is the pixel C in the center of the pixel unit 140L-1. The light is focused at 90 ° , and the wavelength 625 nm corresponding to R is focused on the pixel L 90 ° on the left side of the pixel unit 140L-1. This shift in the focusing position coincides with the behavior predicted from the equation (7).
  • FIG. 22 is a diagram showing a wavelength spectrum received by the pixels of the pixel unit according to the first embodiment when linearly polarized light in the 90 ° direction is incident.
  • (1) of FIG. 22 shows the wavelength spectrum received by each pixel of the pixel unit 140L-1 which is a group of 90 ° polarized pixels
  • (2) of FIG. 22 shows the wavelength spectrum of the pixel unit 140R- which is a group of 0 ° polarized pixels.
  • the wavelength spectrum received by each pixel of FIG. 1 is shown
  • FIG. 22 (3) shows the wavelength spectrum received by each pixel of the pixel unit 140L-2 which is a group of 45 ° polarized pixels
  • FIG. 22 (4) shows the wavelength spectrum received by each pixel.
  • the wavelength spectrum received by each pixel of the pixel unit 140R-2 which is a group of ⁇ 45 ° polarized pixels, is shown.
  • the light receiving intensity of the pixel unit 140L-1 which is a group of 90 ° polarized pixels corresponding to incident polarized light, is the highest, and as shown in FIG. 22 (2), 0 ° polarized pixels. It can be seen that the light receiving intensity of the group of pixel units 140R-1 is the lowest. As described above, in the image sensor 200, the polarization separation function of the polarization wavelength separation lens 160 could be confirmed. As shown in FIGS. 22 (3) and 22 (4), the pixel unit 140L-2 which is a 45 ° polarized pixel group and the pixel unit 140R-2 which is a ⁇ 45 ° polarized pixel group are 90 ° by vector decomposition. The light receiving intensity is about half that of the polarized pixel group.
  • each pixel unit 140L-1, 140R-1, 140L-2, 140R-2 are significantly different for each pixel.
  • the left pixel L 90 ° has a peak at the wavelength corresponding to R.
  • the central pixel C 90 ° has a peak at the wavelength corresponding to G, and the right pixel R 90 ° has a peak at the wavelength corresponding to B.
  • the image pickup apparatus 10 can accurately extract color information from the difference in wavelength spectrum of these light receiving sensitivities by using signal processing described later.
  • FIG. 23 is a diagram showing another example of the wavelength spectrum received by each pixel of the pixel unit according to the first embodiment when linearly polarized light in the 90 ° direction is incident.
  • FIG. 23 shows a wavelength spectrum in which each pixel receives light when the light receiving areas of the three pixels constituting each pixel unit are the same.
  • the pixel size of each pixel is 1.33 ⁇ m in the width w 1 in the x-axis direction and 4 ⁇ m in the width w 2 in the y-axis direction.
  • FIG. 23 (1) shows a wavelength spectrum received by each pixel of the 90 ° polarized pixel group
  • FIG. 23 (2) shows a wavelength spectrum received by each pixel of the 0 ° polarized pixel group.
  • FIG. 23. (3) shows the wavelength spectrum received by each pixel of the 45 ° polarized pixel group
  • FIG. 23 (4) shows the wavelength spectrum received by each pixel of the ⁇ 45 ° polarized pixel group.
  • the width of the center pixel (condensing position at the lens design wavelength) is smaller in the pixel unit where the width of the center pixel in the x-axis direction is smaller than that of the left and right pixels, so it depends on the wavelength. This is because adjacent left and right pixels can easily receive light whose light collection position has been shifted.
  • the steeper the wavelength spectral shape the easier it is to improve the accuracy of color reconstruction, and the more resistant it is to signal noise. Therefore, in the first embodiment, it is more preferable that the size of the pixel corresponding to the condensing position at the design wavelength is relatively smaller than that of the other pixels.
  • the image pickup device 200 when the average value of the total amount of light reaching all the pixels of the image sensor 200 in the visible light region (wavelength 400 nm to 700 nm) is calculated based on the light receiving spectrum shown in FIG. 22 or FIG. 23, it is about 80% of the incident light amount. there were. That is, the image pickup device 200 according to the first embodiment can realize a light utilization efficiency that is nearly five times higher than the maximum value of the light utilization efficiency of a polarized color image pickup device using a conventional filter.
  • RGB signal value vector consisting of the RGB values to be obtained is Y
  • the acquired signal value vector consisting of the acquired signal values of 3 pixels is X
  • the transformation matrix is A (3 ⁇ 3)
  • the RGB signal value vector Y is an equation. It can be described in (8).
  • the transformation matrix A In order to determine the transformation matrix A, it is sufficient to obtain the wavelength spectrum that defines RGB and the wavelength spectrum that the three pixels actually receive, to reduce the conversion error by using the least squares method, the regularization method, or the like.
  • the conversion matrix A once obtained can be used when converting the acquired signal value vector X into the RGB signal value vector Y according to the equation (8).
  • the wavelength spectrum ⁇ of the incident light from the equation (9) By solving the wavelength spectrum ⁇ of the incident light from the equation (9) as an inverse problem from the acquired signal value vector X, the wavelength spectrum of the incident light can be estimated, and the RGB value can be obtained from the wavelength spectrum. ..
  • the steepest descent method As a method of solving the inverse problem, the steepest descent method can be used.
  • the image sensor 200 can collect the light flux from the image pickup target at different positions on the pixel array 110 according to its polarization direction and wavelength component, and each of them can be focused. By using the photoelectric conversion signal from the pixel, it is possible to generate a color image and a polarized image in one imaging.
  • FIG. 24 is a diagram schematically showing a part of a cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the second embodiment.
  • the image sensor 300 according to the second embodiment is located between the pixel array 110 and the polarization wavelength separation lens array 120, that is, the pixel array, as compared with the image sensor 200 according to the first embodiment.
  • a polarizing filter 310 corresponding to each polarization direction is arranged above each pixel unit of 110.
  • the polarizing filter 310 is composed of a metal wire grid, a photonic crystal, or the like, and can be realized by a known technique.
  • the image sensor 300 has the same components as the image sensor 200.
  • the incident light is polarized and separated by the polarizing wavelength separation lens 160, and then filtered by the polarizing filter 310 directly above the pixel unit.
  • the corresponding polarization direction of the pixel unit located directly below the polarizing filter 310 is aligned with the polarization transmission axis of the polarizing filter 310.
  • the image sensor 300 according to the second embodiment can realize the same function as the function described in the first embodiment, and can obtain the following two new effects.
  • the image sensor 300 has the effect of significantly reducing crosstalk in the polarizing filter 310.
  • two focusing points consisting of each polarized light component focused at different positions on the pixel array 110 are generated in the same polarizing unit.
  • the condensing point since the condensing point has a spread, there is a concern that light overlap (crosstalk) may occur near the boundary between two adjacent pixel groups in the same polarizing unit. This overlap of light may lead to deterioration of the polarization extinction ratio and an error in extracting color information.
  • crosstalk crosstalk
  • the image pickup device 300 adopting the combined configuration of the polarizing filter 310 can guide light to each pixel unit in a state where components other than the desired polarizing component are cut, so that the pixels. The overlap of light near the boundary of the unit can be completely removed.
  • the image sensor 300 has the effect of improving the polarization extinction ratio.
  • the image pickup device 200 according to the first embodiment, there is a possibility that the extinction ratio of the polarizing component cannot be sufficiently secured at the time of polarization separation due to the influence of the design of the polarization wavelength separation lens 160 or the manufacturing error.
  • the image sensor 300 that employs the combined configuration of the polarizing filter 310 performs double polarization filtering by the polarizing wavelength separation lens 160 and the polarizing filter 310, and can improve the extinction ratio.
  • the above two effects can be obtained while maintaining high light utilization efficiency. This is because the image pickup device 300 performs polarization filtering after polarization separation, so that the total amount of light reaching the pixel array 110 is hardly reduced.
  • the image sensor 300 according to the second embodiment can realize the same function as that of the first embodiment.
  • the image pickup device 300 has the effect of significantly reducing crosstalk in the polarizing unit.
  • the image pickup device 300 has an effect that the polarization extinction ratio at the time of polarization separation can be improved.
  • the second embodiment is the same as the first embodiment except that the polarizing filter 310 is used in combination, and has the same effects as those described in the first embodiment, and the same changes can be made. ..
  • FIG. 25 is a diagram schematically showing another example of a part of the cross section of the pixel array and the polarization wavelength separation lens array of the image pickup device according to the second embodiment.
  • the polarization wavelength separation lens array 120A is formed on the upper surface of the transparent layer 150A formed on the pixel array 110 and faces the pixel array 110. It may be the configuration that is used. In this case, the polarizing filter 310 may be arranged in the transparent layer 150.
  • the present invention is not limited thereto.
  • the material of the polarizing wavelength separation lens 160 is SiN.
  • Materials such as SiC, TiO 2 , and GaN are suitable because they have a high refractive index and low absorption loss.
  • the image pickup devices 100, 100A, 200, 300, and 300A are used in the near-infrared light region having a wavelength in the range of 800 to 1000 nm, they are used as a material for the polarizing wavelength separation lens 160 having low loss for these lights.
  • Materials such as Si, SiC, SiN, TiO 2 , GaAs, and GaN are suitable.
  • InP or the like can be used as a material of the polarizing wavelength separation lens 160 in addition to the above-mentioned materials.
  • a polyimide such as a fluorinated polyimide, a BCB (benzocyclobutene), a photocurable resin, a UV epoxy resin, and an acrylic resin such as PMMA are used.
  • Polymers such as general resists are mentioned as materials.
  • the transparent layers 150 and 150A have a refractive index lower than that of the material of the polarization wavelength separation lens 160, such as a general glass material, SiO 2 , and an air layer, and have a low loss with respect to the wavelength of incident light. That's enough.
  • the transparent layers 150 and 150A may be transparent layers having a laminated structure made of a plurality of materials.
  • the polarized light component separated by the polarized wavelength separation lens 160 is linearly polarized light having directions of 0 °, 45 °, 90 °, and ⁇ 45 ° with respect to an arbitrary axis.
  • it is not limited to this.
  • the structure may be such that the separation of the linearly polarized light component and the separation of the circularly polarized light component are mixed.
  • three polarizing units (two are linearly polarized light components) each having a function of separating linearly polarized light having directions of 0 °, 45 °, 90 °, and ⁇ 45 and a function of separating clockwise and counterclockwise circularly polarized light components (two are linearly polarized light components). Is a unit, and one is a unit that separates circularly polarized light components.)).
  • all the Stokes parameters describing the polarization state can be derived, so that the polarization state of the image pickup target can be completely acquired.
  • Imaging device 11 Lens optical system 12,100,100A, 200,300,300A Imaging element 13
  • Signal processing unit 110 pixel array 120, 120A, 120-1,120-2 Polarized wavelength separation lens array 130 pixels 140, 140L , 140R, 140L-1, 140R-1, 140L-2, 140R-2 Pixel unit 150, 150A Transparent layer 160 Polarized wavelength separation lens 160-1 First polarization wavelength separation lens 160-2 Second polarization wavelength separation lens 161

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Filters (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Polarising Elements (AREA)

Abstract

撮像素子（１００）は、光電変換素子を含む画素（１３０）が２次元アレイ状に複数配列された画素アレイ（１１０）と、画素アレイ（１１０）と対向して配置され、入射光を該入射光の偏光方向及び波長成分に応じて画素アレイ（１１０）上の異なる位置に集光する複数の微細構造体からなる偏光波長分離レンズ（１６０）が２次元アレイ状に配列された偏光波長分離レンズアレイ（１２０）と、を有する。

Description

撮像素子及び撮像装置
　本発明は、撮像素子及び撮像装置に関する。
　一般的な撮像装置は、レンズ光学系と、ＣＣＤ（Charge　Coupled　Device）センサやＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）センサなどの２次元撮像素子とを用いて、撮像対象からの光の強度情報と色情報からなる２次元画像を取得する。
　この場合、撮像素子上において、撮像対象の色情報を取得するには、光電変換素子を含む各画素上で入射光の色分離を行う必要がある。一般のカラー撮像素子では、有機材料または無機材料からなる減色型のカラーフィルタが、各画素に対向して配置される。一般のカラー撮像素子は、カラーフィルタを用いて、所望の波長帯の光のみを透過させ、不要な波長帯の光を吸収または反射させることで、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各信号を取得し、色情報をもつ２次元画像を生成することができる。
　近年では、上記の色情報に加えて、偏光情報を有する２次元画像の取得を可能にする偏光カラー撮像素子が活発に研究開発されている。光の偏光情報には、物体表面の形状や材料の状態に関する情報など、光の強度と色だけでは取得不可能な有益な情報が含まれているためである。
　偏光カラー撮像素子は、結像面上の任意の１軸を基準にして、０°、４５°、９０°、－４５°のそれぞれの直線偏光方向成分の光強度を取得する。これによって、偏光カラー撮像素子は、偏光状態を記述するストークスパラメータのうち３つのパラメータを得ることができ、色情報に加えて、偏光方向及び偏光度の情報を得る。画像処理装置は、色情報、偏光方向及び偏光度の情報を有する画像を生成することによって、物体表面形状の推定、材料の応力状態の取得、物体認識等の応用を行うことが可能になる。特に近年では、車載カメラ、ＩｏＴ（Internet　of　Things）デバイス、医療用デバイス等において、多次元の光情報を取得するために、簡易に作製でき、かつ、高感度な偏光カラー撮像素子の実現が期待されている。
　偏光カラー撮像素子の実現方法として、微細加工技術を利用した方法が提案されている（例えば、非特許文献１参照）。非特許文献１に記載の方法は、偏光透過軸が異なる複数の金属ワイヤーグリッド偏光フィルタをセンサの各画素上に集積することによって、４つの異なる偏光方向を画素毎に取得する。
　図２６は、従来の偏光カラー撮像素子の構成の概略を説明する図である。図２７は、従来の偏光カラー撮像素子の断面図の一部を示す図である。図２６及び図２７に示すように、従来の偏光カラー撮像素子は、減光型（吸収型）の偏光フィルタ４４０と従来のカラーフィルタ４５０とをカスケードに並べて集積することによって、撮像対象の色情報と偏光情報とを含む２次元画像（偏光カラー画像）を取得する。なお、図２７に例示した従来の偏光カラー撮像素子は、マイクロレンズ４２０と、配線層４１２及び２次元アレイ状に配列された光電変換素子を含む画素４１１を有する画素アレイ４１０と、の間の透明層４３０内に、偏光フィルタ４４０とカラーフィルタ４５０とを有する。
　そして、同様の手法として、微細構造からなる波長板と偏光フィルタとをセンサ上に集積する方法やフォトニック結晶による偏光フィルタアレイをセンサ上に集積する方法が提案されている。
　しかしながら、上述した従来の偏光カラー撮像素子では、センサに入射した光が２層のフィルタアレイを透過した後に各画素に到達するため、総受光量が、入射光量の１／２×１／３＝１／６程度になってしまう。これは、偏光フィルタでは、透過軸に平行な偏光方向の光のみが透過するため、最大でも入射光量の１／２のみが透過し、カラーフィルタでは、Ｒ、Ｇ、Ｂのいずれかに対応する波長バンドの光のみが透過するため、入射光量の１／３程度のみが透過するためである。このように失われた残りの光は、各フィルタによる吸収または反射による損失であり、画像の構成に利用することができない。
　したがって、従来の偏光カラー撮像素子の光利用効率は、最大でも～１７％程度となり、その感度は大きく制限されている。そして、偏光カラー撮像素子の適用先として有望な車載カメラやＩｏＴデバイスでは、一般的に、撮像に使用可能な光量が制限されており、さらに近年のセンサ画素微細化（画像の高解像度化）により、１画素の受ける光量が必然的に低下している。このため、車載カメラやＩｏＴデバイスに偏光カラー撮像素子を搭載するためには、上記に示す偏光カラー撮像素子の感度劣化を改善することが求められている。さらに、従来の偏光カラー撮像素子は、製造方法及び組成材料が全く異なる２層のフィルタアレイを画素上に積層させる必要があるため、一般的なカラー撮像素子に比べて製造工程が増え、製造コストが上昇してしまう。
　そこで、近年、偏光フィルタの代わりに、入射光を偏光方向に応じて分岐することが可能な微細構造からなる偏光素子を用いた偏光撮像素子が提案されている（例えば、非特許文献２参照）。非特許文献２に記載の偏光撮像素子は、偏光素子を、入射光を偏光成分毎に分離することが可能な微細構造とすることによって、偏光情報抽出における光損失を原理的になくし、光利用効率を向上させている。
　図２８は、従来の偏光撮像素子の断面図の一部を示す図である。図２８に示すように、画素アレイ４１０の画素に対応して透明基板５７０の底面に配置された微細構造パターン５６０によって、入射光は偏光方向に応じて左右に分離し、直下の異なる画素４１１に集光する。図２８に示す偏光撮像素子では、微細構造パターン５６０が、各構造がもつ実効的な複屈折効果とその空間的な配置により、偏光方向に応じて異なる集光位置をもつ偏光分離レンズとして機能する。したがって、図２８に示す偏光撮像素子は、２次元画素アレイ上に、０°及び９０°の直線偏光方向成分を分離する微細構造パターン、及び、４５°及び１３５°の直線偏光方向成分を分離する微細構造パターンを行毎に交互に配置することによって、互いに隣接する４つの画素はそれぞれ異なる偏光成分をもつ光を受けることが可能になる。
　また、カラーフィルタの代わりに、入射光を波長領域に応じて分岐することが可能な微細構造からなる分光素子を用いたカラー撮像素子も提案されている（例えば、非特許文献３参照）。非特許文献３では、入射光を波長領域毎に分離することが可能な微細構造を用いることで、色情報抽出における光損失を原理的になくし、光利用効率を向上させる方法が記載されている。
　図２９は、従来のカラー撮像素子の断面図の一部を示す図である。図２９に示すように、非特許文献３に記載のカラー撮像素子は、画素に対応して配置された微細構造パターン６６０によって、入射光が波長領域（ＲＧＢの３色）に応じて３方向に分離し、直下の異なる画素４１１に集光する。微細構造パターン６６０が、各微細構造が有する波長に依存した実効的な光位相遅延効果とその空間的な配置により、波長領域に応じて異なる偏向方向をもつカラースプリッタとして機能するためである。
　したがって、図２９に示すカラー撮像素子では、２次元画素アレイ上に、微細構造パターン６６０からなるカラースプリッタを配置することで、１軸方向に互いに隣接する３つの画素が、それぞれ異なる波長成分の光を受光することが可能になる。この場合、画像処理装置は、各光電変換素子から出力される光電変換信号に対し、行列演算や逆問題解法を用いた信号処理によって色情報を再生することで、色画像を生成することができる。
V.　Gruev,　R.　Perkins,　and　T.　York,　"CCD　polarization　imaging　sensor　with　aluminum　nanowire　optical　filters",　Opt.　Express　18,　19087－19094　(2010). E.　Arbabi,　S.　M.　Kamali,　A.　Arbabi,　and　A.　Faraon,　"Full-Stokes　Imaging　Polarimetry　Using　Dielectric　Metasurfaces",　ACS　Photonics　5,　3132－3140　(2018). M.　Miyata,　M.　Nakajima,　and　T.　Hashimoto,　"High-Sensitivity　Color　Imaging　Using　Pixel-Scale　Color　Splitters　Based　on　Dielectric　Metasurfaces",　ACS　Photonics　6,　1442－1450　(2019). M.　Khorasaninejad,　W.　T.　Chen,　A.　Y.　Zhu,　J.　Oh,　R.　C.　Devlin,　D.　Rousso,　and　F.　Capasso,　"Multispectral　Chiral　Imaging　with　a　Metalens",　Nano　Lett.　16,　4595－4600　(2016).
　しかしながら、非特許文献２，３に記載の方法を用いて偏光カラー撮像素子を実現するためには、上記のように、カラーフィルタまたは偏光フィルタを併用することが必須である。したがって、非特許文献２，３に記載の方法では、少なくともカラーフィルタまたは偏光フィルタによる光損失が存在するため、総受光量の増加効果は限定的である。また、非特許文献２，３に記載の方法では、少なくとも１層のフィルタ層と１層の偏光分離層及び／または色分離層を画素上に積層させる必要があるため、２層のフィルタアレイを用いた場合と同様に、一般的なカラー撮像素子に比べて製造工程が増え、製造コストが上昇してしまうという課題がある。
　また、非特許文献２，３に記載の偏光分離レンズ及びカラースプリッタをカスケードに積層して、総受光量の増加効果を最大化した偏光カラー撮像素子構成も考え得る。しかしながら、この構成では、上記と同様に、２層の偏光分離層及び色分離層が必須となるため、一般的なカラー撮像素子に比べて製造工程が増え、製造コストが上昇してしまう。また、双方の素子ともに、光を偏向して光成分を分離するため、前段素子による光偏向の影響（光入射角や出射角など）を厳密に考慮した後段素子の最適化設計や画素配置を新たに行う必要があり、現時点での実現性に乏しい。
　本発明は、上記に鑑みてなされたものであって、簡易な構成であるとともに高精度にカラー画像及び偏光画像を生成することが可能である撮像素子及び撮像装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る撮像素子は、光電変換素子を含む画素が２次元アレイ状に複数配列された画素アレイと、画素アレイと対向して配置され、入射光を該入射光の偏光方向及び波長成分に応じて画素アレイ上の異なる位置に集光する複数の微細構造体からなる分光素子が２次元アレイ状に配列された分光素子アレイと、を有することを特徴とする。
　また、本発明に係る撮像装置は、上記記載の撮像素子と、撮像素子の撮像面に光学像を形成するための撮像光学系と、撮像素子が出力する電気信号を処理し、偏光画像及びカラー画像を生成する信号処理部と、を有することを特徴とする。
　本発明によれば、簡易な構成であるとともに高精度にカラー画像及び偏光画像を生成することが可能である撮像素子及び撮像装置を提供することができる。
図１は、実施の形態に係る撮像装置の概略構成を示した側面図である。 図２－１は、実施の形態に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部を模式的に示す図である。 図２－２は、実施の形態に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部を模式的に示す図である。 図２－３は、実施の形態に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部を模式的に示す図である。 図３－１は、実施の形態に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部の他の例を模式的に示す図である。 図３－２は、実施の形態に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部の他の例を模式的に示す図である。 図３－３は、実施の形態に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部の他の例を模式的に示す図である。 図４は、実施の形態１に係る撮像素子の一部の概略構成の平面図である。 図５－１は、図４のＡ－Ａ´線断面図である。 図５－２は、図４のＡ－Ａ´線断面図である。 図５－３は、図４のＡ－Ａ´線断面図である。 図６－１は、図４のＢ－Ｂ´線断面図である。 図６－２は、図４のＢ－Ｂ´線断面図である。 図６－３は、図４のＢ－Ｂ´線断面図である。 図７は、実施の形態１における偏光波長分離レンズを構成する柱状構造の平面図である。 図８は、実施の形態１における偏光波長分離レンズを構成する柱状構造の側面図である。 図９は、実施の形態１における偏光波長分離レンズを構成する柱状構造の側面図である。 図１０－１は、実施の形態１における偏光波長分離レンズの柱状構造の側面図の一例を示す図である。 図１０－２は、図１０－１のＣ矢視図である。 図１１は、図１０－１及び図１０－２に示す柱状構造における位相遅延特性の計算結果を示す図である。 図１２は、図１０－１及び図１０－２に示す柱状構造における位相遅延特性の計算結果を示す図である。 図１３は、実施の形態１における偏光波長分離レンズを実現する理想的な位相遅延空間分布の一例を示す図である。 図１４は、実施の形態１における偏光波長分離レンズを構成する柱状構造の配置例を示す図である。 図１５は、偏光波長分離レンズにおいて、設計中心波長λ０から波長がΔλ変化した場合における集光位置のシフトを模式的に示す図である。 図１６－１は、計算モデルとなる撮像素子の平面図である。 図１６－２は、図１６－１のＤ－Ｄ´線断面図である。 図１７は、図１６－１に示す撮像素子に、所定の偏光状態及び所定の波長の組み合わせの光を垂直に入射した場合の画素アレイ上における光強度分布を示す図である。 図１８は、図１６－１に示す撮像素子に、所定の偏光状態及び所定の波長の組み合わせの光を垂直に入射した場合の画素アレイ上における光強度分布を示す図である。 図１９は、図１６－１に示す撮像素子に、所定の偏光状態及び所定の波長の組み合わせの光を垂直に入射した場合の画素アレイ上における光強度分布を示す図である。 図２０は、図１６－１に示す撮像素子に、所定の偏光状態及び所定の波長の組み合わせの光を垂直に入射した場合の画素アレイ上における光強度分布を示す図である。 図２１は、図１８に示すＥ－Ｅ´線断面図、Ｆ－Ｆ´線断面図及びＧ－Ｇ´線断面図である。 図２２は、９０°方向の直線偏光を入射した際に、実施の形態１における画素ユニットの画素が受光する波長スペクトルを示す図である。 図２３は、９０°方向の直線偏光を入射した際に、実施の形態１における画素ユニットの各画素が受光する波長スペクトルの他の例を示す図である。 図２４は、実施の形態２に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部を模式的に示す図である。 図２５は、実施の形態２に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部の他の例を模式的に示す図である。 図２６は、従来の偏光カラー撮像素子の構成の概略を説明する図である。 図２７は、従来の偏光カラー撮像素子の断面図の一部を示す図である。 図２８は、従来の偏光撮像素子の断面図の一部を示す図である。 図２９は、従来のカラー撮像素子の断面図の一部を示す図である。
　以下、本発明を実施するための最良の形態を図面とともに詳細に説明する。なお、以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎず、したがって、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［実施の形態］
［撮像装置］
　まず、本発明の実施の形態に係る撮像装置について説明する。図１は、実施の形態に係る撮像装置の概略構成を示した側面図である。
　図１に示すように、実施の形態に係る撮像装置１０は、レンズ光学系１１、撮像素子１２及び信号処理部１３を有する。レンズ光学系１１は、ＣＣＤやＣＭＯＳ等の光電変換素子を有する。信号処理部１３は、撮像素子１２から出力される光電変換信号を処理して画像信号を生成する。
　自然光や照明光等の光が物体１に照射され、物体１により透過／反射／散乱した光、または、物体１から発する光は、レンズ光学系１１により撮像素子１２上に光学像を形成する。一般に、レンズ光学系１１は、様々な光学収差を補正するため、光軸に沿って並んだ複数のレンズからなるレンズ群により構成されるが、図１では図面を簡略化して単一のレンズとして示している。信号処理部１３は、生成した画像信号を外部に送出する画像信号出力を有する。
　なお、撮像装置１０は、赤外光カットの光学フィルタ、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は、本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、実施の形態では、レンズ光学系１１、撮像素子１２、信号処理部１３を除く構成要素として、公知の要素を適切に組み合わせて用いることができる。
［撮像素子］
　続いて、実施の形態に係る撮像素子１２の概略を説明する。実施の形態に係る撮像素子１２は、光電変換素子を含む画素が２次元アレイ状に複数配列された画素アレイと、偏光波長分離レンズ（分光素子）が２次元状に複数配列された偏光波長分離レンズアレイ（分光素子アレイ）とを有する。図２－１～図２－３は、実施の形態に係る撮像素子の画素アレイ及び偏光波長分離アレイの断面の一部を模式的に示す図である。図２－１～図２－３では、撮像素子１２の一部を、撮像素子１００として説明する。
　図２－１～図２－３は、撮像素子１００に、無偏光、かつ、異なる波長λの光がそれぞれセンサに入射した場合を示している。実施の形態に係る撮像素子１００は、偏光波長分離レンズアレイ１２０が、画素アレイ１１０と対向しており、レンズ光学系１１からの光が入射する側に配置されている。偏光波長分離レンズアレイ１２０は、透明基板１７０の底面に２次元アレイ状に配列された各偏光波長分離レンズ１６０によって構成される。画素アレイ１１０は、配線層１８０と、２次元アレイ状に配列された光電変換素子を含む画素１３０とを有する。
　各偏光波長分離レンズ１６０は、入射光を該入射光の偏光方向及び波長成分に応じて画素アレイ１１０上の異なる位置に集光する、厚み（図中ｚ軸方向の長さ）が一定の複数の微細構造体からなる。微細構造体の設計波長はλ０に設定されている。図２－１は、波長λ（＜λ０）の入射光が撮像素子１００に入射した場合を示し、図２－２は、波長λ（＝λ０）の入射光が撮像素子１００に入射した場合を示し、図２－３は、波長λ（＞λ０）の入射光が撮像素子１００に入射した場合を示す。
　図２－１～図２－３の例では、偏光波長分離レンズ１６０は、撮像素子１００に入射する光の偏光方向を、任意に決定される第１の偏光方向（方向Ｙ１参照）と、それに直交する第２の偏光方向（方向Ｙ２参照）とに分離する。また、偏光波長分離レンズ１６０は、撮像素子１００に入射する光を、波長領域毎に、第１の波長領域、第２の波長領域、第３の波長領域に分類する。なお、第１から第３の波長領域の組み合わせは、一般に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色であるが、これに限定されない。また、用途に応じて、波長領域の分類数を増やしても減らしてもよい。
　偏光波長分離レンズ１６０は、後述する偏光波長分離レンズ１６０の微細構造に起因する偏光に依存した位相遅延効果と、その構造寸法依存性とを利用することで、図２－１～図２－３に示すように、入射した光の伝搬方向を、第１の偏光方向と第２の偏光方向とに応じて変化させて偏光成分毎に空間的に分離し、かつ、それら分離した光を波長帯域に応じて画素アレイ１１０上の異なる位置に導く偏光分離機能を有する。さらに、この偏光波長分離レンズ１６０は、偏心（ｏｆｆ－ａｘｉｓ）レンズ機能を有しており、偏光方向に応じて分離した光を画素アレイ１１０上の異なる位置に集光することができ、かつ、後述するようにその集光位置は波長に応じてシフトする。
　すなわち、偏光波長分離レンズ１６０は、偏光分離機能とｏｆｆ－ａｘｉｓレンズ機能により、偏光分離と波長分離との機能を併せ持つ。したがって、偏光波長分離レンズ１６０に入射した光は、総光量を減らすことなく、偏光方向及び波長成分に応じて、画素アレイ１１０上の異なる位置にそれぞれ集光する。
　具体的には、図２－１に示す例の場合、偏光波長分離レンズ１６０と画素アレイ１１０とのｚ軸方向の距離ｚｆを適切に設定することで、偏光波長分離レンズ１６０の直下に位置する図中左側の３画素からなる画素ユニット１４０Ｌ（第１の画素ユニット）は第１の偏光方向の光をのみを受光し、図中右側の３画素からなる画素ユニット１４０Ｒ（第２の画素ユニット）は第２の偏光方向の光をのみを受光する。画素ユニット１４０Ｌは、偏光波長分離レンズ１６０に入射した光のうち第１の偏光方向の偏光成分が集光する位置に配置され、画素ユニット１４０Ｒは、偏光波長分離レンズ１６０に入射した光のうち第２の偏光方向の偏光成分が集光する位置に配置される。
　さらに、集光位置の波長依存性により、左側の画素ユニット１４０Ｌの各画素がそれぞれ受光する波長成分は互いに異なる。同様に、右側の画素ユニット１４０Ｒの各画素がそれぞれ受光する波長成分は互いに異なる。各画素ユニット１４０Ｌ，１４０Ｒの各画素は、集光位置の波長依存性に応じて配置位置が設定される。また、後述するように、各画素ユニット１４０Ｌ，１４０Ｒの各画素は、集光位置の波長依存性に応じて受光面積が設定される。
　各画素１３０に光が入射すると、光電変換素子によって、入射した光の強度に応じた電気信号（光電変換信号）が出力される。したがって、信号処理部１３は、左側の画素ユニット１４０Ｌの光電変換信号からは、第１の偏光方向成分を抽出でき、かつ、左側の画素ユニット１４０Ｌの光電変換信号に行列演算や逆問題解法を用いた信号処理を行うことによって、波長成分が異なる色情報を再生することができる。同様に、信号処理部１３は、右側の画素ユニット１４０Ｒの光電変換信号からは第２の偏光方向成分を抽出でき、かつ、右側の画素ユニット１４０Ｒの光電変換信号に行列演算や逆問題解法を用いた信号処理を行うことで、波長成分が異なる色情報を再生することができる。
［実施の形態の効果］
　このように、撮像素子１００は、偏光波長分離レンズ１６０及び偏光波長分離レンズ１６０に対応した複数の画素が、２次元状に配置されているため、レンズ光学系１１により形成される物体１の光学像の偏光情報及び色情報を同時に取得することができる。また、偏光波長分離レンズ１６０が分離する第１の偏光方向及び第２の偏光方向を偏光波長分離レンズ１６０毎に任意に設定することで、様々な偏光方向成分の情報を画素アレイ１１０上で一度に取得できる。
　実施の形態に係る撮像素子１００によれば、偏光波長分離レンズ１６０を用いた偏光成分及び波長成分の光分離により、物体１の光学像の偏光情報及び色情報を取得することができる。すなわち、撮像素子１００によれば、第１の偏光方向を０°及び４５°に設定し、第１から第３の波長領域をＲ、Ｇ、Ｂの３原色とすれば、カラー画像、各色の偏光方向画像、偏光度画像を同時に取得することができる。
　また、撮像素子１００は、フィルタを用いないため、光利用効率を最大化でき、２層のフィルタアレイを用いた従来の撮像素子と比較して、撮像感度を高めることが可能となる。
　さらに、撮像素子１００は、１層の偏光波長分離レンズ１６０のみの簡易な構成で、色情報と偏光情報とを取得できるため、２層のフィルタアレイを用いた従来の撮像素子と比して、生産性が優れるとともに、部品点数が少なく済むため、コストの低減を図ることができる。
　なお、偏光波長分離レンズ１６０は、上記の構成に制限されることはなく、数や間隔、構造形状、配列パターンにおいて様々な形態をとり得る。また、各偏光波長分離レンズ１６０を構成する微細構造体は、それぞれが接続されていてもよく、また透明材料内に埋め込まれた形態でもよい。
　また、図２－１～図２－３では、１つの偏光波長分離レンズ１６０の直下に６つの画素が位置しているが、これに限定されない。また、撮像素子１００は、マイクロレンズや遮光壁などの公知の構成要素を備え得るが、それらの説明は本実施の形態の概略の理解に特に必要でないため、図２－１～図２－３では省略している。
　また、図２－１～図２－３では、偏光波長分離レンズアレイ１２０が独立した透明基板１７０の底面に形成されており、透明層１５０を挟む形で画素アレイ１１０と対向しているが、これに限らない。
　図３－１～図３－３は、実施の形態に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部の他の例を模式的に示す図である。例えば、図３－１~図３－３の撮像素子１００Ａに示すように、偏光波長分離レンズアレイ１２０Ａが、画素アレイ１１０上に形成された透明層１５０Ａの上面に形成され、画素アレイ１１０と対向している構成でもよい。これは、以下の説明においても同様である。
　以下、図面を参照しながら、具体的に本実施の形態を説明する。
［実施の形態１］
　以下、実施の形態１に係る撮像素子の構成の概略について説明する。
［撮像素子の構成］
　図４は、実施の形態１に係る撮像素子の一部の概略構成の平面図である。図５－１～図５－３は、図４のＡ－Ａ´線断面図である。図６－１～図６－３は、図４のＢ－Ｂ´線断面図である。
　図４、図５－１～図５－３及び図６－１～図６－３に示すように、実施の形態１に係る撮像素子２００では、画素アレイ１１０上に、透明層１５０及び偏光波長分離レンズアレイ１２０－１，１２０－２が積層されている。画素アレイ１１０は、光電変換素子を含む画素１３０が２次元アレイ状になるように配列される。偏光波長分離レンズアレイ１２０－１，１２０－２は、透明層１５０の屈折率よりも高い屈折率を有するＳｉＮやＴｉＯ２等の材料から形成された微細構造パターンからなる。透明層１５０は、空気またはＳｉＯ２等の材料からなる低屈折率の透明層である。
　便宜上、以下の説明において、画素アレイ１１０の画素配列面に対する垂直方向をｚ軸、画素アレイ１１０に平行で画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２を構成する３つの画素１３０が並ぶ方向をｘ軸（水平方向）、ｘ軸と直交する方向をｙ軸（垂直方向）とするｘｙｚ直交座標系を設定する。また、画素アレイ１１０の画素配列面と平行であるｘｙ平面上において、ｘ軸を基準とした角度θを設定する。
　なお、図４では、画素アレイ１１０の各画素が、ｙ軸方向を長軸とする長方形の形をしており、一部の画素の大きさが異なる例を示しているが、第１の偏光波長分離レンズ１６０－１、第２の偏光波長分離レンズ１６０－２の素子面積や分光性能によっては、画素の配列、形状、サイズなどはこの図の例に限らない。すなわち、同一サイズの画素からなる画素アレイを採用することも可能である。また、第１の偏光波長分離レンズ１６０－１、第２の偏光波長分離レンズ１６０－２を区別することなく総称する場合に偏光波長分離レンズ１６０と記載する。
　図示するように、撮像素子２００では、入射光をｘ軸方向及びｙ軸方向に平行な偏光方向にそれぞれ分離し集光する第１の偏光波長分離レンズ１６０－１によって偏光波長分離レンズアレイ１２０－１が形成されている。撮像素子２００では、入射光をθ＝４５°の方向及びθ＝－４５°の方向に平行な偏光方向にそれぞれ分離し集光する第２の偏光波長分離レンズ１６０－２によって、偏光波長分離レンズアレイ１２０－２が形成されている。そして、偏光波長分離レンズアレイ１２０－１及び偏光波長分離レンズアレイ１２０－２がｘｙ平面上において格子状に配置されている。
　また、１つの偏光波長分離レンズとその直下に存在する隣接する複数の画素を１つの偏光ユニットとする。具体的には、第１の偏光波長分離レンズ１６０－１と、その直下に存在する隣接する３つの画素をそれぞれ有する画素ユニット１４０Ｌ－１，１４０Ｒ－１とを第１の偏光ユニット２００－１とする。第２の偏光波長分離レンズ１６０－２と、その直下に存在する隣接する３つの画素をそれぞれ有する画素ユニット１４０Ｌ－２，１４０Ｒ－２とを第２の偏光ユニット２００－２とする。なお、画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２を区別することなく総称する場合に画素ユニット１４０と記載する。
　さらに、第１の偏光波長分離レンズ１６０－１を有する第１の偏光ユニット２００－１の左側の画素ユニット１４０Ｌ－１を、９０°偏光画素群とし、右側の画素ユニット１４０Ｒ－１を０°偏光画素群とする。第２の偏光波長分離レンズ１６０－２を有する第２の偏光ユニット２００－２の画素ユニット１４０Ｌ－２を４５°偏光画素群とし、右側の画素ユニット１４０Ｒ－２を－４５°偏光画素群とする。
　なお、上記の例では、ｘ軸方向に沿って同じ機能をもつ偏光波長分離レンズが並んでおり、ｙ軸方向に関しては第１の偏光波長分離レンズ１６０－１と第２の偏光波長分離レンズ１６０－２とが交互に配置されている。また、第１の偏光波長分離レンズ１６０－１と第２の偏光波長分離レンズ１６０－２とは、長方形形状であり同一の面積を有しているが、素子の配列、形状、サイズなどはこの例に制限されることはなく、様々な配列、形状、サイズを採用してもよい。例えば、第１の偏光波長分離レンズ１６０－１と第２の偏光波長分離レンズ１６０－２とが市松模様を形成するように配置してもよい。
　なお、図４、図５－１～図５－３及び図６－１～図６－３に示す撮像素子２００は、配線層１８０の反対側から受光する裏面照射型の構造であるが、本実施形態ではこのような構造に限定されず、配線層１８０の側から受光する表面照射型の構造を有していてもよい。また、図４、図５－１～図５－３及び図６－１～図６－３では省略しているが、撮像素子２００は、画素アレイ１１０と第１の偏光波長分離レンズ１６０－１または第２の偏光波長分離レンズ１６０－２との間に、内部マイクロレンズとして動作し、第１の偏光波長分離レンズ１６０－１または第２の偏光波長分離レンズ１６０－２からの光を画素内の光電変換素子へと導く働きをなすＳｉＮやＴｉＯ２等からなる高屈折率の凹凸構造を備え得る。図４、図５－１～図５－３及び図６－１～図６－３に示される構造は、公知の半導体製造技術により作製され得る。
　以下、実施の形態に係る撮像素子２００の各構成要素の働きについて説明する。
　撮像素子２００に入射する光は、まず第１の偏光ユニット２００－１及び第２の偏光ユニット２００－２毎に偏光波長分離レンズによって、ｘ軸方向もしくはθ＝４５°の方向とそれらと直交する方向との偏光成分に分離され、それぞれ対応する画素群上に集光する。したがって、上記２種類の第１の偏光ユニット２００－１及び第２の偏光ユニット２００－２につき、入射光がｘ軸（θ＝０°）方向（図５－１の方向Ｙ２参照）、ｙ軸（θ＝９０°）方向（図５－１の方向Ｙ１参照）、θ＝４５°方向（図６－１の方向Ｙ３参照）、及びθ＝－４５°方向（図６－１の方向Ｙ４参照）の偏光成分に空間的に分離された形でそれぞれ異なる４つの画素ユニットに入射する。
　なお、上記は一例であって、偏光波長分離レンズの構成によっては、分離する偏光方向は自由に変更可能である。さらに、各画素群上の集光位置には後述するｏｆｆ－ａｘｉｓレンズに起因する波長依存性が存在するため、各画素群を構成する各画素が受光する光の波長成分が異なる。
　実施の形態１では、緑色（Ｇ）に対応する波長の光が各画素ユニット１４０の中央の画素に集光する第１の偏光波長分離レンズ１６０－１及び第２の偏光波長分離レンズ１６０－２を示している。このため、各画素ユニット１４０の中央の画素には、緑（Ｇ）の波長成分を多く含む光が入射する。各画素ユニット１４０の左右の画素には、青（Ｂ）または赤（Ｒ）の波長成分を多く含む光が入射する。
　より具体的には、９０°偏光画素群である画素ユニット１４０Ｌ－１の右の画素はＢの波長成分を多く含む光を受光し（図５－１参照）、中央の画素はＧの波長成分を多く含む光を受光し（図５－２参照）、左の画素はＲの波長成分を多く含む光を受光する（図５－３参照）。
　そして、各画素１３０内の光電変換素子によって光電変換がなされ、各画素ユニット１４０からは対応した偏光方向成分の波長情報を含む３つの信号がそれぞれ出力される。信号処理部１３は、これら波長情報を含む３つの信号に対して、行列演算や逆問題解法などに基づく信号処理（例えば、非特許文献３を参照）を適用することによって、ＲＧＢの色情報を抽出する。
　信号処理部１３は、このような信号処理を施すことで、図４の例の場合、２種類の第１の偏光ユニット２００－１及び第２の偏光ユニット２００－２に入射した光のｘ軸（θ＝０°）方向、ｙ軸（θ＝９０°）方向、θ＝４５°方向、θ＝－４５°方向の偏光成分情報、及び、それらの色情報を取得できる。上記２種類の第１の偏光ユニット２００－１及び第２の偏光ユニット２００－２が２次元平面上にアレイを形成しているため、撮像素子２００上に結像した撮像対象の偏光成分情報及びそれらの色情報の２次元空間情報を取得することができる。したがって、信号処理部１３は、上記２次元空間情報から、ＲＧＢ各色の光強度画像（通常のカラー画像）、偏光方向画像及び偏光度画像を得ることが可能となる。
［偏光波長分離レンズ］
　次に、実施の形態１における第１の偏光波長分離レンズ１６０－１及び第２の偏光波長分離レンズ１６０－２について説明する。
　実施の形態１における偏光波長分離レンズ１６０は、微細構造パターンから構成される。微細構造パターンは、複数または単一の柱状構造（微細構造体）からなるパターンや、複数または単一の孔構造からなるパターン等を採用できる。なお、偏光波長分離レンズ１６０において複数の柱状構造を用いたパターンを採用する場合、不要な回折光を抑制するため、各柱状構造間の間隔は、検出すべき光の波長や入射光の波長よりも短い間隔が望ましい。また、偏光波長分離レンズ１６０における微細構造パターンは、透明層１５０の透明材料内に埋め込まれた形態でもよい。
　具体的に、独立した透明基板表面に形成された複数の微細な柱状構造によって、偏光波長分離レンズ１６０が構成される例について説明する。
　図７は、実施の形態１における偏光波長分離レンズ１６０を構成する柱状構造の平面図である。図８及び図９は、実施の形態１における偏光波長分離レンズ１６０を構成する柱状構造の側面図である。
　偏光波長分離レンズ１６０は、図７～図９に例示する柱状構造１６１が複数配置されることによって構成される。柱状構造１６１は、構造周囲の材料または空間の屈折率ｎ０よりも高い屈折率ｎ１を有する材料から形成されており、構造の厚み、すなわち、ｚ軸方向の長さｈは、一定である。また、図７に示すように、柱状構造１６１の底面及び上面は、ｘ軸方向の幅ｗ１、ｙ軸方向の幅ｗ２を有する四角形である。柱状構造１６１は、構造周囲の材料または空間との屈折率差により、光を構造内に閉じ込めて伝搬させる光導波路として動作する。
　したがって、柱状構造１６１の構造片側（例えば、上面）から光を入射すると、光は構造内に強く閉じ込められながら伝搬する。このとき、図８及び図９に示すように、入射した光は、光導波路の実効的な屈折率ｎｅｆｆによって決まる位相遅延効果を受けながら伝搬し、最後にもう一方の構造方側（底面）から出力される。この場合、柱状構造１６１の構造周囲の材料または空間を、構造の厚み分の長さを伝搬した光の位相を基準した際、柱状構造による位相遅延量φは、光の真空中での波長をλとおくと、式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　上記の場合、屈折率ｎｅｆｆは、構造寸法の関数であり、かつ、構造形状によっては強い偏光依存性が生じることが知られている。柱状構造１６１の例の場合、図７に示すような長方形の構造断面をもつようにすると、直交する入射偏光に対して異なる屈折率ｎｅｆｆを独立に与えることができる。
　ここで、図７の平面図の横方向（ｘ軸方向）の偏光成分に対する位相遅延量をφｈ、縦方向（ｙ軸方向）の偏光成分に対する位相遅延量をφｖ、横方向（ｘ軸方向）の偏光成分に対する実効的な屈折率をｎｅｆｆｈ、縦方向（ｙ軸方向）の偏光成分に対する実効的な屈折率をｎｅｆｆｖ、横方向（ｘ軸方向）に平行な方向の柱の幅をｗ１、縦方向（ｙ軸方向）に平行な方向の柱の幅をｗ２とする。この時、屈折率ｎｅｆｆｈと屈折率ｎｅｆｆｖとは、幅ｗ１と幅ｗ２との組み合わせによってそれぞれ制御できることが知られており、それぞれｎ０＜ｎｅｆｆｈ＜ｎ１、及び、ｎ０＜ｎｅｆｆｖ＜ｎ１の値をとる。
　したがって、式（１）より、位相遅延量φｈと位相遅延量φｖとは、幅ｗ１と幅ｗ２との組み合わせによってそれぞれ任意に制御できる。すなわち、図７～図９に示す例では、柱状構造１６１の幅ｗ１と幅ｗ２とを設計することで、各偏光方向に対する位相遅延量のφｈとφｖとを任意に設定することが可能である。
　以上から、撮像素子２００は、ｘ軸、ｙ軸の平面上の位置に応じて、適した幅ｗ１，ｗ２を有する柱状構造１６１を偏光波長分離レンズ１６０としてそれぞれ配置することで、各偏光方向に対して任意の位相遅延空間分布を与えることができ、この結果、各偏光方向に対して任意の波面制御を行うことが可能となる。
　なお、任意の波面制御を行うには、柱状構造１６１による各偏光方向に対する位相遅延量の可変範囲が、０～２πの範囲以上を有していることが好ましい。また、作製方法及び作製コストの観点から、柱状構造１６１のｚ軸方向の長さｈは可能な限り薄い方が好ましい。したがって、式（１）から、撮像素子２００に入射する光の波長λにおいて、柱状構造のｚ軸方向の長さｈは、ｈ＝λ／（ｎ１―ｎ０）の近傍に設定することが望ましい。
　偏光波長分離レンズ１６０の柱状構造１６１の具体例について説明する。図１０－１は、実施の形態１における偏光波長分離レンズ１６０の柱状構造の側面図の一例を示す図である。図１０－２は、図１０－１のＣ矢視図である。図１０－１及び図１０－２に示すように、例えば、柱状構造１６１は、石英基板１７２の底面に形成される。
　図１１及び図１２は、図１０－１及び図１０－２に示す柱状構造１６１における位相遅延特性の計算結果を示す図である。なお、柱状構造１６１の材料は、ＳｉＮ（ｎ１＝２．０３）を想定しており、柱状構造１６１間及び柱状構造１６１下方の透明層１５０を構成する材料は、空気（ｎ０＝１．０）を想定しているが、単一の透明層１５０Ａに柱状構造１６１が埋め込まれている形態でもよい。
　図１０－１及び図１０－２に示すように、柱状構造１６１の高さ（ｚ軸方向の長さ）は、ｈ＝７００ｎｍとし、柱状構造１６１の配置周期は、４００ｎｍとする。また、位相遅延特性の計算は、厳密結合理論に基づいており、基板側から波長λ＝５２０ｎｍの平面波が入射した際の位相遅延量φｈと位相遅延量φｖとを、幅ｗ１及びｗ２の関数として求めた。
　図１１は、偏光波長分離レンズ１６０の柱状構造１６１のｘ軸方向の幅ｗ１及びｙ軸方向の幅ｗ２との各組合せに対する位相遅延量の値を濃淡で表現したヒートマップである。図１１の（１）は、位相遅延量φｈに対応し、図１１の（２）は、位相遅延量φｖに対応する。図１１の（１），（２）に示す幅ｗ１及び幅ｗ２、位相遅延量φｈ及び位相遅延量φｖの関係を基に、柱状構造１６１の幅ｗ１及び幅ｗ２の組み合わせを調整することによって、種々の位相遅延量φｈ及び位相遅延量φｖの組み合わせを実現することができる。
　また、図１２は、任意の位相遅延量φｈと位相遅延量φｖとの組み合わせ（０～２πの範囲）に対する柱状構造１６１のｘ軸方向の幅ｗ１またはｙ軸方向の幅ｗ２を濃淡で表現したヒートマップである。図１２の（１）は、柱状構造１６１のｘ軸方向の幅ｗ１に対応し、図１２の（２）は、柱状構造１６１のｙ軸方向の幅ｗ２に対応する。これらの各幅ｗ１，ｗ２と、位相遅延量φｈと位相遅延量φｖとの組み合わせとの関係は、図１１に示す計算結果から求められる。この図１２から、偏光分離機能及びｏｆｆ－ａｘｉｓレンズ機能を含む任意の波面制御に適した位相遅延空間分布に適合するように、柱状構造１６１の形状及び配置を決定すればよい。
　図１３は、実施の形態１における偏光波長分離レンズ１６０を実現する理想的な位相遅延空間分布の一例を示す図である。レンズの中心の座標をｘ＝０μｍ、ｙ＝０μｍとし、レンズ－画素間の距離（ｚ軸に沿った焦点距離）を、ｚｆ＝６μｍ、レンズ中心－光点のｘ軸に沿った距離（ｘ軸に沿った焦点距離）をｘｆ＝２μｍ、設計中心波長λ０＝５２０ｎｍとすると、偏光分離及びｏｆｆ－ａｘｉｓレンズの機能を実現する位相遅延空間分布の一例は、式（２）、式（３）で表される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　図１１は、式（２）、式（３）にしたがって、それぞれ位相遅延量φｈと位相遅延量φｖとを２次元平面上（ｘｙ平面上）にマッピングしたものである。なお、位相遅延量φｈ，φｖは、０～２πの範囲で示している。また、レンズの口径を横８μｍ、縦４μｍとしている。
　図１４は、実施の形態１における偏光波長分離レンズ１６０を構成する柱状構造１６１の配置例を示す図である。図１４は、偏光波長分離レンズ１６０を構成する柱状構造の平面図である。図１４では、ｘｙ平面上に柱状構造１６１を、理想的な位相遅延空間分布に適合するように配置した配置例を示す。
　図１４では、入射光をｘ軸方向に平行な偏光方向（方向Ｙ２参照）及びｙ軸方向に平行な偏光方向（方向Ｙ１参照）にそれぞれ分離し集光する第１の偏光波長分離レンズ１６０－１と、入射光をｘ軸に対してθ＝４５°の方向に平行な偏光方向（方向Ｙ３参照）及びｘ軸に対してθ＝－４５°の方向に平行な偏光方向（方向Ｙ４参照）にそれぞれ分離し集光する第２の偏光波長分離レンズ１６０－２を上下に並べて配置する例を示す。
　また、ｘ軸方向及びｙ軸方向には、設計中心波長λ０（＝５２０ｎｍ）以下の間隔（例えば、４００ｎｍ）で、柱状構造１６１が複数並んでいる。また、第２の偏光波長分離レンズ１６０－２は、第１の偏光波長分離レンズ１６０－１を構成する各柱状構造をｘｙ平面上で４５°回転させたものである。
　図１４から明らかなように、各柱状構造１６１は、ｘｙ平面上の位置に応じて、幅ｗ１と幅ｗ２とがそれぞれ変化している。柱状構造１６１は、ｘｙ平面上の大きさが異なり、柱状構造１６１のｘｙ平面上の大きさは、該柱状構造を透過した光に対して、偏光方向毎に異なる位相遅延量を与える大きさに設定される。各柱状構造１６１は、このｘｙ平面上の幅寸法の変化により、第１の偏光波長分離レンズ１６０－１及び第２の偏光波長分離レンズ１６０－２を透過した光に対して、互いに直交する偏光方向毎に異なる２次元位相遅延分布を与えることが可能となり、光波面を変化させることができる。
　したがって、式（２）及び式（３）に示すような偏光分離機能及びｏｆｆ－ａｘｉｓレンズ機能をもつ位相遅延空間分布を微細構造パターンで実現することで、透過光を偏光方向に応じて空間的に分離し、異なる位置に集光させることが可能となる。なお、上述の説明は一例であって、各柱状構造の寸法によっては、偏光方向と集光位置の組み合わせは自由に変更可能である。
　以下、ｏｆｆ－ａｘｉｓレンズ機能による波長に応じた集光位置のシフトについて説明する。図１５は、偏光波長分離レンズ１６０において、設計中心波長λ０から波長がΔλ変化した場合における集光位置のシフトを模式的に示す図である。なお、この図１５では、便宜上、光の伝搬方向をｚ軸とし、ｙ＝０としている。また、例として、第１の偏光波長分離レンズ１６０－１に９０°偏光の光を垂直に入射した場合を示す。
　一般化されたスネルの法則に基づくと、第１の偏光波長分離レンズ１６０－１は、入射光（波長λ０＋Δλ）をｘ軸上の各位置において、式（４）で定まる角度γ（ｘ）で偏向させる（詳細は、非特許文献４参照）。
Figure JPOXMLDOC01-appb-M000004
　なお、φｖ（ｘ，０）は、式（３）に対応し、波長変化に対して大きく変動しないものとする。式（４）に式（３）を代入すると、ｘ＝０における偏向角度γ（０）は、式（５）となる。
Figure JPOXMLDOC01-appb-M000005
　なお、αは、設計中心波長λ０の光を入射した際のｘ＝０における偏向角度を示し、ｆ＝（ｘｆ ２＋ｚｆ ２）１／２とおくと、α＝ｓｉｎ－１（ｘｆ ２／ｆ）である。波長がΔλ変化した際のｘ＝０における偏向角度の変化をΔαとおく、すなわちγ（０）＝α＋Δαとすると、式（５）より、式（６）となる。
Figure JPOXMLDOC01-appb-M000006
　したがって、波長がΔλ変化した際の図中ｘ´軸（角度αで伝搬する光に垂直な軸）に沿った集光位置シフトΔｘ´は、式（７）で表される。
Figure JPOXMLDOC01-appb-M000007
　式（７）から明らかなように、波長変化量Δλが大きいほど、シフト量が大きくなる。このように、撮像素子２００は、波長に依存した集光位置のシフトによって、偏光波長分離レンズ直下の各画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２を構成する各画素１３０に対して異なる波長成分をもつ光をそれぞれ入射することが可能になる。
　また、式（７）から明らかなように、設計波長での偏光角度αが大きいほど、集光位置のシフト量が大きくなる。このため、より強い波長依存性を偏光波長分離レンズ１６０に持たせるには、すなわち、各画素１３０間での波長応答に違いをより大きくするには、偏光波長分離レンズ１６０と画素アレイ１１０との距離ｚｆを小さくし、ｘ軸に沿った焦点距離ｘｆを大きくしたレンズ設計をすればよい。
　本実施の形態１における偏光波長分離レンズ１６０は、各柱状構造１６１内における光吸収はほとんどなく、また、光の波長よりも短い配置間隔により不要な光回折も生じることはない。したがって、撮像素子２００によれば、入射光はパワーをほとんど失うことなく偏光分離され、画素アレイ１１０上で波長に応じた位置に集光することになるため、光利用効率が高い。したがって、撮像素子２００によれば、減光型の偏光フィルタ及び色フィルタの使用によって光利用効率が大きく制限される従来の撮像素子と比して、画素アレイ１１０に到達する光総量を飛躍的に増加させることができ、撮像感度を高めることが可能となる。
　なお、実施の形態１では、柱状構造１６１の底面及び上面の形状が四角形である場合について説明したが、この形状に限定されない。すなわち、柱状構造１６１の底面及び上面の形状が、中空四角形、十字形状、円形、中空円形等であっても、位相遅延効果をもたらす光導波路としての動作も失われることはなく、偏光依存性を与えることも可能である。また、各柱状構造１６１は、接続されていてもよく、複数または単一の孔構造からなるパターンでも同様の効果が期待できる。
　そして、偏光分離機能及びｏｆｆ－ａｘｉｓレンズ機能を有する撮像素子２００は、公知の半導体製造技術により、薄膜堆積及びパターニングを実行することにより、形成可能である。実施の形態１における偏光波長分離レンズ１６０は、厚さ一定の微細構造パターンの簡易な構成であるため、製造コストも低減可能であると考えられる。また、偏光波長分離レンズ１６０は、微細構造パターン１層のみで、偏光分離と波長分離との機能を兼ねているため、実施の形態１に係る撮像素子２００は、従来の撮像素子と比して、部品点数が少なく、製造コストも低減可能であると考えられる。
［画素の受光特性］
　以下、より具体的な一例として、本実施の形態１における撮像素子２００の各画素１３０の受光特性の計算結果について示す。
　図１６－１は、計算モデルとなる撮像素子２００の平面図である。図１６－２は、図１６－１のＤ－Ｄ´線断面図である。各画素１３０の受光特性の計算は、厳密結合波理論に基づき、図示している２種類の第１の偏光ユニット２００－１及び第２の偏光ユニット２００－２が周期的に無限に並んでいると仮定する。
　第１の偏光波長分離レンズ１６０－１及び第２の偏光波長分離レンズ１６０－２は、図１４に示す柱状構造１６１の配置で構成されたものを想定しており、レンズ－画素アレイ間の距離ｚｆは６μｍである。また、各画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２のサイズは、いずれも４μｍ角であり、各画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２は３画素から構成されるとする。
　例えば、各画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２の３画素の左右の画素（例えば、図１６－２に示す画素Ｌ９０°，Ｒ９０°，Ｌ０°，Ｒ０°）のサイズは、ｘ軸方向の幅ｗ１を１．６７μｍとし、ｙ軸方向の幅ｗ２を４μｍとする。各画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２の３画素の中央の画素（例えば、図１６－２に示す画素Ｃ９０°，Ｃ０°）のサイズは、ｘ軸方向の幅ｗ１を０．６７μｍとし、ｙ軸方向の幅ｗ２を４μｍとする。各画素ユニット１４０の中央の画素Ｃ９０°，Ｃ０°の受光面積が、他の画素の受光面積よりも小さくなっている。なお、上記の各画素の寸法は、これに限定されることはなく、レンズ設計や要求させる空間解像度に応じて変更可能である。
　図１７～図２０は、図１６－１に示す撮像素子２００に、所定の偏光状態及び所定の波長の組み合わせの光を垂直に入射した場合の画素アレイ１１０上における光強度分布を示す図である。図１７～図２０の画素ユニットの配置は、図１６－１に示す画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２の配置と同一である。図１７～図２０は、それぞれ、波長４３０ｎｍ、波長５２０ｎｍ、波長６２５ｎｍの光を撮像素子２００に垂直に入射した場合の各画素ユニットにおける光強度分布を示す。図１７は、入射光の偏光状態が０°である場合に対応し、図１８は、入射光の偏光状態が９０°である場合に対応し、図１９は、入射光の偏光状態が４５°である場合に対応し、図２０は、入射光の偏光状態が－４５°である場合に対応する。
　図１７～図２０に示すように、いずれの結果においても、偏光状態に対応した画素ユニットに光が集光しており、かつ、その集光位置に波長依存性がみられる。
　具体的には、入力偏光角度が０°である場合には、右下の０°偏光画素群である画素ユニット１４０Ｒ－１に光が集光しており（図１７参照）、入力偏光角度が９０°である場合には、左下の９０°偏光画素群である画素ユニット１４０Ｌ－１に光が集光している（図１８参照）。そして、入力偏光角度が４５°である場合には、左上の４５°偏光画素群である画素ユニット１４０Ｌ－２に光が集光しており（図１９参照）、入力偏光角度が－４５°である場合には、右上の－４５°偏光画素群である画素ユニット１４０Ｒ－２に光が集光している（図２０参照）。
　図２１は、図１８に示すＥ－Ｅ´線断面図、Ｆ－Ｆ´線断面図及びＧ－Ｇ´線断面図である。図２１は、画素ユニット１４０Ｌ－１，１４０Ｒ－１における各画素Ｌ９０°，Ｃ９０°，Ｒ９０°，Ｌ０°，Ｃ０°，Ｒ０°の断面における光強度分布を示すものであり、第１の偏光波長分離レンズ１６０－１における光伝搬を示すものといえる。図２１では、入射光の偏光状態は、９０°方向の直線偏光であり、波長は、それぞれＲＧＢに対応する波長（６２５ｎｍ、５２０ｎｍ、４３０ｎｍ）である。
　図２１に示すように、波長に応じて集光位置がシフトしている。具体的には、Ｂに対応する波長４３０ｎｍは、画素ユニット１４０Ｌ－１の右側の画素Ｒ９０°に集光しており、Ｇに対応する波長５２０ｎｍは、画素ユニット１４０Ｌ－１の中央の画素Ｃ９０°に集光しており、Ｒに対応する波長６２５ｎｍは、画素ユニット１４０Ｌ－１の左側の画素Ｌ９０°に集光している。この集光位置のシフトは、式（７）から予測されるふるまいと一致する。
　図２２は、９０°方向の直線偏光を入射した際に、実施の形態１における画素ユニットの画素が受光する波長スペクトルを示す図である。図２２の（１）は、９０°偏光画素群である画素ユニット１４０Ｌ－１の各画素が受光する波長スペクトルを示し、図２２の（２）は、０°偏光画素群である画素ユニット１４０Ｒ－１の各画素が受光する波長スペクトルを示し、図２２の（３）は、４５°偏光画素群である画素ユニット１４０Ｌ－２の各画素が受光する波長スペクトルを示し、図２２の（４）は、－４５°偏光画素群である画素ユニット１４０Ｒ－２の各画素が受光する波長スペクトルを示す。
　図２２の（１）に示すように、入射偏光に対応する９０°偏光画素群である画素ユニット１４０Ｌ－１の受光強度が最も高く、図２２の（２）に示すように、０°偏光画素群である画素ユニット１４０Ｒ－１の受光強度が最も低いことがわかる。このように、撮像素子２００では、偏光波長分離レンズ１６０による偏光分離機能を確認できた。なお、図２２の（３），（４）に示すように、４５°偏光画素群である画素ユニット１４０Ｌ－２及び－４５°偏光画素群である画素ユニット１４０Ｒ－２は、ベクトル分解により９０°偏光画素群の約１／２の受光強度となる。
　そして、各画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２の各画素が受光する波長スペクトルは、画素毎に大きく異なることがわかる。具体的には、図２２の（１）に示すように、９０°偏光画素群である画素ユニット１４０Ｌ－１を例にとると、左の画素Ｌ９０°がＲに対応する波長にピークを有し、中央の画素Ｃ９０°がＧに対応する波長にピークを有し、右の画素Ｒ９０°がＢに対応する波長にピークを有する。撮像装置１０は、これらの受光感度の波長スペクトルの差異から、後述する信号処理を用いることで精度よく色情報を抽出することが可能となる。
　図２３は、９０°方向の直線偏光を入射した際に、実施の形態１における画素ユニットの各画素が受光する波長スペクトルの他の例を示す図である。図２３では、各画素ユニットを構成する３画素の受光面積が同一の場合に、各画素が受光する波長スペクトルを示す。この場合、画素サイズは、いずれの画素も、ｘ軸方向の幅ｗ１が１．３３μｍであり、ｙ軸方向の幅ｗ２が４μｍである。図２３の（１）は、９０°偏光画素群の各画素が受光する波長スペクトルを示し、図２３の（２）は、０°偏光画素群の各画素が受光する波長スペクトルを示し、図２３の（３）は、４５°偏光画素群の各画素が受光する波長スペクトルを示し、図２３の（４）は、－４５°偏光画素群の各画素が受光する波長スペクトルを示す。
　図２３に示すように、各画素ユニットを構成する３画素の受光面積が同一の場合においても、偏光波長分離レンズ１６０による偏光分離機能を確認できる。また、各画素群を構成する各画素が受光する波長スペクトルは画素毎に異なることがわかる。したがって、図２２に示す場合と同様に、後述する信号処理を用いることで精度よく色情報を抽出することが可能となる。
　一方で、左右の画素と比して中央の画素のｘ軸方向の幅が小さい場合の受光スペクトル（図２２参照）と同一の画素サイズの場合の受光スペクトル（図２３）とを比較すると、左右の画素と比して中央の画素のｘ軸方向の幅が小さい図２２の方が、各画素の波長スペクトルの形状が急峻である。つまり、同一の画素サイズの場合の図２３の受光スペクトルの方が、図２２の受光スペクトルよりも、形状がブロードである。
　これは、左右の画素と比して中央の画素のｘ軸方向の幅が小さい画素ユニットの方が、中央の画素（レンズ設計波長における集光位置）の幅が小さいことから、波長に応じて集光位置がシフトした光を、隣接する左右の画素が受光しやすいためである。後述する信号処理を用いる場合、波長スペクトル形状が急峻な方が色再構成の精度が向上しやすく、また、信号雑音にも強い。したがって、実施の形態１において、設計波長における集光位置に対応する画素のサイズは、その他の画素より相対的に小さい方がより好適である。
　また、図２２または図２３に示す受光スペクトルを基に、撮像素子２００の全画素に到達する総光量の可視光領域（波長４００ｎｍ～７００ｎｍ）における平均値を算出すると、入射光量の約８０％であった。すなわち、本実施の形態１に係る撮像素子２００は、従来のフィルタを用いた偏光カラー撮像素子の光利用効率の最大値に比べて５倍近い光利用効率を実現できる。
［信号処理］
　次に、本実施の形態１における色情報抽出を実現する信号処理について説明する。図２２または図２３に示したように、各画素ユニット１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２を構成する各画素が受光する光の波長成分は画素毎に異なる。この場合、行列演算や逆問題解法などを活用することで、色情報を精度よく抽出できることが知られている（詳細は、非特許文献３を参照）。
　色情報抽出方法の一例として、行列演算を用いた色情報抽出について説明する。求めたいＲＧＢ値からなるＲＧＢ信号値ベクトルをＹとし、取得した３画素の信号値からなる取得信号値ベクトルをＸとし、変換行列をＡ（３×３）とすると、ＲＧＢ信号値ベクトルＹは式（８）で記述できる。
Figure JPOXMLDOC01-appb-M000008
　変換行列Ａを決定するには、ＲＧＢをそれぞれ定義する波長スペクトル及び３画素が実際に受光する波長スペクトルから、最小二乗法や正則化法などに用いて変換誤差を少なくするように求めればよい。一度求めた変換行列Ａは、式（８）にしたがって、取得信号値ベクトルＸをＲＧＢ信号値ベクトルＹに変換する際に使用できる。
　また、色情報抽出方法の他の例として、逆問題解法を用いた色情報抽出について説明する。入射光の波長スペクトルをΦ、３画素が実際に受光する波長スペクトルからなるベクトルをＦとすると、取得信号値ベクトルＸは式（９）で記述できる。
Figure JPOXMLDOC01-appb-M000009
　式（９）から入射光の波長スペクトルΦを、取得信号値ベクトルＸから逆問題として解くことによって、入射光の波長スペクトルを推定することができ、波長スペクトルから、ＲＧＢの値を求めることができる。逆問題を解く方法として、最急降下法などを利用できる。
　なお、上述の信号処理は例にすぎず、色情報抽出方法として、様々な行列演算、逆問題解法、最適化法を使用できる。
［実施の形態１の効果］
　このように、本実施の形態１に係る撮像素子２００は、撮像対象からの光束をその偏光方向及び波長成分に応じて、画素アレイ１１０上の異なる位置に集光させることが可能であり、各画素からの光電変換信号を用いることによって、１度の撮像でカラー画像及び偏光画像を生成することが可能である。
［実施の形態２］
　次に、実施の形態２について説明する。図２４は、実施の形態２に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部を模式的に示す図である。
　図２４に示すように、実施の形態２に係る撮像素子３００は、実施の形態１に係る撮像素子２００と比して、画素アレイ１１０と偏光波長分離レンズアレイ１２０との間、すなわち、画素アレイ１１０の各画素ユニットの上方に、各偏光方向にそれぞれ対応した偏光フィルタ３１０を配置する。偏光フィルタ３１０は、金属ワイヤーグリッドやフォトニック結晶などから構成され、公知の技術によって実現され得る。なお、撮像素子３００は、撮像素子２００とその他の構成要素は同一である。
　図２４に示すように、入射光は、偏光波長分離レンズ１６０によって偏光分離された後に、画素ユニット直上において、偏光フィルタ３１０によってフィルタリングされる。この際、偏光フィルタ３１０の直下に位置する画素ユニットが対応する偏光方向と、偏光フィルタ３１０の偏光透過軸とを一致させる。
［実施の形態２の効果］
　このように、実施の形態２に係る撮像素子３００は、実施の形態１で説明した機能と同様の機能を実現でき、かつ、以下の２つの新たな効果が得られる。
　まず、撮像素子３００によって、偏光フィルタ３１０内のクロストークを大幅に軽減させるという効果が得られる。実施の形態１に係る撮像素子２００の場合、同一偏光ユニット内で、画素アレイ１１０上の異なる位置において集光された各偏光成分からなる２つの集光点が生じる。この際、集光点は拡がりを有するため、同一偏光ユニット内の隣接する２つの画素群の境界付近において、光の重なり（クロストーク）が生じる懸念がある。この光の重なりは、偏光消光比の劣化や色情報の抽出のエラーに繋がる可能性がある。これに対し、偏光フィルタ３１０の併用構成を採用した撮像素子３００は、図２４に示すように、所望の偏光成分以外の成分をカットした状態で各画素ユニットに光を導くことができるため、画素ユニットの境界付近における光の重なりを完全に除去することができる。
　そして、撮像素子３００によって、偏光消光比を向上させるという効果が得られる。実施の形態１に係る撮像素子２００の場合、偏光波長分離レンズ１６０の設計、または、作製誤差等による影響によっては、偏光分離時において、偏光成分の消光比を十分に確保できない可能性がある。これに対し、偏光フィルタ３１０の併用構成を採用した撮像素子３００は、偏光波長分離レンズ１６０と偏光フィルタ３１０とによる二重の偏光フィルタリングを行うこととなり、消光比を向上させることができる。
　なお、偏光フィルタ３１０の併用構成を採用した撮像素子３００では、高い光利用効率を保持したままで、上記の２つの効果が得られる。これは、撮像素子３００は、偏光分離後に偏光フィルタリングを行うため、画素アレイ１１０上に到達する総光量をほとんど減らすことがないためである。
　以上より、本実施の形態２に係る撮像素子３００は、実施の形態１と同様の機能を実現できる。これとともに、撮像素子３００は、偏光ユニット内のクロストークを大幅に軽減させるという効果を奏する。さらに、撮像素子３００は、偏光分離時の偏光消光比も向上できるという効果を奏する。本実施の形態２は、偏光フィルタ３１０を併用するほかは、実施の形態１と同様であり、実施の形態１で説明した効果と同様の効果を有し、また、同様の変更が可能である。
　図２５は、実施の形態２に係る撮像素子の画素アレイ及び偏光波長分離レンズアレイの断面の一部の他の例を模式的に示す図である。実施の形態２に係る撮像素子は、図２５の撮像素子３００Ａのように、偏光波長分離レンズアレイ１２０Ａが、画素アレイ１１０上に形成された透明層１５０Ａの上面に形成され、画素アレイ１１０と対向している構成でもよい。この場合、偏光フィルタ３１０は、透明層１５０内に配置すればよい。
　上述した実施の形態１，２は、本発明の好適な具体例に過ぎず、本発明はこれらに限定されず、種々の変更が可能である。
　実施の形態１，２では、偏光波長分離レンズ１６０の材料としてＳｉＮを用いた例を示したが、これに限定されない。例えば、撮像素子１００，１００Ａ，２００，３００，３００Ａを、光の波長が３８０ｎｍ～１０００ｎｍの範囲の可視光～近赤外光領域で用いる場合は、偏光波長分離レンズ１６０の材料には、ＳｉＮ、ＳｉＣ、ＴｉＯ２、ＧａＮ等の材料が、屈折率が高く、吸収損失が少ないため適している。また、撮像素子１００，１００Ａ，２００，３００，３００Ａを、波長が８００～１０００ｎｍの範囲の近赤外光領域で用いる場合は、これらの光に対し低損失な偏光波長分離レンズ１６０の材料として、Ｓｉ、ＳｉＣ、ＳｉＮ、ＴｉＯ２、ＧａＡｓ、ＧａＮ等の材料が適している。さらに、長波長帯の近赤外領域（通信波長である１．３μｍや１．５５μｍ等）では、上述の材料に加えて、ＩｎＰ等を偏光波長分離レンズ１６０の材料として用いることができる。
　そして、貼り付け、塗布して偏光波長分離レンズ１６０の微小分光素子を形成する場合、フッ素化ポリイミド等のポリイミド、ＢＣＢ（ベンゾシクロブテン）、光硬化性樹脂、ＵＶエポキシ樹脂、ＰＭＭＡ等のアクリル樹脂、レジスト全般などのポリマー等が材料として挙げられる。
　同様に、実施の形態１，２では、透明層１５０，１５０Ａの材料としてＳｉＯ２及び空気層を想定した例を示したが、これに限定されない。透明層１５０，１５０Ａの材料は、一般的なガラス材料、ＳｉＯ２、空気層等、屈折率が、偏光波長分離レンズ１６０の材料の屈折率より低く、入射光の波長に対して低損失なものであれば足りる。また、透明層１５０，１５０Ａは、複数の材料からなる積層構造を有する透明層であってもよい。
　実施の形態１，２では、偏光波長分離レンズ１６０が分離する偏光成分として、任意の１軸を基準にして、０°、４５°、９０°、－４５°の方向をもつ直線偏光である場合を説明したが、これに限らない。偏光波長分離レンズ１６０の微細構造パターンの設計によっては、円偏光や楕円偏光成分の分離も可能であり、直線偏光成分の分離と円偏光成分の分離が混合する構成であってもよい。一例として、０°、４５°、９０°、－４５の方向をもつ直線偏光の分離機能と右回り、左回りの円偏光成分の分離機能をもつそれぞれ３つの偏光ユニット（２つは直線偏光成分をユニットであり、１つは円偏光成分を分離するユニットである。）からなる撮像素子が考え得る。この構成の撮像素子である場合、偏光状態を記述するすべてのストークスパラメータを導出できるため、撮像対象の偏光状態を完全に取得することが可能となる。
　また、実施の形態１，２では、偏光波長分離レンズ１６０が対応する３波長域の光が、Ｒ、Ｇ、Ｂの３原色の光である場合を例に説明したが、３波長域のうちの少なくとも１つが３原色以外の波長の光（例えば、赤外光や紫外光）であってもよい。
　以上、本発明を具体的な実施の形態に基づいて説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
　１　物体
　１０　撮像装置
　１１　レンズ光学系
　１２，１００，１００Ａ，２００，３００，３００Ａ　撮像素子
　１３　信号処理部
　１１０　画素アレイ
　１２０，１２０Ａ，１２０－１，１２０－２　偏光波長分離レンズアレイ
　１３０　画素
　１４０，１４０Ｌ，１４０Ｒ，１４０Ｌ－１，１４０Ｒ－１，１４０Ｌ－２，１４０Ｒ－２　画素ユニット
　１５０，１５０Ａ　透明層
　１６０　偏光波長分離レンズ
　１６０－１　第１の偏光波長分離レンズ
　１６０－２　第２の偏光波長分離レンズ
　１６１　柱状構造
　１７０　透明基板
　１８０　配線層
　２００－１　第１の偏光ユニット
　２００－２　第２の偏光ユニット
　３１０　偏光フィルタ

Claims (6)

  1. 　光電変換素子を含む画素が２次元アレイ状に複数配列された画素アレイと、
    　前記画素アレイと対向して配置され、入射光を該入射光の偏光方向及び波長成分に応じて前記画素アレイ上の異なる位置に集光する複数の微細構造体からなる分光素子が２次元アレイ状に配列された分光素子アレイと、
    　を有することを特徴とする撮像素子。
  2. 　前記画素アレイ上に形成された透明層をさらに有し、
    　前記複数の微細構造体は、前記透明層の内部または上部に、前記透明層の屈折率よりも高い屈折率を有する材料を基に形成され、
    　前記複数の微細構造体は、前記画素アレイの画素配列面に対する垂直方向の長さが等しく、前記画素アレイの画素配列面との平行面上の大きさが異なり、かつ、前記入射光の波長よりも短い間隔で配置され、
    　各微細構造体の平行面上の大きさは、該微細構造体を透過した光に対して、偏光方向毎に異なる位相遅延量を与える大きさに設定されることを特徴とする請求項１に記載の撮像素子。
  3. 　前記画素アレイは、１つの前記分光素子に対応させて、前記画素アレイの一方向に連続して配置された３つの前記画素を有する第１の画素ユニットと、前記画素アレイの一方向に連続して配置された３つの前記画素を有する第２の画素ユニットとを有し、
    　前記分光素子は、前記入射光を、第１の偏光方向と、前記第１の偏光方向と異なる偏光方向である第２の偏光方向とに分離し、
    　前記第１の画素ユニットは、前記分光素子に入射した光のうち前記第１の偏光方向の偏光成分が集光する位置に配置され、
    　前記第２の画素ユニットは、前記分光素子に入射した光のうち前記第２の偏光方向の偏光成分が集光する位置に配置され、
    　各画素ユニットの各画素は、集光位置の波長依存性に応じて、配置位置及び受光面積が設定される
    　ことを特徴とする請求項１または２に記載の撮像素子。
  4. 　前記第１の画素ユニット及び前記第２の画素ユニットは、中央の画素の受光面積が、他の画素の受光面積よりも小さいことを特徴とする請求項３に記載の撮像素子。
  5. 　前記画素アレイと前記分光素子アレイとの間に設けられ、直下に位置する前記第１の画素ユニットまたは前記第２の画素ユニットが対応する偏光方向と偏光透過軸とを一致させた偏光フィルタをさらに有することを特徴とする請求項３または４に記載の撮像素子。
  6. 　請求項１～５のいずれか一つに記載の撮像素子と、
    　前記撮像素子の撮像面に光学像を形成するための撮像光学系と、
    　前記撮像素子が出力する電気信号を処理し、偏光画像及びカラー画像を生成する信号処理部と、
    　を有することを特徴とする撮像装置。
PCT/JP2020/020177 2020-05-21 2020-05-21 撮像素子及び撮像装置 Ceased WO2021234924A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/020177 WO2021234924A1 (ja) 2020-05-21 2020-05-21 撮像素子及び撮像装置
US17/918,909 US12155915B2 (en) 2020-05-21 2020-05-21 Image sensor and imaging device
JP2022524816A JP7364066B2 (ja) 2020-05-21 2020-05-21 撮像素子及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020177 WO2021234924A1 (ja) 2020-05-21 2020-05-21 撮像素子及び撮像装置

Publications (1)

Publication Number Publication Date
WO2021234924A1 true WO2021234924A1 (ja) 2021-11-25

Family

ID=78707864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020177 Ceased WO2021234924A1 (ja) 2020-05-21 2020-05-21 撮像素子及び撮像装置

Country Status (3)

Country Link
US (1) US12155915B2 (ja)
JP (1) JP7364066B2 (ja)
WO (1) WO2021234924A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115327684A (zh) * 2022-10-13 2022-11-11 季华实验室 超构透镜，三维成像系统、方法、电子设备及存储介质
WO2024157371A1 (ja) * 2023-01-25 2024-08-02 日本電信電話株式会社 太陽電池モジュール及び変換装置
WO2024162000A1 (ja) * 2023-02-02 2024-08-08 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び電子機器
WO2024205646A3 (en) * 2022-03-31 2025-01-09 Metalenz, Inc. Polarization sorting metasurface microlens array device
WO2025013541A1 (ja) * 2023-07-07 2025-01-16 ソニーグループ株式会社 光検出装置
WO2025258002A1 (ja) * 2024-06-12 2025-12-18 Ｎｔｔ株式会社 撮像素子および撮像装置
WO2026048314A1 (ja) * 2024-08-30 2026-03-05 ソニーセミコンダクタソリューションズ株式会社 光学素子、光検出装置、および電子機器
US12584795B2 (en) * 2022-12-20 2026-03-24 Commissariat à l'énergie atomique et aux énergies alternatives Polarimetric image sensor

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12366693B2 (en) * 2022-10-12 2025-07-22 Visera Technologies Company Limited Image sensor
TWI831413B (zh) * 2022-10-12 2024-02-01 大陸商廣州立景創新科技有限公司 超穎透鏡以及影像感測器
CN117348130A (zh) * 2023-11-22 2024-01-05 苏州希卓科技有限公司 一种偏振相关的彩色滤波超透镜阵列及其设计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003243640A (ja) * 2002-02-21 2003-08-29 Fuji Film Microdevices Co Ltd 固体撮像素子
WO2014034149A1 (ja) * 2012-09-03 2014-03-06 パナソニック株式会社 固体撮像素子および撮像装置
WO2019202890A1 (ja) * 2018-04-17 2019-10-24 日本電信電話株式会社 カラー撮像素子および撮像装置
JP2020051868A (ja) * 2018-09-26 2020-04-02 日本電信電話株式会社 偏光イメージング撮像システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1969206B (zh) * 2004-06-17 2010-09-29 皇家飞利浦电子股份有限公司 分色滤光器
JP2008177191A (ja) * 2007-01-16 2008-07-31 Matsushita Electric Ind Co Ltd 固体撮像装置およびそれを用いたカメラ
WO2014123613A1 (en) * 2013-02-08 2014-08-14 Integrated Plasmonics Corporation Plasmonic projected diffraction sensor
US11482549B2 (en) * 2017-06-09 2022-10-25 Sony Semiconductor Solutions Corporation Solid-state imaging device
US10720993B2 (en) * 2018-05-11 2020-07-21 Government Of The United States Of America, As Represented By The Secretary Of Commerce Metasurface optical pulse shaper for shaping an optical pulse in a temporal domain
CN120703879A (zh) * 2018-10-22 2025-09-26 加州理工学院 基于三维工程材料的彩色多光谱图像传感器
KR102832511B1 (ko) * 2019-10-09 2025-07-10 니폰 덴신 덴와 가부시끼가이샤 분광소자 어레이, 촬상소자 및 촬상장치
KR102693695B1 (ko) * 2019-12-31 2024-08-08 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 센서 및 그 준비 방법 및 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003243640A (ja) * 2002-02-21 2003-08-29 Fuji Film Microdevices Co Ltd 固体撮像素子
WO2014034149A1 (ja) * 2012-09-03 2014-03-06 パナソニック株式会社 固体撮像素子および撮像装置
WO2019202890A1 (ja) * 2018-04-17 2019-10-24 日本電信電話株式会社 カラー撮像素子および撮像装置
JP2020051868A (ja) * 2018-09-26 2020-04-02 日本電信電話株式会社 偏光イメージング撮像システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024205646A3 (en) * 2022-03-31 2025-01-09 Metalenz, Inc. Polarization sorting metasurface microlens array device
US12276807B2 (en) 2022-03-31 2025-04-15 Metalenz, Inc. Polarization sorting metasurface microlens array device
CN120188073A (zh) * 2022-03-31 2025-06-20 梅特兰兹股份有限公司 偏振分选超颖表面微透镜阵列设备
CN115327684A (zh) * 2022-10-13 2022-11-11 季华实验室 超构透镜，三维成像系统、方法、电子设备及存储介质
US12584795B2 (en) * 2022-12-20 2026-03-24 Commissariat à l'énergie atomique et aux énergies alternatives Polarimetric image sensor
WO2024157371A1 (ja) * 2023-01-25 2024-08-02 日本電信電話株式会社 太陽電池モジュール及び変換装置
JPWO2024157371A1 (ja) * 2023-01-25 2024-08-02
JP7798209B2 (ja) 2023-01-25 2026-01-14 Ｎｔｔ株式会社 太陽電池モジュール及び変換装置
WO2024162000A1 (ja) * 2023-02-02 2024-08-08 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び電子機器
WO2025013541A1 (ja) * 2023-07-07 2025-01-16 ソニーグループ株式会社 光検出装置
WO2025258002A1 (ja) * 2024-06-12 2025-12-18 Ｎｔｔ株式会社 撮像素子および撮像装置
WO2026048314A1 (ja) * 2024-08-30 2026-03-05 ソニーセミコンダクタソリューションズ株式会社 光学素子、光検出装置、および電子機器

Also Published As

Publication number Publication date
US20230239552A1 (en) 2023-07-27
JP7364066B2 (ja) 2023-10-18
US12155915B2 (en) 2024-11-26
JPWO2021234924A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
JP7364066B2 (ja) 撮像素子及び撮像装置
KR102389008B1 (ko) 컬러촬상소자 및 촬상장치
US11733100B2 (en) Polarization imaging system
KR102832511B1 (ko) 분광소자 어레이, 촬상소자 및 촬상장치
JP7704157B2 (ja) 撮像装置及び光学素子
JP6981496B2 (ja) カラー撮像素子および撮像装置
JP7574860B2 (ja) 撮像素子及び撮像装置
US20250120207A1 (en) Image capturing element and image capturing apparatus having spectroscopic element array
KR20230093052A (ko) 광학 소자, 촬상 소자 및 촬상장치
JP7265195B2 (ja) カラー撮像素子および撮像装置
JP2025010437A (ja) カラー撮像素子および撮像装置
WO2025258002A1 (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20936517

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022524816

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20936517

Country of ref document: EP

Kind code of ref document: A1