上一篇文章 键盘摄影（四）——相机成像元件：胶片与彩色暗房，我们从原理上讲解了胶片时代的黑白胶片/彩色负片/彩色反转片是怎么通过拍摄，冲洗，放大，扫描成为一张纸质照片的，随着科技的进步，柯达公司自己人是第一个使用数码时代的图像传感器进行成像，却不料革了自己的命。

我们也迈进了数码时代一起来了解一下数码时代的图像传感器，它将通过镜头组的光学影像转换成电子信号，再经过模数转换器（ADC）转换为数字图像信号，送到图像信号处理器（ISP）进行处理，便可以通过应用处理器（AP）连接的显示设备查看图像。

外置 ISP 架构

ISP 的过程后续会再单独开坑（![键盘摄影（七）——深入理解图像信号处理器 ISP](https://zhuanlan.zhihu.com/p/139432684），我们首先来了解一下靠 PD 光电二极管进行感光的图像传感器，它分为 CMOS/CCD 两种工艺，主要差异在像素单元和传感器周边电路上。

CCD

Charge-coupled Device，电荷耦合器件，它的工作方式是通过镜头的光线使得每一个光电二极管的电容积累一定的电荷，而电荷的数量则正比于该处的入射光强。结束曝光后，周边的控制电路会将 CCD 每一列中的每个电容把自己的电荷传给相邻的下一个像素的电容，最后经过传感器末端的一个电荷放大器，转化为电压信号。

CCD 结构

CMOS

CMOS，Complementary Metal-Oxide-Semiconductor，互补式金属氧化物半导体，每个像素的光电二极管都会连接一个放大器和 ADC 电路，读出该像素的值。

CMOS 结构

因为电路结构上的差异，我们可以看出以下不同：

成本：

  • CCD 采用电荷传递的方式进行数据传送，可以想象为电流的串联，当一个像素异常，会导致一整排的像素异常，所以良品率较低。
  • CMOS 各个像素都集成了独立的信号放大器和 ADC，不存在上述的问题，也节省了周边电路的芯片成本和开发难度。

开口率：

  • CCD 整个传感器的面积都可以用来接收光信号，开口率（受光率/ fill factor）接近 100% 。
  • CMOS 传感器的每个像素集成的信号放大器和 ADC 都需要占用一定面积，降低了开口率，灵敏度低。

快门：

  • CCD 是全队报数，全局快门的成本很低。
  • CMOS 主要是按列报数，以卷帘快门为主要曝光方式，全局快门的成本较高。

噪声：

  • CCD 所有像素产生的电荷都通过了同一个电荷电压转换器，所以转换的一致性较好；存在传感器外部电路（放大器、 ADC 等其他模块）带来的噪声； 存在 blooming（光较强时，电荷溢出并散布到附近的像素），fading （电荷以耦合移位的方式逐行输出时发生衰减）等问题。
  • CMOS 每个像素都搭配了一个放大器，提高了信号抗干扰能力。但各个放大器的增益和带宽很难保持一致，产生了固定模式噪声（Fixed Pattern Noise，FPN，区别于非均匀响应噪声）。

读取速度：

  • CCD 的所有的电荷都要通过同一个电路转换并输出，读取速度较慢。
    CMOS 的每个光电二极管都会连接一个放大器和 ADC 电路可供读出。
    耗电量：

  • CCD 为被动式采集，必须外加 12/18V 的电压驱动电荷移动，其耗电量为 CMOS 的八倍到十倍，高驱动电压还要求更精密的电源线路设计和耐压强度。
    CMOS 为主动式采集，光电二极管产生的电荷会直接经过独立配置的放大器，减少了外围电路的噪声干扰。

由于 CCD 的各种缺点和 CMOS 的工艺正在赶超 CCD，后续我们默认以 CMOS 传感器为例。

拜尔阵列

像素传感器在感光情况下，各个像素输出不同的亮度（不同灰度值）的效果，然后我们利用拜尔阵列，即在每个传感器像素井上放置一片滤色镜，使得只有和该滤色镜颜色相同的光才能通过滤色镜，并用四个滤色镜，红绿绿蓝（RGGB）组成 2x2 的单元阵进行重复排列， 形成的马赛克彩色滤色阵列。这样我们便能得到传感器对不同颜色光的响应情况。

之所以拜尔阵列使用 RGGB 是模拟人眼成像的过程，人眼视网膜上的视锥细胞对可见光的 RGB 波段敏感。而较多绿色，是因为除了视锥细胞，还有负责在光线暗的环境下感光的视柱细胞对绿色最为敏感。

实际上色彩空间可以不只是由 RGB 来表示，比如 CYYM （青黄品红）和 RYYB（红黄蓝），优点是这些颜色在光的频谱上覆盖得更宽，允许更多光线通过传感器，但这样的阵列在 ISP 后续的去马赛克变换算法中更为复杂，在颜色插值时容易出现问题，所以没有大面积普及。

拜耳滤镜

有了对不同颜色的响应，然后通过去马赛克算法，利用周围不同颜色的像素去估计该位置的周围颜色数值应该是多少。比如绿色过滤器的像素精确测量了绿色成分，而该像素红色和蓝色的成分则是从邻区插值获取的。

关于去马赛克算法，详细可以参照另一篇文章 键盘摄影（七）——深入理解图像信号处理器 ISP - 颜色插值。

微透镜阵列

当我们细究到一个传感器像素时，光电二极管表面布了很多电路，会影响光的吸收率，所以我们发明了微透镜阵列，在每个像素井上增加一个微透镜，保证更多的光传进像素井中。

微透镜阵列

前照式和背照式

相比于前照式，我们发明了背照式，直接把电路布线在光电二极管背后，提高光的吸收率。

前照式和背照式的原理图

前照式和背照式的结构图

前照式 Front Side Illumination

CMOS 传感器感光区域表面的信号处理电路电路部分阻碍了微透镜的采光，因此开口率比不上 CCD。为了减少电路占用的面积，信号处理单元就做得极其简化，有些甚至只用了一个三极管来做放大器。而由于半导体工艺的特性，每个放大电路的一致性会比较差，因此形成前文提到的 CMOS 的缺点——固定模式噪声（FPN）。

背照式 Back-side Illumination

传感器像素的背面整个都可以用做接受部分，所以开口率也和 CCD 传感器一样接近 100%。每个像素的信号处理电路不受面积制约，可以做成比较复杂的放大器（比如负反馈放大器）。各像素间的一致性大大改善，降低固定模式噪声。

非堆栈式和堆栈式的对比

堆栈式 Stacked Illumination

堆栈式传感器是在背照式基础上的改进，将旁置的信号处理电路放到了底部支持基板上，腾出空间放置更多的像素————底大一级压死人！

Reference

本文参考以下文章，侵删。

欢迎在我的专栏「自律走行」中查看更多「键盘摄影」系列文章