小米推出 mi 10 pro 手机主相机搭载了一颗 108M 像素的图像传感器创下手 机采用图像传感器分辨率的新纪录在手机江湖一石激起千重浪有支持的声音也有 质疑的声音。质疑的声音里有一个说《亿级像素方向错了》技术方向的对错不是短期 能判定的市场最终的走向很多时候也不是纯粹的技术因素决定的。就像从 CCD 到 cmos sensor 的技术方向的转变CCD 的画质更好到底是什么因素导致相机市场最终倒向 cmos image sensor是因为对 高像素的需求低功耗的需求容易集成后处理电路还是因为 cmos sensor 成本 低大佬给出了一个出乎我预料的答案最主要是‘产能’。手机相机的迅速普及图 像传感器的需求暴增当时采用 CCD 工艺的工厂数远远少于 cmos 工艺的工厂数 cmos 工艺的工厂迅速转过去生产图像传感器满足了市场需求同时 cmos image sensor 的设计者逐渐改进 cmos sensor 设计融合 CCD 和 Cmos 的设计方法逐渐 提高了 cmos image sensor 的图像质量。这样 cmos image sensor 最终变成了图像 传感器市场的绝对主流。市场方向是难以预料的那么从纯技术的角度来看sensor 的高像素数到底意味着什么呢1.高 pixel 数不一定有高的相机解析力。由于摩尔定律半导体工艺提升可以使得 pixel 越做越小在相同面积上的芯片上像素 数就可以做更高。在光学部分匹配的情况下更多 sensor pixel 数可以提高成像系统对 空间细节的采样能力最终得到图像的分辨率越高。这也是提高 sensor 像素数的最原 始动力。但是由于 pixel 变小绕射极限变小镜头的光学分辨率被进一步限制所以 在 sensor 的分辨率高于镜头的分辨率的情况下成像系统的最终分辨率并没有因为 sensor 的像素多而获得好处。2.binning 可以提高信噪比Sensor 分辨率超过镜头的分辨率如果不加利用那这种高像素就变成了浪费所以 在实际应用中这种高像素 sensor 大部分都是以 binning 的形式输出也就是几个像 素合成一个输出从而获得信噪比上的提升。同时由于 sensor 本身像素数就很高即使 binning输出的图像分辨率依然不低。 Pixel 的 SNR 模型可以用下边这个公式表示 Q 是 pixel 的 QE量子效率对于一 个 sensor 来说是一个常数。t 是曝光时间y 是光强D 是 Dark current对于一 个 sensor 来说也是常量。N 是 readout noise power。如果我们单纯的把 M 个像素求和会得到什么呢可以看出相较单 pixel 的 SNR我们得到了 10log10M的增益。 如果是 M 像素 binning 呢从公式可见由于 binning 发生在 source follower 和 ADC 之前Nreadout noise没有被放大。所以 binning 得到的 SNR 更高。由下图可见binning 与其他两种对比所得到的 SNR 的提升。3.高像素数对 crosstalk 的影响像素数高sensor 尺寸变大。据说这款 108M 像素的 sensor 尺寸是 1/1.33 的规格 在手机里仅次于当年 Nokia Pureview808 这么大的 sensor sizepixel size 0.8um 这么小手机厚度有限sensor 的 crosstalk 将会是个很难解决的问题。Crosstalk 增 大会导致噪声增加color shadingcolor noise 等等 IQ 指标的恶化。 Cmos sensor 的 发 展史 也 是 一部 改 善 crosstalk 的历 史 从 light guide到 deep trench新的 color filter 与 pixel isolator 的设计也一直在进步不知道三星针 对这款 sensor 用了什么黑科技。4.高像素数对 Dynamic range 的影响从单个像素而言FWCFull well capacity影响了Pixel的动态范围。越小的pixel size FWC 越小信号更容易饱和动态范围越小。所以 camera 的开发者一般在使用像亿 像素这种高分辨率 sensor 的时候不会使用原始尺寸输出而是做了 binning 以后输出。把 4 个像素或者更多像素合为一个输出。有人会说这样的设计还不如直接设计一 个大像素得了。所以终极问题是同样大小的电路我们是设计成一个像素的动态范围 大还是设计成 4 个像素binning 输出的动态范围大Dynamic Range 20log 10 FWC/Noise_Floor 假设两种设计的 pixel 总面积相等FWC 相等那么哪一个设计的 noise_floor 更小 哪一个的动态范围就更大。延续前边的噪声模型sensor 的 noise 来源主要有三个 来自光信号的随机噪声photon shot noise在数学上服从泊松分布是时域噪声的 主要来源。来自于 readout 电路的 readout noise是 Fix pattern noise 的主要来源。 以及来自像素半导体电路的 dark current noise。 去除 temporal noise 需要在时域上的冗余去除 FPN 需要空间滤波。高像素的设计产 生的像素信号冗余为去除噪声提供了条件。可以有效地降低 Noise floor。所以从提升动态范围以及低光照拍照的角度来说高像素的 sensor 为信号处理提供了更多的可以 利用的资源。结论除了以上的几个方面高像素 sensor 对传输电路散热光学等也有很多挑战。当年 Nokia 在 pureview 808 的开发上为了解决这些问题费了很大力气跟各组件的 supplier 大战了 3 年才最终带伤上市。现在估计小米也费了不少功夫才把产品搞出来。 高像素数在 cropzoom8K 视频等方面显而易见的好处就不说了总而言之高像 素 sensor 为进一步提升手机拍照体验提供了一个途径虽然在工程实现上有很多难点 但不会改变手机相机像素数越来越高的趋势相信今后还会有更高像素的手机相机出 现让我们拭目以待。作者卷卷龙链接https://juejin.cn/post/7151737296255975455来源稀土掘金著作权归作者所有。商业转载请联系作者获得授权非商业转载请注明出处。