车用@@图@@像传感器@@参数@@小议@@——信噪比@@知多少@@?

本文作者@@:安森美@@(onsemi)中国区汽车现场应用工程经理@@William Chen

智能驾驶@@如今渐渐成为汽车的@@一个常见功能@@,它增强了汽车和驾驶员的@@感知能力@@,降低了驾驶员的@@工作强度@@,同时@@可以有效提高@@行车的@@安全性@@。这其中@@,基于@@CMOS 图@@像传感器@@的@@摄像头是@@智能驾驶@@系统感知外界环境的@@主要工具之一@@。

CMOS图@@像传感器@@是@@成像@@sensor,它本质上是@@一个存储器和模数转换@@(ADC)的@@组合@@。基于@@硅的@@光电效应@@@@,入射光线会在@@传感器像素的@@感光二极管中激发电荷@@,电荷被收集存储@@,经过@@ADC转换为数字输出@@。

图@@1 光电效应@@

从架构上看@@,CMOS图@@像传感器@@类似于一个存储器@@memory,它有大量存储单元@@,支持行和列的@@寻址操作@@,区别在@@于存储器是@@电路写入内容@@,而@@sensor中的@@内容是@@可见光或@@近红外光线写入的@@@@。传感器收集到的@@电荷包括两部分@@:一部分是@@我们期望的@@电荷@@,来源于环境光线所激发的@@有效信号@@;另一部分是@@用户不希望的@@干扰产生的@@电荷@@,干扰来源有很多种@@,一般统称为噪声@@。

我们希望图@@像中的@@有效信息越多越好@@,干扰噪声越少越好@@。一个常见的@@衡量图@@像噪声效果的@@指标是@@信噪比@@@@SNR,即信号与噪声的@@比值@@@@。信噪比@@越大@@,图@@像噪声相对@@含量越少@@,图@@像质量越好@@。SNR的@@单位可以是@@比值@@@@,也可以转成对@@数单位@@dB。

CMOS sensor的@@数据手册一般都会提供信噪比@@参数@@@@SNR,如下所示@@。

有一个常见的@@问题@@:46dB信噪比@@的@@@@sensor是@@不是@@比@@43dB的@@sensor低照效果更好@@?答案是@@未必@@,脱离条件的@@结论往往会掉到坑里@@。

SNR不是@@一个点@@@@,它是@@光照条件的@@函数@@,如图@@@@2,SNR会随着光照强度变化变成一条曲线@@@@。当它作为低照效果指标时@@@@,要求选取低照条件下的@@@@SNR值@@。而@@业内@@sensor数据手册上的@@@@SNR参数@@通常是@@@@SNR最大值@@@@,对@@应于光照环境非常明亮时@@的@@@@SNR值@@,即图@@中蓝色@@SNR曲线@@右上角的@@@@SNR Max点@@。而@@蓝线位于左下角区域的@@@@SNR值@@才适合作为评估低照的@@参数@@@@,此时@@的@@光照不足@@,对@@应于低照环境@@。这就像卖苹果@@,放在@@上面一层是@@最好的@@@@,你需要翻开篮子@@,看看里面苹果的@@质量如何@@。

图@@2 信噪比@@SNR曲线@@

依据最大@@SNR点@@来评判@@sensor有以偏概全的@@问题@@。根据需要@@,用户可以选取特定曝光条件@@Exposure对@@应的@@@@SNR大小来评判低照噪声@@,SNR越大越好@@;也可以限定@@SNR为某个固定值@@@@,例如@@SNR=5时@@,用此时@@需要的@@@@曝光条件@@Exposure值@@大小来评判低照噪声@@@@,Exposure值@@越小意味着达到同等@@SNR时@@需要的@@@@光照资源越少@@,sensor的@@低照性能越好@@。

图@@2显示的@@是@@普通@@sensor的@@SNR,是@@单调递增的@@曲线@@@@。汽车上使用的@@@@CMOS sensor,为了匹配全天候应用场景@@,需要很高的@@动态范围@@@@HDR,HDR常用方法是@@改变@@sensor的@@灵敏度@@,对@@环境的@@不同@@亮度分别采样@@,再把多次采样的@@图@@像帧映射到标准化的@@线性数据空间@@@@,最后从不同@@灵敏度帧中选取合适像素@@,拼成一张完整的@@图@@像帧@@,参见@@《车用@@图@@像传感器@@参数@@小议@@——动态范围@@》。

sensor的@@灵敏度@@变化@@,对@@应于坐标系中的@@@@SNR线移动到不同@@的@@位置@@,最终@@HDR图@@像的@@@@SNR曲线@@演变成多条@@SNR曲线@@的@@拟合结果@@,例如@@图@@@@@@3的@@蓝线@@,它不再是@@一条单调递增曲线@@@@,除了低照@@SNR会很小以外@@,高亮区间还会出现多个局部极小值@@@@,当工作点@@落在@@@@SNR跌落区间时@@@@,即便此时@@环境很亮@@,噪声也会恶化@@。

这在@@图@@像上会出现一个违背人眼感知习惯的@@现象@@,即随着亮度增强@@,图@@像的@@@@质量会从差到好@@,然后又突然恶化的@@情况@@。因此与传统线性@@sensor不同@@,车用@@宽动态@@sensor的@@信噪比@@还需要评估高亮条件下的@@极小值@@指标@@。

图@@3 HDR图@@像的@@@@SNR

图@@4 SNR和噪声@@

车用@@sensor的@@SNR是@@一条非单调的@@曲线@@@@,汽车应用环境会让问题变得更复杂@@。sensor是@@一个模拟器件@@,在@@ADC之前@@,信号和噪声@@数据是@@以电荷的@@形式存储的@@@@,sensor的@@暗电流也会累积电荷@@,其产生速度大致上与曝光时@@长成正比@@,与温度呈指数关系@@。所以我们还必须考虑温度@@,曝光时@@长以及模拟增益对@@暗态噪声的@@影响@@@@。SNR同时@@是@@温度@@,曝光时@@间和模拟增益的@@函数@@,它的@@曲线@@已经变成多维的@@曲线@@簇了@@。

以温度影响@@为例@@,图@@5是@@SNR=10时@@需要的@@@@Exposure值@@随@@sensor内部温度升高的@@变化趋势@@,我们可以看到@@,不同@@sensor对@@温漂的@@敏感度是@@不一样的@@@@,这两个@@sensor的@@SNR曝光值@@在@@@@60°C时@@发生交叉@@,意味着在@@室温@@25℃和高温@@80℃分别评估时@@@@,得出的@@@@SNR结论截然相反@@。

图@@5 晶圆内部温度影响@@@@

按照车用@@摄像头有效使用生命周期的@@温度分布@@,超过@@88%的@@生命周期内@@,sensor内部的@@节温超过@@@@40℃,超过@@80%时@@间内节温超过@@@@60℃,超过@@65%时@@间内节温超过@@@@80℃。

温漂影响@@会导致@@SNR曲线@@发生进一步变化@@。如图@@@@6红色虚线示意@@,当温度升高后@@,SNR曲线@@在@@低照区域和高亮局部区域会继续下跌@@。

图@@6 温度对@@@@HDR SNR影响@@

目前业内对@@车用@@图@@像传感器@@@@SNR的@@评估@@,常采用欧洲机器视觉协会的@@@@EMVA1288标准来测试@@。EMVA1288标准中的@@信噪比@@@@SNR,是@@基于@@传统单调的@@线性@@sensor模型来定义的@@@@,对@@于车用@@宽动态@@图@@像传感器@@@@ SNR特性的@@描述并不完善@@。电气与电子@@工程师协会@@IEEE正在@@为汽车影像定义新的@@质量测试标准@@P2020,作为工作组成员之一@@,安森美@@公司承担了@@IEEE P2020标准中图@@像噪声标准的@@起草工作@@,其中就包括了@@SNR参数@@。

最后总结一下@@,车用@@CMOS图@@像传感器@@的@@信噪比@@@@SNR是@@一个关键的@@图@@像质量指标@@,它具有非单调特性@@,受到汽车应用环境的@@多因素影响@@@@,对@@SNR的@@评估@@是@@一个多维的@@综合评判工作@@,客观全面的@@@@SNR评价才能真实描述@@sensor的@@性能@@,正确指导车用@@成像产品的@@开发工作@@。