潜在读者

• ISP/图像算法（调试）工程师，研究人员
• 对计算摄影，颜色科学等感兴趣的技术人员

推荐时长

• 5min-30min

原文下载

• Time-Aware Auto White Balance in Mobiel Photography

本期导读

先下一个结论，当前以及未来五年AWB的发展将遵循以下两种技术路径：

1.多光谱/通道 AWB，或者叫面阵多光谱（主要是为了和之前的单点色温传感器做区分），典型代表是HUAWEI的红枫系列和OPPO的分区色温系列（二者本质上是一回事）

即便是当前多通道还存在各种问题，比如信噪比问题导致在一些场景会失效影响稳定性，但是其基于第一性原理的测光方案，能够相当程度上解决纯色，多光源，模组之间的不一致性等核心问题，而且一旦量产上去，这些问题迭代起来也很快！

2.生成式模型革新传统ISP，比如直接对coarse sRGB做增强

比如，长焦下的人像肤色，我觉得就很适合用大模型来做，而不是在ISP前端的AWB侧做色彩还原

3.多模态AWB

就是充分利用camera甚至其他传感器的各种信息。长期依赖工业界其实或多或少走了多模态路线，比如使用色温传感器测色温来辅助AWB和CCM，比如使用曝光来区分indoor/outdoor来辅助AWB，比如使用多帧来做AWB。我说的多模态在此基础上可能更多，比如ISO，time&location信息（判断经纬度,从而直接获取此时此地的天气状况），姿态信息（俯仰角，来判定是否是天空），甚至是未来的深度信息等等

这实在是很本质的方案，因为我们人类感知世界的方式就是多模态的，color constancy这个能力，实际上就包含了人类视觉第一步初级的色适应+高级大脑皮层的物体识别，记忆色等综合感知

现在要讲的论文就是结合了时间——比如拍摄时间，ISO, Shutter Speed, Flash status等exif信息。

camera的EXIF信息，即 Exchangeable Image File Format缩写，大概包含：

• 拍摄时间和日期/曝光参数/焦距和镜头型号/白平衡模式/色温/闪光灯状态/GPS信息/软件版本/还有自己厂家的私有标签，比如湿度温度什么的

其效果看起来很好，如下图所示，每张图的中间部分表示使用了exif中的信息得到的结果：

技术原理

非常直接，既然这些exif的信息有用，那么就加进去，最好能够端到端训练，于是，设计了如下的pipeline: