就应用而言，理解算法的边界，往往比理解算法本身更重要。

📖 阅读提示

潜在读者

• 图像/ISP算法（调试）工程师，研究人员
• 对计算摄影、颜色科学感兴趣的科研和技术人员

推荐时长

• 1min–30min

原文下载

这是多光谱AWB系列文章的第二篇，第一篇可以参考“多光谱色彩复制技术”

快速导读

面阵多光谱，是和单点多光谱传感器的对应说法，他们一般是有一些分辨率，比如150w的红枫，大概有9通道数据。类似的技术OPPO在其丹霞原彩系列中也已使用。工业界如火如荼，但是学术界发展很缓慢，其中一个核心原因是：缺乏真实的数据集

目前开源的大部分都是纯粹做多光谱研究的——这个方向和我们说的面阵多光谱不完全一样，他们的一个重要假设是：多光谱是用来真实成像的，而不是辅助测光的，而面阵多光谱，在手机成像成像领域，是辅助测光，不参与成像——我认为这是两个领域的核心区别。

非常幸运的，现在说的这篇论文，提出了一个很有价值的数据集，它太过重要，以至于都可以直接拿来当标题：

这是该数据集的简介：

• 16 通道多光谱数据 ，分辨率648x484，使用分光光度计测量得到的36维，380-730nm的真实光谱作为ground truth
• 总共 1680 场景(自然光472，人造光1208)
• 为了验证和手机成像结合光谱信息有没有提升，还在上述场景中，分别使用Samsung和OPPO手机采集了带色卡的RAW-RGB数据

那么，如何使用这些数据集，如何证明多光谱能够比单独的RGB估计的更加精准，我们看看他的具体算法。

• 基线把 CCC 平移到 ISE：把 16 通道拆成多组三通道跑 CCC，再用 CNN 回归整条光源光谱。
• 三层评测：光谱域（ΔAHS）、MS 传感器域（ΔAMS）、XYZ 感知域（ΔAXYZ）。
• 结论一句话：MS 明显优于 RGB-only，MS+RGB 融合小幅更稳。
• 注意：单点光谱 GT、全局光源假设，对空间多光源不直接友好。

01 方法

{=.center}