Meta 把 ISP 搬进了感光芯片:一颗 16 万像素的 AR/VR 传感器,单次曝光做到 117 dB

📷 影像创新 · 2026-06-20 · 图像传感器 · 计算摄影 · HDR · AR/VR · Meta
来源核验:✅ 一手溯源 · 多源一致(背景解读)

一句话:Meta 联合传感器厂 Brillnics(及 Sesame AI)的一颗研究型图像传感器,把动态范围做到 117 dB(约 19.4 档),还把降噪、ISP 直接做进了感光芯片本身——这篇工作的期刊版本本月(IEEE Trans. Electron Devices, 2026 年 6 月号)正式刊出。但先记住一件事:它是给 AR/VR 头显的,不是给你下一台相机或手机的。

先说清楚:这是背景解读,不是当日新发布。 这颗传感器的原型 2025 年 6 月已在 IISW(国际图像传感器研讨会)亮相,本月正式落到 IEEE 电子器件汇刊(第 73 卷第 6 期),传感器圈的 Image Sensors World 也在 6 月 18 日做了梳理。之所以现在拿出来讲,是因为期刊版把设计细节钉死、可引用了——对做 ISP 和传感器的人,这是个能正经读的样本,而不是发布会 PPT。论文挂名 26 人,来自 Brillnics(中国台湾 + 日本)、Meta 负责影像传感的研究团队,以及 Sesame AI。

别被「19.4 档」三个字带跑:它是一颗 16 万像素的小芯片。 117 dB 听上去吊打一切——手机实拍动态范围通常也就十一二档、好的电影机原生大约十四五档。但这颗传感器分辨率只有 400×400,合 16 万像素(0.16MP),像素 3.24μm,整块裸片才约 2.47×1.85mm。它的归宿是 AR/VR 头显的透视(passthrough)摄像头和机器视觉,不是拍照。还要补一句:传感器的 117 dB 是工程意义上的动态范围(满阱电荷与噪声地板之比),和手机厂宣传里那个含多帧合成、含色调映射的「档位」不是一回事,别直接拿来跟影像旗舰对比。换句话说,「19.4 档」不是用来出片的,是用来让头显里那块屏幕,在你从暗房走到窗边、或抬头看向窗外强光时,不至于一片死白或死黑。

关键在「单次曝光」——而不是多帧堆出来的。 手机的高动态范围基本靠多帧 HDR:连拍几张不同曝光再融合,代价是运动鬼影和延迟。AR/VR 透视恰恰最怕延迟:画面慢一拍,人就晕。这颗传感器走的是数字像素(DPS)路线——传统 CMOS 是一整列像素共用列级 ADC,DPS 则给每个像素都配上比较器和 10-bit 片上 SRAM,像素自己把光信号数字化。靠「三重量化」(triple quantization)在一次曝光里就覆盖从暗到亮的全程,再叠加片上的固定模式噪声校正把暗部噪点压下去。一次曝光拿到 117 dB,对透视这种「不能等下一帧」的场景才有意义。

真正的看点:ISP 被搬进了硅片。 它用 45/40/40nm 三层堆叠:感光层、ADC+存储层、逻辑层。逻辑层里直接放了 ISP,能做坏点校正、帧平均,还有「稀疏传输」——数据在片上先处理、压缩,再吐给外面的 SoC。传统链路是「传感器→外置 ISP→SoC」,每一跳都耗电耗带宽;这颗芯片把这条链路压扁到感光芯片内部,30fps 下整颗功耗只有毫瓦量级(论文给出约 2.45mW)。这正是「算力往传感器里搬」的结构性方向,和近两年手机端 AI-ISP 是同一个大趋势的两端。

对用户、对同行分别意味着什么。 对用户:这不是你下一台手机相机的传感器,别期待它进影像旗舰;但「片上算力 + 单次曝光宽动态」这条路一旦成熟,最终会反哺手机——少堆几帧、少一点鬼影、低一点延迟地拿到同样的动态范围。对同行:值得读的不是「117 dB」这个数字,而是它的架构——逐像素 ADC、片上 ISP、稀疏读出如何协同;期刊版落地,意味着这些细节现在可以被正经引用和复现讨论,而不再停在会议摘要里。

来源与核验

一手来源:官方原文 ↗

← 返回 影像创新