把「模型懂不懂颜色」变成一局桌游:162 个视觉语言模型,输给了 325 个普通人的共识

🧠 大模型影像论文精读 · 2026-08-11 · VLM · Color Naming · Memory Color · Color Science · Benchmark
arXiv 2026-08 · 用色度标定过的桌游测模型与人的颜色共识

大部分「测模型懂不懂颜色」的工作,最后都变成再造一个 benchmark,然后报一个分数。这篇来自瓦伦西亚(Malo / Laparra 组)的论文换了个做法:它把桌游《Hues and Cues》的棋盘搬进了实验室——用色度计逐格实测那 16×30 共 480 个色块,映射到 CIE xy 色度图上,于是一张零售桌游变成了一个有实测坐标的离散色度空间。然后它做了一件更重要的事:先把「人自己能做到多好」量出来,再去打分。

https://arxiv.org/html/2608.07141v1/Images/Fig2.png

问题在哪

「模型的颜色语义对不对」一直缺参照系。说 CLIP 认为「苹果」是红的,偏了多少算偏?人和人本来就不一致——不同人心里的「submarine」是什么颜色,分歧可能比模型和人的分歧还大。没有这条底线,分数无从解释。

方法的关键转折

作者用自建的网页界面收集了 325 名观察者在 100 个词(分七个语义类别)上的颜色联想,然后做留一交叉验证(LOO):把每个人轮流拿出来,用其余人的共识去预测他,得到的误差就是「人类一致性基线」——一条经验意义上的误差下界。模型再强,也不该指望穿过这条线。

接着他们评了 162 个对比式视觉语言模型(OpenAI CLIP 系约 58%,其余为 SigLIP、CoCa/ConvNeXt、MobileCLIP、EVA 等),用两个统计量分别问两件事:Mahalanobis 距离问「Top-1 预测是否落在人类共识的 95% 置信椭球内」,Hotelling T² 问「Top-5 的整个分布是否和人类质心一致」。这两把尺子不能混着读。

结果分两层。具体物体上,模型确实复刻了人的认知偏差——按 Mahalanobis Top-1,SigLIP 在植物类的失败率 0.050、MobileCLIP 0.10,都低于人类基线 0.13;也就是说模型给出的是那种被理想化了的记忆色(草更绿、番茄更红),和人一样。但在抽象、主观和流行文化类上系统性溃败——按 Top-5 的 Hotelling T²,流行文化类各家在 0.51–0.71,人类基线 0.20;食物类 0.44–0.60,人类基线 0.11。

失效模式有两种:一是语义误分类(整个色类都搞错);二是「不确定性坍缩」——给模型喂无意义词时,27.78% 塌成中性无彩色,45.06% 表现为高熵随机,还有 27.16% 会固定塌到某个具体颜色,最常见的是棋盘上 I18 那格蓝。另外一个干净的结论:精选数据集(DataComp/DFN)的误差分布明显比海量未筛语料(LAION、YFCC)更紧。

能迁到影像工作流的地方

第一是记忆色。 模型对「食物、植物」给的不是物理测量色,是理想化记忆色——这恰好就是 ISP 偏好色再现(preferred color reproduction)在调的东西。当「把天空调蓝一点」这类自然语言指令交给模型执行时,它心里的天空先验就是 ISP 的目标色;这篇给出了一个可以直接测量这个先验落在色度图哪里的办法。

第二是那条 LOO 下界,方法论价值比结论更大。 任何颜色度量、任何画质/色彩 benchmark,在打分之前都该先画出观察者间变异这条地板线。否则「我们把误差从 2.1 降到 1.8」可能只是在噪声里滑动。这一点可以原样搬到色差模型评估和主观评测设计上。

第三,精选数据 > 海量数据,对颜色相关微调是可操作的指导。

局限与存疑

最要命的一处:人的数据是在未校准的个人设备、不受控观看条件下采的,却要和色度计实测的棋盘坐标比。 这条测量链是断的,论文只在附录里用 von Kries 色适应做了一次稳健性辩护,不足以撑起色度级的结论。

第二处更微妙:受试群体以年轻、西语人群为主,而「流行文化类失配最严重」这个结论恰恰最依赖文化锚定——这里的人类共识本身就是群体局部的,模型和它对不上,未必是模型错,也可能是共识太窄。这个差距是被混淆的,不是干净的证据。

最后,这篇只评了对比式检索模型,没评自回归的大视觉语言模型。它是同一批人在《Do Vision Encoders Exhibit Human-like Color Thresholds?》之后,改从「命名共识」而非「辨别阈」再问一次同一个问题——两条线都还停在编码器层。

论文来源:arXiv 原文 ↗

← 返回 大模型影像论文精读