yaxin-luo/blog/notes-on-native-multimodal
EN/中
notes-on-native-multimodal.zh.md
笔记EN中 1分钟 地图之外

关于原生多模态模型的几条笔记

为什么“一个模型处理多种模态”会改变设计Agent的能力边界,三条短笔记。

读原生多模态模型相关工作时的随手笔记。这类模型从一开始就同时用图像和文字训练,而不是事后拼接。

01#1. 共享token,也共享错误

图像和文字共用一套token空间时,模型在版式上犯的错,和它在文字上犯的错很像。这是好消息:同一套训练信号可以同时修好两边。

02#2. 生成就是阅读测试

一个能生成版式的模型,一定读过成千上万个版式。生成质量是检验感知质量的廉价探针。

03#3. 评测才是瓶颈

设计任务很少有唯一正确答案。大部分工作在于搭建和人判断一致的评审器。

占位文章,用于预览博客版式。