读原生多模态模型相关工作时的随手笔记。这类模型从一开始就同时用图像和文字训练,而不是事后拼接。
01#1. 共享token,也共享错误
图像和文字共用一套token空间时,模型在版式上犯的错,和它在文字上犯的错很像。这是好消息:同一套训练信号可以同时修好两边。
02#2. 生成就是阅读测试
一个能生成版式的模型,一定读过成千上万个版式。生成质量是检验感知质量的廉价探针。
03#3. 评测才是瓶颈
设计任务很少有唯一正确答案。大部分工作在于搭建和人判断一致的评审器。
占位文章,用于预览博客版式。