CLIP:图像与文本的对比学习

理解图像编码器与文本编码器如何进入同一语义空间,并通过相似度完成 zero-shot 分类。

图像编码器 / 文本编码器 / Embedding / 相似度矩阵 / Zero-shot
交互演示

图像/文本 → 双塔编码器 → 共享空间

dog Embedding 空间 sim(i,t)