1. CLIP简介

  CLIP全称Constrastive Language-Image Pre-training，是OPAI推出的采用对比学习的文本-图像预训练模型。CLIP惊艳之处在于架构非常简洁且效果好到难以置信，在zero-shot文本-图像检索，zero-shot图像分类，文本→图像生成任务guidance，open-domain 检测分割等任务上均有非常惊艳的表现，本文将对CLIP做一些初步的介绍。

2. CLIP模型简介

   CLIP的基本算法原理如下，为了对image和text建立联系，首先分别对image和text进行特征提取，image特征提取的backbone可以是resnet系列模型也可以是VIT系列模型，text特征提取目前一般采用bert模型，特征提取之后，由于做了normalize，直接相乘来计算余弦距离，同一pair对的结果趋近于1，不同pair对的结果趋近于0，因为就可以采用对比损失loss（info-nce-loss），熟悉这个loss的同学应该都清楚，这种计算loss方式效果与batch size有很大关系，一般需要比较大的batch size才能有效果。CLIP的模型如下图所示：

   CLIP 能够成功，并且很难自己复现的一个重要原因就是CLIP用了大量的训练数据以及训练资源，真的可以说是大力出奇迹。CLIP用了4亿的图像文本对进行训练。伪代码如下：

• 编码 ：通过图像&文本编码器，得分图像和文本特征。
• 投影：首先通过投影矩阵将图像及文本特征映射到相同的维度大小，在进行L2 normalization （使得之后的点积操作直接等效于cosine similarity)
• 相似度计算：点积运算计算文本-图像的cosine similarity，得到 n x n 矩阵的logits（模型预测），越接近1则说明模型预测该文本-图像对是配对的，否则不配对。
• 计算loss：已知 logits 矩阵对角线的文本和图像是配对的，非对角线元素不配对，因此构造训练标签 np.arange(n)，然后分别在图像维度（axis=0) 和文本维度（axis=1)计算loss。以图像维度为例简单说明一下这里的逻辑，因为在计算相似度的时候，图像特征矩阵@文本特征矩阵得到的 n x n 矩阵，第一个n 代表的图像，因此我们在axis=0 计算图像维度的loss。

3. CLIP模型优缺点总结

优点

• zero-shot做得好，经过在400million大的未清洗的数据集上训练，在不同的数据集上表现还可以，可以自定义任务，而且效率很高。
• 高效，虽然GPT3做zero-shot也很好，但是CLIP吃的资源少，计算量少，训练效率高。最好的一版CLIP只在256个GPU上训练两周就好了，跟目前图像领域的其他大模型都差不多。
• 灵活和通用：因为他们直接从自然语言中学习广泛的视觉概念，CLIP明显比现有的ImageNet模型更灵活和通用。我们发现他们能够轻松地完成许多不同的任务。

缺点

• 虽然CLIP通常在识别普通物体方面表现良好，但在更抽象或更系统的任务上却表现不佳。比如计算图像中物体的数量，以及在更复杂的任务上，比如预测照片中最近的汽车距离有多近。在这两个数据集上，零射剪辑只比随机猜测好一点点。与特定任务模型相比，Zero-shot CLIP在非常细粒度的分类上也很困难，比如区分汽车模型、飞机变体或花卉种类之间的区别。
• 对于未包含在其预训练数据集中的图像，CLIP的泛化效果也很差。例如，尽管CLIP学习了一个有效的OCR系统，但当从MNIST数据集评估手写数字时，zero-shot CLIP仅达到88%的准确率，远低于数据集上99.75%的人的准确率。（其实还行，毕竟不是专门在MNIST上跑的）

4. CLIP模型开源方案

OPENAI方案：

github代码地址
论文介绍

中文CLIP方案：

中文clip
CLIP图片搜索演示Demo
CLIP视频搜索演示Demo

参考资料：CLIP介绍：连接图像与自然语言