就是图文对然后编码计算得到文本向量和图像向量之后计算相似度。训练的目的就是使得对角线上的损失是最小的然后如何将clip用于分类任务其实就是将类别直接填入提示词中这是一个模板直接就构成一个分类器了推理阶段输入图像然后和这些类别的文本向量进行计算看和谁的相似度最高损失计算clip使用对称的对比损失实际是两个交叉熵损失损失1图像-文本 给定图像I预测正确的文本损失2文本-图像给定文本T预测正确的图像将两部分损失加起来反向更新同时更新 文本编码和图像编码的参数clip损失计算不管那么多细节了就是找个损失就是计算了文本和图像之间的相似度对于这个矩阵来讲N*N只需要计算一次就行。横着看就是文本对图像的相似度竖着看就是图像对文本的相似度。然后在计算的时候是使得正对角线的上的相似度尽可能大其他的尽可能小是要看全局的。这个全局指的还是一个行或者是一个列这个损失就是会计算。这个zi,j会去1和-1那么当ij相等的时候就是1这个时候就希望相似度高这样log得到的数值就小损失就小 来自尧图内容编辑团队
内容团队 本文由尧图网络内容编辑团队执笔。团队由资深项目经理、前端工程师与设计师组成，所有内容均来自亲手交付的真实项目，先讲清问题、再给出可落地的解法。尧图深耕北京网站建设十年，服务过京华建材集团、智造科技等各行业客户，把一线经验沉淀为可复用的行业观察。
相关资讯与近期热门内容
建站决策前值得细读的三篇
