clip简单过一遍
就是图文对然后编码计算得到文本向量和图像向量之后计算相似度。训练的目的就是使得对角线上的损失是最小的然后如何将clip用于分类任务其实就是将类别直接填入提示词中这是一个模板直接就构成一个分类器了推理阶段输入图像然后和这些类别的文本向量进行计算看和谁的相似度最高损失计算clip使用对称的对比损失实际是两个交叉熵损失损失1图像-文本 给定图像I预测正确的文本损失2文本-图像给定文本T预测正确的图像将两部分损失加起来反向更新同时更新 文本编码和图像编码的参数clip损失计算不管那么多细节了就是找个损失就是计算了文本和图像之间的相似度对于这个矩阵来讲N*N只需要计算一次就行。横着看就是文本对图像的相似度竖着看就是图像对文本的相似度。然后在计算的时候是使得正对角线的上的相似度尽可能大其他的尽可能小是要看全局的。这个全局指的还是一个行或者是一个列这个损失就是会计算。这个zi,j会去1和-1那么当ij相等的时候就是1这个时候就希望相似度高这样log得到的数值就小损失就小
相关新闻
2026/7/13 19:56:54
如何用DriftDB构建多人协作白板：从零到一的完整教程
2026/7/13 19:56:54
吃透Java集合核心：ArrayList、LinkedList、HashMap底层原理全解析
2026/7/13 19:51:54
革命性世界建模AI：LingBot-World 2.0如何实现无限交互视界？
最新新闻
2026/7/13 21:01:58
微信自动化开发：3天搭建企业级中台
2026/7/13 21:01:58
TorchAO量化配置深度解析：Llama-3.3-70B-Instruct-da8w8-torchao-v0.17.0模块排除策略
2026/7/13 21:01:58
如何参与mlx-community项目：gemma-4-e4b-it-OptiQ-4bit的完整贡献指南
2026/7/13 21:01:58
AutoGen终极指南：如何用多智能体框架构建复杂AI应用
2026/7/13 21:01:57
仿生硬件与柔性执行器技术持续突破
2026/7/13 20:56:57
如何用多智能体AI在30分钟内搭建专业股票分析系统
日新闻
2026/7/13 0:04:27
语音转文字工具AsrTools：让音频整理变得简单高效
2026/7/13 0:04:27
Palworld存档编辑完全掌握：从零开始实现游戏数据可视化修改
2026/7/13 0:04:27
HS2-HF Patch终极指南：如何用3步解决Honey Select 2的70+个痛点
周新闻
2026/7/13 8:21:45
每天60s读懂世界：2026年7月11日重点要闻解读
2026/7/13 8:20:41
Git远程操作深度对比：fetch vs pull 的4种工作流与冲突解决策略
2026/7/13 8:19:38
Repo 服务端搭建实战：基于 Gitolite 的 3 步配置与 manifest 文件详解
月新闻
2026/7/13 10:38:21
Dify 本地部署与 AI 应用开发实战：从零构建智能工作流
2026/7/12 13:51:15
社区贡献指南：如何向Kiran图标主题项目提交图标与改进
2026/7/12 14:08:41