CLIP 图文零样本匹配10 分钟跑出第一个结果【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP把一张照片和几句候选描述交给 CLIP它直接告诉你哪句最贴切全程不用训练——这就是常说的CLIP 零样本分类。按这份指南走装环境 3 条命令跑通首行代码不到 15 行从零到出分大约 10 分钟。环境准备3 条命令装好 CLIP 依赖前置条件就两条解释器 3.6 以上、PyTorch 版本达到 1.7.1 以上。先拿到源码并装成 Python 包git clone https://gitcode.com/GitHub_Trending/cl/CLIP cd CLIP pip install .git clone把仓库拉到本地pip install .按 setup.py 里的声明把clip装进当前环境之后在任何目录都能import clip。装包之前先装好 PyTorch 和几个小依赖conda install --yes -c pytorch pytorch torchvision cudatoolkit11.0 pip install ftfy regex tqdm packaging第一条装 PyTorch 和匹配 CUDA 的工具链没有 GPU 的机器把cudatoolkit11.0换成cpuonly即可版本需与本机 CUDA 对齐。第二条补齐 requirements.txt 里的轻量依赖ftfy 修文本乱码、regex 供分词器做正则、tqdm 画下载进度条、packaging 比较版本号。判定标准另开一个终端执行python -c import clip; print(clip.available_models())能打印出 9 个模型名从RN50到ViT-L/14336px就算装好了报ModuleNotFoundError就回到上面两条命令检查。CLIP 零样本分类最小可运行示例 把下面 12 行存成first_run.py放在仓库根目录和 CLIP.png 同层然后python first_run.pyimport torch, clip from PIL import Image device cuda if torch.cuda.is_available() else cpu model, preprocess clip.load(ViT-B/32, devicedevice) image preprocess(Image.open(CLIP.png)).unsqueeze(0).to(device) text clip.tokenize([a diagram, a dog, a cat]).to(device) with torch.no_grad(): probs model(image, text)[0].softmax(dim-1).cpu() print(probs)clip.load负责取模型和配套的图片预处理clip.tokenize把三句英文转成定长 tokenmodel(...)一次前向就给出图像对每条文本的打分。判定标准第一次执行会弹出下载进度条ViT-B/32有几百 MB耐心等。跑完后打印一行tensor([[0.9928, 0.0042, 0.0030]])量级的数字不同设备略有出入。第一个值贴近 1说明图被认成 a diagram即成功三个值都接近 0.33 或者中途抛错对照下一节排错表查。CLIP 图文匹配怎么打分一张图讲透打个比方像两人对暗号——图片、文字各自编码成一串数字数字越接近说明越对得上。机制上CLIP 训练时成批地把配对的图文拉近、不配对的推远所以推理时只算图像向量和各候选句向量的余弦相似度得分最高者胜出这就是零样本分类的全部。想要分数而不是直接结论就改用model.encode_image()和model.encode_text()分别取两侧特征各自做 L2 归一化后矩阵相乘得到的就是余弦相似度再乘 100、过一遍 softmax相当于控制打分温度后取 top-1。CIFAR-100 的完整零样本演示写法可以直接看 README。常见卡点速查 ⚡卡在哪为什么怎么快速解决import clip报ModuleNotFoundError: No module named torchPyTorch 没装或装到了别的环境回到环境准备重跑 conda 那条命令首次运行时进度条长时间不走正在拉几百 MB 的模型权重权重会缓存在~/.cache/clip下次秒开离线场景可先把权重文件放进该目录CUDA out of memory显存装不下当前模型执行clip.available_models()看可用名单换成RN50这类小型号FileNotFoundError找不到 CLIP.png图片不在脚本所在目录在仓库根目录执行脚本或把图片路径写成绝对路径进阶行动清单把演示标签换成你自己的README.md打开即得完整 API 说明和 CIFAR-100 零样本预测范例想扩标签集就从这抄。clip/clip.py模型名单表和权重下载、校验逻辑都在这想搞清楚available_models()从哪来就翻它。clip/model.py图像编码器、文本编码器两个塔的实现排查分数为什么怪时看这里。model-card.md训练数据规模和已知局限写报告、评估风险前值得通读一遍。notebooks/Interacting_with_CLIP.ipynb交互式演示随手丢一张图和任意描述进去看实时打分。tests/test_consistency.py验证不同设备输出是否一致的测试换机器迁移时可直接参考。建议路线先让first_run.py出分再把三个候选句换成你业务里的说法比如一张报表截图、一张产品图看排序是否符合直觉——符合说明你已经有了一条可用的图文匹配基线。【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
