实战技巧)
【免费下载链接】InternVL3_5-1B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-1B-Pretrained点击查看免费下载InternVL3.5-1B-Pretrained 是 1.1B 参数开源多模态大模型 InternVL3.5 的多模态持续预训练CPT检查点由 InternViT-300M 视觉编码器 Qwen3-0.6B 语言模型构成。本文带你用两个实战技巧解锁它的深度推理能力一键开启 Thinking 模式、用 TTSTest-Time Scaling测试时扩展放大视觉推理上限适合新手与低算力用户快速上手 先搞懂InternVL3.5-1B-Pretrained 是什么InternVL3.5 遵循经典的ViT – MLP – LLM三段式架构本模型各部分参数如下组件模型参数量视觉编码器InternViT-300M448pxpatch140.3B语言模型Qwen3-0.6B0.8B合计—1.1B几个对实战有用的关键特性均可在 config.json 中验证动态高分辨率dynamic_image_size: true每张图最多切分为 12 个 448×448 图像块max_dynamic_patch: 12外加 1 张缩略图细节图不漏读32K 长上下文LLM 侧max_position_embeddings为 40960支持长文档与多轮对话多语言训练语料为多模态语料MMPR-v1.2 等支持 multilingual 场景。⚠️选型提示本仓库是训练管线第一步的CPTPretrained版本官方说明见 README.md。它更适合做继续预训练、微调的基座如果你想直接体验对话与推理效果建议选用InstructCPTSFT或无后缀的完整版CPTSFTCascadeRL。 快速上手三行代码加载 1B 多模态模型要求transformers4.52.1。1.1B 的小体量意味着单卡消费级 GPU约 4GB 显存即可以 16-bit 运行入门门槛很低import torch from transformers import AutoModel, AutoTokenizer path OpenGVLab/InternVL3_5-1B-Pretrained model AutoModel.from_pretrained(path, torch_dtypetorch.bfloat16, trust_remote_codeTrue, low_cpu_mem_usageTrue).eval().cuda() tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse)显存紧张时给加载参数加上load_in_8bitTrue即可 8-bit 量化部署如需本地拉取仓库使用git clone https://gitcode.com/OpenGVLab/InternVL3_5-1B-Pretrained。图像侧用官方的dynamic_preprocessload_imageREADME.md 有完整实现把图片切成 patch再把image占位符写进提问即可。 一键开启 Thinking 模式让模型先想后答原理InternVL3.5 的 Thinking 模式无需任何额外权重只需把系统提示词system prompt替换为官方的R1_SYSTEM_PROMPT。它会要求模型先把完整思考过程写进与标签内再给出独立、简洁的最终答案——复杂问题被自动拆解为分步推理 → 验证中间结论 → 输出答案。实现上modeling_internvl_chat.py 中的chat()会把model.system_message注入对话模板internvl2_5定义于 conversation.py其默认系统消息可被完全覆盖所以只需要两行代码# 核心提示词要求模型: 1) 在 标签内做逐步分析 # 2) 标签外给出独立的最终答案 model.system_message R1_SYSTEM_PROMPT generation_config dict(max_new_tokens8192, do_sampleTrue, temperature0.6)随后正常调用即可看到结构化输出question image\n请逐步推理图片中的几何题并给出答案 response model.chat(tokenizer, pixel_values, question, generation_config)官方推荐的采样参数来自 README.md参数推荐值原因do_sampleTrue贪心解码在长思考文本下易出现无意义重复temperature0.6平衡思考多样性与稳定性max_new_tokens8192起思考链显著长于普通回答别让它被截断 TTS 测试时扩展放大推理能力的两条路径TTSTest-Time Scaling的核心思想不改动权重在推理时多花时间换准确率。InternVL3.5 从深度与宽度两个维度实现了完整方案详见 README.md路径思路落地方式适用场景Deep Thinking深度把复杂问题拆解成逻辑步骤先验证中间结论再作答开启 Thinking 模式数学、图表分析、多步推理Parallel Thinking宽度并行生成 N 个推理候选用评审模型挑出最优解Best-of-NBoN VisualPRM-8B-v1.1 作裁判对准确率要求高的推理任务新手使用 TTS 的三条经验只在推理任务上开 TTS。官方指出感知类任务识别、描述本身已很强启动 TTS 并无明显收益反而增加时延深度宽度可叠加先用 Thinking 模式产出带思考链的答案再用 Best-of-N 多次采样挑最优是复杂视觉数学题的终极组合注意成本BoN 会成倍增加生成 token1.1B 小模型推理成本低是练手 TTS 的理想规格。⚠️ 常见坑与最佳实践清单问题解决建议Thinking 模式输出疯狂复读检查是否do_sampleTrue且temperature0.6避免贪心解码对话效果不如预期Pretrained 版只完成 CPT未做指令对齐体验对话请换Instruct或无后缀完整版加载报错升级transformers4.52.1并保留trust_remote_codeTrue图片细节丢失确认走dynamic_preprocess切块最多 12 patch 缩略图而非直接 resize 成 448×448显存不足加load_in_8bitTrue或改用 LMDeploy/vLLM 部署README.md 关键文件速查文件作用config.json模型架构配置动态分辨率、12 patch 上限、internvl2_5 模板modeling_internvl_chat.pychat()/generate()推理主入口系统提示词在此注入conversation.py对话模板与默认系统消息定义L382-L391README.md官方文档Quick Start、Thinking 模式、TTS 与部署全解generation_config.json默认生成配置小结InternVL3.5-1B-Pretrained 用不到 1.1B 的体量就装下了动态高分辨率 长上下文 可插拔 Thinking 模式的组合拳记住两个开关——model.system_message R1_SYSTEM_PROMPT打开深度思考Best-of-N 扩展推理宽度——就能在低算力下完整体验 InternVL3.5 的深度推理能力 赞分享【免费下载链接】InternVL3_5-1B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-1B-Pretrained点击查看免费下载相关推荐为什么InternVL3.5-2B-Pretrained会深度思考R1思考模式与多模态推理原理解读为什么InternVL3.5 2B Pretrained会深度思考R1思考模式与多模态推理原理解读 InternVL3.5 2B Pretrained 是 OBrakeman 默认路由Default Routes警告详解:action 通配路由的风险检测与修复Brakeman 默认路由Default Routes警告详解 :action 通配路由的风险检测与修复 导读 Default Routes 是 BrakInternVL3.5-2B-Pretrained多模态能力深度评测数学推理、OCR与图表理解表现全解析InternVL3.5 2B Pretrained多模态能力深度评测数学推理、OCR与图表理解表现全解析 InternVL3.5 2B Pretrained上一篇Design YouTube从上传到转码再到 CDN 流媒体一个可扩展视频平台系统设计的完整笔记下一篇DouK-Downloader 抖音下载完全指南三种模式与增量采集一次讲清创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
