koboldcpp Android 部署在手机上离线跑 AI 模型完整指南【免费下载链接】koboldcppKoboldCpp - Run GGUF AI models locally with a KoboldAI UI. One File. Zero Install.项目地址: https://gitcode.com/gh_mirrors/ko/koboldcpp高铁上、飞机上或者进了没信号的地方想让 AI 继续干活又不依赖云端可以试试 koboldcpp 的 Android 部署。它在手机上本地运行 GGUF 大模型装完就能断网对话、写作数据不出设备。下面带你从零装好并生成第一段内容。先跑起来从零到第一次生成动手前 30 秒过一遍这张清单存储留出 8GB 以上空闲光模型文件就要好几个 G系统Android 8.0 及以上网络安装阶段要有网拉依赖和模型装完可以离线用架构ARM64 的安卓手机四项都满足再往下走缺一项就先补齐。一条命令装好 koboldcpp在 Termux 里取得安装脚本 android_install.sh然后执行sh android_install.sh脚本会自动检查依赖、拉取源码、编译并下载默认模型。交互菜单一共 6 个选项带默认模型装、不带模型装、从 URL 下模型、加载本地模型、重新编译、退出。新手直接选第一项脚本会用 Gemma3-1B 作为起步模型装完自动启动。打开界面生成第一段编译下载完成后手机浏览器打开 http://localhost:5001在输入框里写一句提示词点提交等待首 token看到连续输出的文字就成功了这个界面是 koboldcpp 内置的 KoboldAI Lite WebUI断网时一样可用。三个关键决策模型、参数、文件从哪来模型选多大的才跑得动手机内存有限起步别贪大首选 Gemma3-1B也就是安装脚本默认拉的那个内存占用最小内存富余可上 Gemma3-4B体验更好量化级别认准 Q4_K_M 或 Q5_K_S再高的量化对手机意义不大7B 及以上先放下多数手机带不动内存和线程怎么调启动参数都在 koboldcpp.py 里常用的三个参数作用建议--contextsize上下文长度token 数内存吃紧就调小默认 8192--threads计算线程数设成手机大核数量别拉满--batchsize批处理大小内存吃紧就调小默认 512三个默认值都能跑先别动卡了再按上表逐项收。模型文件的三种拿法URL 直下选脚本的「从 URL 下模型」直接贴 GGUF 下载链接本地加载先装好程序再用 --model 参数指向手机里的 GGUF 文件离线传输在电脑上把 GGUF 下好用数据线拷进手机再走「加载本地模型」python koboldcpp.py --model /path/to/model.gguf这条命令用来手动喂模型适合前面选了「仅装程序」的情况。两个最常见的坑先绕开编译报错、手机发烫编译阶段手机 CPU 会满负荷天热时容易降频甚至中断。两个动作别用多核编译装好后若需重建走单线程报错就先清理再重编make clean make -j 1⚠️ 编译时别边跑边刷别的应用留散热余量。模型下载太慢弱网下手机直接拉模型很慢。更稳的做法是在电脑上把 GGUF 下完整再用数据线拷到手机最后走脚本的「加载本地模型」。手机只负责运行不负责下载。想继续深入看这几处koboldcpp.py主程序入口所有启动参数在这里android_install.sh安卓安装脚本菜单逻辑都在这Makefile编译规则改编译选项看这里更多细节查 README.md 的 AndroidTermux installation章节那是官方文档入口。装好之后还能换别的 GGUF 模型、在 Web 界面切换对话模式甚至加载图像生成模型玩 StableUI。觉得有用就点个收藏下一篇讲怎么把速度再提一档。【免费下载链接】koboldcppKoboldCpp - Run GGUF AI models locally with a KoboldAI UI. One File. Zero Install.项目地址: https://gitcode.com/gh_mirrors/ko/koboldcpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
