【免费下载链接】llama.cppLLM inference in C/C项目地址https://gitcode.com/gh_mirrors/llamacpp14/llama.cpp点击查看免费下载想在一台电脑上本地运行大语言模型又不想被厂商 API 的订阅和流量限制束缚llama.cpp 是当下最流行的纯 C/C LLM 推理框架而它内置的llama-server正是最强大的入口——只需一条命令就能把任意 GGUF 模型变成一个OpenAI 兼容的 API 服务器自带 Web UI、多用户并发、流式输出还能无缝接入 Anthropic Messages API。本文面向新手带你从零搭建到生产部署全程不超过 10 分钟。llama-server 核心功能一览 在动手之前先了解这个一条命令的服务器到底给了你什么功能清单摘自 tools/server/README.md功能说明OpenAI 兼容 API/v1/chat/completions、/v1/completions、/v1/embeddings、/v1/responses、/v1/modelsAnthropic 兼容 API/v1/messages方便接入 Claude 生态工具多用户并发多 slot 并行解码 continuous batching默认开启多模态支持图片/音频输入multimodal 文档函数调用原生支持 OpenAI 风格 tool callingfunction-calling 文档Web UI启动后浏览器直接打开即可对话零配置监控/health健康检查、Prometheus 指标、slot 状态端点 所有端点的完整参数说明都在 tools/server/README.md是排查问题的第一手册。第一步安装 llama.cpp 的最快方法llama-server 是 llama.cpp 的编译产物之一。按平台选择最省事的方式完整列表见 docs/install.md# macOS / LinuxHomebrew推荐 brew install llama.cpp # Windows winget install llama.cpp # 全平台通用conda conda install -c conda-forge llama.cpp偏好源码构建的话在项目根目录执行cmake -B build cmake --build build --config Release -t llama-server # 二进制位于 ./build/bin/llama-server安装完成后准备一个 GGUF 格式的模型文件下文以models/7B/ggml-model.gguf为例。第二步一条命令启动服务器这就是标题里一条命令的由来./llama-server -m models/7B/ggml-model.gguf -c 2048Windows 下等价命令为llama-server.exe -m models\7B\ggml-model.gguf -c 2048执行后会看到类似这样的日志llama_server: loading model ... slot [0]: init: done服务默认监听127.0.0.1:8080此时浏览器访问 http://127.0.0.1:8080 即可进入内置 Web UI 直接对话。核心参数含义-mGGUF 模型路径必需-c上下文长度context size0表示使用模型默认值常用启动参数速查表 ️新手最常调的几个参数其余 200 参数可用llama-server --help查看自动生成于 tools/server/README.md参数默认值作用--host127.0.0.1监听地址局域网/公网部署时设为0.0.0.0--port8080监听端口-c, --ctx-size模型默认上下文长度越大越吃内存-ngl, --gpu-layersauto卸载到 GPU 的层数99可尽量全部上 GPU-np, --parallel自动并发 slot 数决定同时服务的用户数-a, --alias模型路径模型别名可伪装成gpt-4o-mini方便客户端适配--api-key无API 密钥认证多个密钥用逗号分隔--metrics关闭开启 Prometheus 指标端点--tools all无启用服务器内置工具AI Agent 场景仅限可信环境--sleep-idle-seconds关闭空闲一段时间后自动卸载模型释放内存两个实用技巧环境变量替代参数所有参数都有LLAMA_ARG_*环境变量如LLAMA_ARG_CTX_SIZE非常适合写进 Docker Compose 或 systemd 服务文件。直接在线下载模型用-hf指定 Hugging Face 仓库免去手动下载llama-server -hf ggml-org/GLM-4.7-Flash-GGUF:Q4_K_M调用 OpenAI 兼容 API零改造迁移 llama-server完整实现了 OpenAI SDK 可识别的端点你现有的代码只要改两个地方——base_url和api_key——即可指向本地1. 用 curl 直接验证服务curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: gpt-3.5-turbo, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 用一句话解释什么是 KV cache} ], stream: false }2. 用 Python openai 库接入最常用姿势import openai client openai.OpenAI( base_urlhttp://localhost:8080/v1, api_keysk-no-key-required # 未设置 --api-key 时随意填 ) resp client.chat.completions.create( modelgpt-3.5-turbo, # 任意字符串均可 messages[ {role: system, content: You are a helpful assistant.}, {role: user, content: 写一首关于 Python 异常处理的诗}, ], streamTrue, # 支持 SSE 流式输出 ) for chunk in resp: print(chunk.choices[0].delta.content or , end, flushTrue)3. Embedding 向量接口curl http://localhost:8080/v1/embeddings \ -H Content-Type: application/json \ -d {input: hello world, model: embed-model}⚠️ 注意区分/v1/completions是 OpenAI 兼容端点而/completion无v1是 llama.cpp 私有端点参数集更丰富如mirostat采样两者不要混用。此外还支持Anthropic 兼容的/v1/messages端点含stream、tools、stop_sequences以及/health、/v1/models、/slots、/props等运维端点端点与参数细节见 server-chat.cpp 与 tools/server/README.md 的 API Endpoints 章节。内置 Web UI打开浏览器就能用 除了 APIllama-server默认在根路径http://127.0.0.1:8080提供完整的网页聊天界面支持多轮对话、流式渲染、参数调整无需任何前端部署。如果只想要纯 API 服务用--no-ui即可关闭。UI 的默认偏好还能通过--ui-config覆盖例如开启 Markdown 渲染./llama-server -m model.gguf --ui-config {renderUserContentAsMarkdown: true}生产部署多用户、Docker 与安全 个人体验跑通后接下来是让它稳定跑在服务器上的关键点。1. 局域网/公网暴露 密钥保护./llama-server -m model.gguf \ --host 0.0.0.0 --port 8080 \ --api-key my-secret-1,my-secret-2CORS 行为由--cors-origins控制不同部署场景的推荐配置在 tools/server/README.md 的 CORS 一节有专门表格CORS 实现见 server-cors-proxy.h。需要 HTTPS 时用 OpenSSL 重新编译并传入--ssl-key-file/--ssl-cert-file即可。2. 提升并发吞吐./llama-server -m model.gguf -c 8192 -np 4 -ngl 99-np 4创建 4 个并发 slotcontinuous batching 默认开启多用户请求会被自动合并执行GPU 利用率显著提升。3. Docker 一键部署# CPU 版 docker run -p 8080:8080 -v /path/to/models:/models \ ghcr.io/ggml-org/llama.cpp:server \ -m models/7B/ggml-model.gguf -c 512 --host 0.0.0.0 # NVIDIA GPU 版 docker run -p 8080:8080 -v /path/to/models:/models --gpus all \ ghcr.io/ggml-org/llama.cpp:server-cuda \ -m models/7B/ggml-model.gguf -c 512 --host 0.0.0.0 --n-gpu-layers 99Docker Compose 环境变量的完整写法可参考 tools/server/README.md 中的示例。4. 多模型路由模式一个端口N 个模型不带-m直接启动即进入router 模式llama-server --models-dir ./models_directory它会根据请求体中的model字段把流量路由到对应的模型实例未加载的模型自动按需下载/加载支持/models/load、/models/unload动态管理。用--models-preset my-models.ini还能给每个模型指定独立参数。5. 空闲自动休眠省内存./llama-server -m model.gguf --sleep-idle-seconds 3005 分钟无请求后模型和 KV cache 从内存中卸载新请求到来时自动重新加载——共享服务器上非常实用。遇到问题看这些文件 资料路径服务器完整文档端点/参数/路由tools/server/README.md安装指南brew/winget/conda/nixdocs/install.md多 GPU 切分指南docs/multi-gpu.md多模态接入说明docs/multimodal.md函数调用文档docs/function-calling.md服务器源码入口tools/server/main.cppOpenAI 兼容聊天实现tools/server/server-chat.cppWeb UI 源码tools/ui/小结回顾一下 llama-server 的三板斧一条命令上线llama-server -m 模型.gguf -c 上下文默认127.0.0.1:8080OpenAI 兼容/v1/chat/completions等端点让现有 SDK 零改造迁移还附赠 Anthropic Messages API生产就绪多 slot 并发、Docker 镜像、API Key、SSL、多模型路由、空闲休眠一应俱全。从本地个人助手到团队内部的 LLM 网关llama.cpp 的 llama-server 都能用一条命令起步——现在就可以试着把你手上的 GGUF 模型服务化把任何 OpenAI SDK 的base_url指向它吧 赞分享【免费下载链接】llama.cppLLM inference in C/C项目地址https://gitcode.com/gh_mirrors/llamacpp14/llama.cpp点击查看免费下载相关推荐一条命令上线LMDeploy 部署 InternVL3-1B-Instruct 的 OpenAI 兼容 API 服务指南一条命令上线LMDeploy 部署 InternVL3 1B Instruct 的 OpenAI 兼容 API 服务指南 本文是 InternVL3 1B I一条命令上线API服务InternVL2_5-78B-MPO-AWQ的OpenAI兼容接口部署指南一条命令上线API服务InternVL2_5 78B MPO AWQ的OpenAI兼容接口部署指南 InternVL2_5 78B MPO AWQ 是上海 Allama.cpp 服务端部署实战基于 llama-server 的 OpenAI 兼容 API 生产级部署指南llama.cpp 服务端部署实战基于 llama server 的 OpenAI 兼容 API 生产级部署指南 llama.cpp 是纯 C/C 实现的AI 技能人工智能大模型深度学习上一篇eslint-plugin-unicorn no-useless-continue 规则全解析从 AST 判定算法到 AVA 快照测试验证下一篇PKHeX自动合规引擎从数据修复到智能生成的技术演进创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
