【免费下载链接】halogen-flash-serverThe fastest way to run Qwen3.8-Flash-Next on Strix Halo (gfx1151)项目地址https://gitcode.com/gh_mirrors/ha/halogen-flash-server点击查看免费下载halogen-flash-server是目前在 AMD Strix Halogfx1151上运行 Qwen3.8-Flash-Next 最快的本地推理服务它原生实现了Anthropic Messages APIPOST /v1/messages让你无需任何代理或转发层就能让 Claude Code 直连本地大模型。全程只需改 3 个环境变量长会话中每轮回复约 1.6 秒出首 token。为什么选择 halogen-flash-server 跑本地模型 与通用推理引擎不同halogen-flash 的每个 kernel 都针对这块 GPU 和这个模型家族深度编写没有通用运行时、没有移植层因此能做到通用引擎做不到的速度指标数值0.18.0 默认配置Ryzen AI Max 395 / 128 GB解码速度写代码场景73 tok/s重复文本最高94 tok/s预填充8,192 token 提示词约1,821 tok/sAgent 一轮3万~9.6万 token 上下文4.2 s首 token1.6 s精度主干平均4.16 bpw量化精度可逐项核对这意味着在 30,000 甚至 96,000 token 的长会话深处Claude Code 的每一轮工具调用往返都能保持秒级体验——这正是 Claude Code 文档 所说的核心卖点。准备工作在 Strix Halo 主机上启动服务⚠️第一个关键条件进入 BIOS把 UMA 帧缓冲UMA frame buffer / 专用显存设置为最小固定值不要用 Auto。部分主板的 Auto 会划走 64 GiB 内存导致模型权重根本加载不进主机内存。准备模型目录并启动容器首次启动自动下载约 111 GiB 权重支持断点续传mkdir -p ~/halogen-models podman run --rm -p 8731:8731 \ --device /dev/kfd --device /dev/dri --group-add keep-groups \ --ipchost --ulimit memlock-1:-1 \ -e HALOGEN_DOWNLOADpeonist-ai/halogen-qwen3.8-flash-next \ -v ~/halogen-models:/models \ ghcr.io/peonist-ai/halogen-flash-server:0.18.7说明用 Docker 替代 Podman 时把--group-add keep-groups换成--group-add video --group-add render镜像版本刻意钉死在0.18.7可复现、可回滚想尝鲜可加--pullalways或用:latest也提供了 docker-compose.yml 一键编排引擎 API 拆分为两个容器启动成功后服务在:8731同时提供 OpenAI 兼容端点和 Anthropic Messages API完整的启动细节见 docs/getting-started.md卡住/慢速等问题的排查见 docs/troubleshooting.md。三步配置Claude Code 直连本地 Messages API这是全文最核心的一步。在终端或 shell 配置文件里设置 3 个环境变量然后直接运行claudeexport ANTHROPIC_BASE_URLhttp://你的服务器地址:8731 export ANTHROPIC_API_KEYanything export CLAUDE_CODE_MAX_OUTPUT_TOKENS32000 claude三个变量各管一件事ANTHROPIC_BASE_URL—— 把 Claude Code 的 API 请求指到本地服务。服务端不校验 key所以ANTHROPIC_API_KEY填任意非空字符串即可ANTHROPIC_API_KEY—— 占位值仅满足客户端的必填检查CLAUDE_CODE_MAX_OUTPUT_TOKENS—— 建议设为32000。Claude Code 每次请求都会索要其模型的全额输出上限通常超过本服务的max_tokens_cap/health可查默认 65,5360.18.1 起服务会自动按上限截断并记一次日志但主动调低能给 KV 池给其他请求留出余量改完即可使用无需任何插件或转发代理。该路由的完整定义见 docs/api.md。Messages API 到底支持了哪些能力 这套实现是从Claude Code 实际发出的请求反推构建的不是半截兼容。已验证支持的能力包括流式回复thinking、text、tool_use混合块、工具结果回传、文本块中的 system prompt、messages内的system轮次思维控制thinking开启/自适应/关闭budget_tokens作为思考预算output_config.effort映射为reasoning_effort结构化输出output_config.format传入 JSON Schema 即可工具与停止序列tools、tool_choice、stop_sequencescount_tokensPOST /v1/messages/count_tokens与 Claude Code 的上下文预估行为配套错误格式错误按 Messages API 的标准错误形状返回GET /v1/models也携带 Messages API 的模型字段两个值得了解的机制思考块往返Claude Code 每次工具轮都会把上一轮的 thinking 块含signature原样发回服务会精确重放模型写下的推理内容让下一轮提示词直接从上一轮续上prompt cache 顺势命中cache_control本服务的 prompt cache 无需标记即可工作请求中messages内的最后一个cache_control标记会多当作一个续传点usage.cache_read_input_tokens告诉你本次提示词有多少来自缓存不支持的部分Anthropic 服务端工具web 搜索、代码执行等会被丢弃并记日志你自己的 tools 照常工作、PDF 文档块返回 400、Batches 和 Files API。详见 docs/claude-code.md。进阶技巧会话状态与性能调优 ⚙️让服务按 Claude Code 线程自动保留会话状态多轮 agent 会话中每轮都要回传完整历史。开启 Sessions 功能后服务能自动记住每条线程-e HALOGEN_FORK1 -e HALOGEN_FORK_MAPclaude-code开启后服务按 Claude Code 自带的 session/thread 命名自动保留主会话和每个子 agent 的状态下一轮请求直接从保留点续传——Claude Code 侧零配置。名称由 session、thread 和 API key 共同生成无法被猜测空闲 10 分钟自动释放。控制思考深度agent 场景推荐保持默认的高强度思考想更快可在服务端设置HALOGEN_REASONING_EFFORT请求未指定 effort 时的默认档位官方建议 agentic 工作保持xhighHALOGEN_ENABLE_THINKING0默认关闭思考HALOGEN_MAX_THINKING_TOKENS未指定预算请求的思考上限监控服务状态GET /health版本、max_tokens_default、排队情况始终开放GET /cacheprompt cache 命中率与池占用GET /metricsPrometheus 格式指标完整端点清单在 docs/api.md全部标志位见 docs/FLAGS.md。常见问题排查 ️现象原因与处理权重加载失败/内存不足BIOS 中 UMA 帧缓冲未设为最小值Auto 可能划走 64 GiB首次启动后容器一直等待正在下载约 111 GiB 权重日志每 30 秒报告已下载 GB 数长提示词变慢见 troubleshooting 中主机设置冷启动首轮 34,000 token 约 21 s 属正常Podman 挂载报错statfs ... no such file or directory先执行mkdir -p ~/halogen-modelsPodman 要求 bind mount 源目录已存在更多细节见 docs/troubleshooting.md 与 docs/performance.md。写在最后halogen-flash-server 让本地大模型 Claude Code从勉强可用变成真正好用的组合原生 Anthropic Messages API、工具往返端到端验证、思考块精确重放、prompt cache 自动命中。只要你有 Strix Halogfx1151硬件按上面三步配置完几分钟后就能在完全离线的环境里跑起一个长会话秒级响应的 AI 编码代理。赞分享【免费下载链接】halogen-flash-serverThe fastest way to run Qwen3.8-Flash-Next on Strix Halo (gfx1151)项目地址https://gitcode.com/gh_mirrors/ha/halogen-flash-server点击查看免费下载相关推荐用 Lemonade 让 Claude Code 直连本地模型lemonade launch claude 完整实战指南用 Lemonade 让 Claude Code 直连本地模型lemonade launch claude 完整实战指南 Claude Code 是 Anth大模型本地部署模型推理服务人工智能AI 应用后端多模态如何一次搞定 KernelSU 元模块安装meta-overlayfs 让模块修改 /system 真正生效如何一次搞定 KernelSU 元模块安装meta overlayfs 让模块修改 /system 真正生效 刚把 KernelSU 装好、模块也装了一批却操作系统内核驱动系统编程移动开发vLLM 接入 Claude Code基于 Anthropic Messages API 的本地代理式编码实践vLLM 接入 Claude Code基于 Anthropic Messages API 的本地代理式编码实践 Claude Code 是 Anthropic人工智能大模型模型推理服务推理引擎本地部署创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
