把大模型搬回家：exo 本地 AI 集群从零到上手实操指南

把大模型搬回家exo 本地 AI 集群从零到上手实操指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo70B 的模型塞不进一台机器的内存租云 GPU 又越来越贵要是能把模型拆开分摊到书房那台旧 Mac、工作站的笔记本上一起跑呢exo 做的就是这件事它把你的设备自动连成一个本地 AI 集群让大模型跨多台设备运行而且设备越多跑起来越快。一句话看懂 exo说白了exo 是一个组网工具你在每台设备上装上它设备会在同一网络里自动找到彼此合成一个集群不用手动填 IP、配端口。它适合谁手里有几台 Apple SiliconM 系列芯片电脑、但单台内存又跑不动大模型的人以及想数据留在本地不出内网的人。它解决的核心问题就一个单台机器内存不够那就把模型权重拆到几台机器上各扛一份。还有个卖点它不只是能跑。exo 支持张量并行多台机器同时算同一批数据官方数据是 2 台设备最高约 1.8 倍加速4 台约 3.2 倍。集群是怎么找到设备、拆开模型的核心思路一句话先看地图再分活。每台设备启动 exo 后会向周围广播信号互相自动发现。之后 exo 实时画出一张地图每台机器的空闲内存、每两台设备之间的带宽。再根据这张图自动决定模型怎么拆、哪一层放哪台机器你不需要手写拆分规则。你真正要做的只有两件事多备几台机器让互联尽量快。带雷雳 5第五代雷雳接口带宽更高的设备还能开启 RDMA一种大幅降低传输延迟的内存直连技术官方演示里 4 台 M3 Ultra Mac Studio 靠它跑起了 Qwen3-235B。四步跑起来先拿到源码macOS 用户也可以直接装官方 App。git clone https://gitcode.com/GitHub_Trending/exo8/exomacOS 用户嫌编译麻烦一条命令装官方 App。brew install --cask exo集群里每台设备分别运行 exo等它们自动发现彼此即可。浏览器打开内置仪表盘默认端口 52415选模型、发消息、看集群负载。官方 macOS App 需要 macOS 26.2 以上Linux 上也能跑但注意当前 Linux 版只用 CPU 推理支持到什么程度可以看平台支持列表。想绕过网页用命令管理集群参考API 接口文档。场景和功能对号入座你想做什么对应能力怎么启用难度跑单机放不下的模型多设备张量/流水线分片自动决策多台设备上线即自动生效低沿用现有 OpenAI/Claude 客户端兼容 OpenAI、Claude、Responses、Ollama 四套 API把客户端指向 52415 端口低加载 HuggingFace 自定模型自定义模型卡调用 /models/add 接口中跑图像生成模型图像模型支持设环境变量 EXO_ENABLE_IMAGE_MODELS中同一办公室跑多个集群集群命名空间隔离设 EXO_LIBP2P_NAMESPACE中对比哪种拆分最快exo-bench 基准测试见基准测试方法说明中4 台 M3 Ultra Mac Studio 跑 Qwen3-235B8-bit的实测画面如下可以用来对照你手里硬件的档次。常见坑与避坑方法Linux 上跑为什么几乎没有加速当前 Linux 版只用 CPU 推理GPU 支持还在开发。想要 Apple Silicon 那种加速效果先用 MacLinux 用户的进度可看平台支持列表。RDMA 开了为什么没生效门槛不低设备得是雷雳 5、每台设备要和其余所有设备物理互联还要在 macOS 26.2 恢复模式里执行 rdma_ctl enable且各台机器系统版本必须完全一致。任何一条不满足集群照常工作只是没有额外加速。模型下下来会不会占满系统盘模型默认存到用户目录macOS 为 ~/.exo/models。用 EXO_MODELS_DIRS 环境变量可以把下载位置指到移动硬盘空间不足时会自动回退到其他目录。macOS App 卸载不干净App 内置卸载入口菜单栏图标 → 高级 → 卸载。如果 App 已经被你删掉可以运行独立卸载脚本另外记得去系统设置的登录项里手动移除。总结它适合谁exo 把一台机器内存不够变成了几台机器一起扛体验上自动发现、自动拆模型上手成本低但它目前主要围绕 Apple Silicon 优化Linux 版只能算能用。如果你手里有两台以上 M 系列 Mac内存有点捉襟见肘又想让大模型本地、私有地跑起来可以认真试试它。你打算拿它解决什么问题【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考