1. 为什么要在本地折腾 RAGFlow Ollama 这套组合1.1 本地知识库的真实需求场景先说清楚这套东西到底解决什么问题。RAGFlow 是一个基于深度文档理解的检索增强生成引擎说白了就是把你手头的一堆 PDF、Word、Excel、扫描件丢进去它能解析、切块、向量化然后你问问题的时候它从你的文档里找答案再交给大模型组织语言输出。Ollama 则是本地跑大模型的运行时一条命令就能拉起 Llama、Qwen、DeepSeek 这些模型不用联网、不用 API Key、数据不出本机。这两个凑一起就是一套完全私有化的知识库问答系统。适合谁我接触过的几类人一是公司内部有大量技术文档、合同、规范想做个内部问答但数据不能外传二是做研究的研究生论文和资料太多想快速定位三就是像我这样喜欢折腾的想搞清楚 RAG 这套链路到底怎么跑通的。为什么强调本地因为很多在线服务你上传文档就等于把数据交出去了而 RAGFlow Ollama 全程在你自己的机器上跑断网都能用。代价就是需要一块像样的显卡以及忍受部署过程中的各种坑。1.2 为什么选 Docker 而不是裸装RAGFlow 官方推荐的就是 Docker Compose 部署这不是没有道理的。它依赖的东西太多了Elasticsearch、MySQL、Redis、MinIO、Nginx还有一堆 Python 服务。你要是裸装光是版本冲突就能让你怀疑人生。Docker 把这些依赖全部封装在容器里你只需要保证宿主机有 Docker 和 NVIDIA 驱动剩下的交给 compose 文件。我试过裸装一次光 Elasticsearch 的 JVM 参数和 MySQL 的字符集就折腾了大半天最后还是回到 Docker。所以这篇就老老实实走 Docker 路线把 CUDA 配置这个最容易翻车的环节讲透。1.3 硬件和系统前提在动手之前先确认你的机器够格。RAGFlow 官方最低要求是 CPU 4 核、内存 16GB、磁盘 50GB但这是能跑起来的底线实际用起来你会想哭。我的建议配置项目最低可用推荐配置说明CPU4 核8 核以上文档解析吃 CPU内存16GB32GBES 和向量库都吃内存磁盘50GB100GB SSD模型文件动辄几个 G显卡无纯 CPU 跑模型NVIDIA 8GB 显存以上有卡才能跑得动 Ollama系统就用 Ubuntu 22.04 LTS这个版本对 NVIDIA 驱动和 Docker 的支持最成熟。如果你用的是 24.04大部分步骤一样但个别驱动版本号要调整。2. 部署前的环境准备与依赖梳理2.1 Ubuntu 22.04 基础环境确认先登录你的机器把系统更新到最新sudo apt update sudo apt upgrade -y sudo apt install -y curl wget git vim build-essential然后确认内核版本和架构因为后面装 NVIDIA 驱动要看这个uname -r uname -m正常应该输出x86_64。如果你是 ARM 架构比如某些开发板NVIDIA 驱动和 CUDA 的安装方式完全不同这篇不适用。提示如果你是在 VMware 或 WSL 里跑显卡直通是个大问题。VMware 需要开启 3D 加速并安装 VMware ToolsWSL 则需要 Windows 侧的 WSLg 和驱动支持。虚拟机里跑 Ollama 性能会打折扣能上物理机就上物理机。2.2 Docker 与 Docker Compose 安装Ubuntu 自带的 docker.io 版本太老直接用官方源装sudo apt install -y ca-certificates gnupg sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod ar /etc/apt/keyrings/docker.gpg echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin装完之后把当前用户加进 docker 组省得每条命令都 sudosudo usermod -aG docker $USER newgrp docker验证一下docker --version docker compose version两个命令都能输出版本号就对了。这里有个坑docker compose带空格是 v2 插件版docker-compose带横杠是老的 v1。RAGFlow 的文档用的是 v2别搞混。2.3 NVIDIA 驱动与 CUDA 工具链这是全文最关键的一步也是最多人翻车的地方。先说结论你不需要单独装 CUDA Toolkit只需要装 NVIDIA 驱动然后让 Docker 通过 nvidia-container-toolkit 访问显卡。很多人一上来就照着 CUDA 官网的教程装 runfile结果把驱动搞乱最后nvidia-smi都跑不起来。先检查有没有装过驱动nvidia-smi如果提示 command not found说明没装。用 Ubuntu 的官方仓库装最省事ubuntu-drivers devices这个命令会列出你显卡推荐的驱动版本比如nvidia-driver-535。然后sudo apt install -y nvidia-driver-535 sudo reboot重启后再次运行nvidia-smi应该能看到显卡型号、驱动版本、CUDA Version 这一行。注意这里的 CUDA Version 是驱动支持的最高 CUDA 版本不是你已安装的 CUDA 版本别被误导。注意如果你之前用 runfile 装过 CUDA 导致驱动冲突先彻底清理sudo apt purge nvidia-* cuda-*再sudo apt autoremove重启后再按上面的方法装。2.4 nvidia-container-toolkit 配置驱动装好了但 Docker 默认看不到显卡需要装 toolkitcurl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt update sudo apt install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker验证 Docker 能不能用显卡docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi如果能看到和宿主机一样的显卡信息说明配置成功。这一步过不了后面 Ollama 用 GPU 就是空谈。3. Ollama 部署与模型拉取实操3.1 Ollama 的两种部署方式对比Ollama 有两种跑法一是直接装在宿主机上二是跑在 Docker 里。我两种都试过各有优劣。宿主机安装的好处是性能损耗最小模型文件直接存在本地目录管理方便。Docker 安装的好处是环境隔离卸载干净而且能和 RAGFlow 的 compose 网络打通。考虑到 RAGFlow 本身就在 Docker 里我推荐 Ollama 也用 Docker 跑这样 RAGFlow 容器通过容器名就能访问 Ollama不用配host.docker.internal这种麻烦东西。3.2 Docker 方式拉起 Ollama先建个目录存模型避免容器删了模型也没了mkdir -p ~/ollama/models然后启动容器docker run -d \ --gpus all \ --name ollama \ -v ~/ollama/models:/root/.ollama \ -p 11434:11434 \ --restart unless-stopped \ ollama/ollama:latest参数逐个解释--gpus all把显卡透传给容器-v把模型目录挂出来-p 11434暴露 API 端口--restart unless-stopped保证开机自启。启动后看日志确认docker logs -f ollama看到 Listening on [::]:11434 就说明起来了。3.3 模型选择与拉取技巧Ollama 的模型库很丰富但选哪个有讲究。RAGFlow 做知识库问答需要模型有较强的中文理解和指令遵循能力。我实测下来几个推荐模型参数量显存需求特点qwen2.5:7b7B约 6GB中文强速度快首选qwen2.5:14b14B约 12GB效果更好需要大显存llama3.1:8b8B约 7GB英文强中文一般deepseek-r1:7b7B约 6GB推理能力强拉取命令很简单docker exec -it ollama ollama pull qwen2.5:7b但这里有个大坑国内拉取速度极慢甚至超时。我试过直接拉 7B 模型半小时才下了 20%。解决办法是配置镜像加速或者手动下载模型文件再导入。手动导入的方法先从能访问的地方把 GGUF 文件下下来然后写个 ModelfileFROM ./qwen2.5-7b.gguf再执行docker exec -it ollama ollama create qwen2.5:7b -f Modelfile提示模型文件动辄几个 G下载时注意磁盘空间。另外 GGUF 文件要和 Ollama 的版本兼容太老的量化格式可能加载失败。3.4 验证 Ollama 是否正常拉完模型测试一下curl http://localhost:11434/api/generate -d { model: qwen2.5:7b, prompt: 你好请介绍一下你自己, stream: false }能返回一段中文回复就说明 Ollama 工作正常。如果返回错误先看docker logs ollama有没有报显存不足或者模型加载失败。4. RAGFlow 部署与 CUDA 避坑全流程4.1 获取 RAGFlow 源码与配置RAGFlow 的部署文件在 GitHub 上先克隆下来git clone https://github.com/infiniflow/ragflow.git cd ragflow/docker这里要注意分支用稳定版git checkout v0.15.0版本号根据你克隆时的最新稳定版调整。然后看docker/.env文件里面有几个关键配置要改。4.2 关键参数配置详解打开.env文件重点看这几项# 镜像版本要和你的需求匹配 RAGFLOW_IMAGEinfiniflow/ragflow:v0.15.0 # Elasticsearch 内存默认 2G机器内存大可以调 MEM_LIMIT8073741824 # 是否启用 GPU DEVICEgpuDEVICEgpu这一项是重点。如果你没有显卡改成cpu但解析和推理速度会慢很多。有显卡的话保持gpu然后确认docker-compose.yml里 Ollama 相关的服务配置正确。4.3 CUDA 版本兼容性排查这是最容易出问题的地方。RAGFlow 的镜像里内置了特定版本的 CUDA 和 PyTorch如果你的宿主机驱动版本太低容器启动时会报 CUDA driver version is insufficient。排查方法先看宿主机驱动支持的 CUDA 版本nvidia-smi | grep CUDA Version比如输出CUDA Version: 12.2说明你的驱动最高支持 CUDA 12.2。然后看 RAGFlow 镜像要求的 CUDA 版本一般在镜像的 Dockerfile 或者官方文档里有说明。如果驱动版本不够有两个选择升级驱动或者换用 CPU 模式的镜像。升级驱动最简单sudo apt install -y nvidia-driver-550 sudo reboot注意升级驱动后nvidia-container-toolkit 可能需要重新配置记得再跑一次sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker。4.4 启动 RAGFlow 全栈服务配置改好后一条命令拉起所有服务docker compose -f docker-compose.yml up -d第一次启动会拉取一堆镜像包括 Elasticsearch、MySQL、Redis、MinIO、Nginx 和 RAGFlow 本体总共好几个 G耐心等。启动完成后看容器状态docker compose ps所有服务都显示Up或healthy才算正常。如果有容器反复重启看日志docker compose logs -f ragflow-server4.5 常见启动报错与解决报错一连接不上 Redis。这个热词里也提到了通常是 Redis 容器还没起来RAGFlow 就急着连。解决办法是等 Redis 健康检查通过再启动 RAGFlow或者直接重启一次 RAGFlow 容器docker compose restart ragflow-server报错二Elasticsearch 内存不足被 kill。ES 默认要 2G 堆内存机器内存不够就会 OOM。改.env里的MEM_LIMIT或者给 ES 单独限制environment: - ES_JAVA_OPTS-Xms1g -Xmx1g报错三CUDA 相关错误。如果日志里出现CUDA error或no CUDA-capable device先确认docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi能不能跑通。跑不通就是 toolkit 没配好跑得通就是镜像里的 CUDA 版本和驱动不匹配。5. RAGFlow 初始化与知识库配置5.1 首次登录与管理员设置所有容器起来后浏览器访问http://你的服务器IP:80默认账号是admin密码在.env文件里的RAGFLOW_ADMIN_PASSWORD默认可能是infini_rag_flow。第一次登录会强制改密码。登录后先别急着传文档去设置里把模型配好。5.2 接入 Ollama 作为嵌入和对话模型RAGFlow 需要两类模型嵌入模型把文本转向量和对话模型生成回答。Ollama 两个都能提供。在 RAGFlow 的模型管理里添加 Ollama模型类型选 Ollama基础 URLhttp://ollama:11434注意这里用容器名因为它们在同一个 Docker 网络里模型名称填你拉取的模型比如qwen2.5:7b嵌入模型建议用专门的比如nomic-embed-text先拉下来docker exec -it ollama ollama pull nomic-embed-text然后在 RAGFlow 里把嵌入模型也指向 Ollama 的nomic-embed-text。提示如果 RAGFlow 和 Ollama 不在同一个 compose 网络里http://ollama:11434是访问不到的。要么把 Ollama 加进 RAGFlow 的 compose 文件要么用宿主机的 IP 加端口。我推荐前者网络更干净。5.3 创建知识库与解析设置新建知识库上传文档。RAGFlow 的解析能力是它的卖点支持 PDF、Word、Excel、PPT、图片 OCR 等。解析设置里有几个关键参数分块大小默认 512 token文档结构复杂可以调小到 256分块重叠默认 128保证上下文连续解析方法有 General、Paper、Book、QA 等模式论文选 Paper问答对选 QA上传后点解析等状态变成已完成就能问答了。解析大文档比较慢尤其是扫描件走 OCR耐心等。5.4 测试问答与效果调优在聊天界面选好知识库和模型问一个文档里有的问题。如果回答不准排查几个方向分块是否合理、嵌入模型是否适合中文、对话模型的 temperature 是否太高。我实测下来qwen2.5:7b做对话、nomic-embed-text做嵌入中文知识库的效果相当不错。如果显存够换成qwen2.5:14b效果更好。6. 实操避坑与性能调优经验6.1 CUDA 安装的三大误区第一个误区是以为必须装完整 CUDA Toolkit。实际上 Docker 方案只需要驱动 toolkitCUDA 运行时在镜像里。第二个误区是驱动版本越高越好其实要和镜像匹配太新太旧都可能出问题。第三个误区是忽略nvidia-smi里的 CUDA Version 含义把它当成已安装版本。6.2 模型下载慢的应对策略除了前面说的手动导入还可以用ollama pull的时候指定镜像源或者用aria2多线程下载 GGUF 文件。我一般提前把常用模型下好放本地需要的时候直接 create省得每次等。6.3 显存不足的降级方案8GB 显存跑 7B 模型勉强够但同时跑嵌入和对话就可能 OOM。降级方案对话模型用 4bit 量化版嵌入模型换更小的或者把嵌入放到 CPU 上跑。RAGFlow 支持混合配置对话用 GPU、嵌入用 CPU这样显存压力小很多。6.4 常见问题速查表问题现象可能原因解决方法nvidia-smi 找不到命令驱动没装用 ubuntu-drivers 安装Docker 里看不到显卡toolkit 没配重跑 nvidia-ctk configureRAGFlow 连不上 Redis启动顺序问题重启 ragflow-serverES 被 OOM kill内存不足调小 ES_JAVA_OPTS模型加载失败显存不够换小模型或量化版解析卡住文档太大拆分文档或调大超时6.5 日常维护与备份模型文件和知识库数据都要备份。Ollama 的模型在~/ollama/modelsRAGFlow 的数据在 Docker volume 里用docker volume ls找到对应的卷定期打包。升级 RAGFlow 前先备份因为版本升级可能涉及数据库迁移。这套东西搭起来确实费劲但跑通之后是真的香。我现在内部文档、技术手册全丢进去问什么答什么再也不用翻文件夹了。踩过的坑基本都写在这了照着走能省你不少时间。
