【免费下载链接】BrainPilotBrainPilot: Automating Brain Discovery with Agentic Research项目地址https://gitcode.com/gh_mirrors/br/BrainPilot点击查看免费下载BrainPilot 是一款面向脑科学的开源 AI 科研 Agent 系统其内置的**本地知识库KnowledgeBase**模块支持把 PDF 文献转换为可在本机检索的 RAG 向量库OCR 提取、元数据抽取、切块、向量化全程走本地流水线嵌入与重排序模型bge-m3、bge-reranker-v2-m3完全跑在自己机器上不依赖任何第三方检索服务。本文面向新手用 4 步带你从零搭建这套 RAG 文献检索系统构建完成后 BrainPilot 的 Agent 就能直接检索你自己的论文库。 先看懂架构PDF 如何变成可检索的向量库在动手之前先用一张图理解 BrainPilot 本地知识库 RAG 文献检索的完整链路左侧是离线的知识库构建流水线中间是本机推理服务右侧是 Agent 的检索入口。核心流水线由四个相互独立、且**可重复执行幂等**的阶段组成这也是本文4 步中第 3 步的内部细节阶段作用脚本输入 → 输出① OCR调用 DeepSeek-OCR 把 PDF 页面转为 Markdownocr_pdfs.pysource/pdf/*.pdf→source/mmd/② 元数据抽取LLM 提取标题、作者、期刊、年份extract_meta.pyOCR 结果 →source/KB_source.json③ 切块按段落把全文切成检索片段离线 CPUchunk.py元数据库 →chunks/chunks.json④ 向量化bge-m3 生成 1024 维向量并建索引vectorize.py切块 →vectorstore/四个阶段都可以单独重跑已处理过的内容不会重复计算同一份 PDF 不会重新 OCR同一个 chunk 不会重新嵌入。这意味着后续增量添加 PDF 时无需重建全库。✅ 搭建前的准备清单Node.js ≥ 22BrainPilot 本体通过 npm 安装运行Python ≥ 3.10知识库流水线PyMuPDF、FlagEmbedding 等需要独立的 Python 虚拟环境两个 API Key仅 OCR 与元数据抽取阶段联网OCRSiliconFlow 的SILICONFLOW_API_KEY元数据抽取任意 OpenAI 兼容端点即META_LLM_API_KEY/META_LLM_BASE_URL/META_LLM_MODEL可复用你给 Agent 用的 LLM Key约 2.5 GB 磁盘空间用于存放 bge-m3 与 bge-reranker-v2-m3 模型权重。 嵌入和重排序模型始终在本机运行不需要任何 Key。若从源码运行 BrainPilot可先克隆仓库git clone https://gitcode.com/gh_mirrors/br/BrainPilot以下命令均以仓库根目录的KnowledgeBase/为例npm 安装时知识库根目录通常位于~/.brainpilot/KnowledgeBase/可用BP_KB_ROOT覆盖。第1步一键创建 Python 虚拟环境四个构建阶段和本地模型 sidecar 都需要一个专属 venv避免 PyTorch 等大依赖污染系统 Python。推荐用 Web 界面。启动 BrainPilotbrainpilot up打开本地地址后进入设置 → 知识库点击开始准备即可自动完成环境与模型准备进度会实时显示在日志面板中。命令行方式等效跨平台# Linux / macOS bash KnowledgeBase/scripts/setup_env.sh # WindowsPowerShell / cmd KnowledgeBase\scripts\setup_env.bat脚本会自动挑选PATH上最新的 Python ≥ 3.10在KB_ROOT/.venv创建虚拟环境并安装 requirements.txt 中的依赖。创建完成后无论是 Web 的构建知识库按钮还是命令行 build_kb.py 都会自动发现并使用这个 venv无需手动source激活。如果你已有想复用的 conda 环境启动 BrainPilot 前设置BP_KB_PYTHON/绝对路径/python即可完全绕过 venv 检查。第2步下载嵌入与重排序模型约 2.5 GB检索质量依赖两个本地模型bge-m3嵌入和 bge-reranker-v2-m3精排重排序。只需下载一次KnowledgeBase/.venv/bin/python KnowledgeBase/scripts/setup_models.py # 国内网络可加镜像参数 KnowledgeBase/.venv/bin/python KnowledgeBase/scripts/setup_models.py --hf-mirror https://hf-mirror.com权重保存在models/bge-m3/与models/bge-reranker-v2-m3/下载支持断点续传。实际上你甚至可以跳过这一步——第 3 步执行到向量化阶段时build_kb.py 会检测到权重缺失并自动触发下载。第3步放入 PDF运行四阶段构建流水线把要入库的 PDF 放进source/pdf/每个文件须为有效、非空 PDF单文件上限 256 MB然后配置 Key 并一键构建export SILICONFLOW_API_KEYsk-... export META_LLM_API_KEYsk-... export META_LLM_BASE_URLhttps://api.example.com export META_LLM_MODELdeepseek-chat python KnowledgeBase/scripts/build_kb.py构建期间各阶段按 OCR → 元数据 → 切块 → 向量化顺序执行日志实时滚动。若某些阶段已完成可以精准跳过python KnowledgeBase/scripts/build_kb.py --skip-ocr # mmd 已在跳过 OCR python KnowledgeBase/scripts/build_kb.py --only chunk vectorize # 只重切块 重嵌入Key 也可以不每次 export在source/API_config.json中按 CLI 参数 → 环境变量 → 配置文件 的优先级保存该文件已被 gitignore不会误提交。OCR 阶段还支持--preset快速切换服务商siliconflow、openai、anthropic、zhipu、qwen等以及--ocr-concurrency调节并发。Web 界面用户则对应选择 PDF → 开始准备 → 在高级与故障排查中配置 OCR 服务商与元数据抽取 → 点击准备搜索等待状态变为可搜索即完成。注意仅上传文件不会自动建立索引必须执行本步。第4步验证 Agent 检索你的文献库构建完成后BrainPilot 运行时会为 Agent 自动注册两个本地检索工具无需任何额外配置get_domain_knowledge_local(query, topk5, min_rerank_score0.5)两阶段语义检索——先用 bge-m3 对问题取向量做余弦召回再用 bge-reranker-v2-m3 精排返回带标题、作者、期刊、段落正文的高相关片段search_papers_local(title?, authors?, journal?, keywords?, ...)按元数据过滤 关键词排序检索你的文献库modefull-paper还能分页返回全文片段。模型服务由 server/model_server.py 提供的单用户 loopback sidecar承载第一次检索调用时自动拉起自动选择 GPU → MPS → CPU加速器 fp16 / CPU fp32BrainPilot 退出时随之干净退出——不是 systemd 守护进程也不监听公网端口。现在可以直接在会话里提问验证例如帮我总结知识库里关于工作记忆的 fMRI 研究有哪些Agent 会自动调用上述工具作答。如果检索质量不理想优先检查vectorstore/meta.json的count是否为 0其次可调高min_rerank_score默认 0.5过滤低质匹配。⚠️ 注意search_papers_local的过滤参数都是精确匹配journalNat Commun不会命中 Nature Communications。不确定时优先用keywords排序、把过滤参数留空。除了 RAG 文献检索BrainPilot 还内置了覆盖 7 大研究领域的技能库Agent 可按需加载领域方法论你也可以通过 MCP 接入自有语料库的检索服务与本地知识库形成互补。 常见问题速查OCR 报 429 / 触发 TPM 限额加--ocr-concurrency 2甚至 1降并发。脚本内置进程级限流遇到 429 会统一暂停 70 秒后自动继续不会真正丢页。元数据抽取出现 fallback 行重跑python KnowledgeBase/scripts/extract_meta.py会自动重试所有失败记录针对特定文件可加--target 子串。新加了 PDF要全部重建吗不需要。四个阶段全部增量执行OCR 只处理新 PDF切块和向量化只处理新 chunk。内存占用多少bge-m3 重排序模型在 GPUfp16约 2.5 GBCPUfp32约 4–5 GB。sidecar 随主进程退出稳定态磁盘开销仅为vectorstore/models/。离线可用吗先用setup_models.py下好权重断网后build_kb.py --skip-ocr --skip-extract仍可完成切块与向量化OCR 与元数据抽取需联网。️ 关键文件速查文件说明KnowledgeBase/README.md知识库官方完整文档中英双语KnowledgeBase/scripts/setup_env.py创建虚拟环境Web 按钮调用的就是这个纯 stdlib 脚本KnowledgeBase/scripts/setup_models.py下载 bge-m3 与重排序模型权重KnowledgeBase/scripts/build_kb.py四阶段一键构建编排器KnowledgeBase/server/model_server.py本地检索 sidecar仅监听 loopback 总结到这里你已经完成了 BrainPilot 本地知识库的全部搭建第 1 步创建独立 Python 环境第 2 步下载本地嵌入与重排序模型第 3 步把 PDF 跑完 OCR → 元数据 → 切块 → 向量化四阶段流水线第 4 步通过get_domain_knowledge_local与search_papers_local两个内置工具让 Agent 直接检索你的文献库。整个过程不依赖公网端口、不需要常驻守护进程论文内容在检索阶段完全留在本机——对于需要私有文献语料的科研 Agent 工作流这是一套开箱即用的本地 RAG 文献检索方案。赞分享【免费下载链接】BrainPilotBrainPilot: Automating Brain Discovery with Agentic Research项目地址https://gitcode.com/gh_mirrors/br/BrainPilot点击查看免费下载相关推荐balenaSound插件系统详解蓝牙、AirPlay2、Spotify Connect全支持balenaSound插件系统详解蓝牙、AirPlay2、Spotify Connect全支持 balenaSound是一个基于树莓派的开源音频流解决方案能音视频物联网后端create-dmg错误排查手册常见问题与解决方案汇总create dmg错误排查手册常见问题与解决方案汇总 create dmg是一款实用的shell脚本工具专为构建精美的macOS磁盘镜像DMG文件而设开发工具PrivateGPT完整部署教程三步骤搭建本地AI知识库系统还在为公开AI服务的数据隐私担忧吗PrivateGPT让您轻松拥有专属的本地智能助手这个开源框架将文档处理与大语言模型完美结合打造完全离线的知识问答系统。人工智能AI 应用RAGLLM 网关AI Agent后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
