Sourcehut服务条款更新：明确LLM训练爬虫边界，代码托管数据合规新信号

Sourcehut 服务条款更新针对 LLM 训练爬虫的边界划定这则消息对开源开发者、自建 Git 服务管理员、以及依赖公开代码仓库做 LLM 数据清洗的团队都很重要Sourcehutsr.ht更新了服务条款中与 LLM 相关的规则明确了自动化爬取、训练数据采集和托管内容使用的边界。Sourcehut 是开源社区里口碑不错的代码托管与协作平台提供 git 仓库托管、邮件列表、issue 跟踪、wiki 和 CI 构建服务。它一直坚持极简风格、无 JavaScript 依赖、CLI 友好也因此有一批很硬核的用户。这次服务条款调整核心信号是平台在使用条款层面明确对 LLM 数据采集行为设限而不是继续停留在 robots.txt 或口头反对层面。本文会做四件事先说清楚这次条款调整涉及的对象和边界再分析它对普通开发者、开源维护者、LLM 数据工程团队分别意味着什么接着给出普通用户和管理员验证与应对的操作建议最后聊聊这类条款变更对整个开源生态和 LLM 训练数据合规方向的影响。1. 事件核心能力速览要素说明事件主体Sourcehutsr.ht开源代码托管与协作平台关联概念LLM大语言模型训练数据采集、网络爬虫、服务条款ToS变更类型服务条款使用边界更新明确限制用于 LLM 训练的自动化抓取与内容使用受影响对象使用 Sourcehut 托管代码和文档的开发者、从公开仓库抓取数据的爬虫、LLM 训练数据工程平台现有机制robots.txt、用户可配置的仓库访问策略、服务条款关键字Sourcehut、terms of service、LLM、爬虫策略、数据合规如果你只是偶尔在 Sourcehut 上读代码、提 issue这次变更对你的日常操作影响很小。如果你维护开源项目、镜像仓库、或者做过 GitHub/GitLab/Sourcehut 全量数据抓取就需要重新确认自己的采集行为是否在新条款允许范围内。2. 背景为什么 Sourcehut 会专门针对 LLM 改条款近两年大量公开代码仓库成为 LLM 训练语料的重要来源。GitHub 曾经被大批量抓取Sourcehut 虽然体量不如 GitHub但它的代码质量和社区属性让它同样被数据采集者盯上。Sourcehut 的创始人 Drew DeVault 一直对 AI 爬虫持明确反对态度。在多个公开场合他提到过平台日志里出现高频自动化请求、部分爬虫不遵守 robots.txt、以及托管内容被用于训练但没有为原作者提供选择权等问题。这次服务条款调整可以理解为“规则升级”过去反对 AI 爬虫主要靠 robots.txt 和平台管理员人工封禁。现在直接把使用边界写进服务条款用户授权层面就有了依据。服务条款Terms of Service和 robots.txt 的区别在于后者靠自觉前者有合同效力。用户注册、使用 Sourcehut 服务时需要同意条款。如果平台明确说“不得将托管内容用于 LLM 训练数据采集”那么批量抓取行为就可能构成违约。从公开信息看Sourcehut 的更新方向是对托管内容的使用目的做出更清晰限制尤其是大规模自动化采集和用于模型训练的场景。具体条款文本需要以官方最新版本为准但这篇文章的技术判断不需要依赖逐字条款核心趋势是平台开始用服务条款给 LLM 数据采集“画红线”。对做 LLM 数据工程的朋友来说这个信号不是孤例。OpenAI、Anthropic 等公司早期大量使用公开网络数据训练模型随后内容方开始通过条款、robots.txt、法律函件限制抓取。代码托管平台加入这个阵营意味着代码类训练数据的获取成本会持续上升。3. 服务条款更新到底影响哪些人3.1 普通开发者影响很小普通开发者在 Sourcehut 上主要做这几件事克隆公开仓库。提交 issue 或补丁。通过邮件列表讨论。使用构建服务。这些行为是平台设计的正常用法不会因为条款更新而受影响。条款限制的是“将平台托管内容用于 LLM 训练”这一特定目的的大规模采集和使用不是限制人阅读代码、克隆代码、参与协作。3.2 开源维护者好处是需要做更少对抗很多维护者早就反感自己的仓库被悄悄抓去训练模型。过去遇到爬虫维护者能做的有限看访问日志、封 IP、写 robots.txt。但抓取者换 IP、换 User-Agent 就可以绕过去。服务条款更新后维护者多了一个可以引用的依据。如果发现异常抓取可以联系平台管理员基于服务条款投诉。对于不想被训练数据采集的仓库建议维护者同时做好三件事自己仓库的 LICENSE 里写清楚允许什么用途。在 README 或专门的 AI 策略文档中说明是否允许用于训练。必要时通过平台的访问控制功能限制自动访问。3.3 LLM 数据工程团队需要重新评估数据源这是影响最直接的一类人。如果你的数据流水线里有 Sourcehut 的仓库镜像、代码快照或 API 抓取任务需要立刻确认你的数据采集是否在条款更新后仍被允许。你的抓取频率是否符合平台限制。你的数据集里是否已经包含 Sourcehut 内容以及这些内容的许可证是否支持商用训练。是否需要从训练集中移除相关数据。这里要特别提醒很多代码仓库的 LICENSE 和平台服务条款是两个不同层面的约束。仓库 LICENSE 决定的是“这份代码能不能被复制、修改、再分发”平台服务条款决定的是“你在这个平台上能以什么方式获取和使用内容”。一个仓库即使 LICENSE 写的是 MIT如果平台条款明确禁止将托管内容用于训练那么爬取行为本身可能违约除非你有其他合法获取渠道或已经获得授权。实际法律解释会因司法辖区和使用场景而异但数据工程团队不能只凭“仓库 LICENSE 是开源的”就认为“抓来训练没问题”。平台层、代码层、数据使用层要分开看。3.4 自建 Git 服务管理员可以参考这个思路Sourcehut 的条款更新对自建 Gitea、Forgejo、GitLab 的团队同样有参考价值。如果你在内网或公网托管了大量代码也可以考虑在服务条款、robots.txt、访问控制三个层面明确 LLM 训练数据策略。一个比较常见的做法是# 限制常见 AI 爬虫示例 User-Agent 列表需要根据实际情况维护 User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: * Allow: /但这只是“技术声明”效果依赖爬虫是否遵守。真正有约束力的还是“使用协议”或“服务条款”。4. 条款变更前的识别信号平台方怎么看 LLM 爬虫在讲解具体操作之前先整理一套判断平台对 LLM 爬虫态度的通用方法。这套方法不仅适用于 Sourcehut也适用于 GitHub、GitLab、Gitea以及任何你打算抓取的站点。判断维度说明robots.txt是否封禁常见 AI 爬虫是否明确放行或禁止服务条款是否提到模型训练、自动化抓取、内容使用目的限制访问频率控制是否对 API 请求做速率限制是否有匿名配额平台公告是否公开说明对 AI 训练数据采集的立场用户策略文件是否允许仓库单独声明 AI 训练策略许可证元数据是否展示仓库 LICENSE 供机器读取Sourcehut 过去就有 robots.txt 和速率限制这次把 LLM 相关内容纳入服务条款属于从“技术层限制”升级到“协议层限制”。5. 普通用户如何验证自己的使用是否合规5.1 正常使用场景自查如果你是用浏览器访问 Sourcehut、克隆公开仓库、用邮件列表提交 patch基本不受影响。可以对照这个清单自查克隆仓库后代码只在本机阅读、编译、修改。没有将整个平台或大量仓库二次打包分发。没有用自动化脚本高频抓取仓库元数据。没有将抓取的代码直接灌入 LLM 训练流程。如果以上都符合你的使用仍然是常规开发行为。5.2 自动化访问场景自查如果你的工作流里有自动化访问需要判断自己的需求是否正当。比如# 只拉取指定仓库最新 commit属于低频正常访问 import subprocess repo_url https://git.sr.ht/~user/project subprocess.run([git, clone, repo_url])低频克隆指定仓库用于本地构建、代码审计、依赖分析这是平台支持的使用方式。但如果你的脚本在多线程下批量拉取仓库列表、持续轮询 API、模拟多 User-Agent 绕过限制就需要停下来对照服务条款重新评估。5.3 查看 robots.txt 与条款如果你或你所在团队会基于 Sourcehut 做自动化采集第一步永远是先看平台的 robots.txtcurl -s https://git.sr.ht/robots.txt如果返回内容中没有明确放行 AI 爬虫默认就应该视为不允许。在此基础上再到官网找到最新服务条款页面重点看“使用限制”或“禁止行为”相关章节。6. 数据工程团队应对服务条款变更的实操建议6.1 做一次数据源审计建议立刻把你手里的代码训练数据源清单列出来逐个检查数据源是否包含 Sourcehut获取方式许可证状态平台条款允许训练吗处理动作GitHub 公开仓库快照否/是公共数据集/爬虫多数开源需逐一核实保留或移除Sourcehut 镜像是自建爬虫需逐一核实查看新条款建议移除内部提交日志否企业 Git 服务企业自持视内部协议保留凡是来源不明的数据在训练前都应该单独做一次 License 扫描。很多代码仓库虽然指定了开源许可证但代码中可能包含无许可证的第三方片段这类数据进入训练集后一旦被溯源风险很高。6.2 数据源替代方案如果 Sourcehut 内容被从训练数据中移除可以考虑替代渠道使用 GitHub、GitLab 等平台明确开放的公共数据集。使用作者单独发布的数据包前提是作者明确授权训练用途。只使用你所在公司拥有完整权利的内部代码。使用不依赖平台抓取的代码语料库例如软件基金会发布的源码归档。需要注意无论数据来自哪里都要确认“公开可访问”不等于“可用于训练”。6.3 记录数据获取过程合规的 LLM 训练数据流水线应该有日志至少记录这些内容数据的原始 URL 和抓取时间。使用的抓取工具与 User-Agent。对应平台的服务条款版本。仓库的 LICENSE 信息。是否获得作者或平台明确授权。便于日后被要求提供数据来源说明时能够快速还原数据获取链路。7. 服务条款更新与开源精神的关系探讨这次事件还有一个值得展开的层面开源社区内部对 LLM 训练数据的态度并不统一。一部分开发者认为开源许可证的意义在于赋予所有人使用、修改、分发代码的权利模型训练本质上也是一种使用方式不应该被额外限制。另一部分开发者认为开源许可证保护的是“代码使用权利”不等于“无偿贡献给大公司训练商业模型”。很多开发者不喜欢自己的代码在没有署名、没有补偿、甚至没有选择权的情况下成为商业 AI 产品训练语料的一部分。Sourcehut 的条款更新偏向后者。它实际上在强调一个原则平台的开放性是建立在“为人类协作服务”之上的不是为“大规模机器采集服务”设计的。这个原则本身和开源精神并不矛盾因为开源精神尊重的是“人的协作自由”而大量 AI 爬虫带来的问题恰恰是让平台流量和带宽被机器占用让维护者疲于应对封禁。对开源维护者来说比较稳妥的工程化建议是在项目 README 里加一段使用声明说明是否允许项目内容被用于 LLM 训练。不要只依赖平台默认条款。因为你的仓库可以被镜像到很多平台每个平台的条款都不一样。在代码仓库根目录下加入AI_TERMS.md之类的独立说明文件比只在 LICENSE 里写更醒目。一个示例# AI Training Policy This projects source code is shared for human developers to read, learn from, and contribute to. If you intend to use this repositorys content as training data for machine learning models, please contact the maintainers first. Do not assume that open source license authorized for model training.这句声明的法律效力取决于许可证本身和使用者所在法律环境但至少能减少“不确定”的模糊地带。8. 常见问题与排查方法8.1 我在 Sourcehut 上克隆代码会不会违约正常克隆公开仓库用于本地阅读、编译、学习不会受到影响。条款更新主要针对大规模自动化抓取、将平台内容用于 LLM 训练数据采集等行为。8.2 我的代码被包含在某个 LLM 训练集里了怎么处理这取决于代码仓库的许可证和平台条款。如果仓库未授权训练用途可以联系数据集的发布方要求移除。如果涉及平台托管内容被批量抓取也可以向平台方举报。整体思路如下# 第一步确认你的仓库 LICENSE 是否允许训练用途 # 如果不允许记录取证信息包括 URL、抓取时间、数据集版本 # 第二步检查数据集是否提供 opt-out 机制 # 部分公共数据集支持提交 GitHub/Sourcehut 仓库地址申请移除 # 第三步查询平台服务条款确认抓取行为是否违反平台规则 # 若违反可以携带证据联系平台管理员8.3 Sourcehut 的 robots.txt 和以前有什么不同robots.txt 的变化不代表条款变化。你需要去看平台的完整服务条款页面。不过更稳妥的判断是即使 robots.txt 没有更新只要服务条款新增了 LLM 训练数据限制爬虫行为就要重新评估。8.4 我自建了 Gitea/Forgejo该怎么办建议做三件事更新服务条款文案明确是否允许 LLM 训练数据抓取。检查 Nginx/Caddy 层是否有频率限制。在 robots.txt 中封禁已知 AI 爬虫。一个 Nginx 层速率限制示例limit_req_zone $binary_remote_addr zonegit_zone:10m rate10r/s; server { listen 443 ssl; server_name git.example.com; location / { limit_req zonegit_zone burst20 nodelay; proxy_pass http://127.0.0.1:3000; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }这个配置只是基础保护真正的权限边界还是要靠服务条款与访问控制。8.5 训练数据里已经有 Sourcehut 代码必须删掉吗从合规谨慎角度如果数据获取渠道不满足平台条款应该移除。如果仓库同时存在于 GitHub 等多个平台且你有合法获取渠道可以通过其他平台的公开数据源重新拉取再过滤掉实际来自 Sourcehut 的仓库。实际操作中判断“一个仓库是否来自 Sourcehut”可以从 URL 特征、Git remote 地址、首次抓取时间等多个维度做去重。8.6 平台封了 IP该怎么办如果只是普通开发访问被误判可以联系平台支持。如果是爬虫被封先检查爬虫频率是否过高、是否遵守 robots.txt、是否在服务条款允许范围内。不要尝试用代理池或 IP 轮换来绕过封禁这在法律合规和平台规则层面都是有风险的。9. 平台政策对比从 GitHub 到 Sourcehut 的趋势从行业面看Sourcehut 不是唯一收紧 LLM 抓取政策的平台。GitHub 在这方面经历过显著态度变化。2022 年之前GitHub 公开仓库被大量用于训练数据集是常见现象。后来随着 AI 公司和开源社区之间矛盾加剧GitHub 更新了相关策略文件并在产品层面增加了阻止某些内容被第三方共享的设置项。但 GitHub 平台体量大、仓库数量多实践中仍然主要依赖许可证检测和用户举报。Sourcehut 的优势是规模小、社区统一度高政策执行起来更容易。这也是为什么 Sourcehut 可以在服务条款层面直接写清楚 LLM 数据边界。可以预见的方向是平台早期做法当前趋势GitHub依赖仓库许可证逐步增加 opt-out 设置Sourcehutrobots.txt服务条款直接限制GitLab平台级条款更多依赖企业版内部策略自建 Gitea/Forgejo默认无限制管理员需要主动配置对做数据工程的人来说以后的合规逻辑会越来越清楚平台条款、仓库许可证、作者单独声明三层缺一不可。10. 落地清单三个读者可以直接执行的动作10.1 如果你是普通开发者更新你常用的数据采集工具脚本把 Sourcehut 从默认抓取源中移除。如果只是日常git clone不需要任何改动。订阅 Sourcehut 官方博客或公告渠道关注条款变更说明。10.2 如果你是开源维护者在仓库中新增独立的 AI 训练政策文件内容除了声明禁止训练最好还给出联系方式给有合法训练需求的人一条正规沟通渠道。同时在 README 中增加醒目提示。10.3 如果你是 LLM 数据工程负责人本月内完成数据源审计输出一份“每个数据源是否允许 LLM 训练使用”的对照表。对所有非 GitHub 平台的代码类数据源增加条款缓存机制抓取数据时保存当时平台条款的快照便于日后追溯。暂停对 Sourcehut 的增量抓取任务等待团队法律或合规侧的进一步确认。11. 总结Sourcehut 服务条款更新的核心逻辑一句话就能概括平台开始用合同层面的规则明确“公开托管内容不等于可以自由抓去训练 LLM”。这个变化对三类人影响最大普通开发者基本不受影响。开源维护者获得更多规则支持。LLM 数据工程团队需要立刻重新评估 Sourcehut 数据源合规性。Sourcehut 的体量在整个代码托管市场里不算大但这个信号值得重视。当一个强调极简、开源、协作的平台都开始单独为 LLM 写限制条款时说明 AI 爬虫对开源生态的消耗已经超出了很多维护者能接受的范围。技术上解决代码授权问题没有银弹。比较可靠的组合是 Repository LICENSE 平台服务条款 作者独立声明 数据工程审计日志。任何单层机制都有漏洞多层叠加才能把合规风险降到可接受范围。后续迭代方向可以关注 Google 和 GitHub 生态中正在推进的代码级 AI 授权元数据标准如果标准落地机器可以自动识别仓库能不能用于训练数据工程的合规成本会明显下降。在标准成熟之前按平台条款逐层确认仍然是最稳妥的做法。建议收藏备用等 Sourcehut 官方条款正式版页面发布后按本文清单逐条核对一次即可。