Scrapling Agent Skill 官方技能包实战让 AI Agent 零猜测跑通整条抓取链路【免费下载链接】Scrapling️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev项目地址: https://gitcode.com/GitHub_Trending/sc/ScraplingScrapling 官方技能包把整个文档站打包成 Markdown 塞给你的 AgentAI 写抓取代码不用再靠训练数据猜 API还自带一套防提示注入的输出清洗。装好它OpenClaw、Claude Code 这类智能体工具就能直接上手 AI 抓取任务。先看一个典型翻车现场你让 Agent 帮我写个爬虫抓这个页面它信心满满地输出一段代码——然后报错或者抓回来一片空白。原因不复杂模型记忆里的 Scrapling 版本、参数名、模块路径很可能已经过时而它又没有项目文档可读只能瞎猜。官方在 agent-skill/ 目录内置的 Agent Skill 就是冲着这个问题去的整套东西遵循 AgentSkill 规范把文档站几乎全部内容 Markdown 化后封装成一个智能体技能包官方给出的口径是关于 scrapling 约 90% 的问题可以直接答。对新手来说这意味着一件事技能装进 Agent 后你提需求即可不用反复当人肉文档检索器。一条命令装好技能包安装的三条路技能包的安装成本极低agent-skill/README.md 给了三条路线任选其一ClawhubOpenClaw / Claude Code 用户首选clawhub install scrapling-official装完即技能生效。skills.sh CLInpx skills add D4Vinci/Scrapling --skill scrapling-official。这个 CLI 会自动探测你机器上装了哪些 Agent把技能写进对应目录不用手动搬文件。直接下 ZIP仓库里的agent-skill/Scrapling-Skill.zip就是现成打包解压到 Agent 的技能目录即可适合网络环境不便跑 npm 的场景。技能主文件是 SKILL.md用法、CLI、代码范式、参考文档索引全在里面references/放深度文档examples/放可运行脚本。使用中遇到问题走项目 issue 或官方社区反馈。它凭什么知道自己该不该上场技能能不能被 Agent 正确路由关键在 SKILL.md 的 YAML frontmatterdescription: Scrape web pages using Scrapling with HTTP requests, stealth browsers, JavaScript rendering... Use when asked to scrape, crawl, or extract data from websites; web_fetch fails; the site has anti-bot protections; write Python code to scrape/crawl... metadata: openclaw: requires: bins: - python3 anyBins: - pip - pip3三个设计值得留意。其一description 就是触发条件清单要求抓取/爬取/提取数据、web_fetch失败、目标站有反爬、要写爬虫代码——四种场景命中任意一个就激活写这么具体是为了压低误触发率。其二requires.bins预先声明运行依赖系统必须有python3且pip/pip3至少有一个Agent 执行前先过环境校验。其三正文里专门给自动化安全扫描器留了 Notes for AI scannersCloudflare 挑战靠浏览器自动化解决不依赖任何第三方求解服务、无需密钥Proxy 和 CDP 模式完全可选、由用户自行提供cdp_url、user_data_dir、代理凭据这类参数在库内部都会校验。另外注意硬性前提Python 3.10且这是库作者亲自发布的官方技能不是社区搬运。从装好到跑通两条命令打底建一个虚拟环境venv 或任意方式然后pip install scrapling[all]0.4.13 scrapling install --force第一条装全量依赖第二条下载 Playwright Chromium 及其系统库各跑一次即可。有个坑如果scrapling不在$PATH里记下二进制的实际路径后面所有命令都用完整路径。没有 Python 环境或不想本地装官方 Docker 镜像可以兜底docker pull pyd4vinci/scrapling或ghcr.io/d4vinci/scrapling:latest。但注意技能包里的明确限制镜像只能跑 CLI 命令不能写 Python 代码调用 Scrapling。从仓库 Dockerfile 看镜像基于python:3.12-slim-trixie用uv --all-extras装全依赖并预装 Chromium8000 端口留给 MCP HTTP 传输——定位就是命令行工具箱。--ai-targeted防提示注入的关键开关SKILL.md 用 IMPORTANT 标了一条针对 Agent 的强制规则跑命令行抓取时必须带--ai-targeted用于防提示注入浏览器命令下它还会自动开启广告拦截。这个参数在 scrapling/cli.py 里有明确实现所有extract子命令最终走同一个落盘函数ai_targeted为真时做两件事——写入文件时main_content_onlyTrue只留页面主内容同时给浏览器请求自动挂上block_ads。为什么要清洗隐藏内容因为 CSS 隐藏、aria-hidden、template、HTML 注释、零宽字符这些区域人眼看不到LLM 却会原样读进去——这正是网页向大模型塞忽略之前的指令的常见藏身地。把它们洗掉注入载体就没了。广告拦截那边屏蔽的是约 3,500 个已知广告/追踪域名省请求也省 token。MCP 服务端路径上main_content_only默认就是 true执行同一套清洗策略——CLI 和 MCP 两条路的安全模型是一致的不存在MCP 那边没防的缺口。不写代码能抓多少extract 命令组CLI 的scrapling extract组覆盖零代码场景六个子命令各管一段get/post/put/delete纯 HTTP 请求四者共享--timeout默认 30 秒、--proxy、-s/--css-selector、--impersonate等选项post和put额外支持-d表单数据与-jJSON 数据。fetch浏览器自动化抓取JS 页面、需登录态交互的站走它。stealthy-fetch隐身浏览器多一层反检测开关。输出格式完全由文件扩展名决定写article.md就 HTML 转 Markdown 落盘page.html原样保存content.txt存清洗后的纯文本。常用选项里新手记四个就够-s用 CSS 选择器裁剪范围、--timeout控超时、--proxy挂代理、--impersonate模拟浏览器指纹支持Chrome, Firefox, Safari逗号分隔随机选一个。fetch另有--wait-selector、--network-idle处理 JS 加载时序stealthy-fetch独有--solve-cloudflare自动过挑战、--block-webrtc等反检测开关。命令怎么选官方给了升级链不确定就先get返回空或需要 JS 升fetch被拦截再升stealthy-fetch。而且 fetch 与 stealthy-fetch 速度几乎相同升级没有性能代价scrapling extract get https://blog.example.com article.md --css-selector article scrapling extract stealthy-fetch https://example.com data.txt --solve-cloudflare配套三条操作纪律优先用.md输出提升可读性需要解析结构才用.html用-s选择器把上下文喂给 Agent 之前先裁剪临时文件读完必须清理。要写代码时四层范式与四个可跑样例技能包的原则是 CLI 管快速场景功能上限还是要靠代码。SKILL.md 的 Code overview 给出四层递进范式examples/ 目录里四个脚本全部打官方练习沙箱 quotes.toscrape.com10 页共 100 条 quotes可以直接对照跑FetcherSession01_fetcher_session.py持久 HTTP 会话 浏览器 TLS 指纹FetcherSession(impersonatechrome)之后多页复用连接适合 API 与快速翻页。StealthySession03_stealthy_session.pyStealthySession(headlessTrue, solve_cloudflareTrue)会话保活到退出上下文Cloudflare、指纹检测场景直接上它。DynamicSession02_browser_session.py完整浏览器自动化load_dom、XPath、点击等待都在这一层。Spider04_spider.py并发请求、多会话懒加载configure_sessionsmanager.add(..., lazyTrue)、检查点续爬crawldir CtrlC 优雅暂停、development_mode True磁盘缓存回放。最小形态大致是这样class QuotesSpider(Spider): start_urls [https://quotes.toscrape.com] async def parse(self, response): for quote in response.css(.quote): yield {text: quote.css(.text::text).get()} next_page response.css(li.next a) if next_page: yield response.follow(next_page[0].attrib[href])爬完用result.stats看 items 数、请求数、耗时result.items.to_json(quotes.json)一行导出。升级逻辑和 CLI 一致get/FetcherSession→ 需要 JS 换fetch/StealthySession→ 多页规模上 Spider。SKILL.md 不够时参考文档已经打包好了references/ 目录与官方文档站一一对应按需取用即可不必全量加载fetching/策略选择、静态/动态/隐身抓取与会话持久化parsing/解析主类、选择器、自适应解析spiders/架构、会话、代理轮换等 8 篇mcp-server.mdMCP 服务器工具说明含 Prompt injection protection 一节integrations/scrapy.md在现有 Scrapy 项目里复用 Scrapling 解析 APImigrating_from_beautifulsoup.md与 BeautifulSoup 的 API 对照表。SKILL.md 还特意立了一条规矩技能包已封装几乎全部已发布文档未经用户许可不要查外部来源或联网搜索。这条对控制 Agent 行为边界很有用。什么场景该用、什么场景别用该用单次请求到整站爬取的任意规模抓取需要过 Cloudflare 等反检测的页面Agent 要长期替你写爬虫代码想接 MCP 把抓取能力做成工具。别用/别指望纯 Docker 场景想写 Python 代码调库镜像只支持 CLI机器上没有 Python 又不方便装环境以及任何未经授权的目标——Guardrails 是常驻约束不是建议只抓你有权访问的内容遵守 robots.txt 与服务条款Spider 里robots_txt_obey True强制生效大规模爬取加download_delay或开autothrottle_enabled True让框架按域自动调延迟、被拦截时自动退避不绕付费墙、不碰个人与敏感数据。上手 checklist技能包三选一装好 →pip install scrapling[all]0.4.13scrapling install --force→ 第一条extract get ... --ai-targeted跑通 → 按需升级 fetch/stealthy-fetch → 多页需求切 Spider → 遵守 Guardrails 再放量。【免费下载链接】Scrapling️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
