后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载本篇指南围绕 xberg以 Rust 为核心的 Polyglot 文档智能引擎的 Python 绑定讲解如何通过ExtractInput(kinduri)将一个远程文本文档的 URL 直接交给extract()异步接口配合ExtractionConfig.from_json({url:{mode:document}})指定 URL 提取模式最终读取results[0].content与summary.remote_urls。读完本文你将掌握 xberg Python API 下按文档模式拉取远程 URL 并结构化提取的最小可运行方案以及UrlExtractionConfig中与文档下载相关的关键参数如何影响实际行为。适用场景与运行前提xberg 的 URL 提取支持两类形态把 URL 当作待抓取的网页爬取模式或把 URL 当作指向某份文档的地址文档模式。本文聚焦后者目标地址返回的是text/plain之类的文本/文档内容而非 HTML 页面本身。典型场景包括从公开文本仓库、日志服务或 API 端点直接提取纯文本正文按固定地址批量消费远程文档配合extract_batch的 URI 输入在 RAG/知识库流水线中把文档所在 URL作为输入来源而不是先把文件下载到本地。运行前提与注意事项需要安装 xberg 的 Python 包对应仓库中的 packages/python其__init__.py、api.py通过xberg._xberg这一 Rust 原生绑定暴露extract、ExtractInput、ExtractionConfig等符号side_effect: server表明该场景依赖可访问的 HTTP(S) 服务目标 URL 必须能被运行 xberg 的进程访问示例使用asyncio.run()驱动因为extract是协程接口需要事件循环。最小可运行示例来自官方片段下面的代码取自仓库自动生成的 Python 片段 docs-site/src/snippets-generated/python/url/url_remote_text_document.md由 alef 工具链生成内容与 fixtures/url/url_remote_text_document.json 保持一致它是本文讨论的核心骨架import asyncio from xberg import extract, ExtractInput, ExtractInputKind from xberg._xberg import ExtractionConfig async def main() - None: input ExtractInput(kindExtractInputKind(uri), urihttps://example.com) config ExtractionConfig.from_json({\url\:{\mode\:\document\}}) result await extract(input, config) print(result.results[0].content) print(result.summary.remote_urls) asyncio.run(main())把其中的uri替换为实际的目标地址例如某个返回纯文本的端点即可跑通一次远程文本文档的提取。输入构造ExtractInput 与 ExtractInputKindExtractInput是提取请求的输入载体kind字段决定输入类型。示例中ExtractInputKind(uri)明确将输入声明为 URL 形式随后通过urihttps://example.com给出地址。与之并列的还有 bytes 等输入类型用于直接传二进制内容选用uri意味着整个下载与解码流程由 xberg 内部的 URL 管线负责。在 Python 绑定中ExtractInput及相关配置类型定义于 packages/python/xberg/options.py底层类型签名可从 packages/python/xberg/_xberg.pyi 的类型桩查看。ExtractInputKind作为 Rust 侧pyclass枚举暴露给 PythonExtractInput(kind..., uri...)的写法等价于把一条URI 类型输入送入提取管线。核心配置url.mode 与 UrlExtractionConfig示例中的ExtractionConfig.from_json({url:{mode:document}})是全程最关键的一行——它把 URL 提取模式显式设为document。三种模式的含义从 packages/python/xberg/_xberg.pyi 的类型桩可以看到UrlExtractionMode枚举包含三个成员AUTO默认由 xberg 根据 URL/响应内容自动决定按网页还是按文档处理DOCUMENT把 URL 当作文档地址直接下载并提取即本文场景CRAWL把 URL 当作种子页面进行爬取。对应到 packages/python/xberg/options.py 中的UrlExtractionConfig其mode字段默认值为auto。显式指定document的好处是行为确定无论响应是什么内容类型都走下载→识别格式→提取的文档管线避免被误判为需要渲染的网页。UrlExtractionConfig 关键参数UrlExtractionConfig提供以下可直接在配置 JSON 中覆盖的字段默认值与说明见 packages/python/xberg/options.py字段默认值说明modeauto取值为auto/document/crawl本文使用documentcrawlNone嵌套的 CrawlConfig控制 HTTP 抓取细节见下文document_url_patternNone可选正则过滤从文档中发现的后续 URLmax_document_urls_per_result100每次提取结果内最多跟随的文档 URL 数max_total_urls1000整次 extract 调用累计跟随的 URL 上限allow_local_file_inputsTrue是否允许裸本地文件系统路径作为输入allow_file_urisTrue是否允许本地file://URI 输入嵌套 CrawlConfig 中的文档相关项UrlExtractionConfig.crawl可嵌套传入CrawlConfig同文件 packages/python/xberg/options.py。与远程文档下载强相关的字段包括download_documents: bool True是否下载非 HTML 文档PDF、DOCX、图片、代码等。默认开启这正是 document 模式能拿到正文的前提之一document_max_size: int | None 52428800单个文档下载的大小上限默认 50 MBdocument_mime_types: list[str] []允许下载的 MIME 类型白名单为空时使用内置默认集document_output_dir/document_content_encoding将下载字节流式写盘或编码进内存的选项ssrf出站网络请求的 SSRF 策略默认拒绝访问私网地址、仅允许 http/https、最多跟随 5 次重定向。这些参数说明即便使用最简配置xberg 也内置了体积上限与 SSRF 防护等安全边界适合直接接入不可信 URL 场景。结果解读content 与 summary.remote_urls调用await extract(input, config)返回的result中本例只使用了两处result.results[0].content第一个提取结果的正文字符串。对于纯文本文档即为下载到的正文内容result.summary.remote_urls本次提取中实际访问的远程 URL 数量汇总字段。测试夹具 fixtures/url/url_remote_text_document.json 对此做了明确断言{ mock_responses: [ { path: /, method: GET, status_code: 200, headers: { content-type: text/plain; charsetutf-8 }, body_inline: Remote document hello from Xberg URL e2e.\n } ], assertions: [ { type: not_error }, { type: contains, field: results[0].content, value: Remote document hello }, { type: equals, field: summary.remote_urls, value: 1 } ] }可见标准行为是对返回text/plain的端点xberg 下载正文写入results[0].content并把这次远程访问计入summary.remote_urls。当文档内部还链接了其他文档、且配置允许跟随时该计数会相应增长可用于观测一次提取实际触发了多少次网络请求。底层实现与测试佐证入口函数extract是api.py中定义的async def extract(...)见 packages/python/xberg/api.py它与extract_batch、extract_with_external_redaction共同构成 Python 侧公共 API原生绑定ExtractionConfig.from_json经由xberg._xbergRust 原生模块解析 JSON 并构建配置Python 侧仅做轻量封装因此配置字段与 Rust 侧保持一致端到端验证本示例对应的端到端用例由仓库的 mock server 驱动参见 scripts/e2e/run-with-mock-server.sh夹具模拟了GET /返回text/plain; charsetutf-8的响应再断言提取结果与remote_urls计数保证文档所展示的写法在真实调用链路上可复现。常见调整不指定 mode省略url配置时走auto模式xberg 根据响应内容自动决策对内容类型明确、仅需正文的场景显式document更稳妥多文档跟随若希望提取结果中记录的remote_urls覆盖文档内链接的多个文件可配合CrawlConfig.follow_document_urls与document_url_depth控制跟随深度与范围受限网络环境通过CrawlConfig.ssrf、document_max_size、document_mime_types收紧下载边界内网部署时注意默认 SSRF 策略会拒绝私网地址需按需显式配置放行。综上url.mode document是 xberg Python 绑定中URL 即文档源的标准开关一行 JSON 配置配合ExtractInput(kinduri)与extract()协程调用即可把远程文本文档纳入统一的提取流水线并从summary.remote_urls观察网络触达情况。仓库中的 fixtures/url/url_remote_text_document.json 与 docs-site/src/snippets-generated/python/url/url_remote_text_document.md 是可直接对照验证的官方样例。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐使用 Xberg Dart 绑定通过 URL 提取远程文本文档url.modedocument 实战指南使用 Xberg Dart 绑定通过 URL 提取远程文本文档url.modedocument 实战指南 本篇技术指南围绕 Xberg 仓库中 Dart 语后端AI 应用NLPalgorithm-base 动画讲解剑指 Offer 03 数组中重复的数字——HashSet 与原地置换双解法精析algorithm base 动画讲解剑指 Offer 03 数组中重复的数字——HashSet 与原地置换双解法精析 本篇以 algorithm base后端AI 应用NLPXberg C FFI 实战用 xberg_extract 从远程 URL 提取文本文档Xberg C FFI 实战用 xberg_extract 从远程 URL 提取文本文档 本文以 Xberg 仓库中自动生成的 C 语言 E2E 片段 url后端AI 应用NLP上一篇终极显卡优化指南用OptiScaler开源上采样工具提升游戏帧率下一篇Google代码审查效率提升基于gh_mirrors/eng/eng-practices的代码审查激励机制创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
