后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载Xberg 以 Rust 内核为底座为 371 种编程语言提供基于 tree-sitter 的代码智能提取结构、导入、导出、符号与语义块。本篇以仓库内的 Elixir 契约测试为切入点完整讲解tree_sitter配置块中每个字段的含义与默认值、如何通过Xberg.extract_async/2的 JSON 配置字符串在 Elixir 中启用代码分析并延伸到 CLI 语法树下载管理、底层提取器实现与契约测试的验证方式帮助你在任意支持语言中直接落地可复现的代码抽取管线。一、文档定位一条 Elixir 契约测试的骨架关联文档 config_tree_sitter.md 是由 alef 自动生成的契约测试片段其 frontmatter 声明了level: typecheck、side_effect: server并在正文中给出了完整的 Elixir 调用示例input_value %Xberg.ExtractInput{kind: uri, uri: https://example.com/code/hello.py} result Xberg.extract_async(input_value, {\tree_sitter\:{\groups\:[\web\],\languages\:[\python\,\rust\],\process\:{\comments\:false,\diagnostics\:false,\docstrings\:false,\exports\:true,\imports\:true,\structure\:true,\symbols\:false}}}) IO.inspect(Enum.at(result.results, 0).mime_type) IO.inspect(Enum.at(result.results, 0).content)这条片段虽然只有三行代码却完整覆盖了 tree-sitter 代码提取的三个关键环节构造 URI 输入、以 JSON 字符串传递tree_sitter配置、校验返回结果的 MIME 类型与正文内容。它与仓库中的契约 fixture config_tree_sitter.json 一一对应后者通过 mock 服务器提供/code/hello.py源文件并断言results[0].mime_type text/x-source-code、content长度不小于 5。换句话说这段 Elixir 代码就是配置是否能正确往返的验收标准。二、tree_sitter配置块全字段详解JSON 配置字符串中的tree_sitter对象直接映射到 Rust 侧的类型 TreeSitterConfig 与 TreeSitterProcessConfig。两个结构体都标注了#[serde(deny_unknown_fields)]意味着传入未知字段会直接报错——这是保证契约稳定性的手段。下面按层级展开。2.1 顶层字段字段类型默认值作用enabledbooleantrue是否启用 tree-sitter 分析设为false时即使配置块存在也会完全跳过解析退化为输出原始源码cache_dirstring / nullNone默认~/.cache/tree-sitter-language-pack/v{version}/libs/自定义语法库缓存目录同时被 CLI 下载命令与提取时的按需下载读取languagesstring[] / nullNone预下载语言提示如[python, rust]groupsstring[] / nullNone预下载语言组提示如[web, systems, scripting]processobject见下节代码分析的处理开关文档示例中languages:[python,rust]、groups:[web]出现在同一配置里二者都只作为 CLItree-sitter download --from-config/cache warm的预下载提示并不会在提取阶段充当语言白名单——如 code.rs 的注释所说明的提取时每个文件总是用单个自动检测出的语言处理因此语言/组别列表没有可供门控的语义。2.2process处理开关字段默认值作用structuretrue提取结构化条目函数、类、结构体等会以标题形式写入内容importstrue提取 import 语句exportstrue提取 export 语句commentsfalse提取注释docstringsfalse提取文档字符串symbolsfalse提取符号定义diagnosticsfalse包含解析诊断信息data_extractionfalse从 JSON/YAML/TOML/XML/CSV 等数据格式文件提取层级化键值数据树chunk_max_sizeNone语义块最大字节数null表示不切块content_modechunks内容渲染模式chunksTSLP 语义块默认、raw原始源码、structure仅函数/类标题 文档字符串不含代码体文档示例中的process块恰好演示了默认值全显式写出的写法structure/imports/exports为truecomments/docstrings/symbols/diagnostics为false。这与 Rust 侧Default实现完全一致tree_sitter.rs因此即使省略这些字段行为也不会改变显式写出便于配置自文档化。2.3 配置被谁消费tree_sitter是 ExtractionConfig 的一个可选字段且仅在启用tree-sitterfeature 时编译进结构体#[cfg(feature tree-sitter)]默认值为None即默认关闭代码分析。这也解释了为什么契约 fixture 中 wasm 绑定被跳过tree-sitter 被排除在wasm-targetfeature 之外TreeSitterConfig根本不会在 crates/xberg-wasm 中生成见 config_tree_sitter.json 的 skip 说明——371 个语法的静态包会把 wasm 推过 jsDelivr 的单文件 50 MB 上限。三、Elixir 实战从 URI 提取 Python 源码结构以文档示例为蓝本下面是带逐行注释的完整可运行流程使用 native.ex 提供的extract_async/2NIF# 1. 构造 URI 输入kind 为 :uri 时指向一个远程源代码文件 input_value %Xberg.ExtractInput{ kind: uri, uri: https://example.com/code/hello.py } # 2. 传入 JSON 配置字符串开启 python/rust 语言提示、web 组提示 # 并显式声明 process 处理开关与默认值一致 config ~S({tree_sitter:{groups:[web],languages:[python,rust], process:{comments:false,diagnostics:false,docstrings:false, exports:true,imports:true,structure:true,symbols:false}}}) result Xberg.extract_async(input_value, config) # 3. 校验结果mime_type 固定为 text/x-source-code IO.inspect(Enum.at(result.results, 0).mime_type) # 4. content 中应包含 tree-sitter 语义块标题 代码片段 IO.inspect(Enum.at(result.results, 0).content)3.1 你会得到什么当配置生效且启用了structure: true时content不是整段源码的照搬而是按语义块组织的结构化文本每个语义块函数、方法、类、模块等前会插入一个上下文标题标题级别由 chunk_heading_level 决定类/模块型容器class_definition、module_definition、class_declaration、module等节点类型用 H2其余函数、方法等一律用 H3每个块的源码正文随后追加同时块的文本、上下文路径、节点类型与字节区间会写入CodeMetadata.chunks类型 CodeChunkInfo若data_extraction: trueJSON/YAML/TOML 等数据文件还会产出层级化键值树经 convert_data_node 映射为带字节偏移的CodeDataNode。mime_type恒为text/x-source-code常量SOURCE_CODE_MIME_TYPE这一断言也正是契约 fixture 的第一条验证。3.2 内容渲染模式切换process.content_mode提供三种输出策略对应 CodeContentModechunks默认标题 块代码适合 RAG 分块与代码检索raw忽略所有块直接输出原始源码structure只输出函数/类标题含 docstring 相关内容不输出代码体适合先建索引骨架再按需拉取代码。四、底层提取链路CodeExtractor 如何工作Elixir 侧的一行调用在 Rust 内核中走的是 CodeExtractor插件名code-extractor优先级 50声明支持text/x-source-code、text/x-python、text/x-julia、text/x-r-source四种 MIME。其核心流程语言检测先按扩展名tslp::detect_language_from_path再按内容shebang 等detect_language_from_content最后按 MIME 别名兜底全部失败则抛UnsupportedFormat。因此用 URI 提取时若文件名带.py扩展名即可命中否则需要 shebang 行。安全预算进入提取前先通过SecurityBudget按security_limits.max_content_size记账超限直接拒绝对应测试 path_extraction_should_reject_declared_size_before_reading。配置映射TreeSitterProcessConfig通过From实现转换为 TSLP 的ProcessConfigtree_sitter.rs并补上调用方语言若cache_dir已配置则先执行tslp::configure让按需下载指向自定义目录configure_grammar_cache_dir。禁用兜底若enabled: false直接走 build_raw_document输出单条原始代码元素不触发任何语法库下载测试 test_disabled_tree_sitter_emits_raw_source 验证了这一点。结果传递完整的ProcessResult语言、指标、结构、导入导出、注释、docstring、符号、诊断序列化后暂存于内部 scratch 键由派生阶段转写为code_intelligence不会泄漏进最终元数据。此外从源码结构可以推断同一配置块在批次提取中还可以通过 FileExtractionConfig 按文件覆盖with_file_overrides中逐字段应用tree_sitter实现全局开启、个别文件关闭的精细化控制。五、语法库预下载CLI 的 tree-sitter 命令组tree-sitter 语法库支持按需下载但生产环境更推荐用 CLI 预热缓存避免首次提取时的网络延迟。命令实现在 crates/xberg-cli/src/commands/tree_sitter.rs包括四个子命令子命令说明xberg tree-sitter download lang...下载指定语言语法库--all下载全部--groups web,systems按组下载--from-config读取配置文件中的[tree_sitter]块--cache-dir指定缓存位置xberg tree-sitter list列出可用语言--downloaded-only只看已下载的--filter按子串过滤xberg tree-sitter cache-dir打印当前生效的缓存目录xberg tree-sitter clean清空已缓存的语法库共享库配置级联遵循CLI 参数 配置文件 默认值无环境变量层显式 CLI 值永远优先空 CLI 集合则回落到配置文件的取值见 resolve_pack_config。例如# 按配置文件中的 languages/groups 预下载 python、rust 与 web 组语法 xberg tree-sitter download --from-config # 显式指定缓存目录并下载全部语法 xberg tree-sitter download --all --cache-dir /var/cache/xberg-grammars也可以使用 TOML 配置文件形式声明Rust 侧示例[tree_sitter] languages [python, rust] groups [web] [tree_sitter.process] structure true comments true docstrings true注意languages/groups只是预下载提示提取阶段始终以自动检测的语言为准这一点在 code.rs 的注释中有明确说明。六、契约验证fixture 如何保证跨语言一致回到文档本身这条 Elixir 片段隶属仓库的 e2e 契约体系。对应的 config_tree_sitter.json 规定了完整测试语义mock 响应/code/hello.py返回 200正文取自test_documents/code/hello.py该测试文档位于 fixtures/contract 同级的测试文档目录输入kind: uriURI 指向 mock 地址断言results[0].mime_type等于text/x-source-coderesults[0].content最小长度 5配置与 Elixir 片段中的 JSON 完全一致。这套配置往返契约的意义在于同样的 JSON 配置在 Rust、Elixir、Python、Go、Java 等所有绑定中应产生字节级一致的行为——这正是 packages/elixir/lib/xberg/native.ex 中extract_async/2等 NIF 声明的用武之地。当你在 Elixir 里传入配置字符串时验证的不只是提取结果还包括序列化/反序列化、默认值填充与字段命名snake_case的完整往返链路。七、小结与推荐组合以文档示例为最小骨架一个生产可用的 tree-sitter 代码智能提取方案可以组合为预热xberg tree-sitter download --from-config或--groups web,systems --all配合cache_dir落地到共享缓存提取Elixir 中构造%Xberg.ExtractInput{kind: uri}并传入含tree_sitter块的 JSON 配置按需调整process开关检索场景建议structure/imports/exports: true辅以symbols或diagnostics做更深分析消费读取mime_type、content与CodeMetadata.chunks把语义块直接喂给向量化或代码索引验证以 config_tree_sitter.json 的断言为回归基线确保配置在任何绑定下往返一致。通过这条从一行 Elixir 调用到Rust 内核解析的完整链路你可以把 371 种语言的代码结构分析稳定地嵌入文档管道而无需为每种语言单独维护解析器。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐xberg 代码智能在 C 中配置 Tree-Sitter 完成源码结构化提取xberg 代码智能在 C 中配置 Tree Sitter 完成源码结构化提取 本文围绕 xberg 的 tree sitter 代码智能Code Inte后端AI 应用NLP在 xberg C 绑定中测试 tree-sitter 代码智能配置的完整往返round-trip流程在 xberg C 绑定中测试 tree sitter 代码智能配置的完整往返round trip流程 本篇技术指南围绕 xberg 仓库中一个自动生成的契后端AI 应用NLP在 Dart 绑定中配置 Xberg Tree-sitter 代码智能从契约测试到源码级参数解析在 Dart 绑定中配置 Xberg Tree sitter 代码智能从契约测试到源码级参数解析 Xberg 以 Rust 核心提供 Polyglot 文档智后端AI 应用NLP上一篇VeleroArkdescribe 命令详解备份、恢复与定时调度的状态洞察下一篇Dagger TypeScript SDK FunctionCallID 类型全解析从类型别名到 GraphQL 调用链创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
