【免费下载链接】SWE-chat项目地址https://ai.gitcode.com/hf_mirrors/SALT-NLP/SWE-chat点击查看免费下载SWE-chat 是一个记录 AI 智能体Agent完成软件工程任务全过程的数据集每一次 Agent 会话session中的消息流转、工具调用tool calls、代码环境检查点checkpoints等都被逐条存成Parquet 表方便用 pandas / PyArrow 等工具直接读取分析。本文面向新手用最少代码讲透 SWE-chat 的数据结构sessions 如何组织、checkpoints 是什么、工具调用字段怎么读并给出一份 Parquet 表核心字段完全手册。 核心关键词一览SWE-chat、sessions、checkpoints、工具调用tool calls、Parquet 表、字段结构SWE-chat 数据集简介Agent 交互日志 Parquet 列式存储SWE-chat 记录的不是单一文本对话而是Agent 在真实代码仓库中“干活”的完整轨迹用户下达软件工程任务修 bug、写测试、重构代码等Agent 规划 → 调用工具读文件、改文件、跑命令→ 观察结果 → 继续迭代过程中环境状态会被打点保存checkpoints形成可回溯的检查点序列这些信息以Parquet 列式存储的表文件落地具有以下工程优点特性说明列式存储只读取需要的列内存与 IO 开销小适合逐列分析高压缩率同字段类型连续存放压缩比显著高于 CSV/JSONSchema 内嵌每个 Parquet 文件自带字段名、类型、分块row group元信息生态兼容pandas、PyArrow、Polars、Spark 均可直接读取在仓库中数据文件通过 Git LFS 管理可从 .gitattributes 中看到*.parquet filterlfs difflfs mergelfs -text这一行即.parquet文件由 LFS 指针承载、clone 后拉取实际数据。3 步获取 SWE-chat 数据文件clone 与 SDK 两种方式数据文件的元信息及文件列表可浏览数据集页面的“数据集文件”栏目获取见 README.md。获取方式二选一方式一Git Clone推荐配合 LFS 自动拉取数据git clone https://gitcode.com/hf_mirrors/SALT-NLP/SWE-chat方式二ModelScope SDK 下载from modelscope import dataset_snapshot_download dataset_snapshot_download(hf_mirrors/SALT-NLP/SWE-chat)⚠️ 提示Parquet 大文件走 LFSclone 请确保本机已安装git-lfs否则会只下载到几十字节的指针文件而非真实数据。数据结构全景sessions 会话是如何组织的SWE-chat 的组织粒度是一次完整任务 一个 session典型层级如下数据集本仓库按分片切分为多个.parquet文件Parquet 分片文件按数据量/时间切分同一张逻辑表被拆到多个物理文件中行record一个 session 内的一条事件/消息记录对话消息、工具调用、状态变更等session由session_id串联起来的完整 Agent 运行轨迹内部通常包含若干checkpoint检查点理解这个层级关系后所有字段都能对号入座dataset (SWE-chat) └── *.parquet 分片逻辑上同表 └── row一条事件记录消息 / 工具调用 / 检查点… └── session_id → 串联成一次完整 Agent 会话 └── checkpoints → 会话中若干环境状态快照Parquet 表核心字段完全手册不同版本/分片的字段可能略有差异以实际schema为准文末给出验证方法。以下是最常见的字段族。会话标识字段定位每一次 Agent 运行字段类型常见作用session_idstring会话唯一标识过滤/分组一个完整任务轨迹的核心键environment_idstring该会话对应的代码环境/仓库实例标识timestampdatetime/string事件发生时间用于排序还原时间线index/seqint会话内事件序号与时间戳配合保证顺序使用要点几乎所有分析都从WHERE session_id xxx开始再按timestamp/index排序即可复现一次完整会话。消息字段 messages完整对话链路字段说明role消息角色user用户/环境反馈、assistantAgent 输出、tool工具结果回填等content消息正文字符串或结构化内容message_type消息类别标记如指令、规划、总结等视 schema 而定使用要点rolecontent就是最经典的对话字段对。注意tool角色消息通常承载工具执行结果与assistant里的调用请求一一对应按序配对即可还原“调用 → 结果”闭环。工具调用字段 tool_callsAgent 操作行为的记录这是 SWE-chat 最具价值的字段族记录 Agent 对环境的每一次写操作字段说明tool_name/name被调用工具名如编辑文件、执行 shell 命令、读取文件等arguments/input工具入参文件路径、命令内容、代码片段等常为 JSON 字符串或 structresult/output工具返回结果或状态成功/失败、报错信息status/success调用是否成功筛选“踩坑”案例时非常有用使用要点按tool_name做value_counts()可以快速统计 Agent 的行为偏好改文件多还是跑命令多过滤success False的行能得到大量 Agent 犯错与纠错的真实样本是研究 Agent 可靠性的黄金数据checkpoints 检查点代码环境状态快照checkpoints记录会话过程中代码环境的关键状态存档例如某一步之后的仓库提交、文件状态或环境版本标记字段常见说明checkpoint_id检查点标识session_id所属会话与主表关联timestamp/step检查点产生的时间点或步序state/commit环境状态引用如提交标识、快照位置用于回滚与复现使用要点checkpoints 把“一次会话”切成若干可回溯的段。若需要复现某一步的仓库状态按session_id关联到该时刻之前的最新 checkpoint 即可无需从头重放全部工具调用。快速验证与读取用 pandas / PyArrow 打开你的第一张表拿到.parquet文件后推荐先看 schema 再读数据列式存储下只读需要的列速度极快import pandas as pd import pyarrow.parquet as pq # 1) 先验证字段与类型不加载数据 print(pq.ParquetFile(path/to/file.parquet).schema) # 2) 按需读取指定列 过滤 session内存占用最小化 df pd.read_parquet( path/to/file.parquet, columns[session_id, role, content], filters[(session_id, , your-session-id)], )两条经验多分片场景下pandas 可直接传*.parquet通配路径自动合并分片字段值缺失null在对话数据中很常见如非消息行没有tool_calls分析前先df.isna().sum()检查一遍高频使用场景筛选会话、复现轨迹、构建训练数据场景做法要点复现某次完整 Agent 会话按session_id过滤按timestamp/index排序依次打印rolecontent工具调用与结果按序配对分析 Agent 工具使用习惯对tool_name分组统计交叉success字段看各工具的成功率研究 checkpoint 行为按会话统计 checkpoints 数量与间隔识别 Agent 的“存档习惯”构建微调/评测数据以 session 为单位切分保留“任务 → 工具序列 → 最终结果”的完整因果链避免跨会话混排常见问题 FAQQ1Parquet 文件很大读取很慢怎么办列式存储 只读需要的列并用filters下推过滤条件PyArrow 支持按 row group 读取大文件不必全量加载。Q2同一逻辑表为什么有很多个 .parquet 文件那是按数据量切分的物理分片字段结构一致直接通配路径读取合并即可。Q3clone 下来只有几百字节的 .parquet 文件你下载到的是 LFS 指针文件请安装并初始化git lfs后重新拉取git lfs pull。Q4如何确认某个字段的确切含义优先以schema输出和该分片内实际取值为准结合上文“字段族”对照版本间字段命名可能有差异这是此类数据集的正常现象。掌握sessions 组织方式 → 四大字段族标识 / 消息 / 工具调用 / 检查点→ Parquet 读取技巧这条主线你就能把 SWE-chat 从“一堆文件”变成可分析、可复现、可训练的 Agent 行为数据资产。赞分享【免费下载链接】SWE-chat项目地址https://ai.gitcode.com/hf_mirrors/SALT-NLP/SWE-chat点击查看免费下载相关推荐BIRD-Interact 数据集结构详解ambiguity、external_knowledge、test_cases 等 12 个核心字段完全指南BIRD Interact 数据集结构详解ambiguity、external_knowledge、test_cases 等 12 个核心字段完全指南 BIRimessage-exporter 数据库解析chat 表结构与字段全指南imessage exporter 数据库解析chat 表结构与字段全指南 导读 chat 表会话/线程表是 iMessage 本地数据库 chat.dbCLI即时通讯MMMU-Pro数据结构详解id、question、options、explanation核心字段完全剖析MMMU Pro数据结构详解id、question、options、explanation核心字段完全剖析 MMMU Pro 是一款专为多模态 AI 模型设计上一篇5分钟上手Solo 2安全密钥安装solo2 CLI并完成第一个Passkey新手完整教程下一篇HTML to Figma Chrome扩展深度解析从安装到高级使用技巧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
