PyTorch Geometric InMemoryDataset 完全指南一份内存能装下多少图数据【免费下载链接】pytorch_geometricGraph Neural Network Library for PyTorch项目地址: https://gitcode.com/GitHub_Trending/py/pytorch_geometric你刚加载完一个引用网络PyG 图数据加载结束内存曲线直接飙红进程没吭声就没了。这篇文章用 5 分钟讲清 PyTorch Geometric 的 InMemoryDataset 怎么存数据、为什么第一次访问特别慢以及大数据集做分布式训练前该怎么切换存储。一个大箱子加一沓索引卡InMemoryDataset 的存储机制一句话版本InMemoryDataset 就像把屋里的所有书搬进一个大箱子再给每一格贴一张索引卡。process()阶段基类会用collate把每张图的节点特征、边索引等属性沿指定维度首尾相接拼成一个大的Data对象这就是大箱子同时产出一份slices字典记录每个样本的数据从第几行开始、到第几行结束这就是索引卡。合并逻辑在 torch_geometric/data/in_memory_dataset.py 里。当你写dataset[idx]时底层是get(idx)拿着卡去箱子里切出那一份切分实现见 torch_geometric/data/separate.py。这里有两个值得知道的后果其一整个数据集要一次性常驻内存装不下就是装不下其二切出来的样本会被放进_data_list缓存同一个下标第二次访问时直接返回副本不再重复切。 动手前先判断什么时候该用 InMemoryDataset没有标准答案但你可以先算两个数样本总数以及特征总量用节点数 × 特征维数 × 4 字节粗估。你的情况建议做法样本数万级特征总量几个 GB 以内直接用 InMemoryDataset省心只有一张图比如单个引用网络照样能用单样本时collate会原样返回数据特征太宽、单机放不满先降维SVD/PCA或把 float32 换成 float16节点上亿或多机多 rank 同时读别用了换OnDiskDataset或直接走分区关键在样本规模和内存预算的关系InMemoryDataset 是要么全装下、要么不玩的玩法内存峰值由数据总量决定跟你多快消费完它没有关系。最常卡住的三类情况FAQ刚加载就把机器 OOM 了怪谁先说清一点InMemoryDataset 比N 个独立 Data 对象各存各的更省内存因为张量拼接后没有了逐对象的零碎开销。但前提始终是整个装得进 RAM。预算不够时你有三条路降特征维度、换更小的 dtype或者干脆转成磁盘格式——dataset.to_on_disk_dataset(backendsqlite)会生成一个按样本读取的OnDiskDataset官方注释里也明确说它适合共享内存受限的机器。第一次访问要 20 秒后面秒回是 bug 吗是设计如此。第一次get(idx)要真刀真枪地从大箱子里切张量切完的结果放进_data_list之后再命中同一下标就是直接拷贝。你该盯的其实是process()有没有在偷偷重跑processed 目录缺文件、或者传了force_reloadTrue整个合并都会从头再来一遍。排查顺序先看磁盘上的处理产物再谈加载提速。多机多卡每个 rank 各放一份完整 InMemoryDataset 行不行不建议。每个 rank 都驻留完整合并对象内存按 rank 数翻倍而且所有读取都是纯本地的分片一点收益都没有。正确姿势是先把图切开METIS 分区带 halo 节点复制每个 rank 只读自己那块完整流程参考 examples/distributed/。另外注意torch_geometric.distributed在官方文档里已标记弃用新项目用OnDiskDatasetNeighborLoader组合更稳。PyG 自定义数据集最小正确写法你要写的只有三件事原始数据在哪、产物叫什么名字、怎么合并其余全交给基类from torch_geometric.data import InMemoryDataset class MyDataset(InMemoryDataset): def __init__(self, root): super().__init__(root) self.load(self.processed_paths[0]) # 读入大箱子索引卡 property def raw_file_names(self): return [graphs.pt] property def processed_file_names(self): return [data.pt] def process(self): data_list torch.load(self.raw_paths[0]) self.save(data_list, self.processed_paths[0]) # 内部调 collate 合并记住三点pre_transform只在process里对样本应用一次产物落盘读取阶段不重复做划分训练/测试集用dataset[idx_list]或index_select拿子集要物化成独立数据集再调copy(idx)想实测加载开销可以跑 benchmark/loader/ 里的基准脚本。一句话收尾装得下就用大箱子装不下走磁盘分布式先分数据再谈训练。自定义数据集的完整步骤可看官方教程 docs/source/tutorial/create_dataset.rst。【免费下载链接】pytorch_geometricGraph Neural Network Library for PyTorch项目地址: https://gitcode.com/GitHub_Trending/py/pytorch_geometric创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
