简介在高光谱遥感图像分类与地物识别等任务中数据加载往往成为影响训练效率的瓶颈。面向使用PyTorch处理高光谱图像的研究者与开发者这份压缩包专注于高光谱数据在深度学习中的高效加载与预处理围绕DataLoader组件提供了一套完整可复用的实现方案能够有效解决多光谱通道数据在训练过程中的读取、归一化与分批难题。压缩包共7个文件包括3个Python脚本、2个编译生成的pyc缓存文件以及2个.mat格式的高光谱数据集整体体积仅5.69MB轻量灵活方便快速下载和本地调试。该资源已有611人学习代码从自定义Dataset类开始完整展示了数据读取、归一化、批大小设定、多线程加载等核心流程并内置IndianPines数据样本可直接运行验证。同时还介绍了随机打乱、数据增强、pin_memory、自定义collate_fn等进阶优化措施帮助读者在不同硬件条件下合理配置加载参数并可将这套方案迁移到自己的高光谱项目中尤其适合希望提升训练效率、避免内存溢出的深度学习开发者。1. 高光谱数据加载为什么会把 DataLoader 卡死先看清数据和内存再动手高光谱影像和普通图像最根本的区别不在通道数多而在于“每个像素都是一条光谱曲线”波段数动辄一两百。于是同样一幅 512×512 的图RGB 数据只有不到 80 万个数值高光谱则可能超过 5000 万个数值内存开销差了几十倍。直接照搬图像分类那套“整个数据集一次性 np.load 进内存再交给 DataLoader”的做法在 16GB 内存的机器上几乎必炸加载时 OOM或者训练时系统疯狂 swap一个 epoch 的时间翻好几倍。这篇笔记要解决的正是这条路上的全部问题——数据怎么读、归一化怎么做、Dataset 怎么写、超大图怎么懒加载、以及那些让新手反复折腾的坑。适合正在做高光谱分类、异常检测或超分辨率重建的开发者尤其是数据集大、机器内存不够宽裕的情况。2. 预处理阶段决定成败.mat / .npy / .tif 三种格式与逐波段归一化2.1 先搞清楚你的数据是什么形状.mat / .npy / .tif 的读取姿势差异很大高光谱数据的落盘格式五花八门但绝大多数逃不开这三类MATLAB 的 .mat、numpy 的 .npy、以及遥感领域最常见的 .tif。PyTorch 本身不关心源格式可“读出来的数组长什么样”直接决定后面 Dataset 怎么写所以第一步永远是打印 shape 而不是靠猜。.mat 文件一般来自科研公开数据集。用 scipy.io 读取时需要先看一下 mat 里有哪些 key不同数据集的变量名完全不同常见的是data和gt但也有存成X、Y的。数据排列多为 (H, W, C)即行、列、波段不过也有个别数据集转置成 (C, H, W)判断依据是 shape 的最后一维是否等于已知波段数。读完之后还要确认 dtype——很多高光谱 mat 里是 uint16这一点后面归一化时会埋坑。.npy 是 numpy 原生格式读取最省事但同样存在 (H, W, C) 与 (C, H, W) 混用的问题。我的习惯是加载后加一行断言拿已知波段数去比对 shape 的某个维度import numpy as np data np.load(hyperspectral.npy) print(data.shape, data.dtype) # 假设已知波段数为 200用断言快速判断排列方式 if data.shape[-1] 200: data data # 已经是 (H, W, C) elif data.shape[0] 200: data data.transpose(1, 2, 0) # (C, H, W) - (H, W, C) else: raise ValueError(shape {} 与波段数 200 不符.format(data.shape))这里统一成 (H, W, C) 是刻意的后面要做 patch 裁剪时按行、列切片比按波段切片自然patch 取出后再转成 (C, H, W) 交给卷积网络只多一次 transpose。如果你坚持用 (C, H, W) 存储也可以但索引逻辑会绕一些数据量大时不推荐。.tif 文件在遥感里最常用rasterio 读取后固定返回 (C, H, W)也就是波段维在最前面。它与前两种格式最大的不同是支持窗口读取windowed read这为超大影像的懒加载提供了可能具体方案放在第四章。这里只需要记住用 rasterio 打开后先看src.count波段数、src.height、src.width三个属性不要对read()的返回顺序想当然。2.2 逐波段归一化为什么整幅图一起算 mean/std 会把分类精度拉低高光谱各波段物理含义完全不同有的波段响应植被反射率动态范围大有的波段落在吸收峰附近信号本身很弱。如果对整个三维立方体统一做 min-max 归一化等于把所有波段压到同一个动态范围里弱信号波段的信息会被彻底淹没。更常见的隐性错误是把全图的背景像素一起统计。高光谱数据集通常只有部分区域有语义标签其余是零值背景背景像素动辄占 80% 以上。它们参与 mean/std 计算会直接把平均亮度拉低归一化后的有效区域整体偏亮模型收敛要么慢要么歪。我的做法是逐波段计算 z-score并且统计时只使用有效区域像素def per_band_standardize(arr, valid_mask): 逐波段 z-score仅用 valid_mask 内像素统计。 arr: (H, W, C) float32 valid_mask: (H, W) boolTrue 表示有标签区域 返回: 归一化后的数组、每个波段的均值与标准差 h, w, c arr.shape out np.empty_like(arr) means np.zeros(c, dtypenp.float64) stds np.ones(c, dtypenp.float64) for i in range(c): band arr[..., i] vals band[valid_mask] means[i] vals.mean() stds[i] vals.std() out[..., i] (band - means[i]) / (stds[i] 1e-6) return out, means, stdsstds[i] 1e-6是防止某个波段在所有有效像素上取值相同导致除零。valid_mask一般直接由标签图生成gt 0。注意band[valid_mask]会临时复制一份有效像素数组两百波段乘几十万像素的内存开销可以接受如果处理千万像素级别的大图可以改成只保留有效像素索引再循环统计减少临时数组。统计量 means、stds 一定要保存下来训练和推理必须用同一套参数否则特征分布偏移模型精度会掉一截。保存和加载用np.savez与np.load即可。还有一个容易忽略的点如果后续要叠加数据增强归一化应该放在增强之前还是之后我的习惯是原始 uint16 先归一化成 float32 再进入训练流程增强只做空间变换不做亮度对比度拉伸这样归一化统计量在任何情况下都不会被增强破坏。2.3 标签对齐与有效索引构建让__len__只统计真实样本高光谱分类数据集的标签并非每个像素都有效。以常见的耕地、城市地物数据集为例标签图里 0 通常表示背景或未标注区域1 到 N 才是类别。如果 Dataset 的__len__返回 H×WDataLoader 就会频繁取出无标签样本训练循环里还得再写一行 if 判断跳过浪费 IO 还容易引入 bug。更干净的做法是在创建 Dataset 前就把有效像素的索引算好让有效样本集合本身成为数据集的长度gt np.load(gt.npy).squeeze() # (H, W) valid_idx np.argwhere(gt.ravel() 0).ravel() print(有效像素数:, len(valid_idx))np.argwhere(gt.ravel() 0)返回的是二维坐标数组取.ravel()变成一维的 flatten 索引。后续 Dataset 的__len__返回len(valid_idx)__getitem__里用valid_idx[idx]还原成原始像素位置这样采样到的每个样本都必然有标签。类别极度不平衡时还能基于这个索引数组再算类别权重配合 WeightedRandomSampler 使用这一点在第三章展开。到这里预处理阶段的三件事——读取、归一化、标签对齐——已经完成。接下来的 Dataset 写法全部基于统一后的 (H, W, C) float32 数组和 valid_idx 索引无论原文件是什么格式进入训练环节的接口都是一致的。3. 用自定义 Dataset 实现高光谱 Patch 加载三件套方法与 DataLoader 参数搭配3.1 Dataset 三件套__init__只做预处理__getitem__负责取样PyTorch 的 Dataset 接口只需要实现三个方法但高光谱场景下每个方法的职责需要明确划分。__init__里只应该做两类事读入数据、建立索引。不要在这里做任何 per-sample 的增强或变换因为__init__只执行一次而__getitem__会被反复调用。数据整体能装进内存时我一般把预处理后的 (H, W, C) float32 数组直接挂到self.data把有效像素索引挂到self.valid_idx标签数组挂到self.targets。__len__返回len(valid_idx)也就是有效像素数量而不是 H×W。这样 DataLoader 每次迭代取到的样本都是实际要训练的像素背景样本根本不会出现在批里。__getitem__接收一个整数 idx先通过 valid_idx 映射到真实像素位置再以该像素为中心裁取 patch。patch 的高光谱版本与普通图像有个明显不同点C 维很大一两百个波段如果每个 patch 都做一次transpose(2, 0, 1).copy()CPU 拷贝开销会非常可观后面会专门讲怎么规避。3.2 一个可跑的 PatchDataset 例子边界补零与标签映射下面这个类是我常用到的一个基准实现支持任意 patch 大小边界像素用零填充而不是丢弃因为有效样本里相当一部分位于影像边缘直接丢弃会损失训练样本。import numpy as np import torch from torch.utils.data import Dataset class HSIPatchDataset(Dataset): 高光谱 patch 级数据集。 输入 data: (H, W, C) float32label: (H, W) int patch_size: 以中心像素取出的窗口边长 def __init__(self, data, label, patch_size11, transformNone): self.data data self.label label self.patch_size patch_size self.half patch_size // 2 self.transform transform self.h, self.w, self.c data.shape valid np.argwhere(label.ravel() 0).ravel() self.valid_idx valid self.targets label.ravel()[valid] def __len__(self): return len(self.valid_idx) def __getitem__(self, idx): flat self.valid_idx[idx] cy, cx divmod(flat, self.w) patch self._crop(cy, cx) # (C, patch_size, patch_size) target int(self.targets[idx]) if self.transform is not None: patch self.transform(patch) return patch, torch.tensor(target, dtypetorch.long) def _crop(self, cy, cx): # 计算真实窗口边界越界部分补零 y0, y1 max(0, cy - self.half), min(self.h, cy self.half 1) x0, x1 max(0, cx - self.half), min(self.w, cx self.half 1) block self.data[y0:y1, x0:x1] # (block_h, block_w, C) ph, pw block.shape[:2] if ph self.patch_size and pw self.patch_size: out block.transpose(2, 0, 1).copy() else: out np.zeros((self.c, self.patch_size, self.patch_size), dtypeself.data.dtype) out[:, :ph, :pw] block.transpose(2, 0, 1) return torch.from_numpy(out)代码里的两点值得说明。第一divmod(flat, self.w)把一维索引还原成 (row, col) 是 O(1) 操作不需要构造稀疏坐标矩阵第二_crop中能走快速路径窗口完整就直接transpose().copy()只有边界窗口才分配 zeros 再填充因为绝大多数 patch 都在图像内部这个分支对性能影响很小。transform参数我通常传一个 torchvision.transforms.Compose或者干脆 None。这里强调一下高光谱数据的 transform 尽量只保留空间类操作例如 RandomHorizontalFlip、RandomRotation、RandomCrop。颜色抖动、亮度对比度调整这类算子会同时作用于全部光谱波段相当于人为改写了光谱曲线轻则加大类内方差重则把不同类别的光谱特征混在一起训练出的模型对光照异常敏感。3.3 DataLoader 关键参数batch_size、num_workers、pin_memory 怎么搭配Dataset 写完之后DataLoader 的参数取值直接决定训练速度和显存表现。高光谱任务与普通图像任务可以共用一套经验但有几个参数受 C 维影响需要单独注意。batch_size 的基准patch 为 11×11、波段为 200 时一个样本是 11×11×200×4 字节约 96KBbatch128 就是 12MB 的 input tensor看似不大但模型中间特征图会随通道数成倍放大。因此 patch 小、波段多时 batch 可以取 64128patch 增大到 27×27 以上时建议回到 1632。num_workers 的取值决策要区分两种瓶颈。如果数据已经在内存里patch 裁剪和 transpose 的纯 CPU 计算量远大于 IO此时 worker 开 4 以上反而会因为反复内存拷贝拖慢速度我一般设 2 或直接用 0。如果用的是下一章的 mmap 或窗口懒读磁盘 IO 才是瓶颈worker 可以适当上调到 48让多个进程并行触发页读取和栅格读取。pin_memory 在 GPU 训练时建议一律 True它把 batch 锁定在页锁定内存host-to-device 拷贝会走更快的 DMA 路径代价只是多占一点 CPU 内存。以下是一份我常用的配置from torch.utils.data import DataLoader loader DataLoader( dataset, batch_size64, shuffleTrue, num_workers2, pin_memoryTrue, drop_lastTrue, prefetch_factor4, )drop_lastTrue对高光谱分类特别重要有效像素总数往往不能被 batch_size 整除最后一个小 batch 的统计量会干扰 BatchNorm也会让 loss 曲线尾部出现异常跳点。prefetch_factor4表示每个 worker 预取 4 个 batch设高一点可以利用磁盘顺序读的特性但不要让num_workers × prefetch_factor超过 batch 总数太多否则一个 epoch 结束后内存里还堆着大量未来 batch。注意num_workers 0且数据源是网络盘或机械硬盘时预取机制反而可能让第一个 epoch 启动变慢因为所有 worker 同时去抢同一批磁盘位置。这种情况优先调小prefetch_factor而不是加 worker。3.4 用 Sampler 控制类别均衡WeightedRandomSampler 的正确姿势高光谱分类数据集的类别不平衡非常严重常见数据集里某个类别可能只占全部有效像素的 0.5%。直接在 DataLoader 里设 shuffleTrue 会让多数类反复出现、少数类每几个 epoch 才见一次。与其事后在 loss 上加权重不如从采样环节就把类别分布拉平。PyTorch 的 WeightedRandomSampler 接收每个样本的采样权重权重越大的样本被抽中的概率越高。注意sampler 传入后DataLoader 的 shuffle 参数必须保持默认 False否则两套采样逻辑同时生效会导致行为不可控。from torch.utils.data import WeightedRandomSampler targets dataset.targets # 每个有效像素的类别 class_counts np.bincount(targets) weights 1.0 / class_counts[targets] # 少数类权重更大 sampler WeightedRandomSampler( weights, num_sampleslen(targets), replacementTrue, ) loader DataLoader(dataset, batch_size64, samplersampler)weights 1.0 / class_counts[targets]利用 numpy 的高级索引把每个像素对应类别的计数倒数作为采样权重是倒频率采样最紧凑的写法。replacementTrue表示每轮可以重复抽到同一个样本在样本总量很小的数据集中必须开 True否则无放回采样会在很短时间内用完全部少数类样本样本总量大于几万时开 False 也可以但 True 更稳。使用这个 sampler 后每个 epoch 的样本数以num_samples为基准类别分布被明显拉平少数类不再被淹没。代价是同一个 epoch 里多数类样本会重复出现模型可能在多数类上过拟合——所以通常还会配合标签平滑或早停一起用但那是训练策略问题不在加载层讨论。4. 超大高光谱立方体加载方案mmap 懒加载与 rasterio 窗口读取怎么选4.1 先算一笔账什么样的数据量必须放弃整块加载很多人的内存翻车不是因为代码写错而是没在写代码前估算数据占用量。这里给出一个快速估算公式内存占用GB H × W × C × dtype 字节数 / 1024³我按这个公式算过几个典型配置RGB 512×5123 波段float32512×512×3×4 ≈ 3MB高光谱 512×512200 波段uint16512×512×200×2 ≈ 100MB高光谱 1024×1024200 波段float32约 800MB机载高光谱 5000×5000300 波段uint16约 15GB当数据量超过可用内存的三分之一时整块加载就会导致训练过程中频繁 swap何况 PyTorch 训练时还叠加模型权重、优化器状态和中间激活内存水位会比数据本身再高出一截。我给自己定的红线是数据占内存超过物理内存四分之一就走懒加载方案。def estimate_usage(shape, dtype_bytes): return np.prod(shape) * dtype_bytes / (1024 ** 3) print(estimate_usage((1024, 1024, 200), 2)) # 约 0.4GB print(estimate_usage((5000, 5000, 300), 2)) # 约 15GB4.2 用 mmap_moder 加载 .npy省内存不省代码的零拷贝读法如果数据能预先转成 .npy 格式最省心的懒加载方式是 numpy 的 memmap。它把文件的一部分映射到进程的虚拟地址空间访问数据时才触发真实磁盘读取内核会把读过的页缓存在内存中。对 patch 式训练来说访问模式是“同一片区域在相邻样本间反复命中”页缓存命中率很高所以速度并不慢。关键点mmap 出来的对象不能直接交给torch.from_numpy因为 PyTorch 要求内存连续且可控而 memmap 的底层是文件页切片后更不连续。正确姿势是在__getitem__里只对当前 patch 切片并 copy让拷贝粒度最小化import numpy as np import torch from torch.utils.data import Dataset class HSIDiskDataset(Dataset): def __init__(self, npy_path, label_npy, stats_npzNone, patch_size11): self.data np.load(npy_path, mmap_moder) # (H, W, C) uint16 label np.load(label_npy).squeeze() # (H, W) self.h, self.w, self.c self.data.shape self.valid_idx np.argwhere(label.ravel() 0).ravel() self.targets label.ravel()[self.valid_idx] self.patch_size patch_size self.half patch_size // 2 if stats_npz is not None: st np.load(stats_npz) self.means, self.stds st[means], st[stds] else: self.means, self.stds 0.0, 1.0 def __len__(self): return len(self.valid_idx) def __getitem__(self, idx): flat self.valid_idx[idx] cy, cx divmod(flat, self.w) y0, y1 max(0, cy - self.half), min(self.h, cy self.half 1) x0, x1 max(0, cx - self.half), min(self.w, cx self.half 1) block np.asarray(self.data[y0:y1, x0:x1]) # 只触发本 patch 的读盘 ph, pw block.shape[:2] if ph ! self.patch_size or pw ! self.patch_size: pad np.zeros((self.patch_size, self.patch_size, self.c), dtypeself.data.dtype) pad[:ph, :pw] block block pad # uint16 转 float32再用预统计的均值标准差归一化 block block.astype(np.float32) block (block - self.means) / (self.stds 1e-6) patch torch.from_numpy(block.transpose(2, 0, 1).copy()) target int(self.targets[idx]) return patch, torch.tensor(target, dtypetorch.long)这段代码里有几个细节值得展开。np.asarray(self.data[y0:y1, x0:x1])是关键它把 memmap 切片物化为普通 ndarray只在此时才真正把磁盘页读进来如果没有这一步后续 block 上的算术运算仍然作用在 memmap 视图上每次访问都去查页缓存速度会慢一个量级。block.astype(np.float32)把 patch 的 dtype 从 uint16 提升到 float32但只对 patch 生效不会像整块加载那样让全图复制一遍。归一化用的self.means和self.stds是第二章离线预统计出来的形状为 (C,)广播时自动对齐到 block 的最后一维。还有一点如果文件系统允许尽量把 .npy 放本地 SSD 而不是网络盘。mmap 的页错误处理在远程文件系统上延迟显著训练时 GPU 会周期性等数据懒加载省下的内存优势会被延迟吃掉大半。4.3 用 rasterio 按窗口读取 .tif原始文件不转格式时的懒加载路径当数据是一大块 GeoTIFF 且不想费劲转成 .npy 时rasterio 的窗口读取是标准方案。它的read(window...)只加载指定行列范围的栅格配合 patch 采样逻辑可以做到每次__getitem__只从磁盘读一个 patch 所需的波段数据。注意 rasterio 在多进程 DataLoader 下有一个经典坑文件句柄不能跨进程共享。如果 DataLoader 的 num_workers 0每个 worker 进程都会复制一份 Dataset 对象而原始文件句柄是在主进程打开的子进程里继续用会直接报出 rasterio 的 I/O 错误。解决办法是让每个 worker 自己打开文件用 DataLoader 的worker_init_fn回调import rasterio from rasterio.windows import Window import numpy as np import torch from torch.utils.data import Dataset, DataLoader TIF_PATH scene.tif def _get_src(): global _HSI_SRC if _HSI_SRC not in globals() or _HSI_SRC is None: _HSI_SRC rasterio.open(TIF_PATH) return _HSI_SRC def hsi_worker_init(worker_id): global _HSI_SRC if _HSI_SRC in globals() and _HSI_SRC is not None: _HSI_SRC.close() _HSI_SRC rasterio.open(TIF_PATH) # 子进程独立打开 class HSIWindowDataset(Dataset): def __init__(self, label_npy, patch_size11): self.patch_size patch_size self.half patch_size // 2 src _get_src() self.h, self.w, self.c src.height, src.width, src.count label np.load(label_npy).squeeze() # (H, W) self.valid_idx np.argwhere(label.ravel() 0).ravel() self.targets label.ravel()[self.valid_idx] def __len__(self): return len(self.valid_idx) def __getitem__(self, idx): flat self.valid_idx[idx] cy, cx divmod(flat, self.w) src _get_src() y0, y1 max(0, cy - self.half), min(self.h, cy self.half 1) x0, x1 max(0, cx - self.half), min(self.w, cx self.half 1) window Window(x0, y0, x1 - x0, y1 - y0) block src.read(windowwindow) # (C, ph, pw) if block.shape[1] ! self.patch_size or block.shape[2] ! self.patch_size: pad np.zeros((self.c, self.patch_size, self.patch_size), dtypeblock.dtype) pad[:, :block.shape[1], :block.shape[2]] block block pad block block.astype(np.float32) patch torch.from_numpy(block.copy()) target int(self.targets[idx]) return patch, torch.tensor(target, dtypetorch.long) loader DataLoader( HSIWindowDataset(label_npygt.npy, patch_size11), batch_size16, num_workers4, worker_init_fnhsi_worker_init, )这里有一个隐蔽的坑Window的四个参数是 (column offset, row offset, width, height)即先列后行和 numpy 的先行后列正好相反写反了会读出严重错位的图块。src.read(windowwindow)返回的排列永远是 (bands, rows, cols)所以处理边界时用的是block[:, :block.shape[1], :block.shape[2]]别拿 numpy 的 (C, H, W) 约定套反。worker_init_fn在每次创建 worker 进程时调用子进程里重新打开文件句柄避免多个进程共享同一个文件偏移。主进程单线程调试num_workers0时由_get_src兜底保证句柄存在。这种方案内存占用极低只有 patch 大小的临时数组缺点是随机读延迟比 mmap 高尤其当 patch 分布在全图各处时磁盘随机 IO 会拖慢 epoch需要靠缓存缓解。4.4 缓存策略让懒加载的 patch 命中率从 30% 提到 90%懒加载不是免费午餐随机访问大文件时重复读相同区域的概率很高。一个朴素但非常有效的缓解方式是在 Dataset 上加一层 cache把最近读过的 patch 存成物化后的 numpy 数组。标准库的functools.lru_cache可以直接用from functools import lru_cache class HSIWindowDatasetCached(HSIWindowDataset): lru_cache(maxsize2048) def _raw_read(self, cy, cx): src _get_src() y0, y1 max(0, cy - self.half), min(self.h, cy self.half 1) x0, x1 max(0, cx - self.half), min(self.w, cx self.half 1) window Window(x0, y0, x1 - x0, y1 - y0) return src.read(windowwindow) # (C, ph, pw) def __getitem__(self, idx): flat self.valid_idx[idx] cy, cx divmod(flat, self.w) block self._raw_read(cy, cx) # 边界补零、dtype 转换、转 Tensor 逻辑与父类相同 ...使用时有两点必须注意。第一lru_cache 的 key 是 (cy, cx)当 patch 中心点距离小于 patch 边长时相邻中心点的窗口高度重叠缓存命中率会随 maxsize 增大快速上升建议 maxsize 至少设为 batch_size 的 8 倍。第二cache 返回的数组带缓存共享语义如果 transform 里对 block 做了原地修改会污染其他样本的读取结果保险做法是在__getitem__里先block block.copy()再往下传。如果数据量更大可以升级为行缓存而不是 patch 缓存预先按行读取若干行存入环形 bufferpatch 只在 buffer 内切片。行缓存方案对“patch 中心点按图像顺序遍历”的训练顺序特别友好命中率接近 100%但它依赖你在 Dataset 里对样本顺序做排序适合后期调优不列为默认方案。到这里内存加载、mmap、窗口读取三条路径都讲完了。选择标准也很简单能整体加载就整体加载代码最简洁不能整体加载且手上有 .npy用 mmap原生 .tif 且不想转格式用 rasterio 窗口读加缓存。三者可以共存于同一个项目里通过一个开关切换。5. 高光谱 DataLoader 加载避坑五个导致训练翻车的现象与修复这一章整理了我在高光谱加载上遇到过的五类高频问题每条按“现象 → 原因 → 解决”的顺序写先说你在日志里会看到什么再讲背后机理最后给出可以直接照抄的改法。这些问题里有些看起来很玄学比如归一化坏了精度反而掉、worker 越多越慢但追下去基本都是数据类型、统计口径或数据布局的问题。5.1 归一化之后损失不降反升背景像素把统计量带偏了现象照着通用图像处理脚本把整个高光谱立方体先astype(float32)再整体做 mean/std 归一化训练几个 epoch 后损失停在很高的水平验证精度只有个位数。原因高光谱数据集的背景区域占了大头整体统计把 mean 拉向背景值前景的真实光谱特征被大幅压缩更糟的是直接对 uint16 做减法numpy 的整数溢出会让结果变成随机的大数数值完全不符合物理意义。解决按第二章的做法用gt 0生成有效区域掩码逐波段只统计有效像素。代码层面至少做到两点先astype(np.float32)再减均值统计 mean/std 时传入 valid_mask。顺手把统计量存成 .npz训练和推理共用一份。这里没有玄学纯粹是统计口径问题。5.2 数据增强把光谱曲线弄变形了增强对象选错了现象训练时在 transforms 里加了自动对比度、锐化甚至颜色抖动训练集 loss 下降正常但验证集精度比不加增强时还低。原因这些图像增强算子默认假设输入是 3 通道 RGB当输入是 200 通道高光谱 patch 时部分算子会对每个通道独立做对比度拉伸等于人为改写各波段之间的相对强度。光谱曲线的形状是地物分类的核心判别依据通道间的相对值被破坏后类内方差急剧增大。解决高光谱数据增强只保留空间类操作随机翻转、旋转、裁剪、仿射变换都不会改变谱形状。如果确实需要光谱增强用专门的波段丢弃或波段加噪并保证所有通道使用同一个噪声尺度。检查方法很简单取同一个 patch过一遍 transforms打印前后两条光谱曲线肉眼就能看出是否被改写。5.3 num_workers 开多反而更慢内存型加载的 CPU 瓶颈现象把 num_workers 从 0 调到 8训练速度不仅没变快每个 epoch 反而慢了不少CPU 占用 100% 但 GPU 利用率只有 40%。原因当数据已整体加载在内存里__getitem__的主要开销是 numpy 切片、transpose 和 copy这些是 CPU 密集操作。多进程模式下每个 worker 都在各自进程里重复做同一套内存拷贝进程间通信和锁开销还额外加进来整体吞吐反而不如单进程。解决先用 num_workers0 跑一个 epoch 记录耗时再逐步上调画一条“worker 数 vs 每秒样本数”的曲线取拐点。对内存型 Dataset拐点一般出现在 2对磁盘 IO 型mmap 或 rasterio 懒读可以到 48。不要照抄别人的参数这个数字跟你的 patch 大小、波段数、磁盘类型强相关。5.4 memmap 数据越跑越慢忘记物化为 ndarray 导致反复读盘现象用 mmap_moder 加载后前几个 epoch 速度正常越往后越慢系统监控显示磁盘 IO 居高不下内存却不见涨。原因__getitem__里直接对 memmap 切片再运算得到的还是 memmap 视图每次访问 patch 里的元素都会重新查页缓存。如果 patch 分布广缓存很容易被冲掉同一块区域被反复读盘。解决切片后立刻np.asarray(...)物化成普通数组让读盘发生且只发生一次。同理torch.from_numpy之前必须保证数组内存连续可控必要时.copy()。这条经验也适用于缓存层lru_cache 里存的必须是物化后的数组不能存 memmap 视图。5.5 多文件混训时 batch 形状不匹配波段数和窗口大小的锅现象把两个不同来源的高光谱数据集拼在一个 Dataset 里训练第一次迭代就报RuntimeError: stack expects each tensor to be equal size或者更隐蔽的 loss 不收敛、收敛到错误值。原因两个数据集的波段数不一致比如 103 波段与 200 波段或者标签图的空间范围不同导致补零后 patch 大小不一样。默认 DataLoader 在 collate 时会对 batch 内每个样本做 torch.stack维度不一致直接抛错。波段数不同的问题更隐蔽因为模型第一层卷积的输入通道数是写死的只有当模型内部结构允许动态通道时才会在 forward 里暴露。解决在 Dataset 构造时对多源数据做统一化。波段数不同时有的项目只取交集波段有的做光谱插值到统一长度空间尺寸不同时统一裁剪或缩放到同一 patch 大小。无论哪种都要在 Dataset 里显式完成不要指望 collate_fn 兜底。自定义 collate_fn 只能解决样本字段数量不一致的问题解决不了通道维度不一致——那是数据层面的问题必须在 Dataset 里处理完。6. 给 DataLoader 加上光谱增强与 sanity check两个保命技巧6.1 波段丢弃增强放在 Dataset 里比放在 transforms 里更可控光谱域增强里比较安全的一种是波段丢弃以一定概率随机把部分波段的像素置零。它模拟传感器波段失效或大气遮挡的场景不会改变其余波段的相对关系。实现上我直接放在 Dataset 的__getitem__里而不是塞进 torchvision transforms因为后者不方便拿到波段维索引# 在 Dataset 的 __getitem__ 返回 patch 之前插入 if self.spectral_dropout 0 and self.training_mode: c patch.shape[0] # patch 为 (C, H, W) drop np.random.rand(c) self.spectral_dropout patch[drop] 0.0注意 patch 的波段维必须在第一维才能用布尔索引一次性作用。training_mode在验证阶段要置为 False否则验证集的光谱被随机丢弃指标起伏会很大。dropout 比例建议从 0.1 起步太高会直接破坏光谱曲线完整性。6.2 只跑一步的 sanity check换数据集后先验证 loader 再训练我换任何一个新数据集都会先跑这段脚本不训练只看数据流是否正常from torch.utils.data import DataLoader loader DataLoader(dataset, batch_size8, num_workers0) for i, (x, y) in enumerate(loader): if i 3: break print(x.shape, x.dtype, x.min().item(), x.max().item(), y.shape) # 期望看到类似输出 # torch.Size([8, 200, 11, 11]) torch.float32 0.0 4.23 torch.Size([8])这一步能过滤掉绝大多数低级错误波段维对不对、dtype 是不是 float32、值域是否合理、标签维度是否匹配。如果x.max()超过 10多半归一化没生效如果 dtype 是 uint16多半忘了 astype。训练跑不起来之前在这里把问题拦下来比等 loss 变成 NaN 再去猜高效得多。我每次做高光谱加载方案都会先把“数据 shape、dtype、值域、标签映射、统计量”这五件事打印一遍确认无误后再进入模型代码。这套习惯帮我省下的排错时间比任何花哨的优化都多。希望帮到你。本文还有配套的精品资源点击获取
