torch-dct测试指南：如何用pytest+scipy构建DCT变换的正确性验证体系？

torch-dct测试指南如何用pytestscipy构建DCT变换的正确性验证体系【免费下载链接】torch-dctDCT (discrete cosine transform) functions for pytorch项目地址: https://gitcode.com/gh_mirrors/to/torch-dct本文以开源项目torch-dct为例讲解如何用pytest scipy构建一套DCT离散余弦变换正确性验证体系。torch-dct 是一个基于 PyTorch 内置 FFT 运算实现 DCT 变换的 PyTorch 库支持自动反向传播可在 CPU 与 GPU 上运行——而正是因为它依赖数学上的等价变换技巧其正确性必须经过层层验证。一、为什么 DCT 库需要专门的测试指南torch-dct 并没有逐点直接实现 DCT而是把它巧妙地转换为FFT 相位旋转 重排的组合核心实现在torch_dct/_dct.py。这类数学等价变换实现速度快但极易出错重排错位一个下标 → 频率分量整体偏移缩放系数漏掉一项 → 往返变换无法还原原信号归一化写错 →normortho模式全局性错误项目测试的总思路可以概括为一句话以 scipy 成熟实现为金标准做参照再用往返可逆性和跨设备一致性交叉验证。全部 17 个测试函数都建立在这套体系之上。二、 三步快速上手安装并运行完整测试套件先获取源码并安装测试依赖git clone https://gitcode.com/gh_mirrors/to/torch-dct cd torch-dct pip install -r test_req.txttest_req.txt中声明了全部测试依赖pytest、pytest-cov、torch0.4.1、scipy等。之后在项目根目录执行一条命令即可pytestpytest 会自动发现torch_dct/test/目录下的全部测试测试文件测试对象测试函数数torch_dct/test/test_dct.py基于 FFT 的 dct1 / idct1 / dct / idct / dct_2d / dct_3d9torch_dct/test/test_lineardct.pyLinearDCT 线性层加速版8三、 三大核心验证策略3.1 参照比对scipy.fftpack 是金标准测试套件的第一策略是把成熟的scipy.fftpack.dct作为参照实现与 torch 实现逐元素比对x np.random.normal(size(1, N)) ref fftpack.dct(x, type2, normnorm) # scipy 参照结果 act dct.dct(torch.tensor(x), normnorm).numpy() assert np.abs(ref - act).max() 1e-10 # 最大误差须小于 1e-10这一模式几乎出现在每一个测试函数中是 DCT 变换正确性最硬的一道防线。3.2 往返验证一个公式证明可逆性源码中idct的定义就是idct(dct(x)) x见torch_dct/_dct.py中idct的文档字符串测试直接验证该性质X dct.dct(torch.tensor(x)) y dct.idct(X).numpy() assert np.abs(x - y).max() 1e-10往返测试完全不依赖外部参照实现正向或反向任何一方漏掉一个缩放因子都会立刻暴露。3.3 GPU 一致性CPU 与 CUDA 结果必须吻合test_cuda会先检查torch.cuda.is_available()无 GPU 的机器上整个测试体被跳过自然通过保证测试套件在任意设备上保持绿色有 GPU 时则把同样的随机数据放到 CUDA 上计算.cpu().numpy()取回后与 scipy 参照按同样的 1e-10 容差比对。四、 测试用例设计规模与维度选择的学问测试数据的选择和断言本身同样重要。这个项目的覆盖矩阵很值得借鉴覆盖维度实际用例覆盖目的信号长度 N2 / 5 / 32 / 111最小边界、小素数、2 的幂FFT 快速路径、大奇数暴露边界问题张量维度最高 4 维甚至11 维验证批处理维度view(-1, N) → reshape的逻辑norm 参数None/ortho两种归一化模式设备CPU / CUDA跨设备数值一致性2D 与 3D 测试还模拟了 DCT 的可分结构scipy 沿不同轴分别做 2 次2D或 3 次3D一维 DCT 生成参照再与dct_2d/dct_3d的一次完整结果比对。五、⚡ LinearDCT 加速层容差为什么更宽松LinearDCT位于torch_dct/_dct.py把 DCT 实现为一个普通nn.Linear层在 GPU 上快约50 倍代价是需要在内存中存储完整的 DCT 矩阵。测试上有两个值得注意的细节权重初始化技巧用单位矩阵前向对应的 DCT 函数生成权重矩阵随后requires_grad False冻结——DCT 矩阵是固定的数学常数永远不该被学习容差放宽该测试文件使用EPS 1e-3FFT 版为 1e-10因为 float32 矩阵乘法的误差累积天然大于 FFT 路径。六、 让测试可复现、可定位的三个细节确定性随机两个测试文件顶部都调用np.random.seed(1)保证每次运行、每次失败复现的都是同一组数据断言携带上下文如assert ..., (norm, N)断言失败时直接看到哪个参数组合挂了而不是干巴巴的挂了分层容差FFT 路径 1e-10、线性层 1e-3——容差按算法自身精度上限选取而非一刀切。七、 关键文件速查文件作用torch_dct/_dct.py核心实现dct1 / idct1 / dct / idct / dct_2d / dct_3d / LinearDCTtorch_dct/__init__.py对外接口导出torch_dct/test/test_dct.pyFFT 实现验证含 GPU 一致性测试torch_dct/test/test_lineardct.pyLinearDCT 加速层验证test_req.txt测试依赖清单setup.py包声明运行时依赖torch0.4.1八、❓ 常见问题为什么无 GPU 的机器上 test_cuda 不会失败torch.cuda.is_available()为 False 时整个测试体被跳过这是刻意为之的设备自适应设计避免无卡环境误报失败。只想单独跑某一个测试函数可以例如pytest torch_dct/test/test_dct.py::test_dct只执行 DCT-II 正向变换的参照比对。想提高精度把输入换成 float64 会怎样可以但需要相应收紧容差项目中的 1e-10 是针对默认 float32 计算路径校准的。总结torch-dct 给出了数值算法如何自证正确的一个小而完整的范本金标准参照scipy 往返可逆性 跨设备一致性 分层容差 确定性随机数据。下次你在 PyTorch 中实现 FFT 相关的变换DCT、STFT、滤波核等时这套验证体系可以直接照搬复用。【免费下载链接】torch-dctDCT (discrete cosine transform) functions for pytorch项目地址: https://gitcode.com/gh_mirrors/to/torch-dct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考