【免费下载链接】parameter-golfTrain the smallest LM you can that fits in 16MB. Best model wins!项目地址https://gitcode.com/gh_mirrors/pa/parameter-golf点击查看免费下载导读本文基于 parameter-golf 仓库中records/track_10min_16mb/2026-04-29_SmearGateBOSFix_3Seed_1.06141/记录包完整讲解一次3 种子3-seed统计显著性合规复现的工程实践如何在 16MB 模型体积与 600 秒训练预算双重约束下通过GPTQ_RESERVE_SECONDS预留时序、serialize 前置重排与计时插桩为 PR #1851SmearGate BOS 文档边界修复提供可复现、可合规的证据链。读完本文你将掌握该记录包的全部环境变量、复现命令、GPTQ 量化时序拆解方法以及从源码层面理解train_gpt.py中预留时序、文档打包加载器、SmearGate BOS 掩码与 LQER 非对称量化等关键实现细节。记录包概览为什么需要3 种子合规复现本次记录提交类型为record_support支撑性记录其定位是 submission.json 中声明的不引入任何新 ML 技术而是原样复现 PR #1851aquariouseworkman 的 SmearGate BOS 修复 PR #1787 基础架构 LQER 非对称量化 分阶段 TTT的代码与配置回答三个问题该结果是否具备跨种子的统计显著性3 个种子验证独立第三方Christopher-Lee-McClendon能否用同一套代码与环境变量复现一次合规性重跑能否证明 GPTQ 的 Hessian 收集阶段严格落在 600 秒训练预算之内。最终指标val_bpb 1.061453 种子均值 ± 0.00068产物约15.95 MB硬件为8×H100 SXM 80GB全部产物 16,000,000 字节、全部评估时间 600s。原始 3 种子结果表种子 42 来自 PR #1851 原作者 aquariouseworkman 的提交种子 314 与 1234 由 Christopher-Lee-McClendon 使用相同代码与相同环境变量独立复现SeedPost-TTT BPBArtifact (bytes)Eval TimeSource421.0612818315,952,086519.5sPR #1851 (aquariouseworkman)3141.0608683115,952,419525.6sReproduction (Christopher-Lee-McClendon)12341.0622026115,952,690479.6sReproduction (Christopher-Lee-McClendon)Mean ± Std1.06145 ± 0.00068三个种子 BPB 极差1.06087 ~ 1.06220约 0.0013标准差仅 0.00068说明该分数带内模型质量高度稳定。原始日志文件为train_seed42_pr1851_original.log、train_seed314_original.log、train_seed1234_original.log。合规重跑证据让 GPTQ 严格落在 600 秒内问题背景原始运行使用GPTQ_RESERVE_SECONDS0.5训练循环会一直跑到约 599.6 秒才停下。但 GPTQ 的 Hessian 收集阶段collect_hessians需要读取训练数据还要额外消耗约 3.5 秒存在越过 600 秒预算的风险——详见 submission.json 的compliance字段原始train_time_max_s: 599.623。修复手段只改时序不改 ML合规重跑的唯一代码改动是时序余量无任何模型改动GPTQ_RESERVE_SECONDS0.5 → 8.0让训练循环提前约 8 秒结束约 592s为 GPTQ 留出安全余量serialize-before-diagnostic 重排产物artifact在 GPTQ 完成后、预量化诊断评估之前立即写出确保产物落盘永远优先计时插桩新增serialize_wallclock与artifact_production_wallclock两项日志输出落盘耗时以便审计。重跑结果3 种子SeedPost-TTT BPB (re-run)Train TimeGPTQ Ends ByArtifact (bytes)421.06083288592.1s~595.5s ✅15,949,7013141.06090748592.0s~595.5s ✅15,951,77712341.06248776592.1s~595.5s ✅15,951,968Mean ± Std1.06141 ± 0.00093统计结论无显著差异。原始均值 1.06145 vs 重跑均值 1.06141差值 −0.00004远小于 1-sigma 噪声0.00068~0.00093证实GPTQ_RESERVE_SECONDS设置对模型质量影响可忽略。重跑日志为train_seed42_rerun_gptq8s.log、train_seed314_rerun_gptq8s.log、train_seed1234_rerun_gptq8s.log。GPTQ 时序拆解重跑PhaseTimeAccesses Training Data?Training loop (with 8s reserve)~592s✅ YesHessian collection~3.5s✅ YesTotal training-data-access time~595.5s 600s ✅Quantization~10.1s❌ No (uses cached Hessians)Brotli compression~65-67s❌ No (pure I/O)关键点在于只有访问训练数据的阶段计入 600 秒预算。量化约 10.1s复用已缓存的 Hessian与 Brotli 压缩约 65-67s纯 I/O都不触碰训练数据因此只需保证训练 Hessian 收集在 600s 内即可。源码级解读预留时序与计时插桩的实现GPTQ_RESERVE_SECONDS如何生效在 train_gpt.py 中超参数默认值为4.0gptq_reserve_seconds float(os.environ.get(GPTQ_RESERVE_SECONDS, 4.0))本次记录将其覆盖为 8.0。训练主循环train_model中执行了关键换算L3159-L3166max_wallclock_ms 1e3 * h.max_wallclock_seconds if h.max_wallclock_seconds 0 else None if max_wallclock_ms is not None: max_wallclock_ms - h.gptq_reserve_seconds * 1e3 log(fgptq:reserving {h.gptq_reserve_seconds:.1f}s, effective{max_wallclock_ms:.0f}ms)随后reached_cap判定L3338-L3346用approx_training_time_ms max_wallclock_ms触发提前停止训练约 592s 后停步剩余时间留给serialize()中的 Hessian 收集。serialize 前置与计时插桩train_and_eval中L3398-L3414的调用顺序为先serialize(h, base_model, ...)完成 GPTQ Brotli 压缩并落盘再执行预量化诊断评估diagnostic pre-quantization post-emat_serialize_start time.perf_counter() serialize(h, base_model, Path(__file__).read_text(encodingutf-8)) serialize_seconds time.perf_counter() - t_serialize_start log(fserialize_wallclock: {serialize_seconds:.3f}s) if h.distributed: dist.barrier() artifact_production_seconds time.perf_counter() - t_artifact_start log(fartifact_production_wallclock: {artifact_production_seconds:.3f}s (must be {h.max_wallclock_seconds}))这一重排确保最终产物final_model.int6.ptz在任何诊断评估之前就已存在是预算合规的硬保证。serialize内部L2473-L2510的流程是collect_hessians校准数据来自ShuffledSequenceLoader约 3.5s→gptq_mixed_quantize约 10.1s→ Brotli 压缩约 65-67s→ 写出quantized_model_path并返回bytes_total quant_file_bytes code_bytes压缩后的源码字节数一并计入 16MB 总预算。仓库还提供了配套的批处理脚本 scripts/run_1868_rerun.py可一次性顺序运行种子 42/314/1234脚本内置 CaseOps 数据下载、环境变量组装含GPTQ_RESERVE_SECONDS8.0、每种子 40 分钟超时与 10 秒静默等待并将各种子日志与.ptz模型按前缀归档可作为复现此类合规重跑的开箱参考。技术栈清单PR #1851 及其技术血缘记录包明确声明未引入任何新技术全部技术继承自 PR #1851 及其血统TechniqueSourceBase architecture (11L, MLP 4×, MuonEq-R)PR #1787 (nprime06)SmearGate attention BOS fixPR #1797 (dexhunter) PR #1851 (aquariouseworkman)LQER Asymmetric quantizationPR #1797 (dexhunter)CaseOps SP8192PR #1729 (romeerp)GPTQ SP8192PR #1394 (clarkkev)Score-first TTT (3 phases)PR #549 (abaybektursun)BOS bug identificationcocohearts从主仓库 README.md 的排行榜可见该组合位列 1.0614BOS-Fixed SmearGate LQER Asymmetric PR1787 SparseAttn Phased TTT本次 3 种子记录正是为其提供统计显著性支撑。架构速览11 层深度循环小模型单行架构描述浓缩了整份train_gpt.py的核心设计11L × 512d × 8H/4KVMLP 4×LeakyReLU(0.5)²Partial RoPE (16/64 dims)layerwise LN scaletied embeddingslogit softcap30.0。Depth recurrencelayers 3–5 looped ×2在 frac0.35 时激活。Parallel residuals from layer 8。XSA on all 11 layers。SmearGate window12。与 train_gpt.py 中Hyperparameters的默认值一一对应num_layers11、model_dim512、num_heads8、num_kv_heads4、mlp_mult4.0、rope_dims16、num_loops2、loop_start3、loop_end5、enable_looping_at0.35、parallel_start_layer8、xsa_last_n11、logit_softcap30.0。训练侧还启用了 Triton 融合的 softcapped cross-entropyFUSED_CE_ENABLED1默认开启L212-L224在单次流式读取中完成 softcap 与 CE 的 LSE 计算数值上与 eager 路径在 fp32 累加误差范围内一致。SmearGate BOS 修复的源码形态SmearGate 是对嵌入车道做依赖输入的前向 1 token 涂抹x_t ← x_t lam * sigmoid(W * x_t[:gate_window]) * x_{t-1}。本次记录的核心BOS 修复在于当input_ids[:, 1:] 1即下一个位置是 BOS 文档边界标记时把涂抹增益g直接掩码为 0阻止信息从一篇文档跨边界泄漏到下一篇L1331-L1337if self.smear_gate_enabled: sl self.smear_lambda.to(dtypex.dtype) gate_in x[:, 1:, : self.smear_window].contiguous() g sl * torch.sigmoid(self.smear_gate(gate_in)) bos_mask (input_ids[:, 1:] 1).unsqueeze(-1) g g.masked_fill(bos_mask, 0.0) x torch.cat([x[:, :1], x[:, 1:] g * x[:, :-1]], dim1)同一修复在 TTT 前向路径forward_tttL1429-L1436中同样生效保证训练与 TTT 评估语义一致。BOS_ID全局固定为 1L636-L637与 prepare_caseops_data.py 中写入的s控制符每篇文档前插入BOS_ID1严格对应——DocumentPackingLoader与_build_cu_seqlens正是依赖这些 BOS 位置做文档级变长打包与 varlen 注意力分段。复现步骤含完整环境变量记录包给出的完整复现命令如下请先在 8×H100 SXM 80GB如 RunPod环境执行# Install dependencies pip install brotli python-minifier # Prepare CaseOps SP8192 data python3 prepare_caseops_data.py # downloads from romeerp/parameter-golf-caseops-v1 # Run training (replace SEED with 42, 314, or 1234) SEED42 \ CASEOPS_ENABLED1 \ EMBED_BITS7 \ SMEAR_GATE_ENABLED1 \ SPARSE_ATTN_GATE_ENABLED1 \ MIN_LR0.1 \ EMBED_CLIP_SIGMAS15.0 \ MLP_CLIP_SIGMAS12.0 \ GPTQ_RESERVE_SECONDS8.0 \ PHASED_TTT_NUM_PHASES3 \ torchrun --standalone --nproc_per_node8 train_gpt.py各环境变量在 train_gpt.py 中的对应与要点SEED全局随机种子random/numpy/torch/cuda四路同步设置本记录使用 42 / 314 / 1234CASEOPS_ENABLED1启用 CaseOps 数据路径加载每 token 字节 sidecarfineweb_val_bytes_*.bin作为 BPB 计数的规范字节预算完全替代 SentencePiece LUT 字节统计EMBED_BITS7嵌入矩阵量化位宽EMBED_CLIP_SIGMAS15.0/MLP_CLIP_SIGMAS12.0对应张量 GPTQ 裁剪的 σ 倍数SMEAR_GATE_ENABLED1启用带 BOS 掩码的 SmearGate窗口GATE_WINDOW默认 12SPARSE_ATTN_GATE_ENABLED1稀疏注意力门控W_g形状(num_heads, gate_window)(8,12)仅 96 参数/层MIN_LR0.1warmdown 末期学习率下限GPTQ_RESERVE_SECONDS8.0本次合规重跑的关键训练提前 ~8s 结束PHASED_TTT_NUM_PHASES3分阶段score-firstTTT 阶段数每阶段对应验证集上不同难度档的文档分块。数据准备细节prepare_caseops_data.py是纯 CPU 的一次性脚本读取docs_selected.jsonl对每篇文档应用lossless_caps_caseops_v1变换lossless_caps.py 中定义的encode_lossless_caps_v2用 TITLE/ALLCAPS/CAPNEXT/ESC 四个操作符 token 替换显式大写变换完全可逆再用随附的tokenizers/fineweb_8192_bpe_lossless_caps_caseops_v1_reserved.model分词写出标准头格式magic20240520 version 1 token 数的 uint16 分片对验证流额外生成与 token 一一对齐的字节 sidecar记录每个 token 变换前的原始 UTF-8 字节数从而保证 BPB 始终基于未变换文本的真实字节。运行方式python3 prepare_caseops_data.py \ --docs ./fineweb10B_raw/docs_selected.jsonl \ --out ./data/datasets/fineweb10B_sp8192_caseops/datasets \ --sp ./tokenizers/fineweb_8192_bpe_lossless_caps_caseops_v1_reserved.model产出目录结构与 train_gpt.py 中CASEOPS_ENABLED1时的默认DATA_PATH/TOKENIZER_PATH完全匹配fineweb10B_sp8192_caseops/datasets/datasets/fineweb10B_sp8192_lossless_caps_caseops_v1_reserved/tokenizers/下的.model。运行硬性前提main()L3517-L3568强制要求CUDA 可用WORLD_SIZE必须整除 8保证grad_accum_steps 8 // world_size为整数启用flash_sdp并关闭cudnn/mem_efficient/math_sdpTF32 与高精度 matmul 预设开启。VOCAB_SIZE必须与 tokenizer 词表一致否则ValidationData直接抛错。结论与工程启示统计显著性证据3 种子均值 1.06145 ± 0.00068原始、1.06141 ± 0.00093重跑跨种子与跨运行者原作者 vs 独立复现者均稳定合规性证据GPTQ_RESERVE_SECONDS8.0使训练 Hessian 收集总访问时间 ≤ ~595.5s严格 600s且对 BPB 无统计显著影响delta −0.00004可复现工程范式只改时序余量不改模型、产物先落盘再诊断、新增 wallclock 插桩日志——这三条实践组合成一个可审计的合规复现流程其批处理实现可参考 scripts/run_1868_rerun.py。如需深入建议按顺序阅读本记录包 README.md → submission.json结构化指标→ train_gpt.py时序与量化实现→ prepare_caseops_data.pyCaseOps 数据管线再对照主仓库 README.md 排行榜了解该记录在整体挑战中的位置。赞分享【免费下载链接】parameter-golfTrain the smallest LM you can that fits in 16MB. Best model wins!项目地址https://gitcode.com/gh_mirrors/pa/parameter-golf点击查看免费下载相关推荐parameter-golf 16MB 极限训练实战11L XSA LQER SparseGate BOS 修复 SmearGate 技术全解析parameter golf 16MB 极限训练实战11L XSA LQER SparseGate BOS 修复 SmearGate 技术全解析parameter-golf 记录SmearGate BOS 文档边界修复 PR 1787 基座 LQER 非对称 分阶段 TTTval_bpb 1.0612815.95 MBparameter golf 记录SmearGate BOS 文档边界修复 PR 1787 基座 LQER 非对称 分阶段 TTTval_bpbparameter-golf 记录拆解Int6 量化 ×3 倍 MLP × SmearGate 的 16MB 极限压缩语言模型val_bpb 1.1458parameter golf 记录拆解Int6 量化 ×3 倍 MLP × SmearGate 的 16MB 极限压缩语言模型val_bpb 1.1458上一篇TeslaMate 换语言怎么设置3步完成界面本地化的完整指南下一篇Windows 安装安卓应用教程APK Installer 免费神器一学就会创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
