简介这份PTBPenn Treebank Dataset文本数据集面向自然语言处理初学者与深度学习研究者可用于词嵌入、语言模型及序列到序列模型的训练与评估帮助读者在句法分析与文本建模场景中完成从数据加载到困惑度评测的完整实践。压缩包共62个文件约31.2MB包含txt语料、sh训练与测试脚本、c/cpp源码、makefile构建文件及少量model、gz等资源既有训练、验证和测试语料也附带simple-examples示例与rnnlm相关实现便于直接运行和二次修改。目前已有1840人学习下载。读者可据此搭建RNN、LSTM、GRU乃至Transformer的基础实验理解分词预处理、词表索引映射、梯度裁剪与学习率调度等关键环节并借助示例脚本快速复现训练流程、观察输出日志与模型效果为后续NLP项目提供可参照的数据与代码基础。1. PTB 文本数据集到底是什么一份固定划分的英文句法语料PTBPenn Treebank Dataset文本数据集在语言建模这个领域里几乎是默认的第一站它把新闻语料切成句子给每个词打上词性和句法结构标注再整理成 train / valid / test 三个纯文本文件。很多人第一次跑序列模型困惑度对比的基线就是它。它解决的问题很具体——你需要一份规模可控、划分固定、评测标准统一的英文语料来判断一个模型到底有没有学到东西。做小规模语言模型实验、复现经典结果、或者带新人练一遍数据流水线都很适合从它入手。麻烦也在这儿它有不止一个流通版本版本选错困惑度能从 60 掉到 90而你只会以为是模型的问题。2. PTB 的三种流通版本原始括号树、词级预处理版与字符级版2.1 原始标注版的目录结构与新闻分节拿到原始标注版你看到的不是纯文本而是一堆.mrg文件每个文件里躺着若干棵括号树。一棵树的样子大致是( (S (NP-SBJ (DT The) (NN market)) (VP (VBD fell) (PP (IN on) (NP (NN news))))) ( . .) )括号里第一个位置是句法标签S 是句子NP 是名词短语VP 是动词短语第二个位置才是词。词性标签写在叶子节点上用的是那套 36 个左右的标签集NN / NNS / NNP / VB / VBD / JJ / RB / IN / DT / PRP / CD / MD 这些。树里还会出现两类容易忽略的东西一类是空类别节点-NONE-用来标注被删除或被移动的成分另一类是功能标签比如-SBJ主语、-TMP时间状语、-LOC处所它们挂在短语标签后面而不是独立成节点。文件按分节组织节号从 00 到 24。业界通用的划分是02 到 21 节做训练第 22 节做验证第 23 节做测试第 24 节留作额外测试集。这套划分是固定的任何人都不要重划否则你报出来的数字和别人比不了。节号区间用途说明00 到 01常被排除早期文件格式不统一02 到 21训练集约 3.9 万句22验证集约 1700 句23测试集约 2400 句24额外测试部分工作使用报告时需注明原始版的信息量最大句法分析、成分句法、词性标注这些任务都得从它出发。但如果你只想跑语言模型直接用它会很累文件多、句子跨行、带标注需要自己写解析。2.2 词级预处理版10000 词表和unk的来龙去脉语言建模社区最常用的其实是预处理过的词级版本三个纯文本文件每行一句词与词之间用空格分隔。这个版本做了一串“减法”第一把低频词统一替换成unk。词表固定为 10000 个按训练集词频从高到低取超出的一律归入unk。第二把数字替换成N避免模型去记具体数值。第三保留原有的大小写和标点。第四也是最多人搞错的一点——这三个文件里没有s和/s这两个句界符号它们是在读取时按行补上去的。这个版本的规模是公认的训练集约 929,589 个 token验证集约 73,760测试集约 82,430词表 10000含unk、s、/s三个特殊符号时是 10000 个位置。验证集的 OOV 率大致落在 5% 到 6% 之间。指标训练验证测试token 数929,58973,76082,430句子数行数约 42,068约 3,370约 3,760OOV 率—约 5.5%约 5.4%词表这 10000 是个参数不是必须遵循的标准。你完全可以自己从训练集重建词表但只要你动过这个词表报出来的困惑度就不能再和那些用 10000 词表的结果直接比。这件事听起来像常识实际翻车的概率高得离谱后面第 5 章会专门说。2.3 字符级版与 BPC 指标还有一条支线是字符级版本。它把整份语料拆成单个字符通常保留 26 个字母大小写、标点、数字和空格词与词之间的空格也当成一个字符。这样序列变长但词表从 10000 掉到 50 左右模型不用再处理 OOV。字符级评测用的不是困惑度而是 BPCbits per character意思是平均每预测一个字符需要多少比特。换算关系和词级困惑度对得上BPC log2(PPL) / 平均每词字符数PTB 上平均每词大约 4.5 到 5 个字符含空格和标点。所以词级 PPL 60 大致对应 BPC 1.18 左右。这个式子不是装饰它是你跨版本对齐结果的唯一桥梁——有人拿字符级 BPC 1.1 去和词级 PPL 80 比得出“字符级更好”的结论这是彻头彻尾的口径错误。字符级的坑在于预处理差异更大破折号怎么表示、引号是直引号还是弯引号、换行是否计入、连续空格是否压缩成单个每个实现都不一样。用之前一定要把预处理脚本一起固定下来只固定数据集本身没有意义。3. 把 PTB 读进内存括号树解析、词表构建与序列切分脚本3.1 从.mrg括号树解析出纯词序列原始版最有价值也最麻烦的部分就是解析。如果你的环境里能装 NLTK最省事的路子是用它自带的括号树读取器from nltk.corpus import BracketParseCorpusReader from nltk.tree import Tree def prune_none(tree): 删掉 -NONE- 空类别子树它们不对应真实词。 for i in reversed(range(len(tree))): child tree[i] if isinstance(child, Tree): if child.label().startswith(-NONE-): tree.pop(i) # 整个子树剔除 else: prune_none(child) # 递归处理 return tree def read_sents(root, pattern): reader BracketParseCorpusReader(root, pattern) sents [] for tree in reader.parsed_sents(): prune_none(tree) sents.append(tree.leaves()) # 只保留叶子上的词 return sentsroot是数据目录pattern是匹配分节文件的正则。parsed_sents()会返回Tree对象leaves()拿到的是纯词序列。prune_none这一步不能省空类别节点下挂着*T*-1、*这类占位符不删掉它们就会被当成词进入词表把词表撑大还污染统计。如果环境里没法装依赖可以用纯正则顶一下代价是转义括号需要手动映射import re from pathlib import Path # 匹配最内层 (词性 词) 结构词性用大写字母开头 TOKEN_RE re.compile(r\(([A-Z$][A-Za-z0-9$.\-]*)\s([^()\s])\)) ESCAPE_MAP {-LRB-: (, -RRB-: ), -LSB-: [, -RSB-: ], -LCB-: {, -RCB-: }} def read_tokens_fast(path): text .join(Path(path).read_text(errorsignore).split()) toks [] for pos, word in TOKEN_RE.findall(text): if pos.startswith(-NONE-): continue toks.append(ESCAPE_MAP.get(word, word)) return toks正则版的速度快很多但要注意它对嵌套结构的容错不如解析器遇到格式异常的文件会静默漏词。我的习惯是先用 NLTK 跑一遍统计句子数和 token 数和公认的规模对上再决定用哪个版本做正式流程。对不上就说明你的解析路径有问题别急着往下走。3.2 构建词表与unk替换的边界词表必须只用训练集统计这是红线。代码本身很短关键在调用时传什么from collections import Counter PAD, UNK, BOS, EOS pad, unk, s, /s SPECIALS [PAD, UNK, BOS, EOS] def build_vocab(train_sents, max_size10000): cnt Counter() for sent in train_sents: # 只传训练集 cnt.update(sent) # 特殊符号先占位剩下名额按词频补 words [w for w, _ in cnt.most_common(max_size - len(SPECIALS))] vocab SPECIALS words return {w: i for i, w in enumerate(vocab)} def encode(sents, vocab): unk_id vocab[UNK] ids [] for sent in sents: ids.append(vocab[BOS]) ids.extend(vocab.get(w, unk_id) for w in sent) ids.append(vocab[EOS]) return idsmax_size要算上四个特殊符号所以实际词数是 9996。这个细节直接决定你的词表大小是 10000 还是 10004报结果时容易被追问。encode在每个句子前后插入s和/s因为预处理版文件里没有它们。要不要把句末的/s计入困惑度的 token 数常见做法是计入。但如果你不计入PPL 会往下掉几个点看起来更好看这属于自欺欺人。表里报数的时候把口径写清楚。3.3 按 BPTT 长度做序列切分与状态重置语言模型的训练不是一句一句喂而是把整个 token 流拼成一条长序列再按 batch 切开。这一步的写法决定了你的模型能不能收敛import numpy as np def batchify(ids, batch_size): 把一维 token 流切成 (batch_size, 列数) 的矩阵。 n len(ids) // batch_size ids ids[: n * batch_size] # 丢掉尾部除不尽的 return ids.reshape(batch_size, n) train_ids np.array(encode(train_sents, vocab), dtypenp.int64) train_data batchify(train_ids, batch_size64)batch_size决定列数列数决定一个 epoch 里能切出多少个 BPTT 片段。切完之后每段取[i, ibptt)做输入、[i1, ibptt1)做标签。两个参数的影响很不一样batch_size越大梯度噪声越小但显存占用线性上涨。PTB 上 64 到 128 是常见区间20 是早年小显存时代的配置。bptt决定反向传播跨多少步。35 是经典值对应“截断 35 步”。调大到 70 通常能稍微降一点 PPL但训练时间翻倍。尾部被丢掉的那几十个 token 不用心疼PTB 规模下影响在万分之几。真正要小心的是状态重置如果你的实现是每段之间重置隐状态那和跨段保留状态是两个不同的模型PPL 差得出来。4. 在 PTB 上配参数词表规模、BPTT 长度与困惑度口径4.1 词表大小与 OOV 率的取舍10000 这个词表规模是历史惯性不是最优解。词表调小unk变多模型学不到长尾词但嵌入矩阵变小、训练更快词表调大OOV 变少可稀有词出现次数太少嵌入向量根本训不好。词表规模验证集 OOV典型 PPL 走势适用场景200012% 上下明显偏高只想快速跑通流程50008% 上下中等小模型、教学演示100005% 到 6%标准参照与公开结果对比20000 以上3% 上下略降但不可比大模型自娱自乐关键是最后一句不同词表规模下的 PPL不可直接比较。OOV 少意味着模型要预测的词空间更大熵天然更高PPL 反而可能上升。所以要么严格用 10000要么在报告里写清楚“自建词表 20000不与公开结果对比”。4.2 BPTT 长度、批大小与隐状态处理常见的几组配置我按使用频率排一下参数保守配置现代配置说明batch_size2064 到 128越大越稳越吃显存bptt3535 到 7035 是事实标准hidden_size6501000 到 1500再大容易过拟合dropout0.3 到 0.5分层设置输出层单独设学习率20SGD1e-3Adam两套体系别混用隐状态的处理有两种流派。一种是每个 BPTT 段开始时重置为零实现简单但模型学不到跨段依赖另一种是用detach()把上一段的隐状态截断梯度后传下去既保留信息又不让反向传播无限延长。PTB 的句子平均长度二十几个词BPTT 35 基本能覆盖一句所以重置的影响没那么大但在字符级上差异会很明显。还有一个容易忽略的点验证和测试阶段batch 的列数往往除不尽 BPTT最后一段会短一截。如果你用固定形状的 tensor 预分配记得把多余位置 mask 掉否则打分时会混进无效 tokenPPL 会被稀释。4.3 困惑度口径per-token 还是 per-character困惑度的定义是平均负对数似然的指数PPL exp( 总 NLL / token 总数 )三个地方会改变结果。第一/s算不算 token。算PPL 略低不算PPL 略高。第二padding 有没有被 mask 掉。没 mask 的话模型在 padding 上的损失被算进去PPL 会离谱地低或者高。第三用的是自然对数还是以 2 为底。用 log2 算出来的叫 bits per token再取 2 的幂才是 PPL两者别搞混。import math import torch torch.no_grad() def evaluate(model, data, bptt, criterion, device): model.eval() total_nll, total_tokens 0.0, 0 hidden model.init_hidden(data.size(0)) for i in range(0, data.size(1) - 1, bptt): x data[:, i:i bptt].to(device) y data[:, i 1:i bptt 1].to(device) hidden model.repackage_hidden(hidden) # detach截断梯度 logits, hidden model(x, hidden) # 展平后按 token 求平均而不是先对 batch 求平均 loss criterion(logits.reshape(-1, logits.size(-1)), y.reshape(-1)) n y.numel() total_nll loss.item() * n total_tokens n return math.exp(total_nll / total_tokens)这段代码里有两个细节值得盯。loss.item() * n是先还原成总 NLL 再累加如果直接累加 batch 平均损失最后除出来的是“平均的均值”短句会被过度加权。repackage_hidden做的是detach只截断梯度不重置数值。PPL 这个指标对预处理极端敏感稍微改一下分词就可能差出十几个点。它的好处是计算便宜、可比性强坏处是它衡量的是“平均每个词的惊讶程度”和下游任务表现没有必然关系。真要判断模型好坏除了 PPL最好再看一眼生成样本。5. PTB 使用中的避坑记录五个让 PPL 对不上的地方5.1 用全量语料建词表验证集信息泄漏现象验证集 PPL 比预期低一截测试集却掉不下去两者差距异常大。原因图省事把 train / valid / test 拼起来统计词频验证集和测试集里的词提前进了词表模型等于提前看过答案。这种泄漏不会报错只会让你的结果看起来“好得不真实”。解决词表统计函数只接收训练集在函数签名上就限制住。写完之后打印一下验证集 OOV 率落在 5% 到 6% 才算正常如果接近 0就是泄漏了。5.2 原始版和预处理版混着用数字没法比现象自己从.mrg解析出来的训练集有 100 多万 token和公认的 92 万多对不上。原因原始版含标点、含空类别残留、保留了原始大小写和数字预处理版做了低频词替换和数字归一化。两者不是同一份数据。解决先决定走哪条路。要和公开结果比就用预处理版或者严格复刻它的替换规则词频阈值、N替换、大小写策略。自己解析的版本单独命名不要混着报。5.3 句界符号的处理不一致现象同一个模型两次跑出来的 PPL 差 3 到 5 个点。原因预处理版文件里没有s和/s有人按行补有人不补有人补了s但不计入损失。解决在数据加载层统一处理写死“每行补s开头、/s结尾两者都计入 token 总数”。这个约定写进配置别靠记忆。5.4 测试集被反复用来调参现象测试集 PPL 特别好换个随机种子就崩了。原因看到测试结果不理想就改超参改完再测来回几轮测试集事实上变成了验证集。解决所有超参在验证集上定死测试集只跑一次跑完就存档。这个习惯比任何调参技巧都值钱属于典型的“后悔药”型经验。5.5 转义符号没还原标点全变成词现象词表里出现-LRB-、-RRB-、-LSB-这种东西还排在词频前列。原因括号树里左右圆括号、方括号是用转义标记表示的解析时没映射回真实字符。解决在解析出口统一做一次映射表替换把六个转义标记换成对应符号。做完之后检查词表前 50 个词应该全是the、,、.、of这类出现转义标记就说明漏了。6. 用 n-gram 基线给 PTB 流水线做个体检在把神经模型丢进去之前我习惯先跑一个 n-gram 基线。这一步花不了多少时间却能一次性验证数据加载、词表、句界、PPL 计算四条链路是不是都对。用 kenlm 训练一个 5-gram命令很短# 训练 5-gramdiscount_fallback 用于小语料自动回退 lmplz -o 5 --discount_fallback train.txt ptb.arpa # 在测试集上打分输出每句的对数概率和困惑度 query -v summary test.txt /dev/null 2 score.txt如果一切正常5-gram 加 Kneser-Ney 平滑在 PTB 测试集上的 PPL 大致落在 130 到 150 之间。落不进这个区间说明前面的环节有问题别急着换模型。判断顺序和对应的排查方向我整理成了一张表检查项期望值不符时先看哪里训练 token 数929,589分词、行切分、句界符号词表规模10000特殊符号是否算进名额验证集 OOV5% 到 6%词表是否误用了全量数据5-gram PPL130 到 150平滑配置、测试集是否带unk神经模型 PPL60 到 90BPTT、隐状态重置、PPL 口径神经模型那一行给的是区间而不是定值因为架构差异太大两层 LSTM 加合适 dropout 通常能压到 80 以内加了权重绑定和更细的正则能摸到 60 附近再往下就是各种技巧的比拼了。关键是先确认自己站在正确的起跑线上。还有一个我常做的动作从测试集里抽 20 句人工看一眼 token 序列。有没有连续的空格、有没有把整段拼成一行、unk的比例是不是集中在专有名词上。这些肉眼检查比任何指标都直白。血泪经验是PTB 的坑几乎全在数据层模型层反而简单。我见过太多人换了两周模型结构最后发现是词表建错了。所以每次开新项目我都先把第 6 章这张表跑一遍对上了再动网络结构。希望帮到你。本文还有配套的精品资源点击获取
