简介这份PDF文献面向数字人文、古籍数字化与OCR方向的研究者及深度学习实践者聚焦卷积神经网络在古籍汉字识别中的落地路径。内容从CNN卷积层、池化层与全连接层的基本原理切入剖析古籍书法字体笔画黏连、模糊缺失、风格各异等识别难点并完整呈现将识别问题转化为分类问题的实验思路借助数据生成技术构建训练集在TensorFlow平台上对773个汉字生成约24万个样本模型可自动判定不可识别图片并转交人工复核形成半自动化元数据加工工具。资源包共1个PDF文件大小约6.39MB便于集中研读与引用。目前已有222人学习适合希望了解深度学习在古籍OCR中应用范式、获取可复现实验框架与阈值筛选策略的读者参考。1. 古籍汉字识别为什么 CNN 在这里比 OCR 工具更管用做过古籍数字化的人都有个体会拿现成的 OCR 去跑刻本、抄本、批注本识别率断崖式下跌。原因不复杂——古籍汉字和现代印刷体根本不是一个分布。异体字、避讳缺笔、竖排无标点、雕版墨迹晕染、虫蛀残损这些在通用 OCR 的训练集里几乎不出现。卷积神经网络在古籍汉字识别中的应用实践核心要解决的就是这个域偏移问题让模型从字形本身的局部结构里学特征而不是依赖现代排版的先验。这个方向适合三类人手里有古籍扫描件想做自动转录的文史研究者、做古籍数据库需要结构化入库的工程师、以及想拿真实低资源场景练手深度学习的人。它不需要你从零标注几十万张图但需要你理解 CNN 为什么在汉字这种「结构密集、局部判别性强」的目标上比全连接网络更合适。下面按选型、数据、训练、踩坑、进阶的顺序讲透。2. 从字形到特征图CNN 处理古籍汉字的选型逻辑2.1 为什么卷积结构天然适配汉字字形汉字是二维结构体笔画的空间关系本身就是判别信息。「未」和「末」差在横画长短「己」「已」「巳」差在竖弯钩的开口程度。全连接网络把图像展平成一维向量等于丢掉了这种二维邻接关系而卷积核在局部窗口上滑动恰好保留了笔画间的相对位置。更关键的是权值共享。古籍里同一个字可能出现在不同位置、不同缩放比例下卷积核用同一组参数扫描整张图参数量比全连接少一到两个数量级小数据集上过拟合风险明显更低。池化层进一步带来平移不变性——雕版印刷的字在版面上位置有偏移池化后特征响应基本一致。常见做法是用 VGG 或 ResNet 的骨干做迁移但古籍汉字有个特殊点类别数极大常用字加异体字轻松过万而单类样本极少。所以选型时不能照搬 ImageNet 那套得在骨干深度和分类头宽度之间重新找平衡。2.2 骨干网络选型从 LeNet 到 ResNet 的取舍我一般按数据量分档选单类样本数推荐骨干理由 50浅层自定义 CNN4-6 层卷积深层网络必然过拟合浅层加数据增强更稳50-200ResNet-18 / VGG-11 微调有足够样本支撑残差学习迁移权重能加速收敛 200ResNet-34 或 DenseNet-121可以吃下更深特征配合强增强古籍场景还有个坑很多公开预训练权重是在现代汉字数据集上训的直接迁移到古籍域底层卷积核边缘、笔画检测可复用高层语义层反而会带偏。我的经验是冻结前两个 stage只微调后面学习率设成骨干的十分之一。2.3 最小可跑通流程数据到推理的完整链路先给一个能直接跑的最小骨架用 PyTorch 写。假设你已经把古籍单字切好按类别分文件夹存放。import torch import torch.nn as nn from torchvision import datasets, transforms, models from torch.utils.data import DataLoader # 古籍单字常见尺寸不统一统一缩放到 64x64灰度转三通道以复用预训练权重 train_tf transforms.Compose([ transforms.Grayscale(num_output_channels3), transforms.Resize((64, 64)), transforms.RandomAffine(degrees5, translate(0.05, 0.05)), # 模拟版面偏移 transforms.ToTensor(), transforms.Normalize([0.5]*3, [0.5]*3) ]) # ImageFolder 要求按类别建子目录每个子目录放该类单字图 dataset datasets.ImageFolder(guwen_chars/train, transformtrain_tf) loader DataLoader(dataset, batch_size64, shuffleTrue, num_workers4) # 用 ResNet-18 做骨干替换分类头以适配古籍类别数 model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT) model.fc nn.Linear(model.fc.in_features, len(dataset.classes)) # 冻结前两个 stage只微调高层 for name, param in model.named_parameters(): if name.startswith((conv1, layer1, layer2)): param.requires_grad False criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3) for epoch in range(30): model.train() for imgs, labels in loader: optimizer.zero_grad() loss criterion(model(imgs), labels) loss.backward() optimizer.step() print(fepoch {epoch}, loss {loss.item():.4f})这段代码的逻辑说明RandomAffine是关键古籍版面扫描时单字位置有随机偏移不加这个增强模型会对位置过拟合。冻结conv1到layer2是因为底层卷积核学的是通用边缘和笔画古籍和现代汉字共享这部分高层语义层必须重新学否则会把古籍异体字误判成现代字形。学习率 1e-3 只作用于可训练参数如果全量微调要降到 1e-4。参数上batch_size64在单卡 8G 显存下跑 64x64 输入比较稳如果单字切得更大128x128降到 32。num_workers按 CPU 核数设IO 瓶颈时调大能明显提速。3. 古籍数据集的构建与增强切字、标注、扩样3.1 从整页扫描到单字样本的切分流程古籍识别第一步不是训模型是把整页图切成单字。竖排文本的切分逻辑和横排完全不同先按列切再在列内按字切。常见做法是投影法——对二值化后的页面做垂直投影找列间隙再对每列做水平投影找字间隙。import cv2 import numpy as np def split_columns(img_path): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) # 自适应二值化应对墨迹深浅不均 binary cv2.adaptiveThreshold(img, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 25, 10) # 垂直投影统计每列的黑像素数 col_proj np.sum(binary, axis0) # 投影值低于阈值的列视为列间隙 threshold np.max(col_proj) * 0.02 in_col col_proj threshold # 找连续 True 区间作为列 cols [] start None for i, v in enumerate(in_col): if v and start is None: start i elif not v and start is not None: cols.append((start, i)) start None return img, cols def split_chars_in_col(binary_col): row_proj np.sum(binary_col, axis1) threshold np.max(row_proj) * 0.05 in_char row_proj threshold chars [] start None for i, v in enumerate(in_char): if v and start is None: start i elif not v and start is not None: # 过滤过窄的噪声区间 if i - start 8: chars.append((start, i)) start None return chars逻辑说明adaptiveThreshold的 block size 设 25 是针对 300dpi 扫描件如果分辨率更高要相应调大。列间隙阈值取最大投影的 2% 是个经验值版面紧凑的古籍可以降到 1%。字切分时过滤宽度小于 8 像素的区间是为了去掉标点和虫蛀噪点。3.2 小样本下的数据增强策略古籍单字最大的问题是样本少且不均衡。常用字可能有上千样本生僻异体字可能只有几个。增强不能瞎做得符合古籍的物理特性弹性形变模拟纸张褶皱和雕版形变用scipy.ndimage.map_coordinates做局部扭曲墨迹扩散/腐蚀模拟晕染和缺笔用形态学操作随机遮挡模拟虫蛀和残损随机挖小方块置白对比度抖动模拟不同扫描设备的曝光差异不要用水平翻转——汉字翻转后不是合法字形。旋转角度控制在 ±5 度以内大了会破坏笔画结构。3.3 类别不均衡的处理重采样与损失加权类别不均衡在古籍场景极其严重。我的做法是双管齐下训练时用WeightedRandomSampler按类别频率倒数采样同时损失函数用带权重的交叉熵。from torch.utils.data import WeightedRandomSampler # 统计每类样本数 class_counts [0] * len(dataset.classes) for _, label in dataset.samples: class_counts[label] 1 # 权重与频率成反比 weights [1.0 / c for c in class_counts] sample_weights [weights[label] for _, label in dataset.samples] sampler WeightedRandomSampler(sample_weights, num_sampleslen(sample_weights), replacementTrue) loader DataLoader(dataset, batch_size64, samplersampler, num_workers4) # 损失加权频率越低权重越高 class_weights torch.tensor([1.0 / c for c in class_counts], dtypetorch.float32) class_weights class_weights / class_weights.sum() * len(class_counts) criterion nn.CrossEntropyLoss(weightclass_weights)参数说明replacementTrue表示有放回采样稀有类会被反复抽到。class_weights归一化到均值为 1避免梯度尺度剧烈变化。如果某类样本少于 5 个建议直接合并到形近类或单独做少样本学习硬训效果很差。4. 训练调参与推理部署古籍场景的避坑清单4.1 学习率、批大小与早停的实操参数古籍单字识别我常用的参数组合初始学习率 1e-3Adam或 0.01SGD momentum 0.9批大小 64训练 30-50 epoch。学习率调度用余弦退火比阶梯下降更平滑。早停看验证集准确率patience 设 5。古籍数据集验证集要按「页」划分而不是按「字」随机划分——同一页的字高度相似随机划分会导致验证集泄漏准确率虚高。这是血泪经验早期没注意模型在验证集 98% 但实际页面上错得一塌糊涂。4.2 推理阶段的预处理一致性训练和推理的预处理必须完全一致这是最常见的翻车点。训练时用了Normalize([0.5]*3, [0.5]*3)推理时忘了结果全错。建议把预处理封装成一个函数训练和推理共用。def preprocess_single_char(img_path): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, (64, 64)) img cv2.cvtColor(img, cv2.COLOR_GRAY2RGB) img img.astype(np.float32) / 255.0 img (img - 0.5) / 0.5 img np.transpose(img, (2, 0, 1)) return torch.tensor(img).unsqueeze(0)推理时还要注意单字切分的边界框要留适当 padding切太紧会丢掉笔画边缘切太松会引入邻字干扰。我一般留 10% 的边距。4.3 古籍识别的五个典型翻车现场现象一验证集准确率很高实际页面识别率很低。原因验证集按字随机划分同页字泄漏。 解决按页划分训练/验证/测试集确保同一页的字只出现在一个集合里。现象二模型把异体字全预测成对应正体字。原因异体字样本太少模型学到了「异体字→正体字」的捷径映射。 解决异体字单独设类不要合并用加权损失强制模型关注稀有类。现象三训练 loss 震荡不收敛。原因学习率太大或批大小太小导致梯度噪声大。 解决学习率降到 1e-4批大小提到 128加梯度裁剪clip_grad_norm_(model.parameters(), 1.0)。现象四推理速度慢单页要几十秒。原因逐字推理没有批处理GPU 利用率低。 解决把一页的所有单字攒成 batch 一起推理速度能提升 10 倍以上。现象五模型对扫描质量敏感换一批扫描件就崩。原因训练数据扫描设备单一模型过拟合了特定噪声分布。 解决训练时加高斯噪声和 JPEG 压缩伪影增强覆盖多种扫描质量。5. 进阶技巧用注意力机制和字形分解提升生僻字识别生僻字和异体字是古籍识别的硬骨头样本少、字形复杂。我试过两个有效方向。一是引入注意力机制。在 CNN 骨干后加一个 SESqueeze-and-Excitation模块让网络自适应地加权不同通道的特征。生僻字的判别信息往往集中在少数几个笔画区域SE 模块能放大这些区域的响应。实现很简单class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() w self.pool(x).view(b, c) w self.fc(w).view(b, c, 1, 1) return x * w把 SEBlock 插在 ResNet 的每个残差块后面生僻字识别率通常能涨 2-4 个百分点。reduction16是压缩比通道数少的时候调到 8。二是字形分解。把汉字拆成部首和笔画序列用多任务学习让模型同时预测整字和部件。部件预测作为辅助任务能给整字分类提供额外的监督信号尤其对样本少的类有效。具体做法是在骨干后接两个分类头一个输出整字类别一个输出部首类别损失按 0.7:0.3 加权。验证方法上我习惯留一个「困难测试集」——专门挑残损严重、异体字密集的页面不参与任何训练和调参。每次改动后在这个集合上跑一遍看真实提升。普通验证集涨点可能是过拟合困难集涨点才是真本事。最后说个习惯古籍识别项目里我永远先跑一个基线——用最简单的 LeNet 加原始数据训一遍记录准确率。后面所有改进都跟这个基线比。很多时候花哨的注意力机制不如把切字质量提上去。数据质量决定上限模型只是逼近这个上限。希望帮到你。本文还有配套的精品资源点击获取
