简介一份基于深度学习的Python老照片修复系统实现资源面向具备一定Python与深度学习基础的开发者用于解决历史影像中的噪点、缺损、色彩失真与模糊等退化问题重建清晰自然的视觉内容。资源包共含98个文件大小约52.18MB以Python脚本54个py为核心涵盖数据加载、模型定义、训练与测试等模块同时包含用于效果演示与说明的图像文件17个png、文档4个pdf及txt/md说明、视频演示mp4/gif以及备份文件zbak等便于对照学习和调试。目前已有70人学习下载。资源来自网络分享仅限个人学习交流。内容组织上源码目录结构完整含数据预处理、对抗生成网络、注意力机制、色彩校正等关键实现并配备原理解析文档、演示录屏与测试样例可帮助理解从特征提取到多尺度重建再到色彩还原的完整修复流程适合作为课程设计或入门项目参考。1. 老照片修复不是一键美颜深度学习把“变清晰”拆成了几件事拿到一张上世纪三四十年代的扫描老照片人像模糊、背景布满划痕和霉斑深度学习能不能把它修成一张能打印的清晰照片答案是能但工程上远没有“一键修复”那么轻松。基于深度学习的Python老照片修复系统本质上是一个把图像去噪、去划痕、超分辨率和上色串起来的计算机视觉实战项目前几步决定“修没修干净”最后一步决定“看着自不自然”。这篇笔记想把整个系统的拆解思路、模型选型、Python实现和训练参数一次讲透包括我实际跑通过的最小代码和踩过的坑。它适合刚入门深度学习、想拿一个完整实战项目练手的从业者也适合已经在做图像复原、想补全工程细节的同学。先把任务拆开看因为修复策略的选择直接决定你后面写代码是省心还是反复返工。2. 任务拆解与模型选型去划痕、超分、上色该分开做还是联合做2.1 老照片的损坏不是一种病先分清去噪、去划痕、超分、上色老照片的“旧”往往是多种退化叠加的结果而不是单一问题。常见的第一类是机械损伤包括划痕、霉斑、折痕和扫描噪声这类退化属于图像去噪和去划痕的范畴模型的任务是识别出“哪些纹理是照片本身的、哪些是后期破坏的”然后只修掉破坏部分。第二类是模糊老照片受限于当年的镜头和冲印工艺普遍存在失焦模糊或轻微运动模糊对应的是去模糊任务像NAFNet这类模型在这个方向表现很稳。第三类是分辨率不足上世纪照片扫描出来通常只有几十万像素放大到现代屏幕就会糊成一片这需要超分辨率模型来补细节SwinIR和ESRGAN是常见的两个选择。第四类是褪色和黑白处理手段是上色DeOldify做得比较成熟。我在实际项目里的做法是先把一张老照片按这四个维度逐项过一遍而不是直接丢给一个模型。原因很简单每一类退化都有各自效果最好的模型混在一起修容易出现“划痕修掉了但脸糊了”“颜色有了但边缘出现伪影”这类顾此失彼的翻车现场。把退化类型拆开标注后面无论是选模型还是调参都有据可依。2.2 模型选型为什么我倾向“组合式”而不是一个模型修到底老照片修复方向上确实有端到端模型比如Bringing Old Photos Back to Life它对“划痕检测内容复原”做了联合训练并且针对真实老照片的分布做了适配效果很惊艳。但我个人在实际项目中更常用组合式方案因为工程可控性更强。拿一张表来对比一下方案代表模型优点缺点适合场景端到端联合模型Bringing Old Photos Back to Life部署简单、针对老照片优化、修复自然度高权重依赖原作者的训练数据对特殊损伤类型控制力弱批量处理大批老照片、快速出效果分阶段组合NAFNet去噪 SwinIR超分 DeOldify上色每一步都能肉眼验证结果、可替换单个环节Pipeline代码量更大、误差会逐步累积对单张照片精修、需要逐环节质检我的习惯是如果用户拿来的是一整本家庭相册扫描件要求快速出片就直接上端到端模型如果是单张珍贵照片要修到能放大打印的程度就走组合式Pipeline。组合式的另一个好处是每个环节的模型都可以单独替换——今天去噪模型出了更好的权重换掉一个类就行不用动整条链路。这在工程维护上是实打实的省钱。2.3 没有原图对照怎么判断修复效果三个肉眼检查点训练深度学习模型时常用的PSNR、SSIM指标都需要有“原图”做参照但真实老照片根本没有原图这是修复项目里最棘手的一点。我一般靠三个肉眼检查点来验证效果。第一是高频纹理区域看头发丝、毛衣织纹、树叶边缘有没有出现不自然的重复纹理或水彩化假象这是超分模型最容易翻车的地方。第二是边缘轮廓看人物脸部轮廓和背景建筑边缘有没有振铃效应也就是边缘外侧出现一圈亮暗交替的虚影。第三是颜色分布看肤色是否偏灰、天空和植被是否出现不符合常识的怪异颜色。除了肉眼检查也可以用LPIPS这类感知相似度指标做辅助判断或者用人脸关键点检测来验证人物五官在修复后是否保持对称和稳定。修复不是越清晰越好而是要自然。很多新手第一次跑完模型看到图片变清晰就高呼“成了”结果放大一看人脸五官已经变形了。这种黑匣子式的信任往往会在交付时被用户一眼戳穿。3. 搭建Python修复环境PyTorch、CUDA与预训练权重的一次性准备3.1 Python环境与PyTorch/CUDA版本组合环境这块我是吃过亏的。早期图省事直接pip install torch装CPU版跑到一半才发现速度慢到无法接受。老照片修复虽然不像训练大模型那样吃显存但推理一张2000×3000的大图CPU和GPU的耗时差距是几十倍。我推荐的环境组合是Python 3.10、PyTorch 2.x、CUDA 11.8或12.1显卡显存8GB以上。如果你用的是云平台选带GPU的实例镜像时直接挑预装PyTorch的能省不少编译时间。conda create -n photo_restore python3.10 conda activate photo_restore pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install opencv-python numpy pillow scipy tqdm这里的--index-url指向CUDA 11.8对应的PyTorch预编译包安装完可以用一条命令验证GPU是否可用。OpenCV负责图像读写和基础预处理numpy做数组操作scipy在某些模型的边缘处理和插值逻辑里会用到。如果是在Windows上装opencv-python的wheel通常已经自带了依赖不太会遇到缺DLL的问题Linux服务器上反而偶尔缺libGL.so.1装上libgl1就好。import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))注意如果torch.cuda.is_available()返回False不要急着重装先看是不是CUDA驱动版本太老nvidia-smi显示的Driver版本决定了你能装哪个CUDA Toolkit。这个顺序搞反了后面所有模型都会跑在CPU上速度慢到你怀疑人生。3.2 预训练模型的目录组织与权重加载模型权重我建议单独建一个weights/目录统一管理不要散落在各个实验文件夹里。老照片修复系统里通常不止一个模型我的目录结构大致是这样的photo_restore/ ├── weights/ │ ├── nafnet_denoise.pth │ ├── swinir_sr.pth │ └── deoldify_color.pth ├── input/ ├── output/ └── restore.py加载权重有一个高频踩坑点不同repo保存的checkpoint格式不一致。有的直接存model.state_dict()有的存成{state_dict: ...}的字典还有的key前面带着module.前缀——这是DataParallel训练留下的痕迹。我在写加载函数时统一做了兼容处理避免每个模型写一套加载逻辑。from collections import OrderedDict import torch def load_pretrained(model, ckpt_path, devicecuda): ckpt torch.load(ckpt_path, map_locationdevice) state ckpt.get(state_dict, ckpt) new_state OrderedDict() for k, v in state.items(): new_state[k.replace(module., )] v model.load_state_dict(new_state, strictFalse) return model这段逻辑不挑模型核心就两件事第一兼容“裸字典”和“包了state_dict字段”的两种checkpoint结构第二去掉module.前缀因为单卡推理时模型没有DataParallel包装key对不上就会报错。strictFalse是最后的兜底允许个别层缺失不加载但用完要留意打印出来的Missing keys别把“漏加载”当“加载成功”。3.3 最小验证脚本一张图跑通完整推理链路环境装好、权重就位之后不要急着写完整系统先跑一个最小脚本验证整条链路是通的。我一般会准备一张尺寸适中的测试图比如512×512的裁剪块跑一遍“加载模型→预处理→推理→保存结果”的流程。这个脚本越短越好目的只有一个确认模型能正常前向传播、输出张量的形状符合预期。import torch import cv2 import numpy as np img cv2.imread(input/test.jpg) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) tensor torch.from_numpy(img).float().permute(2, 0, 1).unsqueeze(0) / 255.0 tensor tensor.cuda() with torch.no_grad(): output model(tensor) # 以单输入单输出的复原模型为例 out output.squeeze(0).permute(1, 2, 0).cpu().numpy() out np.clip(out * 255.0, 0, 255).astype(np.uint8) cv2.imwrite(output/test_out.jpg, cv2.cvtColor(out, cv2.COLOR_RGB2BGR))这段代码执行成功后你要检查两件事输出图像的尺寸是不是和输入一致超分模型除外它输出会比输入大以及图像内容有没有明显畸变。如果这一步都过不了后面所有业务逻辑都无从谈起。最小验证脚本是整个系统的“体检报告”我每次换机器、换权重、换CUDA版本都会先跑它。4. 写核心修复Pipeline从扫描件到可保存修复图的Python实现4.1 读图与预处理EXIF方向、裁剪与归一化进入Pipeline实现后第一件事是读图。听起来简单但这里有两个隐蔽的坑。第一个是EXIF方向信息手机或扫描仪拍出来的JPEG可能带有旋转标记OpenCV的imread默认不解析EXIF导致图片被横着处理第二个是颜色空间老照片扫描件有时是灰度图有时是带有色偏的RGB图如果统一按RGB处理灰度图在上色环节会被重复上色。import cv2 import numpy as np from PIL import Image def read_and_orient(path): img Image.open(path) img ImageOps.exif_transpose(img) # 修正EXIF方向 img img.convert(RGB) return np.array(img) def preprocess(img, size512): h, w img.shape[:2] if max(h, w) size: scale size / max(h, w) img cv2.resize(img, (int(w * scale), int(h * scale)), interpolationcv2.INTER_AREA) tensor torch.from_numpy(img).float().permute(2, 0, 1).unsqueeze(0) tensor tensor / 255.0 tensor tensor * 2.0 - 1.0 # 归一化到 [-1, 1] return tensor, (h, w)我在这段代码里做了两件事用PIL读图并修正EXIF方向再用OpenCV做尺寸缩放。缩放插值用INTER_AREA而不是INTER_LINEAR因为下采样时INTER_AREA能更好地抑制摩尔纹和高频噪声。归一化到[-1,1]是为了对齐大多数生成式复原模型的训练分布这个细节导致的“修完一片灰”问题我在第5章会详细讲。4.2 修复主干划痕掩码预测与图像重建的逻辑老照片修复和普通图像复原最大的区别在于很多损伤区域是局部且不规则的。单纯让模型对整个图像做全局复原经常会把完好的区域也“修”出假纹理。所以合理的做法是分两步先预测一个划痕掩码标出哪些像素是需要修复的破坏区域再让修复模型结合掩码和图像内容做局部重建。掩码预测的常见实现方式是用一个编码器提取多尺度特征在深层特征上分类每个像素属于“破坏”还是“完好”输出一张和原图等尺寸的单通道概率图。def predict_mask(model, tensor): with torch.no_grad(): feat model.encoder(tensor) # 提取多尺度特征 mask_logit model.mask_head(feat) # 输出 [B, 1, H, W] mask torch.sigmoid(mask_logit) return mask def restore(model, tensor, mask, blend_ratio0.3): masked_input tensor * (1.0 - mask) with torch.no_grad(): inpainted model.reconstructor(masked_input) # 掩码区域用重建结果非掩码区域保留原图边缘做柔和过渡 result tensor * (1.0 - mask) inpainted * mask return result这里mask的取值范围是0到1越接近1表示该位置越可能是划痕区域。restore函数的思路是完全信任原图的干净区域完全替换掩码区域但直接硬替换会在掩码边缘留下明显接缝所以我留了一个blend_ratio参数做软过渡。实际项目中掩码的准确度直接影响最终效果——如果掩码预测偏保守漏检划痕会残留如果偏激进误检完好的五官会被重画变形。这个度的把握需要针对不同照片微调掩码模型输出的置信度阈值。4.3 后处理反归一化、灰度世界校正与保存模型输出是[-1,1]范围的张量后处理的关键一步是把它还原成正常的图像范围并做必要的颜色校正。老照片扫描件往往整体偏黄或偏青这是胶片老化的色偏不是模型引入的错误。我常在系统里加一个灰度世界假设的校正步骤假设场景的平均反射率是灰色的通过调整RGB三个通道的均值来消除色偏。def postprocess(output_tensor, original_hw): out output_tensor.squeeze(0).permute(1, 2, 0).cpu().numpy() out (out 1.0) / 2.0 * 255.0 out np.clip(out, 0, 255).astype(np.uint8) return out def gray_world_correction(img, percent1): for i in range(3): channel img[:, :, i] lo np.percentile(channel, percent) hi np.percentile(channel, 100 - percent) img[:, :, i] np.clip((channel - lo) * (255.0 / (hi - lo)), 0, 255) return img.astype(np.uint8)保存时我习惯用JPEG质量95以上不要用默认的75因为修复图本身就是精细活二次压缩引入的伪影会让前面的工作打折扣。如果输出是要加文字水印或扫描存档的优先保存PNG。另外中间过程图——比如掩码热力图、去噪后的中间结果——建议一并保存排查问题时能少走很多弯路。5. 老照片修复避坑指南5个高频问题与排查方法5.1 显存OOM输入尺寸太大不是模型太大现象推理一张2000×3000的扫描照片程序跑到一半报CUDA out of memory。原因不是模型占了多少显存而是输入分辨率太高中间特征图的尺寸成倍放大。解决方法是切块推理把大图切成多个512×512或640×640的patch分别推理后再拼接。切块时要给每个patch留出重叠区比如切成512尺寸、重叠64像素拼接时对重叠区域做线性加权融合避免接缝。我在项目里就是先按最大边缩小到2000像素以内再切块这样8GB显存也能稳定跑完整个流程。5.2 修复结果灰蒙蒙归一化范围没对齐现象模型训练时输入输出都在[-1,1]范围你推理时却在[0,1]范围做归一化输出的图像整体偏灰、对比度很低。这是老照片修复项目里最常见的低级错误我早期也为此翻过车。排查时先看预处理代码里有没有* 2.0 - 1.0这一步再检查后处理有没有对应的(1.0) / 2.0。两边范围不一致模型学到的分布就完全错位了。这个问题的教训是换模型时不要只换权重和网络结构要把它的预处理和后处理一并从原repo里搬过来。5.3 黑白照片被乱上色上色模型和灰度图之间的落差现象给一张纯黑白照片做修复系统却给人物添上了诡异的蓝色肤色。原因是上色模型在训练时见过的是真实老照片的灰度分布而不是纯黑白的扫描件。先用直方图匹配或对比度拉伸让灰度图的分布接近训练数据再送入上色模型效果会更自然。另外我建议把上色放在整个Pipeline的最后一步先完成去划痕和超分再做颜色填充——顺序反了的话上色模型会把划痕区域的异常纹理当成颜色线索产生不可控的色块。5.4 大图切块推理出现接缝重叠融合策略不对现象修复图在patch交界处出现一条条可辨识的亮度或色调差异线。原因是我最初切块时没有重叠模型在每块边缘的上下文信息不够导致相邻patch修复结果不完全一致。解决方法是重叠区要留足我用的是64到128像素的重叠拼接时对重叠区域做距离加权的线性融合越靠近patch中心的像素权重越高越靠近边缘越低。这个方法不复杂但能把接缝问题解决得相当干净属于性价比极高的一步。5.5 加载权重报错key不匹配、文件损坏与strict的用法现象load_state_dict报Missing key(s)或Unexpected key(s)或者加载后模型输出一堆噪声。原因分三种一是checkpoint里带着module.前缀二是文件下载不完整三是模型结构定义和权重不是同一个配置版本。strictFalse能跳过部分匹配错误但前提是你清楚哪些层缺失了。遇到这种情况我建议先用torch.load把checkpoint打开打印它的key列表和模型的state_dict()做对比一分钟就能定位问题。文件下载不完整则可以通过对比文件大小或MD5来确认不要迷信“只要能加载就能用”。6. 进阶微调出你自己的修复模型——数据准备、训练参数与效果验证6.1 成对训练数据一张高清图造出八种老照片损伤真实老照片没有对应的“干净原图”所以微调训练数据的主流做法是人工合成退化拿现代高清照片随机叠加划痕贴图、高斯噪声、运动模糊、下采样和色偏生成“退化图→原图”的成对数据。划痕贴图可以用随机直线和多边形生成也可以从真实破损照片里抠出来。我的经验是每张原图生成多种退化组合数据量翻倍的同时也能让模型见到更丰富的退化分布。6.2 训练脚本损失函数、优化器与L2正则化的设置optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max200) criterion_l1 torch.nn.L1Loss() criterion_perc PerceptualLoss() # 常用VGG16特征层计算感知损失 for epoch in range(200): for degraded, clean in dataloader: pred model(degraded) loss criterion_l1(pred, clean) 0.1 * criterion_perc(pred, clean) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step()这里weight_decay1e-4就是L2正则化在PyTorch里的落地实现它约束了权重的范数能有效防止模型在训练集上过拟合到特定的划痕纹理上。损失函数用L1加感知损失的组合L1保证逐像素的保真度感知损失保证高层语义特征的一致性这个组合在图像复原任务里几乎是标配。训练时patch_size我习惯取128或256配合梯度累积可以有效缓解显存压力。6.3 效果验证对比修复前后的PSNR/SSIM与肉眼回归微调完成后在保留的测试集上计算PSNR和SSIM和微调前的模型做对比看数值是否提升。但我始终强调数值提升不代表视觉效果提升最后的验收标准还是回归到第2.3节说的三个肉眼检查点纹理是否自然、边缘有无振铃、颜色是否符合常识。我会把修复前后的图并排放大到100%对比自己先看一遍再把图发给同事看一眼。这个习惯救过我很多次因为有些模型跑分漂亮但纹理细节已经失真到不能商用。走完这个方向后我最大的感触是老照片修复系统的难点从来不在某一处而是每个环节的误差都会累加最后全部显现在一张脸上。所谓“玄学”多数时候只是某个预处理细节没对齐而已。做这个项目耐心比显卡重要记录比跑分重要。希望帮到你。本文还有配套的精品资源点击获取
