简介这份资源是用 Caffe 与 C 复现 DeepMind AlphaZero 算法的工程实现面向具备一定深度学习与 C 基础、希望深入理解强化学习自对弈机制的开发者与研究者。作者尽量遵循原论文思路将核心算法模板化并与具体游戏规则解耦理论上可迁移到围棋、国际象棋等任意棋类受算力限制实际提供了井字棋与四连线两个可变棋盘尺寸的示例。压缩包共 23 个文件约 1.04MB包含 C 头文件与源文件、Caffe 网络 prototxt 配置、已训练 caffemodel 权重、批处理脚本及说明文档覆盖从网络定义、训练到测试的完整流程。目前已有 201 人学习。读者可借此掌握 AlphaZero 的 MCTS 与神经网络结合方式、Caffe 模型配置方法并参考训练曲线与目录结构快速搭建自己的自对弈实验环境。1. 用 Caffe 和 C 复刻 AlphaZero一条被低估的落地路径如果你手上只有 Caffe 这套老框架却想跑通 AlphaZero 这类自对弈强化学习系统第一反应大概是「不可能」——毕竟现在谈 AlphaZero默认都是 PyTorch 或 JAX 配 GPU 集群。但真实情况是AlphaZero 的核心并不依赖某个特定框架它依赖的是三件事一个能输出策略和价值的神经网络、一套蒙特卡洛树搜索MCTS、一个自我对弈的数据回环。Caffe 完全能承担第一件事C 则天然适合后两件事的性能要求。这篇文章讲的就是怎么用 Caffe 做推理后端、用 C 写 MCTS 和自对弈循环把 AlphaZero 的算法骨架搭起来。适合有 C 基础、熟悉 Caffe 基本用法、想理解 AlphaZero 内部机制而不是调包的工程师。读完你能得到一个可编译、可自对弈、可训练的最小系统而不是一份论文复述。2. AlphaZero 的三个组件与 Caffe 的适配边界2.1 为什么选 Caffe 而不是换框架先说清楚选型理由否则后面每一步都会有人问「为什么不直接用 LibTorch」。Caffe 的优势在于它的 C 接口极其干净caffe::Net加载模型后一次Forward就是一次推理没有 Python GIL没有动态图开销。AlphaZero 的 MCTS 在每一步要调用成百上千次网络推理推理延迟直接决定自对弈速度。Caffe 的静态图 BLAS 后端在这个场景下反而比动态图框架更稳。但 Caffe 的边界也很明确它只做推理和训练不做自动微分之外的动态控制流。AlphaZero 的 MCTS 需要根据网络输出动态展开树这部分必须自己用 C 写。所以分工是Caffe 负责「给定棋盘状态输出策略向量和胜率标量」C 负责「用这个输出驱动搜索、生成训练数据、回填训练」。还有一个现实约束Caffe 的 protobuf 定义和 LMDB 数据层对 AlphaZero 这种「数据由自己生成」的场景不太友好。常见做法是绕过 Caffe 的 DataLayer直接用 C 把自对弈产生的(state, policy, value)三元组写进内存或二进制文件训练时再用自定义的 Python 或 C 数据层喂进去。这一步是整条链路里最容易翻车的地方后面避坑章节会细说。2.2 网络结构双头输出怎么在 Caffe 里定义AlphaZero 的网络是双头结构共享的卷积主干分出 policy head 和 value head。在 Caffe 里用 prototxt 定义时关键是在某个卷积层之后用两个独立的InnerProduct或Convolution分支最后各自接Softmax和TanH。以一个简化版 9x9 棋盘为例输入是N x C x 9 x 9C 是特征平面数比如 4己方棋子、对方棋子、最后一手位置、当前玩家颜色。主干用 3 到 5 个ConvolutionBatchNormReLU然后分叉# 主干最后一个卷积层 layer { name: trunk type: Convolution bottom: input top: trunk convolution_param { num_output: 64 kernel_size: 3 pad: 1 } } # policy head layer { name: policy_conv type: Convolution bottom: trunk top: policy_conv convolution_param { num_output: 2 kernel_size: 1 } } layer { name: policy_fc type: InnerProduct bottom: policy_conv top: policy inner_product_param { num_output: 82 # 9*9 1 个 pass 动作 } } layer { name: policy_softmax type: Softmax bottom: policy top: policy_prob } # value head layer { name: value_conv type: Convolution bottom: trunk top: value_conv convolution_param { num_output: 1 kernel_size: 1 } } layer { name: value_fc type: InnerProduct bottom: value_conv top: value_fc inner_product_param { num_output: 64 } } layer { name: value_tanh type: TanH bottom: value_fc top: value }逻辑说明policy_conv用 1x1 卷积把通道压到 2再展平接全连接输出 82 维 logits经 Softmax 得到动作概率。value_conv同样 1x1 卷积压到 1 通道展平后接一个 64 维全连接再 TanH输出 [-1, 1] 的胜率估计。参数上num_output和棋盘大小强相关9x9 是 8219x19 就是 362。kernel_size主干用 3 是 AlphaZero 原论文的设定别随意改成 5会显著增加推理时间而收益不明显。2.3 C 侧加载 Caffe 模型并做一次推理Caffe 的 C 推理入口在caffe/net.hpp。下面是一个最小可编译的推理封装假设你已经编译好 Caffe 的 libcaffe.so 并配好 include 路径。#include caffe/caffe.hpp #include opencv2/opencv.hpp #include memory #include vector class AlphaZeroNet { public: AlphaZeroNet(const std::string proto, const std::string weights, bool use_gpu) { caffe::Caffe::set_mode(use_gpu ? caffe::Caffe::GPU : caffe::Caffe::CPU); net_.reset(new caffe::Netfloat(proto, caffe::TEST)); net_-CopyTrainedLayersFrom(weights); // 缓存输入 blob 指针避免每次 Forward 都按名字查找 input_blob_ net_-input_blobs()[0]; input_blob_-Reshape(1, kChannels, kBoardSize, kBoardSize); } // 输入: 扁平化的 float 数组, 长度 kChannels * kBoardSize * kBoardSize // 输出: policy 概率 (长度 kNumActions), value 标量 void Predict(const std::vectorfloat input, std::vectorfloat* policy, float* value) { float* data input_blob_-mutable_cpu_data(); std::copy(input.begin(), input.end(), data); net_-ForwardPrefilled(); // 单次前向 const auto policy_blob net_-blob_by_name(policy_prob); const float* p policy_blob-cpu_data(); policy-assign(p, p policy_blob-count()); const auto value_blob net_-blob_by_name(value); *value value_blob-cpu_data()[0]; } private: std::shared_ptrcaffe::Netfloat net_; caffe::Blobfloat* input_blob_; static constexpr int kChannels 4; static constexpr int kBoardSize 9; static constexpr int kNumActions 82; };逻辑说明构造函数里Reshape是必须的因为 prototxt 里通常写的是batch_size: 1但输入尺寸可能留空。ForwardPrefilled比Forward少一次 reshape 检查在固定输入尺寸下更快。参数上kChannels要和 prototxt 输入层一致kNumActions要和 policy 输出维度一致这两个数字对不上会在blob_by_name时直接段错误不是抛异常是段错误——这是 Caffe C 接口最坑的地方之一。3. 用 C 写 MCTS从选择到回传的完整实现3.1 MCTS 的四个阶段与 AlphaZero 的改动标准 MCTS 是选择、扩展、模拟、回传四步。AlphaZero 去掉了随机模拟用网络输出的 value 直接替代 rollout这是它样本效率高的关键。具体来说选择阶段用 PUCT 公式U(s,a) c_puct * P(s,a) * sqrt(sum(N(s,b))) / (1 N(s,a))其中P(s,a)来自网络 policy 输出N是访问计数。扩展阶段只展开一个叶子节点把网络输出的 policy 作为先验概率填进去。回传阶段把网络输出的 value 沿路径反向传播注意交替取负因为棋盘是零和博弈。C 实现时树节点用结构体数组比指针链表快因为自对弈会产生大量节点频繁 new/delete 是性能杀手。常见做法是用一个std::vectorNode预分配用索引代替指针。3.2 节点结构与 PUCT 选择的具体代码struct Node { int parent; // 父节点索引, -1 表示根 int action; // 从父节点到达此节点的动作 float prior; // 网络给出的先验概率 P(s,a) int visit_count; // N(s,a) float total_value; // W(s,a), 累计价值 float mean_value; // Q(s,a) W / N std::vectorint children; // 子节点索引 bool expanded; // 是否已展开 }; class MCTS { public: MCTS(AlphaZeroNet* net, float c_puct, int sims) : net_(net), c_puct_(c_puct), num_sims_(sims) {} // 返回动作概率分布, 长度 kNumActions std::vectorfloat Search(const GameState root_state) { nodes_.clear(); nodes_.push_back(Node{-1, -1, 0.f, 0, 0.f, 0.f, {}, false}); for (int i 0; i num_sims_; i) { Simulate(root_state); } // 用根节点子节点的访问次数做温度采样 std::vectorfloat probs(kNumActions, 0.f); int total 0; for (int idx : nodes_[0].children) { total nodes_[idx].visit_count; } for (int idx : nodes_[0].children) { probs[nodes_[idx].action] static_castfloat(nodes_[idx].visit_count) / total; } return probs; } private: void Simulate(const GameState root_state) { GameState state root_state; int node_idx 0; std::vectorint path; // 1. 选择: 沿 PUCT 最大方向走到叶子 while (nodes_[node_idx].expanded) { int best -1; float best_score -1e9f; float sqrt_parent std::sqrt( static_castfloat(nodes_[node_idx].visit_count 1)); for (int child : nodes_[node_idx].children) { const Node c nodes_[child]; float q c.visit_count 0 ? c.mean_value : 0.f; float u c_puct_ * c.prior * sqrt_parent / (1 c.visit_count); float score q u; if (score best_score) { best_score score; best child; } } path.push_back(best); state.Apply(nodes_[best].action); node_idx best; } // 2. 扩展 评估 std::vectorfloat input state.Encode(); std::vectorfloat policy; float value; net_-Predict(input, policy, value); // 3. 回传 float v value; for (int i path.size() - 1; i 0; --i) { Node n nodes_[path[i]]; n.visit_count 1; n.total_value v; n.mean_value n.total_value / n.visit_count; v -v; // 零和博弈, 交替取负 } nodes_[0].visit_count 1; // 展开当前叶子 ExpandNode(node_idx, state, policy); } void ExpandNode(int idx, const GameState state, const std::vectorfloat policy) { auto legal state.LegalActions(); for (int a : legal) { Node child; child.parent idx; child.action a; child.prior policy[a]; child.visit_count 0; child.total_value 0.f; child.mean_value 0.f; child.expanded false; nodes_.push_back(child); nodes_[idx].children.push_back(nodes_.size() - 1); } nodes_[idx].expanded true; } AlphaZeroNet* net_; float c_puct_; int num_sims_; std::vectorNode nodes_; };逻辑说明Simulate里选择阶段用sqrt(parent_visit 1)而不是sqrt(parent_visit)是为了避免根节点访问次数为 0 时除零。回传时v -v必须在循环内因为每一层的价值视角是交替的。ExpandNode里prior直接取网络 policy 对应动作的值没有做合法动作归一化——如果网络输出了非法动作的概率这里会保留但后续选择时非法动作不会出现在children里所以不影响正确性只是浪费了一点概率质量。参数上c_puct常用 1.0 到 5.0太小会过度探索太大会过早收敛到次优动作9x9 棋盘上 1.5 到 2.5 比较稳。3.3 自对弈循环与训练数据生成自对弈的核心是从空棋盘开始每步用 MCTS 得到动作分布按温度采样走子记录(state, mcts_policy, player)直到终局。终局后根据胜负给每个状态打上 value 标签。struct TrainingSample { std::vectorfloat state; std::vectorfloat policy; float value; }; std::vectorTrainingSample SelfPlayGame(AlphaZeroNet* net, MCTS* mcts, int max_moves) { GameState state; std::vectorTrainingSample samples; std::vectorint players; int move 0; while (!state.IsTerminal() move max_moves) { // 前 30 步用温度 1.0 探索, 之后用 0.1 接近贪心 float temp move 30 ? 1.0f : 0.1f; std::vectorfloat probs mcts-Search(state); // 温度采样 std::vectorfloat adjusted probs; for (auto p : adjusted) p std::pow(p, 1.0f / temp); float sum 0.f; for (float p : adjusted) sum p; for (auto p : adjusted) p / sum; int action SampleFrom(adjusted); TrainingSample s; s.state state.Encode(); s.policy probs; // 注意: 存的是未加温度的原始分布 samples.push_back(s); players.push_back(state.CurrentPlayer()); state.Apply(action); move; } // 回填 value float result state.Result(); // 1.0 先手胜, -1.0 后手胜, 0 平 for (size_t i 0; i samples.size(); i) { samples[i].value (players[i] 0) ? result : -result; } return samples; }逻辑说明温度只影响采样不影响存储的policy标签——存的是 MCTS 原始访问分布这是 AlphaZero 论文的设定因为训练目标是让网络逼近 MCTS 的搜索分布而不是加温度后的分布。players[i]记录每一步的当前玩家回填时根据视角取正负。参数上max_moves对 9x9 棋盘设 100 左右19x19 要设 500 以上。前 30 步用高温是经验值棋盘越大这个阈值应该越大。4. 训练回环把自对弈数据喂回 Caffe4.1 数据格式与 LMDB 的取舍Caffe 原生数据层读 LMDB 或 HDF5。AlphaZero 的样本是变长的state 是固定尺寸但 policy 和 value 是额外标签用 LMDB 需要自己序列化。常见做法是写一个自定义的 C 数据层直接从内存或二进制文件读绕过 LMDB。如果非要用 LMDB可以把 state、policy、value 拼成一个固定长度的 float 数组用Datum存。// 把 TrainingSample 序列化成 Datum caffe::Datum datum; datum.set_channels(1); datum.set_height(1); datum.set_width(sample.state.size() sample.policy.size() 1); datum.set_data(sample.state.data(), sample.state.size() * sizeof(float)); // 追加 policy 和 value std::string extra; extra.append(reinterpret_castconst char*(sample.policy.data()), sample.policy.size() * sizeof(float)); extra.append(reinterpret_castconst char*(sample.value), sizeof(float)); datum.set_label(0); // 占位 // 实际写入时把 extra 拼在 data 后面逻辑说明这种拼法很土但能跑通。更好的做法是自定义一个AlphaZeroDataLayer继承caffe::Layerfloat在Forward_cpu里直接解析二进制文件。参数上set_width要精确等于 state 长度加 policy 长度加 1算错会导致读取时越界。4.2 损失函数policy 交叉熵加 value 均方误差AlphaZero 的损失是L (z - v)^2 - π^T log(p) c||θ||^2。在 Caffe 里可以用SoftmaxWithLoss处理 policy用EuclideanLoss处理 value然后Eltwise相加。# policy 损失 layer { name: policy_loss type: SoftmaxWithLoss bottom: policy bottom: policy_target top: policy_loss } # value 损失 layer { name: value_loss type: EuclideanLoss bottom: value bottom: value_target top: value_loss } # 加权求和 layer { name: total_loss type: Eltwise bottom: policy_loss bottom: value_loss top: total_loss eltwise_param { operation: SUM } }逻辑说明SoftmaxWithLoss内部已经做了 log 和 softmax所以 policy 分支在训练时不要接Softmax层直接输出 logits。EuclideanLoss对 value 做均方误差。Eltwise的 SUM 是等权相加如果 policy 和 value 量级差太多可以给其中一个加Scale层调权重。参数上学习率用 SGD 时从 0.01 开始每 1000 步衰减 0.1这是 AlphaZero 论文的设定Caffe 里用Step或Poly策略都行。4.3 训练循环与模型热更新自对弈和训练要交替进行用当前模型自对弈生成一批数据训练几个 epoch更新权重再用新权重自对弈。Caffe 的Net在训练模式下可以ForwardBackward但自对弈需要的是推理模式。常见做法是维护两个Net实例一个TEST模式用于自对弈一个TRAIN模式用于训练训练完把权重从训练网络拷到推理网络。void TrainStep(caffe::Netfloat* train_net, caffe::Netfloat* infer_net, const std::vectorTrainingSample batch) { // 填充 train_net 的输入 blob auto* state_blob train_net-blob_by_name(state); auto* policy_blob train_net-blob_by_name(policy_target); auto* value_blob train_net-blob_by_name(value_target); for (size_t i 0; i batch.size(); i) { std::copy(batch[i].state.begin(), batch[i].state.end(), state_blob-mutable_cpu_data() i * batch[i].state.size()); std::copy(batch[i].policy.begin(), batch[i].policy.end(), policy_blob-mutable_cpu_data() i * batch[i].policy.size()); value_blob-mutable_cpu_data()[i] batch[i].value; } train_net-ForwardBackward(); // 应用梯度 auto* solver /* 你的 solver 指针 */; solver-ApplyUpdate(); // 同步权重到推理网络 infer_net-CopyTrainedLayersFrom(train_net-params()); }逻辑说明CopyTrainedLayersFrom接受的是Net的params()不是文件路径这是 Caffe C 接口里比较少人知道的用法。参数上batch size 对 9x9 棋盘可以设 64 到 12819x19 因为显存限制通常设 16 到 32。同步权重这一步不能省否则自对弈用的还是旧模型训练和推理会脱节。5. 避坑与排查Caffe C 做 AlphaZero 的五个血泪教训5.1 现象推理结果每次都不一样但输入没变原因Caffe 的Net在TEST模式下如果 prototxt 里有Dropout层且没设phase: TEST会继续随机丢弃。AlphaZero 的网络通常不加 Dropout但如果你从别的模型抄了结构很容易带进来。解决检查 prototxt 里所有Dropout层确保有include { phase: TEST }或者直接删掉。另外BatchNorm在TEST模式下用的是滑动平均如果训练时没更新滑动平均推理结果也会飘。5.2 现象MCTS 搜索很慢一步要几秒原因每次Simulate都调用net_-ForwardPrefilled()但 Caffe 的ForwardPrefilled内部会做 blob 的 reshape 检查即使尺寸没变也有开销。更严重的是如果输入 blob 的Reshape在循环里被反复调用会触发内存重分配。解决把Reshape提到构造函数里只调一次。ForwardPrefilled换成Forward并传空 vector 也行但ForwardPrefilled更快。另外MCTS 的nodes_用reserve预分配避免push_back触发扩容。5.3 现象训练 loss 不降policy 输出全是均匀分布原因policy target 存的是 MCTS 访问分布但如果 MCTS 的num_sims_太小比如小于 50访问分布本身就很接近均匀网络学不到东西。另一个可能是SoftmaxWithLoss的输入接了Softmax导致做了两次 softmax。解决num_sims_至少设 2009x9 棋盘上 400 到 800 比较合适。检查 prototxt训练时 policy 分支的最后一层应该是InnerProduct输出 logits不要接Softmax。5.4 现象自对弈到一半程序崩溃无异常信息原因Caffe 的blob_by_name在名字不存在时返回空指针解引用直接段错误。常见于 prototxt 改了层名但 C 代码没同步或者输入 blob 的尺寸和Reshape的参数不一致。解决在blob_by_name之后加空指针检查至少打印一条错误日志。输入尺寸用input_blob_-shape()打印出来和预期对比。Caffe 的 C 接口不做边界检查所有检查都得自己写。5.5 现象训练几个 epoch 后 value 输出饱和在 -1 或 1原因TanH在输入绝对值大于 3 时梯度接近 0如果 value 的 target 一直是 -1 或 1网络会很快饱和。AlphaZero 的 value target 是终局结果只有 -1、0、1 三种值饱和是常见问题。解决在 value 分支的TanH之前加一个Scale层把输入缩小比如scale: 0.5。或者改用Sigmoid输出 [0,1] 再线性映射到 [-1,1]梯度性质更好。另一个做法是给 value loss 加权重衰减防止输出过大。6. 进阶技巧用温度调度和树复用把自对弈速度提上去前面跑通的是最小系统但真要让它在 9x9 棋盘上达到可用的棋力还得处理两个工程问题温度调度和树复用。温度调度方面AlphaZero 论文用的是前 30 步温度 1.0、之后 0.1但这个阈值对 9x9 偏大。我的经验是前 15 步用 1.015 到 30 步用 0.5之后用 0.1。这样开局探索充分中盘开始收敛。实现上就是把SelfPlayGame里的temp计算改成三段float temp; if (move 15) temp 1.0f; else if (move 30) temp 0.5f; else temp 0.1f;树复用是另一个大头。自对弈时下一步的根节点其实就是上一步选中动作对应的子树。如果每步都重建整棵树浪费了大量已经搜索过的信息。做法是在Search返回动作后把选中子节点提升为新的根保留其子树其他节点丢弃。void AdvanceRoot(int action) { int new_root -1; for (int child : nodes_[0].children) { if (nodes_[child].action action) { new_root child; break; } } if (new_root -1) return; // 动作不在树里, 重建 // 把 new_root 的子树搬到新数组, 重新索引 std::vectorNode new_nodes; std::functionint(int) relocate [](int old_idx) - int { Node n nodes_[old_idx]; n.parent -1; // 临时 new_nodes.push_back(n); int new_idx new_nodes.size() - 1; new_nodes[new_idx].children.clear(); for (int c : nodes_[old_idx].children) { int nc relocate(c); new_nodes[new_idx].children.push_back(nc); new_nodes[nc].parent new_idx; } return new_idx; }; relocate(new_root); nodes_ std::move(new_nodes); }这段递归搬迁在树很深时会有栈开销实际用的时候可以改成迭代加显式栈。参数上树复用只在num_sims_较大比如 400 以上时收益明显num_sims_小于 100 时重建和复用的差距不大。还有一个验证技巧拿训练好的模型和随机策略对弈 100 局胜率应该接近 100%。如果只有 80%说明 MCTS 的c_puct或num_sims_有问题。再拿它和纯 MCTS不用网络随机 rollout对弈胜率应该在 70% 以上否则网络没学到有效策略。这两个基线测试比看 loss 曲线靠谱得多。我自己踩过最深的坑是忘了在回传时交替取负结果训练了三天 loss 一直在 0.7 附近晃查了两天才发现是 value 的符号错了。从那以后我养成了一个习惯任何涉及零和博弈的代码先写一个单元测试用固定棋盘验证回传后的mean_value符号是否符合直觉。希望帮到你。本文还有配套的精品资源点击获取
