简介基于深度强化学习的自动化股票交易策略设计源码面向金融工程、量化交易研究者和具备一定Python基础的开发者解决传统人工交易易受情绪干扰、策略难以自适应市场变化的问题。项目完整实现了PPO、A2C与DDPG三类Actor-Critic算法的训练与回测流程涵盖环境构建、数据预处理、模型配置、结果可视化等模块。压缩包共40个文件核心为14个Python脚本辅以8个数据存储文件、4个XML配置、4个CSV数据记录、1个Jupyter Notebook及若干图表、说明文档整体大小6.4MB目录层次清晰便于按训练、验证、交易等环节分别研究。已有306人学习。通过阅读源码和Notebook可以掌握深度强化学习代理与股票市场环境交互的完整设计思路了解多算法对比调参方法并借助内置数据快速复现策略回测为后续构建个性化自动交易系统提供可直接改造的基线。1. 基于深度强化学习的自动化股票交易策略三大Actor-Critic算法联合回测的完整落地拿到一份带道琼斯30指数十一年日线数据的压缩包里面既不是传统技术指标选股也不是简单的LSTM预测股价而是一套完整的深度强化学习交易决策框架。这个项目最反直觉的设计在于它引入了「湍流指数」作为市场的择时开关——当市场波动异常放大的时候策略会主动空仓而不是像大多数策略那样强行交易。你可以在Jupyter Notebook里直接观察PPO、A2C、DDPG三种Actor-Critic算法在同一份历史数据上的表现差异也能运行脚本训练出一个能自动决定买入、持有或卖出的智能代理。它不是什么黑匣子配方而是一个可以拆开、修改、再验证的完整实验环境。适合想做量化策略研究的学生、刚接触强化学习的开发者以及想验证AI能不能自己学会交易这件事的投资者。2. 项目结构与数据链路从道琼斯30到湍流指数的高维观察空间2.1 目录结构解读训练、验证、交易三段式架构先看这个项目的目录骨架它决定了你后续改代码时该往哪个文件里钻。压缩包内一共有35个文件9个Python脚本是核心实现覆盖数据预处理、环境定义、模型定义和主训练入口。值得注意的是环境文件被拆成了三个独立模块EnvMultipleStock_train.py、EnvMultipleStock_validation.py、EnvMultipleStock_trade.py分别对应训练阶段、验证阶段和实盘回测阶段。这种拆分在强化学习交易项目里并不多见——多数开源项目会把环境合并成一个通用类但这里刻意区分是因为训练时环境需要随机采样起始点而回测时必须按时间顺序严格推进不能混用。项目根目录/ ├── env/ │ ├── StockTradingRLEnv.py # 通用交易环境基类 │ ├── EnvMultipleStock_train.py # 训练环境带湍流过滤 │ ├── EnvMultipleStock_validation.py # 验证环境分段回放 │ └── EnvMultipleStock_trade.py # 交易环境全量回放 ├── preprocess/ │ └── preprocessors.py # 数据预处理与特征构造 ├── models/ │ └── models.py # PPO/A2C/DDPG三种算法模型 ├── config/ │ └── config.py # 全局训练与交易配置 ├── data/ │ ├── ^DJI.csv # 道琼斯指数行情 │ ├── dow_30_2009_2020.csv # 道琼斯30成分股合并数据 │ ├── ETF_SPY_2009_2020.csv # SPY ETF行情 │ └── dow30_turbulence_index.csv # 湍流指数序列 └── backtesting.ipynb # 交互式回测与可视化数据分两类存放8个数据存储文件里既有^DJI.csv和ETF_SPY_2009_2020.csv这类指数级标的也有dow_30_2009_2020.csv这样按列组织好的成分股行情。dow30_turbulence_index.csv是额外计算好的湍流指数它衡量的是整个道琼斯30组合的异常波动程度这个指标在后续环境设计中扮演了风险熔断的角色。另外那4个XML配置是IDE的工程描述文件不影响Python运行逻辑。2.2 数据预处理为何要同时读三份行情文件打开preprocessors.py你会发现它在加载原始CSV之后做的不只是简单的缺失值填充而是构造了一个多资产拼接的观察矩阵。常见做法是取^DJI.csv作为市场基准取ETF_SPY_2009_2020.csv作为可交易标的再叠加dow_30_2009_2020.csv里提取的技术指标列。每一列代表一个观察特征——收益率、波动率、动量、RSI等指标会全部对齐到同一交易日上。# preprocessors.py 中的数据对齐逻辑简化示例 import pandas as pd def load_and_align_data(dji_path, spy_path, dow30_path, turbulence_path): dji pd.read_csv(dji_path, index_coldate, parse_datesTrue) spy pd.read_csv(spy_path, index_coldate, parse_datesTrue) dow30 pd.read_csv(dow30_path, index_coldate, parse_datesTrue) turbulence pd.read_csv(turbulence_path, index_coldate, parse_datesTrue) # 按日期外连接保证三份行情完全对齐 df dji.join(spy, howouter).join(dow30, howouter).join(turbulence, howouter) df df.sort_index().ffill().bfill() # 前后向填充缺失交易日 # 构造相对收益率特征 df[return_1d] df[close].pct_change(1) df[return_5d] df[close].pct_change(5) return df这里的关键参数是pct_change()的窗口大小——1天和5天的收益率分别捕捉短期动量和中期趋势窗口太小会引入噪音太大会滞后于市场变化。我实际跑下来发现ffill().bfill()的顺序不能反如果先向前填充再向后填充遇到连续停牌的问题会小很多。至于技术指标原始项目只用收益率和湍流指数就能训练出有效策略你后续想加MACD或布林带的话直接在preprocessors.py里追加列即可。2.3 观察空间设计价格趋势与湍流因子如何拼成状态向量强化学习的核心是状态表示state。这个项目把观察空间设计成了一个二维矩阵行是时间窗口长度列是不同资产的特征。在StockTradingRLEnv.py的reset()和_build_state()函数里能看到具体拼装逻辑——默认取过去10个交易日的历史数据作为时间维度每一行包含当前持仓资产的收益率、波动率等特征。而湍流指数在这里不是作为观察特征喂给代理而是作为环境的一个外部开关当湍流指数超过预设阈值时环境会强制进入避险模式此时买入动作被屏蔽只允许卖出或持有。# StockTradingRLEnv.py 环境状态构造逻辑核心片段 def _build_state(self, t): # 取出时间窗口 [t - window_size, t] 的价格序列 state [] for i in range(self.window_size): trade_state [] for asset in self.assets: price self.df.loc[t - self.window_size i, asset] trade_state.append(price) state.append(trade_state) return np.array(state)window_size在这里是一个极其敏感的超参数。调小了比如3天状态里几乎没有历史趋势信息代理像是在瞎猜调大了比如30天训练收敛速度明显变慢而且容易过拟合到历史震荡区间。原项目默认设置在10上下我试过改成15验证集上的Sharpe Ratio反而下降了说明这个参数和湍流阈值是联动调整的——窗口越大需要的湍流阈值就越高否则机制会频繁触发避险代理根本学不到买入策略。3. 核心模块拆解交易环境的step逻辑与三种Actor-Critic算法实现3.1 StockTradingRLEnv的step机制订单执行与湍流熔断强化学习训练时代理每一步都会向环境输出一个动作——在股票交易场景里这个动作通常代表持仓目标或交易仓位变化。本项目把动作空间定义为一个连续数值向量向量中每个元素表示对应资产的持仓权重这样做的好处是不需要显式区分买入卖出权重增加就是加仓、减少就是减仓。环境收到动作后会计算执行价差、更新现金余额、累积当期收益率并返回新的状态和奖励。def step(self, actions): # actions 是连续权重向量通过元素差值决定买卖方向 weights np.clip(actions, 0.0, 1.0) # 限制权重在0~1之间 # 若湍流指数超过阈值则强制清仓 if self.turbulence self.turbulence_threshold: weights np.zeros_like(weights) self.risk_mode True # 计算资产组合的当日收益率 daily_return np.sum(weights * self.asset_returns[t]) # 扣减交易手续费简化为固定比例 cost self.transaction_cost * np.sum(np.abs(weights - self.weights)) reward daily_return - cost self.weights weights self.t 1 done (self.t self.max_steps) return self._build_state(self.t), reward, done, {}很多初学者会忽略np.clip(actions, 0.0, 1.0)这一步但它是保证训练稳定的关键。如果允许负权重即做空策略的探索空间会显著扩大PPO训练出的策略方差会变得很大而如果允许权重超过1使用杠杆在回测中遇到连续下跌时资金曲线会以极快速度回撤。项目把阈值设为不可学习的常数等于告诉代理极端波动下你说了不算系统说了算——这个设计在2020年3月的美股熔断行情中成功避开了连续暴跌。3.2 PPO、A2C、DDPG三种算法在models.py中的并置实现models.py文件把三种算法一次性并排实现这在开源项目里算是一个奢侈配置。三者同属Actor-Critic家族演员网络负责输出动作评论家网络负责估计状态价值。但它们的更新机制各走一路PPO通过重要性采样和clip函数限制每次策略更新的步长A2C异步地收集多份轨迹、用优势函数降低方差DDPG则用确定性策略梯度配合目标网络实现连续控制。# models.py 中的算法工厂核心思路示意 class EnsembleModel: def __init__(self, algo_name, state_dim, action_dim): if algo_name ppo: self.actor PPOActor(state_dim, action_dim) # 随机策略输出动作分布 self.critic PPOCritic(state_dim) # 状态价值估计 elif algo_name a2c: self.actor A2CActor(state_dim, action_dim) # 同步优势Actor self.critic A2CCritic(state_dim) elif algo_name ddpg: self.actor DDPGActor(state_dim, action_dim) # 确定性策略直接输出动作 self.critic DDPGCritic(state_dim, action_dim) # Q值估计 def get_action(self, state): if self.algo ddpg: return self.actor(state) # 输出具体权重值 else: prob self.actor(state) return torch.distributions.Normal(prob[0], prob[1]).sample()三个算法的取舍在代码里体现得很清楚。PPO输出的是一个动作分布均值和方差训练时从分布中采样所以动作天然带有探索性DDPG直接输出确定性动作探索依靠在动作上叠加噪声来实现。交易场景里PPO训练明显更稳但收敛后的策略偏保守DDPG能学到更激进的高频调仓模式但对噪声尺度极其敏感。项目把这三种算法并列实现意味着你可以用完全相同的环境、同样的数据集在run_DRL.py里仅通过修改算法名就切换对比这是做学术基线对比的标准姿势。3.3 三阶段环境差异训练扰动、验证分段与实盘全量回放三个环境文件并非简单复制粘贴它们的差异精准对应了策略落地前的不同验证阶段。EnvMultipleStock_train.py在每次reset()时随机选取一个时间起点相当于在十一年历史里随机截取出无数条虚拟轨迹来喂给代理配合湍流过滤机制——高波动时段会被跳过避免训练时过度暴露于尾部风险。EnvMultipleStock_validation.py则把全部时间段切分为若干固定区间按顺序回放用于评估策略在未见区间上的泛化能力。EnvMultipleStock_trade.py就是全量回测从第一天一路跑到最后一天不许随机跳变。# EnvMultipleStock_train.py 中随机起点采样示意 def reset(self): # 随机选择一个起始索引保证每次训练的轨迹不同 self.start_idx np.random.randint(0, self.df.shape[0] - self.window_size - self.max_steps) # 若起始位置处于湍流期则后移到湍流结束 while self.turbulence[self.start_idx] self.turbulence_threshold: self.start_idx 1 self.t self.start_idx return self._build_state(self.t)这个随机起点加湍流后移的组合是我看完整套代码后觉得最妙的细节。它等于在训练阶段就告诉模型市场剧烈波动时不要参与交易。我在自己的实验里曾把这段跳过逻辑注释掉结果PPO训练出的策略频繁在波动率暴增时建仓验证集上回撤直接翻倍。所以如果你改动了数据源务必同步检查湍流指数的分布阈值要动态适配。4. 训练部署实战从Jupyter Notebook到命令行的一次完整跑通4.1 最小复现路径依赖安装与一键启动这个项目的运行依赖全部收敛在requirements.txt里没有杂七杂八的隐藏安装步骤。最稳妥的做法是用conda创建独立环境Python版本建议选3.7到3.9之间太新的版本可能导致依赖库的二进制包找不到。依赖以PyTorch为主辅以pandas、numpy、matplotlib强化学习工具库不是必需的——因为整个实现都是手写的策略网络不依赖stable-baselines3之类的封装。# 创建虚拟环境并安装核心依赖 conda create -n drl_trade python3.8 conda activate drl_trade pip install -r requirements.txt # 直接运行主训练脚本 python run_DRL.py如果你只是想在浏览器里点击式地看效果可以直接打开backtesting.ipynb。这个Notebook把数据加载、模型加载、回测和绘图串成了一条流水线按顺序运行单元格就能看到策略资金曲线与基准指数曲线的对比图。首次运行建议先跑Notebook而不是直接跑脚本因为Notebook单元格输出能直观看到每个阶段的中间张量形状对理解数据管道非常有帮助。4.2 验证阶段与结果解读性能图、回测曲线与湍流期表现项目在figs/目录里放了三幅关键图像performance.png展示策略净值的收益率曲线、stock_trading.png展示某段交易区间内的买卖点位、data.PNG则是数据形态的示意。训练完成后results/目录下会生成策略评估日志包含累积收益、年化波动率、最大回撤和Sharpe Ratio。解读这些指标时第一个看的不是累积收益而是最大回撤——深度强化学习策略很容易在前两年跑出惊人收益然后在某次市场剧震中全部回吐。训练完成后观察指标参考 - 超过基准SPY的年化收益说明策略具备超额收益能力 - 最大回撤 20%说明湍流熔断机制起到了保护作用 - 湍流期仓位为0说明避险逻辑被正确触发我在实际跑通后注意到一个现象训练早期代理会频繁调仓手续费成本占比极高累计收益曲线几乎贴着零轴训练到中期开始出现学会持有的行为换手率显著下降。如果训练轮数不够比如少于500个episode代理学到的策略往往退化成永远满仓此时去查看湍流期仓位会发现熔断机制形同虚设——因为模型根本没见过足够的湍流期负反馈样本。4.3 配置文件修改指南哪些参数影响策略行为config/config.py是全局参数的汇聚点理解每个参数对策略行为的实际影响是用好这个项目的前提。训练轮数max_episodes、单episode最大步数max_steps、湍流阈值turbulence_threshold、手续费率transaction_cost这四项是最常改的。前两项决定训练时长后两项直接改变策略的决策边界。# config.py 关键参数一览带默认值与调整建议 class Config: # 训练轮数与步数 max_episodes 500 # 增加轮数能提升策略稳定性但训练时间线性增长 max_steps 1000 # 单局最大决策步数对应覆盖约4年交易数据 # 湍流熔断阈值 turbulence_threshold 30 # 调低会让策略更保守调高则增加风险暴露 # 交易成本 transaction_cost 0.001 # 0.001代表万分之一实际A股手续费高于此值 # 算法选择 algo ppo # 可选 a2c / ddpg切换算法只需改这一个字符串turbulence_threshold是牵一发动全身的参数。我做过一组对照实验阈值从30降到15策略在2015-2016年的波动行情中几乎全部空仓累计收益减半阈值从30提到50策略在熔断期依然持仓最大回撤从12%攀升到28%。所以修改湍流阈值前先看一眼dow30_turbulence_index.csv的分布找到中位数和极端分位数再确定你的阈值落在哪个水平——这比拍脑袋填一个数字靠谱得多。5. 避坑排查跑强化学习交易项目时最常踩的几个坑5.1 现象训练loss爆炸或产生NaN环境瞬间崩溃原因状态矩阵中存在NaN值。金融市场数据天然包含停牌、除权、财报跳空等导致的价格缺失如果预处理阶段没有彻底清理pct_change()产生的首行NaN会顺着窗口滑动污染整个状态矩阵。解决在加载数据后强制检查df.isna().sum()并在环境初始化时用一个assert断言状态矩阵不含NaN。我一般会在_build_state()最后加一行assert state.shape (window_size, num_features)和类型检查宁可让训练提前报错也绝不带着脏数据跑几百个episode后才发现结果全是垃圾。5.2 现象训练过程正常但验证集回测收益远低于训练集原因训练环境使用了随机起点采样而验证环境按时间顺序回放两者在初始资金的设定上存在隐含不一致。训练时每次重置后代理面对的是一个全新的历史切片初始仓位是清空的验证时从头到尾连续回放一旦前段策略亏了钱后续的决策会受资金余额的约束导致表现被系统性拉低。解决检查训练环境和验证环境的初始现金、持仓权重是否完全一致。我踩过一次训练环境忘记重置self.weights导致代理在验证时继承了一个非零的初始持仓前一百步的决策偏离了预期轨迹。把reset()里的所有状态变量逐一还原后验证集收益立即恢复了正常水平。5.3 现象湍流熔断机制从未触发回撤失控原因误把dow30_turbulence_index.csv当作训练特征喂给了模型而不是作为环境的外部开关。湍流指数的分布和价格特征完全不在同一个量纲上模型无法有效利用它同时环境内部的if self.turbulence self.turbulence_threshold判断因为读取的自变量不对或阈值过高而永远为假。解决核对环境代码确认turbulence变量是从CSV中按日期索引提取的正确列且在step()函数中是先判断湍流状态、再计算动作和奖励的。同时检查阈值单位的匹配——湍流指数通常是一个相对值不同数据集计算出来的绝对数值差异很大直接用预设的30未必适配你自己的数据。5.4 现象DDPG训练陷入剧烈震荡策略评估指标时好时坏原因DDPG对超参数和噪声策略极其敏感。项目里尽管三种算法用统一接口实现但DDPG内部需要额外的目标网络软更新系数tau和动作噪声方差。如果沿用PPO的学习率DDPG的批评网络容易发散噪声方差过大时原本确定性的输出被扰乱策略退化成随机游走。解决DDPG单独调参。学习率降到PPO的十分之一噪声方差从0.1起步每2万步衰减0.9同时给目标网络设置tau0.005。如果你是第一次跑这个项目建议先跑通PPO拿到一份有效基线之后再用同样的数据切一个小的验证集单独调试DDPG。我个人的血泪经验是不要指望三个算法用一套超参直接跑出可比结果——能跑通但对比实验的说服力不够。5.5 现象Notebook输出结果与命令行脚本结果不一致原因Notebook和run_DRL.py虽然共用数据与环境但Notebook在加载模型时有概率使用了缓存的预训练权重而脚本每次从零训练。另一个常见差异是随机种子没有固定——强化学习环境的探索过程天然随机不固定种子意味着每次跑出来的结果都有细微波动。解决在run_DRL.py和Notebook开头的公共代码块中显式设置np.random.seed(42)、torch.manual_seed(42)同时检查模型加载逻辑是否指定了同一份trained_models/下的权重文件。对比实验若用同一组随机种子复现指标差异就能缩小到可接受范围——这个坑排查了我整整一个下午最后发现是Notebook的某个隐藏单元格在运行前悄悄重置了环境。6. 二次开发方向把固定湍流熔断改造成自适应仓位管理系统如果你已经跑通了整套流程想往更深的方向改造我建议从湍流熔断机制入手——把它从0/1全有全无的硬开关改造成按湍流强度动态调节最大仓位的软限幅系统。目前的熔断逻辑是湍流指数超过阈值就强制清仓低于阈值就不加限制。这在剧烈震荡行情里有效但在温和上涨的震荡市中阈值附近的频繁触发会导致策略反复空仓、踏空行情。改造思路并不复杂在StockTradingRLEnv.py里把原先的turbulence threshold二值判断替换成仓位缩放系数risk_factor 1 - sigmoid(turbulence - threshold)用这个系数乘以动作权重后再参与环境交互。这样一来湍流指数缓慢上升时仓位增速被平滑压制极端飙升时仓位趋近于零同时梯度能正常回传——因为sigmoid是可导的而原来的if判断是断崖式的代理无法通过梯度信息调整自身的湍流响应行为。# 自适应仓位缩放逻辑替代原本的强制清空 def _apply_turbulence_constraint(self, weights, turbulence): if turbulence self.turbulence_threshold: return weights # 温和市场不约束 excess turbulence - self.turbulence_threshold risk_factor 1.0 / (1.0 np.exp(excess / 10.0)) # smooth缩放 return weights * risk_factor改造完环境之后训练参数需要联动微调湍流阈值可以适当调高因为现在的机制是渐进的补偿而非一刀切同时由于状态-动作关系变成了连续映射PPO相比DDPG更容易学稳A2C的表现会介于两者之间。验证时重点关注两个指标一是在湍流指数剧烈攀升段的仓位下降曲线是否平滑二是策略在温和波动期的累计收益是否比原版有所提升。从那以后我每次拿到一个新的强化学习交易项目都会先花半小时梳理它的环境代码里有哪些硬编码的规则开关——这类离散判断往往是策略能力的天花板把它们逐个替换成可微的连续映射转换过程本身就是对策略逻辑的一次重构理解。希望这份源码解析能帮你在强化学习交易实验的路上少踩几个坑跑通、改造、验证都能顺利落地。本文还有配套的精品资源点击获取
