简介提供一套基于贝叶斯优化卷积神经网络与长短期记忆网络CNN-LSTM回归预测的Matlab完整源码及配套数据兼容Matlab2020b及以上运行环境。模型采用多输入单输出结构贝叶斯优化算法自动调优学习率、隐含层节点数及正则化参数避免手工反复试参尤其适合时序回归预测场景的科研验证与工程参考。资源压缩包体积仅37KB共5个文件含4个m脚本和1个xlsx数据文件脚本覆盖数据载入、参数初始化、贝叶斯优化寻优、CNN-LSTM模型构建、训练预测以及R2、MAE、MSE、RMSE、MAPE等评价指标计算数据文件提供了可直接运行测试的示例数据集。目前已有3370人学习下载。代码结构清晰、注释完善用户只需准备同类格式的xlsx数据即可快速迁移至自有数据集对于希望掌握CNN-LSTM优化建模方法的研究人员与学生这是一份高效、可直接复用的开源参考实现。1. 超参数组合指数级膨胀贝叶斯优化让CNN-LSTM回归调参不再靠运气CNN-LSTM常用于时间序列回归预测网络本身不算深真正拦住结果的是超参数组合卷积核个数、卷积核长度、LSTM隐藏单元数、初始学习率、Dropout率还有批次大小。网格搜索在这些维度上呈指数级膨胀而深度学习每次试验训练成本又高大量项目最终停在默认参数附近。贝叶斯优化把每次训练当作高成本实验用高斯过程对试验历史建模再借助采集函数推荐下一个参数点。它选中的不是随机点而是最可能低于当前最优值、又能降低模型不确定性的组合因此通常用少一个数量级的试验收敛到可用结果。以下内容按网络搭建、超参数空间设计、目标函数与bayesopt主流程展开最后给出验证手段。起点假设是你对Matlab的trainNetwork和sequenceInputLayer已经有基本使用经验。2. CNN-LSTM回归预测的网络结构与Matlab层定义2.1 卷积特征抽取与LSTM时序记忆在回归预测中的分工回归预测区别于分类的地方在于目标值是连续标量输出层只需一个神经元配合regressionLayer。CNN-LSTM的常见做法是一维卷积沿时间轴滑动提取局部时间窗口内的特征模式池化层降低序列长度缩减后续LSTM的计算量LSTM把压缩后的特征按时间顺序继续编码保留对回看窗口之外信息的短期记忆。最后一个时间步的隐藏状态经全连接层映射为预测值OutputMode设为last。我把sequenceInputLayer的Normalization默认设为zscore这是一个容易被忽略但直接改变回归收敛速度的细节。若你的数据已经是归一化后的比例值可以改为none否则训练初期梯度会被异常尺度放大。2.2 用Matlab深度学习工具箱搭出最小可训练结构以下是我在回归实验中常用的一段搭建代码inputSize 1; % 单变量序列多变量回归时改成特征维数 numFilters 32; % 一维卷积核个数 filterSize 5; % 卷积核沿时间轴的长度 lstmUnits 64; % LSTM隐藏单元数 layers [ sequenceInputLayer(inputSize, Normalization, zscore) convolution1dLayer(filterSize, numFilters, Padding, same) batchNormalizationLayer reluLayer maxPooling1dLayer(2, Stride, 2) lstmLayer(lstmUnits, OutputMode, last) fullyConnectedLayer(1) regressionLayer ];这段代码有两个位置会影响后续贝叶斯优化的效果。Padding, same保持卷积输出长度与输入一致池化层再将长度减半关键在于你要清楚序列被压缩了几倍否则LSTM实际看到的时间步数与你预期不符。OutputMode, last是回归预测的默认选择它让LSTM只返回最后时间步的隐状态避免输出维度与目标序列需要逐点对齐的麻烦。2.3 训练选项里三个直接决定回归收敛的参数options trainingOptions(adam, ... InitialLearnRate, 1e-3, ... MiniBatchSize, 32, ... MaxEpochs, 20, ... ValidationData, {XVal, YVal}, ... Verbose, false);InitialLearnRate对CNN-LSTM最为敏感偏大时LSTM的梯度容易振荡偏小时收敛过慢这也是贝叶斯优化中常做对数变换的原因。MiniBatchSize影响训练速度与梯度估计噪声太小则目标函数评估结果抖动大贝叶斯代理模型拟合出的曲面不平滑ValidationData必须是独立于训练集的一段序列不能与训练数据重叠否则返回的验证RMSE会被严重低估。下面把影响回归预测结果的主要超参数及其作用范围列出来不追求覆盖全部选项只列贝叶斯优化真正值得去搜的几个超参数建议搜索范围对回归预测的影响卷积核个数16 ~ 64影响局部特征容量太大易过拟合卷积核长度3 ~ 9决定局部感受野序列周期短则不宜过大LSTM隐藏单元数32 ~ 128控制时序记忆容量是计算瓶颈初始学习率1e-4 ~ 1e-2决定收敛速度与稳定性做对数变换Dropout率0.1 ~ 0.5缓解回归任务中常见的过拟合3. 贝叶斯优化超参数空间的工作原理与变量设计3.1 代理模型与采集函数贝叶斯优化如何选择下一个参数点网格搜索把所有参数组合像棋盘一样铺开每次试验只是被动返回一个损失值随机搜索虽然改善了覆盖面但同样没有利用历史结果。贝叶斯优化不同它在每轮试验后更新一个高斯过程代理模型用均值表示当前对目标函数的估计用方差表示不确定性再用采集函数把两者合并成一个分值。分值最高的点就是要试验的下一个超参数组合。Matlab里这类函数分布在统计和机器学习工具箱bayesopt就是主入口。它的默认采集函数是期望改进也就是挑选最有可能把当前最优验证RMSE进一步压低的点再叠加少量探索项防止局部收敛。这个默认值在CNN-LSTM这类代价昂贵的训练任务里是合理的实际使用中我很少改动。3.2 optimizableVariable定义哪些参数需要做整数、实数或对数变换把超参数交给bayesopt前每个维度都要声明成optimizableVariable。整数类参数如卷积核个数需要Type,integer学习率这种跨度接近两个数量级的变量要加Transform,log。optimVars [ optimizableVariable(numFilters, [16 64], Type, integer) optimizableVariable(filterSize, [3 9], Type, integer) optimizableVariable(lstmUnits, [32 128], Type, integer) optimizableVariable(initialLearnRate, [1e-4 1e-2], Transform, log) optimizableVariable(dropout, [0.1 0.5]) ];Transform设为log后优化器在log空间均匀采样再映射回真实值能避免在1e-4到1e-2这个跨度中只被采样到少数几个点。dropout这类连续概率值使用默认的线性变换就行边界取值如0.1和0.5分别代表低正则化与高正则化中间值的间隔是均匀的。3.3 目标函数返回什么验证RMSE怎么算才公平bayesopt要求目标函数接收一个包含当前试验参数的optimizableVariable结构体并返回两个输出。第一个是待最小化的标量这里就用验证集上的RMSE第二个是约束违反量没有约束时返回[]。目标函数内部实际要做一次完整的trainNetwork所以它的耗时通常以分钟计这也决定了你不可能像调普通模型那样跑上百次试验。关键点在于验证集必须在优化开始前固定下来并且每一次试验都使用同一份数据划分。若每次试验临时重新划分验证集不同超参数的结果就不具备可比性代理模型的近似会反映数据切分的噪声而不是参数的好坏。bayesopt主程序中经常要配合调整的运行参数主要有这几个bayesopt选项常用设置在这里的作用MaxObjectiveEvaluations20 ~ 40最多训练试验次数MaxTime1800 ~ 7200秒全流程时间上限AcquisitionFunctionNameexpected-improvement-plus带探索的期望改进PlotFcn{plotMinObjective, plotObjectiveModel}实时观察曲线Verbose1输出运行信息4. 用bayesopt实现CNN-LSTM回归的完整Matlab流程4.1 完整源码结构数据准备、包装目标函数、主程序三段式% 目标函数参数结构体 - 训练网络 - 返回验证RMSE function rmse cnnLSTMBayesObj(params, XTrain, YTrain, XVal, YVal) inputSize size(XTrain{1}, 1); % 特征维数XTrain是cell数组 layers [ sequenceInputLayer(inputSize, Normalization, zscore) convolution1dLayer(params.filterSize, params.numFilters, ... Padding, same) batchNormalizationLayer reluLayer maxPooling1dLayer(2, Stride, 2) lstmLayer(params.lstmUnits, OutputMode, last) dropoutLayer(params.dropout) fullyConnectedLayer(1) regressionLayer ]; options trainingOptions(adam, ... MaxEpochs, 20, ... InitialLearnRate, params.initialLearnRate, ... MiniBatchSize, 32, ... ValidationData, {XVal, YVal}, ... Verbose, false); net trainNetwork(XTrain, YTrain, layers, options); YPred predict(net, XVal); rmse sqrt(mean((YPred - YVal).^2)); end目标函数只做三件事接参数、训练、返回RMSE不建议在里面添加画图或额外评估否则每次试验都会拖慢整体进程。params是bayesopt传入的结构体字段名要与optimizableVariable定义完全一致大小写不一致时Matlab会报错。验证集数据要预先用与训练集相同的均值和标准差归一化建议在主程序中完成一次不要再在目标函数里对XVal做单独的zscore。4.2 主程序加载数据、声明变量、执行贝叶斯优化data load(regressionDataset.mat); XTrain data.XTrain; YTrain data.YTrain; XVal data.XVal; YVal data.YVal; optimVars [ optimizableVariable(numFilters, [16 64], Type, integer) optimizableVariable(filterSize, [3 9], Type, integer) optimizableVariable(lstmUnits, [32 128], Type, integer) optimizableVariable(initialLearnRate, [1e-4 1e-2], Transform, log) optimizableVariable(dropout, [0.1 0.5]) ]; objFun (params) cnnLSTMBayesObj(params, XTrain, YTrain, XVal, YVal); results bayesopt(objFun, optimVars, ... MaxObjectiveEvaluations, 25, ... MaxTime, 60*60, ... Verbose, 1, ... AcquisitionFunctionName, expected-improvement-plus, ... PlotFcn, {plotMinObjective, plotObjectiveModel});MaxObjectiveEvaluations设为25是一个折中单次试验约一到两分钟时整个优化可控在半小时到一小时之间如果数据量更大建议用MaxTime来限制总时长。expected-improvement-plus相对于纯期望改进增加了防止陷入局部最优的机制目标函数噪声明显时表现更稳。PlotFcn会在优化过程中实时画出已评估点与代理模型的均值曲线方便判断是否仍在继续下降。4.3 从results中提取最优参数并重训最终模型best results.XAtMinObjective; bestParams.numFilters best.numFilters; bestParams.filterSize best.filterSize; bestParams.lstmUnits best.lstmUnits; bestParams.initialLearnRate best.initialLearnRate; bestParams.dropout best.dropout; % 用更长的训练轮次做最终模型 layers buildLayers(bestParams); options trainingOptions(adam, ... InitialLearnRate, bestParams.initialLearnRate, ... MiniBatchSize, 32, ... MaxEpochs, 60, ... ValidationData, {XVal, YVal}, ... Verbose, true); finalNet trainNetwork(XTrain, YTrain, layers, options);注意最终重训练时我通常会刻意提高MaxEpochs因为贝叶斯优化阶段为了控制总时长只跑了较短轮次此时最优参数在小步数下并不一定代表满训练的全局最优。做完上述步骤后还可以用predict在独立的测试集上做一次最终评估并记录与验证RMSE的差距作为数据一致性的参考。4.4 回归预测任务中容易踩的贝叶斯优化坑首先目标函数内部应固定随机种子否则同样的超参数两次试验结果不同贝叶斯代理模型会把随机差异当成参数效应导致优化曲线大幅抖动。常见做法是在目标函数开头用rng(0)重置生成器并连同主程序一起固定。其次不要为了早期跑得更快就盲目调小MiniBatchSize。过小的批大小会让验证RMSE波动加剧expected-improvement-plus的探索项常被噪声放大最后选出的参数可能只是恰好在某次低噪声试验里表现好。我的经验是当目标函数存在明显随机性时适度增加试验次数比提高单次训练精度更有效。提示如果优化中断bayesopt会保存上一次的检查点文件。你可以用resume(results)直接恢复运行避免已经烧掉的训练时长被浪费。5. 从一次优化到可信任的回归预测验证与落地的实用技巧bayesopt给出的最优结果本质上是“在该验证划分、该随机种子条件下”的最优不代表换一版数据仍是最优。我会用两个小步骤来验证结果是否值得投产。5.1 多种子重复试验计算均值和标准差rmseList zeros(5, 1); for k 1:5 rng(k); net trainNetwork(XTrain, YTrain, layers, options); YPred predict(net, XTest); rmseList(k) sqrt(mean((YPred - YTest).^2)); end disp([mean(rmseList), std(rmseList)]);均值代表模型在这个超参数组合下的期望表现标准差反映其对初始化噪声的敏感程度。若标准差接近均值的一半说明参数区域处于不稳定边界建议在results里取排在前几名的组合而不是只认XAtMinObjective。5.2 保存最终模型与归一化参数save(finalCnnLstm.mat, finalNet, bestParams, trainMu, trainSigma);trainMu与trainSigma是训练前zscore归一化使用的均值和标准差。部署预测时用它们归一化新输入保证与训练阶段的数据分布一致这是回归预测落地比网络结构更容易被忽略的一环。预测完成后还要把输出反归一化还原到原始量纲否则生产环境里会看到一个明显偏离实际数值的预测区间。补充一个判断收敛的技巧观察plotObjectiveModel图像中代理模型的不确定区间宽度。当最优参数周围的不确定性明显小于其他区域时再增加试验次数提升很小如果整个曲线仍在快速变化则可以把MaxObjectiveEvaluations从25提高到40再跑一轮。贝叶斯优化的价值在于用最小的训练次数找到可信的参数区域而不是替你把所有超参数组合全部跑完。本文还有配套的精品资源点击获取
