简介面向情感识别与多模态生理信号处理的研究者、开发者这份压缩包提供了一套从原始数据到模型验证的完整项目方案覆盖多模态情感识别的典型流程。包内共39个文件约548MB包括MAT格式原始生理信号、pkl格式预处理数据集、Python脚本与Jupyter Notebook建模代码、jpg/png格式训练曲线与结果图以及Markdown实验报告目录按原始数据、预处理数据、代码模块分层组织便于对照学习。已有4135人学习下载说明其在课程设计、毕业课题和科研入门中具有较强参考价值。内容从数据采集与预处理着手详细展示了去噪、同步、特征提取如HRV、EDA并给出基于CNN、RNN等模型的训练、验证与情感分类实现报告与代码相互印证适合生物医学工程、人工智能、心理学方向的读者快速搭建基线系统并开展二次实验。1. 多模态生理信号情感识别为什么把EEG、ECG、GSR放一起反而翻车设想这样一个画面受试者坐在实验椅上头上是脑电电极、胸口贴心电、指尖夹着皮电传感器面前大屏幕轮流播放情绪视频。一个多模态生理信号情感识别系统要在这些时序数据里找到效价正/负和唤醒度平静/激动输出此刻用户处于什么情绪状态。这类方案用在人机交互、驾驶疲劳提醒、内容推荐和用户研究里比问卷打分客观比表情识别扛得住遮挡。可它的口碑很怪论文里融合准确率动辄七成以上自己复现时半数模型连基线都过不了。原因大多不在模型而在多模态融合算法的输入侧三路信号采样率不一样、响应速度不一样、标签切分的时刻不一样任何一处错位都足以让准确率掉回随机水平。这篇文章按数据到特征、融合到模型、避坑到报告的顺序把一套可复现的完整流程讲透。2. 数据与预处理选对公开数据集并按统一时钟把三路信号对齐2.1 公开数据集怎么选标注维度与信号深度先别急着写特征提取第一步是数据。做这个方向最常见的是下面几个公开数据集各有各的脾气。数据集典型信号情感标注适合干什么DEAP32导EEG 加上 ECG、EMG、GSR、PPG 与面部视频效价、唤醒、支配、喜欢1-9 评分及每秒连续标签多模态入门首选信号通道多社区参考代码最密WESAD腕部 BVP/EDA/体温胸部 ECG/EMG/EDA/体温压力、放松、娱乐、基线等离散状态可穿戴场景、压力监测离散标签简单最快出结果SEED62导EEG正、负、中性三类单模态 EEG 对比实验、跨被试泛化测试MAHNOB-HCI32导EEG 加 ECG、GSR、温度与视频连续效价与唤醒评分连续维度回归、标签时间对齐研究选型经验是只想快速跑通先用 WESAD 这种离散状态数据标签干净、通道少、不用做复杂的连续评分回归想贴近“多模态生理信号”这个方向DEAP 更合适脑电和外周信号都有实验范式成熟。容易出现的问题是看到数据集大就直接上结果预处理代码写了一周还没跑过一轮训练。我一般先看两个东西标注是离散类别还是连续维度各信号的时间戳是不是跟刺激事件对齐。第二个条件不满足后面所有融合都白搭。部分数据集需要按官方流程申请审批后再使用以官方页面要求为准。2.2 EEG、ECG、GSR 的清洗流程工频、漂移与伪迹拿到手的数据永远是脏的工频干扰、基线漂移、眨眼伪迹、运动伪迹混在一起。常见做法是分信号处理绝不共用同一个滤波参数。EEG 先带通再陷波from scipy import signal def pipeline_eeg(raw, fs128, notch50): # 0.5~40Hz 带通保留 theta/alpha/beta 主要情绪相关频带 b, a signal.butter(4, [0.5, 40], btypeband, fsfs) out signal.filtfilt(b, a, raw, axis-1) # 陷波滤除工频50Hz 常见60Hz 地区改参数 b2, a2 signal.iirnotch(notch, 30, fs) out signal.filtfilt(b2, a2, out, axis-1) return out带通要选 4 阶 butter太低压不住带外噪声太高引入相位畸变filtfilt 是零相位滤波避免滤波后波形整体偏移毁掉事件边界。陷波带宽 Q 设 30太窄滤不干净太宽把相邻频段的脑电能量也削掉了。ECG 的处理逻辑完全不同重点不是频段而是保住 R 波峰值import numpy as np def pipeline_ecg(raw, fs256): b, a signal.butter(2, [0.5, 40], btypeband, fsfs) ecg signal.filtfilt(b, a, raw, axis-1) # 找 R 波distance限制300ms内不能有两个心拍 from scipy.signal import find_peaks peaks, _ find_peaks(ecg, distanceint(0.3*fs), heightnp.percentile(ecg, 90)) return ecg, peaksECG 滤波只用 2 阶阶数高了 R 波会被削圆导致后续心拍间期RR interval计算全部偏大。height 用第 90 百分位做自适应阈值比固定 0.5mV 靠谱因为不同被试心电幅值差异很大。GSR 又是另一套逻辑它是慢信号重点是拆出两类成分def pipeline_gsr(raw, fs10): # GSR 本身是缓变信号0.5Hz 以下属于tonic基线 b, a signal.butter(2, 0.5, btypelow, fsfs) tonic signal.filtfilt(b, a, raw, axis-1) phasic raw - tonic # 快速响应分量跟情绪唤醒强相关 return tonic, phasic严格做法是用 cvxEDA 做凸优化分解但教学级复现里 tonics/phasic 减法近似已经能跑后续要发表论文再换严格方法。GSR 采样率不用高公开数据集里 10Hz 甚至更低都够用强行重采样到 128Hz 只会制造虚假细节。2.3 切窗与标签对齐多模态统一处理的第一道关卡多模态统一处理首先要解决的从来不是模型是时间轴。三路信号各按各的时钟进计算机刺激事件也是独立时间戳不对齐就融合等于把三个不同故事拼成一个故事。切窗代码看着简单参数里全是坑def make_windows(timestamps, labels, fs128, win_len4, hop2, label_delay1): win_samples, hop_samples win_len * fs, hop * fs delay_samples int(label_delay * fs) windows, targets [], [] for start in range(0, len(timestamps) - win_samples, hop_samples): # 标签不取窗口中心而是取窗口起点之后 delay 秒 seg_label int(labels[start delay_samples]) windows.append([start, start win_samples]) targets.append(seg_label) return windows, targetswin_len4s、hop2s 是常见起点组合窗口重叠能增大样本量但也让相邻样本高度相关所以训练集和测试集的切分必须在切窗之前按受试者完成否则后面全串味。label_delay1s 对应 GSR 这类慢响应的生理延迟具体数值建议查看数据集的记录文档或自己做一次峰值延迟统计。EEG/ECG 反应快得多标签延迟设 0 通常够。切窗的时候保留整段信号别在窗口内提前平均成一条曲线——特征提取应该在窗上做而不是在点上做。3. 特征提取与融合让“多模态融合算法”不止是拼接3.1 从三路信号里抽什么特征时域、频域与非线性特征设计的核心是“跟情绪状态相关”不是“把信号描述完整”。EEG 常用的差分熵和功率谱密度ECG 常用心率变异性GSR 常用 phasic 响应幅度。一个能跑通全流程的特征提取函数长这样def extract_all(eeg, ecg_peaks, gsr_phasic, fs128): from scipy.signal import welch feats [] # EEG四个频带的 log 功率情绪研究最常用 theta/alpha/beta for band in [(4,8),(8,13),(14,30),(30,45)]: f, pxx welch(eeg, fsfs, nperseg256) mask (fband[0]) (fband[1]) feats.append(np.log10(np.sum(pxx[mask]) 1e-9)) # ECG心率变异性RMSSD/SDNN 都是标准指标 rr np.diff(ecg_peaks) / fs * 1000 # 转毫秒 if len(rr) 1: rmssd np.sqrt(np.mean(np.diff(rr)**2)) sdnn np.std(rr) feats [rmssd, sdnn] # GSRphasic 均值教学简化版用均值论文请用SCR检测 feats.append(np.mean(np.abs(gsr_phasic))) return np.array(feats)EEG 的 welch 函数 nperseg256 在 128Hz 采样率下对应 2s 频谱分辨率适合 4s 窗口窗太短频谱糊窗太长丢掉时变信息。ECG 的 diff 会牺牲一个心拍窗口内少于两次完整心拍的样本建议直接丢弃。GSR 特征对噪声极其敏感手汗大的人在放松状态都能摸出高幅值所以后面归一化时必须按受试者做。3.2 特征级融合归一化顺序决定模型能不能收敛特征级融合是“多模态融合算法”里最常用的一类讲白就是三路特征拼成一个长向量。很多人栽在第一行代码先拼接再归一化结果 EEG 的 log 功率和 GSR 的均值差着三个数量级模型梯度基本被大数值特征绑架。正确顺序是先归一化再拼接而且归一化统计量只能从训练集算def zscore_on_train(train_feats, test_feats): # 只使用训练集的均值/方差防止数据泄漏 mean train_feats.mean(axis0) std train_feats.std(axis0) 1e-8 train_norm (train_feats - mean) / std test_norm (test_feats - mean) / std return train_norm, test_norm1e-8 是给方差做地板防止某些恒定的特征除出 inf。这个“只用训练集统计量”的习惯是从传统机器学习一路带过来的但到了深度学习的端到端模型里经常被忽略很多人直接在全部数据上算均值方差测试性能虚高换成跨被试验证立刻原形毕露。3.3 数据级与决策级两种同样值得试的替代路线很多多模态融合论文会把融合层次分成三类实际工程里我也按这三条路走。数据级融合是把三路信号重采样到同一时刻堆叠成多通道时序直接喂模型让模型自己学跨模态关联上限高但输入维度膨胀预处理复杂决策级融合是各训练一个单模态分类器输出概率再做加权平均模块化最好一个模态崩了别的还能兜底代价是学不到模态间的互信息。融合层次输入形态优点代价数据级原始信号多通道堆叠能学跨模态时序关联上限高数据和计算量最大对齐要求最严特征级手工特征拼接实现快可解释性强依赖特征设计的质量决策级各单模态预测概率鲁棒模块可替换丢失模态间相关性我现在做项目一般先上特征级拿到基线再补决策级做对照最后有时间才尝试数据级。如果要追灌顶效果对标多模态大模型的那种“文本图像”统一处理思路可以尝试在数据级上用卷积或 Transformer 直接吃多通道生理信号但生理信号只有几条通道而且采样率差异大收益往往不如把特征级做扎实来得快。4. 搭建多模态情感识别模型代码与逐段说明多模态模型代码复现死在两个地方输入张量形状不对标签维度不对。下面按能跑通的最小闭环来。这里不碰任何私有协议纯 PyTorch 加上公开数据集就能复现。4.1 第一步特征拼接 MLP最小可用方案把上一章得到的特征矩阵直接喂进 MLP这是整个多模态识别系统最稳的基线。先定义网络import torch import torch.nn as nn class FeatureMLP(nn.Module): def __init__(self, in_dim, num_classes3): super().__init__() self.net nn.Sequential( nn.Linear(in_dim, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.3), nn.Linear(128, 64), nn.ReLU(inplaceTrue), nn.Linear(64, num_classes), ) def forward(self, x): return self.net(x) # in_dim 来自特征维度比如 EEG 4频段 ECG 2 GSR 1 7 model FeatureMLP(in_dim7, num_classes3)训练循环同样保持最小def train_epoch(model, loader, opt, loss_fn): model.train() total, correct 0, 0 for x, y in loader: opt.zero_grad() logits model(x) loss loss_fn(logits, y) loss.backward() opt.step() total y.size(0) correct (logits.argmax(dim1) y).sum().item() return correct / totalhidden128/64 是常见配置数据量大可以加宽到 256/128数据量小反而要缩窄防止过拟合。Dropout 0.3 在特征量少时能明显压低训练集和测试集的差距。优化器用 Adamlr 从 1e-3 起步batch_size 32这三个参数在多数公开数据集上不需要大动。4.2 第二步用 LSTM 把时序结构装进模型特征拼接的最大损失是时间结构4 秒窗口里的“先紧张后放松”被压成了平均值。想要时序信息把窗口按时间步拆开每个时间步送一路特征LSTM 去学顺序关系class MultiModalLSTM(nn.Module): def __init__(self, in_channels, hidden64, num_layers2, num_classes3): super().__init__() self.lstm nn.LSTM(in_channels, hidden, num_layers, batch_firstTrue, dropout0.3) self.fc nn.Linear(hidden, num_classes) def forward(self, x): # x: (B, T, C)B 是批次T 是时间步C 是每步特征 out, _ self.lstm(x) out out[:, -1, :] # 取最后时刻的隐状态 return self.fc(out)LSTM 的 dropout 有个隐蔽特性单层网络里 dropout 不生效必须 num_layers2 才有意义所以这里用 2 层。想要轻量替代可以换成 GRU参数量少三分之一在短窗口生理信号上效果通常差不多。数据准备时保证每一批样本的 T 相同padding 会引入虚假的边界状态。4.3 训练策略与评估划分、早停与指标选择模型代码跑通只是第一步真正决定能不能复现的是划分策略。按受试者划分而不是按样本随机划分subjects list(range(1, 33)) # 32位受试者 test_subjects subjects[::5] # 每5位抽1位作为测试 train_subjects [s for s in subjects if s not in test_subjects]这块代码放在切窗之前执行否则同一受试者的重叠窗口会同时出现在训练和测试里。评估只看准确率不够至少补上加权 F1 和混淆矩阵。准确率容易被中性情绪占比很高的数据集带偏F1 能反映少数类是否被牺牲。5. 多模态情感识别避坑指南五个高频翻车点5.1 数据泄漏同一个人既进了训练集也进了测试集现象按样本随机划分训练集和测试集准确率冲到 90% 以上换成按受试者划分立刻掉到 60%。原因同一受试者的相邻 4 秒窗口高度相似模型其实在记忆被试身份没有学到情绪模式。解决所有划分操作在切窗之前按 subject id 完成。跨被试验证才是这个领域的通用做法。5.2 GSR 慢反应被当成即时响应现象加上 GSR 通道之后融合模型准确率不升反降单模 EEG 反而更好。原因GSR 的 phasic 峰值通常比刺激出现晚 1 到 3 秒标签时刻对应的是上一个刺激的情绪GSR 特征被错位标签教坏。解决在切窗时对 GSR 通道做 label_delay 补偿或者干脆把 GSR 特征的标签对齐到窗口末尾之后的事件时刻。先自己画一条“刺激时刻到响应峰值”的时间轴再设参数。5.3 把不同采样率直接插值硬对齐现象把 256Hz 的 ECG 线性插值到 128Hz融合效果变差R 波检测出的心拍间期乱跳。原因线性插值会把 R 波极值削平峰值位置偏移几个采样点RR 间期计算对峰值位置极其敏感。解决先在各信号的原始采样率上完成检测和特征提取再对特征时间序列做对齐不要拿原始信号做重采样拿到的是虚假的“高频”信号。5.4 类别不均衡下的准确率幻觉现象中性情绪占了七成样本模型全部预测中性也有 70% 准确率看起来还不错实际上一点用没有。原因准确率在长尾分布上没有区分度。情绪数据集天然不均衡平静状态总是比强烈情绪多。解决报告加权 F1 和混淆矩阵给训练损失加 class weights让少数类错分的代价更大。发布结论时把各类别的召回率分开写。5.5 用全量数据做归一化统计量现象离线 Z-Score 之后训练集和测试集都漂亮换一批被试立刻崩。原因归一化的均值和方差来自测试数据等于测试时偷看了答案。解决归一化统计量只能从训练集计算测试集只做变换不参与统计。把 zscore_on_train 写成固定的处理函数杜绝顺手在全量数据上算均值。6. 报告与验证把实验写成能复现、能说服人的结果6.1 报告里必须写清的三个“实验边界”带报告的价值在于别人能照着复现。三个边界必须写死数据边界数据集版本、包含哪些通道、排除了哪些被试和坏窗口、预处理边界滤波参数、窗口长度、步长、GSR 延迟补偿秒数、训练边界模型结构、优化器、学习率、batch size、随机种子、训练测试划分方式。我见过太多报告只写准确率不写划分方式导致同组人自己都复现不出自己的结果更别提前后版本对比。6.2 用消融实验证明“多模态比单模态强”光报一个融合后的 75% 准确率说服不了任何人得证明这 75% 是“融合”出来的不是单条信号本来就有的。消融实验按这个模板做实验准确率加权 F1单模态 EEG单模态 ECG单模态 GSR特征级融合 MLP数据级融合 LSTM如果融合结果和最好的单模态差不多说明多模态没有实际增益要检查是不是某一模态信号质量太差拖了后腿或是对齐仍然有误。真正的多模态增益应该表现为融合准确率高于任何一个单模态而不是等于最高那个。6.3 把误分类样本做成可视化的调试集报告写得再漂亮也抵不上一张误分类分布图。把跨被试测试集里预测错误的样本收集起来用 t-SNE 降维到二维按真实情绪着色再按预测情绪画边缘很快能看出模型把哪些类别互相推搡。我常遇到的规律是“高唤醒负效价”和“低唤醒负效价”之间的界线最模糊因为两者的 GSR 幅值分布高度重叠。这些样本多半对应坏窗口或弱生理反应片段把它们单独列成调试集逐个看原始波形比盲目加网络层数有效得多。现在我养成的习惯是每次实验前先画一条“刺激时刻到三路信号响应时刻”的时间轴确认每一路信号在哪一秒开始响应、标签在哪一秒有效再动任何模型代码。这个习惯帮我在报告阶段省下大量返工时间也让实验结果经得起别人复现。希望帮到你。本文还有配套的精品资源点击获取
