一、基础知识1、数据每个数据集由一个个样本组成每个样本由一组称为特征的属性组成机器学习模型会根据这些属性进行预测预测的是一个特殊的属性它被称为标签2、模型3、目标函数定义模型的优劣程度的度量这些函数有时被称为损失函数。当任务在试图预测数值时最常见的损失函数是平方误差即预测值与实际值之差的平方。当试图解决分类问题时最常见的目标函数是最小化错误率即预测与实际情况不符的样本比例。当一个模型在训练集上表现良好但不能推广到测试集时这个模型被称为过拟合的。就像在现实生活中尽管模拟考试考得很好真正的考试不一定百发百中。4、优化算法当我们获得了一些数据源及其表示、一个模型和一个合适的损失函数接下来就需要一种算法它能够搜索出 最佳参数以最小化损失函数。大多流行的优化算法通常基于一种基本方法–梯度下降5、监督学习可以在“给定输入特征”的情况下预测标签回归是最简单的监督学习任务之一。当标签取任意数值时我们称之为回归问题此时的目标是生成一个模型使它的预测非常接近实际标签值分类二项分类、多项分类、层次分类、多标签分类“哪一个”的问题叫做分类问题。分类问题希望模型能够预 测样本属于哪个类别。常见损失函数被称为交叉熵搜索有时我们不仅仅希望输出一个类别或一个实值。在信息检索领域我们希望对一组项目进行排序推荐系统另一类与搜索和排名相关的问题是推荐系统它的目标是向特定用户进行“个性化” 推荐序列学习序列学习需要摄取输入序列或预测输出序 列或两者兼而有之6、无监督学习工作没有十分具体的目标就需要“自发”地去学习了。这类数据中不含有“目标”的机器学习问题通常被为无监督学习。7、强化学习机器学习开发与环境交互并采取行动。当环境可被完全观察到时强化学习问题被称为马尔可夫决策过程。当状态不依赖于之前的操作时我们称该问题为上下文赌博机。当没有状态只有一组最初未知回报的可用动作时这个问题就是经典的多臂赌博机。二、线性神经网络1、线性回归回归是能为一个或多个自变量与因变量之间关系建模的一类方法基本元素训练数据集(真实的数据集)、样本(每行数据)、标签(预测的目标)、特征(预测所依据的自变量)线性模型目标 权重1*特征1 权重2*特征2 偏置仿射变换通过加权和对特征进行线性变换并通过偏置项来进行平移损失函数量化目标的实际值与预测值之间的差距通常会选择非负数作为损失且数值越小表示损失越小完美预测时的损失为0解析解线性回归的解可以用一个公式简单地表达出来这类解叫作解析解随机梯度下降优化深度学习模型通过不断地在损失函数递减的方向上更新参数来降低误差梯度下降最简单的用法是计算损失函数关于模型参数的导数|B|表示每个小批量中的样本数η表示学习率。批量大小和学习率的值通常是手动预先指定而不是通过模型训练得到的。这些可以调整但不在训练过程中更新的参数称为超参数从零实现线性回归初始化随机设置w和b的初始值前向传播用当前参数计算预测值 ŷ Xw b计算损失比较预测值ŷ和真实值y的差异反向传播计算损失对w和b的梯度导数参数更新沿着梯度反方向调整w和b重复不断重复2-5步直到损失足够小步骤1、生成数据集2、读取数据集3、定义模型4、初始化模型参数5、定义损失函数6、定义优化算法7、训练2、softmax回归常用做分类问题三、多层感知机1、隐藏层克服线性模型的限制使其能处理更普遍的函数关系类型2、激活函数通过计算加权和并加上偏置来确定神经元是否应该被激活大多数激活函数都是非线性的ReLU函数给定元素xReLU函数被定义为该元素与0的最大值ReLU(x) max(x,0)sigmoid函数对于一个定义域在R中的输入sigmoid函数将输入变换为区间(0, 1)上的输出因此sigmoid通常称为挤压函数tanh函数与sigmoid函数类似tanh(双曲正切)函数也能将其输入压缩转换到区间(‐1, 1)上不同的是tanh函数关于坐标系原点中心对称3、多层感知机从零开始实现1、初始化模型参数2、激活函数3、模型4、损失函数5、训练4、模型选择、欠拟合和过拟合过拟合将模型在训练数据上拟合的比在潜在分布中更接近现象训练误差很低验证误差很高用于对抗过拟合的技术称为正则化权重衰减是最广泛使用的正则化的技术之一欠拟合指的是模型过于简单无法捕捉数据中潜在的基本规律或模式训练误差很高验证误差也很高训练误差和泛化误差训练误差模型在训练数据集上计算得到的误差泛化误差模型应用在同样从原始样本的分布中抽取的无限多数据样本时模型误差的 期望5、权重衰减通过在损失函数中添加一个惩罚项来抑制模型权重的大小从而防止过拟合通常也被称为L2正则化这项技术通过函数与零的距离来衡量函数的复杂度简单说它就是故意给模型“找点麻烦”不让它过于依赖某些特征6、暂退法暂退法通过在训练过程中随机地“关闭”网络中的一部分神经元来防止神经网络对某些特定的神经元过于依赖从而增强模型的鲁棒性和泛化能力鲁棒性就是指一个系统比如模型、程序、机器在遇到异常、干扰或不理想情况时能够保持稳定、正常工作的能力对于输入层p通常设置得较小如0.1或0.2因为我们需要保留大部分原始信息对于隐藏层p常用值是0.5对于输出层通常不使用暂退法7、前向传播按顺序从输入层到输出层计算和存储神经网络中每层的结果8、反向传播计算神经网络参数梯度的方法。简言之该方法根据微积分中的链式规则按相反的顺序从输出层到输入层遍历网络反向传播是一种高效计算神经网络中所有权重梯度的方法。它通过“链式法则”将最终预测的误差损失从输出层向输入层逐层反向传递从而揭示每个权重对总误差的“贡献度”梯度消失梯度信号变得极其微小导致网络前层的权重几乎无法更新学习停滞根本原因在于反向传播中的链式法则梯度爆炸梯度信号变得极其巨大导致权重更新幅度过大网络变得不稳定无法收敛根本原因在于反向传播中的链式法则参数初始化参数初始化是在开始训练神经网络之前为所有权重和偏置设置一个合适的初始值的过程。其根本目标是打破对称性并确保信号在前向传播和梯度在反向传播过程中能够稳定地流动从而避免梯度消失或爆炸使模型能够高效地开始学习9、环境和分布偏移分布偏移指的是模型训练时所依赖的数据分布与实际应用时遇到的数据分布不一致的现象协变量偏移输入特征的分布变了但输入到输出的映射关系条件概率没变标签偏移输出标签的分布变了但输出到输入的映射关系条件概率没变概念偏移输入到输出的映射关系概念本身变了四、深度学习计算1、层和块层层是进行特定数据变换的单个操作或一组操作。它通常包含一组权重参数和一个前向传播函数是基础建筑材料比如一块砖、一块木板、一块玻璃。它是最基本、不可再分的计算单元块块是一个比层更大、更复杂的单元它通过组合多个层以及其他块来形成一个具有特定功能的子网络。块本身也可以被视为一个“层”因为它也接受输入张量并返回输出张量是由多个层或其它块组合而成的功能模块比如一扇门、一扇窗户、一段楼梯。它是一个可以重复使用的复杂单元2、参数管理参数访问从已有模型中访问参数参数初始化内置初始化、自定义初始化、参数绑定多个层间共享参数3、延后初始化在定义神经网络模型时框架不会立即创建和分配层的权重参数如权重矩阵W和偏置向量b而是等到第一次看到输入数据或其形状时才根据输入数据的形状来最终确定并初始化这些参数五、卷积神经网络1、从全连接层到卷积卷积神经网络是机器学习利用自然图像中一些已知结构的创造性方法不变性平移不变性不管检测对象出现在图像中的哪个位置神经网络的前面几层应该对相同的图像区域具有相似的反应局部性神经网络的前面几层应该只探索输入图像中的局部区域而不过度在意图像中相隔较远区域的关系。最终可以聚合这些局部特征以在整个图像级别进行预测通道CNN中的通道概念是图像通道的延伸和抽象。通道的数量代表了特征图的深度或信息的丰富程度2、图像卷积卷积核卷积核是一个小尺寸的、带有权重的矩阵例如 3x3, 5x5它是卷积神经网络中可学习的基本单位可以将卷积核理解为1、一个特征探测器它的任务是寻找输入中存在的特定模式2、一个可学习的模板它的内部权重通过训练数据自动优化以最好地完成任务3、一个局部扫描器它只关注一小块区域通过滑动来观察全局4、一个层次化的工作者浅层核找简单特征深层核找复杂特征互相关运算衡量两个信号或函数、矩阵在不同相对位置上相似性的度量方法例你有一张大图片和一张小模板图片你想知道小模板在大图片的哪个位置操作1、把小模板覆盖在大图片的左上角2、将模板上的每个像素与其覆盖的大图片上的对应像素相乘3、将所有乘积结果求和得到一个数值。这个数值代表了模板在这个位置与图片的匹配程度。数值越高说明越相似4、你将模板向右滑动一个像素重复这个过程。直到你扫描完整个大图片你得到了一张“响应图”图上最亮的点值最大的点就是模板最可能所在的位置卷积神经网络CNN中实际使用的操作就是互相关运算但大家习惯性地称之为“卷积”互相关vs卷积卷积在计算之前需要先将卷积核模板旋转180度然后再进行滑动点乘求和互相关不进行旋转直接进行滑动点乘求和特征映射和感受野特征映射是由一个卷积核在整个输入上扫描后输出的二维矩阵感受野特征映射上的某个元素在原始输入空间上所对应和影响的区域大小一句话概括CNN通过感受野由小到大地整合信息并在每一层形成代表不同抽象程度的特征映射。特征映射告诉我们“是什么”而感受野告诉我们“这个信息是从哪里来的”3、填充和步幅填充在输入图像的边界外围加一圈“边框”通常为0保持输入输出尺寸相同和充分利用边缘信息步幅控制卷积核滑动的“步长”显著降维减少计算量和扩大感受野4、多输入多输出通道多输入通道指卷积层的输入数据具有多个特征维度例如彩色图像的RGB三通道或上一层的多个特征图。处理多输入通道时卷积核的深度必须与输入通道数相同以便综合所有输入通道的信息进行计算多输出通道指一个卷积层使用多个不同的卷积核每个卷积核独立地在输入上执行卷积操作从而生成一个独立的输出通道。这允许该层并行地提取多种不同类型的特征增加了模型的表示能力5、汇聚层最大汇聚在汇聚窗口覆盖的区域内取所有值的最大值作为输出平均汇聚在汇聚窗口覆盖的区域内取所有值的平均值作为输出目的降低卷积层对位置的敏感性同时降低对空间降采样表示的敏感性6、卷积神经网络LeNet通过卷积提取空间特征通过池化进行下采样和降维最后通过全连接层进行分类六、现代卷积神经网络1、深度卷积神经网络AlexNet2、使用块的网络VGG3、网络中的网络NiN4、含并行连结的网络GoogLeNet5、批量规范化是什么一种通过标准化每层输入来稳定网络内部数据分布的技术怎么做1、计算批量均值和方差2、进行标准化3、通过可学习的参数 γ 和 β 进行缩放和平移放在哪通常位于全连接/卷积层之后激活函数之前6、残差网络ResNet7、稠密连接网络DenseNet七、循环神经网络1、序列模型自回归模型用一个序列在过去时间步的观测值来预测其下一个时间步的观测值隐变量自回归模型引入一个看不见的“隐状态”来概括所有历史信息这个隐状态随时间自回归地演化而观测值则由当前的隐状态生成因果模型不仅要了解事物之间的“相关性”更要揭示它们之间的“因果关系”即一个事件如何“导致”另一个事件的发生马尔可夫模型系统的“未来”状态只依赖于“当前”状态而与“过去”的状态无关基于循环神经网络的字符级语言模型给定之前出现过的所有字符或前几个字符预测下一个最可能出现的字符是什么2、神经网络无隐状态的神经网络每次预测都是独立的只看当前输入没有“记忆”这种网络在处理每个输入时都像是第一次看到数据一样。它不保留任何关于之前输入的信息有隐状态的循环神经网络每次预测都依赖于过去拥有“记忆”RNN有一个内部的隐藏状态这个状态会在处理序列的过程中不断更新像一个“记忆单元”封装了到当前时刻为止所看到的所有序列信息3、困惑度衡量一个语言模型在面对一段从未见过的文本时会有“多困惑”。其数值表示模型“平均在每个词位置上面临的选择可能性数量”
