1. 回首过往第三章中看似学了很多其实就是学了一个nn.linear其他的都可以记不住只需要记住这个nn.linear。第四章中一张图片的格式(3,224,224)它是如何变成一个分类的输出2. 特征提取2.1 特征提取器的理解所谓的深度学习就是把输入转为一个高维的向量某种意义上来说可以理解为我们其实是在编码或者压缩而已之后我们用提取到的特征去做其他的事比如分类、回归2.2.我们的目的那么我们的目的就是如何更好的提取出特征2.3.模型提取出的特征到底是什么或者说代表什么可能与我们的任务有关比如在上面这个分类任务中如果我们给上面label为0下面为1。那么模型很可能会提取到关于颜色的特征如果左右分那么模型就会提取到形状相关的特征模型要学到什么由我们的标签来决定这就叫做有监督学习3.无监督学习3.1.无监督学习的意义无监督学习一般指我们只有数据没有标签大部分的数据是没有标签的人工标注数据一般都是0.5元一张我们要想办法把这些没有标签的数据运用起来3.2.无监督学习的方法机器学习降维PCA主成分分析聚类深度学习生成对抗网络 (GAN)自监督学习拿自己的一部分作为标签比如对比学习和生成式子监督。3.3.无监督的深层原理以人类婴儿的眼光并没有什么有标签数据只是单纯将相同的物体放在一块比如我们并没有给狗打上标签或者给猫打上标签但是我们自然的分辨出了它们而机器其实也可以做到这样的事情不需要标签去让相同的类的特征离得更近让图片通过模型然后将狗与狗放得更近将猫与猫放得更近这就出现了一个有意思的问题为什么我们可以这样分而我们又没有标签3.4.对比学习让自己和自己靠得更近自己和自己一定是同一类将原图和增广图作为同类数据如果说模型能做到将原图和增广图中相同的物品放在一块一个很烂的模型是做不到的要做到这样的任务模型就必须拥有某种提取特征的能力能够分辨出自己和自己是同一类这本身就是一种能力如果能让自己和自己的距离更近说明模型肯定有这个能力去提取特征所以如何让没有标签的数据被模型利用上其实就是创建了一个自己预测自己的任务让模型有前进的方向3.5.GAN生成对抗网络在GAN中有两个敌对方生成器和判别器生成器负责生成假图片来骗过判别器判别器负责识别出假图片一开始判别器可能很垃圾随着训练判别器越来越好导致生成器也必须提升然后生成器效果的提升又倒逼判别器的提升生成器与判别器成长的动力就是ACCACC太低时会刺激判别器的能力提升之后ACC提升刺激生成器的能力提升导致ACC下降又以此循环。这两部分是相互对抗的这就是生成对抗网络。3.6.cycle-gan我们有一个生成任务对应的二次元图片的任务我们先只要求生成二次元图片之后我们要求图片能够还原回去来确保相像并且神经网络是很懒的它只会找最近的点去映射3.7.生成式自监督3.7.1 图片里的自监督一份文件进行压缩成为压缩包又进行解压成为文件其中肯定不是乱压缩还原就可以做到的要遵守某种协议这和深度学习中的特定任务也有相似之处比如我们让图片经过模型成为一个一维向量又通过这个一维向量还原出图片那么这个模型肯定不是一个乱七八糟的模型而是一个非常强大的模型前半部分模型被称为encoder后半部分被称为decoder整个过程被称为autoencoder如果模型是随机的他肯定不能对所以图片做到这一点如果能对所有图片做到这一点肯定是好模型原理来自何凯明的论文只用经过masked的图片就基本可以做到还原还有一种方法以灰度图预测原图能做到这样的事的模型肯定也特别强3.7.2 文字里的自监督如果模型能够把被遮住的字还原出来那也肯定是个好模型用这种方法训练模型那么数据来源几乎是无穷无尽的随便找一段话打上掩码就可以丢进去训练。4.无监督后干什么4.1 预训练与微调把经过无监督学习后的有特征提取能力的好模型配上一个分类头就可以进行分类任务还有一些其他的任务统称为下游任务把经过预训练之后的模型拿来用就是微调。所以预训练是非常重要的gpt中的p就是pretrain上一节中使用半监督模型最多可能达到62的ACC而使用预训练模型可以达到82的ACC李哥的奇思妙想用encoder做加密decoder做解密4.2 特征分离一个很有趣的融合将梵高的作画风格与摄影照片的内容相结合生成了一张很奇特的图片这里面的风格和内容是如何区分的呢大佬们没有给出理由只给出了结果所以要明确一点就是AI不是在学人类AI只是在玩特征深度学习所有内容包括大模型都是在玩特征包括大模型里面也是一群特征在流动5. 总结我们学了如何用没有标签的数据给模型编一个训练目标去训练一个能够提取图片等特征的模型拿到这个模型之后就可以用来干很多其他的事了分类、回归等下游任务都可以要学习大佬们的巧妙设计来约束模型以训练它们的能力ps.stable diffusion 不停的生成一个噪声加入图片最终图片完全变成噪声之后再还原图片原理和自编码器那里也有相似之处。
