1.复杂的神经网络可以简单的用矩阵相乘表示2.如果只是单纯的线性传递那么最后也只能模拟线性的函数3.激活函数生物体内神经元有一个阈值接受的刺激要超出这个值才会兴奋否则抑制激活函数的作用也是这样。常见的激活函数有sigmoid和relu------------实际上relu可能用的更多因为sigmoid计算更复杂还会有梯度消失4.激活函数最重要的特性能求导因为在梯度下降时需要从后往前计算偏导如果不能激活函数求导就会导致无法计算偏导值5.梯度下降法所谓梯度下降就是让损失函数对于参数求偏导我们每次更新参数时都让原来参数减去学习率乘以梯度这样就可以让损失下降尽管现实世界模型可能很复杂但是我们只管下降就行了反正我们只要一个结果中间过程不必在意6.神经网络改名叫深度学习的原因以前算力差所以神经网络效果差所以发论文不好发现在算力好神经网络效果好但是因为名字还是不好发论文发论文就是在起名字一个好的名字是论文的一大半神经网络透析1 架构设计函数的结构模型的架构全靠个人经验玄学神经网络透析2神经网络 可以完成超级复杂的任务。诸如图片生成 人脸识别等等。但回归到一些原始纯粹的简单问题上 它表现得可能没那么好。比如模拟函数发现数字规律。它就像一个婴儿缺少先验知识
