深度学习贪心逐层无监督预训练 —— 深度学习复兴的钥匙（八十六）

1. 定位导航🎉第 15 章「表示学习」开篇！讲一个深度学习史上的关键技术。前一章（自编码器）讲了如何学习表示。本章探讨更宏观的问题：表示学习——好的表示是什么、如何获得、如何迁移。开篇这个技术，贪心逐层无监督预训练，在 2006 年点燃了深度学习的复兴。1.1 历史地位无监督学习在深度神经网络的复兴上起到了关键的、历史性的作用——它使研究者首次可以训练不含卷积或循环这类特殊结构的深度监督网络。1.2 本篇脉络为什么需要（深度网络难训练）→ 算法（逐层贪心）→ 何时有效 → 现代地位2. 问题背景：深度网络曾经难训练2.1 2006 年之前的困境在 2006 年之前，训练深度网络（尤其是全连接的深层网络）非常困难：梯度消失/爆炸优化困难容易过拟合这种方法至少可以追溯到神经认知机（Fukushima 1975）。