Ch1
主要讲了人工智能、机器学习以及深度学习的历史以及一些要解决的问题。机器学习的问题在于特征提取的困难，深度学习的问题在于CAP。并介绍了本书的结构。
人工智能是?
计算机科学的分支，模拟、延伸、扩展人类智能
- 模拟感知能力，Like输入与输出，e.g.: CV、语音信息处理
- 模拟学习能力，从样例中学习
- 模拟认知能力，比如分类、规划、决策
人工智能流派
- 符号主义：认知过程即符号操作过程，流行于早期及中期，具有可解释性
- 连接主义：认知模型室友大量简单模型组成的互联网络
- 行为主义：主张从互动中获取智能
机器学习主要关注？
如何学习一个预测模型，即把数据表示为一组特征，然后将这些特征输入到预测模型中，输出预测结果。
这种学习叫 浅层学习。
浅层学习一般过程及缺陷
- 数据预处理
- 特征提取（如图像分类的提取边缘，SFIT等等）
- 特征转换（加工，如升降维，比如主特征分析(PCA)、线性判别分析（LDA)等等）
- 预测
其中1-3都是特征工程的内容，需要大量的人工干预，具有很强的不确定性以及可能因为人类主客观因素导致训练结果不理想。
表示学习是什么？
表示，即是特征的抽象表述。表示学习即是将上述特征工程的内容交由计算机处理的学习。
表示学习的关键在？
语义鸿沟：输入数据的底层特征（如输入图片的像素）与高层语义信息（如输入照片都是车）的不一致性与差异性。
即 两个核心问题：
- 什么是一个好的表示（表示好坏的衡量标准）
- 怎样学习到好的表示
实践角度来说是要构建具有一定深度的多层次特征表示。
局部表示与分布式表示
- 局部表示：用词表表示特征，如”深红”、”酒红”，表现为一个One-Hot向量。
- 分布式表示：用一个低维空间的向量表示
嵌入
神经网络可以将高维局部表示空间映射到一个低维的分布式表示空间，并尽量保持其拓扑关系。
$\mathbb{R}^{|v|}\to\mathbb{R}^D,D\ll|v|$
深度学习的深度是指什么？
原始数据进行非线性特征转换的次数。
深度学习的目的？
一开始是为了表示学习。（因为深度学习引入的高深度非线性转换对表示学习至关重要）
后面用处就很多了。
深度学习关键问题：贡献度分配问题(CAP)
大致内容？一个系统中不同组件或参数对最终系统输出结果的贡献或影响。
神经网络可以使用BP解决该问题。
端到端学习
减少每一模块单独优化的麻烦以及错误传播导致的崩盘。
也要解决CAP