深度学习概论

神经网络与深度学习

1. 学习地址

---

第一周：概述

1. 什么是神经网络: 结构（输入单元、处理单元、输出单元）
2. 神经网络进行监督学习：房价预测、广告点击率、照片打标签、语音识别与翻译、无人自动驾驶。带时序序列问题的属于循环神经网络范围，擅长处理一维时间序列。
   结构化数据：有清晰定义的数据列或数据库
   无结构化数据：语音、图像等计算机无法直接识别难以理解，而人却具有天生优势
3. 为什么深度学习兴起：数据、计算资源、算法

第二周：神经网络基础

1. 二分类问题 - 逻辑回归：损失函数理解
2. 导数与梯度下降
3. 向量化避免显式循环，numpy广播，避免一维数组出现

第三周：浅层神经网络

1. 神经网络表示：输入层、隐藏层（看不到具体值）、输出层。隐藏层开始算层数
2. 从逻辑回归到神经网络
3. 向量化实现与理解
4. 激活函数：sigmoid函数比较传统，tanh类似sigmoid函数往下平移，比sigmoid函数性能稳定，但在二分类问题中输出层想要0或1还是sigmoid函数更适用
5. sigmoid函数和tanh函数的缺点是如果Z=w^Tx+b非常大或者非常小，那么在激活函数曲线上导数就很小，不利于梯度下降。这就引出了修正线形单元ReLU：a=max(0,z)，现在基本默认使用了，在大部分情况速度非常快，少数梯度为负数的情况可以使用带泄露的修正函数: a=max(0.01z, z)，0.01可以修改
6. 如果隐藏层不使用非线形激活函数，那么神经网络基本就退化成了一堆线形函数的线形组合，线形隐层就没什么意义了，输出层倒是可以使用线形激活函数
7. 三个激活函数导数：微积分计算结合图示理解
8. 反向传播算法推导，建议观看吴老师早期机器学习视频

第四周：深层神经网络

1. 深度神经网络标记：输入层第0层、权重参数、激活函数值
   
2. 前向传播与反向传播过程，类似于浅层神经网络
3. 传播过程各种矩阵的维数核对
4. 深层的优势：各司其职
5. 超参数调参，将每一层作为一个神经网络块去手动搭建