神经网络

学习地址

非线形假设

• 计算机中一辆车或者一个车把手，是用一个数字矩阵表示的，或者说像素强度值的网格。告诉我们图像中每个像素的亮度值。计算机视觉问题就是根据这个像素点亮度矩阵来告诉我们这些数值。
• 如何区分一辆汽车，找到一些样本通过学习算法分辨哪些是汽车哪些不是。假如选取两个像素点代表两个坐标轴特征，那么可以用非线形回归将01分开。但两个像素比如50X50就有2500个像素点，特征矩阵就有2500个值，如果采用RGB格式每个像素点包含红绿蓝三种颜色，那么就有7500个值。
• 特征过多逻辑回归就不是一个好的分类算法了。
  

神经元与大脑

起源：人们想尝试制造出能模仿人类大脑的机器。
大脑：大脑有许多不同的感知皮层，通过学习，触觉也能学会’听’，听觉也能学会’看’。
目的：找到一种近似大脑判断的学习算法，而不用同时运行几千个算法程序模拟大脑。

如何表示神经网络

下面是一个神经元：神经元树突Dendrite相当于输入，Axon相当于输出；那么神经元相当于几个计算单元，接收信号计算并相其他传递信息。

神经元之间通信通过轴突，产生微弱电流发送给其他神经元。

将神经元模拟成一个逻辑单元logistic unit，如下一个简单的模型。

神经网络术语：激活函数g(z)=1/(1+e^-z)
在其他的学习资料中参数θ也被成为权重，实质是一样的。

有了上面神经元定义和模型，那么神经网络就是一组神经元链接在一起的集合。

从左到右依次是输入层，隐藏层，输出层。隐藏层即不是x也不是y，在训练集中无法看到所以叫隐藏层，即非输入输出层就叫隐藏层。
下图模拟了一个神经网络到学习算法的一个简单模型：从数学上定义神经网络的一个简单假设

前向传播：从输入层到隐藏层到输出层的过程
下面是向量化实现：

如果将第一层输入特征X1..Xn去除，那么得到的后面的模型就想当与是逻辑回归模型，神经网络中并没有用输入特征x训练逻辑回归，而是自己训练逻辑回归的输入a1…a3。

例子与直觉理解

非线形分类例子：XOR/XNOR/AND/OR
x∈{0,1}

组合得到 x₁ XNOR x₂

第一层输入通过第一个隐藏层，计算出一系列特征，再通过下一个隐藏层计算出更复杂的特征，再往下更复杂，最后这些特征被用于逻辑回归分类器的最后一层。

多元分类

利用神经网络解决多类别分类问题。