Month: May 2017

一、概述 这一集讲了一些列不同的梯度下降算法，做了一些比较。 之后，讲到了Dropout机制，随机关闭一些neuron的训练方式可以使整个模型更加有效。 然后讲到了一点关于Model Ensemble的技巧。 最后，做了一个Convnet的引入，介绍了Convnet的历史起源，以及后人的一些成就。 二、梯度下降算法 SGD SGD(Stochastic Gradient Descent)就是之前一直在用的这种更新Weight的方式。如图。 现实当中，sgd是最慢的下降算法。先来看看问题所在。如图。 假设loss function映射成是一个垂直面上很深，但是水平面上很浅的地形。这样说好抽象，就想象成一个V字形好了。现在我就在这个V字的左半坡上。假设我往下走一步的话，我在垂直方向上下降的距离，会大于我在水平方向上前进的距离。又因为我因此，sgd会造成如下的问题，我在下降的过程中走很多的弯路，上下上下不断调整。如下图。 而每次在水平方向上前进的距离越大，我就能越快到达那个笑脸，也就是loss最低点。sgd的前进路线浪费了很多时间。 Momentum Momentum的方法，借用了物理中的加速度的概念。把整个loss function想象成一个碗，一个球从一侧滑落，朝最底部的会有一个加速度和摩擦力的累加。因此，当这个球找到一个下降的方向时，速度就会累加，并越来越快。如图。 上图中，learning_rate * dx就是标准的sgd，是一个下降的速度，mu * v就相当于摩擦力。因为速度不能一直累加。如果一直累加，球根本停不下来，会over shot偏离目标。 v就是要一直累加的下降加速度，用v去更新W。 mu通常设置成0.5 – 0.9之间的数值。 v通常初始化成0。 Nesterov Momentum 下图是一个普通的momentum下降。 gradient step就是learning_rate * dx；momentum step就是v；因此最终这次下降的值就是两个向量和actual step。 nesterov momentum就是在momentum的基础上，多想一步，在momentum step的尽头，考虑下一步该怎么走。如下图。 公式上唯一的区别就是在计算dx的时候要计算d(x + mu * vt-1)。因此要有一个变量保留一下上一次的速率。如下图。 将 替换成 然后进行代数运算就可以得到最后的下降公式 nag(Nesterov Accelerated Gradient)通常比momentum表现好一些。 AdaGrad adagrad所做的就是将历史的gradient平方都累加起来，然后在update的阶段，按照比例来缩放一下。 这样做就好像我记录下来之前所有走过的方向，然后综合一下，往某一个方向走一步。从代码看，我走的每一步距离都是在减小的。因此adagrad也有一个问题。…

一、概述 这一集讲了选择合适的activation function。 预处理数据。 Weight的初始化。 Batch Normalization的运用。 如何监督整个学习过程以便提早发现问题。 以及如何优化hyper parameter。 二、Neural Networks 讲激活函数之前讲了很多关于神经网络的历史。体会最深的就是，一个事物的兴起，不是自身力量就足够的。如果没有摩尔定律，没有大数据，神经网络的发展还不会被提上时代的议程。 激活函数，用来在线性的输入之后产生非线性的输出。非线性代表着解决更加复杂问题的能力。虽然说线性也能解决高复杂度问题，比如素描中画足够多的直线是可以在中间截出一个圆。但是远不如用非线性函数来得快和准确，并且其复杂性也让实践变得很难。 下图是一些激活函数。 Sigmoid 历史上，使用最多的是Sigmoid。它接收一个实数，然后产生一个[0, 1]的输出。 历史上使用最多，因为Sigmoid function可以用来表示一个neuron是否被激活这样的的概念。 但是Sigmoid有三个问题： 第一个问题，饱和的neuron会杀死backpropagation过程中的gradient。这个问题被称作vanishing gradient problem。 上图中，解释了vanishing gradient problem。 当x = 10和x = -10的时候，就是一个sigmoid就产生了一个saturated neuron（饱和神经元）。这个neuron的值接近0，或者接近1。如上图，在x = 10和x = -10的地方，y基本上是0和1。 Sigmoid function的导数是sigmoid * (1 – sigmoid)。 想象一下，sigmoid无限接近于1的时候，dsigmoid = ->1 * (1 – ->1) = -> 0(用->表示极限了…)。 另外，sigmoid无限接近于0的时候，dsigmoid =…

一、概述 上一集结束之后，学到了score function，可以用SVM或者Softmax计算loss，可以在loss中增加regularization来获取更加合理的W，并且最后可以用Analytic Gradient（微积分）的方式计算loss function相对于W的gradient来更新W。如下图。 这一集讲了如何使用链式法则来反向传播gradients，来更新W和b，这个gradients反向传播的过程叫做Backpropagation。 Backpropagation之后，进入了Neural Network的介绍。 二、Backpropagation Computational Graph 在计算gradient并进行backpropagate（bp）的时候，借助computational graphs（cg）可以让整个过程更加清晰（对于新手来说更是这样）。在学习的起步阶段，可以借助它来理解bp的原理。但是当神经网络复杂了之后，再转换成cg看起来就很头疼了。就像这样。 tensorboard是cg可视化的一个很强大的工具。 一个computational graph是对整个神经网络的直观图形表述。 上图中，每一个矩形代表着input x和W；每一个圆代表着一个操作；箭头指明了元素在这个神经网络中的流向，从输入开始，一直到最终的loss输出。 其中，圆被称为一个门gate。数据每流经一个门，都会经过相应的数学变换。 bp如何实现 上图已经完成了forward pass的过程，输入从左到右，经过+,*，得到结果f。 上图中有三个输入，x，y，z；一个+ gate q；一个* gate f；最后得到输出f = 12。 红色框中，是+这个操作相对于x，y的求导； 蓝色框中，是*这个操作相对于+,z的求导； bp的过程，就是将运算顺序倒过来，从cg的最右端开始，利用链式法则（Chain Rule），依次将所有前面已经计算的到的导数，和当前元素的导数相乘，就是当前元素的gradient。 从最右端开始，f相对于自身的导数是1。如下图： 继续往左运算，遇到了* gate；这个门的算式就是f = qz，蓝色框中的算式。 要求出z的gradient，就是将之前已经计算出的gradient df / df = 1，与z本身的gradient相乘，即（df / df） * （df / dz）。 先求f相对于z的导数，df / dz = q；…

一、概述 在上一讲中，Andrej总结说在没有loss function的情况下，我们在用肉眼观察哪些分数是好的，哪些分数是坏的，如下图。 图中，cat的预测分数不是很好，2.9的分数比一些分数高，但是比deer，dog等的低；car的预测分数则很好，比所有其他分数都高；而frog的预测分数糟透了，比大部分的分数都要低。 这个lecture中讲的是用loss function来量化分数的好坏，并用optimizer来优化W和b，使loss最小化。 二、Loss Functions 下面介绍了两种loss function，SVM Cost和Softmax Cost（Cross-entropy cost）。 Multiclass SVM Cost 将所有不正确类型的分数和正确类型的分数的差 + 1之后的值，和0取最大值，最后将这些最大值相加，就是SVM Cost。 1) SVM Cost如何计算 下图是三个示例，具体展示SVM Cost是如何计算的。 视频中对为什么+1作了一些解释，但是不是很明白。还需要体会一下。1可以理解为是一个安全阀值。由于W可以初始化成大一些或者小一些，这是随机的。因此最终的预测分数也可以或大或小，因为W的缘故。这个1可能也是为了增加随机性而加上去的。Andrej说，选择1而是任意的，也就是说，你可以+2，+100，都是可以的，但是不能是0，和负数，这个也还不是很明白，有待体会。但是可能就像learning rate一样，太大了模型就不能和训练数据拟合了。这个1也可以想象成可以调整的hyper parameter，虽然最后Andrej说了这个不是hyper parameter… 在真正使用中，loss的值应该是将三个类型的loss相加，然后取平均值。 在上图中，也就是说，这一组W和b，作用在input image上之后，通过SVM Cost得到了一个loss值，这个值是4.6。 问题：为什么不能让j = yi？（j，和yi是svm cost公式中的两个脚标，上面的图片中有）因为如果j = yi，sj – syi = 0，max之后得到1，那么最终的loss都会+1，增大了的loss的数值。问题：loss的最大最小值可以是多少？最大值是无穷大，最小值是0。问题：如果W在初始化的时候都是很小的值，那么所有类型的score都约等于0，在上图的情况下，loss是多少？loss是2；通用的公式是，第一次计算出来的loss应该是预测类型的个数 – 1。我们应该用这个规律来检查W初始化了之后，神经网络第一次的运行是否正确。在只有三个类型的例子中，如果初始化了之后，第一次计算得到的loss大致上在2左右，那么说明一切基本正常，至少没有很大问题；但是如果这个数值大大偏离了2，那就要检查一下网络中会有很大的问题。 Hinge Loss and Squared Hinge Loss 上图中，上一个公式被称作Hinge Loss，相应的，下面一个就是Squared Hinge Loss。这两个计算loss的方法可以被理解成是一个hyper…

图片分类概述 一、概述 这一课标题是Image Classification Pip-line，大概就是讲了图片分类的整个框架流程。看完之后确实对于卷积网络底层是如何对图片进行分类的有了再进一步的认识，感觉又清晰了一些。 点击这里下载CS231N的所有课件PDF 图片是如何被分类的 图片分类用人类语言来描述大致就是将一个图片，通过某种方式，映射到一个标签上的过程。 图片分类的挑战 1) 语义层面 计算机只认识0和1，如何让计算机认识每张图片并进行分类，首要的就是把图片变成数字。 对于人类来说这为理解增加了难度。每张非黑白图片都会被转化程一个长 x 高 x 深的矩阵；例如一张300 * 100像素的图片，会转换成一个300 x 100 x 3的矩阵，作为分类器的输入，然后进一步通过数学计算，完成分类。 例子中的深度3表示表示彩色图片的色彩通道RGB。 2) 图片的明暗 这张图片中有两只猫，左边一只光线很暗，右边一只光线明亮。 必须让分类器对像素的敏感程度做出相应理想的反应，才能完成图中两只猫的识别。 3) 物体的不同形态或姿势 图片里都是猫，但是姿势各异。需要调整分类器对不同的姿势做出理想的反应，并成功将图片分类为猫也是挑战之一。 4) 遮挡 对于人类来说，虽然被遮挡了，但是我们一眼可以确认图片里的是猫。对于分类器来说，这是一个巨大的挑战。 分类器需要要根据图片中仅有一些特征，做出正确的反应并分类图片。 5) 背景融合 背景颜色和猫咪的颜色相差无几，意味着每个像素的矩阵数值十分接近。分类器要成功从很相近的数值中分辨出图片中的猫同样是很艰巨的任务。 另外，对于其他生活中的实际例子来说，例如排序，我们可以写一个冒泡算法，但是对于图片分类这样抽象的问题，是没有固定的算法可言的。 我们需要用到分类器，以及之后会涉及的神经网络，卷积神经网络的支持，来完成这项任务。 二、分类方法 K—NN分类 NN分类器 NN（Nearest Neighbors）分类通过计算目标与训练数据的距离来确定目标属于哪个分类的算法。 NN中有两种计算距离的方式； 课程中用python构建了一个简单的NN分类器： 红框中的代码就是在计算目标点与每一个训练数据的距离，并将最近的距离设置到Ypred中保存； NN分类器的弊端在于，测试的时候，效率很低。因为要将目标图片的每一行数据，和训练数据的所有行进行对比来计算最小距离。复杂度是线性上升的。 但是在图片分类任务中，我们最关心的是测试（应用）阶段的效率。因此后面会说到，不会用NN分类器来分类图片，而会使用在测试阶段效率很高的卷积网络来执行分类任务。 K-NN分类 K-NN分类和NN分类有点不同，NN分类中需要将目标图片的数据和所有训练数据进行对比，而K-NN中，只需要和临近的K个数据进行对比。 上图中，的NN classifier（中间的图片），在蓝色区域的左下角，有一小块的绿色区域，里面又一个绿色的点。这片区域被标成了绿色，是因为如果有任意点落在那个绿色区域里面，这个绿色的点将会是离这个点最近的点，因此这个落下的点会被标记成绿色。 KNN…