Category: Zipped

这篇文章不涉及RNN的基本原理，只是从选择数据集开始，到最后生成文本，展示一个RNN使用实例的过程。 对于深度学习的应用者，最应该关注的除了算法和模型，还应该关注如何预处理好自己的数据，合理降噪，以及如何在数据量不同的情况下选择合理的超参，来达到最理想的训练结果。 在经过近三个月的学习之后，我打算使用Tensorflow，创建一个LSTM RNN模型，使用中文小说作为数据源，训练RNN来生成中文小说文本。平时做练习训练数据都是英文，我想看看换成中文之后会是什么结果，能不能写出一些语义通顺的句子。 数据选取的是起点中文网的获奖历史小说『寒门首辅』，作者一袖乾坤。 整个notebook在我的github上，感兴趣的同学可以下载使用，不断尝试训练自己喜欢的风格的小说生成器。强烈建议大家使用notebook进行尝试，可以实时看到每一步的输出，学习效果更好。 以下就是整个应用过程。 来试试用起点中文网的历史小说『寒门首辅（一袖乾坤 著）』来做训练数据，看看这个RNN网络能产生一些什么样子的文本。 尝试过程中必遇到问题，也借此加深一些对RNN的理解。 首先我从网上下载到了『寒门首辅』的txt版本，打开时候发现有很多空行，还包含了很多不必要的链接，看起来是这样的。 预处理一下数据。 读入数据 设置一下要用多少个字来训练，方便调试。这里先用100000字进行训练 看看有多少行 先看看前15行是什么内容 把『章节目录』之前的行全部砍掉，一大堆没用的东西。 再来看看，第一行应该就进入正题了。 我查看了一下，这个小说一共有129万字左右。先把空行去掉吧。去掉空行之后应该就只有一半左右的行数了。 打印前20行看看什么情况 下一步，把每行里面的『空格』，『[]里的内容』，『<>里的内容』都去掉。 看下情况如何，打印前20句话。 可以看到空格都没了。下一步用正则去掉『[]』和『<>』中的内容，像上面的什么『[棉花糖小说网]』这些的，后面还有一些是包含在『<>』里的，一并去掉。 打印看效果 『[]』的内容已经没了。下一步去掉『<>』中的内容，方法同上。 下一步，把每句话最后的『……』换成『。』。 打印看效果 最后，还是把每句话里面包含的空格，都转换成『，』，就像『章节目录 第一章』，换成『章节目录，第一章』，感觉这一步可有可无了。 貌似还忘了一个要处理的，我们看看最后20行的情况。(如果你是用全文本来训练，最后很多行文本中会包括\r这样的特殊符号，要去掉。这里只用了100000字，所以看不到有\r的情况。)。如果有\\r的情况，用下面的方式去掉。 到这里数据就处理完了。再看看有多少行数据 因为模型只认识数字，不认识中文，所以将文字对应到数字，分别创建文字对应数字和数字对应文字的两个字典 创建一个符号查询表，把逗号，句号等符号与一个标志一一对应，用于将『我。』和『我』这样的类似情况区分开来，排除标点符号的影响。 预处理一下数据，并保存到磁盘，一遍下次直接读取。 读取我们需要的数据。 检查改一下当前Tensorflow的版本以及是否有GPU可以使用 这里的数据量还是很大的，129万左右个字符。建议使用GPU来训练。或者可以修改代码，只用一小部分数据来训练，节省时间。 正式进入创建RNN的阶段了。 我们的RNN不是原始RNN了，中间使用到LSTM和word2vec的功能。下面将基于Tensorflow，创建一个带2层LSTM层的RNN网络来进行训练。 首先设置一下超参。 创建输入，目标以及学习率的placeholder 创建rnn cell，使用lstm cell，并创建相应层数的lstm层，应用dropout，以及初始化lstm层状态。 创建embedding layer，提升效率 创建rnn节点，使用dynamic_rnn方法计算出output和final_state 用上面定义的方法创建rnn网络，并接入最后一层fully_connected layer计算rnn的logits 那么大的数据量不可能一次性都塞到模型里训练，所以用get_batches方法一次使用一部分数据来训练 创建整个RNN网络模型 开始训练模型 将使用到的变量保存起来，以便下次直接读取。 下次使用训练好的模型，从这里开始就好 要使用保存的模型，我们要讲保存下来的变量（tensor）通过指定的name获取到…

一、概述 这一集讲了一些列不同的梯度下降算法，做了一些比较。 之后，讲到了Dropout机制，随机关闭一些neuron的训练方式可以使整个模型更加有效。 然后讲到了一点关于Model Ensemble的技巧。 最后，做了一个Convnet的引入，介绍了Convnet的历史起源，以及后人的一些成就。 二、梯度下降算法 SGD SGD(Stochastic Gradient Descent)就是之前一直在用的这种更新Weight的方式。如图。 现实当中，sgd是最慢的下降算法。先来看看问题所在。如图。 假设loss function映射成是一个垂直面上很深，但是水平面上很浅的地形。这样说好抽象，就想象成一个V字形好了。现在我就在这个V字的左半坡上。假设我往下走一步的话，我在垂直方向上下降的距离，会大于我在水平方向上前进的距离。又因为我因此，sgd会造成如下的问题，我在下降的过程中走很多的弯路，上下上下不断调整。如下图。 而每次在水平方向上前进的距离越大，我就能越快到达那个笑脸，也就是loss最低点。sgd的前进路线浪费了很多时间。 Momentum Momentum的方法，借用了物理中的加速度的概念。把整个loss function想象成一个碗，一个球从一侧滑落，朝最底部的会有一个加速度和摩擦力的累加。因此，当这个球找到一个下降的方向时，速度就会累加，并越来越快。如图。 上图中，learning_rate * dx就是标准的sgd，是一个下降的速度，mu * v就相当于摩擦力。因为速度不能一直累加。如果一直累加，球根本停不下来，会over shot偏离目标。 v就是要一直累加的下降加速度，用v去更新W。 mu通常设置成0.5 – 0.9之间的数值。 v通常初始化成0。 Nesterov Momentum 下图是一个普通的momentum下降。 gradient step就是learning_rate * dx；momentum step就是v；因此最终这次下降的值就是两个向量和actual step。 nesterov momentum就是在momentum的基础上，多想一步，在momentum step的尽头，考虑下一步该怎么走。如下图。 公式上唯一的区别就是在计算dx的时候要计算d(x + mu * vt-1)。因此要有一个变量保留一下上一次的速率。如下图。 将 替换成 然后进行代数运算就可以得到最后的下降公式 nag(Nesterov Accelerated Gradient)通常比momentum表现好一些。 AdaGrad adagrad所做的就是将历史的gradient平方都累加起来，然后在update的阶段，按照比例来缩放一下。 这样做就好像我记录下来之前所有走过的方向，然后综合一下，往某一个方向走一步。从代码看，我走的每一步距离都是在减小的。因此adagrad也有一个问题。…

一、概述 这一集讲了选择合适的activation function。 预处理数据。 Weight的初始化。 Batch Normalization的运用。 如何监督整个学习过程以便提早发现问题。 以及如何优化hyper parameter。 二、Neural Networks 讲激活函数之前讲了很多关于神经网络的历史。体会最深的就是，一个事物的兴起，不是自身力量就足够的。如果没有摩尔定律，没有大数据，神经网络的发展还不会被提上时代的议程。 激活函数，用来在线性的输入之后产生非线性的输出。非线性代表着解决更加复杂问题的能力。虽然说线性也能解决高复杂度问题，比如素描中画足够多的直线是可以在中间截出一个圆。但是远不如用非线性函数来得快和准确，并且其复杂性也让实践变得很难。 下图是一些激活函数。 Sigmoid 历史上，使用最多的是Sigmoid。它接收一个实数，然后产生一个[0, 1]的输出。 历史上使用最多，因为Sigmoid function可以用来表示一个neuron是否被激活这样的的概念。 但是Sigmoid有三个问题： 第一个问题，饱和的neuron会杀死backpropagation过程中的gradient。这个问题被称作vanishing gradient problem。 上图中，解释了vanishing gradient problem。 当x = 10和x = -10的时候，就是一个sigmoid就产生了一个saturated neuron（饱和神经元）。这个neuron的值接近0，或者接近1。如上图，在x = 10和x = -10的地方，y基本上是0和1。 Sigmoid function的导数是sigmoid * (1 – sigmoid)。 想象一下，sigmoid无限接近于1的时候，dsigmoid = ->1 * (1 – ->1) = -> 0(用->表示极限了…)。 另外，sigmoid无限接近于0的时候，dsigmoid =…