标签：深度学习

Attention原理及TensorFlow AttentionWrapper源码解析

本节来详细说明一下 Seq2Seq 模型中一个非常有用的 Attention 的机制，并结合 TensorFlow 中的 AttentionWrapper 来剖析一下其代码实现。 Seq2Seq 首先来简单说明一下 Seq2Seq 模型，如果搞过深度学习，想必一定听说过 Seq2...

崔庆才 1年前 (2018-03-24) 13434浏览 2评论 34喜欢

原理中文分词，即 Chinese Word Segmentation，即将一个汉字序列进行切分，得到一个个单独的词。表面上看，分词其实就是那么回事，但分词效果好不好对信息检索、实验结果还是有很大影响的，同时分词的背后其实是涉及各种各样的算法的。中文分词与英文分词有很大的不同，...

崔庆才 1年前 (2018-03-15) 15727浏览 1评论 34喜欢

本节详细说明一下深度学习环境配置，Ubuntu 16.04 + Nvidia GTX 1080 + Python 3.6 + CUDA 9.0 + cuDNN 7.1 + TensorFlow 1.6。 Python 3.6 首先安装 Python 3.6，这里使用 Anacon...

崔庆才 1年前 (2018-03-12) 23948浏览 235评论 35喜欢

我们知道，Seq2Seq 现在已经成为了机器翻译、对话聊天、文本摘要等工作的重要模型，真正提出 Seq2Seq 的文章是《Sequence to Sequence Learning with Neural Networks》，但本篇《Learning Phrase Represe...

崔庆才 1年前 (2018-02-26) 9543浏览 0评论 13喜欢

TensorFlow 中的 layers 模块提供用于深度学习的更高层次封装的 API，利用它我们可以轻松地构建模型，这一节我们就来看下这个模块的 API 的具体用法。概览 layers 模块的路径写法为 tf.layers，这个模块定义在 tensorflow/python/...

崔庆才 1年前 (2018-02-22) 17683浏览 1评论 17喜欢

本节我们来用 TensorFlow 来实现一个深度学习模型，用来实现验证码识别的过程，这里我们识别的验证码是图形验证码，首先我们会用标注好的数据来训练一个模型，然后再用模型来实现这个验证码的识别。验证码首先我们来看下验证码是怎样的，这里我们使用 Python 的 captch...

崔庆才 1年前 (2018-02-21) 21966浏览 0评论 36喜欢

本节我们来尝试使用 TensorFlow 搭建一个双向 LSTM (Bi-LSTM) 深度学习模型来处理序列标注问题，主要目的是学习 Bi-LSTM 的用法。 Bi-LSTM 我们知道 RNN 是可以学习到文本上下文之间的联系的，输入是上文，输出是下文，但这样的结果是模型可以根据...

崔庆才 1年前 (2018-01-21) 15596浏览 2评论 27喜欢

本节来介绍一下使用 RNN 的 LSTM 来做 MNIST 分类的方法，RNN 相比 CNN 来说，速度可能会慢，但可以节省更多的内存空间。初始化首先我们可以先初始化一些变量，如学习率、节点单元数、RNN 层数等： ...

崔庆才 1年前 (2018-01-03) 4946浏览 2评论 11喜欢

本文介绍下 RNN 及几种变种的结构和对应的 TensorFlow 源码实现，另外通过简单的实例来实现 TensorFlow RNN 相关类的调用。 RNN RNN，循环神经网络，Recurrent Neural Networks。人们思考问题往往不是从零开始的，比如...

崔庆才 2年前 (2017-12-27) 7079浏览 3评论 24喜欢

上一节使用了最简单的网络来处理了 MNIST 数据集，但只有 92% 的正确率，接下来我们使用卷积神经网络来实现更高的正确率。权重初始化在上一节初始化 w 和 b 的时候，我们使用了置零初始化。但在卷积神经网络中，我们需要在初始化的时候权重加入少量噪声来打破对称性和避免零梯度...

崔庆才 2年前 (2017-12-27) 3717浏览 113评论 8喜欢