欢迎光临
一起学习,一起进步

深度学习

神经网络语言模型(NNLM)-openSL

神经网络语言模型(NNLM)

admin@opensl.tk阅读(21)评论(0)赞(0)

1. 模型原理 用神经网络来训练语言模型的思想最早由百度 IDL (深度学习研究院)的徐伟提出[1],NNLM(Nerual Network Language Model)是这方面的一个经典模型,具体内容可参考 Bengio 2003年发表...

SGD Adam等-openSL

SGD Adam等

admin@opensl.tk阅读(31)评论(0)赞(0)

1. SGD Batch Gradient Descent 在每一轮的训练过程中,Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度,并用该梯度对模型参数进行更新: Θ=Θ−α⋅▽ΘJ(Θ)...

seq2seq学习笔记-openSL

seq2seq学习笔记

admin@opensl.tk阅读(62)评论(0)赞(0)

1. RNN基础 对于RNN,我看到讲得最通俗易懂的应该是Andrej发的博客: The Unreasonable Effectiveness of Recurrent Neural Networks 这里有它的中文翻译版本: 递归神经网络...

感知机拓展-- 神经网络-openSL

感知机拓展– 神经网络

admin@opensl.tk阅读(27)评论(0)赞(0)

神经元 神经元是神经网络的基本单元,接受多个神经元传递过来的输入信号,然后通过激活函数计算输出信号。 从图里可以看到每个输入信号都有一个权重w,这个权重是动态改变的。我们平时所说的训练神经网络主要是训练(修正)这个权重w。 同时每个神经元有...