欢迎光临
一起学习,一起进步

机器学习

再谈roc曲线

admin@opensl.tk阅读(6)评论(0)赞(0)

再次研读机器学习,对于roc曲线有了更深入的了解: 实际上roc曲线得来是通过tpr和fpr分别做y,x轴填充的曲线图。 这个图是怎么取得的呢?实际上是先训练出一个模型(二分类判定模型),然后通过改变判定的临界值。以逻辑斯汀回归为例:就是先...

关于机器学习学习效率的优化

admin@opensl.tk阅读(7)评论(0)赞(0)

这几日在做机器学习实验时候,发现自写的随机梯度下降方法实现和sklearn包中方法相比速率差太多,1个ms级,1个μs级,就去看了下sklearn源码。发现它的代码使用的cython包写的。这激起了我对此的兴趣。我查阅了相关文档。 以下来自...

关于梯度的调试-openSL

关于梯度的调试

admin@opensl.tk阅读(7)评论(0)赞(0)

一、梯度下降法的调试  1)疑问 / 难点 如何确定梯度下降法的准确性? 损失函数的变量 theta 在某一点上对应的梯度是什么? 在更负责的模型中,求解梯度更加不易; 有时候,推导出公式后,并将其运用到程序中,但当程序运行时,有时对梯度的...

进一步理解熵的概念

admin@opensl.tk阅读(18)评论(0)赞(0)

最开始阅读最大熵模型一篇时,遇到了熵这个概念。一开始,局限在了物化角度上的熵,实际上,这里有了新的意义-信息熵。不同于物化上的熵,信息熵有着新的理论以及计算方式。 自信息与熵 在信息论中,熵用来衡量一个随机事件的不确定性。假设对一个随机变量...

贝叶斯推断的进一步理解

admin@opensl.tk阅读(27)评论(0)赞(0)

近期,再次研读机器学习经典算法,在阅读到逻辑斯汀回归时,又一次的遇到了贝叶斯估计。逻辑斯汀回归用后验概率作为回归结果。 那么到底什么是先验概率,什么是后验概率呢? 在我看来,先验概率就是人们根据经验或者甚至随机的给定的一个概率值,可能不准。...

Bagging和Boosting 概念及区别

admin@opensl.tk阅读(25)评论(0)赞(0)

  Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 首先介绍Bootstraping,即自助法:它是一种...

评价模型好坏的指标-openSL

评价模型好坏的指标

admin@opensl.tk阅读(65)评论(0)赞(0)

精确率、召回率、F1、AUC ROC曲线和混淆矩阵: 精确率就是预测为P的样例中实际为P的概率; 召回率就是为P的样例中预测为P的概率; ROC曲线是对不同的判断阈值(判定为P所需要的最小概率)(从0到1时)所得到的预测准确率曲线,显然理想...

confused matrix 混淆矩阵-openSL

confused matrix 混淆矩阵

admin@opensl.tk阅读(41)评论(0)赞(0)

混淆矩阵是除了ROC曲线和AUC之外的另一个判断分类好坏程度的方法。 以下有几个概念需要先说明: TP(True Positive): 真实为0,预测也为0 FN(False Negative): 真实为0,预测为1 FP(False Po...

岭回归与最小二乘法-openSL

岭回归与最小二乘法

admin@opensl.tk阅读(31)评论(0)赞(0)

当X不是列满秩,或者某些列之间的线性相关性比较大时,X’X的行列式接近于0,即X‘X接近于非奇异,计算(X‘X) ^-1 时误差会很大。此时传统的最小二乘法缺乏稳定性与可靠性。岭回归是对最小二乘回归的一种补充,它损失了无偏性,来换取高的数值...

神经网络语言模型(NNLM)-openSL

神经网络语言模型(NNLM)

admin@opensl.tk阅读(21)评论(0)赞(0)

1. 模型原理 用神经网络来训练语言模型的思想最早由百度 IDL (深度学习研究院)的徐伟提出[1],NNLM(Nerual Network Language Model)是这方面的一个经典模型,具体内容可参考 Bengio 2003年发表...