The Elements of Statistical Learning的笔记(73)

>我来写笔记

按有用程度 按页码先后 最新笔记

  • L.

    L.

    我会慢慢补齐这一份笔记的。 首先定义一下数据矩阵/公式内容已省略/,每行一个数据点,响应向量(response)/公式内容已省略/,数据已经过标准化处理,即满足: /公式内容已省略/ 并假设/公式内容已省略/列向量线性独立。 一、LARS的计算步骤 LARS每次选择一个变量(predic...   (3回应)

    2013-08-03 14:12   21人喜欢

  • 大刀

    大刀 (持续努力,不断进步)

    在搜集寻找了很多机器学习方面的资料之后,我的目光最后还是回到了这本经典巨作。决定边读边写一些笔记,充实荒废两月有余的博客。鉴于之前已经在豆瓣上发布了部分本书第一版相关读书笔记,因此这次笔记的内容将会有针对性的对一些之前没有搞懂的问题进行详细陈述。如果涉及到代码编程方面的内容,避免单纯调用R语言或者matlab中现有函数,而尽量再挖掘一层,分析一下源码。是以作为提高的动力。下面开始: 第三章Linea...   (10回应)

    2012-11-14 19:13   10人喜欢

  • 大刀

    大刀 (持续努力,不断进步)

    核函数和径向基函数 本书第五章介绍的是基函数展开。第六章介绍的是核平滑方法。对于分段多项式样条及其改进版(自然样条,自然三次样条之类的),都可以用B-样条来作为基函数。而B-样条基函数从其定义来看,都是局部的。只是定义在某个分段上或者区间上。而这种局部定义的基函数总是会或多或少削减掉一些全局效应。而核函数平滑方法则显得更为灵活和自由。 径向基函数...   (1回应)

    2012-11-26 19:26   5人喜欢

  • L.

    L.

    /公式内容已省略/ /公式内容已省略/一行一个数据点。需要说明的是,由于ridge regression不是缩放不变的,因此有必要对输入做中心化,即/公式内容已省略/,由此对截距的处理是估计/公式内容已省略/,这样在开头那个公式中就不考虑截距了。 minimize loss function得到

    2013-08-03 19:00   4人喜欢

  • Ms.蔬菜

    Ms.蔬菜 (新的开始)

    其实LARS一开始并不是解决LASSO算法的,只是偶然发现原来Lasso 的variable selection 的方法和LARS及其相似。而且根据LARS这个算法,几乎可以把时间复杂度降低到O(n=p)了,比起之前的迭代O高维度次数实在是简单太多了。 其实LARS算法很简单: 在这里首先说说: Ridge 如果用来做Variable Selection 的一些缺点: 请看下面我随机生成的Ridge Regression 的图: (lamder 值得选取) Ridge Regression 对于共线性的re...

    2015-01-28 09:14   2人喜欢

  • 大刀

    大刀 (持续努力,不断进步)

    我们到底在干什么? 本书的第七章需要很认真的研读。因为这一章所提供的信息,从本质上告诉了我们为什么机器学习算法的评估和模型选择的方法是合理的。相对于单纯的学习算法或者模型,对于这些问题的思考,更有助于理解机器学习存在的合理性和价值。 我们要做的事,从本质上来说是探索自然界现象规律背后的机理和原因。比如说传统的统计学建模过程中,特别注...   (2回应)

    2012-12-04 20:38   1人喜欢

  • 大刀

    大刀 (持续努力,不断进步)

    回归样条和平滑样条 regression spline and smoothing spline 本文试图区分回归样条和平滑样条。主要使用的方法是矩阵的特征值分解。本文内容取自本书第五章。全文均假定是单变量的回归问题。 自然三次样条 这一章的题目叫做basis expansion and regulariza...

    2012-11-21 21:09   2人喜欢

  • 大刀

    大刀 (持续努力,不断进步)

    从岭回归到LASSO 这次笔记的内容依然源自书的第三章。本文主要试图梳理出一类问题,即shrinkage methods in linear regression model。其内容主要包括了从岭回归到lasso的发展脉络,以及shrinkage methods的一般形式。 岭回归 岭估计是后验分布的均值 /公式内容已省略/   (2回应)

    2012-11-15 21:29   3人喜欢

  • 孔明

    孔明 (Lifelong Learning)

    这本书的编排使用的是统计学的思维,而不是机器学习或者模式识别思维,比如这一章:一般来说,在机器学习的框架下,model inference,即模型求解,会单独作为一个重要的话题来讲;另外,model averaging,属于ensemble methods范畴,基本上也会单独成章。 还有,本书花了大量篇幅介绍splines(样条),这个概念基本上在ML中用不到吧。该部分属于basis expansion,但是在ML中,一般直接讲kernel,而basis expansion只是作为一个..   (3回应)

    2015-05-05 20:57   1人喜欢

  • Aron

    Aron (呵呵呵呵)

    本章节开始介绍了机器学习中线性模型和非线性模型家族中简单却十分强大的线性回归和最近邻算法。 对于线性回归,使用最小二乘的方法进行求解,对于矩阵形式的最小二乘,需要利用矩阵求导中的向量乘积对列向量的求导规则,如下: /公式内容已省略/ 所以此时对于最小二乘的矩阵形式: /公式内容已省略/求解结果为: /公式..

    2015-01-23 10:34   2人喜欢

<前页 1 2 3 4 5 6 7 8 后页>

笔记是你写在书页留白边上的内容;是你阅读中的批注、摘抄及随感。

笔记必须是自己所写,不欢迎转载。摘抄原文的部分应该进行特殊标明。

The Elements of Statistical Learning

>The Elements of Statistical Learning