子莒对《The Elements of Statistical Learning》的笔记(14)

The Elements of Statistical Learning
  • 书名: The Elements of Statistical Learning
  • 作者: Trevor Hastie/Robert Tibshirani/Jerome Friedman
  • 副标题: Data Mining, Inference, and Prediction, Second Edition
  • 页数: 745
  • 出版社: Springer
  • 出版年: 2009-10-1
  • 第145页

    2018-03-01 11:42:22 回应
  • 第151页

    最小平方和惩罚残差:

    任何函数都可以插值

    必须用最简单二乘法曲线拟合做插值,无法容忍别的衍生方案。

    2018-03-01 11:52:16 回应
  • 第168页

    惩罚函数可以看做傅里叶变换后增加对高频变量学习的奖惩力度

    对无限维空间的损失函数的criterion下降到有限维空间求解。

    2018-03-01 12:02:08 回应
  • 第168页

    特征值:

    特征函数:

    constraint搞事

    式子重新写

    固定维空间

    进行映射

    固定维度空间

    可以给予贝叶斯解释,f是一个均值为0的高斯分布函数,先验协方差函数是K,特征函数产生rj作为关联方差。

    光滑函数有先验的方差

    min函数的criterion则是一个联合似然概率界。

    2018-03-01 14:07:31 回应
  • 第220页

    2018-03-01 16:32:42 回应
  • 第267页

    实质上,Bootstrap是非参数或参数极大似然的计算机实现。最大似然公式的自举的优点是,它允许我们在没有公式的情况下计算标准误差和其他量的最大似然估计。

    在我们的例子中,假设我们自适应地选择通过交叉验证的数量和定义的B样条曲线的节点的位置,而不是把他们提前。以节点及其位置的集合表示为lamda。然后,标准误差和置信带应该考虑到lamda的自适应选择,但没有办法进行分析。

    借助Bootstrap,我们计算了每个自举样本的自适应节点选择b样条平滑。由此从噪声中目标的变化以及从lamda可以产生曲线的百分比捕捉。在这个特定的例子中,置信带(没有显示)看起来与固定带不太一样。但在其他问题中,如果使用更多的适应,这可能是一个重要的捕获效果。

    2018-03-02 14:20:02 回应
  • 第270页

    在高斯模型,最大似然参数Bootstrap分析某种程度类似于贝叶斯分析,因为他们都是在无信息情况下使用先验自由参数的。这很一致,因为在一个常数之前,后验分布与可能性成比例。这种对应关系也延伸到非参数的情况下,在非参数Bootstrap逼近无信息先验贝叶斯分析。

    不过我们有先验的无信息平方差,用来代替后验的最大似然平方差,由这个先验的均方差,算出后验的均值和方差。然后,完成后验分布最大似然估计(MAP Estimate)

    2018-03-02 14:34:00 回应
  • 第272页

    在这个意义上,Bootstrap分布代表一种非参数、无信息的后验分布以求估计参数。然而,Bootstrap分布本身不需要先验分布或对后验分布抽样。因此,我们可以把引导分布看作是“穷人版”的贝叶斯后验分布。通过扰动数据,引导接近扰动参数的贝叶斯效果,通常更容易进行。

    2018-03-02 14:54:28 回应
  • 第245页

    求期望之后求最大似然估计

    2018-03-02 17:21:57 回应
  • 第279页

    2018-03-02 17:31:52 回应
<前页 1 2 后页>

子莒的其他笔记  · · · · · ·  ( 全部650条 )

疯癫与文明
5
故园
1
词与物
7
朗西埃:关键概念
10
后人类
6
导读尼采
11
导读福柯
2
揭秘深度强化学习
16
黑格尔
3
现象学的方法
11
斯宾诺莎的实践哲学
1
柏拉图全集(增订本第七册)
9
陈康:论希腊哲学
1
读《资本论》
1
读《资本论》
3
快感大转移
9
柏拉图全集 5
10
时间与永恒
14
物体系
20
东风
3
演讲与论文集
22
Java并发编程实战
2
不可言明的共通体
3
导读布朗肖
1
上帝、关系与言说
2
性别之伤与存在之痛
15
帝国
22
马克思《资本论》中抽象和具体的辩证法
6
实践哲学
4
性别麻烦
18
精神现象学(上卷)
4
偶然性、霸权和普遍性:关于左派的当代对话
4
马克思恩格斯全集(第3卷)
22
哲学史讲演录(第二卷)
1
统计语言学习
9
存在与时间
34
对亚里士多德的现象学解释
18
保卫马克思
10
Neural Network Methods in Natural Language Processing
4
辩证法的历险
21
资本主义的起源
6
托洛茨基论反法西斯斗争
12
深度学习
20
亚里士多德哲学的基本概念
25
德国观念论与当前哲学的困境
17
新马克思主义评论
32
统计自然语言处理(第2版)
11
Effective java 中文版(第2版)
6
欧洲科学的危机与超越论的现象学
11
林中路
59
Scala函数式编程
5
自然语言处理综论
4
马克思恩格斯全集(第三卷)
5
时间概念史导论
14
Monte Carlo Methods in Financial Engineering
3
回到海德格尔:本有与构境
9
统计自然语言处理基础
9
机器学习
10
Machine Learning
13