孔明对《Pattern Recognition and Machine Learning》的笔记(15)

不明白这段话，做个标记。

对于Python来说，functional是参数为函数的函数～

对于最简单的

来说，其实是($w$)将D维的($x$)降到了1维，也就是一个标量。这里可以跟PCA比较。 有意思的思考角度！

The Bayesian viewpoint: everything has a distribution.

关于高斯过程（Gaussian Process）： 对于linear regression来说，高斯过程相当与是对输出y写出了一个分布（后面将其作为y的先验），在假设y的均值为0的情况下，y的协方差矩阵是一个gram矩阵。假设有N个样本，那么gram矩阵的大小是N*N，那么y的维数应该是N，所以说，如果从这个高斯过程中采样，得到的y的维度就只能是N了么？

在这个经典的MRF应用的例子中，Bishop大神还是没能说清楚为什么clique ($\{x_i, y_i\}$) 和 ($\{x_i, x_j\}$)对应的energy function是($-\eta x_iy_i$)和($-\beta x_ix_j$)，还有为什么要添加($hx_i$)这一项。 potential function的定义还真是随意啊！如果使用其他的能量函数，也能达到image denoising的效果么？

终于，我可以说，我对D-分离（D-separation）有个比较完整的了解了。 第一次听说是在研一的人工智能课上，老师把自己讲糊涂了（呵呵。。。）。当时没有意识到D-分离的重要性，所以我也就得过且过。考试前突击时发现要考，还在网上搜索关于D-分离的介绍，考试中蒙混过关。 第二次是去年，模式识别课上老师详细介绍了D-分离的三种情况，但是并没有说明为什么是这三种情况，我还以为是人为定义呢。。。 这一次理解就是通过PRML这本书，Bishop大神将D-分离的来龙去脉讲的非常清晰，从三个例子入手，通过概率公式，而且同时考虑conditioning variables是否可见（observed），将D-分离和条件独立连接起来。

今天重新读Gaussian distribution部分，严格按照书中的思路手工进行推导（不包括习题），感慨conditional Gaussian distribution和marginal Gaussian distribution的结果之美。

关于non-parametric methods: non-parametric和parametric方法是两种概率密度估计方法，两者的不同是：parametric方法“having specific functional forms governed by a small number of parameters whose values are to be determined from a data set.”，例如Gaussian中的均值和方差参数，相反，non-parametric方法则不包含控制概率密度函数的参数，如KDE、k近邻等。 注意，non-parametric方法也可能含参数，例如k近邻方法中的k，只不过这里的k并不控制概率密度函数的形式（functional form）。 关于这两者，虽然提到它们的次数很多，但根据我的经验，很多人说不明白它们之间的不同。

NN和Graphical models的区别：