第108页 第四章

Linear Discriminant Analysis: 

linear discriminant analysis, Bayes 和logistic regression 其实是很相似的。在推导LDA的时候我们是通过NB来推导的。 
 
Navie Bayes 是基于独立的条件概率：



朴素贝叶斯就是假设条件概率为互相独立的就是说conditional independence. 但是这在现实中基本是不可能存在的。

但是但是朴素贝叶斯在现实当中却非常有效（虽然很多次都违反了原假设，朴素贝叶斯最初被作为垃圾邮件分类） 

其中朴素贝叶斯分为两种：
所以朴素贝叶斯因为是conditional independence 公式就可以用乘法了： 

Response Value Y 都是连续型的
但是X分为discrete 和连续型的： 

离散型的我们按照上面的处理方法就可以了，如果是X是连续型的话，我们通常会假设X符合高斯分布（正态分布）,所以这个又叫做Gaussian Naive Bayes. 

书上有一段话解释了为什么朴素贝叶斯那么强大的原因： 

左边的图是individual population density estimation, 右边是加了posterior probabilities,所以看上去是平滑很多的。
Although the individual class density estimates may be biased, this bias might not hurt the posterior probabilities as much, esp near the decision regions. In fact the problem may be able to withstand considerable bias for the savings in variances such as naive assumption earns.

所以在这个朴素贝叶斯的公式基础上，取logit 就会变成logistic regression 了： 

那LDA又是什么呢： Linear Discriminant Analysis 
LDA又叫做Generative Methods, 我们知道在NB和Logistic 模型当中都是对Y的分布进行观察的，但是LDA主要是对X的分布也进行观察所以NB model 的是Y, LDA是(X,Y) 

LDA的一些假设： 
（1）假设X（无论是多少个category) 都是高斯分布
（2）可以使用mix Gaussian 分布可以使决策区域更加flexible 

为什么要使用LDA: 
（1）因为Machine Learning 探讨更多的是优化问题，所以我们在LDA之前已经有一个基础的方法就是Logistic Regression 的方法，Logistic regression 的方法通常用MLE求出来的参数其实是非常不稳定的（就是会受到sample data）的影响。 
（2） LDA还有一个假设，不过仅限于线性的，就是如果是multi-class的话我们是假设各个class之间的variance 是相等的。 

我们首先假设X是服从高斯正态分布的： 

这个是p (covariate>1)的情况下的高斯分布，
($(x-u_{k})^{T}\sum (x-u_{k})$) sigma 是协方差矩阵