最大似然估计和贝叶斯参数估计

参数估计问题是统计学中的经典问题，并且已经有了一些具体的解决方法。这里我们将主要讨论两种最常用和很有效的方法，也就是：最大似然估计和贝叶斯估计。
最大似然估计把待估计的参数看作是确定性的量，只是其取值未知。最佳估计就是使得产生已观测到的样本（即训练样本）的概率为最大的那个值。与此不同的是，贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，就是把先验概率密度转化为后验概率密度，这样就利用样本的信息修正了对参数的初始估计值。在贝叶斯估计中，一个典型的效果就是，每得到新的观测样本，都使得后验概率密度函数变得更加尖锐，使其在待估参数的真实值附近形成最大的尖峰。这个现象就称为“贝叶斯学习”过程。