第三章第四节

写了几篇读书笔记，发现豆瓣写公式的功能虽然有，但是往往会出现bug。不过还是继续读继续写吧。
先牢骚几句，也许是最近天气炎热的原因，我总是不能耐心看书。读书笔记写的也都是凑凑合合，好多部分懒的敲出来。我知道，想要读这种学术书籍的人，我坚持写笔记的原因，其实只是对自我的一种考验吧。希望我能坚持把这件事情昨晚。
好了，继续第三章第四节的笔记了。
本书第三章第四节的题目叫做自相关与偏自相关（autocorrelatio and partial autocorrelation）
这个是接触过时间序列的人一定要熟悉的东西，因此这一篇笔记我尽量详细的写。
首先，展示MA(q)过程的ACF，($x_t=\theta(B)w_t$)，其中$\theta(B)=1+\theta_1 B+ ... +\theta_q B^q($，因为$)x_t($是有限的白噪声的线性组合，因此这个过程是平稳的，均值函数为0。其自协方差函数为：
$)($\rho(h)=cov(x_{t+h},x_t)=\sigma_w^2 \sum_{j=0}^{q-h}\theta_j \theta_{j+h}$)($ 对于$)0 \leq h \leq q($，对于$)h > q$,为0。
q时滞之后的截尾性，是MA(q)的特点。下面是MA(q)的ACF
移动平均过程的自相关函数

对于一个causal的ARMA(p,q)过程，我们可以写一个通常意义的ACF，如下：
ARMA的ACF
请原谅笔者直接截图，输入latex实在是费了太大劲了，另外笔者刚刚看到一个盆友与Efron的合影，有点不太淡定。错过了此生唯一一次能看到Efron的机会，笔者真是后悔到家了。（Efron是bootstrap的提出者，斯坦福大学的大牛，笔者近期相当仰慕的统计学家）。

例3.13.ARMA(1,1)过程的ACF.
具体推导ACF的过程，我就不给出了，我只给出一个重要的结论。仅仅从ACF上，我们无法区分ARMA（1,1）和AR（1）过程，因此，引入了PACF的概念。

当时间序列为移动平均过程的时候，ACF函数提供了对于依存关系的非常足够的信息，但是当序列为ARMA或者AR的时候，就不然了。因此，我们引入PACF。
我们考虑一个causal的AR（1）过程，($x_t=\theta x_{t-1}+w_t$)
则有自协方差函数为：
AR(1)的自协方差函数
($x_t$)与($x_{t-2}$)的相关系数并不为0，因为二者经过($x_{t-1}$)有了联系。假设我们打断这条连接的链条，删掉($x_{t-1}的效应$)。我们得到如下的：

也就是说，我们只需要部分的自相关性。
which is the correlation between $x_t$ and $x_s$ with the linear effect of everything in the middle removed

下面给出一个比较正式的对于零均值的平稳时间序列的PACF的定义，令($\hat{x_{t+h}}$)是($x_{t+h}$)在$\{x_{t+h-1},.....,x_{t+1}\}($上的回归。我们写成下面这样：
$)$\hat{x_{t+h}}=\beta_1x_{t+h-1}+\beta_2x_{t+h-2}+....+\beta_{h-1}x_{t+1}
($$
不需要截距项（这里请读者自行思考）

同样，$\hat{x_t}$是在$\{x_{t+1},....,x_{t+h-1}\}$上的回归，写成下面的样子：
$$)
\hat{x_{t}}=\beta_1x_{t+1}+\beta_2x_{t+2}+....+\beta_{h-1}x_{t+h-1}$$(未完待续)