实用语音识别基础

对发音的生理机理和过程讲解得很透彻，气从肺经气管到猴头声门处，再到咽喉、口腔、鼻道，声带（声门）的振动激发声道中空气的振动，从口鼻两处辐射产生声音。 按照气流通过声门的形式，将声音分成三类：浊音（也称有声音，声带准周期闭合振动）、清音（也称无声音或摩擦音，声带不振动，气流高速通过收缩部分）、爆破音（声带完全闭合，气流突然释放）。 后文对汉语语音的组成及其特点也做了详细的介绍，看的不是很懂，特别是几个表格。讲了元音和辅音、声母和韵母、音调和音节之后，还分析了汉语的波形特征，以及元音和辅音的频谱特征，这部分到不错，对这些基本的概念有了一个更加深入的理解，以前听到这些概念都不知道具体是怎么回事呢，现在算是明白了，呵呵 前面这两章是写基本的原理和概念，非常基础也非常重要，下面一张就要将语音的时域处理方法了，期待ing

短时傅里叶变换以固定的滑动窗对信号进行分析，从而可表征信号的局域频率特性，也就是说傅里叶变换是以等带宽的滤波器组对信号进行分析，并从各路滤波器输出的时间变化得知不同时间的频率分量的分布情况。 但这种时域等宽的分析方法并不是对所有信号都合适，法国地球物理学家Morlet发现，人工地震勘探信号的低频端具有很高的频率分辨率，而在高频端的频率分辨率较低，据此Morlet提出了小波变换。小波变换的时频平面不同位置具有不同的分辨率，是一种多分辨率分析方法，其目的是“既要看到森林（信号的概貌），又要看到树木（信号的细节）”。实际上不仅人工地震勘探信号，许多自然信号（语音、图像等）都具有类似的特性。 首先连续小波变换，它可以理解为信号与一族小波基的内积，小波基族是一组相位、周期和幅值不同的小波函数的集合。在连续小波变换中相位、周期和幅值的变化都是连续的。 如果相位连续变化，而周期和幅值为一些离散的值，那么这样的小波变换就是二进小波变换。如果相位、周期、幅值都为一些离散的值，那么对应的小波变换为离散小波变换（DWT）。（我个人的理解） 对于DWT有以下三个基本问题：一族小波基是否是完备的、是否存在冗余、如何保证不冗余。这些问题可以通过小波框架的理论来解决。有了小波框架的理论，可以将尺度和位称进行适当离散化，最大可能地减少连续小波变换的冗余度，节约计算资源。另一方面，还可以基于连续小波变换的再生核性质，通过合适的插值方法，从小波系数的一个离散子集重新恢复出连续小波系数的全集。因此，可以说小波框架的理论很好的将连续小波变换的冗余性同离散小波变换的经济性结合起来。 多分辨分析是在快速的离散小波变换邻域非常关键的技术，它相当于FFT在经典傅里叶分析中的地位。 小波包（Wavelet Packet）是能将空间覆盖且相互之间不重合的一组正交归一基的集合。小波包的选择不是唯一的，也即对信号的分解方式不是唯一的。如何决定最佳的空间组合及寻找这些空间中的正交归一基石小波包的主要研究内容。一个最佳小波包的选择取决于：（1）信号本省的性质；（2）信号分解的目的；（3）“最佳”原则的选择。一般而言，“最佳”原则是一个可定量度量的代价函数。

语音的频域分析与人的听觉系统对语音的感知过程中需要进行频谱分析是不谋而合的，对语音进行频谱分析是语音信号分析处理和识别的重要途径。傅里叶变换是将信号从时域变为频域的途径，是进行频谱分析的基石。 由于语音信号是非平稳信号，但短时内可以看做是平稳的，因而只有短时内的傅里叶变换才是有意义的，一般可以在一个帧内或一个窗内进行傅里叶变换，这就是短时傅里叶变换（我的理解）。短时傅里叶变换与标准傅里叶变换具有相同的特性，都满足“序列绝对可加”的充分条件。这里的窗口一般选汉明窗（Hamming Window），因为它的旁瓣相对于主瓣而言衰减很多，这样得到的频谱更加平滑，不会有“破碎”的频谱。另外，窗长的选择也很重要，长窗具有较高的频率分辨率，但具有较低的时间分辨率，短窗的频率分辨率低，但具有较高的时间分辨率，因而需要折中考虑。 时间依赖傅里叶分析的方法：由于时域分析对信号的频率特性没有直观的了解，而频域分析中没有信号随时间的变化关系，因而有了时间依赖的傅里叶分析法。 频谱的能量密度：短时傅里叶变换幅度的平方是信号x(n)在时间n处的能量密度函数。 语谱图：时间n为横轴，w为纵轴，能量密度谱函数Pn(w)为灰度级所构成的二维图像即为语谱图（Spectrogram）。它反映了语音信号动态频谱特性，具有重要实用价值，被称为可视语言。

，但对于语音识别而言，更为有效的是频域的分析方法，那么为什么还有进行时域的分析呢？ 语音信号具有时变特性，但在短时内可以看做是平稳的，所以语音的时域分析是建立在“短时”的条件下的，经研究统计，语音信号在帧长为10ms~30ms内是相对平稳的。 语音信号是模拟信号，在进行处理之前，要进行数字化，模拟信号数字化的一般方法是采样，按照Nyquist采样定理进行采样（一般在8K~10KHz）后，在进行量化（一般用8bit，也有16bit等）和编码，变为数字信号。 在语音信号数字化之后，就可以开始对其进行处理了，首先是预处理，

预加重可以用具有6dB/倍频程的提升高频特性的预加重数字滤波器实现。预处理的另一方面工作是分帧和加窗：分帧的帧长一般在10ms~30ms，分帧既可以是连续的，也可以是有部分over-lap；短时分析的实质是对信号加窗，一般采用Hamming窗，其他的还有矩形窗、汉宁窗等，如下图所示。

各种窗函数的频谱图

好了，经过预处理之后就可以真正开始进行时域分析了，这里的时域分析主要包含短时平均能量、短时过零分析、短时自相关分析以及高阶统计量分析等。 短时平均能量（Short Time Average Energy）可以理解为先计算信号格采样值的平方，然后用一个移动窗h(n-m)选取出一个个短时平方序列，并将各段的平方值求和，从而得到短时能量序列。短时平均能量（En）可以用来从清音中区分浊音（浊音的En比清音大得多），可以用来确定声母和韵母、无声与有声、连字等的分界，还可以作为一种超音段信息用于语音识别。但短时平均能量En对于高电平信号可能产生溢出，此时可以采用短时平均幅度（Short Time Average Magnitude）来度量语音信号幅度的变化。 信号的幅度值从正值到负值要经过零点，从负值到正值也要经过零点，称为过零，统计信号在单位时间（如1s）内过零的次数，就成为过零率。如果信号按段分割，就成为短时，把各段信号的过零率做统计平均，就是短时平均过零率（Short Time Average Cross Zero Ratio）。短时平均过零率（Zn）可以作为“频率”来理解。过零率可以用来定量的分析清音/浊音，特别是在背景噪声电平较大时更为有效（相比短时平均能量而言），有时还可以同时结合Zn和En来进行判定。 如果说短时平均过零率是描述复杂波形“频率”特征的一个参数，那么短时平均上升过零间隔（Short Time Rise Zero-Crossing Inteval）就是描述复杂波形“周期”特性的参数。研究表明：在一定噪声背景下，该参数具有很好的稳健性，对不同的语音具有很好的差异性。 自相关函数是偶函数，语音信号的短时自相关函数（Short Time Autocorrelation Function）可以理解为序列[x(n)x(n-k)]通过一个冲激响应为hk(n)的数字滤波器的输出，即有Rn(k) = [x(n)x(n-k)]*hk(n)。短时自相关函数是语音信号时域分析中的一个重要参量，但是运算量很大。短时平均幅度差函数AMDF（Short Time Average Magnitude Difference Function）与自相关函数有类似的功效，但运算量可降低许多，所以在语音信号处理中应用广泛。 最后是高阶统计量了。近来高阶统计量在语音信号处理中应用也越来越多，高阶统计量一般指高阶矩(Moment)、高阶累积量(Cumulant)以及他们的谱——高阶矩谱和高阶累积量谱。首先定义了随机变量x的（第一）特征函数（也称为矩生成函数），实际为它的密度函数f(x)的傅里叶变换。然后定义了第二特征函数（也称为累积量生成函数），它是第一特征函数的对数。还有随机变量x的k阶矩（mk）的定义，它是x的k次幂与f(x)的乘积在x∈R上的积分。类似的还有k阶中心矩（μk）的定义，都与概率论中的定义差不多。现在，可以对第一、二特征函数进行泰勒展开，可以得到ck（x的k阶累积量）和mk之间的一些关系，可以发现k<4时，ck=μk，此时ck的物理意义与μk的物理意义相同，而k>=4时，则不相等。对于c3，描述了概率分布的对称性，通过定义一个新的概念——偏度（Skewness，也称为偏态系数）来衡量。对于c4，文中为了简化，假设了x的均值为0，然后定义了一个称为峰态（也称峰度，Kurtosis）的概念，以表示分布相对于正太分布的尖锐或平坦程度。后面两小节分别对此进行了从单个随机变量到多个随机变量的推广的分析和随机变量服从高斯分布（正态分布）的特殊情形做了分析。