声纹技术：从核心算法到工程实践

1 声纹技术的前世今生 1
1.1 什么是声纹1
1.2 最早的声纹技术2
1.3 声纹技术的发展5
1.3.1 声纹技术与音频信号处理5
1.3.2 模板匹配方法6
· · · · · · (更多)

1 声纹技术的前世今生 1
1.1 什么是声纹1
1.2 最早的声纹技术2
1.3 声纹技术的发展5
1.3.1 声纹技术与音频信号处理5
1.3.2 模板匹配方法6
1.3.3 早期统计学方法 8
1.3.4 高斯混合模型8
1.3.5 联合因子分析与 i-vector9
1.4 大变革：深度学习时代的来临 10
1.5 新的机遇：智能语音助手的普及11
2 音频信号处理基础 14
2.1 欲懂声纹，先学音频14
2.2 声学基础 15
2.2.1 语音的产生 15
2.2.2 正弦波 16
2.2.3 频谱17
2.2.4 听觉与感知 18
2.2.5 听觉的非线性21
2.3 音频信号基础概念24
2.3.1 模拟音频信号25
2.3.2 模拟转数字：采样与量化27
2.3.3 音频编码29
2.3.4 音频文件格式33
2.3.5 动手实践：SoX 程序 35
2.4 从信号到特征：短时分析 38
2.4.1 传统特征分析的不足38
2.4.2 分帧38
2.4.3 窗函数处理 39
2.4.4 帧叠加与帧采样 41
2.5 常用的音频特征42
2.5.1 时域特征42
2.5.2 从时域到频域：傅里叶变换45
2.5.3 频谱、倒谱、时频谱和功率谱48
2.5.4 感知线性预测49
2.5.5 梅尔倒谱系数49
2.5.6 功率正则化倒谱系数50
2.5.7 动手实践：用 LibROSA 提取 MFCC 特征 50
3 声纹识别技术 54
3.1 声纹识别：声纹技术的核心54
3.1.1 名称与概念 54
3.1.2 按任务分类 55
3.1.3 按文本内容分类 56
3.1.4 系统流程58
3.2 声纹识别的评价指标60
3.2.1 相似匹配60
3.2.2 录入集与验证集 61
3.2.3 ROC 曲线及曲线下面积62
3.2.4 等错率 63
3.2.5 最小检测代价函数64
3.2.6 辨认准确率 64
3.3 深度学习之前的方法65
3.3.1 早期方法65
3.3.2 高斯混合模型方法66
3.3.3 高斯混合模型-通用背景模型70
3.3.4 高斯混合模型-支持向量机 72
3.3.5 联合因子分析74
3.3.6 i-vector 方法 76
3.4 基于深度学习的方法78
3.4.1 关于深度学习的简单介绍79
3.4.2 声纹识别中的神经网络84
3.4.3 运行时的推理逻辑86
3.4.4 声纹识别中的损失函数93
3.5 声纹识别中的数据处理102
3.5.1 声纹识别的数据需求102
3.5.2 数据预处理 103
3.5.3 数据增强105
3.5.4 多数据集训练110
3.6 声纹验证 112
3.6.1 验证方法112
3.6.2 分数正则化 112
3.7 常用数据集115
3.7.1 TIMIT 115
3.7.2 VCTK 115
3.7.3 LibriSpeech 116
3.7.4 LibriVox116
3.7.5 VoxCeleb116
3.7.6 CN-Celeb117
3.7.7 BookTubeSpeech 117
3.7.8 维基百科语音库 117
3.7.9 DeepMine118
4 声纹识别的工程部署 120
4.1 从模型到产品 120
4.1.1 模型不等于产品 120
4.1.2 软件工程基本概念120
4.2 声纹识别常见工程问题126
4.2.1 录入阶段的工程问题126
4.2.2 识别阶段的工程问题128
4.2.3 语音处理引擎：流式信号处理与计算图131
4.2.4 模型版本迭代137
4.2.5 在线代理指标138
4.3 全设备端部署 139
4.3.1 部署方式的分类依据139
4.3.2 版本迭代更新139
4.3.3 资源限制：设备端的最大挑战141
4.3.4 模型量化技术141
4.4 全服务器端部署144
4.4.1 全服务器端架构 144
4.4.2 版本迭代更新145
4.4.3 负载均衡与故障处理149
4.5 复合式部署151
4.5.1 声纹信息的敏感性151
4.5.2 复合式架构 152
4.5.3 版本迭代更新153
5 声纹分割聚类技术 156
5.1 分割聚类：更好地理解对话语音156
5.1.1 关于名称与历史 156
5.1.2 常见应用157
5.1.3 常见通用架构160
5.1.4 声纹分割聚类的不同任务类型162
5.2 声纹分割聚类与多说话人识别 163
5.2.1 声源分离163
5.2.2 连续声纹识别164
5.2.3 说话人转换检测 165
5.3 聚类分析 167
5.3.1 聚类不等于分类 167
5.3.2 在线聚类技术167
5.3.3 离线聚类技术170
5.3.4 基于离线聚类的在线声纹分割聚类178
5.4 二次分割方法 180
5.4.1 基于分类的二次分割180
5.4.2 基于隐马尔可夫模型的二次分割181
5.5 监督式方法182
5.5.1 聚类方法的一些问题182
5.5.2 从传统聚类到监督式方法184
5.5.3 无界交织态循环神经网络187
5.5.4 判别神经聚类191
5.5.5 置换不变性训练 195
5.5.6 端到端模型 198
5.5.7 与语音识别的联合训练200
5.6 声纹分割聚类的评价指标 203
5.6.1 评价指标的置换不变性203
5.6.2 分割聚类错误率 203
5.6.3 词分割聚类错误率205
5.6.4 其他指标206
5.7 常用数据集206
5.7.1 CALLHOME206
5.7.2 NIST SRE 2000207
5.7.3 ICSI208
5.7.4 Fisher208
5.7.5 AMI209
6 声纹技术的其他应用 211
6.1 声纹的力量211
6.2 用于语音识别 212
6.2.1 语音识别技术概述212
6.2.2 声纹自适应声学模型213
6.3 用于语音合成 214
6.3.1 语音合成技术概述214
6.3.2 声纹克隆：合成任意说话人的声音218
6.4 用于语音检测 220
6.4.1 语音检测技术概述220
6.4.2 个性化语音检测 220
6.5 用于人声分离 221
6.5.1 人声分离技术概述221
6.5.2 定向人声分离223
6.6 声纹转换 226
6.7 声纹还原度测试227
6.7.1 音频处理的声纹保留性质227
6.7.2 音频编码格式的还原度测试228
6.7.3 语音合成技术的还原度测试229
7 声纹技术的未来 231
7.1 概述 231
7.2 声纹技术的挑战231
7.2.1 对信道变化的鲁棒性231
7.2.2 对声纹变化的鲁棒性232
7.2.3 反欺诈 233
7.3 对更多数据的需求235
7.3.1 更为多样的数据增强235
7.3.2 用于训练的合成语音237
7.3.3 自动数据采集237
7.4 声纹技术的未来研究方向 238
7.4.1 对抗学习238
7.4.2 多模态说话人识别240
7.4.3 联邦学习241
7.4.4 集成学习243
7.4.5 同时完成声纹分割聚类与人声分离245
7.5 结语 246
中英词汇对照 248
参考文献 259
· · · · · · (收起)