第 一部分
第 1章 空间几何与线性代数 3
1．1 多维几何空间 3
1．1．1 空间、函数和向量 3
1．1．2 空间变换与矩阵 7
1．2 矩阵和运算 9
1．2．1 矩阵基本运算 9
1．2．2 矩阵分块运算和线性变换 10
1．2．3 矩阵分解 11
1．2．4 方阵的线性变换：特征值分解 12
1．2．5 非方阵线性变换：奇异值分解 13
1．2．6 其他线性变换：字典学习 14
1．3 实践部分 14
1．3．1 矩阵定义与计算 14
1．3．2 仿射变换实例 16
1．3．3 数据压缩 18
1．4 小结 20
第 2章 概率与统计 22
2．1 概率基础概念 22
2．2 随机变量数字特征 25
2．3 信息熵 28
2．4 概率模型下的线性变换 30
2．5 最大似然估计与最大后验估计 31
2．6 常见分布 34
2．7 实践部分 36
2．8 小结 40
第3章 函数建模与优化 41
3．1 函数与建模 41
3．1．1 机器学习问题描述 42
3．1．2 函数的展开与建模 44
3．2 优化问题 45
3．2．1 多元函数展开和梯度 45
3．2．2 无约束最优化问题 46
3．2．3 约束最优化问题提出 49
3．2．4 等式约束的最优化问题示例 50
3．2．5 不等式约束的最优化问题示例 51
3．2．6 约束最优化与最大熵 53
3．3 损失函数的多元函数表示 54
3．3．1 基于梯度的优化算法 54
3．3．2 动量加入 55
3．3．3 AdaGrad与Adam算法 55
3．4 过拟合与欠拟合问题 57
3．4．1 问题阐述 57
3．4．2 过拟合与欠拟合判断 59
3．5 集成学习 61
3．5．1 方差和偏差 61
3．5．2 Bagging和Boosting 62
3．6 实践部分 63
3．6．1 线性回归问题 63
3．6．2 使用TensorFlow进行曲线拟合 65
3．6．3 多元线性回归问题 66
3．7 小结 68
第4章 机器学习库的使用 69
4．1 TensorFlow执行过程 69
4．2 建模与优化所需的函数 72
4．2．1 自动求导 72
4．2．2 矩阵以及相关的计算 73
4．2．3 从手写数字识别例子来完整学习建模和优化过程 75
4．3 多个计算图 80
4．4 变量命名 80
4．5 小结 83
第二部分
第5章 深度学习模型与全连接网络 87
5．1 多层神经网络与理解 87
5．1．1 表格类型数据与线性模型 87
5．1．2 多层神经网络模型引入 90
5．1．3 过拟合问题 94
5．2 链式求导与反向传播 96
5．2．1 矩阵相乘可训练参数导数与误差传播 96
5．2．2 偏置项导数可训练参数导数与误差传播 97
5．2．3 通过函数可训练参数导数与误差传播 97
5．3 实践部分 98
5．3．1 多层全连接网络从零实现 98
5．3．2 调用TensorFlow实现全连接网络 101
5．3．3 空间变换 102
5．3．4 TensorFlow高层API 103
5．4 小结 104
第6章 卷积神经网络 105
6．1 连续型数据 105
6．2 信号处理中的卷积 107
6．2．1 滑动互相关与特征提取 107
6．2．2 滤波概念与滑动互相关关系 109
6．3 从神经网络的角度看待卷积神经网络 112
6．4 卷积神经网络 113
6．4．1 输入数据形式 113
6．4．2 卷积的数学形式 114
6．4．3 感受野 114
6．4．4 加深网络与调整步长 115
6．4．5 池化层的数学形式 115
6．4．6 空洞卷积 116
6．4．7 图像金字塔 117
6．5 卷积神经网络反向传播算法 117
6．5．1 卷积层反向传播 118
6．5．2 池化层反向传播 118
6．5．3 展开层反向传播 118
6．6 实践部分 118
6．6．1 卷积结构滤波 118
6．6．2 卷积神经网络从零实现 121
6．6．3 卷积神经网络的TensorFlow实现 125
6．6．4 卷积神经网络其他API 127
6．7 小结 127
第7章 循环神经网络基础 128
7．1 文本数据类型 128
7．1．1 无顺序文本 128
7．1．2 顺序文本处理 130
7．2 文本问题建模 130
7．2．1 无顺序文本建模 130
7．2．2 顺序文本建模 132
7．3 循环神经网络模型 132
7．3．1 基本循环神经网络模型 132
7．3．2 循环神经网络结构改进 133
7．3．3 卷积神经网络处理时序数据 134
7．4 反向传播过程 134
7．5 实践部分 134
7．5．1 从零实现循环神经网络 134
7．5．2 文本分类问题 139
7．5．3 TensorFlow的Embedding示例 141
7．5．4 TensorFlow的RNN输入与输出示例 141
7．5．5 中文分词示例 142
7．6 小结 142
第8章 循环神经网络扩展 144
8．1 双向RNN 144
8．2 联结主义时间分类器 146
8．2．1 CTC-Loss 146
8．2．2 CTC解码 147
8．3 编码-解码结构（基于RNN） 149
8．3．1 结构说明 149
8．3．2 序列损失函数（Sequence Loss） 151
8．3．3 预测过程 151
8．4 实践部分 151
8．4．1 使用RNN进行文本分类 151
8．4．2 使用RNN进行文本生成实例 152
8．4．3 中文文本分词实践 155
8．5 小结 162
第9章 深度学习优化 163
9．1 网络结构优化 163
9．1．1 Inception结构 163
9．1．2 残差网络 164
9．1．3 注意力机制 165
9．2 神经网络辅助结构 167
9．2．1 批正则化 167
9．2．2 DropOut 168
9．3 深度学习参数优化 169
9．3．1 学习率 169
9．3．2 批尺寸 169
9．3．3 Embedding大小与DropOut数值 169
9．3．4 网格搜索方法 169
9．3．5 初始化策略 170
9．3．6 数据预处理 170
9．3．7 梯度剪裁 170
9．4 实践部分 171
9．5 小结 172
第三部分
第 10章 图像处理任务 175
10．1 图像多分类问题 175
10．1．1 人脸识别类任务分析 179
10．1．2 三元损失函数 179
10．1．3 使用分类问题训练 180
10．1．4 CenterLoss 180
10．1．5 结果 181
10．2 任意大小图像处理 182
10．2．1 纯卷积结构 182
10．2．2 图像处理任务中的分类与回归问题 184
10．2．3 预测过程 186
10．3 物体检测问题 189
10．3．1 RCNN类物体检测算法 189
10．3．2 Yolo类物体检测方法 195
10．4 小结 199
第 11章 自然语言处理 200
11．1 语音识别任务 200
11．1．1 语音信号特征 201
11．1．2 语音处理模型 204
11．1．3 结果输出 205
11．2 自然语言翻译 205
11．2．1 编码结构 206
11．2．2 解码结构 206
11．2．3 Attention机制 211
11．2．4 网络结构图像解释 214
11．2．5 损失函数 214
11．3 文本转语音（TTS）模型 215
11．3．1 网络模型 215
11．3．2 自定义RNN结构：ZoneoutLSTM 215
11．3．3 自定义RNN：带有卷积层的循环网络 218
11．3．4 自定义解码器 219
11．3．5 自定义Helper 221
11．3．6 自定义Attention机制 222
11．3．7 模型描述 223
11．3．8 后处理 225
11．3．9 结果展示 226
11．4 小结 227
第 12章 非监督学习模型 228
12．1 对抗生成网络 228
12．1．1 反卷积结构 229
12．1．2 对抗神经网络的搭建 230
12．1．3 结果展示 234
12．2 去噪自编码器 234
12．2．1 去噪自编码器结构 235
12．2．2 去噪结果 235
12．2．3 与对抗生成网络对比 236
12．3 增强学习 236
12．3．1 游戏说明 238
12．3．2 网络模型 239
12．3．3 损失函数构建 240
12．4 小结 242
· · · · · · (
收起)
0 有用 Moqi 2022-02-28 23:04:06
2分已读