目 录
第1章 学习的机制 3
1.1 Colab入门 7
1.2 张量 7
1.3 自动微分 15
1.3.1 使用导数将损失降至最低 17
1.3.2 使用自动微分计算导数 18
1.3.3 知识整合：使用导数最小化函数 19
1.4 优化参数 21
1.5 加载数据集对象 23
1.6 练习 26
1.7 小结 27
第2章 全连接网络 29
2.1 优化神经网络 30
2.1.1 训练神经网络的符号 30
2.1.2 建立线性回归模型 32
2.1.3 训练循环 32
2.1.4 定义数据集 34
2.1.5 定义模型 36
2.1.6 定义损失函数 37
2.1.7 知识整合：在数据上训练线性回归模型 38
2.2 构建第一个神经网络 40
2.2.1 全连接网络的符号 40
2.2.2 PyTorch中的全连接网络 41
2.2.3 增加非线性 43
2.3 分类问题 46
2.3.1 分类简单问题 46
2.3.2 分类损失函数 48
2.3.3 训练分类网络 51
2.4 更好地训练代码 53
2.4.1 自定义指标 53
2.4.2 训练和测试阶段 54
2.4.3 保存检查点 55
2.4.4 知识整合：更好的模型训练函数 56
2.5 批量训练 61
2.6 练习 64
2.7 小结 65
第3章 卷积神经网络 67
3.1 空间结构先验信念 68
3.2 什么是卷积 74
3.2.1 一维卷积 75
3.2.2 二维卷积 76
3.2.3 填充 77
3.2.4 权重共享 78
3.3 卷积如何有益于图像处理 79
3.4 付诸实践：我们的第一个CNN 82
3.4.1 使用多个过滤器生成卷积层 83
3.4.2 每层使用多个过滤器 84
3.4.3 通过展平将卷积层与线性层混合 84
3.4.4 第一个CNN的PyTorch代码 86
3.5 添加池化以减少对象移动 88
3.6 数据增强 93
3.7 练习 97
3.8 小结 97
第4章 循环神经网络 99
4.1 作为权重共享的循环神经网络 100
4.1.1 全连接网络的权重共享 101
4.1.2 随时间共享权重 105
4.2 在PyTorch中实现RNN 107
4.2.1 一个简单的序列分类问题 108
4.2.2 嵌入层 112
4.2.3 使用最后一个时间步长进行预测 114
4.3 通过打包减短训练时间 119
4.3.1 填充和打包 120
4.3.2 可打包嵌入层 122
4.3.3 训练批量RNN 122
4.3.4 同时打包和解包输入 124
4.4 更为复杂的RNN 125
4.4.1 多层 126
4.4.2 双向RNN 127
4.5 练习 129
4.6 小结 130
第5章 现代训练技术 131
5.1 梯度下降分两部分进行 132
5.1.1 添加学习率调度器 133
5.1.2 添加优化器 134
5.1.3 实现优化器和调度器 135
5.2 学习率调度器 139
5.2.1 指数衰减：平滑不稳定训练 140
5.2.2 步长下降调整：更平滑 143
5.2.3 余弦退火：准确率更高但稳定性较差 144
5.2.4 验证平台：基于数据的调整 147
5.2.5 比较调度器 151
5.3 更好地利用梯度 152
5.3.1 SGD与动量：适应梯度一致性 153
5.3.2 Adam：增加动量变化 159
5.3.3 梯度修剪：避免梯度爆炸 162
5.4 使用Optuna进行超参数优化 164
5.4.1 Optuna 164
5.4.2 使用PyTorch的Optuna 167
5.4.3 使用Optuna修剪试验 171
5.5 练习 173
5.6 小结 174
第6章 通用设计构建块 175
6.1 更好的激活函数 179
6.1.1 梯度消失 179
6.1.2 校正线性单位(ReLU)：避免梯度消失 181
6.1.3 使用LeakyReLU激活训练 184
6.2 归一化层：神奇地促进收敛 186
6.2.1 归一化层用于何处 187
6.2.2 批量归一化 188
6.2.3 使用批量归一化进行训练 190
6.2.4 层归一化 192
6.2.5 使用层归一化进行训练 192
6.2.6 使用哪个归一化层 195
6.2.7 层归一化的特点 195
6.3 跳跃连接：网络设计模式 198
6.3.1 实施全连接的跳跃 200
6.3.2 实现卷积跳跃 203
6.4 1×1卷积：在通道中共享和重塑信息 206
6.5 残差连接 208
6.5.1 残差块 208
6.5.2 实现残差块 210
6.5.3 残差瓶颈 210
6.5.4 实现残差瓶颈 212
6.6 长短期记忆网络RNN 214
6.6.1 RNN：快速回顾 214
6.6.2 LSTM和门控机制 215
6.6.3 LSTM训练 217
6.7 练习 220
6.8 小结 220
第Ⅱ部分 构建高级网络
第7章 自动编码和自监督 225
7.1 自动编码的工作原理 227
7.1.1 主成分分析是自动编码器的瓶颈 228
7.1.2 实现PCA 229
7.1.3 使用PyTorch实现PCA 232
7.1.4 可视化PCA结果 233
7.1.5 简单的非线性PCA 235
7.2 设计自动编码神经网络 238
7.2.1 实现自动编码器 239
7.2.2 可视化自动编码器结果 240
7.3 更大的自动编码器 242
7.4 自动编码器去噪 247
7.5 时间序列和序列的自回归模型 252
7.5.1 实现char-RNN自回归文本模型 254
7.5.2 自回归模型是生成模型 261
7.5.3 随着温度调整采样 263
7.5.4 更快地采样 266
7.6 练习 268
7.7 小结 269
第8章 目标检测 271
8.1 图像分割 272
8.1.1 核检测：加载数据 273
8.1.2 在PyTorch中表示图像分割问题 275
8.1.3 建立第一个图像分割网络 277
8.2 用于扩展图像大小的转置卷积 279
8.3 U-Net：查看精细和粗糙的细节 284
8.4 带边界框的目标检测 289
8.4.1 Faster R-CNN 290
8.4.2 在PyTorch中实现Faster R-CNN 295
8.4.3 抑制重叠框 303
8.5 使用预训练的Faster R-CNN 305
8.6 练习 307
8.7 小结 308
第9章 生成对抗网络 309
9.1 理解生成对抗网络 310
9.1.1 损失计算 312
9.1.2 GAN博弈 314
9.1.3 实现第一个GAN 316
9.2 模式崩溃 324
9.3 Wasserstein GAN：缓解模式崩溃 327
9.3.1 WGAN判别器损失 327
9.3.2 WGAN生成器损失 328
9.3.3 实现WGAN 329
9.4 卷积GAN 334
9.4.1 设计卷积生成器 334
9.4.2 设计卷积判别器 336
9.5 条件GAN 339
9.5.1 实现条件GAN 340
9.5.2 训练条件GAN 341
9.5.3 使用条件GAN控制生成 342
9.6 GAN潜在空间概览 343
9.6.1 从Hub获取模型 343
9.6.2 对GAN输出进行插值 344
9.6.3 标记潜在维度 346
9.7 深度学习中的伦理问题 349
9.8 练习 350
9.9 小结 351
第10章 注意力机制 353
10.1 注意力机制学习相对输入重要性 354
10.1.1 训练基线模型 355
10.1.2 注意力机制 357
10.1.3 实现简单的注意力机制 359
10.2 添加上下文 363
10.2.1 点分数 365
10.2.2 总分数 366
10.2.3 附加注意力 367
10.2.4 计算注意力权重 369
10.3 知识整合：一种有上下文的完整注意力机制 371
10.4 练习 375
10.5 小结 376
第11章 序列到序列 377
11.1 序列到序列作为一种去噪自动编码器 378
11.2 机器翻译和数据加载器 380
11.3 序列到序列的输入 385
11.3.1 自回归法 386
11.3.2 教师强制法 386
11.3.3 教师强制法与自回归法的比较 387
11.4 序列到序列注意力 387
11.4.1 实现序列到序列 389
11.4.2 训练和评估 394
11.5 练习 400
11.6 小结 400
第12章 RNN的网络设计替代方案 401
12.1 TorchText：处理文本问题的工具 402
12.1.1 安装TorchText 402
12.1.2 在TorchText中加载数据集 402
12.1.3 定义基线模型 405
12.2 随时间平均嵌入 406
12.3 随时间池化和一维CNN 413
12.4 位置嵌入为任何模型添加序列信息 417
12.4.1 实现位置编码模块 421
12.4.2 定义位置编码模型 422
12.5 Transformer：大数据的大模型 425
12.5.1 多头注意力 425
12.5.2 transformer模块 430
12.6 练习 433
12.7 小结 434
第13章 迁移学习 435
13.1 迁移模型参数 436
13.2 迁移学习和使用CNN进行训练 440
13.2.1 调整预训练网络 442
13.2.2 预处理预训练的ResNet 446
13.2.3 热启动训练 447
13.2.4 使用冻结权重进行训练 449
13.3 用较少的标签学习 451
13.4 文本预训练 454
13.4.1 带有Hugging Face库的transformer 455
13.4.2 无梯度的冻结权重 457
13.5 练习 459
13.6 小结 460
第14章 高级构件 461
14.1 池化问题 462
14.1.1 锯齿损害了平移不变性 464
14.1.2 通过模糊实现抗锯齿 469
14.1.3 应用抗锯齿池化 473
14.2 改进后的残差块 476
14.2.1 有效深度 477
14.2.2 实现ReZero 478
14.3 混合训练减少过拟合 481
14.3.1 选择混合率 483
14.3.2 实现MixUp 484
14.4 练习 489
14.5 小结 489
附录A 设置Colab 491
· · · · · · (
收起)
书虫
Alpha之梦
还没人写过短评呢