Transformer自然语言处理实战

序1
前言3
第1章 欢迎来到Transformer的世界11
1.1 编码器-解码器框架12
1.2 注意力机制14
1.3 NLP的迁移学习15
· · · · · · (更多)

序1
前言3
第1章 欢迎来到Transformer的世界11
1.1 编码器-解码器框架12
1.2 注意力机制14
1.3 NLP的迁移学习15
1.4 Hugging FaceTransformers库：提供规范化接口18
1.5 Transformer应用概览19
1.6 Hugging Face生态系统23
1.7 Transformer的主要挑战27
1.8 本章小结27
第2章 文本分类29
2.1 数据集30
2.2 将文本转换成词元36
2.3 训练文本分类器44
2.4 本章小结60
第3章 Transformer架构剖析62
3.1 Transformer架构62
3.2 编码器64
3.3 解码器79
3.4 认识Transformer81
3.5本章小结87
第4章 多语言命名实体识别88
4.1 数据集89
4.2 多语言Transformer93
4.3 多语言词元化技术94
4.4 命名实体识别中的Transformers96
4.5 自定义Hugging Face Transformers库模型类98
4.6 NER的词元化103
4.7 性能度量105
4.8 微调XLM-RoBERTa106
4.9 错误分析108
4.10 跨语言迁移114
4.11 用模型小部件进行交互120
4.12 本章小结121
第5章 文本生成122
5.1 生成连贯文本的挑战123
5.2 贪婪搜索解码125
5.3 束搜索解码129
5.4 采样方法132
5.5 top-k和核采样134
5.6 哪种解码方法最好136
5.7 本章小结137
第6章 文本摘要138
6.1 CNN/DailyMail数据集138
6.2 文本摘要pipeline139
6.3 比较不同的摘要143
6.4 度量生成文本的质量144
6.5 在CNN/DailyMail数据集上评估PEGASUS150
6.6 训练摘要模型152
6.7 本章小结158
第7章 构建问答系统160
7.1 构建基于评论的问答系统161
7.2 评估并改进问答pipeline183
7.3 生成式问答196
7.4 本章小结199
第8章 Transformer模型调优201
8.1 以意图识别为例201
8.2 创建性能基准203
8.3 通过知识蒸馏减小模型大小208
8.4 利用量化技术使模型运算更快220
8.5 基准测试量化模型225
8.6 使用ONNX和ONNX Runtime进行推理优化226
8.7 使用权重剪枝使模型更稀疏231
8.8 本章小结235
第9章 零样本学习和少样本学习236
9.1 构建GitHub issue标记任务238
9.2 基线模型—朴素贝叶斯245
9.3 零样本学习248
9.4 少样本学习256
9.5 利用无标注数据272
9.6 本章小结278
第10章 从零训练Transformer模型280
10.1 如何寻找大型数据集281
10.2 构建词元分析器290
10.3 从零训练一个模型301
10.4 结果与分析315
10.5 本章小结319
第11章 未来发展趋势321
11.1 Transformer的扩展321
11.2 其他应用领域329
11.3 多模态的Transformer334
11.4 继续前行的建议342
· · · · · · (收起)