目录
第一部分 基础知识
第1章 自然语言处理介绍 2
1.1 什么是自然语言处理 2
1.2 自然语言处理的发展历史 2
1.3 自然语言的特性 3
1.3.1 歧义性 4
1.3.2 主观性 4
1.3.3 创造性 4
1.3.4 社会性 5
1.4 自然语言处理的研究领域 6
1.5 自然语言处理的常规任务 6
1.5.1 机器翻译 7
1.5.2 信息抽取 8
1.6 自然语言处理的常用工具 12
1.6.1 常用工具 12
1.6.2 PyTorch介绍 13
第2章 神经网络预备知识 18
2.1 神经网络核心概念 18
2.1.1 导数和梯度 18
2.1.2 链式法则 20
2.1.3 损失函数 22
2.1.4 前向传播与反向传播 24
2.1.5 激活函数 28
2.2 神经网络主要类型 33
2.2.1 全连接神经网络 33
2.2.2 卷积神经网络 34
2.2.3 循环神经网络 36
2.2.4 长短期记忆网络 38
2.2.5 自编码器 40
2.2.6 生成对抗网络 41
第3章 预训练语言模型基础知识 44
3.1 什么是预训练 44
3.2 文本表示方法的分类 45
3.3 词袋型文本表示方法 46
3.3.1 独热编码 46
3.3.2 词袋模型 47
3.3.3 N-gram 49
3.3.4 TF-IDF 51
3.4 主题型文本表示方法 53
3.4.1 LSA 53
3.4.2 LDA 57
3.5 固定型词向量文本表示方法 59
3.5.1 Word2Vec 59
3.5.2 GloVe 70
3.5.3 FastText 75
3.6 动态型词向量文本表示方法 77
3.6.1 ELMo 77
3.6.2 ELMo实现 78
第二部分 预训练语言模型
第4章 注意力机制和Transformer模型 82
4.1 注意力机制简介 82
4.1.1 什么是注意力机制 82
4.1.2 自注意力机制 88
4.1.3 多头注意力机制 95
4.2 Transformer模型 97
4.2.1 编码器部分 98
4.2.2 解码器部分 101
4.2.3 模型示例 104
第5章 BERT和变种BERT 110
5.1 BERT 110
5.1.1 BERT模型结构 110
5.1.2 BERT输入表示 112
5.1.3 BERT预训练 113
5.1.4 BERT微调训练 117
5.1.5 模型示例 120
5.2 变种BERT 122
5.2.1 ALBERT 122
5.2.2 XLNet 123
5.2.3 RoBERTa 127
5.2.4 ELECTRA 129
5.2.5 ERNIE 132
第6章 GPT和提示工程 137
6.1 GPT系列 137
6.1.1 GPT-1 137
6.1.2 GPT-2 140
6.1.3 GPT-3 142
6.1.4 InstructGPT和ChatGPT 144
6.1.5 GPT-4 147
6.2 Prompt 148
6.2.1 什么是提示工程 148
6.2.2 构建提示模板的方法 151
6.2.3 提示工程常用技术 152
6.2.4 提示词应用示例 157
第三部分 实践与应用
第7章 基于LangChain和ChatGLM-6B的知识库问答系统 166
7.1 核心组件 166
7.1.1 LangChain 166
7.1.2 ChatGLM-6B 169
7.2 构建流程 172
7.2.1 本地知识库构建 172
7.2.2 基于知识库的问答系统构建 173
7.3 趋势与挑战 176
7.3.1 发展趋势 176
7.3.2 面临的挑战 177
第8章 基于大型语言模型的自然语言处理任务应用研究 178
8.1 文本分类任务 178
8.1.1 任务描述 178
8.1.2 提示词设计 179
8.1.3 实现与测试 180
8.2 信息抽取任务 182
8.2.1 任务描述 182
8.2.2 提示词设计 183
8.2.3 实现与测试 184
8.3 文本匹配任务 186
8.3.1 任务描述 187
8.3.2 提示词设计 187
8.3.3 实现与测试 187
第9章 大模型训练实战 190
9.1 预训练阶段 190
9.1.1 数据准备 190
9.1.2 数据处理 191
9.1.3 词表扩充 192
9.1.4 模型预训练 193
9.1.5 模型效果评测 195
9.2 指令微调阶段 197
9.2.1 指令微调 197
9.2.2 数据集准备 199
9.2.3 指令微调模板 202
9.3 奖励模型 204
9.3.1 直接打分 204
9.3.2 排序打分 207
9.4 RLHF微调 211
9.4.1 流程介绍 211
9.4.2 具体实现 211
9.5 大模型评测 214
9.5.1 评测内容 214
9.5.2 评测方法 215
9.5.3 评测挑战 216
· · · · · · (
收起)
还没人写过短评呢