大语言模型

苏之阳，博士，毕业于香港科技大学，现任小冰公司研发总监，专注于自然语言处理产品的研发工作。他主导了小冰框架、小冰智能评论和XEva等项目的架构设计和发，特别是在大语言模型的研发与应用方面具有丰富的经验。他曾任微软公司资深研发工程师，并在国际学术会议和期刊上发表多篇高水平学术论文。他的研究兴趣涵盖自然语言处理、深度学习以及云计算等领域。

王锦鹏，博士，致力于自然语言处理和推荐系统的研发，拥有在微软亚洲研究院等科技公司担任关键技术岗位的经验，参与了Office文档预训练、推荐大模型等多个重要项目的研发和优化工作。在国际会议和学术期刊上发表了逾30篇高质量论文，并在ACL、EMNLP、AAAI等顶级会议中担任审稿人。

姜迪，博士，拥有十余年工业界研发和管理经验，在雅虎、百度等知名互联网企业工作期间，为企业的多个关键业务研发了核心解决方案。在自然语言处理和数...

(展开全部)

苏之阳，博士，毕业于香港科技大学，现任小冰公司研发总监，专注于自然语言处理产品的研发工作。他主导了小冰框架、小冰智能评论和XEva等项目的架构设计和发，特别是在大语言模型的研发与应用方面具有丰富的经验。他曾任微软公司资深研发工程师，并在国际学术会议和期刊上发表多篇高水平学术论文。他的研究兴趣涵盖自然语言处理、深度学习以及云计算等领域。

王锦鹏，博士，致力于自然语言处理和推荐系统的研发，拥有在微软亚洲研究院等科技公司担任关键技术岗位的经验，参与了Office文档预训练、推荐大模型等多个重要项目的研发和优化工作。在国际会议和学术期刊上发表了逾30篇高质量论文，并在ACL、EMNLP、AAAI等顶级会议中担任审稿人。

姜迪，博士，拥有十余年工业界研发和管理经验，在雅虎、百度等知名互联网企业工作期间，为企业的多个关键业务研发了核心解决方案。在自然语言处理和数据挖掘领域的会议和期刊上发表了数十篇论文并出版了多部学术专著，获得了多个最佳论文奖和CCF奖项，还在IJCAI、WWW、AAAI、CIKM、COLING等多个会议担任委员会成员。

宋元峰，博士，曾就职于百度、腾讯等互联网公司，在人工智能产品发领域拥有丰富的经验，研究涉及自然语言处理、数据挖掘与可视化等方向，并在KDD、ICDM等国际学术会议和期刊上发表多篇论文。

目　　录
前言
第1章　语言模型简介 1
1.1　传统语言模型 2
1.1.1　n-gram语言模型 2
1.1.2　神经网络语言模型 5
· · · · · · (更多)

目　　录
前言
第1章　语言模型简介 1
1.1　传统语言模型 2
1.1.1　n-gram语言模型 2
1.1.2　神经网络语言模型 5
1.1.3　传统语言模型的应用 7
1.2　大语言模型 8
1.2.1　大模型的发展历程 9
1.2.2　训练大模型的挑战 11
1.2.3　大模型的应用 12
1.3　大模型实例 14
1.3.1　基座模型实例 15
1.3.2　对齐模型实例 16
1.4　小结 18
第2章　大模型网络结构 19
2.1　Seq2Seq结构 19
2.2　注意力机制 21
2.3　Transformer架构 22
2.3.1　Transformer模型结构 23
2.3.2　编码器单元 24
2.3.3　解码器单元 26
2.3.4　位置编码 27
2.4　词元化 29
2.4.1　BPE 30
2.4.2　字节级BPE 32
2.4.3　WordPiece 32
2.4.4　Unigram语言模型 33
2.4.5　SentencePiece 34
2.5　解码策略 34
2.5.1　贪心搜索 35
2.5.2　集束搜索 35
2.5.3　Top-k采样 36
2.5.4　核采样 38
2.5.5　温度采样 39
2.6　小结 41
第3章　大模型学习范式的演进 43
3.1　预训练与微调的原理和典型模型 44
3.1.1　预训练与微调 44
3.1.2　三个典型模型 46
3.2　多任务学习的原理和典型模型 51
3.2.1　多任务学习 52
3.2.2　两个典型模型 53
3.3　大规模模型的能力 55
3.3.1　少样本学习 55
3.3.2　提示学习 57
3.3.3　上下文学习 59
3.4　小结 61
第4章　大模型对齐训练 63
4.1　对齐 63
4.1.1　对齐的定义 63
4.1.2　对齐的衡量指标 65
4.2　基于人类反馈的强化学习 67
4.2.1　监督微调的原理 68
4.2.2　训练奖励模型的原理 71
4.2.3　强化学习的原理 73
4.3　基于AI反馈的强化学习 77
4.4　直接偏好优化 79
4.5　超级对齐 80
4.6　小结 80
第5章　大模型评测与数据集 83
5.1　大模型评测方法 83
5.1.1　人工评测 84
5.1.2　自动评测 85
5.2　大模型评测指标 86
5.2.1　准确率、精确率、召回率与F1分数 86
5.2.2　困惑度 88
5.2.3　BLEU与ROUGE 90
5.2.4　pass@k 92
5.3　大模型能力评测基准 92
5.3.1　MMLU 93
5.3.2　GSM8K 94
5.3.3　C-Eval 95
5.3.4　HumanEval 97
5.4　数据集及预处理方法 98
5.4.1　预训练数据集 98
5.4.2　指令微调数据集 102
5.4.3　人工反馈数据集 105
5.4.4　数据预处理方法 106
5.5　小结 107
第6章　分布式训练与内存优化 109
6.1　大模型扩展法则 110
6.2　分布式训练策略 112
6.2.1　数据并行 113
6.2.2　张量并行 113
6.2.3　流水线并行 114
6.2.4　混合并行 116
6.3　大模型训练中的不稳定现象 116
6.4　分布式训练集群架构 117
6.4.1　中心化架构：参数服务器 118
6.4.2　去中心化架构：集合
通信 119
6.5　内存优化策略 127
6.5.1　混合精度训练 127
6.5.2　梯度检查点 131
6.5.3　梯度累积 132
6.5.4　FlashAttention 134
6.6　分布式训练框架 135
6.7　小结 137
第7章　大模型的垂直场景适配方案 139
7.1　从零开始训练新模型 140
7.2　全量参数微调 140
7.3　低参数量微调 142
7.3.1　适配器方法 142
7.3.2　提示词微调 144
7.3.3　前缀微调 146
7.3.4　LoRA 147
7.4　超低参数量微调的探索 149
7.5　小结 150
第8章　知识融合与工具使用 151
8.1　知识融合 152
8.1.1　检索增强生成 152
8.1.2　解码器融合 154
8.1.3　提示融合 156
8.2　工具使用 157
8.2.1　WebGPT 157
8.2.2　LaMDA 162
8.2.3　Toolformer 164
8.3　自主智能体 170
8.3.1　自主智能体的组件 172
8.3.2　自主智能体的工作流程 173
8.4　小结 174
第9章　大模型的进阶优化 175
9.1　模型小型化 175
9.1.1　模型量化 176
9.1.2　知识蒸馏 179
9.1.3　参数剪枝 182
9.2　推理能力及其延伸 184
9.2.1　思维链 185
9.2.2　零样本思维链 188
9.2.3　最少到最多提示 190
9.2.4　ReAct：推理能力+行动能力 191
9.3　代码生成 193
9.3.1　Codex 194
9.3.2　代码生成的要素 197
9.4　多模态大模型 198
9.4.1　BEiT-3 199
9.4.2　CLIP 202
9.4.3　Flamingo 204
9.4.4　MiniGPT-4 207
9.5　高质量数据的作用与构建 208
9.5.1　LIMA 209
9.5.2　教科书级数据 212
9.6　模型能力“涌现”的原因 216
9.7　小结 220
第10 章　大模型的局限性与未来发展方向221
10.1　大模型的局限性222
10.1.1　事实性错误222
10.1.2　理解和推理缺陷223
10.1.3　知识更新问题224
10.1.4　安全性问题224
10.1.5　计算资源限制225
10.2　大模型的未来发展方向226
10.2.1　更强的记忆：从通用到个性化226
10.2.2　装上“手脚”：赋予模型使用工具的能力228
10.2.3　多模态交互：穿越文本的边界229
10.3　小结230
参考文献231
· · · · · · (收起)