深入大模型系统

内容提要
推荐语
前言
本书的内容安排
阅读本书的要求和目标读者
致谢
· · · · · · (更多)

内容提要
推荐语
前言
本书的内容安排
阅读本书的要求和目标读者
致谢
第1章 大模型技术概述 1
1.1 大模型相关概念辨析 1
1.1.1 基础模型 1
1.1.2 GenAI 模型 2
1.1.3 LLM 3
1.1.4 大模型 3
1.2 大模型技术发展历程 4
1.2.1 技术发展的阶段 4
1.2.2 技术发展的驱动力 7
1.2.3 当前挑战与未来发展方向 8
1.3 大模型系统发展路径 9
1.3.1 基础语言理解与生成 9
1.3.2 工具赋能的增强智能 10
1.3.3 自主思考的深入探索 11
1.3.4 连接物理世界的具身智能 13
第2章 大模型产业发展概述 15
2.1 大模型产业发展回顾 15
2.1.1 Transformer 架构诞生 15
2.1.2 商业模式探索 16
2.1.3 ChatGPT 与生态竞赛 16
2.1.4 “百家争鸣”时代 17
2.2 商业化核心战略 18
2.2.1 构建可持续的商业闭环 18
2.2.2 平民化 20
2.2.3 专业化 21
2.2.4 具身化 22
2.3 产业落地模式 23
2.3.1 场景创新 23
2.3.2 工具创新 24
2.3.3 方法创新 24
2.3.4 评估大模型带来的创新价值 24
2.4 产业竞争格局与挑战 25
2.4.1 领跑者的技术透明化挑战 25
2.4.2 后发者的市场局限 25
2.4.3 创业公司的生存压力 26
第3章 模型预训练技术基础 27
3.1 监督学习 27
3.1.1 监督学习的定义 27
3.1.2 监督学习的统计建模 28
3.1.3 监督学习的统计前提 29
3.1.4 监督学习中模型结构的选择 31
3.1.5 监督学习中模型的泛化机制 32
3.1.6 案例分析：从实验观测数据发现牛顿第二定律 34
3.2 深度学习 36
3.2.1 层次结构与函数表达能力 36
3.2.2 网络训练机制 38
3.2.3 DNN 的过拟合风险与压缩张力 41
3.2.4 DNN 压缩机制 42
3.2.5 DNN 的结构化能力 45
3.3 表示学习 46
3.3.1 表示学习的基本思想 47
3.3.2 CNN 与层次化空间表示 49
3.3.3 残差网络 53
3.4 迁移学习 55
3.4.1 概念引入：从已见分布到未知分布 55
3.4.2 迁移学习的基本策略：冻结还是微调 56
3.4.3 ResNet 与 ImageNet 58
3.4.4 迁移学习的流程 59
3.4.5 实践案例：ResNet-152 羊驼五分类微调 61
3.4.6 迁移学习的范式转变 63
第4章 预训练语言模型基础 64
4.1 标记化 64
4.1.1 记号 64
4.1.2 词汇表 65
4.1.3 未登录词 65
4.1.4 标记化策略 66
4.1.5 编码与解码 67
4.2 编码器-解码器架构 68
4.2.1 编码器-解码器架构概念 68
4.2.2 隐层语义空间 69
4.2.3 通用性和模块化 70
4.3 自监督学习 71
4.3.1 自监督学习的借口任务 71
4.3.2 CLM 73
4.4 RNN 74
4.4.1 RNN 基础与工作原理 74
4.4.2 RNN 编码器 76
4.4.3 RNN 解码器 77
4.4.4 强制教学与计划采样 79
4.4.5 LSTM 与门控结构记忆 82
4.4.6 注意力机制 84
4.5 Transformer 与并行检索 88
4.5.1 从循环依赖到并行计算 88
4.5.2 自注意力机制 90
4.5.3 位置编码机制 91
4.5.4 多头注意力机制 92
4.5.5 标准的 Transformer 层结构 93
4.5.6 自监督的预训练范式 95
第5章 LLM 基础 98
5.1 预训练阶段 98
5.1.1 缩放定律 98
5.1.2 数据 99
5.1.3 算力 102
5.1.4 参数规模 104
5.2 后训练阶段 108
5.2.1 分类头微调 109
5.2.2 指令微调 110
5.2.3 环境价值体系对齐 112
5.2.4 RLHF 的滚雪球式自举对齐 117
第6章 提示工程方法 122
6.1 上下文学习原理机制 122
6.1.1 测试时模型的生成行为控制问题 122
6.1.2 少样本提示与新任务学习机制 123
6.1.3 零样本提示的能力 125
6.2 RAG 的知识迁移机制 128
6.2.1 建立检索模块的“语义可比性”基础 128
6.2.2 检索模块中的效率与精度权衡 130
6.2.3 面向生成质量的新排序器训练范式 132
6.2.4 将外部知识注入模型上下文 134
6.3 AI 搜索 136
6.3.1 从信息检索到任务执行的范式跃迁 136
6.3.2 结构化知识索引机制 137
6.3.3 工具环境中的检索机制 139
6.3.4 用户偏好环境中的召回机制 142
6.3.5 多通道融合机制 144
6.3.6 搜索型系统的演化趋势：从检索接口到语义代理 146
第7章 符号推理方法 150
7.1 状态空间 150
7.1.1 状态空间的构造 150
7.1.2 推理的本质 152
7.1.3 默认搜索机制的局限 154
7.2 路径深度与推理能力 155
7.2.1 输出长度作为“行动预算” 156
7.2.2 CoT 提示 157
7.3 自一致性机制 159
7.3.1 以路径多样性提升推理鲁棒性 159
7.3.2 搜索策略的演进 161
7.4 ToT：构建显式的结构化搜索范式 162
7.4.1 DFS 的结构性瓶颈 163
7.4.2 早期结构化尝试 164
7.4.3 ToT 的核心 166
7.4.4 ToT 应用 167
7.5 语言作为控制器 169
7.5.1 显式提示驱动 169
7.5.2 交互式引导 171
7.5.3 策略的内化 173
7.5.4 策略的涌现：超越模仿，迈向自组织的复杂搜索行为 175
第8章 语言智能体的构建 178
8.1 工作记忆 178
8.1.1 将 LLM 的生成过程重新诠释为策略函数 178
8.1.2 构建智能体的动态认知 180
8.1.3 ReAct 框架 183
8.2 长期记忆 186
8.2.1 ReAct 框架的局限与突破 186
8.2.2 长期记忆的运作机制 188
8.2.3 长期记忆的架构与流程 190
8.3 语言智能体的本质 192
8.3.1 先验知识体系 192
8.3.2 环境交互机制 194
8.3.3 先验与反馈的协同进化 196
第9章 智能体的认知架构 198
9.1 认知架构总览 198
9.1.1 认知架构的核心设计原则 198
9.1.2 SOAR 认知架构 199
9.1.3 CoALA 202
9.2 情节记忆 204
9.2.1 在线层-近线层-离线层 3 层架构 205
9.2.2 在线写入 206
9.2.3 近线处理 208
9.2.4 离线反思 209
9.2.5 在线检索 211
9.3 程序记忆 212
9.3.1 认知过程的规则与调度 214
9.3.2 规则的固化与执行 215
9.3.3 程序记忆的整合与治理 217
9.4 行动规划 218
9.4.1 行动策略的演进 218
9.4.2 规划的生成 220
9.4.3 流水线架构 222
9.4.4 应用案例分析：博弈场景的“博弈树”优化 223
9.5 交互协议 MCP 224
9.5.1 MCP 224
9.5.2 工具的使用模式 228
9.5.3 工具的动态生成 229
9.5.4 工具生态的治理 231
9.5.5 可信赖自主交互的顶层设计 233
· · · · · · (收起)