探秘大模型应用开发

第1章 AI 2.0时代到来 1
1.1 ChatGPT旋风 2
1.1.1 ChatGPT是什么 2
1.1.2 丰富的应用 3
1.1.3 有喜有忧 4
1.2 认识AI 2.0时代 5
· · · · · · (更多)

第1章 AI 2.0时代到来 1
1.1 ChatGPT旋风 2
1.1.1 ChatGPT是什么 2
1.1.2 丰富的应用 3
1.1.3 有喜有忧 4
1.2 认识AI 2.0时代 5
1.2.1 何谓大模型 5
1.2.2 AI 1.0时代与AI 2.0时代特点分析 8
1.2.3 新“工业革命”来临 11
1.3 本章小结 12
第2章 基座大模型准备 13
2.1 大模型的历史与未来 14
2.1.1 发展史 14
2.1.2 未来趋势 15
2.2 基座大模型训练过程 16
2.2.1 预训练 17
2.2.2 人类反馈的强化学习 21
2.3 选择合适的基座大模型 22
2.3.1 主流基座大模型介绍 22
2.3.2 选型标准 25
2.4 本章小结 27
第3章 GPU相关知识 28
3.1 基础知识 29
3.1.1 显卡与GPU 29
3.1.2 GPU与CPU 30
3.2 GPU的优势 32
3.2.1 GPU与深度学习 32
3.2.2 CUDA编程 34
3.3 准备合适的GPU 36
3.3.1 选择合适的GPU（显卡）供应商 36
3.3.2 英伟达与AMD 37
3.3.3 英伟达GPU各项参数 39
3.3.4 选型建议 46
3.4 本章小结 47
第4章 应用开发概览 48
4.1 关键概念 49
4.1.1 提示 49
4.1.2 上下文学习 50
4.2 应用趋势 56
4.2.1 趋势变迁 56
4.2.2 产品形态 59
4.3 技术实现 60
4.3.1 对齐方法 60
4.3.2 优劣势比较 63
4.3.3 应用流程 65
4.4 本章小结 66
第5章 文档处理 67
5.1 分块 68
5.1.1 分块的作用 68
5.1.2 分块的策略 69
5.1.3 策略选择 72
5.2 词元化 73
5.2.1 概念和方法 73
5.2.2 Token采样策略 76
5.3 嵌入 78
5.4 本章小结 84
第6章 向量数据库 85
6.1 基本概念 86
6.2 相关算法 87
6.2.1 向量相似性算法 87
6.2.2 工程中常用的向量搜索折中算法 88
6.3 核心价值 92
6.4 定位 95
6.5 主流产品 97
6.6 本章小结 98
第7章 微调 99
7.1 背景与挑战 100
7.1.1 背景知识 100
7.1.2 技术挑战 102
7.2 参数高效微调技术 104
7.3 工具实践 113
7.3.1 开源工具包 113
7.3.2 模型微调服务 118
7.4 本章小结 121
第8章 推理优化概论 122
8.1 优化目标 123
8.2 理论基础 124
8.2.1 模型大小的指标 124
8.2.2 模型大小对推理性能的影响 127
8.2.3 大模型相关分析 131
8.3 常见优化技术 141
8.3.1 模型压缩 141
8.3.2 Offloading 147
8.3.3 多GPU并行化 147
8.3.4 高效的模型结构 148
8.3.5 FlashAttention 149
8.3.6 PagedAttention 149
8.3.7 连续批处理 150
8.4 本章小结 151
第9章 部署推理工具 152
9.1 推理架构概述 153
9.2 Web服务 156
9.2.1 Streamlit与Gradio 158
9.2.2 FastAPI与Flask 160
9.3 推理执行引擎 161
9.3.1 服务器端推理 161
9.3.2 端侧推理 176
9.4 推理服务 181
9.5 对话类系统 194
9.6 本章小结 196
第10章 提示工程 197
10.1 理论与技术 198
10.1.1 提示的价值 198
10.1.2 应用领域 198
10.1.3 提示工程技术 199
10.2 开发工具 208
10.2.1 OpenAI Playground 210
10.2.2 Dify 211
10.2.3 PromptPerfect 213
10.3 本章小结 214
第11章 编排与集成 215
11.1 相关理论 216
11.1.1 面临的问题 216
11.1.2 核心价值 217
11.1.3 功能构成 217
11.2 典型架构模式 218
11.2.1 RAG 218
11.2.2 Agent 222
11.3 常见编排框架 235
11.3.1 LangChain框架 235
11.3.2 LlamaIndex框架 248
11.3.3 Semantic Kernel框架 253
11.4 本章小结 264
第12章 应用示例 265
12.1 整体架构 266
12.2 开发过程 267
12.2.1 环境准备 267
12.2.2 实现解析 269
12.2.3 打包部署 276
12.2.4 示例演示 281
12.3 本章小结 284
参考文献 285
· · · · · · (收起)