目录
前言
本书赞誉
第1章 初识大语言模型 1
1.1 大语言模型的发展 1
1.2 常见的大语言模型 3
1.2.1 统计学模型N-gram 3
1.2.2 统计学模型HMM 4
1.2.3 神经网络模型RNN 6
1.2.4 自然语言处理中的传统模型LSTM 7
第2章 大语言模型的基石—Transformer 10
2.1 Transformer模型的由来 10
2.2 Transformer模型的基本原理 11
2.2.1 词嵌入 13
2.2.2 位置编码 17
2.2.3 注意力机制 20
2.3 Transformer注意力机制的技术实现 24
2.3.1 自注意力机制的设计细节 26
2.3.2 多头注意力机制的设计细节 30
2.4 Transformer模型总结 31
第3章 从Transformer到ChatGPT 33
3.1 ChatGPT的由来 33
3.2 二元语法模型 34
3.2.1 文本如何转换为数字 35
3.2.2 如何设计模型 35
3.2.3 如何训练模型 38
3.3 GPT模型 40
3.3.1 GPT模型的结构 40
3.3.2 GPT模型的设计实践 42
3.4 简单GPT模型的完整实现 46
3.5 GPT模型的优化 53
3.5.1 样本数据的精细化处理 53
3.5.2 特殊符号的引入 54
3.5.3 早停策略的应用 56
3.5.4 模型训练中的强化学习 57
3.6 GPT模型总结 59
第4章 大语言模型的微调技术 61
4.1 微调的基本概念 61
4.1.1 适配器微调 63
4.1.2 前缀微调 64
4.1.3 LoRA 65
4.1.4 QLoRA 65
4.2 微调中的关键技术 66
4.2.1 PEFT工具包 66
4.2.2 LoRA 67
4.3 微调技术的应用案例 69
4.3.1 BERT分类模型 69
4.3.2 基于BERT分类模型的微调 78
4.3.3 QLoRA中使用的量化技术 82
第5章 企业AI应用技术—RAG 85
5.1 RAG技术的基本原理 85
5.2 RAG技术的应用案例 87
5.2.1 客服问答系统 87
5.2.2 财富管理系统 88
5.2.3 RAG2SQL 90
5.2.4 多智能体系统 93
第6章 软件交付的三大底座 100
6.1 DevOps 100
6.1.1 DevOps的概念 100
6.1.2 DevOps与企业和IT组织的关系 101
6.1.3 DevOps究竟是什么 103
6.1.4 DevOps的数字可视能力 103
6.1.5 DevOps的科技左移能力 104
6.1.6 DevOps的数字运营能力 105
6.1.7 DevOps的弹性合作能力 107
6.1.8 DevOps的数字风险能力 107
6.1.9 大语言模型下的DevOps 108
6.2 平台工程 110
6.2.1 平台工程的概念 110
6.2.2 平台工程的关键属性 111
6.2.3 平台工程的核心模块 115
6.2.4 平台工程的能力要求 115
6.2.5 平台工程的*佳实践 118
6.2.6 平台工程与DevOps、SRE的区别 119
6.2.7 大语言模型下的平台工程 120
6.3 SRE 122
6.3.1 SRE的由来 122
6.3.2 SRE的目标 122
6.3.3 SRE团队的使命 122
6.3.4 SRE团队的存在形式 123
6.3.5 应用韧性架构设计 124
6.3.6 构建可靠性设计 126
6.3.7 变更评审设计 128
第7章 大语言模型在运维场景中的实践 133
7.1 日志运维智能化 133
7.1.1 日志的概念 134
7.1.2 日志运维的基本流程 134
7.1.3 日志运维的痛点 136
7.1.4 如何解决日志运维的痛点 137
7.2 智能运维知识库的构建 146
7.2.1 构建运维知识库的难点和优势 146
7.2.2 构建运维知识库的技术路径 147
7.2.3 运维知识库的应用案例 149
7.3 智能运维工单 150
7.3.1 智能运维工单的作用 151
7.3.2 构建智能运维工单的技术路径 152
7.3.3 智能运维工单的应用案例 154
7.4 大模型运维能力评测 155
7.4.1 构建评测数据集 155
7.4.2 评测工具和方法 156
7.4.3 评测结果 156
7.5 基于多智能体的微服务根因分析 157
7.5.1 微服务架构的挑战 157
7.5.2 多智能体系统 158
7.5.3 多智能体系统的应用案例 158
第8章 大语言模型在测试场景中的实践 162
8.1 测试的痛点 162
8.2 动态测试技术的智能化演进 163
8.2.1 动态测试技术的基本概念 163
8.2.2 常见的动态测试技术 164
8.2.3 动态测试技术的痛点 166
8.2.4 大模型在动态测试领域的应用尝试 167
8.3 静态测试技术的智能化演进 171
8.3.1 静态测试技术的基本概念 171
8.3.2 常见的静态测试技术 172
8.3.3 静态测试技术的痛点 173
8.3.4 大模型在静态测试领域的应用尝试 175
8.4 大语言模型在测试场景下的落地难点 178
8.4.1 大语言模型的处理窗口瓶颈 179
8.4.2 模型的幻觉问题 179
8.4.3 RAG与Agent的取舍 179
8.4.4 基座模型的选择 180
8.4.5 大语言模型微调的必要性 180
8.4.6 模型的可解释性与透明性 180
8.4.7 大语言模型在测试场景中的性能评估 180
8.4.8 大语言模型的维护与更新 181
8.5 基于静态分析和RAG的漏洞自动化修复方案 181
第9章 大语言模型在编程场景中的实践 184
9.1 代码大模型 184
9.1.1 代码大模型的定义和特点 184
9.1.2 常见的代码大模型 186
9.2 代码的下游任务 188
9.2.1 文本到代码任务 188
9.2.2 代码到代码任务 189
9.2.3 代码到文本任务 191
9.2.4 代码到模式任务 191
9.2.5 文本到文本任务 192
9.3 代码生成和补全 192
9.3.1 代码生成和补全技术的发展历史 192
9.3.2 常见的代码生成和补全技术 193
9.3.3 基于可视化编排进行代码生成和补全 194
9.3.4 基于输入输出样例进行代码生成和补全 195
9.3.5 基于代码语料进行代码生成和补全 196
9.3.6 基于功能描述进行代码生成和补全 199
9.3.7 基于语言模型进行代码生成和补全 200
9.3.8 代码生成与补全的痛点 202
9.4 基于Agent的项目级代码生成方法 203
9.4.1 项目级代码生成在企业中的痛点 203
9.4.2 Agent的技术实现 204
9.4.3 事务自动处理在开发场景中的运用 207
9.4.4 项目研发问答场景 208
9.4.5 从需求到完整的项目级代码生成场景 208
第10章 大语言模型在项目管理场景中的实践 210
10.1 项目需求分析与任务规划 210
10.1.1 需求分析 211
10.1.2 任务规划 213
10.2 沟通与协作 214
10.2.1 沟通与协作的重要性 215
10.2.2 大语言模型在沟通与协作场景中的作用 216
10.2.3 大语言模型提升沟通效率和整合资源的能力 218
10.3 项目风险管理与决策支持 220
10.3.1 风险管理 221
10.3.2 决策支持 222
10.4 项目执行阶段的智能优化 225
10.4.1 工作流程及资源管理的挑战 225
10.4.2 大语言模型如何赋能工作流程及资源管理 225
10.5 大语言模型在项目管理中的实践案例 227
10.5.1 辅助理解客户需求 227
10.5.2 提升内部信息流转效率 229
10.5.3 实现项目风险和进度的自动分析功能 231
10.5.4 助力任务分配的高效合理 232
第11章 大语言模型在安全场景中的实践 235
11.1 大语言模型催生安全新范式 235
11.1.1 大语言模型在安全领域中的优势 235
11.1.2 大语言模型在安全领域中的挑战 236
11.2 大语言模型在安全领域中的应用场景 236
11.2.1 异常检测 236
11.2.2 威胁识别与分类 237
11.2.3 自动化威胁狩猎 237
11.2.4 钓鱼攻击识别 238
11.2.5 恶意软件检测 238
11.2.6 入侵检测系统 239
11.2.7 安全策略建议 239
11.2.8 预测性威胁建模 240
11.2.9 数据泄露预防 240
11.2.10 安全教育与训练 240
11.2.11 情报共享与协作 241
11.2.12 合规性监控 241
11.3 大语言模型在安全领域中的风险 241
11.3.1 原生风险 241
11.3.2 应用安全风险 242
11.3.3 对抗风险 243
11.4 大语言模型的零样本漏洞修复研究 243
11.4.1 研究背景 243
11.4.2 研究思路 244
11.4.3 实验过程 244
· · · · · · (
收起)
0 有用 会行走的书 2025-06-02 14:20:57 上海
书内一大堆推荐的人，真的读过吗？