Python大模型应用开发：核心技术与项目实战

CONTENTS 目　录 前言 第一篇　基础知识 第1章　大语言模型2 1.1　大语言模型概述2 1.1.1　大语言模型的定义2 1.1.2　大语言模型的分类3 1.1.3　大语言模型的应用场景3 1.2　大语言模型的演变与发展4 1.2.1　大语言模型的网络架构演变4 1.2.2　大语言模型发展的关键事件6 1.3　大语言模型的基础知识7 1.3.1　什么是算力7 1.3.2　显卡的基础知识7 1.3.3　大语言模型的参数数量与精度9 1.3.4　大语言模型的基本单位10 1.3.5　通用人工智能11 1.4　小结12 第2章　Python大语言模型应用开发13 2.1　Python大语言模型应用开发的基础知识13 2.1.1　Python编程的基础知识13 2.1.2　接口的设计与优化21 2.1.3　大语言模型接口开发实战24 2.2　Docker容器的基础知识30 2.2.1　Docker基础命令30 2.2.2　Docker构建镜像32 2.2.3　Docker容器编排33 2.3　大语言模型与NLP34 2.3.1　NLP的研究任务34 2.3.2　传统NLP的技术实现路径35 2.3.3　大语言模型对传统NLP的影响36 2.4　小结36 第二篇　开发技术 第3章　分词技术38 3.1　分词38 3.1.1　什么是分词38 3.1.2　英文分词39 3.1.3　中文分词41 3.1.4　制作词云图44 3.2　常见的分词算法45 3.2.1　基于规则的分词算法46 3.2.2　基于统计的分词算法48 3.2.3　基于深度学习的分词算法50 3.2.4　基于预训练语言模型的分词算法51 3.3　使用大语言模型进行分词51 3.3.1　基于ChatGPT服务的分词51 3.3.2　基于本地大语言模型的分词52 3.4　小结53 第4章　词嵌入技术54 4.1　词袋模型54 4.1.1　词袋模型的基本概念和原理54 4.1.2　词袋模型的构建55 4.2　词向量模型57 4.2.1　One-Hot编码58 4.2.2　Word2Vec模型59 4.3　大语言模型生成Embedding61 4.3.1　使用ChatGPT生成Embedding61 4.3.2　使用Text2Vec生成Embedding63 4.3.3　使用sentence-transformers生成Embedding64 4.3.4　使用Transformers库生成Embedding64 4.3.5　统计输入文本的Token数65 4.4　大语言模型的Embedding应用66 4.4.1　Embedding数据集准备67 4.4.2　Embedding数据2D可视化68 4.4.3　Embedding中文相似度计算68 4.5　小结70 第5章　向量数据库71 5.1　向量数据库简介71 5.1.1　向量数据库的缘起71 5.1.2　向量数据库的特点72 5.1.3　与传统数据库的比较72 5.1.4　向量数据库的应用场景73 5.2　向量数据库的原理73 5.2.1　向量距离的度量74 5.2.2　相似度搜索算法75 5.3　向量数据库的应用76 5.3.1　FAISS向量数据库入门76 5.3.2　FAISS的相似度度量78 5.3.3　FAISS的索引分类78 5.3.4　FAISS的索引创建与操作79 5.3.5　FAISS的优化80 5.4　小结80 第6章　提示词工程与优化81 6.1　认识提示词工程81 6.1.1　人机交互的演进81 6.1.2　什么是提示词82 6.1.3　提示词工程82 6.2　提示词工程的使用技巧83 6.2.1　使用文本分隔符83 6.2.2　赋予模型角色84 6.2.3　将过程分步拆解85 6.2.4　尽可能量化需求85 6.2.5　提供正反示例85 6.2.6　要求结构化输出86 6.2.7　合理进行限制86 6.2.8　使用链式思维87 6.3　使用提示词完成NLP任务88 6.3.1　使用提示词进行分词89 6.3.2　使用提示词提取关键词90 6.3.3　使用提示词进行文本分类90 6.3.4　使用提示词进行情感分析91 6.3.5　使用提示词进行文本摘要92 6.3.6　使用提示词进行中英文翻译93 6.4　小结93 第7章　Hugging Face入门与开发95 7.1　Hugging Face简介95 7.1.1　什么是Hugging Face95 7.1.2　Hugging Face Hub客户端库96 7.2　Hugging Face数据集工具99 7.2.1　数据集工具简介99 7.2.2　数据集工具的基本操作100 7.3　Hugging Face模型工具106 7.3.1　Transformers简介106 7.3.2　数据预处理112 7.3.3　模型微调114 7.3.4　模型评价指标118 7.4　小结120 第8章　LangChain入门与开发121 8.1　初识LangChain121 8.1.1　LangChain简介121 8.1.2　LangChain的开发生态122 8.2　模型I/O124 8.2.1　模型I/O简介124 8.2.2　提示词模板125 8.2.3　模型包装器128 8.2.4　输出解析器133 8.3　数据增强134 8.3.1　文档加载器135 8.3.2　文档转换器136 8.3.3　文本嵌入137 8.3.4　向量存储库138 8.3.5　检索器140 8.4　链141 8.5　小结142 第9章　大语言模型微调144 9.1　大语言模型微调概述144 9.1.1　为什么需要微调145 9.1.2　少样本提示与微调145 9.1.3　微调的基本流程146 9.2　大语言模型的微调策略147 9.2.1　全面微调147 9.2.2　参数高效微调148 9.3　基于ChatGPT的微调149 9.3.1　使用Fine-Tuning UI微调150 9.3.2　使用CLI命令微调151 9.3.3　使用API微调153 9.4　基于Hugging Face的开源大模型微调154 9.4.1　Accelerate介绍154 9.4.2　PEFT介绍159 9.5　小结160 第10章　大语言模型的部署161 10.1　MLOps与LLMOps161 10.1.1　DevOps简介161 10.1.2　MLOps简介162 10.1.3　LLMOps简介164 10.2　大语言模型量化部署164 10.2.1　Qwen2-0.5B简介165 10.2.2　ChatGLM3-6B简介165 10.2.3　基于Qwen2-0.5B的CPU推理166 10.2.4　基于ChatGLM3-6B的GPU量化推理167 10.3　大语言模型部署实战169 10.3.1　基于Gradio框架的网页部署169 10.3.2　基于FastAPI框架的接口部署171 10.4　小结173 第三篇　项目实战 第11章　数字人电商直播176 11.1　数字人直播概述176 11.1.1　数字人简介176 11.1.2　品牌虚拟代言人177 11.1.3　数字人与“人货场”178 11.2　2D数字人核心技术179 11.2.1　AI生成文案179 11.2.2　AI语音合成184 11.2.3　2D数字人口型驱动186 11.2.4　2D数字人直播推流187 11.3　2D数字人电商直播项目实战190 11.3.1　数字人直播流程简介190 11.3.2　大语言模型生成商品台词191 11.3.3　TTS将商品台词转成音频192 11.3.4　口型驱动生成2D数字人192 11.3.5　2D数字人推流到直播间194 11.4　小结196 第12章　数字人口播台词生成197 12.1　数字人口播台词生成概述197 12.1.1　数字人直播的台词特点197 12.1.2　数字人直播的台词编排200 12.1.3　数字人直播的防封策略201 12.2　数字人口播台词提示词模板203 12.2.1　整段式商品台词提示词模板203 12.2.2　分段式商品台词提示词模板204 12.2.3　商品互动问答台词提示词模板206 12.3　数字人口播台词生成项目实战208 12.3.1　使用提示词模板生成口播台词208 12.3.2　品牌知识库和提示词模板结合生成口播台词211 12.4　小结215 第13章　数字人直播间问答分类216 13.1　文本分类简介216 13.1.1　文本分类的方法216 13.1.2　文本分类的模型及特点218 13.1.3　文本分类的发展与挑战219 13.2　文本分类器的训练过程221 13.2.1　传统分类器的训练221 13.2.2　提示词少样本学习224 13.2.3　定制化微调预训练模型226 13.3　数字人直播间问答分类项目实战229 13.3.1　直播间问答分类简介229 13.3.2　直播间问答分类流程230 13.3.3　直播间问答分类实战231 13.4　小结234 第14章　数字人直播间互动问答235 14.1　RAG知识库构建235 14.1.1　RAG知识库基本概念235 14.1.2　RAG知识库构建流程236 14.1.3　RAG知识库的发展与挑战241 14.2　RAG知识库的优化策略243 14.2.1　非结构化文档解析优化243 14.2.2　文档分块策略优化243 14.2.3　中文Embedding优化246 14.2.4　Rewrite优化246 14.2.5　Rerank优化247 14.2.6　混合技术优化信息检索249 14.3　数字人直播间互动问答项目实战250 14.3.1　数字人直播间互动问答简介250 14.3.2　基于关键词检索的互动问答实现252 14.3.3　基于RAG向量库检索的互动问答实现254 14.3.4　基于RAG混合检索的互动问答实现255 14.3.5　基于大语言模型微调的互动问答实现257 14.4　小结257 第15章　数字人直播间数据分析Text2SQL258 15.1　数据分析的本质258 15.2　数据分析的思维和方法论259 15.2.1　费米估计259 15.2.2　辛普森悖论261 15.2.3　必知必会的两个原则262 15.2.4　三种思考模型263 15.2.5　四大战略分析工具265 15.2.6　五大生命周期理论266 15.2.7　数字化营销的“六脉神剑”270 15.3　数字人直播间数据分析Text2SQL项目实战273 15.3.1　Text2SQL概述273 15.3.2　Text2SQL开源项目简介276 15.3.3　Text2SQL项目实战277 15.4　小结283