基于知识,展开推理,两者皆重要
这篇书评可能有关键情节透露
首先指出本书第145页,图7-10的一处“编辑错误”:
图的左下角是问题描述:Geoffey Hinton能不能有一个与乔治华盛顿的对话?回答前说出理由
图的右下角是语言模型的输出结果:Geoffrey Hinton是英裔加拿大人,出生于1947年。而计算机科学家乔治华盛顿于1799年去世,因此,他们无法一起交谈。所以回答是“否”
这处“编辑错误”应该是把“计算机科学家”这个名头安错了地方,因为总统华盛顿先生应该从来没玩过计算机。辛顿先生的某段经历以及跟国内某巨头公司的纠葛,我曾经在得到的某个课程中听老师介绍过,也是相当有趣。
大模型应该不会发生以上错误,但是不禁让人联想,若大模型果真被错喂了很多错误的知识,它会不会“一本正经地胡说八道”?如果没有人给它反馈、纠正,它是不是永远不知道自己错了?
《揭秘大模型:从原理到实战》是一本深入探讨大模型技术原理与实践应用的书籍,尤其第七章“大模型微调”详细介绍了大模型微调的技术细节及其在实际中的应用。“大模型微调”章节介绍了思维链(Chain-of-Thought, CoT)的工作方式,虽图片编辑出错,但工作逻辑解释还是很清楚的,将输入-输出的四种格式也做了清晰的介绍。
微调是很多小公司结合自身业务做的最合理的选择,例如若需训练一个用于医学生临床思维问诊训练的模型,小公司没有实力从零做起,必定是选择现有的模型进行微调训练。让模型知道医学问诊的主诉、现病史、既往史等结构,理解什么是症状、伴随症状,结合大模型本身具备的疾病、症状、检查方法、治疗措施等知识,让思维链的推理能力在这个”问诊训练“场景下发挥作用,甚至再进一步,基于某些问诊获取的症状线索,给出建议的查体、辅检项目,然后根据“虚拟患者”已经设定的剧本信息,推理出诊断和治疗措施,凑成一个完整的临床思维病例。
本书并没有对大量章节做细化到代码级别的拆解,因为定位到“大模型”这一层级,因此也不像经典的《深度学习入门》一样需要介绍很多基础知识,开篇略作介绍,迅速切入大模型该介绍的概念,以及Open AI、清华大学、Meta的几个耳熟能详的模型展开原理和应用的介绍,让理论和实践的结合更为扎实,尤其是后半部分做了前沿技术的及时跟进,和应用场景的展望。
总体而言,本书是一份高质量的技术指南,适合对大模型微调感兴趣的读者阅读。如果能在后续版本中注意一些编辑错误的修订,引入一些新的当红炸子鸡内容,横向对比、总结不同方法的局限性、适用场景、资源优化建议乃至失败案例的分析,则必将在日新月异的AI知识类书籍中留下一席之地。