2025年第041本,拐点
阅读打卡#《拐点》万维钢 计划阅读540min ,实际阅读321min,完成率100%
摘录:
P16 GPT-3有1750亿个参数。Meta.发布的新语言模型Llama,有650亿个参数。Google在2022年4月推出了一个语言模型叫PaLM,有5400亿个参数。之前Google还出过有1.6万亿个参数的语言模型。OpenAI没有公布GPT-4的参数个数,但是据CEO山姆·阿尔特曼(Sam Altman)说,GPT-4的参数并不比GPT-3多很多;而大家猜测,GPT-5的参数将会是GPT-3的100倍。 这是只有在今天才能做到的事情。以前不要说算力,光是存储训练模型的语料的花费都是天文数字。1981年,1GB的存储成本是10万美元,1990年下降到9000美元,而现在也就几分钱。你要说今天的AI科学跟过去相比有什么进步,计算机硬件条件是最大的进步。
感悟:
万维钢在开篇就讲到:“随着模型不断升级,讲AI的书都面临很快过时的风险—但我希望这本书不会,因为本书讲的是原理、心法、经济学、教育和哲学这些更基本的东西。这些学问让你面对再大的不确定性也能笃定地坚守更高的原则。”(P7)这个月读了好几本关于人工智能的书,这本是为数不多知道自己出的书可能很快会过时并讲出来的之一,那么也充分说明万维钢在写这本书的时候更多的会去探寻那些基本或者本质性的东西,类似一种“心法”而不是“技法”。
人工智能为什么在这几年才真正的走向大众进行应用?它明明在上个世纪九十年代就有了一些应用,而技术的发展应该是飞速的,照道理不应该等到今天才出现大规模的应用。其实主要在于算力的进步:“GPT-3有1750亿个参数。Meta.发布的新语言模型Llama,有650亿个参数。·······PaLM,有5400亿个参数·······大家猜测,GPT-5的参数将会是GPT-3的100倍。这是只有在今天才能做到的事情。以前不要说算力,光是存储训练模型的语料的花费都是天文数字。1981年,1GB的存储成本是10万美元,1990年下降到9000美元,而现在也就几分钱。你要说今天的AI科学跟过去相比有什么进步,计算机硬件条件是最大的进步。”(P16)进一步说明事务都是相辅相成的,没有基础设施的进步也不可能有上层应用的发展。
最近总听到多模态多模态,一直没搞懂什么是多模态,万维钢倒是很清楚地解答了我的疑惑:“GPT-3.5是你只能给它输入文字,它只会处理文字信息;GPT-4是多模态的,你可以给它输入图片、声音和视频。多模态的原理大概是先把一切媒体都转化成语言,再用语言模型处理。”他还用《荀子·劝学》中的一段话来描述AI能力的三重境界:“积土成山,风雨兴焉”说明只要数据够多,训练够多,就可以做点事,譬如阿尔法狗下围棋;“积水成渊,蛟龙生焉”,模型扩大,就会涌现出一些功能,例如AlphaGoZero不按人类套路下围棋,大语言模型思维链;“积善成德,而神明自得,圣心备焉”,于是有了AGI的出现了,它可能可以产生自我意识,甚至道德感·······
万维钢在书中强调,AI时代的人类需要具备五种核心能力:调用力、判断力、领导力、传播力和说服力。这些能力不仅帮助人类与AI协作,还能在AI无法涉足的领域发挥独特作用。例如,领导力不仅限于管理人类团队,还包括对AI系统的有效指挥。万维钢还认为新时代创造性人才例如科学家、艺术家、企业家不会被人工智能轻易淘汰,而他们有三个特点:一是回报不是来自上级领导的认可而是其他人或者自己,没有标准,自己可以以定义“好”的标准。二是他们并不特别在乎做错的事和自己的短板,重视的是自己的长处,是否发挥到获得认可的程度。三是喜欢追逐新事物,越是新的事务越可能让他们获得竞争优势。
尤其是追求新事物这一点,万维钢很有感触:“现在所谓的“中年油腻男”,我看最大的问题就是不谦逊。你跟他说任何新事物,他总用自己那一套观念解释,以此证明他什么都早就懂了。一见到新事物就很激动,一惊一乍,恰恰证明你心仍然会澎湃,你没有陷入认知固化。这比看见什么东西都用老一套的世界观去解释,说“这我30年前就搞明白了",要强得多。要允许自己继续长进,你就得敢于让人说你傻。”而他认为2021年之前出版的书基本上都过时了,我深有同感,这个月读了好几本人工智能的书,发现即使是最新的这一本《拐点》也预测不到现在的情况。
最后讲到的阿尔特曼也挺有意思,这个人思考问题的方式万维钢很推崇,而从言语中可以看出,万维钢自己想做中国的阿尔特曼。至少他是按照阿尔特曼的方式在思考和行动的。