读后随笔

书中主要内容包括 3 大部分：推理大模型概述、DS 架构、DS-R1 的训练方法

推理大模型更关注如何得到答案，而不是直接给出答案。它会把问题逐步拆分、细化。

DS-v3的基底大模型训练时就使用了很多省成本、提效率的方法

DS-R1-zero在不使用监督数据，只靠强化学习就创造了强推理的模型

DS-R1借鉴了 zero 的想法，使用中间模型构建出来的推理样本和非推理样本（一共 80 万条）进行 SFT，最终训练出 DS-R1。其中的 80 条样本数据还可以用于小模型的数据蒸馏

最后，附一段大神 kapathy 对 2025 年 ai 发展的一个回顾片段，感觉是对这本书的内容的一个更好的概括：

1. RLVR 強化學習成為新標準

2025 年前的 LLM 訓練流程是: 預訓練 → SFT 監督微調 → RLHF 人類回饋強化學習。今年 RLVR (Reinforcement Learning from Verifiable Rewards) 成為新的重要階段。透過在可驗證環境(如數學/程式題目)中訓練，LLM 自發發展出「推理」策略，學會將問題分解成中間步驟。

跟 SFT 和 RLHF 不同，RLVR 是針對客觀(不可被欺騙的)獎勵函數進行訓練，因此可以優化更長時間。由於 RLVR 能提供更高的能力/成本比，原本用於預訓練的算力被轉移過來。因此 2025 年的進展主要來自更長的 RL 訓練，而非更大的模型。這個新階段還帶來一個全新的調控旋鈕: 透過生成更長的推理軌跡、增加「思考時間」，可以用測試時計算量來控制能力(以及對應的 scaling law)。OpenAI o1 是首個 RLVR 模型展示，但 o3 的發布才是真正讓人直覺感受到差異的轉折點。