新書推薦:

《
成为作家(畅销全球90余年,新手写作必读指南)
》
售價:NT$
301.0

《
帝国的生意 商业、政治与英国东印度公司的诞生(一部展现公司与国家交织共生的扩张史)
》
售價:NT$
500.0

《
十日终焉7:极道
》
售價:NT$
245.0

《
蒋百里的一生
》
售價:NT$
352.0

《
AI应用革命(用AI将所有产业重做一遍。覆盖20+行业场景,分析新生玩家生存法则,构建高效商业新模式)
》
售價:NT$
398.0

《
抗日战争:1937—1945
》
售價:NT$
704.0

《
理想国译丛072:欧洲告急:丘吉尔、奥威尔与自由之战
》
售價:NT$
500.0

《
AI风暴:中美博弈与全球新秩序(创新中国书系)
》
售價:NT$
352.0
|
編輯推薦: |
1.【短小精悍】2小时搞懂DeepSeek底层技术
2.【通俗图解】近120幅全彩插图通俗解读,不枯燥
3.【内容系统】从推理模型原理到DeepSeek-R1训练
4.【作者资深】大模型领域知名专家Jay & Maarten作品
5.【图解系列】袋鼠书《图解大模型》同系列,广受欢迎
|
內容簡介: |
本书以通俗易懂、大量图解的方式剖析了DeepSeek的底层技术。
全书分为3章和附录,第1章详细分析了推理大模型的范式转变,即从“训练时计算”到“测试时计算”;第2章解读了DeepSeek-R1的架构——混合专家(MoE);第3章展示了DeepSeek-R1详细的训练过程及核心技术,涵盖基于GRPO的强化学习等;附录分享了DeepSeek开源周活动。
本书适合大模型从业人员和对大模型底层技术感兴趣的读者。书中通过丰富的图解将复杂的技术解释得简单、清晰、通透,是学习大模型技术难得一见的参考书。
|
關於作者: |
Jay Alammar(杰伊·阿拉马尔) Cohere总监兼工程研究员,知名大模型技术博客Language Models & Co作者,DeepLearning.AI和Udacity热门机器学习和自然语言处理课程作者。 Maarten Grootendorst(马尔滕·格鲁滕多斯特) IKNL(荷兰综合癌症中心)高级临床数据科学家,知名大模型技术博客博主,BERTopic等开源大模型软件包作者(下载量超过百万次),DeepLearning.AI和Udacity课程作者。 Jay & Maarten撰写的图解系列文章广受赞誉,累计吸引了数百万专业读者的目光。其中,Jay 的“The Illustrated Transformer”“The Illustrated DeepSeek-R1”、Maarten的“A Visual Guide to Reasoning LLMs”在全网热度极高。 Jay & Maarten的第一部作品《图解大模型:生成式AI原理与实战》(Hands-On Large Language Models)是业内广受赞誉的经典。《图解DeepSeek技术》是Jay & Maarten的第二部作品,人民邮电出版社图灵全球独家发布,是解读DeepSeek原理与训练的宝贵读物。 李博杰 智能体初创公司PINE AI联合创始人、首席科学家。曾任华为计算机网络与协议实验室副首席专家,入选华为首批“天才少年”项目。2019年获中国科学技术大学与微软亚洲研究院联合培养博士学位,曾获ACM中国优秀博士学位论文奖和微软学者奖学金。在SIGCOMM、SOSP、NSDI、USENIX ATC和PLDI等顶级会议上发表多篇论文。 孟佳颖 中国科学技术大学博士。现任北京中关村实验室助理研究员,主要从事网络协议栈的漏洞挖掘与风险分析技术的研究工作。
|
目錄:
|
译者序
前言
第 1 章 测试时计算
1.1 什么是推理大模型 1
1.2 什么是训练时计算 3
1.3 什么是测试时计算 7
1.3.1 缩放定律 10
1.3.2 测试时计算的分类 12
1.4 基于验证器的搜索 16
1.4.1 多数投票法 17
1.4.2 Best-of-N 采样 17
1.4.3 基于过程奖励模型的束搜索 20
1.4.4 蒙特卡洛树搜索 21
1.5 调整提议分布 24
1.5.1 提示工程 25
1.5.2 STaR 方法 26
1.6 小结 28
1.7 延伸阅读 29
第 2 章 架构设计 31
2.1 稠密层 31
2.2 MoE 层 34
2.2.1 专家机制 35
2.2.2 路由机制 40
2.2.3 DeepSeekMoE 44
2.3 小结 50
第 3 章 DeepSeek-R1 训练方案 51
3.1 回顾:大模型的训练原理 51
3.2 DeepSeek-R1-Zero 的推理能力 55
3.2.1 示例:推理问题的自动验证 57
3.2.2 DeepSeek-R1-Zero 的完整训练过程 62
3.3 DeepSeek-V3 的效率优化策略 64
3.3.1 多头潜在注意力机制 64
3.3.2 混合精度训练 66
3.3.3 多词元预测 70
3.4 构建 DeepSeek-R1 72
3.5 通过 DeepSeek-R1 蒸馏推理能力 77
3.6 未成功的尝试 78
3.7 基于 GRPO 的强化学习 78
3.7.1 奖励值与优势值 79
3.7.2 KL 散度惩罚项 83
3.7.3 GRPO 目标函数 85
3.7.4 GRPO 算法 86
3.7.5 GRPO 参考实现 87
3.8 小结 87
附录 DeepSeek 开源周 89
|
|