新書推薦：
《
似锦
》
售價：NT$
383.0
《
首饰之美：国宝里的中式美学
》
售價：NT$
806.0
《
旧庙新神：晚清变局中的孔庙从祀（论衡系列）
》
售價：NT$
296.0
《
道心惟微：中国大一统王朝的战略文化与历史启示
》
售價：NT$
500.0
《
重写灵魂：多重人格与记忆科学（共域世界史）
》
售價：NT$
556.0
《
新伦巴第街：美联储如何成为最后交易商
》
售價：NT$
296.0
《
权力与财富 晚清时期的金融博弈（以金融视角重构晚清史，揭开晚清金融体系背后的权谋暗战）
》
售價：NT$
367.0
《
我们赖以生存的隐喻：修订译本
》
售價：NT$
367.0
|
| 編輯推薦： |
·配套强关联：匹配《从零构建大模型》主书结构，同步巩固核心知识。
·题型多元化：涵盖代码概念题、批判性思维题、单选题，多方面检验学习成果。
·阶段适配广：适配主书阅读前预习、阅读后巩固、复习阶段，满足不同学习需求。
·解析超详尽：每道习题附清晰答案解析，助力理解大模型构建关键逻辑。
·知识深融合：通过重复练习帮读者串联已有知识，深化大模型构建认知。
|
| 內容簡介： |
|
本书是《从零构建大模型》一书的配套习题，旨在通过多种练习和自我评估方式，帮助读者巩固和深化对大语言模型构建过程的理解。书中内容围绕《从零构建大模型》一书的结构展开，覆盖代码和主要概念问题、批判性思维练习、单项选择题以及答案解析等内容。建议读者在阅读《从零构建大模型》一书之前、之后以及复习阶段使用本书，通过重复学习的方式巩固知识，并将其与已有的知识体系相融合。
|
| 關於作者： |
|
塞巴斯蒂安·拉施卡（Sebastian Raschka）极具影响力的人工智能专家，GitHub项目LLMs-from-scratch的星标数达4万。现在大模型独角兽公司Lightning AI任资深研究工程师。博士毕业于密歇根州立大学，2018~2023年威斯康星大学麦迪逊分校助理教授（终身教职），从事深度学习科研和教学。除本书外，他还写作了畅销书《大模型技术30讲》和《Python机器学习》。
|
| 目錄：
|
第 1 章 理解大语言模型 1
主要概念速测 1
分节习题 3
11 什么是大语言模型 3
12 大语言模型的应用 4
13 构建和使用大语言模型的各个
阶段 5
14 Transformer 架构介绍 5
15 利用大型数据集 6
16 深入剖析GPT 架构 7
17 构建大语言模型 9
答案 11
第 2 章 处理文本数据 18
主要概念速测 18
分节习题 20
21 理解词嵌入 20
22 文本分词 20
23 将词元转换为词元ID 21
24 引入特殊上下文词元 22
25 BPE 23
26 使用滑动窗口进行数据采样 24
27 创建词元嵌入 26
28 编码单词位置信息 27
章节练习 28
答案 29
第3 章 编码注意力机制 38
主要概念速测 38
分节习题 40
31 长序列建模中的问题 40
32 使用注意力机制捕获数据依赖
关系 41
33 通过自注意力机制关注输入的
不同部分 41
34 实现带可训练权重的自注意力
机制 43
35 利用因果注意力隐藏未来词汇 44
36 将单头注意力扩展到多头注意力 45
章节练习 47
答案 48
第4 章 从头实现GPT 模型进行文本
生成 54
主要概念速测 54
分节习题 56
41 构建一个大语言模型架构 56
42 使用层归一化进行归一化激活 58
43 实现具有GELU 激活函数的
前馈神经网络 59
44 添加快捷连接 60
45 连接Transformer 块中的注意力层
和线性层 61
46 实现GPT 模型 62
47 生成文本 63
章节练习 64
答案 65
第5 章 在无标签数据上进行预训练 74
主要概念速测 74
分节习题 76
51 评估文本生成模型 76
52 训练大语言模型 78
53 控制随机性的解码策略 79
54 使用PyTorch 加载和保存模型
权重 80
55 从OpenAI 加载预训练权重 81
章节练习 81
答案 83
第6 章 针对分类的微调 91
主要概念速测 91
分节习题 93
61 不同类型的微调 93
62 准备数据集 94
63 创建数据加载器 95
64 初始化带有预训练权重的模型 97
65 添加分类头 97
66 计算分类损失和准确率 97
67 在有监督数据上微调模型 98
68 使用大语言模型作为垃圾消息
分类器 100
章节练习 101
答案 102
第7 章 通过微调遵循人类指令 110
主要概念速测 110
分节习题 112
71 指令微调介绍 112
72 为有监督指令微调准备数据集 112
73 将数据组织成训练批次 113
74 创建指令数据集的数据加载器 114
75 加载预训练的大语言模型 116
76 在指令数据上微调大语言模型 116
77 抽取并保存模型回复 117
78 评估微调后的大语言模型 117
章节练习 118
答案 119
附录A PyTorch 简介 129
问题 129
答案 132
附录B 参考文献和延伸阅读 136
附录C 练习的解决方案 137
附录D 为训练循环添加更多细节和
优化功能 138
问题 138
答案 139
附录E 使用LoRA 进行参数高效微调 140
问题 140
答案 142
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
