新書推薦：
《
华夏文库儒学书系：明代遗民：顾炎武、王夫之、黄宗羲
》
售價：NT$
118.0
《
中国书法之美：汉字美的历程
》
售價：NT$
585.0
《
葡萄酒与战争：法国人与纳粹的斗争(格致·格尔尼卡)
》
售價：NT$
341.0
《
2025年版 中华人民共和国药典（1~4部）
》
售價：NT$
18665.0
《
清华简《系年》综合研究（全二册）
》
售價：NT$
2574.0
《
微渺人生
》
售價：NT$
374.0
《
具身情绪：如何借助身体化解情绪困境
》
售價：NT$
490.0
《
卢浮幽灵
》
售價：NT$
385.0
|
| 編輯推薦： |
基础模型永久改变了机器学习。从BERT到ChatGPT，从CLIP到Stable Diffusion，当数十亿个参数、大数据集与成百上千个GPU相结合时，结果刷新了纪录。《Python预训练视觉和大语言模型》呈现的真知灼见和示例代码将帮你在AWS和Amazon SageMaker上从头开始预训练和优化基础模型，并将它们应用到整个组织的数百个用例中。
《Python预训练视觉和大语言模型》由经验丰富的AWS和机器学习专家Emily Webber撰写，涵盖的内容十分广泛，包括构思项目，准备数据集，训练、评估和部署大型语言、视觉及多模态模型。本书循序渐进地讲述基本概念并列举实例，指导你预训练和准备数据集及模型，配置环境，并训练、微调、评估、部署和优化基础模型。
学习本书后，你将能按照缩放法则在多个GPU上分布模型和数据集，消除偏差，实现高吞吐量以及构建部署管道。最后，你将完全有能力开发个人项目，对基础模型进行预训练和微调。
|
| 內容簡介： |
●为预训练和微调寻找合适的用例和数据集
●使用定制的加速器和GPU，为大规模训练做好准备
●配置AWS和SageMaker环境，最大限度地提高性能
●根据模型和约束条件选择超参数
●使用多种并行方式分发模型和数据集
●利用作业重启、间歇性健康检查等方式避开陷阱
●定性和定量地评估模型
●部署模型，在运行时进行改进和监控
|
| 關於作者： |
|
Emily Webber是AWS的首席ML专家解决方案架构师，专门从事大型语言和视觉模型的分布式训练。Emily在AWS社区广为人知，在YouTube上发布了由16个视频组成的SageMaker系列，视频播放量高达21.1万次。Emily曾在2019年伦敦人工智能大会上发表过主题演讲。
|
| 目錄：
|
第Ⅰ部分 预训练前
第1章 预训练基础模型简介 3
1.1 预训练和微调艺术 4
1.2 Transformer模型架构和自注意力 6
1.3 最先进的视觉模型和语言模型 8
1.3.1 截至2023年4月的顶级视觉模型 9
1.3.2 对比预训练与自然语言监督 11
1.3.3 截至2023年4月的顶级语言模型 12
1.3.4 语言技术重点——因果建模和缩放法则 14
1.4 编码器和解码器 15
1.5 本章小结 17
第2章 数据集准备：第1部分 19
2.1 为基础建模寻找数据集和用例 19
2.2 你的数据集有多大区别 23
2.2.1 使用缩放法则调整数据集的大小 25
2.2.2 基础——神经语言模型的缩放法则 26
2.3 偏差检测和减少 28
2.4 增强数据集——多语言、多模态和增强 30
2.5 本章小结 32
第3章 模型准备 35
3.1 寻找最优基础模型 35
3.1.1 从最小的基础模型开始 37
3.1.2 权衡——简单与复杂 37
3.1.3 权衡——应用于许多用例，而非局限于一个用例 38
3.1.4 找到最优基础模型的技术方法 39
3.2 寻找预训练损失函数 39
3.2.1 视觉的预训练损失函数——ViT和CoCa 41
3.2.2 语言中的预训练损失函数——Alexa教师模型 44
3.2.3 更改预训练损失函数 46
3.3 设定模型大小 46
3.3.1 解决模型大小问题的实用方法 49
3.3.2 并非所有缩放法则的效果都相同 49
3.3.3 规划未来的实验 50
3.4 本章小结 51
第Ⅱ部分 配置环境
第4章 云容器和云加速器 55
4.1 什么是加速器，为什么它们很重要 55
4.2 准备使用加速器 58
4.3 优化加速器性能 63
4.3.1 超参数 63
4.3.2 AWS上加速器的基础设施优化 64
4.4 加速器性能故障排除 65
4.5 本章小结 67
第5章 分布式基础知识 69
5.1 理解关键概念——数据和模型并行性 69
5.1.1 什么是数据并行 70
5.1.2 什么是模型并行 71
5.2 将模型与数据并行相结合 73
5.3 Amazon SageMaker分布式训练 74
5.3.1 分布式训练软件 75
5.3.2 SM DDP 76
5.3.3 SMP库 77
5.4 减少GPU内存的高级技术 79
5.4.1 张量并行性 80
5.4.2 优化器状态分片 81
5.4.3 激活检查点 81
5.4.4 分片数据并行性 81
5.5 当今模型的示例 82
5.5.1 Stable Diffusion——大规模数据并行 82
5.5.2 GPT-3——大规模的模型和数据并行性 83
5.6 本章小结 84
第6章 数据集准备：第2部分 85
6.1 Python中的数据加载器 86
6.2 构建和测试自己的数据加载器——来自Stable Diffusion的案例研究 88
6.3 创建嵌入——词元分析器和智能功能的其他关键步骤 91
6.4 在Amazon SageMaker上优化数据管道 95
6.5 在AWS上大规模转换深度学习数据集 98
6.6 本章小结 100
第Ⅲ部分 训练模型
第7章 寻找合适的超参数 103
7.1 超参数——批量大小、学习率等 103
7.2 微调策略 105
7.3 基础模型的超参数微调 108
7.4 使用SageMaker根据world size放大 109
7.5 本章小结 113
第8章 SageMaker的大规模训练 115
8.1 优化SageMaker训练的脚本 115
8.1.1 导入程序包 116
8.1.2 参数解析 116
8.1.3 函数定义和用法 118
8.2 SageMaker训练的顶级可用性功能 121
8.2.1 用于快速实验的暖池 121
8.2.2 SSM和SSH进入训练实例 122
8.2.3 跟踪作业和实验以复制结果 123
8.3 本章小结 127
第9章 高级训练概念 129
9.1 评估和提高吞吐量 129
9.2 使用Flash注意力加速训练运行 132
9.3 通过编译加快作业速度 133
9.4 Amazon SageMaker训练编译器和Neo 135
9.5 在亚马逊的Trainium和Inferentia自定义硬件上运行编译后的模型 137
9.6 求解最优训练时间 138
9.7 本章小结 140
第Ⅳ部分 评估模型
第10章 微调和评估 143
10.1 对语言、文本和其间的一切进行微调 143
10.1.1 微调纯语言模型 145
10.1.2 微调纯视觉模型 147
10.1.3 微调视觉语言模型 149
10.2 评估基础模型 150
10.2.1 视觉模型评估指标 150
10.2.2 语言模型评估指标 152
10.2.3 联合视觉-语言任务中的模型评估指标 154
10.2.4 通过SageMaker Ground Truth将人类视角与标签相结合 156
10.3 从人类反馈中强化学习 157
10.4 本章小结 158
第11章 检测、减少和监控偏差 161
11.1 检测机器学习模型中的偏差 161
11.2 减少视觉和语言模型中的偏差 165
11.2.1 语言模型中的偏差减少——反事实数据增强和公平损失函数 166
11.2.2 视觉模型中的偏差减少——减少相关性并解决采样问题 169
11.3 监控机器学习模型中的偏差 170
11.4 使用SageMaker Clarify检测、减轻和监控偏差 172
11.5 本章小结 173
第Ⅴ部分 部署模型
第12章 如何部署模型 177
12.1 模型部署的定义 177
12.2 托管模型的最优方式 179
12.3 为什么缩小模型，以及如何缩小 182
12.3.1 模型编译 183
12.3.2 知识蒸馏 183
12.3.3 量化 184
12.4 在SageMaker上托管分布式模型 184
12.5 模型服务器和端到端托管优化 186
12.6 本章小结 188
第13章 提示工程 189
13.1 提示工程——以少搏多的艺术 189
13.2 从少样本学习到零样本学习 190
13.3 文本到图像提示工程的注意之处 193
13.4 图像到图像提示工程的注意之处 196
13.4.1 放大 196
13.4.2 掩膜 196
13.4.3 使用DreamBooth提示目标到图像 197
13.5 提示大型语言模型 198
13.5.1 指令微调 198
13.5.2 思维链提示 199
13.5.3 摘要 200
13.5.4 防止提示注入和越狱 200
13.6 高级技术——前缀和提示微调 201
13.6.1 前缀微调 201
13.6.2 提示微调 203
13.7 本章小结 204
第14章 视觉和语言MLOps 205
14.1 什么是MLOps？ 205
14.2 持续集成和持续部署 208
14.3 模型监控和人机回环 210
14.4 基础模型的MLOps 212
14.5 视觉MLOps 213
14.6 AWS为MLOps提供的服务 215
14.7 本章小结 218
第15章 预训练基础模型的未来趋势 219
15.1 构建LLM应用程序的技术 219
15.1.1 使用开源堆栈构建交互式对话应用程序 220
15.1.2 使用RAG确保LLM应用程序的高准确性 222
15.1.3 生成是新的分类吗？ 223
15.1.4 用LLM构建应用的人性化设计 224
15.2 其他生成式模式 225
15.3 基础模型中的AWS产品 226
15.4 基础模型的未来 228
15.5 预训练的未来 229
15.6 本章小结 232
—— 以下内容可扫描封底二维码下载 ——
参考文献 233
|
| 內容試閱：
|
你想使用基础模型吗？这是一个很棒的起点！机器学习社区中的许多人多年来一直在关注着这些奇怪的“生物”，从它们最早出现在Transformer模型的最初几天，到它们在计算机视觉中的渗透和扩展，再到我们在当今世界中看到的几乎无处不在的文本生成和交互式对话。
但是基础模型是从哪里来的呢？它们是如何工作的？是什么让它们启动，应该在什么时候对它们进行预训练和微调？如何在数据集和应用上尽可能提高性能？需要多少个加速器？端到端应用程序是什么样子的？如何使用基础模型来掌控生成式人工智能？
本书希望能为这些非常重要的问题提供答案。毋庸置疑，这个领域的创新速度真的很惊人，每天都有比昨天更多的基础模型从开源和专有模型供应商那里上线。为了应对这一现实，我试图在整本书中关注最重要的概念基础。这意味着你在这里的认真学习能在未来几年得到回报。
在实际应用和指导方面，我主要关注通过AWS，特别是Amazon SageMaker提供云计算选项。在过去5年多里，我在AWS度过了非常愉快的时光，我很乐意与你分享我所有的知识和经验！注意，本书中分享的所有想法和观点都是我自己的，并不代表亚马逊的观点。
本书所有章节关注的皆是概念，而非代码。这完全是因为软件变化很快，而基础变化异常缓慢。本书的参考文献包含全书15章所有关键参考资源的链接，你可立刻将其用于所有学习内容的实践。
你可能会觉得以下的一切难以置信，但是，在我20岁出头的时候，我确实并没有在写代码：我在探索一种僧侣般的生活。我在亚利桑那州的一个冥想静修中心Garchen研究所住了5年。在这段时间里，我学会了如何冥想，集中注意力，观察情绪，养成良好的习惯。几年后，我在芝加哥大学获得了硕士学位，现在在亚马逊，这些品质在当今世界仍然非常有用！
我提我的这些经历是为了帮助你提振学习信心。机器学习、人工智能、云计算、经济学、应用程序开发，这些主题确实都不简单，但只要你全身心投入，思考手头问题的核心基础，一次又一次地迎击挑战，真的没有什么是你做不到的。这就是人性之美！如果连一个冥想的瑜伽人士都可以直接从一个静修小屋的深度沉默中学习如何预训练和微调基础模型，那么你也可以!
请坚定这一信念，继续学习本书！
本书读者对象
如果你是一名机器学习研究人员或爱好者，想开始一个基础建模项目，本书就是为你准备的。应用科学家、数据科学家、机器学习工程师、解决方案架构师、产品经理和学生都可从本书中受益。在学习本书前，必须掌握中级Python技术以及云计算的入门概念，要对深度学习的基本原理有深刻的理解，同时能对高级主题进行解释。《Python预训练视觉和大语言模型》内容涵盖了先进的机器学习和云技术，并以可操作、易于理解的方式进行了解释。
本书内容
第1章“预训练基础模型简介”介绍当今许多人工智能和机器学习系统的支柱——基础模型；深入探究其创建过程(也称预训练)，并分析提高模型准确性的竞争优势之所在；讨论支撑最先进模型的核心?Transformer?架构，如Stable Diffusion、BERT、Vision Transformer、CLIP、Flan-T5等；介绍用于解决各种用例的编码器和解码器框架。
第2章“数据集准备：第1部分”讨论数据集需要什么来启动一个有意义的预训练项目。该章是关于数据集准备的两个部分中的第1部分，会从业务指导着手，为基础建模寻找一个使数据变得有用的好用例，然后专注于数据集内容，使用定性和定量的方法将其与用于预训练其他顶级模型时使用的数据集进行比较。该章讲解如何使用缩放法则来确定数据集是否“足够大”且“足够好”，并在预训练时提高准确性；讨论偏差的识别和减少，以及多语言和多模态的解决方案。
第3章“模型准备”讲解如何选择最有用的模型作为预训练机制的基础，如何设置表示模型大小的参数、选择关键损失函数以及决定它们影响生产性能的方式，讲授如何结合缩放法则与数据集预期大小来设置用于指导实验的基础模型的大小范围。
第4章“云容器和云加速器”讲解如何将脚本容器化，并针对云加速器对其进行优化；介绍一系列用于基础模型的加速器，包括在整个机器学习生命周期中围绕成本和性能的权衡；讲解Amazon SageMaker和AWS的关键知识点，以便在加速器上训练模型、优化性能和解决常见问题。熟悉在AWS上使用加速器的读者可以跳过该章。
第5章“分布式基础知识”讲解用于大规模预训练和微调的分布式技术的概念基础。首先深入讲解机器学习的顶级分布式概念，特别是模型和数据并行；其次讲解如何将Amazon SageMaker与分布式软件集成，以便在尽可能多的GPU上运行作业；接着讲解如何为大规模训练优化模型和数据并行，特别是使用分片数据并行等技术；再讲解如何使用优化器状态分片(optimizer state sharding)、激活检查点(activation checkpointing)、编译(compilation)等高级技术来减少内存消耗；最后列举一些结合了上述所有概念的语言、视觉等方面的综合示例。
第6章“数据集准备：第2部分”讲解如何准备数据集，以便立即与所选择的模型一起使用；深入讲解数据加载器的概念，了解为什么它是训练大型模型时常见的错误源；介绍如何创建嵌入、使用词元分析器和其他方法为你首选的神经网络特征化原始数据——参照这些步骤，必能使用视觉和语言的方法准备整个数据集；讲解AWS和Amazon SageMaker上的数据优化，以便有效地将大大小小的数据集发送至训练集群。全章从训练循环开始倒推，逐步呈现大规模训练功能性深度神经网络需要的所有步骤。读者可以在该章的学习中跟随作者体验如何进行案例研究，一步步在SageMaker上展开10TB级的Stable Diffusion训练！
第7章“寻找合适的超参数”深入讲解控制顶级视觉和语言模型性能的关键超参数，如批量大小、学习率等。首先向新手概述超参数微调，并穿插讲解视觉和语言方面的关键示例；接下来，探讨基础模型中的超参数微调，间或介绍如今可能出现的情况和趋势；最后，讲解如何在Amazon SageMaker上寻找合适的超参数，在集群大小中采取增量步骤，并在此过程中更改每个超参数。
第8章“SageMaker的大规模训练”介绍Amazon SageMaker支持高度优化的分布式训练运行的主要特性和功能；讲解如何针对SageMaker训练优化脚本以及运用关键的可用性功能；讲解使用SageMaker进行分布式训练的后端优化，如GPU健康检查、弹性训练、检查点、脚本模型等。
第9章“高级训练概念”介绍大规模的高级训练概念，如评估吞吐量、计算每个设备的TFLOPS模型、编译，以及使用缩放法则来确定适宜的训练时长。承接第8章(在SageMaker上进行大规模训练)，继续在该章介绍一些特别复杂和高深的技术，降低作业的总成本。更低的成本会直接转化为更高的模型性能，毕竟这意味着可在相同的预算下训练更长时间。
第10章“微调和评估”讲解如何在用例特定的数据集上微调模型，将其性能与现成的公共模型进行比较；深入讲解几个关于语言、文本以及两者之间一切事宜的示例；讲解如何思考和设计一个人机回环评估系统，包括使ChatGPT发挥作用的同一RLHF！第10章着重讲解更新模型的可训练权值，模拟学习但不更新权重的技术(如提示微调和标准检索增强生成)则需要参见第13章或第15章。
第11章“检查、减少和监控偏差”分析大视觉、语言和多模态模型主流的偏差识别和减少策略；从统计学以及如何以批判性方式影响人类的角度来阐释偏差的概念；帮助读者掌握在视觉和语言模型中量化和消除偏差的主流方法，最终具备制定监控策略的能力，并能在应用基础模型时减少各种形式的伤害。
第12章“如何部署模型”介绍部署模型的各种技术，包括实时端点、无服务、批量选项等——这些概念适用于众多计算环境，但《Python预训练视觉和大语言模型》将重点关注使用Amazon SageMaker中AWS的可用功能，讨论为什么在部署之前应该尝试缩小模型，介绍视觉和语言技术，介绍适用于不需要缩小模型场景的分布式托管技术，探讨可以帮助优化模型的端到端性能的模型服务技术和概念。
第13章“提示工程”深入研究一组称为提示工程的特殊技术，高屋建瓴地讲解这项技术，包括它与本书中讲解的其他基于学习的主题的相似之处和不同之处；探讨视觉和语言方面的例子，深入研究关键术语和成功指标。特别是，该章还涵盖了在不更新模型权重的情况下提高性能的所有提示和技巧。这意味着我们将模拟学习过程，而不必改变任何模型参数。这包括一些高级技术，如提示和前缀微调。
第14章“视觉和语言MLOps”讲解机器学习的操作和编排的核心概念，即大家熟知的MLOps，包括构建管道、持续集成和部署、通过环境进行推广等；深入探讨模型预测的监控和人机回环审核的选项；确定在MLOps管道中支持大型视觉和语言模型的独特方法。
第15章“预训练基础模型的未来趋势”通过指出全书所有相关主题的趋势来结束本书。探讨基础模型应用程序开发的趋势，如使用LangChain构建交互式对话应用程序，以及检索增强生成等技术，以减少LLM幻觉；探讨用生成模型来解决分类任务、人性化设计以及其他生成模式(如代码、音乐、产品文档、PowerPoints等)；讨论SageMaker JumpStart Foundation Models、Amazon Bedrock、Amazon Titan和Amazon Code Whisperer等AWS产品，以及未来基础模型和预训练自身的最新趋势。
充分利用本书
你已有的一些关键AWS服务经验，如Amazon SageMaker、S3 bucket、ECR镜像和Lustre的FSx，都会大大加快你学习本书的速度。即便你是新手，也没关系，我们将详细介绍每个服务。
AWS服务或开源软件框架 用它做什么？
Amazon SageMaker 工作室、Notebook实例、训练作业、端点、管道
S3 存储桶 存储对象和检索元数据
Elastic Container Registry 存储Docker镜像
Lustre的FSx 为模型训练循环存储大规模数据
(续表)
AWS服务或开源软件框架 用它做什么？
Python 通用脚本，包括服务管理和交互、导入其他包、清洗数据、定义模型训练和评估循环等
PyTorch和 TensorFlow 定义神经网络的深度学习框架
Hugging Face 拥有超过100?000个开源预训练模型，还拥有不计其数的非常有用且可靠的NLP和不断增长的CV
Pandas 数据分析库
Docker 用于构建和管理容器的开源框架
下载示例代码文件
可扫描封底二维码来下载本书的示例代码文件。
参考文献
在阅读正文的过程中，会看到穿插的参考文献，形式是(*)，*表示编号，例如第2章中的(2)。本书将各章的参考文献都汇总在参考文献文档中，读者可扫描封底二维码，下载该文档。
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
