新書推薦： 《
崇祯七十二小时 大明王朝的最后时刻【万有引力书系】
》 售價：HK$
398
《
跟着TED学科学：物理
》 售價：HK$
255
《
希特勒与第三帝国（全二册）（第三帝国通史写作的里程碑！7年魔鬼养成期+6年帝国崩塌录=13年人类至暗
》 售價：HK$
959
《
甲骨文丛书·古代东亚的车舆社会史
》 售價：HK$
913
《
大西洋现实主义：帝国与国际政治思想的德美交汇
》 售價：HK$
407
《
四海车书总会同 元代文人游历与行旅诗研究 国家社科基金后期资助项目
》 售價：HK$
653
《
接触 2025全新升级版
》 售價：HK$
347
《
21天打造翘臀
》 售價：HK$
301
編輯推薦：
在生成式AI席卷全球、大语言模型（LLM）深度融入企业核心业务的当下，安全漏洞引发的风险已从技术问题升级为关乎业务存续的战略挑战——从三星敏感数据泄露到加拿大航空聊天机器人诉讼，无数案例印证：缺少安全防护的LLM应用，即是企业的“隐形炸弹”。而本书正是全球LLM安全领域“奠基者”Steve Wilson为行业带来的“破局之作”。 作为“OWASP大语言模型应用十大安全风险”项目负责人，作者以20年AI与网络安全实战经验为基石，首次构建“RAISE框架”，从领域界定、知识库优化到零信任落地、AI红队演练，形成覆盖LLM全生命周期的安全防护闭环。书中不仅拆解提示词注入、模型幻觉等核心风险，更前瞻性布局多模态、自主智能体等前沿场景防御，兼顾开发者技术落地、管理者战略决策、合规者风险把控需求。 在同类书籍多聚焦单一风险的市场中，本书以“体系化、实战性、前瞻性”填补空白，既是企业规避数据泄露、法律纠纷的 “安全手册”，更是AI时代把握创新与风险平衡的“战略蓝图”，堪称所有LLM相关从业者的典籍。
內容簡介：
本书围绕大语言模型应用程序的安全问题展开，共12章，分三个部分层层递进。第一部分（第1-3章）以真实案例引入大语言模型应用程序面临的安全挑战，介绍作者创立的应对项目及经验，同时探讨大语言模型应用架构与数据流控制的重要性，搭建知识框架。第二部分（第4-9章）剖析开发大语言模型应用程序的主要风险，既包含注入攻击、敏感信息泄露等传统安全风险，也涵盖训练数据投毒、幻觉等新兴AI系统特有的问题，每章通过实际案例分析，揭示风险及影响，并给出预防和减轻风险的建议。第三部分（第10-12章）通过科幻故事案例警示安全漏洞叠加的危害，阐述将安全实践融入软件开发全流程的方法，并展望大语言模型与AI技术的发展趋势，引入负责任的人工智能软件工程（RAISE）框架，助力读者维护软件安全。
關於作者：
Steve Wilson是Exabeam公司的首席产品官，也是人工智能和网络安全领域公认的领军人物。他在Citrix、Oracle和Sun Microsystems等大型科技公司拥有超过25年的软件平台搭建经验。Steve还是Java Platform Performance: Strategies and Tactics一书的作者。
目錄
目录前言1第1章 聊天机器人之殇91.1 让我们谈谈Tay91.2 Tay的光速堕落101.3 为什么Tay会失控111.4 这是一个棘手的问题13第2章 OWASP大语言模型应用十大安全风险152.1 关于OWASP162.2 大语言模型应用十大风险项目172.2.1 项目执行172.2.2 反响182.2.3 成功的关键192.3 本书与十大风险榜单20第3章 架构与信任边界223.1 人工智能、神经网络和大语言模型：三者有何区别223.2 Transformer革命：起源、影响及其与LLM的关系233.2.1 Transformer的起源243.2.2 Transformer架构对AI的影响243.3 基于大语言模型的应用类型263.4 大语言模型应用架构273.4.1 信任边界293.4.2 模型303.4.3 用户交互323.4.4 训练数据323.4.5 访问实时外部数据源333.4.6 访问内部服务353.5 结论35第4章 提示词注入364.1 提示词注入攻击案例374.1.1 强势诱导374.1.2 反向心理学384.1.3 误导394.1.4 通用和自动化对抗性提示404.2 提示词注入的影响404.3 直接与间接提示词注入424.3.1 直接提示词注入424.3.2 间接提示词注入434.3.3 关键差异434.4 缓解提示词注入风险444.4.1 速率限制444.4.2 基于规则的输入过滤454.4.3 使用专用大语言模型进行过滤464.4.4 添加提示结构464.4.5 对抗性训练484.4.6 悲观信任边界定义494.5 结论50第5章 你的大语言模型是否知道得太多了525.1 现实世界中的案例525.1.1 Lee Luda案例535.1.2 GitHub Copilot和OpenAI的Codex545.2 知识获取方法565.3 模型训练565.3.1 基础模型训练575.3.2 基础模型的安全考虑585.3.3 模型微调585.3.4 训练风险595.4 检索增强生成615.4.1 直接网络访问625.4.2 访问数据库665.5 从用户交互中学习715.6 结论72第6章 语言模型会做电子羊的梦吗746.1 为什么大语言模型会产生幻觉756.2 幻觉的类型766.3 实例分析766.3.1 虚构的法律先例776.3.2 航空公司聊天机器人诉讼案786.3.3 无意的人格诋毁796.3.4 开源包幻觉现象816.4 谁该负责826.5 缓解最佳实践836.5.1 扩展领域特定知识836.5.2 思维链推理：提高准确性的新路径856.5.3 反馈循环：用户输入在降低风险中的作用866.5.4 明确传达预期用途和局限性886.5.5 用户教育：以知识赋能用户896.6 结论91第7章 不要相信任何人927.1 零信任解码937.2 为什么要如此偏执947.3 为大模型实施零信任架构957.3.1 警惕过度授权967.3.2 确保输出处理的安全性997.4 构建输出过滤器1027.4.1 使用正则表达式查找个人信息1027.4.2 评估毒性1037.4.3 将过滤器链接到大模型1047.4.4 安全转义1057.5 结论106第8章 保护好你的钱包1078.1 拒绝服务攻击1088.1.1 基于流量的攻击1088.1.2 协议攻击1098.1.3 应用层攻击1098.1.4 史诗级拒绝服务攻击：Dyn事件1108.2 针对大模型的模型拒绝服务攻击1108.2.1 稀缺资源攻击1118.2.2 上下文窗口耗尽1128.2.3 不可预测的用户输入1138.3 拒绝钱包攻击1148.4 模型克隆1158.5 缓解策略1168.5.1 特定领域防护1168.5.2 输入验证和清理1168.5.3 严格的速率限制1178.5.4 资源使用上限1178.5.5 监控和告警1178.5.6 财务阈值和告警1178.6 结论118第9章 寻找最薄弱环节1199.1 供应链基础1209.1.1 软件供应链安全1219.1.2 Equifax数据泄露事件1219.1.3 SolarWinds黑客攻击1229.1.4 Log4Shell漏洞1249.2 理解大语言模型供应链1259.2.1 开源模型风险1269.2.2 训练数据污染1279.2.3 意外不安全的训练数据1289.2.4 不安全的插件1289.3 建立供应链追踪工件1299.3.1 软件物料清单的重要性1299.3.2 模型卡片1309.3.3 模型卡片与软件物料清单的比较1319.3.4 CycloneDX：SBOM标准1339.3.5 机器学习物料清单的兴起1339.3.6 构建机器学习物料清单示例1359.4 大语言模型供应链安全的未来1389.4.1 数字签名和水印技术1389.4.2 漏洞分类和数据库1399.5 结论143第10章 从未来的历史中学习14510.1 回顾OWASP大语言模型应用程序十大安全风险14510.2 案例研究14610.2.1《独立日》：一场备受瞩目的安全灾难14710.2.2《2001太空漫游》中的安全缺陷15010.3 结论153第11章 信任流程15411.1 DevSecOps的演进历程15511.1.1 机器学习运维15511.1.2 大模型运维15611.2 将安全性构建到大模型运维中15711.3 大模型开发过程中的安全性15711.3.1 保护你的持续集成和持续部署15711.3.2 大语言模型专用安全测试工具15811.3.3 管理你的供应链16011.4 运用防护机制保护应用程序16111.4.1 防护机制在大模型安全策略中的作用16211.4.2 开源与商业防护方案比较16311.4.3 自定义防护机制与成熟防护机制的融合应用16411.5 应用监控16411.5.1 记录每个提示和响应16411.5.2 日志和事件集中管理16411.5.3 用户与实体行为分析16511.6 建立你的AI红队16511.6.1 AI红队测试的优势16711.6.2 红队与渗透测试16711.6.3 工具和方法16811.7 持续改进16911.7.1 建立和调整防护机制16911.7.2 管理数据访问和质量17011.7.3 利用人类反馈强化学习实现对齐和安全17011.8 结论171第12章 负责任的人工智能安全实践框架17312.1 力量17412.1.1 图形处理器17512.1.2 云计算17612.1.3 开源17712.1.4 多模态17812.1.5 自主智能体18012.2 责任18112.2.1 RAISE框架18112.2.2 RAISE检查清单18712.3 结论188
內容試閱
前言在全球的每个角落，人们都乘着大语言模型的浪潮，感受着扑面而来的激情！ChatGPT自横空出世以来，不仅载入史册，更以破竹之势成为史上普及速度最快的应用。现如今，仿佛全世界的软件供应商都在竞相将生成式人工智能与LLM技术融入其技术栈，引领我们迈向未知的领域。这股热潮真实可感，炒作有理有据，似乎蕴藏着无穷无尽的可能性。请等一下，事情并非你想的那样。当我们对这些技术奇迹赞叹不已时，其安全架构却尚未完善。而更残酷的事实是，许多开发者急于进入这个新时代却四处碰壁，对表面之下潜藏的安全隐患知之甚少。这导致现在几乎每周都会有关于大语言模型故障的头条新闻。到目前为止，这些个别事件的后果尚算温和，但切莫掉以轻心—我们正在与灾难擦肩而过。我们所说的风险可不是空穴来风。它们真实存在且刻不容缓。若不深入研究并学会应对大语言模型的安全风险，我们面临的将不仅仅是小规模故障，甚至可能是灭顶之灾。目标读者本书的主要受众是正在构建集成大语言模型技术的应用程序的开发团队。通过近期在该领域的工作经历，我逐渐发现这些团队通常规模庞大，成员背景复杂。其中包括熟练掌握“网页应用”技术的软件开发人员，他们正迈出与人工智能接触的第一步。这些团队可能还包括首次将专业技能从幕后带到聚光灯下的人工智能专家。此外，还有应用安全专家和数据科学专家。此外，本书对于其他许多人也大有裨益。这包括参与这些项目的扩展团队，他们希望了解这些技术的基本原理，以降低采用新技术所带来的风险。这些人员包括软件开发主管、首席信息安全官（Chief Information Security Officer，CISO）、质量工程师和安全运营团队。写作初衷人工智能一直是我着迷的领域。早在孩提时代，我就曾在“雅达利400”（Atari 400）家用计算机上编写电子游戏并乐在其中。那时候大约是在1980年，这台小机器的内存仅有可怜的8KB。尽管如此，我还是设法在这台机器上完整复刻了Tron Lightcycles游戏，并设计了一个简单实用的人工智能，用于驱动单人模式下的对手摩托车。而在接下来的职业生涯中，我参与了多个与人工智能相关的项目。大学毕业后，我和我的挚友汤姆·桑托斯（Tom Santos）仅凭几千行手写的C++代码就创立了一家人工智能软件公司，这些代码利用遗传算法解决了复杂的问题。后来，我又与我的朋友凯达尔·波杜里（Kedar Poduri）和埃比内泽·舒伯特（Ebenezer Schubert）一起在思杰公司构建了大规模机器学习系统。然而，当我初次接触ChatGPT时，我知道一切都变了。在初次接触大语言模型时，我正在一家构建网络安全软件的公司工作。我的职责是帮助大型公司发现并追踪其软件中的漏洞。我们凭借大语言模型很快就发现了独特且严重的安全隐患。在随后的几个月里，我坚定调整了职业生涯的方向以应对这一颠覆性的变化。我围绕大语言模型的安全性启动了一个广受欢迎的开源项目，稍后你将看到更多关于它的内容。后来，我加入了Exabeam，它是一家专注于人工智能与网络安全交叉领域的公司。当O’Reilly出版社的一位编辑联系我，邀请我写一本关于这个主题的书时，我欣然接受了。阅读指南本书共有12章，按照逻辑分为三个部分。第一部分：夯实基础（第1～3章）本书的开篇三章为理解基于大语言模型的应用程序的安全状况奠定基础。它们将为你提供必要的知识框架，使你能够自信地剖析使用大语言模型开发应用程序时所面临的问题：第1章通过研究一个真实案例来揭示业余黑客如何摧毁全球最大软件公司之一的高投入、高潜力的聊天机器人项目，从而帮助你深刻认识即将面临的安全挑战。第2章介绍的是我于2023年创立的一个项目，该项目的目的是识别和应对大语言模型所带来的独特安全挑战。我在该项目中获得的知识和经验直接促成了本书的创作。第3章探讨了大语言模型应用架构，强调控制应用程序内部各种数据流的重要性。第二部分：风险、漏洞和补救措施（第4～9章）该部分剖析在开发大语言模型应用程序时所面临的主要风险领域。这些风险涵盖了传统应用程序安全专家熟悉的内容，如注入攻击、敏感信息泄露和软件供应链风险。此外，你还将接触到机器学习爱好者所熟知但在Web开发中较少涉及的漏洞类型，如训练数据投毒。在此过程中，你还将了解这些新兴的生成式人工智能系统所面临的全新的安全和保障问题，如幻觉、过度依赖和智能体权限过度。我将通过分析实际案例，帮助你理解这些风险及其影响，并就如何逐案预防或减轻这些风险提供建议：第4章探讨了攻击者如何通过构造特定输入来操纵大语言模型，使其执行非预期操作。第5章深入探讨了敏感信息泄露的风险，展示了大语言模型如何在不经意间暴露其训练数据，以及如何防范这一漏洞。第6章检验了大语言模型中独特的“幻觉”现象，即模型生成虚假或误导性信息的情况。第7章聚焦于零信任原则，阐述了不能轻易相信任何输出结果的重要性，以及对大语言模型输出进行严格验证的必要性。第8章探讨如何应对部署大语言模型技术所带来的经济风险，重点关注拒绝服务（DoS）、拒绝钱包（DoW）和模型克隆攻击。这些风险可能造成经济损失、破坏服务或窃取知识产权。第9章强调了软件供应链中的漏洞，以及保护应用程序免受潜在威胁所需采取的关键措施。开发人员通过深入理解并有效应对这些风险，可以更好地保护应用程序免受不断演变的安全威胁。第三部分：构建安全流程，为未来做好准备（第10～12章）第二部分介绍了理解和应对这一领域中各种具体威胁所需的工具，该部分则是关于如何将这一切融会贯通：第10章借用一些著名的科幻故事，展示多个安全漏洞和设计缺陷如何相互叠加而酿成灾难。通过解析这些未来主义的案例研究，我希望能帮助你预防此类灾难的发生。第11章深入探讨如何将针对大语言模型的安全实践融入软件开发全流程—这是确保此类软件大规模安全运行的必要条件。第12章审视大语言模型和人工智能技术的发展轨迹，窥见它们将引领我们走向何方，以及这对安全和保障要求可能带来的影响。我还将向你介绍负责任的人工智能软件工程（RAISE）框架，它将为你提供一个简单且分类清晰的工作方法，帮助你将最重要的工具和经验付诸实践，保障软件的安全性。排版约定本书中使用以下排版约定：斜体（Italic）表示新的术语、URL、电子邮件地址、文件名和文件扩展名。等宽字体（Constant width）用于程序清单，以及段落中的程序元素，例如变量名、函数名、数据库、数据类型、环境变量、语句以及关键字。等宽粗体（Constant width bold）表示应由用户直接输入的命令或其他文本。等宽斜体（Constant width italic）表示应由用户提供的值或由上下文确定的值替换的文本。该图示表示提示或建议。该图示表示一般性说明。该图示表示警告或注意。O’Reilly在线学习平台（O’Reilly Online Learning）40多年来，O’Reilly Media致力于提供技术和商业培训、知识和卓越见解，来帮助众多公司取得成功。我们拥有由独一无二的专家和革新者组成的庞大网络，他们通过图书、文章、会议和我们的在线学习平台分享他们的知识与经验。O’Reilly的在线学习平台允许你按需访问现场培训课程、深入的学习路径、交互式编程环境，以及O’Reilly和200多家其他出版商提供的大量文本与视频资源。有关的更多信息，请访问https://oreilly.com。如何联系我们对于本书，如果有任何意见或疑问，请按照以下地址联系本书出版商。美国：O’Reilly Media，Inc.1005 Gravenstein Highway NorthSebastopol，CA 95472中国：北京市西城区西直门南大街2号成铭大厦C座807室（100035）奥莱利技术咨询（北京）有限公司针对本书中文版的勘误，请发送电子邮件至errata@oreilly.com.cn。本书配套网站https://oreil.ly/the-developers-playbook上列出了勘误表、示例以及其他信息。关于书籍、课程、会议和新闻的更多信息，请访问我们的网站https://oreilly.com。我们在LinkedIn上的地址：https://linkedin.com/company/oreilly-media。我们在YouTube上的地址：https://youtube.com/oreillymedia。致谢感谢所有曾经鼓励过我，或在这本书的写作过程中为我提供过反馈意见的朋友、家人和同事，他们是：Will Chilcutt、Fabrizio Cilli、Ads Dawson、Ron Del Rosario、Sherri Douville、Sandy Dunn、Ken Huang、Gavin Klondike、Marko Lihter、Marten Mickos、Eugene Neelou、Chase Peterson、Karla Roland、Jason Ross、Tom Santos、Robert Simonoff、Yuvraj Singh、Rachit Sood、Seth Summersett、Darcie Tuuri、Ashish Verma、Jeff Williams、Alexa Wilson、Dave Wilson和Zoe Wilson。感谢O’Reilly团队在本书的出版过程中给予我的支持与指导。我还非常感激Nicole Butterfield，她向我提出了撰写本书的想法，并在选题策划阶段为我提供指导。我也要向我的编辑Jeff Bleiel表达感谢，他的耐心、专业技能和专业知识对本书的完成产生了重要影响。特别感谢本书的技术审校者：Pamela Isom、Chenta Lee、Thomas Nield和Matteo Dora。
購物車/收銀台(0) | 在線留言板
| 付款方式
| 聯絡我們
| 運費計算
| 幫助中心 |
加入書簽
HOME
新書上架
