新書推薦:

《
防患于未“燃”:故宫历史上的火灾与消防(在故宫) 探秘故宫防火智慧 解码古建营造技艺
》
售價:NT$
403.0

《
从家族企业到商业世家:创业家族世代繁荣的路线图
》
售價:NT$
403.0

《
敦煌石窟乐舞图像研究
》
售價:NT$
857.0

《
剑桥俄国史 第一卷 从早期罗斯到1689年
》
售價:NT$
1250.0

《
原来数学还可以这样学
》
售價:NT$
407.0

《
典籍里的中国 第二辑
》
售價:NT$
653.0

《
108种手艺1:中国人的生活美学 王的手创非物质文化遗产的全新再现。以鲜活的一手内容全面展现优秀传统手艺
》
售價:NT$
1010.0

《
宁来一梦
》
售價:NT$
458.0
|
編輯推薦: |
覆盖微调、量化与推理完整实战技术聚焦LORA、P-Tuning主流优化方法展示多行业真实场景的应用开发案例强调工程部署与云端集成的实操能力中国科学院、中国电信研究院、蔚来、京东、曦智科技等多位专家联合推荐附赠案例代码、教学视频、授课用PPT、函数功能汇总表和拓展思考题等海量学习资源
|
內容簡介: |
本书全面探讨了大语言模型(通常可简称“大模型”)在应用开发中的核心技术与实现。内容涵盖了大语言模型的基本原理、微调与优化技术、复杂项目开发流程及高效实用的工程实践案例,通过结构化的模块设计和详细的代码解析,帮助读者快速掌握相关技术并应用于真实场景,搭建从理论到实践的完整知识体系。本书分为四部分,共10章,系统梳理了大语言模型的核心架构与原理,深入讲解了Transformer模型的构造与训练机制,全面介绍了现代微调方法(如LoRA、P-Tuning等)以及模型量化、编译与推理优化的关键技术。针对应用场景,本书结合多个企业级实际案例,包括电商智能客服平台、编程辅助插件、寻人检索数据库和硬件开发工程师助理等,详细展示了从需求分析、数据处理、模型选择到上线部署的完整开发流程。这些案例不仅强调技术实现,还融入了工程实践中常见的问题与解决方案,为读者提供了丰富的参考资料。本书适合对大语言模型感兴趣的技术爱好者、希望深入研究模型微调与优化的科研人员、从事人工智能开发的工程师和产品经理,同时也适合高等院校相关专业学习大语言模型的师生。同时,随书附赠案例代码、教学视频及授课用PPT,读者可通过扫封底二维码获取。无论是初学者学习理论基础、学生探索前沿技术,还是工程师在一线工作中进行实践开发,本书都能提供系统化的知识体系和实用的开发技能。
|
關於作者: |
丁小晶资深大模型AI应用技术专家与管理者,拥有超过15年计算机及AI领域经验、5年团队管理经验的技术创新与项目管理复合型人才,精通大模型技术及多语言编程,致力于AI大模型的应用和创新。毕业于中国科学院计算技术研究所,从事高性能计算技术研究。先后在三星中国、百度等世界知名企业工作,有多年旅日工作经历,屡获百度荣誉并持多项专利。目前作为小度教育业务技术负责人及大模型应用专家,致力于研究基于大模型AI教育产品创新,引领小度教育成为行业先锋。马全一华为技术有限公司开源运营总监;操作系统和Rust编程语言技术专家;Web3 Infrastructure Foundation创始人、独立董事;黑龙江科技大学兼职教授;开放原子开源基金会开源项目导师。以“拥抱开源”为理念,致力于解决模型生态所遇到的挑战,推动AI生态的发展和完善。冯洋南京大学计算机学院副教授,主要研究方向为复杂软件系统质量保障、大语言模型研究和应用开发,研究课题包括复杂软件系统的质量保障技术、大语言模型的微调与优化技术等。近年来发表包括ICSE、FSE、ASE、ISSTA、TSE、TOSEM等CCF-A类期刊与会议学术论文30余篇,并在2022年ASE、2023年FSE、2023年Internetware等大会获杰出论文奖及华为火花奖等奖项。
|
目錄:
|
前言第一部分理论基础与开发准备第1章 大语言模型基础1.1大语言模型概述1.1.1大语言模型发展历史1.1.2大语言模型发展现状1.2模型的基本架构1.2.1Transformer架构解析1.2.2编码器-解码器1.2.3注意力机制详解1.3大语言模型应用开发基础1.3.1与大语言模型相关的Python开发技术1.3.2React开发框架1.4大语言模型训练原理简介1.4.1LoRA微调技术1.4.2Prompt改进:P-Tuning1.4.3人类反馈强化学习第2章 大语言模型应用开发基础2.1CUDA并行编程技术2.1.1CUDA编程模型与架构原理2.1.2基于CUDA的矩阵运算与优化实现2.1.3CUDA内核性能调优与工具使用2.2基于PyTorch的大语言模型构建方法2.2.1PyTorch核心模块解析:数据加载与模型定义2.2.2自动微分与优化器的实现原理2.2.3多GPU分布式训练与性能优化2.3Nginx web服务器开发2.3.1Nginx核心模块与配置解析2.3.2使用Nginx处理静态与动态内容2.3.3高并发场景下的性能调优2.4Hugging Face的Transformer库2.4.1Transformer库基础:模型加载与简单推理2.4.2自定义微调流程:从数据准备到模型训练2.4.3模型导出与量化加速推理2.5API开发与云端部署2.5.1FastAPI框架快速搭建RESTful接口2.5.2部署深度学习模型服务:从本地到云端2.5.3接口性能监控与日志管理工具开发第二部分核心技术解析与优化第3章 大语言模型微调与应用实战3.1基于LLaMA3模型的微调技术3.1.1微调场景分析:任务分类、文本生成与问答3.1.2微调数据准备与预处理3.1.3微调过程实现:冻结层优化与增量学习3.2基于GeMMA-7B模型的微调技术3.2.1GeMMA-7B模型的任务适配:多任务微调方法3.2.2数据增强技术在微调中的应用3.2.3高效微调工具链:使用Hugging Face与PEFT方法3.3案例实战:企业文档问答平台3.3.1企业文档问答任务需求分析与功能模块划分3.3.2构建企业文档问答系统3.3.3微调、部署与性能测试第4章 模型量化、编译与推理4.1大语言模型量化原理4.1.1模型量化技术简介:从FP32到INT8的精度降低方法4.1.2量化算法实现:动态量化与静态量化的技术差异4.1.3量化对推理性能的影响分析:速度提升与硬件加速4.2基于LLaMA3模型的量化过程4.2.1模型编译4.2.2模型加载4.2.3模型量化与测试4.2.4通过Nginx运行量化模型4.3基于GeMMA-7B模型的量化过程4.3.1模型编译4.3.2模型加载4.3.3模型量化与测试4.3.4通过Nginx运行量化模型4.4量化模型与推理4.4.1INT8推理框架对比:TensorRT与ONNX Runtime的应用4.4.2量化模型的实时推理第三部分行业应用开发与实战第5章 服务类应用开发:电商智能客服平台5.1客服平台需求分析与功能规划5.1.1电商场景中的常见客服需求分析5.1.2智能客服功能模块分解:对话生成、问题匹配与用户情绪检测5.1.3技术架构设计:对话模型与后端服务的集成5.2数据收集与清洗:构建电商客服知识库5.2.1知识库构建的流程与数据来源分析:商品信息与用户问题整合5.2.2数据清洗与分类技术:停用词过滤、分词与主题标签提取5.2.3数据增强与扩展方法:同义词替换与多语言支持5.3模型选择与微调:定制化客服模型开发5.3.1选择合适的预训练模型:对比BERT、GPT与T5的适用场景5.3.2微调对话生成模型:训练FAQ匹配与上下文生成能力5.3.3模型评估与优化:BLEU、ROUGE等指标的使用与调优5.4聊天逻辑与上下文管理实现5.4.1多轮对话上下文管理:用户意图识别与历史对话跟踪5.4.2对话状态追踪与转移:Slot Filling技术的应用5.4.3自然对话中的中断与恢复逻辑处理5.5实时问答API与平台部署5.5.1API设计与开发:实现多轮对话与知识检索接口5.5.2实时部署与性能优化:负载均衡与延迟优化第6章 生产类应用开发:编程辅助插件6.1编程辅助需求分析与插件架构设计6.1.1需求分解:语法检查、代码生成与性能优化6.1.2数据流、后端逻辑与UI组件分离6.2编程语言模型微调:从代码生成到Bug修复6.2.1代码生成任务微调:从小样本学习到语法生成6.2.2错误检测与修复模型实现:代码标注与错误模式学习6.2.3生成式与判别式模型结合:从补全到建议6.3插件开发框架:编辑器集成与插件编写6.3.1基于VS Code扩展API的插件基础开发6.3.2编写代码补全与重构功能模块:结合语言服务器协议(LSP)6.3.3插件与云服务交互开发:代码片段存储与共享功能6.4编程任务与语言支持扩展6.4.1多语言代码生成的实现与支持:基于CodeT5或Codex的扩展6.4.2AST解析与复杂度分析第7章 RAG应用开发:复杂场景下的寻人检索数据库7.1RAG应用场景分析:寻人检索需求与数据库构建7.1.1数据库结构设计:基于向量化数据的检索架构规划7.1.2寻人场景数据特点与多模态信息整合7.2数据嵌入向量化与存储:使用Milvus构建检索索引7.2.1数据向量化实现:结合Sentence-BERT生成嵌入向量7.2.2Milvus数据库的索引构建:从HNSW到IVF7.3检索模块开发:从语义搜索到多模态查询7.3.1基于语义搜索的检索:相似度匹配优化7.3.2查询结果的排序与过滤7.3.3寻人检索系统开发第8章 LangChain应用开发:硬件开发工程师助理8.1硬件工程需求分析与助手功能设计8.1.1常见硬件开发流程分析:设计验证与调试需求8.1.2助理功能模块设计:问题回答、文档解析与设计建议8.1.3技术架构选择:结合LangChain模块化开发的流水线设计8.2硬件知识库构建与预训练模型微调8.2.1构建面向硬件开发的高质量语料库8.2.2领域微调:适配硬件领域专有术语8.2.3知识库与语料库的动态更新8.3LangChain流水线开发:从知识检索到问题解答8.3.1基于LangChain的多步检索与问答实现8.3.2知识链与逻辑推理8.3.3动态知识图谱8.4硬件设计工具集成与数据生成8.4.1与EDA工具的接口开发与集成8.4.2硬件设计数据生成器第四部分高级技术拓展与创新第9章 Prompt生成:提示词生成技术9.1提示词优化需求分析与生成技术简介9.1.1提示词在大语言模型性能优化中的作用9.1.2提示词生成的技术原理与常用方法9.1.3动态提示词优化与自适应调整9.2提示词语料库构建与分类方法9.2.1构建提示词库:从文本生成到翻译任务9.2.2提示词的聚类与分类实现:K-means与DBSCAN的使用9.2.3提示词的自动扩展与评价指标9.3生成模型微调与Prompt优化技术实现9.3.1使用生成模型实现提示词优化:基于T5微调的示例9.3.2Few-shot与Zero-shot场景下的提示词生成9.3.3提示词对比学习的实现:监督与自监督第10章 智能体开发:文本文档划词翻译插件10.1文档翻译场景分析与划词翻译需求设计10.1.1文档翻译的场景需求与技术分析10.1.2划词翻译实现10.1.3翻译智能体核心架构设计10.1.4智能体逐模块开发10.1.5系统综合开发完整代码实现10.2翻译模型微调与多语言支持实现10.2.1基于大语言模型的多语言翻译10.2.2对比基于词典与语料的方法10.2.3增强翻译结果的流畅性与语义准确度10.3插件开发与跨平台兼容性优化10.3.1浏览器插件API的开发10.3.2文本编辑器划词翻译插件开发10.3.3响应速度优化与内存占用优化10.4翻译系统评估与用户反馈迭代10.4.1翻译质量的评价指标与调优10.4.2用户行为数据采集与反馈机制
|
內容試閱:
|
近年来,大语言模型凭借强大的自然语言处理能力,迅速成为人工智能领域的核心技术。以GPT-3、BERT、DeepSeek等为代表的大语言模型,通过庞大的参数量与预训练技术,展现了强大的语言生成与理解能力,推动了自然语言处理领域的跨越式发展。这些大语言模型已在对话系统、机器翻译、推荐系统等诸多应用中取得了显著成果。然而,其开发、优化与应用的完整实现流程,涉及复杂的理论知识和工程实践,对于许多开发者而言依然充满挑战。为了解决这一问题,本书旨在为读者搭建从理论到实践的桥梁,提供系统性的技术解析和丰富的应用案例。全书的编写立足于以下三个核心目标。(1)理论解析:从理论层面全面剖析大语言模型的核心架构与技术原理,帮助读者能够系统掌握Transformer、注意力机制等基础知识,为实践奠定坚实的理论基础。(2)实用开发:聚焦大语言模型的关键开发技术,包括微调策略、Prompt优化、领域适配与多语言支持,帮助读者实现从算法研究到工程开发的无缝连接。(3)项目实战:通过精心设计的企业级项目案例,如智能客服平台、编程辅助工具、跨平台翻译插件等,展示大语言模型在真实场景中的完整开发流程,帮助读者将理论与技术应用于实际工作中。全书分为四部分,共10章,覆盖从基础理论到实战开发的全流程。第一部分:理论基础与开发准备(第1~2章)本部分全面介绍了大语言模型的基本原理与开发准备,涵盖其基本架构、Transformer模型的构造、注意力机制和预训练技术,帮助读者从理论层面理解大语言模型的构成与工作原理。同时,针对实际开发需求,讲解了CUDA并行编程、PyTorch框架构建、Hugging Face工具使用等关键技术,为后续章节的深入学习和实战开发打下坚实基础。这部分内容可以帮助读者快速构建起大语言模型开发的理论框架与技术能力。第二部分:核心技术解析与优化(第3~4章)本部分聚焦于大语言模型的核心技术解析与性能优化,详细讲解了微调技术(如LoRA和P-Tuning)和量化技术的基本原理及实现过程。通过LLaMA3和GeMMA 7B模型的微调和量化案例,帮助读者掌握如何高效调整模型参数,从而适配不同的任务需求,并优化模型的性能与推理效率。这部分内容为开发者提供了提升模型效能的实用方法和技术指导。第三部分:行业应用开发与实战(第5~8章)本部分以实际应用为核心,展示了大语言模型在多个领域的完整开发流程。涵盖电商智能客服平台、编程辅助插件、寻人检索数据库、硬件开发工程师助理等企业级项目,从需求分析、数据处理、模型设计到上线部署,全面阐释了从技术到产品的落地过程。这部分内容通过丰富的实战案例,帮助读者积累开发经验,理解大语言模型在真实场景中的应用价值与实现方法。大语言模型原理、微调与Agent开发第四部分:高级技术拓展与创新(第9~10章)本部分专注于大语言模型的高级技术与创新应用,探索Prompt生成与优化技术,以及智能体(智能翻译插件)的开发与跨平台实现。通过语料库构建、生成模型微调、多语言支持等技术的详细解析,展示如何进一步提升模型在提示词生成、翻译等领域的性能和效率。这部分内容为读者提供了贴近一线的技术思路和实践方法,启发他们在更多前沿领域开展研究与创新。本书适合对大语言模型感兴趣的技术爱好者、希望深入研究微调与优化技术的科研人员、人工智能开发的工程师与产品经理,同时也适合高等院校相关专业学习大语言模型的师生。随书附赠案例代码,教学视频及授课用PPT等海量学习资源,助力读者快速上手并高效学习。无论是初学者学习理论基础、学生探索前沿技术,还是工程师在一线工作中进行实践开发,本书都能为读者提供系统化的知识体系与实用的开发技能。希望本书能够成为读者学习大语言模型理论与实践的实用指南,帮助读者在人工智能领域的探索中走得更远。无论是为学术研究开辟新方向,还是为工业项目注入创新动力,本书都将助力读者从理论走向实战,在大语言模型的应用浪潮中抢占先机。编者
|
|