新書推薦:
《
打好你手里的牌(斯多葛主义+现代认知疗法,提升当代人的心理韧性!)
》
售價:NT$
301.0
《
新时代硬道理 广东寻路高质量发展
》
售價:NT$
352.0
《
6S精益管理实战(精装版)
》
售價:NT$
458.0
《
异域回声——晚近海外汉学之文史互动研究
》
售價:NT$
500.0
《
世界文明中的作物迁徙:聚焦亚洲、中东和南美洲被忽视的本土农业文明
》
售價:NT$
454.0
《
无端欢喜
》
售價:NT$
347.0
《
股票大作手操盘术
》
售價:NT$
245.0
《
何以中国·何谓唐代:东欧亚帝国的兴亡与转型
》
售價:NT$
398.0
|
編輯推薦: |
1.本书从脉冲神经元网络的概念和实现方法开始,通过构建能适应神经网络动态编程的高能效加速器,验证脉冲神经网络硬件设计与流行的学习算法有机结合,展示显著提高能效和计算效率的方法和实践;
2.本书由美国密西根大学计算机科学系马祖姆德教授团队结合多年类脑智能研究理论和成果撰写而成,由上海交通大学类脑智能研究中心刘佩林教授团队翻译,为类脑智能前沿研究和应用领域提供了详实的学习和研究指南。
|
內容簡介: |
本书主要关注如何构建高能效具有学习能力的脉冲型神经元网络硬件,并且提供建立具有学习能力的脉冲型神经元网络硬件协同设计、协同优化方法。完整地描述从高级算法到底层硬件实现的细节。本书同样涵盖了脉冲型神经元网络中的许多基础知识和关键点。
本书从对脉冲型神经元网络的概述开始,讨论基于速率的人工神经网络的应用和训练,介绍实现神经网络的多种方法,如通用处理器和专用硬件,数字加速器和模拟加速器。同时展示了一个为能适应神经网络动态编程而建立的高能效加速器,验证脉冲神经网络的基础概念和流行的学习算法,简介脉冲神经网络硬件。后面的章节为读者介绍三个实现前述章节学习算法的设计案例(两个基于传统CMOS工艺,一个基于新兴的纳米工艺)。本书的结尾对脉冲型神经元网络硬件进行总结与展望。
|
關於作者: |
郑楠
(Nan Zheng)
2011年本科毕业于上海交通大学信息工程专业,2014年和2018年分别获得美国密歇根大学电气工程硕士和博士学位。他目前是NVIDIA高级深度学习架构师,研究兴趣侧重于机器学习应用的低能耗硬件架构、算法和电路技术。
皮纳基·马祖姆德
(Pinaki Mazumder)
美国密歇根大学电气工程与计算机科学系教授,他的研究兴趣包括对于量子MOS、自旋电子学、欺骗等离子体、共振隧穿器件等新兴技术的CMOS超大规模集成电路设计、半导体存储系统、CAD工具和电路设计。
译者简介:
刘佩林
上海交通大学电子信息与电气工程学院教授,博士生导师。研究领域包括音频、视频、3D信号处理与智能分析,面向机器人的环境感知、人机交互、定位与导航,以及类脑计算与低功耗电路设计等。2017年起任上海交通大学类脑智能应用技术研究中心主任。
应忍冬
上海交通大学电子信息与电气工程学院副教授,硕士生导师。研究领域包括嵌入式系统、数字信号处理及VLSI实现架构、人工智能领域的机器思维原理和实现。
薛建伟
上海交通大学电子信息与电气工程学院博士研究生。研究领域包括类脑智能、片上多核系统等。
|
目錄:
|
译者序
前言
致谢
第1章 概述1
1.1 神经网络的历史1
1.2 软件中的神经网络2
1.2.1 人工神经网络2
1.2.2 脉冲神经网络2
1.3 神经形态硬件的需求3
1.4 本书的目标和大纲4
参考文献6
第2章 人工神经网络的基础与学习9
2.1 人工神经网络的工作原理9
2.1.1 推理9
2.1.2 学习10
2.2 基于神经网络的机器学习13
2.2.1 监督学习13
2.2.2 强化学习15
2.2.3 无监督学习17
2.2.4 案例研究:基于动作的启发式动态规划18
2.3 网络拓扑24
2.3.1 全连接神经网络24
2.3.2 卷积神经网络25
2.3.3 循环神经网络27
2.4 数据集和基准29
2.5 深度学习31
2.5.1 前深度学习时代31
2.5.2 深度学习的崛起31
2.5.3 深度学习技术32
2.5.4 深度神经网络示例38
参考文献40
第3章 硬件中的人工神经网络47
3.1 概述47
3.2 通用处理器48
3.3 数字加速器48
3.3.1 数字ASIC实现方法48
3.3.2 FPGA加速器61
3.4 模拟/混合信号加速器62
3.4.1 传统集成技术中的神经网络62
3.4.2 基于新兴非易失性存储器的神经网络68
3.4.3 光学加速器71
3.5 案例研究:一种节能的自适应动态规划加速器的程序设计72
3.5.1 硬件架构73
3.5.2 设计示例78
参考文献82
第4章 脉冲神经网络的工作原理与学习92
4.1 脉冲神经网络92
4.1.1 常见的脉冲神经元模型92
4.1.2 信息编码94
4.1.3 脉冲神经元与非脉冲神经元的比较95
4.2 浅层SNN的学习96
4.2.1 ReSuMe96
4.2.2 Tempotron97
4.2.3 脉冲时间相关可塑性98
4.2.4 双层神经网络中通过调制权重依赖的STDP进行学习的方法101
4.3 深度SNN学习113
4.3.1 SpikeProp113
4.3.2 浅层网络栈113
4.3.3 ANN的转换115
4.3.4 深度SNN反向传播的研究进展116
4.3.5 在多层神经网络中通过调制权重依赖的STDP进行学习的方法116
参考文献128
第5章 脉冲神经网络的硬件实现133
5.1 对专用硬件的需求133
5.1.1 地址事件表示133
5.1.2 事件驱动计算134
5.1.3 渐进精度推理134
5.1.4 实现权重依赖的STDP学习规则的硬件注意事项138
5.2 数字脉冲神经网络142
5.2.1 大规模脉冲神经网络专用集成电路142
5.2.2 中小型数字脉冲神经网络147
5.2.3 脉冲神经网络中的硬件友好型强化学习149
5.2.4 多层脉冲神经网络中的硬件友好型监督学习153
5.3 模拟/混合信号脉冲神经网络161
5.3.1 基本构建块161
5.3.2 大规模模拟/混合信号CMOS脉冲神经网络163
5.3.3 其他模拟/混合信号CMOS脉冲神经网络专用集成电路166
5.3.4 基于新兴纳米技术的脉冲神经网络166
5.3.5 案例研究:脉冲神经网络中基于忆阻器交叉开关的学习169
参考文献183
第6章 总结190
6.1 展望190
6.1.1 脑启发式计算190
6.1.2 新兴的纳米技术191
6.1.3 神经形态系统的可靠计算192
6.1.4 人工神经网络和脉冲神经网络的融合193
6.2 结论194
参考文献194
附录197
术语表205
|
內容試閱:
|
译者序
Learning in Energy-Efficient Neuromorphic Computing:Algorithm and Architecture Co-Design
以“旧神退散,新神未立”来形容近年来计算架构领域的发展的确很形象,2017年计算机图灵奖的两名得主David Patterson和John L.Hennessy在一篇文章中也曾给出类似判断,即“未来十年是计算架构发展的黄金十年”。神经形态计算便被认为是计算架构创新的“新神”之一。这本由Zheng和Mazumder撰写的书即是对这个“新神”的引荐。
人工智能作为当前的研究热点,受到国内外学术界和工业界的追捧,而且很多成熟的产品已经落地。目前所用的人工智能算法主要集中在深度神经网络上,即第二代神经网络。该网络结构虽然效果好,但是功耗大,难以应用在一些移动设备上,且很难充分模仿人脑的智能性。而神经形态计算作为第三代人工神经网络,可以充分模拟大脑的低功耗计算特点,作为人工智能以及脑科学的交叉研究领域,具有很大的研究前景。
本书重点讨论如何为具有学习能力的神经网络构建节能硬件,致力于构建具有学习与执行各种任务的能力的硬件神经网络,提供协同设计和协同优化方法,并提供了从高层算法到底层实现细节的完整视图。开发硬件友好算法的目的是简化硬件实现,而特殊的硬件体系结构的提出则是为了更好地利用算法的独特功能。在本书的各章中,讨论了用于节能型神经网络加速器的算法和硬件体系结构。低功耗对于所有将功耗作为重要考虑因素的应用而言至关重要,使用耗电的GPU和将原始数据发送到可以进一步分析数据的云计算机都不是可行的选择。
作为一本介绍神经形态计算算法和硬件设计思想的书,本书不仅是信息学科、软件工程等学科的基本教材(或参考书),更是可以带领零基础的人进入神经形态计算领域的引路石。在内容的介绍上,本书循序渐进,深入浅出,展示了当前人工智能的算法,并逐步引入神经形态的智能算法当中,再介绍关于神经形态算法硬件实现的设计思路。本书的一大特色是关注基于新兴器件的神经形态计算的架构设计,探讨新兴器件带来的设计问题及其解决思路。本书附带了一些案例供读者学习,覆盖了书中所涉及领域的众多代表性工作。虽然本书不可能完全展示当前的神经形态计算算法和硬件设计中的所有技术细节,但是可以对初入该领域的技术人员提供一个较为完整的认识和强有力的帮助。
本书的内容广泛,包括人工智能的前沿与新兴工艺技术,为了尽可能地翻译准确,我们得到了上海交通大学类脑智能应用技术研究中心全体师生的大力支持,特别是得到了耿相铭老师的帮助与指正。同时也十分感谢杨石玉、朱肖光、陈发全、耿豪、宋扬、尹树雨、计星武、程宇豪、潘敏婷等同学在校对过程中给予的帮助,他们的帮助使本书翻译工作得以顺利完成。
最后,本书虽然经过仔细校对,但限于译者自身的水平及经验,译文可能还存在不足,非常期待大家指正,以便之后进一步完善。
刘佩林
2020年于上海
|
|