新書推薦:

《
复合型AI Agent开发:从理论到实践
》
售價:NT$
505

《
选择的权利:推翻罗诉韦德案(译文纪实系列)
》
售價:NT$
602

《
符号空间:品牌建筑空间媒介化研究
》
售價:NT$
638

《
宫门内外:阴云下的政变
》
售價:NT$
332

《
从阅读到输出:靠大量阅读年入7位数 每天15分钟读写闭环,启动人生复利增长系统
》
售價:NT$
356

《
世上要有天一阁
》
售價:NT$
347

《
精确科学的常识 天才数学家克利福德
》
售價:NT$
194

《
星海赞歌(第十三届北京科幻创作创意大赛“光年奖”获奖作品集)
》
售價:NT$
449
|
| 編輯推薦: |
|
随机性是人工智能和机器学习绕不开的话题,如计算机科学和人工智能之父艾伦·图灵期待的那样,它有望赋予机器“自由意志”。《人工智能的数学基础——随机之美》是人工智能数学基础之中的概率论部分,也是《人工智能的数学基础——数据之本》的姊妹篇,旨在为读者提供一套较为完整且实用的随机数学工具。它以法国数学大师、贝叶斯主义先驱拉普拉斯的概率思想为主线,介绍了古典和现代概率论的主要成就,以及在人工智能中的一些应用和计算机实践。
|
| 內容簡介: |
|
《人工智能的数学基础——随机之美》是人工智能数学基础之中的概率论部分,也是《人工智能的数学基础——数据之本》的姊妹篇,旨在为读者提供一套较为完整且实用的随机数学工具。全书共分四部分:第一部分是概率论简史(第1~2章),介绍了概率论奠基人拉普拉斯的学术成就以及概率论发展简史。第二部分是经典概率论(第3~8章),涉及古典概率论、随机变量及其数字特征、示性函数、一些常见的分布、大数律与中心极限定理、随机过程(包括随机分析简介)。第三部分是贝叶斯决策与因果推断(第9~10章),涵盖贝叶斯分析、统计决策理论、因果分析等内容。第四部分是附录,包含拉普拉斯变换、卷积的物理意义、正态分布的由来、矩阵计算的一些结果、凸性与詹森不等式、黎曼-斯蒂尔杰斯积分、测度论简介等背景知识。《人工智能的数学基础——随机之美》适合作为普通高等学校计算机或人工智能专业学生学习概率论相关知识的读物,也适用于对人工智能和机器学习感兴趣的高年级本科生和研究生,要求读者具备线性代数和数学分析(或微积分)的基础。
|
| 關於作者: |
|
于江生北京大学应用数学博士,美国Futurewei公司首席科学家。曾在北京大学、堪萨斯大学、韦恩州立大学工作多年。主要研究方向是人工智能、统计机器学习、贝叶斯数据分析、计算语言学、图像处理、生物信息学等。已发表四十多篇学术论文(第一作者),拥有近三十项美国算法类专利。曾获教育部科技进步一等奖(2007年)和自然科学一等奖(2011年)。曾任华为技术有限公司2012泊松实验室主任、机器学习和应用数学首席科学家。已出版专著《人工智能伦理》《人工智能的数学基础——数据之本》,译著《为什么:关于因果关系的新科学》《走近图灵》《简单的复杂》《思考,快与慢》《心与芯:我们与机器人的无限未来》《愚蠢的鹦鹉,还是聪明的鸭子》等。
|
| 目錄:
|
目 录
第一部分 历史背景
第1章 拉普拉斯的学术成就 3
1.1 拉普拉斯的学术生涯 6
1.1.1 拉普拉斯在概率论上的贡献 8
1.1.2 拉普拉斯的两部概率论著作 12
1.2 拉普拉斯的因果哲学 13
1.2.1 充足理由律 14
1.2.2 探索不确定性中的规律 15
第2章 概率论简史 19
2.1 17 世纪中叶的概率论 20
2.2 18 世纪的概率论 21
2.3 19 世纪的概率论 21
2.4 20 世纪以来的概率论 23
2.5 概率论的意义 24
2.6 推荐的读物 28
第二部分 经典概率论基础
第3章 古典概率与概率论的公理化 33
3.1 古典概率模型 38
3.1.1 计数概率 42
3.1.2 几何概率 51
3.1.3 庞加莱论概率计算 58
3.1.4 随机模拟方法 60
3.1.5 对随机性的思考 63
3.2 概率论的公理化 70
3.2.1 样本空间 75
3.2.2 柯尔莫哥洛夫概率公理体系 79
3.2.3 三种不同类型的概率测度 88
3.2.4 概率的一些基本性质 92
3.3 条件概率与独立性 97
3.3.1 条件概率及其性质 100
3.3.2 全概率公式与贝叶斯公式 105
3.3.3 随机事件的独立性 113
3.3.4 条件独立性及其性质 122
第4章 随机变量及其数字特征 127
4.1 随机变量及其基本性质 131
4.1.1 随机变量的分布与分布函数 135
4.1.2 离散型与连续型随机变量 140
4.1.3 随机变量的函数 150
4.2 随机向量及其基本性质 152
4.2.1 边缘分布和条件分布 159
4.2.2 随机变量间的独立性 164
4.2.3 条件独立性 167
4.2.4 随机向量的函数 173
4.3 随机变量的数字特征 183
4.3.1 数学期望 187
4.3.2 条件期望与双期望定理 196
4.3.3 方差与条件方差 199
4.3.4 熵、互信息和 KL 散度 204
4.3.5 拉普拉斯变换与各种矩 210
4.3.6 概率不等式 215
4.4 随机变量之间的关系 226
4.4.1 协方差与相关系数 228
4.4.2 最小二乘法和回归 233
4.4.3 随机向量的主成分 238
第5章 示性函数 240
5.1 示性函数的基本性质 249
5.1.1 独立随机变量之和的示性函数 252
5.1.2 示性函数与矩 254
5.2 示性函数与分布函数的关系 256
5.2.1 莱维反演公式 261
5.2.2 莱维连续性定理 266
第6章 一些常见的分布 269
6.1 离散型随机变量的分布 276
6.1.1 单点分布和两点分布 278
6.1.2 二项分布 281
6.1.3 波利亚分布及其特例(超几何分布) 284
6.1.4 几何分布和负二项分布 286
6.1.5 泊松分布 290
6.2 连续型随机变量的分布 294
6.2.1 均匀分布 295
6.2.2 三角形分布 299
6.2.3 正态分布、对数正态分布和偏正态分布 299
6.2.4 拉普拉斯分布 304
6.2.5 柯西分布 308
6.2.6 伽马分布及其特例(卡方分布和指数分布) 309
6.2.7 贝塔分布 317
6.2.8 t 分布和 F 分布 320
6.2.9 帕累托分布 324
6.2.10 以物理学家命名的分布 326
6.3 随机向量的分布 330
6.3.1 高维均匀分布 332
6.3.2 多项分布 335
6.3.3 狄利克雷分布 338
6.3.4 多元正态分布与多元 t 分布 344
6.3.5 随机矩阵与威沙特分布 352
第7章 大数律与中心极限定理 355
7.1 大数律 360
7.1.1 弱大数律 364
7.1.2 强大数律与重对数律 369
7.2 中心极限定理 375
7.2.1 林德伯格-费勒中心极限定理 378
7.2.2 中心极限定理的应用 384
第8章 随机过程简介 388
8.1 离散时间马尔可夫链 398
8.1.1 状态的分类 403
8.1.2 马尔可夫链的遍历性与平稳分布 410
8.1.3 分支过程 414
8.2 连续时间过程 420
8.2.1 泊松过程与更新过程 423
8.2.2 生灭过程 429
8.2.3 布朗运动 434
8.3 随机分析简介 443
8.3.1 伊藤积分 444
8.3.2 随机微分方程 450
第三部分 贝叶斯决策与因果推断
第9章 贝叶斯分析与统计决策 457
9.1 参数的先验分布 465
9.1.1 非正常先验 467
9.1.2 杰弗里斯先验 469
9.1.3 共轭先验 470
9.1.4 有信息先验 472
9.2 后验 似然 先验 478
9.2.1 后验预测分布 481
9.2.2 后验期望的计算 485
9.2.3 层级贝叶斯模型 488
9.3 统计决策理论概要 494
9.3.1 贝叶斯学派的期望损失原则 497
9.3.2 频率派的决策方法 503
第10章 因果推断 507
10.1 干预 516
10.1.1 如何看待数据 523
10.1.2 因果关系之梯 527
10.1.3 中介分析 531
10.2 反事实推理 535
10.2.1 必要性概率 537
10.2.2 因果推断与人工智能 539
10.3 拉普拉斯的因果推断 548
10.3.1 拉普拉斯因果原则 551
10.3.2 拉普拉斯近似推断 552
第四部分 附录
附录A 拉普拉斯变换 559
附录B 母函数的计算 563
附录C 卷积的物理意义 567
附录D 正态分布的由来 572
附录E 矩阵计算的一些结果 574
E.1 本征值与本征向量 576
E.2 矩阵的分解 578
E.3 多元分析 586
附录F 费舍尔信息量与信息矩阵 594
附录G 凸性与詹森不等式 598
附录H 连分数 601
附录I 黎曼-斯蒂尔杰斯积分 605
附录J 测度论简介 609
J.1 外测度与卡拉西奥多里扩张 610
J.2 可测函数 611
J.3 勒贝格积分 614
J.4 勒贝格-斯蒂尔杰斯积分 616
附录K 参考文献 618
附录L 符号表 626
附录M 名词索引 628
M.1 术语索引 628
M.2 人名索引 640
|
| 內容試閱:
|
前 言
概率论(probability theory) 源于17 世纪几位大数学家对赌博的研究,人们用“概率”“或然”“几率”“似然”“机会”等描述一个不确定性事件发生的可能性。时至今日,概率论已经发展成为公理化了的纯粹数学分支,用于探索随机现象的数量规律,成为数据科学(data science,包括数理统计、机器学习、模式识别、数据挖掘、大数据分析等)和人工智能(artificial intelligence, AI) 的基础,也是工程科学、社会科学必不可少的工具,极大地提高了人类的理性思考和认知世界的能力[1-4]。
在数学里,少有像概率论这样的分支,既蕴藏着自然而朴素的真理,又距离应用如此之近。为了让更多的读者了解概率论及其应用,我写了《人工智能的数学基础——随机之美》这部另类的“高级”科普读物。其与同类的姊妹篇《人工智能的数学基础——数据之本》和之后的《人工智能的数学基础——模拟之巧》,它们共同组成了人工智能数学基础中随机数学之旅的三部曲。
除了实用性,概率论体现出的人类理性认识的水平和数学本身的和谐之美也是值得追求的。德国数学家卡尔·雅可比(Carl Jacobi, 1804—1851) 在给友人的一封信中说道,“傅里叶确实有过这样的看法,认为数学的主要目的是公共事业和对自然现象的解释;但像他这样的哲学家应当知道,科学的唯一目的是人类心智的荣耀……。”把数学单纯视为意志的产物并沉醉于它的美妙(如图0.1 所示的分形几何),是很多数学家乐此不疲的原动力。英国数学家戈弗雷·哈罗德·哈代(Godfrey Harold Hardy, 1877—1947) 曾说,“数学家的模式正像画家或诗人的模式一样,必须是充满美感的;数学的概念就像画家的颜色或诗人的文字一样,也必须和谐一致。美感是首要的试金石,丑陋的数学在世上是站不住脚的。”德国数学家赫尔曼·外尔(Hermann Weyl, 1885—1955) 也说过类似的话,“我的工作总是试图把真与美结合起来,当我不得不选择其中之一时,我通常会选择美。”概率论到处充满美妙的结果,等待着有心人的欣赏;还有各种方法论的思辩,等待着更加深邃的理解。
概率论中蕴涵的一些朴素的思想,经过历史的沉淀,成为人类智慧宝库中璀璨的明珠。法国数学大师昂利·庞加莱(Henri Poincaré, 1854—1912) 说过,“如果我们想要预见数学的将来,适当的途径是研究这门学科的历史和现状。”
为此,本书另一个具有革新意义的地方是增加了对概率历史和现状的简介,包括近些年本领域取得的一些成果,以及相关数学家的学术功绩和思想等。因为数学的历史是这些数学英雄创造的(让我们记住他们的名字、模样和丰功伟绩),所以他们的思想最能揭示理论的本质和发展脉络,也是数学文化不可缺少的组成部分,值得传承和永世的纪念*(。尤其是那些引人深思的哲学思想,它们更应该被津津乐道和传颂。
法国大数学家皮埃尔-西蒙·拉普拉斯(Pierre-Simon Laplace, 1749—1827) 是古典概率的集大成者,也是贝叶斯主义的先驱,他的概率思想值得深入研究。像数学史学者那样读拉普拉斯的著作,必须足够地了解概率论和贝叶斯分析才会有所心得,这一要求对普通读者来说几乎是不可能的。揭示拉普拉斯的概率思想最好的方式是把它放在现代概率论中,站在历史的高度看二者的联系,哪些是一脉相承,哪些被无情遗忘,尽收眼底。思想的来龙去脉本来就应该是数学文化的一部分,可惜大多数的数学著作都太严肃古板,只顾堆积严谨的理论和公式,仅让一小部分数学家感受到它的美。本书以拉普拉斯为故事的主角,以拉普拉斯的概率思想(如客观概率的大数律和中心极限定理、主观概率的贝叶斯法则和后验预测分布等)为主线,描绘出概率论的发展,就像创作一本惊心动魄的历史小说(书中有若干暗线有待读者挖掘,如罐子-球模型、连续正面问题、赌资分配问题、随机数和随机模拟、因果关系等),让普通的读者也能从中享受理性思维的酣畅淋漓。
大物理学家阿尔伯特·爱因斯坦(Albert Einstein, 1879—1955)(图0.2)曾直言,“想象力比知识更为重要”。首先,对概率的深刻理解往往不能单纯借助数学公式,而是需要直观想象。想象在先,数学在后,数学只不过是让阐述更严谨、更简洁的语言而已。其次,概率论毕竟是数学工具,要漂亮地解决实际问题还得靠工具使用者的想象力和驾驭知识的能力。
我们看历史上的数学大师如何将概率论一步一步严谨化,一些关键性的概念是在什么情境下被提出,一门学问怎样由这些关键概念/结果织成一个巨大的知识图谱。拉普拉斯的概率思想到底在哪些关键点上影响着这个数学分支?这些思想对人工智能和机器学习有什么启示?如果抛开背景只谈哲学层面的东西,或者泛泛地讨论拉普拉斯的概率研究,只有哲学家、数学史专家会对这些内容感兴趣。
对拉普拉斯概率思想的讨论贯穿了《人工智能的数学基础——随机之美》这本“高级”科普读物。所谓“高级”,一是体现在知识的系统性上,二是结合大量的数学公式,三是有很多课堂上没有的内容。我知道大众科普拒绝数学公式,爱因斯坦曾开玩笑说,多一个公式吓跑一半读者。然而,离开了公式,想表达清楚拉普拉斯的概率思想还真是不易。读者只要尝试翻阅一下拉普拉斯的《概率的哲学随笔》就感同身受了。用自然语言描述一个数学公式简直勉为其难,有时还有歧义,除非读者清楚一切细节,否则研读这类文字无异一种心灵自虐。
读者不必过于担心这些数学符号和数学表达式(图0.3),一旦明白它们的含义并适应了它们的表述方式,它们就如同我们的日常用语,或者音乐和弦,常看常说就习惯成自然。如果实在过不了抽象思维这一关,可以尝试理解书中剖析的概率思想,因为思想的价值远高于数学的技巧。
数学和禅有点像,需要用心去悟。数学的真理初见它时看山是山;知道了来龙去脉后触类旁通、举一反三,看山不是山;最后真理变成理所当然的东西,当我们能用质朴的话语自由地表达它,看山还是山。这是宋代禅宗大师青原行思(671—740) 感悟的参禅的三重境界,和数学的认知过程不谋而合。我国著名数学家华罗庚(Loo-Keng Hua, 1910—1985)(图0.4)也曾说过,“要真正打好基础, 有两个必经的过程, 即‘由薄到厚’和‘由厚到薄’的过程。”华罗庚先生的话和行思的三重境界是同样的道理,我们最终必须“把那些学到的东西,经过咀嚼、消化,融会贯通,提炼出关键性的问题来。”
本书中的人名、术语在第一次出现时一般都给出了对应的英文,多采用国内既定的或流行的译法。对一些新术语,作者参考《英汉数学词汇》[5] 和《现代数学手册》[6] 给出适当的命名。读者可通过附录中人名、术语的索引表在正文中找到它们。书中常用的数学符号,在附录的符号表中也能找到相应的解释。
书中试验涉及的真实数据都标明了出处,模拟数据则给出相应的产生算法。本书利用LATEX 开源系统进行排版*(,所有科学计算和绘图都是通过开源的GCC(GNU Compiler Collection,GNU 编译器套装)、R、Maxima/GnuPlot、TikZ 等完成的。人物肖像、漫画、图标、邮票(非原始尺寸)等取自互联网(如维基百科等),恕不一一标明其出处。
对那些注意事项、关键概念、引申思考、美妙的经典结果、初次阅读可选择跳过的例子、证明等,书中都给出了特殊的标记,其含义见表0.1 中的说明。
进入21 世纪,人工智能发展迅猛,生成式AI 在自然语言处理(natural language processing,NLP)[8, 9]、计算机视觉(computer vision, CV)、机器人学(robotics)[10] 等领域取得了令人瞩目的成就。计算机科学与人工智能之父艾伦·图灵(Alan Turing, 1912—1954) 把AI 的希望寄托在随机性上,这本书正是随机数学的基础。它介绍了客观概率和主观概率的形式理论,是研究不确定性和因果关系的必备工具。
谨以此书深切缅怀恩师程民德(1917—1998) 先生,感激程先生引导作者由数学转入信息科学领域。20 世纪70 年代,程先生最早在国内领导开展了模式识别与图像处理的研究,建立了北大信息数学专业并培养了许多优秀的人才。我有幸成为程先生的学生并得到他的指导,先生的言传身教令我终生铭记——学无止境,永远保持一颗好奇心。
家人多年的无私关爱、理解与支持是作者完成此书的动力。特别地,谢谢女儿经常及时地打断我的工作,要求我全神贯注地陪她玩耍或者给她讲故事,让我跳出了写作的困局。她的理由令我无法反驳——如果此时不陪,以后就再也没机会了。如果时光能够倒流,我愿意陪伴她更多的时间。另外,她对AI 的好奇一直感染着我,我们一起畅想未来的日子,是一位父亲最想珍藏的记忆。
本书的大多数章节,曾作为北京大学(图0.5)信息科学技术学院的本科生主干基础课“概率统计A”的教学内容多次使用,其余部分在研究生课程“统计机器学习”和“贝叶斯数据分析”中讲授过。感谢听过这些课程的学生,他们容忍了讲义不断更新带来的不便。另外,还要感谢蔡延亮、李德珠、李霄翔、张力等几位研究生助教,他们帮助作者在教学过程中收集整理了与正文配套的大部分课后习题,并标注了难度。虽几经易稿,由于作者能力所限,书中仍难免有不妥之处,诚恳地欢迎读者指出,以便在后续的版本中予以修正。希望本书能对读者有所裨益,并带来阅读的快乐。
于江生
于美国加州圣何塞
( *数学是所有自然科学的基础,数学强则科技强。为教化民众,伟大的数学家和思想家的肖像常常出现在货币或邮票上。数学应该得到尊崇,因为这世上没有什么比真理更令人敬畏。
( * 感谢唐纳德·克努斯(Donald Knuth, 1938—) 大师对史上最优排版系统TEX 的杰出贡献[7]。读者可从TEXLive 获取不同平台之下的TEX 支持,包括各种宏包、字体和自由软件。
|
|