机器学习导论.pdf

机器学习导论.pdf
 

书籍描述

内容简介
本书讨论了机器学习在统计学、模式识别、神经网络、人工智能、信号处理等不同领域的应用,其中涵盖了监督学习、贝叶斯决策理论、参数方法、多元方法、多层感知器、局部模型、隐马尔可夫模型、分类算法评估和比较以及增强学习。
本书可供完成计算机程序设计、概率论、微积分和线性代数课程的高年级本科生和研究生使用,也可供对机器学习感兴趣的工程技术人员参考。

作者简介
Ethem Alpaydin 土耳其伊斯坦布尔博阿齐奇大学(Bogazi?i University)计算机工程系教授。他于1990年在瑞士洛桑联邦理工学院获博士学位,1991年在加州大学伯克利分校国际计算机研究所(ICS, UC Berkeley)做博士后工作;之后作为访问学者,先后在美国麻省理工学院、加州大学伯克利分校国际计算机研究所、瑞士戴尔莫尔感知人工智能研究所(IDIAP)从事研究工作。他是土耳其科学院院士,IEEE高级会员,牛津大学出版社《The Computer Journal》杂志编委和Elsevier出版社《Pattern Recognition》杂志副主编。

目录
目 录
Introduction to Machine Learning,Second Edition
出版者的话
中文版序
译者序
前言
致谢
关于第2版
符号表
第1章 绪论1
 1.1 什么是机器学习1
 1.2 机器学习的应用实例3
  1.2.1 学习关联性3
  1.2.2 分类3
  1.2.3 回归6
  1.2.4 非监督学习7
  1.2.5 增强学习8
 1.3 注释8
 1.4 相关资源10
 1.5 习题11
 1.6 参考文献12
第2章 监督学习13
 2.1 由实例学习类13
 2.2 VC维15
 2.3 概率逼近正确学习16
 2.4 噪声17
 2.5 学习多类18
 2.6 回归19
 2.7 模型选择与泛化21
 2.8 监督机器学习算法的维23
 2.9 注释24
 2.10 习题25
 2.11 参考文献25
第3章 贝叶斯决策定理27
 3.1 引言27
 3.2 分类28
 3.3 损失与风险29
 3.4 判别式函数31
 3.5 效用理论31
 3.6 关联规则32
 3.7 注释33
 3.8 习题33
 3.9 参考文献34
第4章 参数方法35
 4.1 引言35
 4.2 最大似然估计35
  4.2.1 伯努利密度36
  4.2.2 多项密度36
  4.2.3 高斯(正态)密度37
 4.3 评价估计:偏倚和方差37
 4.4 贝叶斯估计38
 4.5 参数分类40
 4.6 回归43
 4.7 调整模型的复杂度:偏倚/方差两难选择45
 4.8 模型选择过程47
 4.9 注释50
 4.10 习题50
 4.11 参考文献51
第5章 多元方法52
 5.1 多元数据52
 5.2 参数估计52
 5.3 缺失值估计53
 5.4 多元正态分布54
 5.5 多元分类56
 5.6 调整复杂度59
 5.7 离散特征61
 5.8 多元回归62
 5.9 注释63
 5.10 习题63
 5.11 参考文献64
第6章 维度归约65
 6.1 引言65
 6.2 子集选择65
 6.3 主成分分析67
 6.4 因子分析71
 6.5 多维定标75
 6.6 线性判别分析77
 6.7 等距特征映射80
 6.8 局部线性嵌入81
 6.9 注释83
 6.10 习题84
 6.11 参考文献85
第7章 聚类86
 7.1 引言86
 7.2 混合密度86
 7.3 k-均值聚类87
 7.4 期望最大化算法90
 7.5 潜在变量混合模型93
 7.6 聚类后的监督学习94
 7.7 层次聚类95
 7.8 选择簇个数96
 7.9 注释96
 7.10 习题97
 7.11 参考文献97
第8章 非参数方法99
 8.1 引言99
 8.2 非参数密度估计99
  8.2.1 直方图估计100
  8.2.2 核估计101
  8.2.3 k最近邻估计102
 8.3 到多元数据的推广103
 8.4 非参数分类104
 8.5 精简的最近邻105
 8.6 非参数回归:光滑模型106
  8.6.1 移动均值光滑106
  8.6.2 核光滑108
  8.6.3 移动线光滑108
 8.7 如何选择光滑参数109
 8.8 注释110
 8.9 习题111
 8.10 参考文献112
第9章 决策树113
 9.1 引言113
 9.2 单变量树114
  9.2.1 分类树114
  9.2.2 回归树118
 9.3 剪枝119
 9.4 由决策树提取规则120
 9.5 由数据学习规则121
 9.6 多变量树124
 9.7 注释125
 9.8 习题126
 9.9 参考文献127
第10章 线性判别式129
 10.1 引言129
 10.2 推广线性模型130
 10.3 线性判别式的几何意义131
  10.3.1 两类问题131
  10.3.2 多类问题132
 10.4 逐对分离132
 10.5 参数判别式的进一步讨论133
 10.6 梯度下降135
 10.7 逻辑斯谛判别式135
  10.7.1 两类问题135
  10.7.2 多类问题138
 10.8 回归判别式141
 10.9 注释142
 10.10 习题143
 10.11 参考文献143
第11章 多层感知器144
 11.1 引言144
  11.1.1 理解人脑144
  11.1.2 神经网络作为并行处理的典范145
 11.2 感知器146
 11.3 训练感知器148
 11.4 学习布尔函数150
 11.5 多层感知器151
 11.6 作为普适近似的MLP153
 11.7 后向传播算法154
  11.7.1 非线性回归154
  11.7.2 两类判别式157
  11.7.3 多类判别式158
  11.7.4 多个隐藏层158
 11.8 训练过程158
  11.8.1 改善收敛性158
  11.8.2 过分训练159
  11.8.3 构造网络161
  11.8.4 线索162
 11.9 调整网络规模163
 11.10 学习的贝叶斯观点164
 11.11 维度归约165
 11.12 学习时间167
  11.12.1 时间延迟神经网络167
  11.12.2 递归网络168
 11.13 注释169
 11.14 习题170
 11.15 参考文献170
第12章 局部模型173
 12.1 引言173
 12.2 竞争学习173
  12.2.1 在线k-均值173
  12.2.2 自适应共鸣理论176
  12.2.3 自组织映射177
 12.3 径向基函数178
 12.4 结合基于规则的知识182
 12.5 规范化基函数182
 12.6 竞争的基函数184
 12.7 学习向量量化186
 12.8 混合专家模型186
  12.8.1 协同专家模型188
  12.8.2 竞争专家模型188
 12.9 层次混合专家模型189
 12.10 注释189
 12.11 习题190
 12.12 参考文献190
第13章 核机器192
 13.1 引言192
 13.2 最佳分离超平面193
 13.3 不可分情况:软边缘超平面195
 13.4 v-SVM197
 13.5 核技巧198
 13.6 向量核199
 13.7 定义核200
 13.8 多核学习201
 13.9 多类核机器202
 13.10 用于回归的核机器203
 13.11 一类核机器206
 13.12 核维度归约208
 13.13 注释209
 13.14 习题209
 13.15 参考文献210
第14章 贝叶斯估计212
 14.1 引言212
 14.2 分布参数的估计213
  14.2.1 离散变量213
  14.2.2 连续变量215
 14.3 函数参数的贝叶斯估计216
  14.3.1 回归216
  14.3.2 基函数或核函数的使用218
  14.3.3 贝叶斯分类219
 14.4 高斯过程221
 14.5 注释223
 14.6 习题224
 14.7 参考文献224
第15章 隐马尔可夫模型225
 15.1 引言225
 15.2 离散马尔可夫过程225
 15.3 隐马尔可夫模型227
 15.4 HMM的三个基本问题229
 15.5 估值问题229
 15.6 寻找状态序列231
 15.7 学习模型参数233
 15.8 连续观测235
 15.9 带输入的HMM236
 15.10 HMM中的模型选择236
 15.11 注释237
 15.12 习题238
 15.13 参考文献239
第16章 图方法240
 16.1 引言240
 16.2 条件独立的典型情况241
 16.3 图模型实例245
  16.3.1 朴素贝叶斯分类245
  16.3.2 隐马尔可夫模型246
  16.3.3 线性回归248
 16.4 d-分离248
 16.5 信念传播249
  16.5.1 链249
  16.5.2 树250
  16.5.3 多树251
  16.5.4 结树252
 16.6 无向图:马尔可夫随机场253
 16.7 学习图模型的结构254
 16.8 影响图255
 16.9 注释255
 16.10 习题256
 16.11 参考文献256
第17章 组合多学习器258
 17.1 基本原理258
 17.2 产生有差异的学习器258
 17.3 模型组合方案260
 17.4 投票法261
 17.5 纠错输出码263
 17.6 装袋265
 17.7 提升265
 17.8 重温混合专家模型267
 17.9 层叠泛化268
 17.10 调整系综268
 17.11 级联269
 17.12 注释270
 17.13 习题271
 17.14 参考文献272
第18章 增强学习275
 18.1 引言275
 18.2 单状态情况:K臂赌博机问题276
 18.3 增强学习基础277
 18.4 基于模型的学习278
  18.4.1 价值迭代279
  18.4.2 策略迭代279
 18.5 时间差分学习280
  18.5.1 探索策略280
  18.5.2 确定性奖励和动作280
  18.5.3 非确定性奖励和动作282
  18.5.4 资格迹283
 18.6 推广285
 18.7 部分可观测状态286
  18.7.1 场景286
  18.7.2 例子:老虎问题287
 18.8 注释290
 18.9 习题291
 18.10 参考文献292
第19章 机器学习实验的设计与分析294
 19.1 引言294
 19.2 因素、响应和实验策略296
 19.3 响应面设计297
 19.4 随机化、重复和阻止298
 19.5 机器学习实验指南298
 19.6 交叉验证和再抽样方法300
  19.6.1 K-折交叉验证300
  19.6.2 5×2交叉验证301
  19.6.3 自助法302
 19.7 度量分类器的性能302
 19.8 区间估计304
 19.9 假设检验307
 19.10 评估分类算法的性能308
  19.10.1 二项检验308
  19.10.2 近似正态检验309
  19.10.3 t检验309
 19.11 比较两个分类算法309
  19.11.1 McNemar检验310
  19.11.2 K-折交叉验证配对t检验310
  19.11.3 5×2交叉验证配对t检验311
  19.11.4 5×2交叉验证配对F检验311
 19.12 比较多个算法:方差分析312
 19.13 在多个数据集上比较315
  19.13.1 比较两个算法315
  19.13.2 比较多个算法317
 19.14 注释317
 19.15 习题318
 19.16 参考文献319
附录A 概率论320
索引328

序言
前 言
Introduction to Machine Learning,Second Edition

机器学习使用实例数据或过去的经验训练计算机,以优化性能标准。当人们不能直接编写计算机程序解决给定的问题,而是需要借助于实例数据或经验时,就需要学习。一种需要学习的情况是人们没有专门技术,或者不能解释他们的专门技术。以语音识别,即将声学语音信号转换成ASCII文本为例。看上去我们可以毫无困难地做这件事,但是我们却不能解释我们是如何做的。由于年龄、性别或口音的差异,不同的人读相同的词发音却不同。在机器学习中,这个问题的解决方法是从不同的人那里收集大量发音样本,并学习将它们映射到词。
另一种需要学习的情况是要解决的问题随时间变化或依赖于特定的环境。我们希望有一个能够自动适应环境的通用系统,而不是为每个特定的环境编写一个不同的程序。以计算机网络上的包传递为例。最大化服务质量的、从源地到目的地的路径随网络流量的改变而改变。学习路由程序能够通过监视网络流量自动调整到最佳路径。另一个例子是智能用户界面,它能够自动适应用户的生物特征,即用户的口音、笔迹、工作习惯等。
机器学习在各个领域都有许多成功的应用:已经有了识别语音和笔迹的商用系统。零售商分析他们过去的销售数据,了解顾客行为,以便改善顾客关系管理。金融机构分析过去的交易,以便预测顾客的信用风险。机器人学习优化它们的行为,以便使用最少的资源来完成任务。在生物信息学方面,使用计算机不仅可以分析海量数据,而且还可以提取知识。这些只是我们(即你和我)将在本书讨论的应用的一部分。我们只能想象一下可使用机器学习实现的未来应用:可以在不同的路况、不同的天气条件下自己行驶的汽车,可以实时翻译外语的电话,可以在新环境(例如另一个星球的表面)航行的自动化机器人。机器学习的确是一个令人激动的研究领域!
本书讨论的许多方法都源于各种领域:统计学、模式识别、神经网络、人工智能、信号处理、控制和数据挖掘。过去,这些不同领域的研究遵循不同的途径,侧重点也不同。本书旨在把它们组合在一起,给出问题的统一处理并提供它们的解。
本书是一本入门教材,用于高年级本科生和研究生的机器学习课程,以及在业界工作、对这些方法的应用感兴趣的工程技术人员。预备知识是计算机程序设计、概率论、微积分和线性代数方面的课程。本书的目标是充分解释所有的学习算法,使得从本书给出的方程到计算机程序只是一小步。为了使这一任务更容易完成,对于某些情况,我们给出了算法的伪代码。
适当选取一些章节,本书可用作一学期的课程。再额外讨论一些研究论文的话,本书也可以用作两学期的课程,这时每章后的参考文献将很有用。
本书网页为http://www.cmpe.boun.edu.tr/~ethem/i2ml/,我将在那里提供一些与本书有关的信息,如勘误表。我真诚地欢迎你将反馈意见发到我的邮箱:alpaydin@boun.edu.tr。
我非常喜欢写这本书,希望你能喜欢读它。

购买书籍

当当网购书 京东购书 卓越购书

PDF电子书下载地址

相关书籍

搜索更多